WO1999030278A1 - Verfahren und vorrichtung zur erfassung und bearbeitung von abbildungen biologischen gewebes - Google Patents

Verfahren und vorrichtung zur erfassung und bearbeitung von abbildungen biologischen gewebes Download PDF

Info

Publication number
WO1999030278A1
WO1999030278A1 PCT/EP1998/008020 EP9808020W WO9930278A1 WO 1999030278 A1 WO1999030278 A1 WO 1999030278A1 EP 9808020 W EP9808020 W EP 9808020W WO 9930278 A1 WO9930278 A1 WO 9930278A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
mask
tissue section
edge
Prior art date
Application number
PCT/EP1998/008020
Other languages
English (en)
French (fr)
Inventor
Wolfram Bunk
Rene Pompl
Dominik Dersch
Wilhelm Stolz
Alexander Horsch
Wolfgang Abmayr
Alexander GLÄSSL
Roman Schiffner
Michael Landthaler
Original Assignee
MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. filed Critical MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V.
Priority to AU21599/99A priority Critical patent/AU2159999A/en
Priority to EP98965797A priority patent/EP1038267A1/de
Publication of WO1999030278A1 publication Critical patent/WO1999030278A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the invention relates to methods for capturing and processing images of biological tissue, in particular for processing tissue images, e.g. dermatoscopic images to identify tissue features or to identify and / or evaluate tissue changes.
  • tissue images e.g. dermatoscopic images to identify tissue features or to identify and / or evaluate tissue changes.
  • the invention also relates to devices for implementing such methods.
  • SVM scaling vector method
  • SVM is a method for capturing target patterns in a texture, with which a system state can be represented as a distribution of points in an n-dimensional space.
  • anisotropic scaling indexes are determined in SVM, which are characteristic of the dependence of the projection of the point density on a certain coordinate on the distance to a point under consideration is.
  • SVM also contains a comparison of the distribution of the anisotropic scaling indices with predetermined comparison distributions.
  • the object of the invention is to provide improved image recording and image processing methods for imaging biological tissue, which are characterized by high reproducibility, which enable standardization and with which the field of application of the conventional techniques mentioned is expanded.
  • the object of the invention is also to provide devices for implementing such improved image processing methods.
  • the solution to the above-mentioned task is based on the idea of capturing digital images and / or characteristic image parameters of digital ones in a method for image acquisition and processing, depending on the specific requirements for the processing result in individual or all steps of image acquisition, image preprocessing and image analysis To perform images under standardized conditions that guarantee comparability regardless of time and device. For this purpose, a series of corrections to the image recording requirements as well as normalizations, transformations and / or projections of the recorded images into point spaces are carried out, in which parameter analyzes can be carried out in a standardized and reproducible manner.
  • the measures according to the invention for improving the recording on the one hand and the image processing (image preprocessing and image analysis) on the other on the one hand, depending on the requirements of a specific application they can be provided individually or together. Even if in the application of the invention explained in detail below in the acquisition and processing of dermatoscopic images, the correction steps in the image acquisition interact particularly advantageously with the standardization and transformation steps in the image processing, it is also possible in other applications, which are also mentioned below to provide either an improvement in image recording according to the invention or an improvement in image processing according to the invention.
  • a particular advantage of the invention results from the novel image processing, in particular from mask processing, which provides reproducible results that are compatible with practical experience from non-automatic tissue recognition.
  • Fig. 3 Histogram representations (N (a) spectra) for the application of the scaling mdex method for image cleaning;
  • Fig. 8a, 8b schematic edge representations to illustrate the analysis of the image parameters which are characteristic of edge properties
  • Fig. 9a, 9b overview representations of the procedure for determining image parameters which are characteristic of the color properties of an examined tissue section
  • the image acquisition comprises the process steps which are carried out for the delivery of a brightness and color compensated digital image or an image (e.g. RGB image), which is the starting point of the image processing described below.
  • the image acquisition includes, in particular, adjustment measurements for determining brightness and color correction sizes, the acquisition of the acquisition of images of an object to be examined and correction steps for dynamic correction of the acquired raw image on the basis of the large brightness and color correction.
  • the adjustment measurements are required once for a specific measurement configuration, which is characterized by unchanged camera conditions, lighting conditions and a constant imaging scale. Details of the image acquisition are shown schematically in FIG. 1.
  • the adjustment measurements 10 include a black image recording 11, a white image recording 12, a color reference recording 13 and the correction size determination 14.
  • the adjustment measurements 10 are first carried out with a signal adaptation of the black and white levels to the video system used. With the lighting switched on and the image focused, the aperture or a corresponding shutter device is opened so far during the acquisition of a white image that the channel level is fully utilized. All lighting, focusing diaphragms and amplification settings The recording system is saved as a configuration file. This signal adaptation is repeated whenever one of the settings changes due to operational changes or instabilities.
  • the camera lens is completely darkened and a signal level is set for the black level.
  • the signal level is set in such a way that the gray value distributions in the three color channels are equal to one another and are below predetermined limits. If the image is recorded, for example, with a digital video system with a signal resolution over 256 level levels, the predetermined limit can be selected within the lower levels 0 to 15.
  • the black images S (x, y) of the color channels recorded with the determined signal level settings serve as black reference images.
  • the white image recording 12 a white or gray reference image is recorded accordingly and the aperture and / or the camera amplification is set in such a way that the signal levels in the three color channels are identical to one another and are above a predetermined white limit.
  • the white limit can be in the range of the upper signal level levels 200 to 255.
  • the white images of the color channels recorded with the determined aperture and / or gain values serve as a white reference image W (x, y).
  • the white image recording 12 is carried out for each enlargement setting in which the actual image acquisition takes place later.
  • An average black value S m and an average white value S m are then determined from the black and white images.
  • a so-called shadmg matrix is formed from the black and white images.
  • the color reference recording 13 is provided in order to be able to correct camera-specific color errors of the recorded raw images.
  • the color reference image 13 is therefore not absolutely necessary if, in the case of an intended application, it is not of interest to compare the images recorded with different cameras.
  • the color reference recording 13 takes place in such a way that first color references are acquired as target values according to a reference card with predetermined, known color values.
  • the detection takes place, for example, by storing the setpoints in the camera system.
  • the reference card of the camera actually used is then recorded.
  • the color values obtained serve as actual values, the deviation of which from the target values is determined.
  • the target-actual comparison is carried out using one or more known regression methods (e.g. based on the least squares calculation) or using neural networks.
  • the result of the calculation is a 3 * 3 correction matrix K (kll, kl2, kl3, k21, ..., k33) with which a recorded RGB image can be converted into a corrected R'G'B '
  • the reference card on the basis of which the color reference recording 13 takes place, can be a standard reference card known per se. However, it is also possible as an alternative to integrate the color reference card in an application-specific manner in the recording system. For example, in the case of dermatological examinations in which the skin area to be examined lies against a transparent plate through which the image is taken, it is possible to use color reference markings on the Attach the plate. This is particularly advantageous since the color reference recording 13 can be carried out under exactly the same conditions as the actual image acquisition 20.
  • the correction size determination 14 (see FIG. 1) comprises the determination of the shadmg matrix and the color correction matrix K in a data format suitable for further processing.
  • the image capture 20 comprises all steps of capturing a digital video image of the object to be examined.
  • Object lighting is based on halogen lighting systems known per se (possibly in combination with light guides) or on the basis of light-emitting diodes. In the latter case, for example, LED systems arranged in a ring are used. These so-called LED rings include, for example, 4 or up to over 100 LEDs.
  • the advantages of the LED rings are the simplified handling, the increased service life and stability, the reduced problems with the light supply, since no sensitive light guides are required, the problem-free voltage control and the significantly reduced temperature effects.
  • the video image is recorded with a camera system that is used for image enlargement in the range of approx. Is set up 1 to 20 times.
  • the magnification is selected depending on the application and is preferably in the range from 3 to 5 when examining melanomas.
  • the magnification is chosen, for example, in such a way that an area of 11.8 11.8 mm (skin section) can be captured entirely on the camera chip in a square pixel field of 512 512 pixels.
  • the pixel size 0.023 mm defines the resolution of the digital video image.
  • the camera system is to be operated under remote control so that all settings can be controlled with a computer.
  • the captured raw image is subjected to the correction steps 30 for providing the captured image, which is the subject of the image processing.
  • the correction steps 30 include a shading correction or background compensation 31 and possibly a color correction 32.
  • the shading correction 31 comprises an additive correction that is preferably used if lighting homogeneities predominate, or a multiplicative correction that is preferably used if inhomogeneities of the sensors predominate.
  • the background compensation for determining the additively (B A ) or multiplicatively (B N ) corrected image from the raw image (B) is carried out according to:
  • B M (x) B (x, y) W m / W (x, y) - S m (multiplicative).
  • the corrected image B or B M is multiplied by the correction matrix K in accordance with the color correction form specified above (color correction 32).
  • the existing image after the shading and color correction according to the invention has the advantage that the pixel values (brightness, colors) are independent of specific properties of the camera system and the recording conditions, so that the comparability of the image with time and location independently recorded images is guaranteed and that The captured image represents a reproducible, standardized input size for the subsequent image processing.
  • CCD cameras with remote control all settings are carried out and registered under computer control. Deviations from the setpoint settings are thus recognized.
  • the image processing provides image features that are the starting point for a subsequent identification and evaluation of skin changes with regard to their dignity and development.
  • the image processing according to the invention comprises, after the acquisition of a digital image or image, which has been described with reference to FIG. Processing 100 and a valuation-relevant image processing (image analysis) 200. Further processing steps follow with the visualization 300 and classification 400.
  • the image preprocessing 100 is generally aimed at producing excerpts from feature-specific regions ("region of metrest") of the digital image (so-called "masks"), which are intended to form input variables for linear or non-linear methods of image processing which are used in the Within the framework of the subsequent image analysis 200.
  • the required mask types depend on the features to be analyzed and the intended linear or non-linear image processing methods such as the scaling mdex method, the determination of the fractal dimension of image structures, the determination of generalized or local entropy dimensions, the use of statistical methods or the like.
  • the masks are in binary form.
  • the masks provided as a result of the image preprocessing 100 include an artifact mask for marking faults in the recorded image of the examined biological tissue, an object mask for binary marking of a specific tissue section within the recorded image, a contour mask that is one-dimensional or linear Borderline of the object mask represents, an edge mask for the two-dimensional representation of the edge area of the examined tissue section and a color image reduced to prototypical colors (so-called "color symbols") with a quantized color representation of the captured image.
  • Further results of the image preprocessing 100 are the large normalization factor f (also scaling factor) and color transformations of the captured image.
  • the image evaluation is broken down into elementary classes of image characteristics which are independent of one another, namely of geometry, coloring and structure properties.
  • the masks and ub ⁇ - Standardization or transformation sizes are saved for later image analysis.
  • a particular advantage of this procedure is that the mask formation and normalization (size, color) assigns each captured image an derived image, which is then used for the image analysis for all captured and reference images under comparable, standardized conditions.
  • the image preprocessing 100 contains an image correction 101.
  • the image correction 101 is provided to remove non-tissue image elements from the captured image.
  • Such disturbances (or: artifacts) caused by non-tissue elements are formed, for example, by hair, light reflections in the image, bubbles in an immersion liquid, other non-tissue particles or the like.
  • image correction 101 which is described in detail below, segmentation 102 of the recorded image takes place.
  • the segmentation 102 is aimed at separating a specific tissue section of interest (image detail) from the remaining tissue.
  • the segmentation is aimed, for example, at determining the points (pixels) of the digital image and making them available for further processing, which are part of the skin change, and separating the other points, which depict the surrounding skin surface, from the image .
  • the segmentation 102 which is described in detail below, the object mask, the contour mask after a contour calculation 103, the large normalization factor f after a normalization 104 and the edge mask after an edge determination 105 are determined.
  • the color processing 106, 107 takes place before the image cleaning 101 and segmentation 102 or parallel to these steps and includes a color quantization 106 and a color transformation 107.
  • the color transformation is not necessarily part of the image preprocessing 100, but rather can also be carried out as part of the image analysis.
  • the image preprocessing 100 can include further steps, which include application-dependent or target-oriented measures for the standardized representation of the captured image. For example, additional geometric transformations can be provided, with which distortions caused by the exposure are eliminated.
  • an equalization step is provided, in which an arched tissue area is projected onto a two-dimensional plane, taking into account the bulging properties and optical recording parameters.
  • the recorded image is first converted into a gray-scale image, which is then processed further in accordance with one of the following procedures.
  • the gray value image is processed with a line detector known per se (algorithm for connecting gray value gradient maxima) which provides information about the position direction and width of lines in the recorded image. Subsequently, very short lines (so-called phantoms) that vary greatly in the directional information are detected by comparing the determined lines with predetermined limit values and excluded from further image correction. In conclusion, gaps between Line fragments closed and the determined line image saved as an artifact mask.
  • the scaling index method (SIM) mentioned above is used after increasing the contrast of the gray-scale image. When increasing the contrast, bright areas are assigned an increased brightness and dark areas a further reduced brightness by multiplication with the sigmoid function with reference to an average gray value.
  • the nine gray values of the 3 * 3 environment of each pixel (pixel) are combined with the two location coordinates of the pixel to form an 11-dimensional space.
  • the scaling indexes are determined by means of SIM, the line characterizing band is extracted from the spectrum of the indexes, and the associated pixels are marked in a digital image.
  • FIG. 3 An example of a spectrum display according to the SIM is shown in FIG. 3. It can be seen that there is a large cluster for scaling mids that are larger than three (right maximum). The pixels with scaling indexes in the range between 1 and 2 are clearly separated from this cluster and are assigned to the line structures.
  • the digital image of the line structures determined with the SIM is subjected to a standard erosion.
  • the eroded digital image of the line structures is added by means of an AND operation with a bmarized grayscale image of the recorded image, which results in the artifact mask.
  • the bmarized gray-scale image is generated by subjecting the recorded image to a binary median filter, which sets the pixel to black or white depending on whether its gray-scale value is below or above the median of the surrounding pixels.
  • the artifact mask can be subjected to phantom cleaning. With so-called scrabbling, particularly small line structures are removed from the artifact mask.
  • the explained image correction method can also be applied to other image disturbances whose scaling indexes differ significantly from those of the tissue image, so that the corresponding pixels can be detected from the recorded image by simple spectra observation.
  • FIG. 4 shows an example of an artifact mask for a skin image, in which hair is arranged around the lesion to be examined (middle part of the image).
  • the image cleansing 101 according to the invention is particularly advantageous since image disturbances are recorded at high speed, selectivity and completeness. Furthermore, an exact position determination of the image disturbances is supplied with the artifact mask.
  • the segmentation 102 serves to separate the depicted lesion from the intact skin background.
  • the image is first transformed from the RGB space (image acquisition) into a suitable other color space (eg via a main axis transformation).
  • the target color space is selected so that after the color transformation, the transformed image can be projected (reduced) onto a color plane, in which the segmentation can be carried out particularly effectively and reliably by means of a threshold value separation. If pigment changes in the skin are detected, the transformed image is preferably reduced to a blue level.
  • the histogram of the color-transformed image which has been cleaned of artifact elements (here, for example: blue values), is then created and an iterative histogram analysis is used to determine the color threshold value, which separates the image segment to be segmented (the lesion) from the image background (intact skin).
  • the histogram is a frequency distribution of the blue values that fall within certain reference intervals.
  • iterative histogram analysis according to FIG. 5 there is initially a display with relatively wide reference intervals
  • the reference interval is determined with the minimum blue value frequency.
  • the minimum with the minimum frequency is searched for within the reference interval that represented the minimum value in the previous histogram
  • FIG. 5d The histogram according to FIG. 5d with a fine reference interval width shows em first maximum at low blue values (corresponding: low brightness), which corresponds to the dark lesion area, and e second maximum at higher blue values (higher brightness), which corresponds to the surrounding skin.
  • the histogram analysis can be combined with a determination of the number of objects and the selection of the object closest to the center of the image.
  • the object mask (see FIG. 2) is determined by combining all points of the transformed image with a blue value that is less than or equal to the determined threshold value and subjecting it to an area growth method. This means that additional pixels are added to the neighborhood of the ascertained pixels in accordance with a predetermined homogeneity criterion within tolerance limits.
  • a further post-processing step can be the closing von Lucken and include a smoothing of the outer boundary of the determined pixels.
  • the result of the digital image obtained after the area has grown is the object mask according to FIG. 2.
  • the iterative histogram analysis according to the invention is particularly advantageous, since with a simple basic assumption (dark object (lasion), light environment (skin)) a reproducible segmentation limit is reliably determined as a minimum between light and dark areas, with the implementation with iterative histogram generation with increasing The determination of the segmentation limit (threshold value) at the location of local Mmima is avoided. Another advantage is that the threshold separation can be fully automated and carried out at high speed according to this algorithm.
  • the object-like edge is used to determine the peripheral edge (segmentation limit, contour mask) by simply determining the edge pixels.
  • an edge mask is also determined according to the invention, from which characteristic properties of the edge width and homogeneity can be derived in a subsequent image analysis.
  • the edge determination 105 (see FIG. 2) for determining the edge mask comprises a first step of edge definition and a second step of edge scaling. Both steps are carried out under the general standardization requirement for establishing comparability with reference images.
  • the edge definition is based on the histogram analysis mentioned above, by defining an edge interval around the determined threshold value (segmentation limit) and all pixels are determined whose blue values fall within this border interval.
  • it is possible to calculate a skin resemblance measure for each pixel of the determined lesion to sort the lesion pixels thereon according to their skin resemblance, and to define a certain proportion of the skin-closest points as the lesion edge.
  • the skin similarity measure is in turn given by the color value (eg blue value).
  • the proportion of the image points defined as the edge can comprise, for example, 10% of the most skin-like pixels, although this value can be optimized depending on the application and the results of the image processing.
  • the determined edge area can then be subjected to a large normalization in order to achieve the edge mask by scaling the binary boundary image determined by the edge definition with the large normalization factor f.
  • the large normalization factor f results from the normalization step 104 (see FIG. 2), in which the object mask of the lasion is scaled in relation to a specific area (with a specific number of pixels) that is uniform for reference purposes.
  • FIG. 6 An example of an edge mask from an image of a pigment change processed according to the invention is shown in FIG. 6. It can be seen that the determination of the edge mask creates a two-dimensional structure which, in addition to the purely geometric position of the lesion edge, contains additional information about its extent and structure, which will be discussed in more detail below.
  • the normalization factor f is determined by (A re f / A a ) ⁇ , where A re f denotes an object reference area and A a the area of the current object
  • the color quantization 106 is aimed at generating an image (color symbol) quantized in relation to prototypical colors from the recorded image, from which color features can be derived which are reproducibly comparable with corresponding color features of reference images.
  • the formation of the color symbol represents a coding and comprises the projection of the colored image onto a set of prototypical colors.
  • the prototypical colors result from a separate application-specific definition of color clusters in a suitable color space.
  • the color clusters form a partitioned feature space and are determined using a hierarchical fuzzy clustering method from a training set of a large number of recorded color images.
  • a color space is selected as a suitable color space, which delivers particularly good class-uniform results for the later derivation of color features with regard to the evaluation accuracy.
  • the so-called YUV color space in which two axes are formed by color differences and one axis by a brightness measure, has proven to be suitable for processing skin images.
  • the color palette of the captured image is preferably reduced to approx. 10 to 30 prototype color clusters reduced.
  • the projection onto the clusters takes place by determining the Euclidean distance to all clusters for each pixel, determining the minimum distance to a next cluster and assigning the respective pixel to this next cluster (so-called "next neighbor matching").
  • the mask processing takes place as a function of correction variables which are derived from the image analysis 200 of the visualization 300 and / or the classification 400.
  • the A, B, C and D components of the image parameters determined according to the invention described below are not diagnosis results. It is possible, in applications of the invention other than the melanoma examination given by way of example, only individual parameters described below or further parameters derived therefrom. to determine guided image parameters in the image analysis 200.
  • Global components index in the figures: G
  • local components index in the figures: L
  • Local components are thus location-related, quantitative parameters that relate to specific image coordinates with an application-specific, definable spatial resolution.
  • the spatial resolution can correspond to one image pixel or a large number of image pixels. Up to 100 image pixels can typically be combined to form image tiles, as can also be seen from FIG. 13d (see below).
  • the simultaneous detection of local and global components for the image parameters represents a particular advantage of the invention.
  • local parameters can also be specified and, as in FIGS. 7, 9, 10 and 11 are illustrated, visualized. This enables the user of the system (e.g. the dermatologist) to identify the local image features on the basis of which the image processing system delivers certain global image features and then carry out the diagnosis on the basis of this finding.
  • step 220 FIG. 2 The determination of the B component (s) (step 220 FIG. 2) for evaluating the transition or edge of the lesion is described below with reference to FIG. 7.
  • 7 schematically shows details of the border determination 220 on the basis of the features of the edge mask, the contour mask and the large normalization factor f.
  • the border determination 220 comprises an edge point classification 221, in which the pixels of the edge mask are classified in dependence on the respective scaling index are assigned to different submasks, a homogeneity determination 222, in which a parameter of the boundary homogeneity is derived from the spatial arrangement of the edge mask, an edge profile determination 223, in which features of the abruptness of the lesion transition are derived, a detection of the edge direction continuity 224 by means of variance features of the edge mask and a detection of the contour roughness 225 by means of the fractal dimension of the contour mask.
  • the edge point classification 221 is aimed at separating lasions with a flatly extended edge region, as is typical for melanomas, from lesions with a sharply delimited edge region.
  • the result of the boundary point classification 221 is shown visually as follows or represented by a parameter B1.
  • the scaling mdex is calculated for each point of the border mask.
  • the number of pixels whose scaling index lies above a predetermined limit and the number of remaining pixels are then determined.
  • the pixels are assigned to submasks below or above the limit, which are then visualized on a display for further assessment.
  • the submasks which each represent the pixels with a ⁇ l or a> l, comprise areas of almost the same size, whereas in the case of FIG. 8B, the submask with a> l is much more pronounced.
  • the lesion shown in FIG. 8B has a larger number of pixels in the edge region which have a relatively large scaling index.
  • the edge area according to FIG. 8A is more sharply delimited, so that the lesion is not assigned to a malignant melanoma, but to a benign pigment change.
  • the visualized result can also be done with the Bl parameter according to:
  • n a> ⁇ the number of pixels with a scaling index a> l and N edge represent the total number of pixels of the edge mask.
  • a dimension B2 is determined to record the fluctuations in the border thickness along the extent of the lesion.
  • parameter B2 results from parameter B1 according to equation (1) and a large number of local parameters bl:
  • the local parameters bl x result from the border mask being covered with a grid and the local parameter bl x being calculated analogously to equation (1) for all n grid windows which contain a minimum number of pixels.
  • the grating size and the minimum number of image points are selected appropriately depending on the size of the lesion.
  • the parameter for the edge homogeneity B2 grows if there are large fluctuations in the parameter bl m with respect to the global parameter B1 along the circumference.
  • a larger parameter B2 means a larger boundary homogeneity.
  • the edge profile determination 223 serves to further characterize the abruptness of the lesion transition.
  • a local environment (window) is defined for each pixel of the edge mask and the orientation of the edge of this local environment exercise determined.
  • the alignment results from a linear regression of the neighboring points within the window.
  • the edge angle of the regression line with respect to the horizontal is determined and the amount of pixels in the window under consideration is directed into the horizontal by this edge angle. This is illustrated by way of example in FIG. 6.
  • the anisotropy scaling a x y in the y direction are then determined using the scaling vector method (SVM), as described in DE 196 33 693.
  • SVM scaling vector method
  • n (a y ⁇ 0.3) denotes the number of pixels with an anisotropic scaling index a y ⁇ 0.3.
  • another suitable limit value can also be selected instead of the limit value 0.3.
  • the size n refers to the entire edge.
  • One or more of the following alternative options I, II and III can be implemented for the detection of the edge direction continuity 224 (see FIG. 7).
  • an edge angle is first calculated for each pixel of the edge mask in accordance with its local environment. The respective contact angle value is assigned to each pixel.
  • the scaling mdices a of the Wmkelwertsentes are then calculated according to the isotropic SIM, as is known from DE 43 17 746.
  • the B parameter B4 then results analogously to equation (3), with the scaling mdices of the Wmkelwertsentes taken into account here.
  • the distribution of the local angular variances in II and III is quantified by their statistical moments (mean, variance, etc.) and / or by an entropy measure and printed out by parameter B4.
  • the contact angle is calculated for each pixel in its local environment (window).
  • the variance of the contact angles in a window (“slidmg window”), centered on the point under consideration, is calculated for the total number of points.
  • the parameter B4 then results as the entropy of the normalized frequency distribution of the angle variances for all pixels of the edge mask.
  • the parameter B4 (entropy) is a measure of the occupation of the intervals of the histogram of the root variances and grows with the width of the root distributions.
  • parameter B4 is the entropy of the normalized frequency distribution of the angle differences for all pixels of the edge mask. The more rugged the edge mask is, the more the angles associated with a pixel differ, so that parameter B4 is again a statistical measure of the regularity of the boundary.
  • the roughness determination 225 does not refer to the edge mask, but to the contour mask (one-dimensional edge of the object mask (see FIG. 2).
  • the parameter B5 results from the determination of the fractal dimension (hereinafter: FD)
  • the image of the contour mask can first be subjected to a large standardization taking into account the normalization factor f.
  • the FD of the contour is calculated according to the Flook method, as described in detail by AG Flook in "Powder Technology" (Vol. 21 , 1978, p. 295 ff.) (See also E. Claridge et al, "Shape analysis for classification of malignant melanoma", J. Biomed. Eng. 1992, Vol. 14, p. 229).
  • the FD is a measure of the complexity of the contour: If the curve of the contour mask is approximated by a polygon, the number of steps required depends on the respective step size, the FD is a measure of this dependency, depending on the parameters of the methodFlook can determine a textureile and / or a structural FD.
  • the texture FD describes distant irregularities in the contour, while the structural FD captures larger fluctuations.
  • the parameters B1-B5 are passed on to the classification 400, in which an evaluation algorithm can be processed. Furthermore, the parameters B1-B4 are visualized together with the edge mask, so that an operator of the image processing system can view the local image parameters and, if necessary, manually change boundary conditions and parameters of the statistical processing such as grids or window sizes or scaling limit values.
  • the local image parameters are preferably viewed with a false color representation, with which different local parameters for identifying, for example, a particularly uniform and narrow or a particularly non-uniform wide edge are made visible.
  • the step of color evaluation 230 (see FIG. 2) is shown in detail in FIG. 9.
  • the color assessment 230 comprises a color diversity determination 231 and a color distribution determination 232.
  • the color diversity determination 231 is aimed at determining the presence and the frequency distribution of the prototypical colors defined in the color quantization 106 (see FIG. 2) in the lesion.
  • the color distribution determination 232 is aimed at determining the geometric arrangement of the prototypical colors in the lasion.
  • the parameter C1 results from the color diversity determination 231 by determining the statistical weights p ⁇ of the M prototypical colors according to equation (4) and the color coding entropy derived therefrom according to equation (5).
  • the statistical weight p a. of the color cluster I corresponds to the ratio of the number of pixels n- of the color cluster 1 to the total number N of the lesion pixels (N corresponds to the number of pixels of the object mask).
  • the measure Cl for the color diversity of the pigment change results from the color coding entropy according to:
  • Cl (-l / ln (M)) • ⁇ ip nfpx) (5) Cl is thus a measure of the frequency distribution with which the individual clusters are occupied.
  • the color coding entropy C1 is first calculated as a global feature in accordance with equation (5). Then the examined lesion is covered with a regular grid, the grid size being selected depending on the lesion size. The respective local entropy of color coding c ⁇ is calculated analogously to equation (5) for all n lattice windows which are filled at least one third with lasion pixels (pixels of the object mask). The parameter C2 then results from the color coding variance from equation (6)
  • the image analysis 200 comprises a structure description 240 (see FIG. 2), the details of which are shown in FIG. 10.
  • the structure description 240 contains structure recognition methods 241, 242 and a position determination 243 in which the spatial arrangement of the structures determined during the structure recognition is recorded.
  • the structure recognition methods 241, 242 represent alternative image processing that can be implemented individually or together.
  • the first structure recognition method 241 initially includes a color transformation 107, if this is not already in the Image preprocessing (see FIG. 2) has been carried out.
  • the color transformation the recorded image is transformed into a suitable color space, which allows projection onto a color plane in which the structures to be detected have a particularly high contrast.
  • the recorded image is projected (possibly in an adjusted form) onto the red plane for the detection of point-like structures or onto a gray value-brightness level for the detection of network-like structures.
  • the scaling indices a are determined for all image points of the transformed image and the frequency spectrum N (a) for the total number of points. Using the structure-ordering properties of the N (a) spectrum, the pixels belonging to certain structures are identified and recorded quantitatively.
  • the structure recognition is carried out using conventional image processing methods.
  • the recorded image is transformed, for example, into the red plane and subjected to an increase in contrast and a selective smoothing.
  • Selective smoothing means that a mean value calculation of the red values takes place, which however only includes pixels that have a red value within a certain interval around the mean value.
  • red value densities generally: gray value densities
  • the color image is converted into a gray value image, an increase in contrast, a line detection and a subsequent phantom cleaning.
  • certain image points within the lasion can be assigned to structural elements such as points, network structures or clods.
  • the distinction between points and clods is made by the determination of the number of pixels belonging to the respective structure.
  • the D components D1 and D2, which are determined in the structure recognition method 241, 242, can, for example, each comprise the flat part of the respective structure class (point, network, or clod) on the total lesion surface and the number of structures in the various structure classes.
  • the compactness c can be calculated depending on a length dimension (e.g. maximum extension) of the structure and the area of the structure.
  • the details of the symmetry evaluation 210 within the image analysis 200 are described in detail with reference to FIG. 11.
  • the symmetry ratings 211-215 relate to the geometric properties of the contour, the border, the object mask, the color distribution and the structure distribution. This means that individual analysis steps from the analysis methods 220, 230 and 240, as described above, are adopted in the symmetry determination 210 in an identical or modified form. This means that all quantities from the rest of the image analysis are used.
  • the contour symmetry determination 211 gives as a parameter an angle ⁇ with respect to a reference axis (for example the horizontal), which corresponds to the inclination of the axis of symmetry of the outer contour of the lesion with respect to the reference axis.
  • a reference axis for example the horizontal
  • the contour mask is divided into two segments of equal size in a plurality of steps and the fractal dimensions FDi, FD of the segments are calculated as described above.
  • An intermediate parameter B ⁇ is calculated for each segment in accordance with equation (7).
  • the angle of rotation which corresponds to a minimum value among the set of intermediate parameters B ⁇ , provides the inclination of the axis of maximum asymmetry with respect to the reference axis with respect to the FD ⁇ f2 .
  • the boundary symmetry determination 212 and the mask symmetry determination 213 are derived on the basis of symmetry properties of the local parameters from the method step 220.
  • the color symmetry determination 214 comprises a color space transformation of the recorded image, the determination of axes of symmetry of the transformed image and the derivation of color parameters of the pixels in relation to the axes of symmetry.
  • the color symmetry is calculated from the mean color difference of axisymmetric pixels with respect to the object symmetry axis.
  • the texture symmetry determination 215 in turn takes place on the basis of local features that were determined in method step 240 of the image analysis.
  • the explained method steps of the image analysis 200 are particularly advantageous since all processes are completely automated. are capable of high accuracy and reproducibility and can be easily adapted to subsequent diagnostic procedures.
  • the parameter recordings are also objectified and standardized and can be carried out at high speed.
  • the visualization 300 (see FIG. 1) is provided in all phases of the image preprocessing 100 and the image analysis 200.
  • the visualization 300 is a false color representation, an artifact marking, an object marking, an edge marking (in each case in the overlay method) and in the image analysis 200 the marking of edge elements, the representation of the color variety and color homogeneity with false color representations corresponding to the belonging to the prototypical color clusters , the visualization of structural elements (overlay process) and symmetry features (e.g. the symmetry axes).
  • This visualization has the advantage that parameters of the statistical processing methods can be manually optimized by the operator of the image processing arrangement and the image processing is made transparent and comprehensible.
  • the above-described steps of image preprocessing, image analysis, visualization and classification are not limited to the processing of skin images given as an example, but generally in the examination of tissue images (for example wound healing images for examining cosmetic active ingredients, images for assessing ulcers, images for quantification hair loss, images to investigate the effects of cosmetics, images of tissue traces in criminal applications and the like.) Applicable.
  • the invention is not limited to optically recorded tissue images, but can generally be used advantageously in all results of imaging methods with complex structured images.
  • the figures 12a-f and 13a-d illustrate the application of the invention using a specific example, namely image processing for a malignant melanoma. The illustrations serve only to illustrate the example, and for reasons of printing technology, gray tones or color tones are not reproduced.
  • Fig. 12a is a schematic representation of a captured image, which is in the original em digital video image with color tones and brightness gradations.
  • the framed area corresponds to the image recorded with a CCD camera chip (512 512 pixels), which represents a skin area of 11.8 11.8 mm.
  • CCD camera chip 512 512 pixels
  • the figures 12b-f show the object mask derived from the lesion, the artifact mask which only represents the two hairs, the inline contour mask, the flat edge mask and the color symbol image.
  • the visualization of the local image parameters was made in grayscale or false color, a differentiation between areas with larger local image parameters B1, which correspond to a wider and more uneven border, and with smaller local image parameters B1 L , which correspond to a more uniform, narrower border.
  • the display of the local image parameters thus shows which marginal areas make which contribution to the global image parameters.
  • the determination of the boundary homogeneity 222 see FIG.
  • the parameter B2 relates to the fluctuations in the border thickness along the circumference of the lesion.
  • the local image parameters for individual image tiles are determined accordingly. This is illustrated in Fig. 13a.
  • the tiles with a lighter border area refer to an even, narrow border, whereas the tiles with darker border areas emphasize an uneven, wider border.
  • the local image parameters can be visualized in a gray value or color selective manner.
  • the global image parameters B4 G corresponding to the three alternatives I, II and III are 0.1598, 0.8823 and 0.6904. The differences between the alternatives have been explained above.
  • One or more of these image parameters are selected depending on the application.
  • the local image parameters are visualized.
  • the figures 13b-d show results of the structure recognition methods 242 and 243 (see FIG. 10) by way of example.
  • the image extract of the detected network structures is shown in FIG. 13b and that of the detected point structures in FIG. 13c.
  • the global parameter D2 G is 0.1213.
  • the local visualization of the image parameter D3 according to the method for determining the spatial arrangement of the structures 243 (see FIG. 10) is shown in FIG. 13b.
  • Bright image tiles mean the presence of a particularly homogeneous area, while darker image tiles indicate more structured image areas.
  • the global image parameter D3 G is 0.04104.
  • the C image parameters derived from the color symbol according to FIG. 12f can also be global determine and display locally.
  • the local parameters are not illustrated for printing reasons. In real visualization there are false color representations, which indicate areas with few colors and areas with many colors, for example.
  • the invention also relates to a device for implementing the method described above, which comprises in particular a recording and lighting device, a camera device, storage devices, data processing devices and a display device.
  • the advantages of the invention result from the provision of a high quality and standardized image acquisition.
  • a quantitative recording of image parameters is possible which correspond to the image parameters of a visually evaluating expert and are based on his viewing and interpretation habits.
  • the image information content is broken down into elementary, reproducible categories, with a high degree of intra- and inter-individual comparability.
  • the described steps of image acquisition and image processing are used for the first time in the assessment of biological tissue.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Bei einem Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes wird nach einer Bildaufnahme zur Erzeugung eines digitalen Aufnahmebildes das Aufnahmebild einer Bildvorverarbeitung mit einer Bildbereinigung und einer Segmentierung eines zu untersuchenden Gewebeabschnittes und einer Bildanalyse zur Ermittlung vorbestimmter Bildparameter unterzogen, wobei bei der Bildaufnahme ein digitalisiertes Bild zur Erzeugung des Aufnahmebildes Korrekturschritten unterzogen wird, die eine Shading- und/oder Farb-Korrektur auf der Grundlage von Helligkeits- und/oder Farbkorrekturgrößen umfaßt, die aus Abgleichsmessungen ermittelt werden, und/oder wobei bei der Bildvorverarbeitung binäre Masken erzeugt werden, die eine Objektmaske, eine Artefaktmaske, und zur Randdarstellung eine linienhafte Konturmaske und/oder eine flächige Randmaske umfassen, und bei der Bildanalyse die Bildparameter des Gewebeabschnittes ermittelt werden, die für die Randbreite, die Randregelmäßigkeit, die Farbvielfalt, die Farbverteilung, die Symmetrie und/oder das Auftreten von Texturen charakteristisch sind.

Description

Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes
Die Erfindung betrifft Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes, insbesondere zur Verarbeitung von Gewebebildern, z.B. dermatoskopischen Bildern, um Gewebemerkmale zu erkennen oder Gewebeveranderungen zu identifizieren und/oder zu bewerten. Die Erfindung betrifft auch Vorrichtungen zur Implementierung derartiger Verfahren.
Es ist allgemein bekannt, digitale Bildverarbeitungstechniken im Bereich der Erfassung und Bewertung von Abbildungen biologischer Gewebe einzusetzen. Dabei erfolgt üblicherweise nach einer digitalen Bildaufnahme eine Speicherung des Aufnahmebildes und dessen Vorverarbeitung zur Bildbereinigung und Trennung eines interessierenden Bildausschnittes. Anschließend erfolgt eine Bildanalyse zur Ermittlung bestimmter Bildparameter. Die Nachteile dieser Vorgehensweise wird im folgenden am Beispiel allgemein bekannter herkömmlicher Systeme zur Verarbeitung dermatoskopischer Bilder zur frühzeitigen Erkennung bösartiger Pigmentveranderungen der Haut erläutert.
In herkömmlichen Systemen zur Melanomerfassung werden zur Bildaufnahme gewöhnlich Videokameras mit automatischer Helligkeits- und Farbeinstellung verwendet. Dadurch erfolgt die Bildaufnahme in Abhängigkeit von der Färbung oder Pigmentie- rung eines zu untersuchenden Hautabschnittes unter jeweils verschiedenen Aufnahmebedingungen, so daß anschließend ein Vergleich von Helligkeits- oder Farbmerkmalen mit Referenzbil- dern unzuverlässig oder ausgeschlossen ist. Ein weiterer Nachteil besteht darin, daß bei der herkömmlichen Bildaufnahme gewöhnlich übliche Lichtquellen aus der Medizintechnik eingesetzt werden. Diese Lichtquellen (z.B. Kombinationen aus Halo- genlampen mit Lichtleitern) unterliegen je nach den Betriebsbedingungen lang- und kurzfristigen Schwankungen der Helligkeit und der Farbtemperatur. Dies ist wiederum nachteilig für die Vergleichbarkeit der aufgenommenen Hautabbildungen .
Weitere Nachteile ergeben sich aus der bisher üblichen Bild- vorverarbeitung . Gewöhnlich werden die digitalen Aufnahmebil- der im Erfassungssystem gespeichert, um anschließend je nach den Untersuchungsanforderungen einer Vorverarbeitung unterzogen zu werden. Diese umfaßt beispielsweise eine Bildberemi- gung zur Entfernung von Bildstörungen in Form von Haaren oder Blasen m einer Immersionsflussigkeit, eine geometrische Abgrenzung zum Beispiel einer abgebildeten Hautlasion vom umgebenden Areal oder eine Falschfarbendarstellung zur Anzeige von Lasionsbereichen, die sich durch besondere Färbungen auszeichnen. Durch die nicht reproduzierbaren Aufnahmebedingungen ist aber eine weitergehende Vorverarbeitung zur Bereitstellung von Bildparametern, die bei einem sich anschließenden Untersuchungsverfahren eine Aussage über die Dignitat der Hautlasion zulassen, bislang nicht oder mit einer für praktische Anwendungen nur unzureichenden Zuverlässigkeit möglich. Generell ist die Zahl und Zuverlässigkeit der erzielbaren Aussagen beschrankt und meist nicht mit Erfahrungswerten vergleichbar.
Schließlich erlauben es die herkömmlichen Bildverarbeitungs- verfahren wegen der fehlenden Vergleichbarkeit von Abbildungen, die zu verschiedenen Zeitpunkten aufgenommen wurden, nicht, die zeitliche Entwicklung von Hautveranderungen anhand der Veränderung charakteristischer Bildparameter zu erfassen.
Die genannten Probleme treten nicht nur bei der Erfassung von Hautlasionen zur Fruherkennung maligner Melanome auf, sondern generell bei der Beobachtung von oberflächlichem oder innerem biologischen Gewebe wie beispielsweise bei der Verlaufskontrolle bei einer Wundheilung, bei kosmetischen oder pharmazeu- tischen Tests oder bei endoskopischen Untersuchungen. Bei all diesen und ähnlichen Techniken zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes besteht ein großer Bedarf nach einer verbesserten Bildverarbeitungstechnik .
Aus DE-OS 43 17 746 ist ein Verfahren zur Raumfilterung einer Punkteverteilung bekannt, die eine von Störungen überlagerte Struktur darstellt und deren Punkte durch n Koordinatenwerte eines n-dimensionalen Raumes definiert sind. Bei dem Verfahren, das auf der sogenannten Skalierungsmdexmethode (im folgenden: SIM) basiert, werden für jeden Punkt die Funktion, die die Abhängigkeit der Anzahl der Punkte in einer Umgebung des betreffenden Punktes vom Durchmesser der Umgebung darstellt, sowie ein Skalierungskoefflzient , der gleich dem Exponenten (a) einer einfachen Potenzfunktion ist, welche die genannte Funktion möglichst gut annähert, ermittelt. Ein Vergleich der Skalierungskoeffizienten der zu untersuchenden Struktur und einer äquivalenten n-dimensionalen stochastischen Punkteverteilung liefert die Untermenge der Punkte der zu untersuchenden Struktur, die die von Störungen befreite Struktur repräsentieren. Hiermit werden alle Einzelheiten von SIM, die aus DE-OS 43 17 746 bekannt sind und die Anwendung des Raumfllter- verfahrens auf die Untersuchung beliebiger Punkteverteilungen in n-dimensionalen Räumen betreffen, ausdrücklich in die Offenbarung der vorliegenden Patentanmeldung einbezogen.
In der deutschen Patentanmeldung 196 33 693 wird eine als Ska- lierungsvektormethode (im folgenden SVM) bezeichnete Erweiterung von SIM beschrieben. SVM ist ein Verfahren zur Erfassung von Targetmustern in einer Textur, mit der ein Systemzustand als Verteilung von Punkten m einem n-dimensionalen Raum darstellbar ist. Im Unterschied zur isotropen SIM werden bei SVM anisotrope Skalierungsmdizes bestimmt, die charakteristisch für die Abhängigkeit der Projektion der Punktdichte auf eine bestimmte Koordinate vom Abstand zu einem betrachteten Punkt ist. SVM enthalt ebenfalls einen Vergleich der Verteilung der anisotropen Skalierungsindizes mit vorbestimmten Vergleichs- verteilungen . Hiermit wird auch der gesamte Offenbarungsgehalt der DE 196 33 693 ausdrucklich in die vorliegende Patentanmeldung einbezogen.
Die Aufgabe der Erfindung ist es, verbesserte Bildaufnahme- und Bildverarbeitungsverfahren zur Abbildung biologischen Gewebes anzugeben, die sich durch eine hohe Reproduzierbarkeit auszeichnen, die eine Standardisierung ermöglichen und mit denen der Anwendungsbereich der genannten herkömmlichen Techniken erweitert wird. Die Aufgabe der Erfindung ist es ferner, Vorrichtungen zur Implementierung derartiger verbesserter Bildverarbeitungsverfahren anzugeben .
Die Aufgaben der Erfindung werden mit Verfahren bzw. Vorrichtungen mit den Merkmalen entsprechend den Patentansprüchen 1, 2 und 21 gelost. Vorteilhafte Ausfuhrungsformen der Erfindung ergeben sich aus den abhangigen Ansprüchen.
Die Losung der genannten Aufgabe basiert auf der Idee, bei einem Verfahren zur Bilderfassung und -bearbeitung je nach den konkreten Anforderungen an das Verarbeitungsergebnis bei einzelnen oder allen Schritten der Bildaufnahme, Bildvorverarbei- tung und Bildanalyse die Erfassung digitaler Bilder und/oder charakteristischer Bildparameter der digitalen Bilder unter normierten, eine zeit- und geräteunabhängige Vergleichbarkeit gewährleistenden Bedingungen durchzufuhren. Hierzu werden eine Reihe von Korrekturen der Bildaufnahmebedmgungen sowie Normierungen, Transformationen und/oder Projektionen der aufgenommenen Bilder in Punktraume durchgeführt, in denen Parameteranalysen in normier- und reproduzierbarer Weise durchfuhrbar sind. Es wird unterstrichen, daß die erfmdungsgemaßen Maßnahmen zur Verbesserung der Aufnahme einerseits und der Bildverarbeitung (Bildvorverarbeitung- und Bildanalyse) ande- rerseits je nach den Anforderungen einer konkreten Anwendung einzeln oder gemeinsam bereitgestellt werden können. Auch wenn bei der unten im einzelnen erläuterten Anwendung der Erfindung bei der Erfassung und Bearbeitung von dermatoskopischen Bildern die Korrekturschritte bei der Bildaufnahme besonders vorteilhaft mit den Normierungs- und Transformationsschritten bei der Bildverarbeitung zusammenwirken, so ist es bei anderen, ebenfalls weiter unten genannten Anwendungen auch möglich, entweder eine erfmdungsgemaße Verbesserung der Bildaufnahme oder eine erfmdungsgemaße Verbesserung der Bildverarbeitung vorzusehen. Ein besonderer Vorteil der Erfindung ergibt sich aus der neuartigen Bildverarbeitung, insbesondere aus der Maskenbearbeitung, die reproduzierbare und mit praktischen Erfahrungswerten aus der nicht-automatischen Gewebeerkennung kompatible Ergebnisse liefert.
Weitere Vorteile der Erfindung und Einzelheiten erfmdungsge- maßer Verfahrensweisen und Vorrichtungen werden im folgenden unter Bezug auf die beigefugten Zeichnungen beschrieben.
Es zeigen:
Fig. 1: ein Flußdiagramm zur Illustration der erfin- dungsgemaßen Bildaufnähme erfahren;
Fig. 2: eine Ubersichtsdarstellung zur Illustration der erfmdungsgemäßen Bildverarbeitung;
Fig. 3: Histogrammdarstellungen (N (a) -Spektren) zur Anwendung der Skalierungsmdexmethode bei der Bildbereinigung;
Fig. 4: eine Beispieldarstellung einer Artefaktmakse; Fig. 5: Histogrammdarstellungen zur iterativen Histogrammanalyse in einem Farbunterraum zur Trennung von Lasion und Hauthintergrund;
Fig. 6: eine schematische Darstellung einer Randmaske;
Fig. 7: Ubersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Randeigenschaften eines untersuchten Gewebeabschnittes charakteristisch sind;
Fign. 8a, 8b: Schematische Randdarstellungen zur Illustration der Analyse der Bildparameter , die für Randeigenschaften charakteristisch sind;
Fign. 9a, 9b: Ubersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Farbeigenschaften eines untersuchten Gewebeabschnittes charakteristisch sind;
Fig. 10: Ubersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Struktureigenschaften eines untersuchten Gewebeabschnittes charakteristisch sind;
Fig. 11: Ubersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Symmetrie eigenschaften eines untersuchten Gewebeabschnittes charakteristisch sind;
Fig. 12a-12f: schematisch beispielhaft ein Aufnahmebild und zugehörige Masken; und
Fig. 13a-13d: beispielhafte Illustrationen zur Erfassung und
Darstellung lokaler Bildparameter. Die Erfindung wird im folgenden am Beispiel αer Aufnahme (a) und Verarbeitung (b) digitaler dermatoskopischer Bilder der Haut beschrieben.
(a) Bildaufnahme
Die Bildaufnahme umfaßt die Verfahrensschritte, die zur Lieferung eines helligkeits- und farbkompensierten Digitalbildes oder Aufnahmebildes (z.B. RGB-Bild) durchgeführt werden, das Ausgangspunkt der unten beschriebenen Bildverarbeitung ist. Die Bildaufnahme umfaßt insbesondere Abgleichsmessungen zur Ermittlung von Helligkeits- und Farbkorrekturgroßen, die Erfassung der Aufnahme von Bildern eines zu untersuchenden Gegenstandes und Korrekturschritte zur dynamischen Korrektur des erfaßten Rohbildes auf der Grundlage der Helligkeits- und Farbkorrektur großen. Die Abgleichsmessungen sind jeweils einmal für eine bestimmte Meßkonfiguration erforderlich, die sich durch unveränderte Kamerabedingungen, Beleuchtungsbedingungen und einen konstanten Abbildungsmaßstab auszeichnet. Einzelheiten der Bildaufnahme sind schematisch in Fig. 1 dargestellt.
Die Abgleichsmessungen 10 umfassen nach einer Abschaltung aller vorhandenen automatischen Kameraeinstellungen (wie z.B. eine automatische Verstarkungssteuerung, AGC, eine automatische Weißwertbestimmung, Shutter, Fokusautomatik usw.) eine Schwarzbildaufnahme 11, eine Weißbildaufnahme 12, eine Farbreferenzaufnahme 13 und die Korrekturgroßenermittlung 14. Vor den genannten Schritten der Abgleichsmessungen 10 erfolgt zunächst eine Signalanpassung der Schwarz- und Weiß-Pegel an das verwendete Videosystem. Bei eingeschalteter Beleuchtung und fokussiertem Bild wird wahrend der Erfassung eines Weißbildes die Blende oder eine entsprechende Shutter-Einrichtung so weit geöffnet, daß der Kanalpegel voll ausgelastet wird. Alle Be- leuchtungs-, Fokussierungs-Blenden und Verstarkungsemstellun- gen des Aufnahmesystems werden als Konfigurationsdatei gespeichert. Diese Signalanpassung wird immer dann wiederholt, wenn sich eine der Einstellungen durch betriebsbedingte Veränderungen oder durch Instabilitäten ändert.
Zur Schwarzbildaufnahme 11 wird das Kameraobjektiv vollständig abgedunkelt und eine Signalpegelemstellung für den Schwarzwert vorgenommen. Die Signalpegelemstellung erfolgt derart, daß die Grauwertverteilungen in den drei Farbkanalen einander gleich sind und unterhalb vorbestimmter Grenzen liegen. Erfolgt die Bildaufnahme beispielsweise mit einem digitalen Videosystem mit einer Signalauflosung über 256 Pegelstufen, so kann die vorbestimmte Grenze innerhalb der unteren Stufen 0 bis 15 gewählt werden. Die mit den ermittelten Signalpegelem- stellungen aufgenommenen Schwarzbilder S(x, y) der Farbkanale dienen als Schwarzreferenzbilder.
Bei der Weißbildaufnähme 12 wird entsprechend ein weißes oder graues Referenzbild aufgenommen und die Blende und/oder die Kameraverstarkung so eingestellt, daß wiederum die Signalpegel in den drei Farbkanalen einander gleichen und oberhalb einer vorbestimmten Weißgrenze liegen. Die Weißgrenze kann entsprechend dem obigen Beispiel im Bereich der oberen Signalpegelstufen 200 bis 255 liegen. Die mit den ermittelten Blenden- und/oder Verstarkungswerten aufgenommenen Weißbilder der Farbkanale dienen als Weißreferenzbild W(x, y) . Die Weißbildauf- nahme 12 wird für jede Vergroßerungsemstellung durchgeführt, bei der spater die eigentliche Bilderfassung erfolgt.
Anschließend werden aus den Schwarz- und Weißbildern jeweils entsprechend ein mittlerer Schwarzwert Sm und ein mittlerer Weißwert Sm (jeweils ein mittlerer Weißwert für jede Vergroßerungsemstellung) ermittelt. Aus den Schwarz- und Weißbildern wird eine sogenannte Shadmg-Matrix gebildet, die bei den spa- teren Korrekturschritten 20 zur Shadmg-Korrektur vorgesehen
Die Farbreferenzaufnahme 13 ist vorgesehen, um kameraspezifI- sche Farbfehler der aufgenommenen Rohbilder korrigieren zu können. Die Farbreferenzaufnahme 13 ist somit nicht zwingend erforderlich, falls bei einer angestrebten Anwendung eine Vergleichbarkeit der mit verschiedenen Kameras aufgenommenen Bilder nicht von Interesse ist. Die Farbreferenzaufnahme 13 erfolgt derart, daß zunächst Farbreferenzen als Sollwerte nach einer Referenzkarte mit vorbestimmten, bekannten Farbwerten erfaßt werden. Die Erfassung erfolgt beispielsweise durch eine Abspeicherung der Sollwerte im Kamerasystem. Anschließend wird die Referenzkarte der tatsächlich verwendeten Kamera aufgenommen. Die dabei erhaltenen Farbwerte dienen als Ist-Werte, deren Abweichung von den Soll-Werten ermittelt wird. Der Soll- Ist-Vergleich erfolgt mit einer oder mehreren an sich bekannten Regressionsmethoden (z.B. auf Grundlage der Fehlerquadratsrechnung) oder mittels neuronaler Netze. Das Ergebnis der Berechnung ist eine 3*3 - Korrekturmatrix K (kll, kl2, kl3, k21, ... , k33 ) , mit der ein aufgenommenes RGB-Bild in ein korrigiertes R'G'B'-Bild gemäß
(R', G', B') = K (R, G, B)
umgewandelt wird.
Die Referenzkarte, auf deren Grundlage die Farbreferenzaufnahme 13 erfolgt, kann eine an sich bekannte, standardmäßige Referenzkarte sein. Es ist jedoch ersatzweise auch möglich, die Farbreferenzkarte anwendungsspezifisch das Aufnahmesystem zu integrieren. So ist es beispielsweise möglich, bei den dermatologischen Untersuchungen, bei denen der zu untersuchende Hautbereich an einer transparenten Platte anliegt, durch die die Bildaufnahme erfolgt, Farbreferenzmarkierungen auf der Platte anzubringen. Dies ist besonders vorteilhaft, da die Farbreferenzaufnahme 13 unter genau denselben Bedingungen durchgeführt werden kann, wie die eigentliche Bilderfassung 20.
Die Korrekturgroßenermittlung 14 (s. Fig. 1) umfaßt die Ermittlung der Shadmg-Matrix und der Farbkorrekturmatrix K in einem für die weitere Bearbeitung geeigneten Datenformat.
Die Bilderfassung 20 umfaßt alle Schritte der Aufnahme eines digitalen Videobildes des zu untersuchenden Objekts. Die Objektbeleuchtung erfolgt auf der Basis an sich bekannter Halogenbeleuchtungssysteme (gegebenenfalls in Kombination mit Lichtleitern) oder auch auf der Basis von Leuchtdioden. Im letzteren Fall werden beispielsweise ringförmig angeordnete LED-Systeme verwendet. Diese sogenannten LED-Ringe umfassen beispielsweise 4 oder aber auch bis zu über 100 LED's. Die Vorteile der LED-Ringe bestehen in der vereinfachten Handhabung, der erhöhten Lebensdauer und Stabilität, in den verminderten Problemen bei der Lichtzufuhrung, da keine empfindlichen Lichtleiter erforderlich sind, in der problemlosen Spannungssteuerung und den deutlich vermindert auftretenden Temperatureffekten .
Die Aufnahme des Videobildes erfolgt mit einem Kamerasystem, das für eine Bildvergroßerung im Bereich von rd. 1- bis 20- fach eingerichtet ist. Die Vergrößerung wird abwendungsabhan- gig gewählt und liegt bei der Untersuchung von Melanomen vorzugsweise im Bereich von 3 bis 5. Zur Untersuchung melanozyta- rer Hautveranderungen, die vollständig auf einem CCD-Chip abgebildet werden sollen, wird die Vergrößerung beispielsweise so gewählt, daß eine Flache von 11,8 11,8 mm (Hautausschnitt) ganz auf dem Kamerachip m einem quadratischen Pixelfeld von 512 512 Pixeln erfaßt werden kann. Die Pixelgroße 0,023 mm definiert die Auflosung des digitalen Videobildes. Wird die Vergrößerung als Verhältnis des Auflösungsvermögens des Auges ohne optische Hilfsmittel zum Auflösungsvermögen mit dem optischen Hilfsmittel (entsprechend der Pixel) abgeschätzt, so ergibt sich ein Wert für die Vergrößerung von rd. 4. Wird das digitale Videobild auf einen typischen Monitor mit einer Pixelgroße von rd . 0,3 mm dargestellt, so liefert dies eine Bildgröße von rd . 14 cm und es ergibt sich so eine rd. 12- fache Vergrößerung. Dieses Maß besitzt den Vorteil, daß es als Darstellungsgroße für einen bewertenden Experten (z.B. Dermatologen) aus der Dermatoskopie her vertraut ist. Im Falle von Gewebeuntersuchungen wird eine Em-Chip- oderDrei-Chip-CCD- Kamera mit einem geeigneten Aufsatzadapter auf das Gewebe gesetzt, wie es beispielsweise von W. Stolz et al . in "Journal of the American Academy of Dermatology" (Band 35, Seite 202, 1996) beschrieben ist. Das Kamerasystem soll unter Remotekontrolle betrieben werden, um alle Einstellungen mit einem Computer gesteuert vornehmen zu können. Nach der Bilderfassung 20 wird das aufgenommene Rohbild den Korrekturschritten 30 zur Bereitstellung des Aufnahmebildes unterzogen, das Gegenstand der Bildverarbeitung ist.
Die Korrekturschritte 30 umfassen eine Shadmgkorrektur oder Untergrundkompensation 31 und ggf. eine Farbkorrektur 32. Die Shadmgkorrektur 31 umfaßt eine additive Korrektur, die bevorzugt eingesetzt wird, falls Beleuchtungsmhomogenitaten überwiegen, oder eine multiplikative Korrektur, die bevorzugt eingesetzt wird, falls Inhomogenitäten der Sensorik überwiegen. Die Untergrundkompensation zur Ermittlung des additiv (BA) bzw. multiplikativ (BN) korrigierten Bildes aus dem Rohbild (B) erfolgt gemäß :
BA (x, y) = B(x, y) - W(x, y) + Wm - Sm (additiv)
BM (x) = B(x, y) Wm /W(x, y) - Sm (multiplikativ). Das korrigierte Bild B, bzw. BM wird entsprechend der oben angegebenen Farbkorrekturform mit der Korrekturmatrix K multipliziert (Farbkorrektur 32) . Obwohl die Vergrößerung bei der Aufnahme des Videobildes verhältnismäßig gering ist (s. oben), hat sich der Einsatz der Shadmgkorrektur als besonders vorteilhaftes Merkmal erwiesen, mit dem Probleme bei der Falschausleuchtung des Objekts vermieden werden. Eine gleichmäßige Ausleuchtung bzw. die entsprechende Kompensation durch die Shadmgkorrektur sind jedoch von großer Bedeutung für die Farbquantifizierung und die Bewertung von Randern und Strukturen, wie dies unten erläutert wird.
Das nach der erfmdungsgemaßen Shading- und Farbkorrektur vorliegende Aufnahmebild besitzt den Vorteil, daß die Pixelwerte (Helligkeit, Farben) unabhängig von spezifischen Eigenschaften des Kamerasystems und der Aufnahmebedingungen sind, so daß die Vergleichbarkeit des Aufnahmebildes mit zeitlich und örtlich unabhängig aufgenommenen Aufnahmebildern gewährleistet ist und das Aufnahmebild eine reproduzierbare, normierte Eingangsgroße für die sich anschließende Bildverarbeitung darstellt. Durch die Verwendung von CCD-Kameras mit Remotesteuerung werden alle Einstellungen unter Computerkontrolle durchgeführt und registriert. Abweichungen von den Sollwertemstellungen werden damit erkannt.
(b) Bildverarbeitung
Die Bildverarbeitung liefert Bildmerkmale, die Ausgangspunkt für eine sich anschließende Identifikation und Bewertung von Hautveranderungen bezüglich ihrer Dignitat und Entwicklung sind.
Die erfmdungsgemaße Bildverarbeitung umfaßt gemäß Fig. 2 nach der Aufnahme eines Digitalbildes oder Aufnahmebildes, die unter Bezug auf die Fig. 1 beschrieben worden ist, eine Bildvor- Verarbeitung 100 und eine bewertungsrelevante Bildverarbeitung (Bildanalyse) 200. Weitere Verarbeitungsschritte schließen sich mit der Visualisierung 300 und Klassifizierung 400 an. Die Bildvorverarbeitung 100 ist allgemein darauf gerichtet, Auszuge von merkmalsspezifischen Regionen ("region of mte- rest") des Digitalbildes (sogenannte "Masken") zu erstellen, die dazu vorgesehen sind, Eingangsgroßen für lineare oder nichtlmeare Methoden der Bildverarbeitung zu bilden, die im Rahmen der sich anschließenden Bildanalyse 200 durchgeführt werden. Die erforderlichen Maskentypen richten sich je nach den zu analysierenden Merkmalen und den vorgesehenen linearen oder nichtlinearen Bildverarbeitungsmethoden wie z.B. der Ska- lierungsmdexmethode, der Bestimmung der fraktalen Dimension von Bildstrukturen, der Ermittlung generalisierter oder lokaler Entropiemaße, der Anwendung statistischer Verfahren oder dergleichen. Die Masken liegen in binarer Form vor. Bei der dargestellten Ausfuhrungsform umfassen die im Ergebnis der Bildvorverarbeitung 100 gelieferten Masken eine Artefaktmaske zur Markierung von Störungen im Aufnahmebild des untersuchten biologischen Gewebes, eine Objektmaske zur binaren Markierung eines bestimmten Gewebeabschnittes innerhalb des Aufnahmebil- des, eine Konturmaske, die den eindimensionalen oder linien- haften Grenzverlauf der Objektmaske repräsentiert, eine Randmaske zur zweidimensionalen Darstellung des Randbereiches des untersuchten Gewebeabschnittes und ein auf prototypische Farben (sogenannte "Farbsymbole" ) reduziertes Farbbild mit einer quantisierten Farbdarstellung des Aufnahmebildes . Weitere Ergebnisse der Bildvorverarbeitung 100 sind der Großennormie- rungsfaktor f (auch Skalierungsfaktor) und Farbtransformationen des Aufnahmebildes .
Es ist ein besonderes Merkmal der Erfindung, daß eine Zerlegung der Bildbewertung in elementare voneinander unabhängige Klassen von Bildcharakteπstika, namentlich von Geometrie-, Färb- und Struktureigenschaften, erfolgt. Die Masken und ubπ- gen Normierungs- oder Transformationsgroßen werden für die spatere Bildanalyse gespeichert. Em besonderer Vorteil dieser Vorgehensweise besteht darin, daß durch die Maskenbildung und Normierung (Große, Farbe) jedem Aufnahmebild em abgeleitetes Bild zugeordnet wird, mit dem dann die Bildanalyse für alle Aufnahme- und Referenzbilder unter vergleichbaren, normierten Bedingungen erfolgt.
(bl ) BildvorVerarbeitung
Die Bildvorverarbeitung 100 enthalt gemäß Fig. 2 eine Bild be- remigung 101. Die Bildberemigung 101 ist dazu vorgesehen, gewebefremde Bildelemente aus dem Aufnahmebild zu entfernen. Derartige Störungen (oder: Artefakte) durch gewebefremde Elemente werden beispielsweise durch Haare, Lichtreflexe bei der Bild aufnähme, Blasen in einer Immersionsflussigkeit , sonstige gewebefremde Partikel oder dergleichen gebildet. Nach der Bildberemigung 101, die im einzelnen weiter unten beschrieben wird, erfolgt die Segmentierung 102 des Aufnahmebildes . Die Segmentierung 102 ist darauf gerichtet, einen bestimmten, interessierenden Gewebeabschnitt (Bildausschnitt) vom übrigen Gewebe zu trennen. Bei der Erkennung von Pigmentveranderungen ist die Segmentierung beispielsweise darauf gerichtet, die Punkte (Pixel) des digitalen Aufnahmebildes zu ermitteln und zur Weiterverarbeitung bereitzustellen, die zur Hautverande- rung gehören, und die übrigen Punkte, die die umgebende Hautoberflache abbilden, aus dem Aufnahmebild zu trennen. Im Ergebnis der Segmentierung 102, die im einzelnen weiter unten beschrieben wird, werden die Objektmaske, nach einer Konturberechnung 103 die Konturmaske, nach einer Normierung 104 der Großennormierungsfaktor f und nach einer Randbestimmung 105 die Randmaske ermittelt.
Die Farbbearbeitung 106, 107 erfolgt vor der Bildberemigung 101 und Segmentierung 102 oder parallel zu diesen Schritten und umfaßt eine Farbquantisierung 106 sowie eine Farbtransformation 107. Die Farbtransformation ist nicht notwendig Teil der Bildvorverarbeitung 100, sondern kann vielmehr auch im Rahmen der Bildanalyse durchgeführt werden.
Die Bildvorverarbeitung 100 kann weitere Schritte beinhalten, die anwendungabhangig oder zielorientiert realisierte Maßnahmen zur normierten Darstellung des Aufnahmebildes umfassen. So können beispielsweise zusätzlich geometrische Transformationen vorgesehen sein, mit denen aufnahmebedingte Verzerrungen beseitigt werden. So ist bei der Verarbeitung von Bildern innerer Gewebe (z.B. Augenuntersuchungen, endoskopische Untersuchungen) em Entzerrungsschritt vorgesehen, bei dem em gewölbter Gewebebereich unter Berücksichtigung der Wolbungs- eigenschaften und optischen Aufnahmeparameter auf eine zweidi- mensionale Ebene projiziert wird.
Im folgenden werden Einzelheiten der Schritte der Bildvorverarbeitung 100 erläutert. Es werden die Verarbeitungsschritte genannt, ohne daß auf Details der an sich bekannten Bild bear- beitungstechniken eingegangen wird.
Zur Bildberemigung 101 wird zunächst das Aufnahmebild in em Grauwertbild umgewandelt, das dann entsprechend einer der folgenden Verfahrensweisen weiterbearbeitet wird.
Gemäß einer ersten Alternative erfolgt eine Bearbeitung des Grauwertbildes mit einem an sich bekannten Liniendetektor (Algorithmus zur Verbindung von Grauwertgradienten-Maxima) der Informationen über die Lagerichtung und Breite von Linien im Aufnahmebild liefert. Anschließend werden sehr kurze und in der Richtungsinformation stark variierende Linien (sogenannte Phantome) durch Vergleich der ermittelten Linien mit vorbestimmten Grenzwerten erfaßt und von der weiteren Bildberemigung ausgeschlossen. Abschließend werden Lucken zwischen Linienfragmenten geschlossen und das ermittelte Lmienbild als Artefaktmaske gespeichert. Gemäß einer zweiten Alternative erfolgt nach einer Kontrasterhohung des Grauwertbildes eine Anwendung der oben erwähnten Skalierungsmdexmethode (SIM) . Bei der Kontrasterhohung werden helle Bereiche einer erhöhten Helligkeit und dunkle Bereiche einer weiter erniedrigten Helligkeit durch Multiplikation mit der Sigmoid-Funktion unter Bezug auf einen mittleren Grauwert zugeordnet.
Anschließend werden die neun Grauwerte der 3 * 3-Umgebung jedes Bildpunktes (Pixel) zusammen mit den zwei Ortskoordmaten des Bildpunktes zu einem 11-dιmensιonalen Raum vereint. In diesem Merkmalsraum werden die Skalierungsmdizes mittels SIM bestimmt, aus dem Spektrum der Indizes das liniencharakterisierende Band extrahiert und die dazu gehörenden Pixel in einem Digitalbild markiert.
Em Beispiel einer Spektrendarstellung nach der SIM ist in Fig. 3 abgebildet. Es ist erkennbar, daß eine große Häufung für Skalierungsmdizes besteht, die großer als drei sind (rechtes Maximum) . Die Pixel mit Skalierungsmdizes im Bereich zwischen 1 und 2 sind von dieser Häufung deutlich getrennt und werden den Linienstrukturen zugeordnet.
Anschließend wird das mit der SIM ermittelte Digitalbild der Linienstrukturen einer standardmäßigen Erosion unterzogen. Das erodierte Digitalbild der Linienstrukturen wird mittels einer UND-Operation mit einem bmarisierten Grauwertbild des Aufnahmebildes addiert, woraus sich die Artefaktmaske ergibt. Das bmarisierte Grauwertbild wird erzeugt, indem das Aufnahmebild einem binaren Medianfilter unterzogen wird, der em Pixel in Abhängigkeit davon auf Schwarz oder Weiß setzt, ob sein Grauwert unter oder über dem Mediän der Umgebungspixel liegt. Die Artefaktmaske kann schließlich noch einer Phantombereinigung unterzogen werden. Mit einem sogenannten Scrabbling werden besonders kleine Linienstrukturen aus der Artefaktmaske entfernt .
Das erläuterte Bildberemigungsverfahren kann auch auf andere Bildstörungen angewendet werden, deren Skalierungsmdizes sich deutlich von denen des Gewebebildes unterscheiden, so daß durch einfache Spektrenbetrachtung die entsprechenden Pixel aus dem Aufnahmebild erfaßt werden können.
Fig. 4 zeigt em Beispiel einer Artefaktmaske für em Haut- bild, bei dem Haare um die zu untersuchende Lasion (mittlerer Bildteil) angeordnet sind.
Die erfmdungsgemaße Bildberemigung 101 ist besonders vorteilhaft, da Bildstörungen mit hoher Geschwindigkeit, Selektivität und Vollständigkeit erfaßt werden. Ferner wird mit der Artefaktmaske eine exakte Positionsbestimmung der Bildstörungen geliefert.
Die Segmentierung 102 (s. Fig. 2) dient der Trennung der abgebildeten Lasion vom unversehrten Hauthintergrund. Hierzu erfolgt zunächst eine Transformation des Aufnahmebildes aus dem RGB-Raum (Bildaufnahme) in einen geeigneten anderen Farbraum (z.B. über eine Hauptachsentransformation). Der Zielfarbraum wird so ausgewählt, daß nach der Farbtransformation eine Projektion (Reduktion) des transformierten Bildes auf eine Farbebene erfolgen kann, m der die Segmentierung durch eine Schwellwerttrennung besonders effektiv und zuverlässig durchgeführt werden kann. Im Falle der Erfassung von Pigmentveranderungen der Haut wird das transformierte Bild vorzugsweise auf eine Blauebene reduziert. Anschließend wird das von Artefakt-Elementen (hier zum Beispiel: Blauwerte) bereinigte Histogramm des farbtransformierten Bildes erstellt und durch iterative Histogrammanalyse em Farb-Schwellwert ermittelt, der den zu segmentierenden Bild- ausschnitt (die Lasion) vom Bildhintergrund (unversehrte Haut) trennt. Das Histogramm ist eine Häufigkeitsverteilung der Blauwerte, die in bestimmte Bezugsintervalle fallen. Bei der iterativen Histogrammanalyse erfolgt gemäß Fig. 5 zunächst eine Darstellung mit relativ breiten Bezugsintervallen
(Fig. 5a) . Bei diesem Histogramm wird das Bezugsintervall mit der minimalen Blauwerthauflgkeit ermittelt. Bei den anschließend gebildeten Histogrammen mit schrittweise kleineren Bezugsintervallen wird das Minimum mit der minimalen Häufigkeit jeweils innerhalb des Bezugsintervalls gesucht, das beim jeweils vorhergehenden Histogramm den Minimalwert repräsentierte
(Fign. 5b-5d) . So zeigt das Histogramm gemäß Fig. 5d mit feiner Bezugsintervallbreite em erstes Maximum bei niedrigen Blauwerten (entsprechend: niedrige Helligkeiten), das dem dunklen Lasionsbereich entspricht, und e zweites Maximum bei höheren Blauwerten (höhere Helligkeiten) , das der umgebenden Haut entspricht.
Die Histogrammanalyse kann beim Auftreten einer Mehrzahl von Objekten mit einer Bestimmung der Objektanzahl und der Auswahl des im Bildmittelpunkt am nächsten gelegenen Objekts kombiniert werden.
Die Objektmaske (s. Fig. 2) wird ermittelt, indem alle Punkte des transformierten Bildes mit einem Blauwert, der kleiner oder gleich dem ermittelten Schwellwert ist, zusammengefaßt und einem Bereichswachstumsverfahren unterzogen werden. Dies bedeutet, daß m der Nachbarschaft der ermittelten Bildpunkte entsprechend einem vorbestimmten Homogenitatskritenum innerhalb von Toleranzgrenzen zusätzlich Bildpunkte angelagert werden. Em weiterer Nachbearbeitungsschritt kann die Schließung von Lucken und eine Glattung der äußeren Begrenzung der ermittelten Bildpunkte umfassen. Das Ergebnis des nach dem Bereichswachstum (ggf. mit Nachbearbeitung) erhaltenen Digital- bildes ist die Objektmaske gemäß Fig. 2.
Die erfmdungsgemaße iterative Histogrammanalyse ist besonders vorteilhaft, da mit einer einfachen Grundannahme (dunkles Objekt (Lasion), helle Umgebung (Haut)) zuverlässig eine reproduzierbare Segmentierungsgrenze als Minimum zwischen hellen und dunklen Bereichen ermittelt wird, wobei durch die Realisierung mit einer iterativen Histogrammerzeugung mit steigender Auflosung die Bestimmung der Segmentierungsgrenze (Schwellwert) am Ort lokaler Mmima vermieden wird. Em weiterer Vorteil besteht darin, daß die Schwellwerttrennung nach diesem Algorithmus vollständig automatisierbar und mit hoher Geschwindigkeit durchfuhrbar ist.
Aus der Objektmaske wird bei der Konturberechnung 103 (s. Fig. 2) durch eine einfache Bestimmung der Randpixel der lmienhaf- te Rand (Segmentierungsgrenze, Konturmaske) bestimmt.
Neben der geometrischen Lage der Konturmaske wird erfindungs- gemaß auch eine Randmaske ermittelt, aus der charakteristische Eigenschaften der Randbreite und Homogenitat bei einer nach folgenden Bildanalyse ableitbar sind. Die Randbestimmung 105 (s. Fig. 2) zur Ermittlung der Randmaske umfaßt einen ersten Schritt der Randdefinition und einen zweiten Schritt der Randskalierung. Beide Schritte werden unter der generellen Normierbarkeitsanforderung zur Herstellung der Vergleichbarkeit mit Referenzbildern durchgeführt.
Die Randdefinition erfolgt auf der Grundlage der oben genannten Histogrammanalyse, indem um den ermittelten Schwellwert (Segmentierungsgrenze) herum em Randintervall definiert wird und alle Bildpunkte ermittelt werden, deren Blauwerte in dieses Randintervall fallen. Alternativ ist es möglich, em Hautahnlichkeitsmaß für jeden Bildpunkt der ermittelten Lasion zu berechnen, die Lasionsbildpunkte darauf hm nach ihrer Hautahnlichkeit zu sortieren und einen bestimmten Anteil der hautahnlichsten Punkte als Lasionsrand zu definieren. Das Hautahnlichkeitsmaß ist wiederum durch den Farbwert (z.B. Blauwert) gegeben. Der Anteil der als Rand definierten Bild- punkte kann beispielsweise 10% der hautahnlichsten Pixel umfassen, wobei jedoch dieser Wert je nach der Anwendung und den Ergebnissen der Bildverarbeitung optimiert werden kann.
Anschließend kann der ermittelte Randbereich zur Erzielung der Randmaske einer Großennormierung unterzogen werden, indem das durch die Randdefinition bestimmte binare Berandungsbild mit dem Großennormierungsfaktor f skaliert wird. Der Großennormie- rungsfaktor f ergibt sich aus dem Normierungschritt 104 (s. Fig. 2), bei dem die Objektmaske der Lasion in Bezug auf eine bestimmte, für Referenzzwecke einheitliche Flache (mit einer bestimmten Bildpunktzahl) , skaliert wird.
Em Beispiel einer Randmaske aus einem erfmdungsgemaß verarbeiteten Bild einer Pigmentveranderung ist in Fig. 6 dargestellt. Es zeigt sich, daß durch die Ermittlung der Randmaske em zweidimensionales Gebilde entsteht, das neben der rein geometrischen Position des Lasionsrandes zusatzliche Informationen über dessen Ausdehnung und Struktur enthalt, worauf im einzelnen weiter unten eingegangen wird.
Beim Normierungsschritt 104 (s. Fig. 2) erfolgt eine Großen Skalierung im Ortsraum der Objektmaske. Der Normierungsfaktor f wird durch (Aref / Aa)^ bestimmt, wobei Aref eine Objektreferenzflache und Aa die Flache des aktuellen Objektes bezeichnen Die Farbquantisierung 106 (s. Fig. 2) ist darauf gerichtet, aus dem Aufnahmebild ein m Bezug auf prototypische Farben quantisiertes Bild (Farbsymbol) zu erzeugen, aus dem Farbmerkmale ableitbar sind, die in reproduzierbarer Weise mit entsprechenden Farbmerkmalen von Referenzbildern vergleichbar sind. Die Bildung des Farbsymbols stellt eine Codierung dar und umfaßt die Projektion des farbigen Aufnahmebildes auf einen Satz prototypischer Farben. Die prototypischen Farben ergeben sich aus einer gesonderten anwendungsspezifischen Definition von Farbclustern in einem geeigneten Farbraum. Die Farbcluster bilden einen partitionierten Merkmalsraum und werden durch Anwendung einer hierarchischen Fuzzy-Clustering- Methode aus einem Trainingssatz einer Vielzahl aufgenommener Farbbilder ermittelt. Als geeigneter Farbraum wird ein solcher Farbraum ausgewählt, der für die spätere Ableitung von Farbmerkmalen in Bezug auf die Auswertungsgenauigkeit besonders gute klasseneinheitliche Ergebnisse liefert. So hat sich für die Verarbeitung von Hautbildern zum Beispiel der sogenannte YUV-Farbraum als geeignet erwiesen, bei dem zwei Achsen durch Farbdifferenzen und eine Achse durch ein Helligkeitsmaß gebildet werden. Es kann vorgesehen sein, das Aufnahmebild vor der Farbquantisierung 106 zunächst in den gewählten Farbraum zu transformieren, um eine bessere Farbdifferenzierung zu erzielen. Die Farbpalette des Aufnahmebildes wird mit der Methode der Vektorquantisierung vorzugsweise auf rd. 10 bis 30 prototypische Farbcluster reduziert. Die Projektion auf die Cluster erfolgt, indem für jeden Bildpunkt der euklidische Abstand zu sämtlichen Clustern bestimmt, der minimale Abstand zu einem nächsten Cluster ermittelt und der jeweilige Bildpunkt diesem nächsten Cluster zugeordnet wird (sogenanntes "next neighbour matching") .
Die Vorteile der beschriebenen Bildvorverarbeitungsschritte bestehen in der Verbesserung der inter- und intraindividuellen Vergleichbarkeit der Bilddaten, der erhöhten Stabilität sich anschließender diagnostischer Verfahren gegenüber Hauttypschwankungen oder j hreszeitlichen Hauttonungs-Schwankungen durch die Farbquantisierung und die Möglichkeit der Verlaufs kontrolle von Hautveranderungen.
Zusätzlich zu den in Fig. 2 dargestellten Schritten der Bildvorverarbeitung 100 kann erfindungsgemäß vorgesehen sein, daß die Maskenbearbeitung in Abhängigkeit von Korrekturgrößen erfolgt, die aus der Bildanalyse 200 der Visualisierung 300 und/oder der Klassifizierung 400 abgeleitet sind.
(b2) Bildanalyse
Im folgenden werden Einzelheiten der Bildanalyse oder bewertungsrelevanten Bildverarbeitung 200 erläutert, die darauf gerichtet ist, aus den ermittelten Masken bzw. aus den Bildbereichen, die den ermittelten Masken entsprechen, Transformationen und Grόßennormierungen mit Methoden der linearen oder nichtlinearen Bildverarbeitung, wie z.B. der SIM und statistischen Methoden reproduzierbare und vergleichbare Bildparameter des betrachteten Bildausschnittes (maskierter Gewebeabschnitt) abzuleiten. Im folgenden wird beispielhaft auf die A-, B-, C- und D-Parameter Bezug genommen, die nach einer dermatoskopischen Beurteilungsregel (ABCD-Regel) benannt sind und die Symmetrie (A) , den sogenannten Border-Bereich (B, auch Randbereich) , die Color-Merkmale (C, auch Farbmerk male) und die strukturellen Differenzierungen (D) einer untersuchten Läsion bezeichnen. Die Bezeichnung dient lediglich der Illustration. Im Unterschied zu den herkömmlich als Diagnoseergebnis ermittelten Parametern der ABCD-Regel sind die im folgenden beschriebenen A-, B-, C-, und D-Komponenten der erfindungsgemäß ermittelten Bildparameter keine Diagnoseergebnisse. Es ist möglich, bei anderen Anwendungen der Erfindung als der beispielhaft angegebenen Melanomuntersuchung nur einzelne der im folgenden beschriebenen Parameter oder weitere, aus diesen ab- geleitete Bildparameter bei der Bildanalyse 200 zu ermitteln. Zu jeder der genannten Komponenten können globale Komponenten (Index in den Figuren: G) , die sich auf Bildparameter der gesamten Lasion beziehen, und lokale Komponenten (Index in den Figuren: L) abgeleitet werden, die sich auf lokale Bildeigen- schaften der untersuchten Lasion beziehen. Lokale Komponenten sind somit ortsbezogene, quantitative Parameter, die sich mit anwendungsabhangig definierbarer Ortsauflosung auf bestimmte Bildkoordmaten beziehen. Die Ortsauflosung kann einem Bild- pixel oder auch einer Vielzahl von Bildpixeln entsprechen. So können typischerweise bis zu 100 Bildpixel zu Bildkacheln zusammengefaßt werden, wie dies auch aus Fig. 13d (s. unten) ersichtlich ist.
Die simultane Erfassung lokaler und globaler Komponenten zu den Bildparametern stellt einen besonderen Vorteil der Erfindung dar. Zu jedem globalen Parameter, der im Ergebnis der er- fmdungsgemaßen Bildverarbeitung ermittelbar ist, können auch lokale Parameter angegeben und, wie in den Figuren 7, 9, 10 und 11 illustriert, visualisiert werden. Damit kann der Nutzer des Systems (z.B. der Dermatologe) erkennen, aufgrund welcher lokalen Bildmerkmale das Bildverarbeitungssystem bestimmte globale Bild erkmale liefert und auf der Grundlage dieser Erkenntnis anschließend die Diagnose durchfuhren.
I) B-Komponente (Border-Merkmal)
Die Ermittlung der B-Komponente (n) (Schritt 220 Fig. 2) zur Bewertung des Lasionsuberganges oder -randes wird im folgenden unter Bezug auf Fig. 7 beschrieben. Fig. 7 zeigt schematisch Einzelheiten der Border-Bestimmung 220 auf der Grundlage der Merkmale der Randmaske, der Konturmaske und des Großennormie- rungsfaktor f. Die Border-Bestimmung 220 umfaßt eine Randpunk- teklassifikation 221, bei der die Bildpunkte der Randmaske in Abhängigkeit vom jeweiligen Skalierungsindex klassifiziert und verschiedenen Untermasken zugeordnet werden, eine Homogeni- tatsbestimmung 222, bei der aus der räumlichen Anordnung der Randmaske em Parameter der Berandungshomogenitat abgeleitet wird, eine Randprofilbestimmung 223, bei der Merkmale der Abruptheit des Lasionsuberganges abgeleitet werden, eine Erfassung der Randrichtungsstetigkeit 224 mittels Varianzmerkmaien der Randmaske und eine Erfassung der Konturrauhigkeit 225 mittels der fraktalen Dimension der Konturmaske.
Die Randpunkteklassifikation 221 ist darauf gerichtet, Lasionen mit einem flachig ausgedehnten Randbereich, wie dies für Melanome typisch ist, von Lasionen mit einem scharf begrenzten Randbereich zu trennen. Das Ergebnis der Randpunkteklassifikation 221 wird wie folgt visuell dargestellt oder durch einen Parameter Bl repräsentiert. Zunächst wird für jeden Punkt der Randmaske der Skalierungsmdex berechnet. Anschließend wird die Zahl der Pixel, deren Skalierungsmdex oberhalb einer vorbestimmten Grenze liegt, und die Zahl der übrigen Pixel bestimmt. Die Grenze kann beispielsweise mit dem Skalierungsmdex a0=l gegeben werden. Zur visuellen Darstellung werden die Bildpunkte jeweils unter bzw. oberhalb der Grenze Submasken zugeordnet, die dann zur weiteren Beurteilung auf einem Anzeigemittel visualisiert werden. Die Fign. 8A und 8B zeigen jeweils entsprechend Randmasken von Lasionen und die zugehörigen Submasken bei einem Grenzwert a0=l . Im Fall von Fig. 8A umfassen die Submasken, die jeweils die Bildpunkte mit a≤l bzw. a>l repräsentieren, nahezu gleichgroße Areale, wohingegen im Fall von Fig. 8B die Submaske mit a>l wesentlich ausgeprägter ist. Dies bedeutet, daß die in Fig. 8B dargestellte Lasion eine größere Anzahl von Bildpunkten im Randbereich aufweist, die einen relativ großen Skalierungsmdex besitzen. Dies bedeutet eine flächige Ausbildung des Randbereiches, so daß die Lasion gemäß Fig. 8B einem malignen Melanom zugeordnet werden kann. Der Randbereich gemäß Fig. 8A ist hingegen scharfer begrenzt, so daß die Lasion nicht einem malignen Melanom, sondern einer benignen Pigmentveranderung zugeordnet wird.
Das visualisierte Ergebnis kann auch mit dem Bl-Parameter gemäß :
Bl = na>1 / NRand (1)
dargestellt werden, wobei na>ι die Zahl der Bildpunkte mit einem Skalierungsmdex a>l und NRand die Gesamtzahl der Bildpunkte der Randmaske repräsentieren.
Zur Homogemtatsbestimmung 222 (s. Fig. 7) wird em Maß B2 zur Erfassung der Schwankungen der Umrandungsdicke entlang des Lasionsumfanges ermittelt. Der Parameter B2 ergibt sich gemäß Gleichung (2) aus dem Parameter Bl gemäß Gleichung (1) und einer Vielzahl lokaler Parameter bl :
B2 = (1/n) Σ- (Bl - bl,)2 (2)
Die lokalen Parameter blx ergeben sich, indem die Randmaske mit einem Gitter überzogen und für alle n Gitterfenster, die eine Mindestzahl von Bildpunkten enthalten, der lokale Parameter blx analog zu Gleichung (1) berechnet wird. Die Gittergroße und die Mmdestbildpunktzahl werden in Abhängigkeit von der Lasionsgroße geeignet gewählt. Der Parameter für die Beran- dungshomogenitat B2 wachst, falls entlang des Randumfanges große Schwankungen des Parameters bl m Bezug auf den globalen Parameter Bl auftreten. Somit bedeutet em größerer Parameter B2 eine größere Berandungsmhomogenitat .
Die Randprofllbestimmung 223 dient der weiteren Charakteri sierung der Abruptheit des Lasionsuberganges. Für jeden Bildpunkt der Randmaske wird eine lokale Umgebung (Fenster) definiert und die Ausrichtung des Randes dieser lokalen Umge- bung ermittelt. Die Ausrichtung ergibt sich aus einer linearen Regression der Nachbarpunkte innerhalb des Fensters. Der Rand- wmkel der Regressionsgerade in Bezug auf die Horizontale wird ermittelt und die Bildpunktmenge im betrachteten Fenster um diesen Randwinkel in die Horizontale gerichtet. Dies ist beispielhaft in Fig. 6 illustriert. Anschließend werden die Ani- sotropieskalierungsmdizes ax y in y-Richtung mittels der Ska- lierungsvektormethode (SVM), wie sie m DE 196 33 693 beschrieben ist, bestimmt. Der für die Randbreite oder -dicke charakteristische Bildparameter B3 ergibt sich gemäß Gleichung (3)
B3 = n(ay<0.3) / NRand (3)
n(ay<0.3) bezeichnet die Zahl der Bildpunkte mit einem anisotropen Skalierungsmdex ay<0.3. Je nach Anwendungsfall kann statt des Grenzwertes 0.3 auch e anderer geeigneter Grenzwert gewählt werden. Die Große n bezieht sich auf den Gesamtrand. Die Berechnung des Parameters B3 stellt einen wesentlichen Vorteil gegenüber herkömmlichen Verfahren zur Beurteilung der Berandungsdicke dar, die in der Regel mit einer Randglattung verbunden sind, da bei den herkömmlichen Verfahren eine Zerklüftung der Rampenkante unberücksichtigt bleibt und somit Information verloren geht.
Es ist ersatzweise auch möglich, die Drehung der lokalen Umgebung jeweils um den Randwinkel wegzulassen und die Bildpunktmenge der ungedrehten Umgebung der anisotropen SVM zu unterziehen, wobei dann m die Bestimmung eines modifizierten B3 ' Parameters die Skalierungsmdizes m x- und y-Richtung eingehen .
Für die Erfassung der Randrichtungsstetigkeit 224 (s. Fig. 7) können eine oder mehrere der folgenden Alternativmoglichkeiten I, II und III realisiert werden. Entsprechend der ersten Alternativmoglichkeit I wird wie bei der Randprofllbestimmung 223 zunächst für jeden Bildpunkt der Randmaske em Randwinkel entsprechend seiner lokalen Umgebung berechnet. Jedem Bildpunkt wird der jeweilige Randwinkelwert zugeordnet. Anschließend werden die Skalierungsmdizes a des Wmkelwertbildes entsprechend der isotropen SIM berechnet, wie sie aus DE 43 17 746 bekannt ist. Der B-Parameter B4 ergibt sich dann analog zu Gleichung (3), wobei hier jeweils die Skalierungsmdizes des Wmkelwertbildes berücksichtigt werden.
Die Verteilung der lokalen Winkelvarianzen wird bei II und III durch deren statistische Momente (Mittelwert, Varianz etc.) und/oder durch em Entropiemaß quantifiziert und durch den Paramter B4 ausgedruckt. Gemäß der alternativen Möglichkeit II wird, wie oben erläutert, der Randwinkel für jeden Bildpunkt in seiner lokalen Umgebung (Fenster) berechnet. Für die Gesamtzahl der Punkte wird die Varianz der Randwinkel in einem Fenster ("slidmg window"), zentriert an dem betrachteten Punkt, berechnet. Der Parameter B4 ergibt sich dann als Entropie der normierten Häufigkeitsverteilung der Winkelvarianzen für alle Bildpunkte der Randmaske. Der Parameter B4 (die Entropie) ist hierbei em Maß für die Besetzung der Intervalle des Histogramms der Wmkelvarianzen und wachst mit der Breite der Wmkelverteilungen .
Letzteres wird bei der Realisierung der Alternative III dahingehend modifiziert, daß für jeden Bildpunkt Randwinkel für zwei unterschiedlich große lokale Umgebungen und die Winkeldifferenz der Randwinkel berechnet werden. Der Parameter B4 ergibt sich in diesem Fall als Entropie der normierten Häufigkeitsverteilung der Winkeldifferenzen für alle Bildpunkte der Randmaske. Je zerklüfteter die Randmaske ist, desto starker unterscheiden sich die zu einem Bildpunkt gehörigen Winkel, so daß der Parameter B4 wiederum em statistisches Maß für die Berandungsregelmaßigkeit ist.
Die Rauhigkeitsbestimmung 225 (s. Fig. 7) bezieht sich nicht auf die Randmaske, sondern die Konturmaske (eindimensionaler Rand der Objektmaske (s. Fig. 2) . Der Parameter B5 ergibt sich aus der Ermittlung der fraktalen Dimension (im folgenden: FD) der Konturmaske. Hierzu kann zunächst das Bild der Konturmaske unter Berücksichtigung des Normierungsfaktors f einer Großen- normierung unterzogen. Die FD der Kontur wird nach dem Verfahren von Flook berechnet, wie es im einzelnen in von A.G. Flook in "Powder Technology" (Bd. 21, 1978, S. 295 ff.) beschrieben wird (vgl. auch E. Claridge et al, "Shape analysis for classi- fication of malignant melanoma", J. Biomed. Eng. 1992, Vol. 14, S. 229). Die FD ist em Maß für die Komplexität des Konturverlaufs: Wird der Kurvenverlauf der Konturmaske durch em Polygon angenähert, so ist die Anzahl der erforderlichen Schritte abhangig von der jeweiligen Schrittweite. Die FD ist em Maß für diese Abhängigkeit. Je nach den Parametern bei der Methode von Flook kann eine textureile und/oder eine strukturelle FD ermittelt werden. Die textureile FD beschreibt ferne Unregelmäßigkeiten der Kontur, wahrend die strukturelle FD größere Schwankungen erfaßt.
Ersatzweise ist es möglich, die Rauhigkeit der Konturmaske wiederum mit der SIM oder SVM zu ermitteln.
Im unteren Teil von Fig. 7 ist erkennbar, wie die Parameter B1-B5 zur Klassifizierung 400 weitergegeben werden, bei der em Auswertungsalgoπthmus abgewickelt werden kann. Ferner werden die Parameter B1-B4 gemeinsam mit der Randmaske visua- lisiert, so daß em Bediener des Bildverarbeitungssystems die lokalen Bildparameter betrachten und ggf. manuell Randbedingungen und Parameter der statistischen Bearbeitung wie Gitter oder Fenstergroßen oder Skalierungsgrenzwerte verandern kann. Die Betrachtung der lokalen Bildparameter erfolgt vorzugsweise mit einer Falschfarbendarstellung, mit der unterschiedliche lokale Parameter zur Kennzeichnung beispielsweise eines besonders gleichmäßigen und schmalen oder eines besonders ungleichmäßigen breiten Randes sichtbar gemacht werden.
11 ) C-Komponenten (Farbmhalte und Farbverteilungen der segmentierten Lasion) .
Der Schritt der Farbbeurteilung 230 (s. Fig. 2) ist im einzelnen in Fig. 9 dargestellt. Die Farbbeurteilung 230 umfaßt eine Farbvielfaltsbestimmung 231 und eine Farbverteilungsbestimmung 232. Die Farbvielfaltsbestimmung 231 ist darauf gerichtet, das Vorhandensein und die Häufigkeitsverteilung der bei der Farbquantisierung 106 (s. Fig. 2) definierten prototypischen Farben in der Lasion zu ermitteln. Die Farbverteilungsbestimmung 232 hingegen ist auf die Ermittlung der geometrischen Anordnung der prototypischen Farben in der Lasion gerichtet.
Der Parameter Cl ergibt sich aus der Farbvielfaltsbestimmung 231 durch eine Bestimmung der statistischen Gewichte p± der M prototypischen Farben gemäß Gleichung (4) und der daraus abgeleiteten Farbcodierungsentropie gemäß Gleichung (5) . Das statistische Gewicht pa. des Farbclusters I entspricht dem Verhältnis der Anzahl der Pixel n- des Farbclusters l zur Gesamtzahl N der Lasionspixel (N entspricht der Menge der Bildpunkte der Objektmaske) .
p. = n- / N (4)
Das Maß Cl für die Farbvielfalt der Pigmentveranderung ergibt sich aus der Farbcodierungsentropie gemäß:
Cl = (-l/ln(M) ) • ∑ip nfpx) (5) Cl ist somit e Maß für die Häufigkeitsverteilung, mit der die einzelnen Cluster besetzt sind.
Für die Farbverteilungsbestimmung 232 wird zunächst als globales Merkmal die Farbcodierungsentropie Cl entsprechend Gleichung (5) berechnet. Dann wird die untersuchte Lasion mit einem regelmäßigen Gitter überzogen, wobei die Gittergroße in Abhängigkeit von der Lasionsgroße gew hlt wird. Für alle n Gitterfenster, die zumindest zu einem Drittel mit Lasionspi- xeln (Bildpunkte der Objektmaske) gefüllt sind, wird die jeweilige lokale Farbcodierungsentropie cλ analog zu Gleichung (5) berechnet. Der Parameter C2 ergibt sich dann als Farbco- dierungsvarianz aus Gleichung (6)
C2 ■= (1/n) Σ-J C1 - c,)2 (6) .
Im unteren Teil von Fig. 9 ist wiederum dargestellt, daß die Parameter Cl und C2 zur Visualisierung 300 lokaler Bildparameter (s. oben) und Klassifizierung 400 (s. Fig. 2) geleitet werden .
m ) D-Komponenten (Erfassung von Strukturelementen in der Lasion)
Die Bildanalyse 200 umfaßt eine Strukturbeschreibung 240 (s. Fig. 2), deren Einzelheiten m Fig. 10 dargestellt sind. Die Strukturbeschreibung 240 enthalt Strukturerkennungsverfahren 241, 242 und eine Positionsbestimmung 243, bei der die raumliche Anordnung der bei der Strukturerkennung ermittelten Strukturen erfaßt wird. Die Strukturerkennungsverfahren 241, 242 stellen alternative Bildbearbeitungen dar, die einzeln oder gemeinsam realisiert sein können.
Das erste Strukturerkennungsverfahren 241 beinhaltet zunächst eine Farbtransformation 107, sofern diese nicht bereits im Rahmen der Bildvorverarbeitung (s. Fig. 2) erfolgt ist. Mit der Farbtransformation wird das Aufnahmebild in einen geeigneten Farbraum transformiert, der eine Projektion auf eine Farbebene erlaubt, in der die zu erfassenden Strukturen einen besonders hohen Kontrast besitzen. So erfolgt beispielsweise bei der Melanomuntersuchung eine Projektion des Aufnahmebildes (ggf. in bereinigter Form) auf die Rotebene zur Erkennung punktartiger Strukturen oder auf eine Grauwert-Helligkeits ebene zur Erkennung netzartiger Strukturen. Für samtliche Bildpunkte des transformierten Bildes werden die Skalierungs- indices a und für die Gesamtpunktmenge das Häufigkeitsspektrum N(a) ermittelt. Unter Ausnutzung der strukturordnenden Eigenschaften des N (a) -Spektrums werden die zu bestimmten Strukturen gehörigen Bildpunkte identifiziert und quantitativ erfaßt.
Bei dem zweiten Strukturerkennungsverfahren 242 erfolgt die Strukturerkennung mit herkömmlichen Methoden der Bildbearbeitung. Zur Punkterkennung wird das Aufnahmebild beispielsweise in die Rotebene transformiert und einer Kontrasterhohung und einer selektiven Glättung unterzogen. Die selektive Glattung bedeutet, daß eine Mittelwertsberechnung der Rotwerte stattfindet, in die jedoch nur Bildpunkte einbezogen werden, die einen Rotwert innerhalb eines bestimmten Intervalls um den Mittelwert besitzen. Anschließend werden Rotwert-Dichten (allgemein: Grauwert-Dichten) ermittelt, binarisiert und einer Phantombereinigung unterzogen. Im Falle der Erfassung netzartiger Strukturen erfolgt eine Umwandlung des Farbbildes in ein Grauwertbild, eine Kontrasterhohung, eine Liniendetektion und eine sich anschließende Phantombereinigung.
Im Ergebnis der Strukturerkennungsverfahren 241 oder 242 lassen sich bestimmte Bildpunkte innerhalb der Lasion Strukturelementen wie Punkten, Netzstrukturen oder Schollen zuordnen. Die Unterscheidung zwischen Punkten und Schollen erfolgt durch die Ermittlung der Anzahl von Bildpunkten, die zu der jeweiligen Struktur gehören.
Die D-Komponenten Dl und D2 , die bei den Strukturerkennungsverfahren 241, 242 ermittelt werden, können beispielsweise jeweils entsprechend den Flachenteil der jeweiligen Strukturklasse (Punkt, Netz, oder Scholle) an der Gesamtlasionsflache und die Anzahl der Strukturen m den verschiedenen Strukturklassen umfassen. Zusätzlich kann bei Punkten oder Schollen eine Berechnung der Kompaktheit c in Abhängigkeit von einem Langenmaß (z.B. Maximalausdehnung) der Struktur und der Flache der Struktur erfolgen.
Schließlich werden die ermittelten Strukturen bei der Positionsbestimmung 243 einer statistischen Bewertung unterzogen. So wird die lokale Verteilung der Strukturelemente mit einem skalenabhangigen Entropiemaß beschrieben, das den Parameter D3 ergibt.
IV) A-Komponenten (Symmetrieeigenschaften der Lasion)
Die Einzelheiten der Symmetriebewertung 210 innerhalb der Bildanalyse 200 (s. Fig. 2) werden im einzelnen unter Bezug auf Fig. 11 beschrieben. Die Symmetriebewertungen 211-215 beziehen sich jeweils auf die geometrischen Eigenschaften der Kontur, der Berandung, der Objektmaske, der Farbverteilung und der Strukturverteilung . Dies bedeutet, daß einzelne Analyseschritte aus den Analyseverfahren 220, 230 und 240, wie sie oben beschrieben wurden, bei der Symmetriebestimmung 210 identisch oder abgewandelter Form übernommen werden. Dies bedeutet, daß alle Quantitäten aus der übrigen Bildanalyse verwendet werden.
Die Kontursymmetriebestimmung 211 ergibt als Parameter einen Winkel φ gegenüber einer Bezugsachse (z.B. die Horizontale), der der Neigung der Symmetrieachse der äußeren Kontur der Lasion in Bezug auf die Bezugsachse entspricht. Hierzu wird die Konturmaske in einer Vielzahl von Schritten jeweils in zwei gleichgroße Segmente unterteilt und die fraktalen Dimensionen FDi , FD der Segmente wie oben beschrieben berechnet. Zu jedem Segment wird em Zwischenparameter Bλ gemäß Gleichung (7) berechnet .
Bi = (mm(FDι, FD2) ) / (max ( FDi, FD2)) (7).
Zwischen zwei Segmentaufteilungen der Konturmaske wird diese jeweils um einen Winkelschritt gedreht. Der Drehwinkel, der unter der Menge der Zwischenparameter Bλ einem Minimalwert entspricht, liefert die Neigung der Achse maximaler Asymmetrie gegenüber der Bezugsachse bezüglich der FDχf2.
Die Berandungssymmetriebestimmung 212 und die Maskensymmetrie bestimmung 213 werden auf der Grundlage von Symmetrieeigenschaften der lokalen Parameter aus dem Verfahrensschritt 220 abgeleitet. Die Farbsymmetriebestimmung 214 umfaßt eine Farb- raumtransformation des Aufnahmebildes, die Bestimmung von Symmetrieachsen des transformierten Bildes und die Ableitung von Farbparametern der Bildpunkte m Bezug auf die Symmetrieachsen .
Die Farbsymmetrie wird aus der mittleren Farbdifferenz achsensymmetrischer Bildpunkte bezüglich der Objektsymmetrieachse berechnet .
Die Textursymmetriebestimmung 215 erfolgt wiederum aufgrund von lokalen Merkmalen, die beim Verfahrensschritt 240 der Bildanalyse ermittelt wurden.
Die erläuterten Verfahrensschπtte der Bildanalyse 200 sind besonders vorteilhaft, da alle Vorgange vollständig automati- sierbar sind, eine hohe Genauigkeit und Reproduzierbarkeit besitzen und gut an sich anschließende diagnostische Verfahren angepaßt werden können. Die Parametererfassungen sind ferner objektiviert und normiert und können mit hoher Geschwindigkeit durchgeführt werden.
Die Visualisierung 300 (s. Fig. 1) ist bei allen Phasen der Bildvorverarbeitung 100 und der Bildanalyse 200 vorgesehen. Bei der Bildvorverarbeitung ist die Visualisierung 300 eine Falschfarbendarstellung, eine Artefaktmarkierung, eine Objektmarkierung, eine Randmarkierung (jeweils im Overlay-Verfahren) und bei der Bildanalyse 200 die Markierung von Randelementen, die Darstellung der Farbvielfalt und Farbhomogenitat mit Falschfarbendarstellungen entsprechend der Zugehörigkeit zu den prototypischen Farbclustern, die Sichtbarmachung von Strukturelementen (Overlay-Verfahren) und Symmetriemerkmalen (z.B. der Symmetrieachsen). Diese Visualisierung hat den Vorteil, daß durch den Bediener der Bildverarbeitungsanordnung Parameter der statistischen Bearbeitungsverfahren manuell optimiert werden können und die Bildverarbeitung transparent und nachvollziehbar gemacht wird.
Die oben erläuterten Schritte der Bildvorverarbeitung, Bildanalyse, Visualisierung und Klassifizierung sind nicht auf die beispielhaft angegebene Verarbeitung von Hautbildern beschrankt, sondern allgemein bei der Untersuchung von Gewebe- bildern (z.B. Wundheilbilder zur Untersuchung von kosmetischen Wirkstoffen, Bilder zur Begutachtung von Ulzera, Bilder zur Quantifizierung von Haarausfall, Bilder zur Untersuchung von Wirkung von Kosmetika, Bilder von Gewebespuren bei kriminalistischen Anwendungen und dergl . ) anwendbar. Die Erfindung ist ferner nicht auf optisch aufgenommene Gewebebilder beschrankt, sondern allgemein bei allen Ergebnissen bildgebender Verfahren mit komplex strukturierten Abbildungen vorteilhaft anwendbar . Die Fign. 12a-f und 13a-d illustrieren die Anwendung der Erfindung an einem konkreten Beispiel, nämlich der Bildverarbeitung an einem malignen Melanom. Die Abbildungen dienen lediglich der Illustration αes Beispiels, wobei aus drucktechnischen Gründen Grautone oder Farbtone nicht wiedergegeben werden. Fig. 12a ist eine schematische Wiedergabe eines Aufnahmebildes, das im Original em digitales Videobild mit Farbtonen und Helligkeitsabstufungen ist. Der eingerahmte Bereich entspricht dem mit einem CCD-Kamerachip (512 512 Pixel) aufgenommenen Bild, das eine Hautflache von 11,8 11,8 mm darstellt. Aus drucktechnischen Gründen sind bei der schematischen Wiedergabe des Aufnahmebildes lediglich eine Umgrenzung der Gesamtlasion und Umgrenzungen von besonders dunklen oder hellen Bereichen innerhalb der Lasion sowie zwei Artefakte (Haare) dargestellt.
Die Fign. 12b-f zeigen die von der Lasion abgeleitete Objektmaske, die Artefaktmaske, die lediglich die beiden Haare darstellt, die lmienhafte Konturmaske, die flächige Randmaske und das Farbsymbolbild . Die Randpunkteklassifikation 221 (s. Fig. 7) ergibt für die Randmaske gemäß Fig. 12e einen globalen Parameter Bl = 0.4826. Die Visualisierung der lokalen Bildparameter wurde m Graustufen oder Falschfarbendarstellung eine Unterscheidung von Bereichen mit größeren lokalen Bildparametern B1 , die einem breiteren und ungleichmäßigeren Rand entsprechen, und mit geringeren lokalen Bildparametern B1L erlauben, die einem gleichmäßigeren, schmaleren Rand entsprechen. Neben der Ermittlung des globalen Bildparametern wird somit durch Anzeige der lokalen Bildparameter ersichtlich, welche Randbereiche welchen Beitrag zum globalen Bildparameter liefern . Die Ermittlung der Berandungshomogenitat 222 (s. Fig. 7) liefert einen globalen Bildparameter B2G = 0.1037. Der Parameter B2 bezieht sich auf die Schwankungen der Umrandungsdicke entlang des Lasionsumfanges . Dementsprechend werden die lokalen Bildparameter für einzelne Bildkacheln ermittelt. Dies ist m Fig. 13a illustriert. Die Kacheln mit hellerem Randbereich beziehen sich auf einen gleichmäßigen, schmalen Rand, wohingegen die Kacheln mit dunkleren Randbereichen einen ungleichmäßigen, breiteren Rand hervorheben.
Die Randprofllbestimmung 223 (s. Fig. 7) ergibt einen globalen Parameter B3G = 0.4158. Wiederum lassen sich die lokalen Bildparameter grauwert- oder farbselektiv visualisieren . Für die Ermittlung der Randrichtungsstetigkeit 224 ergeben sich als globale Bildparameter B4G entsprechend den drei Alternativen I, II und III die Werte 0.1598, 0.8823 und 0.6904. Die Unterschiede zwischen den Alternativen wurden oben erläutert. Die Wahl einer oder mehrerer dieser Bildparameter erfolgt anwen- dungsabhangig . Wiederum erfolgt die Visualisierung der lokalen Bildparameter. Die Fign. 13b-d zeigen beispielhaft Ergebnisse der Strukturerkennungsverfahren 242 und 243 (s. Fig. 10) . Der Bildauszug der detektierten Netzstrukturen ist m Fig. 13b und der der detektierten Punktstrukturen in Fig. 13c dargestellt. Bei der realen Falschfarbendarstellung lassen sich diese lokalen Bildeigenschaften auch simultan anzeigen. Der globale Parameter D2G betragt 0.1213. Die lokale Visualisierung des Bild- parameters D3 gemäß dem Verfahren zur Ermittlung der räumlichen Anordnung der Strukturen 243 (s. Fig. 10) ist in Fig. 13b dargestellt. Helle Bildkacheln bedeuten das Vorliegen eines besonders homogenen Bereiches, wahrend dunklere Bildkacheln auf strukturiertere Bildbereiche hinweisen. Der globale Bildparameter D3G betragt 0.04104.
In analoger Weise lassen sich auch die aus dem Farbsymbol gemäß Fig. 12f abgeleiteten C-Bildparameter (s. Fig. 9) global ermitteln und lokal darstellen. Für die globalen Parameter gilt beim dargestellten Bespiel C1G = 0.8083 und C2G = 0.004011. Aus drucktechnischen Gründen sind die lokalen Parameter nicht illustriert. Bei der realen Visualisierung ergeben sich wiederum Falschfarbendarstellungen, die z.B. auf Bereiche mit wenig Farben und Bereiche mit vielen Farben hinweisen. Für die A-Parameter ergeben sich die folgenden Werte: A2G = 0.01421, A3G = 0.0677, A4G = 9.17 und A5G = 0.1476.
Bei der Visualisierung der A-Bildparameter erfolgt eine Anzeige von Symmetrieachsen und/oder Bildkacheln, die Bereiche anzeigen, die stärker oder weniger stark zur Symmetrie beitragen .
Gegenstand der Erfindung ist auch eine Vorrichtung zur Implementierung des oben beschriebenen Verfahrens, die im einzelnen eine Aufnahme- und Beleuchtungseinrichtung, eine Kameraeinrichtung, Speichereinrichtungen, Datenverarbeitungseinrichtungen und eine Anzeigeeinrichtung umfaßt.
Die Vorteile der Erfindung ergeben sich aus der Bereitstellung einer qualitativ hochwertigen und standardisierten Bilderfassung. Es ist insbesondere eine quantitative Erfassung von Bildparametern möglich, die den Bildparametern eines visuell bewertenden Experten entsprechen und an dessen Seh- und Interpretationsgewohnheiten angelehnt sind. Die Bildinformationsinhalte werden in elementare, reproduzierbare Kategorien zerlegt, wobei eine hohe intra- und interindividuelle Vergleichbarkeit gegeben ist. Die beschriebenen Schritte der Bildaufnahme und Bildverarbeitung werden erstmalig bei der Beurteilung biologischen Gewebes angewendet.

Claims

PATENTANSPRÜCHE
1. Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes, wobei nach einer Bildaufnahme zur Erzeugung eines digitalen Aufnahmebildes das Aufnahmebild einer Bildvorverarbeitung mit einer Bildberemigung und einer Segmentierung eines zu untersuchenden Gewebeabschnittes und einer Bildanalyse zur Ermittlung vorbestimmter Bildparameter unterzogen wird, dadurch gekennzeichnet, daß bei der Bildaufnahme em aufgenommenes, digitalisiertes Bild zur Erzeugung des Aufnahmebildes Korrekturschritten (30) unterzogen wird, die eine Shadmg- und/oder Farb-Korrektur auf der Grundlage von Helligkeits- und/oder Farbkorrekturgroßen umfaßt, die aus Abgleichsmessungen (10) ermittelt werden.
2. Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes, wobei nach einer Bildaufnahme zur Erzeugung eines digitalen Aufnahmebildes das Aufnahmebild einer Bildvorverarbeitung mit einer Bildberemigung und einer Segmentierung eines zu untersuchenden Gewebeabschnittes und einer Bildanalyse zur Ermittlung vorbestimmter Bildparameter unterzogen wird, dadurch gekennzeichnet, daß bei der Bildvorverarbeitung eine Gruppe binarer Masken erzeugt wird, die eine Objektmaske, die den Gewebeabschnitt darstellt, eine Artefaktmaske, die Störungen im Aufnahmebild darstellt, und zur Randdarstellung eine lmienhafte Konturmaske, die die Grenze der Objektmaske darstellt, und eine flächige Randmaske umfassen, die einen Randbereich des Gewebeabschnittes darstellt, und bei der Bildanalyse mit Hilfe der Masken und eines in Bezug auf prototypischen Farben reduzierten Farbbildes (Farbsymbol) des Aufnahmebildes die Bildparameter des Gewebeabschnitts ermittelt werden, die für die Randbreite, die Randregelmaßigkeit , die Farbvielfalt, die Farbverteilung, die Symmetrie und/oder das Auftreten von Texturen charakteristisch sind.
3. Verfahren gemäß Anspruch 2, bei dem bei der Bildaufnahme em aufgenommenes, digitalisiertes Bild zur Erzeugung des Aufnahmebildes Korrekturschritten (30) unterzogen wird, die eine Shadmg- und/oder Farb-Korrektur auf der Grundlage von Helligkeits- und/oder Farbkorrekturgroßen umfaßt, die aus Abgleichsmessungen (10) ermittelt werden.
4. Verfahren gemäß Anspruch 1 oder 3, bei dem die Abgleichs- messung (10) eine Schwarzbildaufnahme (11), eine Weißbild aufnähme (12), eine Farbreferenzaufnahme (13) und eine Korrektur- großenermittlung (14) mit Berechnung einer Shadmg-Matrix umfaßt.
5. Verfahren gemäß Anspruch 4, bei dem die Abgleichsmessung jeweils einmal vor Aufnahme einer Vielzahl von Bildern unter konstanten Aufnahmebedingungen erfolgt.
6. Verfahren gemäß Anspruch 4 oder 5, bei dem die Farbreferenzaufnahme (13) die Erfassung einer Referenzfarbkarte umfaßt, die im Bereich des Gewebeabschnittes angeordnet ist.
7. Verfahren gemäß einem der Ansprüche 1 bis 6, bei dem bei der Bildvorverarbeitung eine Farbquantisierung (106) zur Erzeugung des in Bezug auf prototypische Farben reduzierten Farbbildes (Farbsymbol) des Aufnahmebildes erfolgt und bei dem bei der Bildanalyse aus dem Farbsymbol Bildparameter des Gewe- beabschnittes ermittelt werden, die für die Farbvielfalt und
Farbverteilung des Aufnahmebildes charakteristisch sind.
-8. Verfahren gemäß Anspruch 7, bei dem die Farbquantisierung eine Projektion der Farben des Aufnahmebildes auf die prototypischen Farben umfaßt.
9. Verfahren gemäß Anspruch 8, bei dem der Satz von prototypischen Farben aus einer Vielzahl von Referenzbildern ermittelt wird, deren Farbwerte den Farbwerten des untersuchten Gewebeabschnittes äquivalent sind.
10. Verfahren gemäß einem der Ansprüche 2 bis 9, bei dem bei der Bildanalyse aus der Artefaktmaske, der Objektmaske, der Konturmaske, der Randmaske und dem Farbsymbol Bildparameter des Gewebeabschnittes ermittelt werden, die für die Symmetrie des Gewebeabschnittes charakteristisch sind.
11. Verfahren gemäß einem der Ansprüche 2 bis 10, bei dem eine Farbtransformation (107) des Aufnahmebildes zur Erzeugung eines farbtransformierten Bildes erfolgt, aus dem bei der Bildanalyse Bildparameter des Gewebeabschnittes ermittelt werden, die für das Auftreten von Texturen charakteristisch sind.
12. Verfahren gemäß einem der Ansprüche 2 bis 11, bei dem zur Erzeugung der Artefaktmaske ein Grauwertbild des Aufnahmebildes erzeugt und mit einem Liniendetektorverfahren und/oder einem Skalierungsindexverfahren bearbeitet wird.
13. Verfahren gemäß einem der Ansprüche 2 bis 12, bei dem zur Erzeugung der Objektmaske das Aufnahmebild einer Schwellwerttrennung durch iterative Histogrammanalyse unterzogen wird, um den Gewebeabschnitt von einem Hintergrund zu trennen.
14. Verfahren gemäß Anspruch 13, bei dem zur Erzeugung der Konturmaske die Randpunkte der Objektmaske erfaßt werden.
15. Verfahren gemäß Anspruch 13, bei dem zur Erzeugung der Randmaske die Objektmaske einer Schwellwerttrennung durch Histogrammanalyse unterzogen wird.
16. Verfahren gemäß einem der Ansprüche 1 bis 15, bei dem em Großennormierungsfaktor (f) des Gewebeabschnittes ermittelt
17. Verfahren gemäß einem der Ansprüche 1 bis 16, bei dem zur Bestimmung von Bildparametern, die für den Rand und seine Komplexität charakteristisch sind, eine Randpunkteklassifikation
(221), eine Homogenitatsbestimmung (222), eine Randprofil be- stimmung (223), eine Erfassung der Randrichtungsstetigkeit (224) und/oder eine Erfassung der Konturrauhigkeit (225) durchgeführt werden.
18. Verfahren gemäß einem der Ansprüche 2 bis 17, bei dem zur Ermittlung von Bildparametern, die für das Auftreten von Texturen im Gewebeabschnitt charakteristisch sind, Struktur erkennungsverfahren (241, 242) und/oder eine Strukturverteilungsbestimmung (243) durchgeführt werden.
19. Verfahren gemäß einem der Ansprüche 2 bis 18, bei dem zur Ermittlung von Bildparametern, die für die Symmetrie des Gewebeabschnittes charakteristisch sind, Symmetriebewertungsverfahren (211-215) durchgeführt werden, die sich auf die geometrischen Eigenschaften der Kontur, der Berandung, der Objektmaske, der Farbverteilung und/oder der Strukturverteilung beziehen .
20. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem der zu untersuchende Gewebeabschnitt eine Hautpigmentver- anderung ist.
21. Verfahren gemäß einem der Ansprüche 2 bis 20, bei dem die Bildparameter global für den gesamten Gewebeabschnitt und lokal für Teile des Gewebeabschnittes ermittelt werden.
22. Vorrichtung zur Implementierung eines Verfahrens gemäß einem der Ansprüche 1 bis 21, die umfaßt:
- eine Aufnahme- und Beleuchtungseinrichtung,
- eine Kameraeinrichtung,
- Speichereinrichtungen,
- Recheneinrichtungen und
- Anzeigeeinrichtungen.
PCT/EP1998/008020 1997-12-10 1998-12-09 Verfahren und vorrichtung zur erfassung und bearbeitung von abbildungen biologischen gewebes WO1999030278A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU21599/99A AU2159999A (en) 1997-12-10 1998-12-09 Method and device for detecting and processing images of biological tissue
EP98965797A EP1038267A1 (de) 1997-12-10 1998-12-09 Verfahren und vorrichtung zur erfassung und bearbeitung von abbildungen biologischen gewebes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19754909.8 1997-12-10
DE19754909A DE19754909C2 (de) 1997-12-10 1997-12-10 Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes

Publications (1)

Publication Number Publication Date
WO1999030278A1 true WO1999030278A1 (de) 1999-06-17

Family

ID=7851454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1998/008020 WO1999030278A1 (de) 1997-12-10 1998-12-09 Verfahren und vorrichtung zur erfassung und bearbeitung von abbildungen biologischen gewebes

Country Status (4)

Country Link
EP (1) EP1038267A1 (de)
AU (1) AU2159999A (de)
DE (1) DE19754909C2 (de)
WO (1) WO1999030278A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10021431A1 (de) * 2000-05-03 2001-11-22 Inst Neurosimulation Und Bildt Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen
US9240043B2 (en) 2008-09-16 2016-01-19 Novartis Ag Reproducible quantification of biomarker expression
US11023705B2 (en) 2017-04-05 2021-06-01 Olympus Soft Imaging Solutions Gmbh Method for the cytometric analysis of cell samples

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1231565A1 (de) * 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Bildfarbkorrektur, basierend auf Bildmustererkennung, wobei das Bildmuster eine Referenzfarbe beinhaltet
DE10307454B4 (de) * 2003-02-21 2010-10-28 Vistec Semiconductor Systems Gmbh Verfahren zur optischen Inspektion eines Halbleitersubstrats
DE102004002918B4 (de) * 2004-01-20 2016-11-10 Siemens Healthcare Gmbh Vorrichtung zur Untersuchung der Haut
DE102005045907B4 (de) * 2005-09-26 2014-05-22 Siemens Aktiengesellschaft Vorrichtung zur Darstellung eines einen Fluoreszenzfarbstoff enthaltenden Gewebes
DE102008059788B4 (de) 2008-12-01 2018-03-08 Olympus Soft Imaging Solutions Gmbh Analyse und Klassifizierung insbesondere biologischer oder biochemischer Objekte auf Basis von Zeitreihen-Bildern, anwendbar bei der zytometrischen Time-Lapse-Zellanalyse in der bildbasierten Zytometrie
US20220237810A1 (en) * 2019-05-09 2022-07-28 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems and methods for slide image alignment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990013091A1 (en) * 1989-04-13 1990-11-01 Kenet Robert O Apparatus and method for imaging and classifying lesions
DE4317746A1 (de) 1993-05-27 1994-12-01 Max Planck Gesellschaft Verfahren und Einrichtung zur Raumfilterung
DE19633693C1 (de) 1996-08-21 1997-11-20 Max Planck Gesellschaft Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
WO1998037811A1 (en) * 1997-02-28 1998-09-03 Electro-Optical Sciences, Inc. Systems and methods for the multispectral imaging and characterization of skin tissue

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169395A (ja) * 1992-11-27 1994-06-14 Sharp Corp 画像形成装置
DE4329672C1 (de) * 1993-09-02 1994-12-01 Siemens Ag Verfahren zur Rauschunterdrückung in digitalen Bildern

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990013091A1 (en) * 1989-04-13 1990-11-01 Kenet Robert O Apparatus and method for imaging and classifying lesions
DE4317746A1 (de) 1993-05-27 1994-12-01 Max Planck Gesellschaft Verfahren und Einrichtung zur Raumfilterung
DE19633693C1 (de) 1996-08-21 1997-11-20 Max Planck Gesellschaft Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
WO1998037811A1 (en) * 1997-02-28 1998-09-03 Electro-Optical Sciences, Inc. Systems and methods for the multispectral imaging and characterization of skin tissue

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A.G. FLOOK, POWDER TECHNOLOGY, vol. 21, 1978, pages 295
E. CLARIDGE ET AL.: "Shape analysis for classification of malignant melanoma", J. BIOMED. ENG., vol. 14, 1992, pages 229
ERCAL F ET AL: "DETECTION OF SKIN TUMOR BOUNDARIS IN COLOR IMAGES", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 12, no. 3, 1 September 1993 (1993-09-01), pages 624 - 627, XP000412341 *
LEE T ET AL: "A MULTI-STAGE SEGMENTATION METHOD FOR IMAGES OF SKIN LESIONS", PROCEEDINGS OF THE PACIFIC RIM CONFERENCE ON COMMUNICATIONS, COMPUTERS, AND SIGNAL PROCESSING. (PAC RIM), VICTORIA, BRITISH COLUMBIA, MAY 17 - 19, 1995, 17 May 1995 (1995-05-17), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 602 - 605, XP000559620 *
UMBAUGH S E ET AL: "AUTOMATIC COLOR SEGMENTATION ALGORITHMS. WHIT APPLICATION TO SKIN TUMOR FEATURE IDENTIFICATION", IEEE ENGINEERING IN MEDICINE AND BIOLOGY MAGAZINE, vol. 12, no. 3, 1 September 1993 (1993-09-01), pages 75 - 82, XP000403298 *
W. STOLZ ET AL., JOURNAL OF THE AMERCIAN ACADEMY OF DERMATOLOGY, vol. BAND 35, 1996, pages 202

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10021431A1 (de) * 2000-05-03 2001-11-22 Inst Neurosimulation Und Bildt Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen
DE10021431C2 (de) * 2000-05-03 2002-08-22 Inst Neurosimulation Und Bildt Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen
US9240043B2 (en) 2008-09-16 2016-01-19 Novartis Ag Reproducible quantification of biomarker expression
US11023705B2 (en) 2017-04-05 2021-06-01 Olympus Soft Imaging Solutions Gmbh Method for the cytometric analysis of cell samples
US11776283B2 (en) 2017-04-05 2023-10-03 Olympus Soft Imaging Solutions Gmbh Method for the cytometric analysis of cell samples

Also Published As

Publication number Publication date
AU2159999A (en) 1999-06-28
EP1038267A1 (de) 2000-09-27
DE19754909C2 (de) 2001-06-28
DE19754909A1 (de) 1999-06-24

Similar Documents

Publication Publication Date Title
DE60307583T2 (de) Auswertung der Schärfe eines Bildes der Iris eines Auges
DE69906403T2 (de) Verfahren und Gerät zum Detektieren eines gesichtsähnlichen Gebiets
DE60123378T2 (de) Digitales Bildverarbeitungsverfahren mit verschiedenen Arbeitsweisen zum Erkennen von Augen
EP2130174B1 (de) Verfahren und vorrichtung zur ermittlung einer zellkontur einer zelle
DE102010061505B4 (de) Verfahren zur Inspektion und Detektion von Defekten auf Oberflächen von scheibenförmigen Objekten
DE60310267T2 (de) Messung der mitoseaktivität
DE69322095T2 (de) Verfahren und gerät zur identifizierung eines objekts mittels eine geordneten folge von grenz-pixel-parametern
DE112012004493B4 (de) Steuerungsverfahren für die Farbbeleuchtung zur Verbesserung der Bildqualität in einembildgebenden System
EP1797533B1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE112008000020B4 (de) Vorrichtung und Programm zur Korrektur der Irisfarbe
DE112019005143T5 (de) System zur co-registrierung medizinischer bilder unter verwendung eines klassifikators
DE60313662T2 (de) Histologische bewertung des nuklearpleomorphismus
DE102019133685A1 (de) Informationsverarbeitungssystem und -verfahren
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
DE19754909C2 (de) Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes
DE112019004112T5 (de) System und verfahren zur analyse mikroskopischer bilddaten und zur erzeugung eines annotierten datensatzes zum training der klassifikatoren
EP1203342A2 (de) Verfahren und vorrichtung zur segmentierung einer punkteverteilung
DE102005049017B4 (de) Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
DE102016105102A1 (de) Verfahren zur Untersuchung verteilter Objekte
EP1105843B1 (de) Verfahren und vorrichtung zur erfassung von objektfarben
DE19834718C2 (de) Digitale Bildverarbeitung für ein Qualitätskontrollsystem
DE112018001054T5 (de) Bildverarbeitungsvorrichtung, Bilderzeugungsverfahren und Programm
DE19726226C2 (de) Verfahren zum automatisierten Erkennen von Strukturen in Schnitten durch biologische Zellen oder biologisches Gewebe
EP3663976A1 (de) Verfahren zur erfassung von fingerabdrücken
EP2581878A2 (de) Verfahren und Vorrichtung zur Quantifizierung einer Schädigung eines Hautgewebeschnittes

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AU JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 09589229

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1998965797

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1998965797

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 1998965797

Country of ref document: EP