WO2013044729A1 - 图像处理设备和方法，以及成像设备和方法 - Google Patents

图像处理设备和方法，以及成像设备和方法 Download PDF

Info

Publication number
WO2013044729A1
WO2013044729A1 PCT/CN2012/081232 CN2012081232W WO2013044729A1 WO 2013044729 A1 WO2013044729 A1 WO 2013044729A1 CN 2012081232 W CN2012081232 W CN 2012081232W WO 2013044729 A1 WO2013044729 A1 WO 2013044729A1
Authority
WO
WIPO (PCT)
Prior art keywords
contour
pixels
candidate
region
pixel
Prior art date
Application number
PCT/CN2012/081232
Other languages
English (en)
French (fr)
Inventor
韩博
Original Assignee
索尼公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 索尼公司 filed Critical 索尼公司
Publication of WO2013044729A1 publication Critical patent/WO2013044729A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • Image processing device and method and imaging device and method
  • the present invention generally relates to image segmentation techniques. More specifically, embodiments of the present invention relate to an image processing apparatus, an image processing method, an image forming apparatus, and an imaging method that allow an object region of interest to be segmented from an image.
  • the existing image segmentation methods can be basically divided into two types: fully automatic and semi-automatic.
  • the fully automated image segmentation method does not require manual input of any information about the position of the region in the image, automatically splitting the image into a number of connected regions that do not overlap each other.
  • the semi-automatic method divides the manually input position information to obtain the object area of interest in the image.
  • the partial position of the object area and the partial position of the non-object area, the circumscribed rectangle of the object area, the position of the center point of the object area, and the like may be manually input in advance, and then the segmentation process is automatically completed. Give the segmentation result.
  • an image processing method for determining a target object region in a digital image includes: color clustering a digital image to divide pixels in the digital image into corresponding ones Receiving object information input by a pointing operation, the object information specifying a partial area corresponding to the target object on the digital image; determining, in the digital image, one of the predetermined areas including the partial area Or a plurality of initial regions; calculating at least one evolved contour by the active porch method with the contour of each of the initial regions as an initial contour to approximate the object boundary; for each of the candidate contours including the initial contour and the evolved contour
  • the evaluation value determined by the sum of the pixels is calculated by using a window centered on the pixel, wherein the window includes a plurality of pixels, and S T is the window position of each pixel and the average distance from the position of these pixels statistic, S w is the position of each pixel in the window Group average statistical value from the positions of the pixels, wherein the position of each pixel group average is the average
  • an image processing method for determining a target object region in a digital image includes: receiving object information input by a pointing operation, the object information specifying a digital image corresponding to a target a local region of the object; establishing a foreground color statistical model according to a color value of the pixel in the local region; determining, in the digital image, one or more initial regions including the partial region respectively having a predetermined corridor; The method calculates at least one evolved contour with the contour of each of the initial regions as an initial contour to approximate an object boundary; and calculates some or all of the pixels and regions in respective regions of each of the candidate contours including the initial contour and the evolved contour a foreground fit degree of the foreground color statistical model; and an optimal boundary selection criterion based on at least a distance based on the foreground fit and a geometric center of the corresponding region of the candidate contour and a geometric center of the local region Evaluation of the corresponding area of the candidate contour as Like area.
  • an image processing apparatus for determining a target object region in a digital image, comprising: a clustering device that performs color clustering on the digital image to be in the digital image a pixel divided into corresponding classes; an input device that receives object information input by a pointing operation, the object information specifying a partial region on the digital image corresponding to the target object; and an area forming device at the digital image Determining one or more initial regions each having the predetermined area with the predetermined area, and calculating at least one evolution contour by the active contour method with the contour of each of the initial regions as an initial contour to approximate the object boundary; a proximity calculation device that calculates, for each pixel of the plurality of pixels on each of the candidate contours including the initial contour and the evolved contour, by using a window centered on the pixel to calculate a sum of the pixels evaluation value decision, wherein said window comprises a plurality of pixels, S T of each image in the window is Position and the average position of the distance of these pixels of the statistic
  • an image processing apparatus for determining a target object region in a digital image, comprising: an input device that receives object information input by a pointing operation, the object information specifying a number a local region corresponding to the target object on the image; a model computing device that establishes a foreground color statistical model based on color values of pixels in the local region; an area forming device that determines, in the digital image, that each has a predetermined corridor One or more initial regions of the partial region, and calculating at least one evolution profile by using the active contour method as the initial corridor of each of the initial regions to approximate the object boundary; the coincidence calculation device, the calculation thereof a foreground fit of a portion or all of the pixels in the respective regions of each of the candidate contours of the initial contour and the evolved contour to the foreground color statistical model; and a judging device that is based on at least the foreground fit and the a geometric center of a corresponding region of the candidate contour and the local region Predetermined distance from
  • an imaging method comprising: converting an optical image captured by an optical system into a digital image; determining an object area by the image processing method; and according to a current shooting mode The object indicated by the image area controls the imaging device to take a picture.
  • position information about an object area of interest can be input. Based on the input local area, it can be assumed that the initial area containing the local area contains part or all of the object, that is, it is assumed that these initial areas are the object area.
  • the contour evolution enables the contour of the initial region to gradually approach the real object boundary. This allows an accurate object area to be segmented if the input local area information is insufficient or inaccurate.
  • the initial contour and the evolved contour are considered as candidate corridors.
  • the degree of closeness of the pixel on the candidate contour to the boundary of the object region may be estimated, or by estimating the foreground fit of some or all of the pixels in the corresponding region of the candidate contour to the foreground color statistical model, according to the estimated proximity and corresponding
  • the distance between the geometric center of the region and the geometric center of the local region, or the likelihood that the candidate region is the object region is determined according to the estimated foreground fit and the distance between the geometric center of the corresponding region and the geometric center of the local region.
  • FIGS. 2A, 2B, 2C, and 2D are diagrams each showing an example of an initial region in which the position, size, and rotation angle of the wheel gallery, the geometric center are different.
  • FIG. 4 is a flow chart depicting an exemplary process of an image processing method in accordance with one embodiment of the present invention.
  • Fig. 5 is a block diagram showing an example structure of an image processing apparatus according to an embodiment of the present invention.
  • Figure 6 is a flow chart depicting an exemplary process of an image processing method in accordance with one embodiment of the present invention.
  • Figure 7 is a block diagram depicting an example structure of an image processing apparatus according to an embodiment of the present invention.
  • Figure 8 is a flow chart depicting an exemplary process of an image processing method in accordance with one embodiment of the present invention.
  • FIG. 9 is a block diagram depicting an example structure of an image forming apparatus according to an embodiment of the present invention.
  • FIG. 10 is a flow chart depicting an exemplary process of an imaging method in accordance with one embodiment of the present invention.
  • the image processing apparatus 100 includes a clustering device 101, an input device 10 2 , an area forming device 103, a proximity degree calculating device 104, and a judging device 105.
  • the input device 102 is configured to receive object information input by a pointing operation that specifies a local area on the digital image corresponding to the target object.
  • input device 102 can be an input device such as a mouse, joystick, trackball, touch screen.
  • the user can point a portion (point or region) on the image through the input device 102 while observing the displayed image.
  • the pointed portion can be accepted as a partial area.
  • an image can be displayed on the touch screen.
  • the pair can be received by a touch operation
  • the area forming means 103 is configured to determine, in the digital image, one or more initial areas each having the predetermined partial area containing the input partial area, and by the active contour method with each of the initial area's verandas At least one evolution wheel gallery is calculated for the initial contour to approximate the object boundary.
  • the region forming means in the digital image, the deviation of the geometric center of each of the initial regions from the geometric center of the local region is within a predetermined range.
  • the initial region may have various porches to improve the initial according to the initial region.
  • the porch evolves the possibility of substantially conforming to the boundary of the object area or contouring the object area substantially.
  • the degree of deviation of the local area from the object area for example, the deviation of the geometric center of the local area from the geometric center of the object area depends on the size of the displayed image (ie, the display screen), pointing operation The degree of influence of the vibration of the operating environment, the speed of movement of the object, the relative size of the object area in the image, and the like.
  • the range of deviation can be estimated based on factors affecting the accuracy of the pointing operation in a specific application environment as a predetermined range of deviation of the geometric center of the initial region from the geometric center of the input local region.
  • the initial porch of the initial region or its evolution rim is substantially more likely to coincide with the boundary of the object region or to substantially include the object region.
  • the pointing operation of the user input local area can be sampled and counted under the desired operating environment to determine such a range.
  • a digital image can also be a frame image of a video.
  • the user observes the video what is actually observed is to sequentially switch the displayed frame image.
  • the observed object can be in motion.
  • the partial area is an area in the frame image being displayed when the pointing operation is performed.
  • Multiple pixels on the veranda can be all pixels on the veranda or part of the pixels on the outline.
  • Z be a collection of all data points (pixels) in the class diagram portion of the window, where each pixel belongs to a color class.
  • ⁇ is the statistical value (for example, the sum of squares) of the distance between the position of each pixel in the window and the class average position of these pixels, that is,
  • the evaluation value can be determined by and , or, depending on and ⁇ .
  • the evaluation value J can be defined as
  • the pixels included in the window belong to a plurality of different color classes
  • the pixels corresponding to a certain color class are densely distributed on one side of the corresponding central pixel
  • the colors on both sides of the corresponding central pixel are There is a difference in category distribution.
  • both sides of the corresponding pixel may belong to different regions, and > ⁇ will be smaller than, and the evaluation value J will be greater than zero.
  • the evaluation value basically increases as the degree of unevenness of distribution of each color class in the corresponding window increases.
  • At least two evaluation values calculated using windows of different sizes centered on pixels, respectively, and calculating the mean or maximum of the evaluation values The value or minimum value as the final evaluation value for the pixel.
  • the size of the partial window can affect the size of the object area that can be detected. For example, a small-sized window is good for finding grayscale/color edges, while a large-sized window is good for finding texture boundaries.
  • the number and size of the windows can be determined according to the characteristics of the object area to which the specific application relates.
  • the proximity calculation means 104 is configured to estimate the proximity of the candidate profile to the object boundary based on the evaluation value calculated for each candidate profile.
  • the evaluation value has such a relationship with the proximity: The larger the evaluation value, the more likely the pixel is near the boundary of the region, that is, the closer the pixel is to the boundary of the object; the smaller the evaluation value, the less likely the pixel is near the boundary of the region. That is, the closer the pixel is to the object boundary. The more pixels with high evaluation values on the veranda, the higher the proximity of the contour to the object boundary.
  • the candidate contour A is closer to the boundary of the object region.
  • the candidate region having the higher mean value of the evaluation value or the larger evaluation value is closer to the boundary of the object region.
  • At least some or all of the above criteria may be employed to estimate the proximity of the contour of the candidate region to the object boundary based on the evaluation value.
  • the judging means 105 is configured to select a corresponding area of the candidate veranda having the optimal evaluation based on a predetermined boundary evaluation criterion based on at least the degree of proximity and the distance between the geometric center of the corresponding area of the candidate contour and the geometric center of the local area.
  • the degree of proximity and distance have the following relationship with the evaluation: The higher the degree of proximity, the higher the evaluation, the lower the degree of proximity, the lower the evaluation; the smaller the distance, the higher the evaluation, the larger the distance, the evaluation The lower.
  • Various functions conforming to the above relationship can be used as evaluations. For example, the degree of proximity and distance can be integrated by weighted sum to obtain a final evaluation.
  • the vertex of the initial area may be a polygonal (eg, rectangular) veranda, or may be an elliptical outline Or may include a polygonal outline and an elliptical outline.
  • the polygonal and elliptical contours are essentially capable of including individual object regions and their contours do not deviate too much from the boundaries of the object regions. Limiting the initial contour to a small number of simple shapes helps to reduce computational complexity.
  • the difference between the respective initial regions may include one or more of the following aspects: contour shape, position of the geometric center, size, and angle of rotation.
  • Figs. 2A, 2B, 2C, and 2D respectively illustrate examples of initial regions in which the shape of the corridor, the position of the geometric center, the size, and the rotation angle are different.
  • the outline of the initial area 201 is elliptical, and the outline of the initial area 202 is rectangular, the difference being at least the veranda.
  • the geometric center of the initial region 203 is at point A, and the geometric center of the initial region 204 is at point B.
  • Point A and point B are at different positions, respectively, and thus the initial areas 203 and 204 differ by at least the position of their geometric centers.
  • the initial regions 207, 208, 209 have different angles of rotation, respectively, differing at least by the angle of rotation.
  • FIGS. 2A, 2B, 2C, and 2D show differences in individual aspects of the initial region, the difference in the initial regions may be any combination of these aspects.
  • partial pixels on each candidate contour may be extracted and an evaluation value of each of the extracted partial pixels may be calculated.
  • the extraction of partial pixels follows the criterion that each pixel substantially reflects the distribution of the corresponding candidate veranda on the plane. In the plane of the image, each candidate contour passes through a different location. The sum of these locations represents the distribution of the corridor in the plane. In the case of extracting partial pixels instead of all pixels, if the extracted pixels can substantially reflect such a distribution, it is more accurate to judge whether the contours are close to the boundary by evaluating whether or not the pixels are close to the boundary of the object region.
  • the criterion that substantially reflects the distribution of the contours of the respective candidate regions on the plane is such that the sampling resolution is capable of substantially capturing changes in the signal waveform. Taking the area of the rectangular outline as an example, if only three pixels respectively on three sides are extracted, one side is not reflected. Therefore, such extraction does not meet the above criteria.
  • the extracted plurality of pixels are adjacent on the candidate contour
  • the number of round-robin pixels between pixels i.e., the spacing of adjacent pixels
  • a predetermined range e.g., zero pixels, one pixel, two pixels, three pixels, etc.
  • FIG. 3 is a schematic diagram describing an example of such a situation.
  • the candidate contour of the candidate region is a heptagon.
  • the geometric center of the region is at pixel 301.
  • the extracted pixels are pixels 302, 303, 304, 305, 306, 307, and 308, respectively.
  • pixel 302 is adjacent to pixel 303 with an interval angle ⁇ 1 ⁇ pixel 303 adjacent to pixel 304, spaced apart by an angle ⁇ 2 .
  • the spacing angle y ⁇ Bi is the same as the spacing angle ⁇ 2 base W.
  • the base may include the same, and may also include differences within a certain range. This range can be determined taking into account the complexity of the contour shape and satisfying the above criteria, so that the spacing angle is as uniform as possible.
  • the extracted pixels shown in FIG. 3 are located on the sides of the polygon, the extracted pixels may also include vertices of the polygon.
  • a lower pixel sampling rate can be employed for longer candidate contours. This avoids extracting too many pixels from a long profile and avoiding excessive computation.
  • FIG. 4 is a flow chart depicting an exemplary process of image processing method 400 in accordance with one embodiment of the present invention.
  • step 405 object information input by the pointing operation is received, the object information specifying a local area corresponding to the target object on the digital image.
  • a local area can be input through an input device such as a mouse, a joystick, a trackball, or a touch screen.
  • the user can point a portion (point or region) on the image through the input device while observing the displayed image.
  • the part that is pointed can be accepted as a partial area.
  • an image can be displayed on the touch screen.
  • step 407 one or more initial regions including partial regions each having a predetermined contour are determined in the digital image, and at least one is calculated by the active corridor method with the contour of each of the initial regions as an initial contour Evolve the contour to approximate the object boundary.
  • the deviation of the geometric center of each initial region from the geometric center of the input local region is within a predetermined range.
  • the user can point to the local area on the area of the object of interest in the image while observing the displayed image. It can be assumed that the object area is one of various initial areas around the input local area. The corridors of the initial areas are not necessarily close to the veranda of the real object boundary.
  • the active contour method can be used to approximate the contour of the real object boundary by finding the evolution contour. For the same initial region, you can use its contour as the initial contour to obtain a number of different evolution profiles with different iterations.
  • the degree of deviation of the local area from the object area for example, the deviation of the geometric center of the local area from the geometric center of the object area depends on the size of the displayed image (ie, the display screen), pointing operation The degree of influence of the vibration of the operating environment, the speed of movement of the object, the relative size of the object area in the image, and the like.
  • the range of deviation can be estimated according to factors affecting the accuracy of the pointing operation in a specific application environment, as a predetermined range of deviation of the geometric center of the initial region from the geometric center of the input local region.
  • the initial porch of the initial region or its evolution porch substantially coincides with the boundary of the object region or the possibility that the object region is substantially included.
  • the pointing operation of the user input local area is sampled and counted to determine such a range.
  • an evaluation value determined by ⁇ and > ⁇ of the pixel is calculated by using a window centered on the pixel.
  • the proximity of the candidate veranda to the object boundary is estimated based on the evaluation value calculated for each candidate contour.
  • the evaluation value has such a relationship with the proximity: The larger the evaluation value, the more likely the pixel is near the boundary of the region, that is, the closer the pixel is to the boundary of the object; the smaller the evaluation value, the less likely the pixel is near the boundary of the region. That is, the closer the pixel is to the object boundary.
  • the more pixels with a high evaluation value on the contour the higher the proximity of the contour to the object boundary. For example, for two candidate contours A and B, if the number of larger evaluation values among the evaluation values calculated for the pixels on the candidate contour A is larger or larger, it indicates that the candidate corridor A is closer to the boundary of the object region.
  • the candidate region having the higher mean value of the evaluation value or the larger evaluation value is closer to the boundary of the object region.
  • At least some or all of the above criteria may be employed to estimate the proximity of the contour of the candidate region to the boundary of the object based on the evaluation value.
  • a corresponding region of the candidate contour having the best evaluation is selected based on a predetermined boundary evaluation criterion based on at least the proximity and the distance between the geometric center of the corresponding region of the candidate contour and the geometric center of the local region.
  • the degree of proximity and distance have the following relationship with the evaluation: The higher the degree of proximity, the higher the evaluation, the lower the degree of proximity, the lower the evaluation; the smaller the distance, the higher the evaluation, the larger the distance, the evaluation The lower.
  • Various functions conforming to the above relationship can be used as evaluations. For example, the degree of proximity and distance can be integrated by weighted sum to obtain a final evaluation.
  • step 403 can be performed at any location prior to step 407.
  • FIG. 5 is a block diagram showing an example structure of an image processing apparatus 500 according to an embodiment of the present invention.
  • the image processing apparatus 500 includes a clustering device 501, an input device 502, The area forming means 503, the proximity degree calculating means 504, the determining means 505, the model calculating means 506, and the coincidence degree calculating means 507.
  • the clustering device 501, the input device 502, the region forming device 503, and the proximity calculating device 504 have the same functions as the clustering device 101, the input device 102, the region forming device 103, and the proximity calculating device 104, respectively, and therefore are not performed here. A detailed description.
  • the model computing device 506 establishes a foreground color statistical model (e.g., a Gaussian mixture model) based on the color values of the pixels in the input local region.
  • the foreground color statistical model reflects the distribution of color values of pixels in the local area. It can be assumed that the local area contains pixels that are pixels in the object area and roughly reflects the distribution of pixel values in the object area. Accordingly, for each pixel in a candidate region, the foreground color model can be used to estimate the probability that the pixel is a pixel within the object region based on its pixel value. If most or all of the pixels in the candidate region have a higher probability, then the candidate region can be considered to be in good agreement with the object region, and vice versa.
  • a foreground color statistical model e.g., a Gaussian mixture model
  • the predetermined boundary evaluation criteria employed by the judging means 505 are based on the degree of proximity, the distance between the geometric center of the corresponding region of the candidate wagon and the geometric center of the local region, and the foreground fit.
  • the degree of proximity, distance and prospect fit and evaluation have the following relationship: The higher the degree of proximity, the higher the evaluation, the lower the degree of proximity, the lower the evaluation; the smaller the distance, the higher the evaluation, the higher the distance Large, the lower the evaluation; the better the degree of coincidence of the foreground, the higher the evaluation, and the worse the degree of coincidence of the foreground, the lower the evaluation.
  • Various functions conforming to the above relationship can be employed as the evaluation.
  • the degree of proximity, distance, and foreground fit can be integrated by weighted sum to obtain a final evaluation, and candidate profiles having the best evaluation are selected.
  • model computing device 506 can establish a background color statistical model (eg, a Gaussian mixture model) based on color values of pixels that are near a digital image boundary and outside of the input local region. .
  • a background color statistical model eg, a Gaussian mixture model
  • the background color model can be used to estimate the probability that the pixel is a pixel outside the object region according to its pixel value. If most or all of the pixels outside the candidate region have a higher probability, then the candidate region can be considered to be in good agreement with the object region, and vice versa.
  • the coincidence calculation means 507 calculates the background fit of some or all of the pixels outside the respective regions of each candidate contour to the background color statistical model.
  • the judging means 505 selects a corresponding region of the candidate contour having the optimal evaluation based on the predetermined boundary evaluation criterion based on the degree of proximity, the distance between the geometric center of the corresponding region of the candidate contour and the geometric center of the local region, and the background fit degree. Its The functions of some of them are the same as those in the image processing apparatus 500.
  • FIG. 6 is a flow chart depicting an exemplary process of image processing method 600 in accordance with one embodiment of the present invention.
  • method 600 begins at step 601. At step 603, the same processing as step 403 is performed. At step 605, the same processing as step 405 is performed.
  • a foreground color statistical model (eg, a Gaussian mixture model) is established based on the color values of the pixels in the input local region.
  • the foreground color statistical model reflects the distribution of the color values of the pixels in the local area. It can be assumed that the local area contains pixels that are pixels in the object area and roughly reflects the distribution of pixel values in the object area. Accordingly, for each pixel in a candidate region, the foreground color model can be used to estimate the probability that the pixel is a pixel within the object region based on its pixel value. If most or all of the pixels in the candidate region have a higher probability, then the candidate region can be considered to be in good agreement with the object region, and vice versa.
  • step 607 the same processing as step 407 is performed.
  • step 609 the same processing as step 409 is performed.
  • a foreground fit of some or all of the pixels within the region of each candidate contour to the foreground color statistical model is calculated.
  • a background color statistical model (eg, a Gaussian mixture model) is established from color values of pixels that are near a digital image boundary and outside of the input local region. For each pixel outside a candidate region, the background color model can be used to estimate the probability that the pixel is a pixel outside the object region according to its pixel value. If most or all of the pixels outside the candidate region have a higher probability, then the candidate region can be considered to be in good agreement with the object region, and vice versa.
  • the background fit of some or all of the pixels outside the respective regions of each candidate veranda to the background color statistical model is calculated.
  • a corresponding region of the candidate contour having the optimal evaluation is selected based on a predetermined boundary evaluation criterion based on the degree of proximity, the distance between the geometric center of the corresponding region of the candidate contour and the geometric center of the local region, and the background fit degree.
  • Other processing is the same as in method 600.
  • a foreground color statistical model and a background color statistical model can be calculated at step 606. Accordingly, foreground fit and background fit can be calculated at step 610.
  • the candidate boundary gallery having the best evaluation may be selected according to a predetermined boundary evaluation criterion based on the degree of proximity, the geometric center of the corresponding region of the candidate contour and the geometric center of the local region, the foreground fit degree, and the background fit degree. The corresponding area.
  • Other processing is the same as in method 600.
  • FIG. 7 is a block diagram depicting an example structure of an image processing apparatus 700 according to an embodiment of the present invention.
  • the predetermined boundary evaluation criterion employed by the judging device 705 is based on the degree of fit (foreground fit, background fit or foreground fit and background fit) and the distance between the geometric center of the corresponding region of the candidate contour and the geometric center of the local region. . In such a case, the candidate profile with the best evaluation is selected.
  • FIG. 8 is a flow chart depicting an exemplary process of image processing method 800 in accordance with one embodiment of the present invention.
  • method 800 begins at step 801. At step 805, the same processing as step 605 is performed. At step 806, the same process as step 606 is performed. At step 807, the same processing as step 607 is performed. At step 810, the same process as step 610 is performed. [88] At step 811, a predetermined boundary evaluation criterion based on the distance between the geometric center of the corresponding region of the candidate region and the geometric center of the local region based on the degree of fit (foreground fit, background fit or foreground fit and background fit) The candidate profile with the best evaluation is selected.
  • An image processing apparatus and an image processing method according to an embodiment of the present invention can be applied to an image forming apparatus for a user to select an object area of interest.
  • the image forming apparatus may be, for example, a digital camera, a camera, a video monitoring system, and a device having a camera and a camera.
  • FIG. 9 is a block diagram depicting an example structure of an image forming apparatus 900 according to an embodiment of the present invention.
  • the imaging apparatus 900 includes an imaging device 906, a display device 907, a control device 908, and an image processing device 910.
  • the image processing device 910 may be the image processing device according to an embodiment of the present invention described above.
  • Imaging Device 906 The optical image captured by the tet over-optical system is converted to a digital image.
  • a display device 907 (e.g., an electronic viewfinder, video or image monitor) displays the digital image converted by the imaging device 906. Alternatively, display device 907 may also be included in image processing device 910.
  • the control device 908 controls the imaging device 900 to perform photographing based on the object of the target region determined by the image processing device 910 in accordance with the current beat mode.
  • the imaging device 900 can have various shooting modes.
  • the control optical system focuses on the photographed object indicated by the object area and takes a picture, and automatically adjusts the parameters such as exposure, white balance, etc. according to the characteristics of the subject indicated by the object area, and takes a picture, and rotates the lens to shoot the object area.
  • the subject moves to the center of the screen, points to the subject indicated by the subject area, and focuses on shooting.
  • FIG. 10 is a flow diagram depicting an exemplary process of imaging method 1000 in accordance with one embodiment of the present invention.
  • method 1000 begins at step 1001.
  • step 1003 the optical image captured by the optical system is converted to a digital image.
  • step 1005 the converted digital image is displayed.
  • step 1007 an image processing method according to an embodiment of the present invention as described above is performed to determine an object area.
  • the imaging device is controlled to perform shooting for the object indicated by the determined target region according to the current shooting mode.
  • the control optical system focuses on the photographed object indicated by the object area and takes a picture, automatically adjusts the parameters such as exposure, white balance, etc. according to the characteristics of the shot object indicated by the object area, and takes a picture, and rotates the lens to mark the object indicated by the object area. Move to the center of the screen, aim at the subject indicated by the subject area, focus on shooting, and so on.
  • the user can operate the imaging device in the mobile environment. Next, or when the subject is in motion, quickly select the subject of interest to shoot and shoot in time.
  • FIG. 11 is a block diagram showing an exemplary structure of an apparatus that implements an embodiment of an image processing apparatus and an image processing method according to the present invention.
  • the central processing unit (CPU) 110 performs various processes in accordance with a program stored in the read only memory (ROM) 1102 or a program loaded from the storage portion 1108 to the random access memory (RAM) 1103.
  • ROM read only memory
  • RAM random access memory
  • data required when the CPU 1101 executes various processes and the like is also stored as needed.
  • the CPU 1101, the ROM 1102, and the RAM 1103 are connected to each other via a bus 1104.
  • Input/output interface 1105 is also coupled to bus 1104.
  • the following components are connected to the input/output interface 1105: an input portion 1106 including a keyboard, a mouse, etc.; an output portion 1107 including a display such as a cathode ray tube (CRT), a liquid crystal display (LCD), etc., and a speaker And so on; a storage portion 1108 including a hard disk or the like; and a communication portion 1109 including a network interface card such as a LAN card, a modem, and the like.
  • the communication section 1109 performs communication processing via a network such as the Internet.
  • the drive 1110 is also connected to the input/output interface 1105 as needed.
  • the detachable medium 1111 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory or the like is mounted on the drive 1110 as needed, so that the calculations read therefrom are installed into the storage portion 1108 as needed.
  • a program constituting the software is installed from a network such as the Internet or a storage medium such as the removable medium 1111.
  • such a storage medium is not limited to the removable medium in which a program is stored and distributed separately from the method to provide a program to a user as shown in FIG. 1111.
  • the removable medium 1111 include a magnetic disk, an optical disk (including a compact disk read only memory (CD-ROM) and a digital versatile disk (DVD)), a magneto-optical disk (including a mini disk (MD), and a semiconductor memory.
  • the storage medium may be a ROM. 1102.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种图像处理设备和方法，以及成像设备和方法。图像进行颜色聚类以将像素划分为类。接收通过指点操作输入的对象信息，其指定数字图像上相应于目标对象的局部区域。确定分别具有预定轮廓的包含局部区域的初始区域。通过活动轮廓方法以每个初始区域的轮廓为初始轮廓来计算演变轮廓，以逼近对象边界。针对包含初始轮廓和演变轮廓的候选轮廓中的每个上的多个像素中的每个像素，通过使用以该像素为中心的窗口来计算所述像素的由 S T 和 S W 决定的评估值。根据评估值，估计每个候选轮廓与对象边界的接近程度。根据至少基于接近程度以及候选区域与局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。

Description

图像处理设备和方法， 以及成像设备和方法
技术领域
[01] 本发明一般涉及图像分割技术。更具体地说，本发明的实施例涉及一 种允许从图像中分割出感兴趣的对象区域的图像处理设备、 图像处理方 法、 成4象设备和成像方法。
背景技术
[02] 现有的图像分割方法基本上可以分为全自动和半自动两类。全自动的 图像分割方法不需要人工输入任何关于图像中的区域位置的信息， 自动地 将图像分割为若干个互不交叠的连通区域。半自动的方法则在人工输入的 位置信息的^ I上进行分割， 得到图像中感兴趣的对象区域。
[03] 例如， 在半自动图像分割方法中， 可以事先人工输入对象区域的部 分位置和非对象区域的部分位置、对象区域的外接矩形、 对象区域的中心 点的位置等， 然后自动完成分割过程、 给出分割结果。
发明内容
[04] 根据本发明的一个方面， 提供一种图像处理方法， 用于确定数字图 像中的目标对象区域， 包括： 对数字图像进行颜色聚类以将所述数字图 像中的像素划分到相应的类中； 接收通过指点操作输入的对象信息， 所 述对象信息指定所述数字图像上相应于目标对象的局部区域； 在所述数 字图像中确定分别具有预定轮廊的包含所述局部区域的一个或多个初始 区域； 通过活动轮廊方法以每个所述初始区域的轮廓为初始轮廓来计算 至少一个演变轮廓， 以逼近对象边界； 针对包含初始轮廓和演变轮廓的 候选轮廓中的每个上的多个像素中的每个像素， 通过使用以所述像素为 中心的窗口来计算所述像素的由 和^决定的评估值， 其中， 所述窗口 中包含多个像素， ST是所述窗口中各像素的位置与这些像素的平均位置 的距离的统计值， Sw是所述窗口中各像素的位置与这些像素的类平均位 置的距离的统计值， 其中每个像素的类平均位置是所述窗口中与所述像 素属于相同类的所有像素的平均位置； 根据针对每个所述候选轮廓计算 的评估值， 估计所述候选轮廓与对象边界的接近程度； 和根据至少基于 所述接近程度以及所述候选轮廓的相应区域的几何中心与所述局部区域 的几何中心的距离的预定边界评价准则， 选择具有最优评价的候选轮廊 的相应区域作为对象区域。
[05] 根据本发明的一个方面， 提供一种图像处理方法， 用于确定数字图 像中的目标对象区域， 包括： 接收通过指点操作输入的对象信息， 所述 对象信息指定数字图像上相应于目标对象的局部区域； 根据所述局部区 域中像素的颜色值建立前景颜色统计模型； 在所述数字图像中确定分别 具有预定轮廊的包含所述局部区域的一个或多个初始区域； 通过活动轮 廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮 廓， 以逼近对象边界； 计算包含初始轮廓和演变轮廓的候选轮廓中的每 个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合 度； 和根据至少基于所述前景吻合度以及所述候选轮廓的相应区域的几 何中心与所述局部区域的几何中心的距离的预定边界评价准则， 选择具 有最优评价的候选轮廓的相应区域作为对象区域。
[06] 根据本发明的另一个方面， 提供一种图像处理设备， 用于确定数字 图像中的目标对象区域， 包括： 聚类装置， 其对数字图像进行颜色聚类 以将所述数字图像中的像素划分到相应的类中； 输入装置， 其接收通过 指点操作输入的对象信息， 所述对象信息指定所述数字图像上相应于目 标对象的局部区域； 区域形成装置， 其在所述数字图像中确定分别具有 预定轮廊的包含所述局部区域的一个或多个初始区域， 并且通过活动轮 廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮 廓， 以逼近对象边界； 接近程度计算装置， 其针对包含初始轮廓和演变 轮廓的候选轮廓中的每个上的多个像素中的每个像素， 通过使用以所述 像素为中心的窗口来计算所述像素的由 和^决定的评估值， 其中， 所 述窗口中包含多个像素， ST是所述窗口中各像素的位置与这些像素的平 均位置的距离的统计值， Sw是所述窗口中各像素的位置与这些像素的类 平均位置的距离的统计值， 其中每个像素的类平均位置是所述窗口中与 所述像素属于相同类的所有像素的平均位置， 并且根据针对每个所述候 选轮廓计算的评估值， 估计所述候选轮廓与对象边界的接近程度； 和判 断装置， 其根据至少基于所述接近程度以及所述候选轮廓的相应区域的 几何中心与所述局部区域的几何中心的距离的预定边界评价准则， 选择 具有最优评价的候选轮廊的相应区域作为对象区域。 [07] 根据本发明的另一个方面， 提供一种图像处理设备， 用于确定数字 图像中的目标对象区域， 包括： 输入装置， 其接收通过指点操作输入的 对象信息， 所述对象信息指定数字图像上相应于目标对象的局部区域； 模型计算装置， 其根据所述局部区域中像素的颜色值建立前景颜色统计 模型； 区域形成装置， 其在所述数字图像中确定分别具有预定轮廊的包 含所述局部区域的一个或多个初始区域， 并且通过活动轮廓方法以每个 所述初始区域的轮廊为初始轮廊来计算至少一个演变轮廓， 以逼近对象 边界； 吻合度计算装置， 其计算包含初始轮廓和演变轮廓的候选轮廓中 的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景 吻合度； 和判断装置， 其根据至少基于所述前景吻合度以及所述候选轮 廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界 评价准则， 选择具有最优评价的候选轮廓的相应区域作为对象区域。
[08] 才艮据本发明的另一个方面， 提供一种成像方法， 包括： 把通过光学系 统捕获的光学图像转换为数字图像；通过上述图像处理方法来确定对象区 域；和根据当前拍摄模式针对所 象区域指示的对象来控制所述成像设 备进行拍摄。
[09] 才艮据本发明的另一个方面， 提供一种成像设备， 包括： 成像装置， 其 把通过光学系统捕获的光学图像转换为数字图像；显示装置，其显示所述 数字图像； 上述图像处理设备； 和控制装置， 其根据当前拍摄模式针对所 述图像处理设备确定的对象区域指示的对象来控制所述成像设备进行拍 摄。
[10] 根据本发明的各个方面， 可以输入有关感兴趣的对象区域的位置信 息， 即局部区域。根据输入的局部区域， 可以假设包含局部区域的初始区 域包含有对象的部分或全部， 即假设这些初始区域是对象区域。通过轮廓 演变能够使得初始区域的轮廓逐步接近真实对象边界。这允许在输入的局 部区域信息不充分、不准确的情况下分割出准确的对象区域。把初始轮廓 和演变轮廓作为候选轮廊来考虑。可以通过估计候选轮廓上的像素与对象 区域边界的接近程度，或通过估计候选轮廓的相应区域内的部分或全部像 素与所述前景颜色统计模型的前景吻合度，根据所估计的接近程度和相应 区域几何中心与局部区域几何中心的距离，或根据所估计的前景吻合度和 相应区域几何中心与局部区域几何中心的距离，来判断候选区域是对象区 域的可能性。这种评价的计算复杂度较低， 因而能够提高对象区域分割的 处理速度。 附图说明
[11] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明 的以上和其它目的、特点和优点。 在附图中， 相同的或对应的技术特征或 部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出 单元的尺寸和相对位置。
[12] 图 1 是描述根据本发明一个实施例的图像处理设备的示例结构的方 框图。
[13] 图 2A、 图 2B、 图 2C和图 2D是分别描述轮廊、 几何中心的位置、 大小和旋转角度存在差异的初始区域的例子的示意图。
[14] 图 3是描述轮廓上相邻的像素的方位角的间隔基本相同的情形的一 个例子的示意图。
[15] 图 4是描述根据本发明一个实施例的图像处理方法的示例过程的流 程图。
[16] 图 5是描述根据本发明一个实施例的图像处理设备的示例结构的方 框图。
[17] 图 6是描述根据本发明一个实施例的图像处理方法的示例过程的流 程图。
[18] 图 7是描述根据本发明一个实施例的图像处理设备的示例结构的方 框图。
[19] 图 8是描述根据本发明一个实施例的图像处理方法的示例过程的流 程图。
[20] 图 9是描述根据本发明一个实施例的成像设备的示例结构的方框图。
[21] 图 10是描述根据本发明一个实施例的成像方法的示例过程的流程 图。
[22] 图 11是示出实现根据本发明的图像处理设备和图像处理方法的实施 例的设备的示例性结构的框图。
具体实施方式
[23] 下面参照附图来说明本发明的实施例。 应当注意， 为了清楚的目的， 附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和 处理的表示和描述。
[24] 图 1是描述根据本发明一个实施例的图像处理设备 100的示例结构的 方框图。
[25] 如图 1所示， 图像处理设备 100包括聚类装置 101、 输入装置 102、 区域形成装置 103、 接近程度计算装置 104和判断装置 105。
[26] 聚类装置 101 被配置为对数字图像进行颜色聚类以将数字图像中的 像素划分到相应的类中。 颜色聚类是指把像素的颜色值聚为若干颜色 类。 通常可以在颜色空间对图像中像素的颜色值进行无监督聚类来确定 这若干个颜色类。 并可以为这若干个颜色类分配相应的类别标签。 通过 把图像中各个像素的颜色值替换为其所属的颜色类的相应标签， 可以得 到表示颜色聚类结果的类图。 例如， 可以采用韩等人在 "主颜色提取装 置和方法" ， CN101655983A中介绍的方法来进行颜色聚类。
[27] 输入装置 102被配置为接收通过指点操作输入的对象信息，此对象信 息指定数字图像上相应于目标对象的局部区域。例如，输入装置 102可以 是诸如鼠标、操纵杆、 轨迹球、 触摸屏的输入装置。 用户在观察所显示的 图像的情况下， 能够通过输入装置 102指点图像上的部分 (点或区域)。 被 指点的部分可以作为局部区域而被接受。在通过触摸屏实现输入装置 102 的情况下， 可以在触摸屏上显示图像。相应地， 可通过触摸操作来接收对
^^ί^息。
[28] 区域形成装置 103被配置为在数字图像中确定分别具有预定轮廊的 包含所输入的局部区域的一个或多个初始区域，并且通过活动轮廓方法以 每个所述初始区域的轮廊为初始轮廓来计算至少一个演变轮廊，以逼近对 象边界。根据区域形成装置的一个进一步的实现， 在数字图像中，每个初 始区域的几何中心与局部区域的几何中心的偏差在预定范围内。
[29] 用户在观察显示的图像时可以指点图像中的感兴趣对象区域上的局 部区域。 可以假设对象区域是所输入的局部区域周围的各种初始区域之 一。各初始区域的轮廓不一定与真实对象边界的轮廊接近。可以采用活动 轮廓方法来逐步改变轮廊以逼近真实对象边界的轮廊。活动轮廓方法包含 例如水平集（ Level Set )、蛇（ snake )模型等方法。例如根据水平集方法， 通过寻找使能量泛函极小化的演变轮廓来逼近真实对象边界的轮廓。对于 同一初始区域，可以以其轮廓作为初始轮廓，通过不同的迭代次数来获得 多个不同的演变轮廊。 例如， 可以采用 H. Zhao, T. Chan, B. Merriman, and S. Osher, "A variational level set approach to multiphase motion," Journal of Computational Physics, pp.179-195, 1996中说明的水平集方 法。
[30] 考虑到对象的形状、尺寸、其主体在图像中的基本取向、其主体在平 面中的中心位置等方面的多样性，初始区域可以具有各种轮廊， 以提高根 据初始区域的初始轮廊演变出与对象区域的边界基本吻合或把对象区域 基本包含在内的轮廓的可能性。
[31] 此外， 如果在具体应用中所涉及的对象区域的形状具有一定的共性， 可以根据这种共性采用相应的初始区域轮廓形状。
[32] 在进行输入局部区域的操作时，局部区域与对象区域的偏离程度，例 如局部区域几何中心与对象区域几何中心的偏离的大小取决于显示的图 像 (即显示屏幕)的尺寸、 指点操作受操作环境的振动影响的程度、 对象的 运动速度、对象区域在图像中的相对尺寸等因素。可以根据具体应用环境 中影响指点操作准确性的因素，估计出偏离的范围， 以作为初始区域的几 何中心与输入的局部区域的几何中心的偏差的预定范围。也就是说，在这 样的偏离范围内，初始区域的初始轮廊或其演变轮廊与对象区域的边界基 本吻合或把对象区域基本包含在内的可能性更高。例如，可以在期望的操 作环境下对用户输入局部区域的指点操作进行采样和统计，来确定这样的 范围。
[33] 能够明白， 数字图像也可以是视频的帧图像。 当用户观察视频时， 实 际观察的是顺序切换显示的帧图像。 所观察到的对象可以处于运动状态。 当用户输入局部区域时，该局部区域是在进行指点操作时正显示的帧图像 中的区域。
[34] 初始轮廓和演变轮廊都是可能的对象边界。这里把初始轮廓和演变轮 廓合称为候选轮廓，相应区域称为候选区域。接近程度计算装置 104被配 置为针对每个候选轮廓上的多个像素中的每个像素，通过使用以该像素为 中心的窗口来计算该像素的关于其与对象边界的接近程度的评估值。
[35] 轮廊上的多个像素可以是轮廊上的所有像素，也可以是轮廓上的部分 像素。具体地，令 Z是窗口所包含的类图部分中所有数据点 (像素)的集合， 其中， 每一像素属于一个颜色类。 令 z=(，y)，zeZ， 并且 m是窗口中所有 像素的位置的均值（即平均位置）， m =— z 假设 Z被分类成 C个类， ， =1,…， C„令 类 的 个数据点的均值（即类 平均位置），
Figure imgf000009_0001
令 是窗口中各像素 z的位置与这些像素的平均位置 m的距离的统计值（例 如， 平方和）， 即
Figure imgf000009_0002
并且^是窗口中各像素的位置与这些像素的类平均位置^的距离的统计 值（例如， 平方和）， 即
Figure imgf000009_0003
于是， 评估值可由 和 决定， 或者说， 取决于 和^。 在一个示例中， 可以定义评估值 J为
J = (ST - SW)/SW (5)
[36] 容易看出， 的值仅由窗口的形状和大小决定， ^的值还与窗口内 各像素所属的颜色类及其分布有关。 当窗口内的全部像素都属于同一个 颜色类时， Sw与 相等， 评估值 J为 0; 容易理解， 此时相应像素位于 一个单一颜色区域内， 它基本不可能位于区域边界附近。
[37] 假设对于图像中的像素， 以该像素为中心的窗口内包含的像素属于 若干个不同的颜色类。 此情况下， 如果每个颜色类所对应的像素在整个 窗口内都比较均匀地分布， 那么公式 (4)中的 C个 m,均接近于式 (3)中的 m , 因此 > ^与 接近， 评估值 J接近于 0; 容易理解， 此时该像素位于 一个单一纹理区域内， 它位于区域边界附近的概率较低。 在窗口内包含 的像素属于若干个不同的颜色类的情况下， 如果某一颜色类所对应的像 素在相应中心像素的一侧的分布明显密集于另一侧， 那么相应中心像素 两侧的颜色类别分布有区别。 容易理解， 此时相应像素的两侧可能属于 不同的区域， 而> ^将小于 , 评估值 J将大于 0。 并且， 评估值基本上 随各颜色类在相应窗口内分布不均匀程度的增加而增大。 具体实现中也 可以采用其他的评估值定义方式， 如： / = ST/SW, J = SW/ST1 及 / = 5 )/5 等。
[38] 在本文描述的图像处理设备和图像处理方法的一个优选实施例中，可 以通过分别使用以像素为中心的不同尺寸的窗口计算的至少两个评估值 并且计算这些评估值的均值或者最大值或者最小值，以作为该像素的最终 评估值。局部窗口的尺寸可影响能够检测的对象区域的尺寸。 例如， 小尺 寸的窗口利于寻找灰度 /颜色边缘， 而大尺寸的窗口利于寻找紋理边界。 可以根据具体应用所涉及的对象区域的特点来确定窗口的数目和尺寸。
[39] 接近程度计算装置 104被配置为根据针对每个候选轮廓计算的评估 值，估计该候选轮廓与对象边界的接近程度。评估值与接近程度有这样的 关系： 评估值越大， 则像素越可能在区域边界附近， 即像素与对象边界的 接近程度越高； 评估值越小， 则像素越不可能在区域边界附近， 即像素与 对象边界的接近程度越低。轮廊上具有高评估值的像素越多， 则轮廓与对 象边界的接近程度越高。 例如， 对于两个候选轮廓 A和 B， 如果针对候 选轮廊 A上的像素计算的评估值中较大评估值的数目较多或比例较大， 则表明候选轮廓 A与对象区域边界更接近。 此外， 如果分别针对候选轮 廓 A和 B上像素计算的评估值中较大评估值的数目或比例相同或接近， 则评估值或较大评估值的均值更高的候选区域与对象区域边界更接近。至 少根据上述准则的部分或全部，可以采用各种算法来根据评估值估计候选 区域的轮廓与对象边界的接近程度。
[40] 判断装置 105被配置为根据至少基于接近程度以及候选轮廓的相应 区域的几何中心与局部区域的几何中心的距离的预定边界评价准则，选择 具有最优评价的候选轮廊的相应区域。应该明白，接近程度和距离与评价 之间有如下关系： 接近程度越高， 则评价越高， 接近程度越低， 则评价越 低； 距离越小， 则评价越高， 距离越大， 则评价越低。 可以采用各种符合 上述关系的函数作为评价。例如可以通过加权和来综合接近程度和距离以 得到最终的评价。
[41] 考虑到对象的共性，在本文描述的图像处理设备和图像处理方法的一 个进一步的实施例中，初始区域的轮廊可以是多边形（例如，矩形）轮廊， 或可以是椭圆形轮廓，或可以包括多边形轮廓和椭圆形轮廓。这是因为多 边形轮廓和椭圆形轮廓基本上能够把各个对象区域包含在内并且其轮廓 不会与对象区域的边界偏离过大。把初始轮廓限制为数目较少且简单的形 状， 利于降低计算复杂度。 [42] 为了提高根据初始区域的初始轮廊演变出与对象区域的边界基本吻 合或 象区域基本包含在内的轮廓的可能性，在本文描述的图像处理设 备和图像处理方法的一个优选实施例中，各个初始区域之间的差异可以包 括下述方面中的一个或多个： 轮廓形状、 几何中心的位置、 大小和旋转角 度。
[43] 图 2A、 图 2B、 图 2C和图 2D分别描述了轮廊形状、 几何中心的位 置、 大小和旋转角度存在差异的初始区域的例子。
[44] 如图 2A所示， 初始区域 201的轮廓为椭圆形， 初始区域 202的轮廓 为矩形， 其差别至少在于轮廊。
[45] 如图 2B所示， 初始区域 203的几何中心在点 A处， 初始区域 204的 几何中心在点 B处。 点 A和点 B分别在不同的位置， 因而初始区域 203 和 204的差别至少在于其几何中心的位置。
[46] 如图 2C所示， 初始区域 205的大小（即尺寸)大于初始区域 206的尺 寸， 其差别至少在于尺寸。
[47] 如图 2D所示， 初始区域 207、 208、 209分别具有不同的旋转角度， 其差别至少在于旋转角度。
[48] 虽然图 2A、 图 2B、 图 2C和图 2D示出了初始区域的单个方面的差 别， 然而初始区域的差别可以是这些方面的任意组合。
[49] 在本文描述的图像处理设备和图像处理方法的一个优选实施例中，可 以提取每个候选轮廓上的部分像素并计算所提取的部分像素中的每个像 素的评估值。部分像素的提取遵从各个像素基本上反映相应候选轮廊在平 面上的分布的准则。 在图像的平面中， 每个候选轮廓经过不同的位置。 这 些位置的总和代表了轮廊在平面中的分布。在提取部分像素而不是所有像 素的情况下，如果所提取的像素能够基本上反映这样的分布，那么会更加 准确地通过评价这些像素是否靠近对象区域边界来判断轮廓与边界的接 近程度。如果把轮廓看成信号波形，那么可以把提取部分像素看作对信号 波形进行采样。基本上反映相应候选区域的轮廓在平面上的分布的准则相 当于使采样分辨率能够基本上捕获信号波形的变化。以矩形轮廓的区域为 例，如果只提取分别位于三个边上的三个像素，那么有一个边没有得到反 映。 因而这样的提取就不符合上述准则。
[50] 作为上述准则的一个进一步的改进，在本文描述的图像处理设备和图 像处理方法的一个优选实施例中，所提取的多个像素中在候选轮廓上相邻 的像素间的轮廊像素的数目 （即相邻像素的间隔）的偏差在预定范围（例 如零个像素、 一个像素、 两个像素、 三个像素等等）内。 这样可以保证基 本均匀地提取像素。
[51] 作为上述准则的一个进一步的改进，在这里描述的图像处理设备和图 像处理方法的一个优选实施例中，在以每个候选区域的几何中心为原点的 情况下，所提取的多个像素中在候选轮廓上相邻的像素的方位角的间隔基 M目同。 图 3是描述这样的情形的一个例子的示意图。 在图 3中， 候选区 域的候选轮廓是一个七边形。该区域的几何中心在像素 301处。所提取的 像素分别为像素 302、 303、 304、 305、 306、 307和 308。 作为示例， 像 素 302与像素 303相邻， 其间隔角度 θ1 β像素 303与像素 304相邻， 其间 隔角度 θ2。 间隔角 y^ Bi与间隔角度 θ2基 W目同。 这里， 基 W目同可以包 括相同， 并且也可以包括在某个范围内的差异。可以在考虑轮廓形状的复 杂性和满足上述准则的情况下确定这个范围， 以使间隔角度尽量均匀。 虽 然图 3中示出的所提取像素位于多边形的边上，然而所提取像素也可以包 括多边形的顶点。
[52] 在本文描述的图像处理设备和图像处理方法的一个优选实施例中，可 以对较长的候选轮廓采用较低的像素采样率。这样可以避免从较长的轮廓 提取过多的像素， 从而避免计算量过大。
[53] 在本文描述的图像处理设备和图像处理方法的一个优选实施例中，在 进行颜色聚类时，如果图像中一个颜色类别的区域与另一个颜色类别的另 一区域相邻，该区域和另一区域之间的边界平滑， 并且该颜色类别的颜色 均值和该另一个颜色类别的颜色均值的差小于预定阈值，则可以将该颜色 类别和另一个颜色类别合并为同一个颜色类别。这可以剔除出现在图像的 平滑过渡区域的错误的颜色类别边界。
[54] 图 4是描述根据本发明一个实施例的图像处理方法 400的示例过程的 流程图。
[55] 如图 4所示， 方法 400从步骤 401开始。 在步骤 403， 对数字图像进 行颜色聚类以将所述数字图像中的像素划分到相应的类中。颜色聚类是指 把像素的颜色值聚为若干颜色类。通常可以在颜色空间对图像中像素的颜 色值进行无监督聚类来确定这若干个颜色类。并可以为这若干个颜色类分 配相应的类别标签。通过把图像中各个像素的颜色值替换为其所属的颜色 类的相应标签， 可以得到表示颜色聚类结果的类图。 例如， 可以采用韩等 人在 "主颜色提取装置和方法"， CN101655983A 中介绍的方法来进行颜 色聚类。
[56] 在步骤 405， 接收通过指点操作输入的对象信息， 此对象信息指定数 字图像上相应于目标对象的局部区域。例如，可以通过诸如鼠标、操纵杆、 轨迹球、触摸屏的输入装置来输入局部区域。用户在观察所显示的图像的 情况下， 能够通过输入装置指点图像上的部分 (点或区域)。 被指点的部分 可以作为局部区域而被接受。在通过触摸屏实现输入装置的情况下，可以 在触摸屏上显示图像。
[57] 在步骤 407， 在数字图像中确定分别具有预定轮廓的包含局部区域的 一个或多个初始区域，并且通过活动轮廊方法以每个所述初始区域的轮廓 为初始轮廓来计算至少一个演变轮廓， 以逼近对象边界。在步骤 407的一 个进一步的实现中，在数字图像中，每个初始区域的几何中心与输入的局 部区域的几何中心的偏差在预定范围内。
[58] 用户在观察显示的图像时可以指点图像中的感兴趣对象区域上的局 部区域。 可以假设对象区域是所输入的局部区域周围的各种初始区域之 一。各初始区域的轮廊不一定与真实对象边界的轮廊接近。可以采用活动 轮廓方法，通过寻找演变轮廓来逼近真实对象边界的轮廓。对于同一初始 区域，可以以其轮廓作为初始轮廓，通过不同的迭代次数来获得多个不同 的演变轮廓。
[59] 考虑到对象的形状、尺寸、其主体在图像中的基本取向、其主体在平 面中的中心位置等方面的多样性，初始区域可以具有各种轮廊， 以提高根 据初始区域的初始轮廊演变出与对象区域的边界基本吻合或把对象区域 基本包含在内的轮廓的可能性。
[60] 此外， 如果在具体应用中所涉及的对象区域的形状具有一定的共性， 可以根据这种共性采用相应的初始区域轮廓形状。
[61] 在进行输入局部区域的操作时，局部区域与对象区域的偏离程度，例 如局部区域几何中心与对象区域几何中心的偏离的大小取决于显示的图 像 (即显示屏幕)的尺寸、 指点操作受操作环境的振动影响的程度、 对象的 运动速度、对象区域在图像中的相对尺寸等因素。可以根据具体应用环境 中影响指点操作准确性的因素，估计出偏离的范围， 以作为初始区域的几 何中心与输入的局部区域几何中心的偏差的预定范围。也就是说，在这样 的偏离范围内，初始区域的初始轮廊或其演变轮廊与对象区域的边界基本 吻合或把对象区域基本包含在内的可能性更高。例如，可以在期望的操作 环境下对用户输入局部区域的指点操作进行采样和统计，来确定这样的范 围。
[62] 能够明白， 数字图像也可以是视频的帧图像。 当用户观察视频时， 实 际观察的是顺序切换显示的帧图像。 所观察到的对象可以处于运动状态。 当用户输入局部区域时，该局部区域是在进行指点操作时正显示的帧图像 中的区域。
[63] 在步骤 409， 针对每个候选轮廓上的多个像素中的每个像素， 通过使 用以该像素为中心的窗口来计算该像素的由 ^和 > ^决定的评估值。
[64] 此外，根据针对每个候选轮廓计算的评估值，估计该候选轮廊与对象 边界的接近程度。评估值与接近程度有这样的关系： 评估值越大， 则像素 越可能在区域边界附近，即像素与对象边界的接近程度越高；评估值越小， 则像素越不可能在区域边界附近， 即像素与对象边界的接近程度越低。轮 廓上具有高评估值的像素越多，则轮廓与对象边界的接近程度越高。例如， 对于两个候选轮廓 A和 B， 如果针对候选轮廓 A上的像素计算的评估值 中较大评估值的数目较多或比例较大， 则表明候选轮廊 A与对象区域边 界更接近。 此外， 如果分别针对候选轮廓 A和 B上像素计算的评估值中 较大评估值的数目或比例相同或接近，则评估值或较大评估值的均值更高 的候选区域与对象区域边界更接近。至少根据上述准则的部分或全部，可 以采用各种算法来根据评估值估计候选区域的轮廓与对象边界的接近程 度。
[65] 在步骤 411， 根据至少基于接近程度以及候选轮廓的相应区域的几何 中心与局部区域的几何中心的距离的预定边界评价准则，选择具有最优评 价的候选轮廓的相应区域。应该明白，接近程度和距离与评价之间有如下 关系： 接近程度越高， 则评价越高， 接近程度越低， 则评价越低； 距离越 小， 则评价越高， 距离越大， 则评价越低。 可以采用各种符合上述关系的 函数作为评价。例如可以通过加权和来综合接近程度和距离以得到最终的 评价。
[66] 接着方法在步骤 413结束。可以明白， 步骤 403可以在步骤 407之前 的任意位置执行。
[67] 图 5是描述根据本发明一个实施例的图像处理设备 500的示例结构的 方框图。
[68] 如图 5所示， 图像处理设备 500包括聚类装置 501、 输入装置 502、 区域形成装置 503、 接近程度计算装置 504、 判断装置 505、 模型计算装 置 506和吻合度计算装置 507。 聚类装置 501、 输入装置 502、 区域形成 装置 503和接近程度计算装置 504分别与聚类装置 101、 输入装置 102、 区域形成装置 103、 接近程度计算装置 104功能相同， 因此这里不再对其 进行详细描述。
[69] 模型计算装置 506根据输入的局部区域中像素的颜色值建立前景颜 色统计模型（例如， 高斯混合模型）。 该前景颜色统计模型反映了局部区 域中像素的颜色值的分布。 可以假定局部区域包含的像素是对象区域中 的像素， 并且大致反映了对象区域中的像素值的分布。 相应地， 对于一 个候选区域中的每个像素， 可以根据其像素值， 用该前景颜色模型来估 计该像素是对象区域内的像素的概率。 如果候选区域内的多数或全部像 素均具有较高的概率， 那么可以认为这个候选区域与对象区域的吻合较 好， 反之则吻合较差。
[70] 吻合度计算装置 507计算每个候选轮廓的区域内的部分或全部像素 与前景颜色统计模型的前景吻合度。
[71] 相应地， 判断装置 505所采用的预定边界评价准则基于接近程度、候 选轮廊的相应区域的几何中心与局部区域的几何中心的距离和前景吻合 度。 应该明白， 接近程度、 距离和前景吻合度与评价之间有如下关系： 接近程度越高， 则评价越高， 接近程度越低， 则评价越低； 距离越小， 则评价越高， 距离越大， 则评价越低； 前景吻合度越好， 则评价越高， 前景吻合度越差， 则评价越低。 可以采用各种符合上述关系的函数作为 评价。 例如可以通过加权和来综合接近程度、距离和前景吻合度以得到最 终的评价， 并且选择具有最优评价的候选轮廓。
[72] 在图像处理设备 500的一个替代实施例中，模型计算装置 506可以根 据靠近数字图像边界并且处于输入的局部区域之外的像素的颜色值建立 背景颜色统计模型（例如， 高斯混合模型）。 对于一个候选区域外的每个 像素， 可以根据其像素值， 用该背景颜色模型来估计该像素是对象区域 外的像素的概率。 如果候选区域外的多数或全部像素均具有较高的概 率， 那么可以认为这个候选区域与对象区域的吻合较好， 反之则吻合较 差。吻合度计算装置 507计算每个候选轮廓的相应区域外的部分或全部像 素与背景颜色统计模型的背景吻合度。 判断装置 505根据基于接近程度、 候选轮廓的相应区域的几何中心与局部区域的几何中心的距离和背景吻 合度的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。 其 它部分的功能与图像处理设备 500中的相同。
[73] 在图像处理设备 500 的一个进一步的实施例中， 模型计算装置 506 可以计算前景颜色统计模型和背景颜色统计模型。相应地， 吻合度计算装 置 507可以计算前景吻合度和背景吻合度。判断装置 505根据基于接近程 度、候选轮廊的相应区域的几何中心与局部区域的几何中心的距离、前景 吻合度和背景吻合度的预定边界评价准则，选择具有最优评价的候选轮廓 的相应区域。 其它部分的功能与图像处理设备 500中的相同。
[74] 图 6是描述根据本发明一个实施例的图像处理方法 600的示例过程的 流程图。
[75] 如图 6所示，方法 600从步骤 601开始。在步骤 603，执行与步骤 403 相同的处理。 在步骤 605， 执行与步骤 405相同的处理。
[76] 在步骤 606，根据输入的局部区域中像素的颜色值建立前景颜色统计 模型 （例如， 高斯混合模型）。 该前景颜色统计模型反映了局部区域中像 素的颜色值的分布。 可以假定局部区域包含的像素是对象区域中的像素， 并且大致反映了对象区域中的像素值的分布。相应地，对于一个候选区域 中的每个像素，可以根据其像素值，用该前景颜色模型来估计该像素是对 象区域内的像素的概率。如果候选区域内的多数或全部像素均具有较高的 概率，那么可以认为这个候选区域与对象区域的吻合较好，反之则吻合较 差。
[77] 在步骤 607， 执行与步骤 407相同的处理。 在步骤 609， 执行与步骤 409相同的处理。
[78] 在步骤 610， 计算每个候选轮廓的区域内的部分或全部像素与前景 颜色统计模型的前景吻合度。
[79] 在步骤 611， 根据基于接近程度、候选轮廓的相应区域的几何中心与 局部区域的几何中心的距离和前景吻合度的预定边界评价准则选择具有 最优评价的候选轮廓。 应该明白，接近程度、距离和前景吻合度与评价之 间有如下关系： 接近程度越高， 则评价越高， 接近程度越低， 则评价越 低； 距离越小， 则评价越高， 距离越大， 则评价越低； 前景吻合度越好， 则评价越高，前景吻合度越差， 则评价越低。 可以采用各种符合上述关系 的函数作为评价。例如可以通过加权和来综合接近程度、距离和前景吻合 度以得到最终的评价。
[80] 接着方法在步骤 613结束。 [81] 在方法 600的一个替代实施例中， 在步骤 606， 根据靠近数字图像边 界并且处于输入的局部区域之外的像素的颜色值建立背景颜色统计模型 (例如， 高斯混合模型）。 对于一个候选区域外的每个像素， 可以根据其 像素值， 用该背景颜色模型来估计该像素是对象区域外的像素的概率。 如果候选区域外的多数或全部像素均具有较高的概率， 那么可以认为这 个候选区域与对象区域的吻合较好， 反之则吻合较差。 在步骤 610， 计算 每个候选轮廊的相应区域外的部分或全部像素与背景颜色统计模型的背 景吻合度。 在步骤 611， 根据基于接近程度、 候选轮廓的相应区域的几何 中心与局部区域的几何中心的距离和背景吻合度的预定边界评价准则，选 择具有最优评价的候选轮廓的相应区域。 其它处理与方法 600中的相同。
[82] 在方法 600的一个进一步的实施例中，在步骤 606可以计算前景颜色 统计模型和背景颜色统计模型。相应地，在步骤 610可以计算前景吻合度 和背景吻合度。 在步骤 611， 可以根据基于接近程度、 候选轮廓的相应区 域的几何中心与局部区域的几何中心的距离、前景吻合度和背景吻合度的 预定边界评价准则，选择具有最优评价的候选轮廊的相应区域。 其它处理 与方法 600中的相同。
[83] 图 7是描述根据本发明一个实施例的图像处理设备 700的示例结构的 方框图。
[84] 如图 7所示，图像处理设备 700包括输入装置 702、区域形成装置 703、 判断装置 705、 模型计算装置 706和吻合度计算装置 707。 输入装置 702、 区域形成装置 703、模型计算装置 706和吻合度计算装置 707分别与输入 装置 502、 区域形成装置 503、 模型计算装置 506和吻合度计算装置 507 功能相同， 因此这里不再对其进行详细描述。
[85] 判断装置 705所采用的预定边界评价准则基于吻合度（前景吻合度、 背景吻合度或前景吻合度与背景吻合度）和候选轮廓的相应区域的几何中 心与局部区域的几何中心的距离。 在这样的情况下， 选择具有最优评价 的候选轮廓。
[86] 图 8是描述根据本发明一个实施例的图像处理方法 800的示例过程的 流程图。
[87] 如图 8所示，方法 800从步骤 801开始。在步骤 805，执行与步骤 605 相同的处理。 在步骤 806， 执行与步骤 606相同的处理。 在步骤 807， 执 行与步骤 607相同的处理。 在步骤 810， 执行与步骤 610相同的处理。 [88] 在步骤 811， 根据基于吻合度（前景吻合度、 背景吻合度或前景吻合 度与背景吻合度）和候选轮廓的相应区域的几何中心与局部区域的几何中 心的距离的预定边界评价准则选择具有最优评价的候选轮廓。
[89] 接着方法在步骤 813结束。
[90] 根据本发明的实施例的图像处理设备和图像处理方法可以应用在成 像设备中， 以供用户选择感兴趣的对象区域。成像设备可以是例如数码相 机、 摄 »L、 视频监控系统以及具有拍照、 摄像功能的手机的设备。
[91] 图 9是描述根据本发明一个实施例的成像设备 900的示例结构的方框 图。
[92] 如图 9所示， 成像设备 900包括成像装置 906、 显示装置 907、 控制 装置 908和图像处理设备 910。 图像处理设备 910可以是前面描述的根据 本发明实施例的图像处理设备。
[93] 成像装置 906 tet过光学系统捕获的光学图像转换为数字图像。
[94] 显示装置 907(例如电子取景器、 视频或图像监视器)则显示由成像装 置 906转换的数字图像。可选地，显示装置 907也可以被包含在图像处理 设备 910中。
[95] 控制装置 908根据当前拍才聂模式针对图像处理设备 910确定的对象区 域指示的对象来控制成像设备 900进行拍摄。 在确定对象区域的情况下， 成像设备 900可以有各种拍摄模式。例如，控制光学系统对焦到对象区域 所指示的拍 ¾对象并拍照，才艮据对象区域所指示的拍摄对象的特点自动调 整曝光、 白平衡等参数并拍照，转动镜头把对象区域所指示的拍摄对象移 到画面中央、 对准对象区域指示的拍摄对象并对焦拍摄等等。
[96] 图 10是描述根据本发明一个实施例的成像方法 1000的示例过程的流 程图。
[97] 如图 10所示， 方法 1000从步骤 1001开始。 在步骤 1003, 把通过光 学系统捕获的光学图像转换为数字图像。
[98] 在步骤 1005， 显示所转换的数字图像。
[99] 在步骤 1007， 执行如前面描述的根据本发明实施例的图像处理方法 来确定对象区域。
[100] 在步骤 1009， 根据当前拍摄模式针对所确定的对象区域指示的对象 来控制成像设备进行拍摄。在确定对象区域的情况下，可以有各种拍摄模 式。 例如， 控制光学系统对焦到对象区域所指示的拍摄对象并拍照， 根据 对象区域所指示的拍才聂对象的特点自动调整曝光、 白平衡等参数并拍照， 转动镜头把对象区域所指示的拍摄对象移到画面中央、对准对象区域指示 的拍摄对象并对焦拍摄等等。
[101] 接着方法在步骤 1011结束。
[102] 根据本发明的实施例，由于能够在输入的位置信息与实际对象区域位 置存在偏差的情况下以较低的计算量准确地确定对象区域，用户能够在移 动环境中操作成像设备的情况下，或者在对象处于运动状态的情况下，迅 速选择要拍摄的感兴趣对象并及时进行拍摄。
[103] 还应明白，前面结合图像处理设备和图像处理方法描述的替代实施例 和优选实施例也适用于上述成像设备和成像方法的实施例。
[104] 图 11是示出实现根据本发明的图像处理设备和图像处理方法的实施 例的设备的示例性结构的框图。
[105] 在图 11中， 中央处理单元 (CPU)llOl根据只读存储器 (ROM)1102中 存储的程序或从存储部分 1108加载到随机存取存储器 (RAM)1103的程序 执行各种处理。 在 RAM 1103中， 也根据需要存储当 CPU 1101执行各种 处理等等时所需的数据。
[106] CPU 1101、 ROM 1102和 RAM 1103经由总线 1104彼此连接。 输入 /输出接口 1105也连接到总线 1104。
[107] 下述部件连接到输入 /输出接口 1105: 输入部分 1106， 包括键盘、 鼠 标等等； 输出部分 1107， 包括显示器， 比如阴极射线管 (CRT)、 液晶显示 器 (LCD)等等， 和扬声器等等； 存储部分 1108， 包括硬盘等等； 和通信部 分 1109， 包括网络接口卡比如 LAN卡、调制解调器等等。 通信部分 1109 经由网络比如因特网执行通信处理。
[108] 根据需要，驱动器 1110也连接到输入 /输出接口 1105。可拆卸介质 1111 比如磁盘、 光盘、 磁光盘、 半导体存储器等等根据需要被安装在驱动器 1110上，使得从中读出的计算才 ^序根据需要被安装到存储部分 1108中。
[109] 在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储 介质比如可拆卸介质 1111安装构成软件的程序。
[110] 本领域的技术人员应当理解， 这种存储介盾不局限于图 11所示的其 中存储有程序、 与方法相分离地分发以向用户提供程序的可拆卸介质 1111。 可拆卸介质 1111 的例子包含磁盘、 光盘（包含光盘只读存储器 (CD-ROM)和数字通用盘 (DVD))、 磁光盘（包含迷你盘 (MD)和半导体存 储器。 或者， 存储介质可以是 ROM 1102、 存储部分 1108中包含的硬盘 等等， 其中存有程序， 并且与包含它们的方法一起被分发给用户。
11] 在前面的说明书中参照特定实施例描述了本发明。 然而本领域的 普通技术人员理解， 在不偏离如权利要求书限定的本发明的范围的前 提下可以进行各种修改和改变。

Claims

权利 要求 书
1. 一种图像处理设备， 用于确定数字图像中的目标对象区域， 包括： 聚类装置，其对数字图像进行颜色聚类以将所述数字图像中的像素划 分到相应的类中；
输入装置，其接收通过指点操作输入的对象信息， 所述对象信息指定 所述数字图像上相应于目标对象的局部区域；
区域形成装置，其在所述数字图像中确定分别具有预定轮廓的包含所 述局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初 始区域的轮廓为初始轮廊来计算至少一个演变轮廓， 以逼近对象边界； 接近程度计算装置，其针对包含所述初始轮廓和所述演变轮廓的候选 轮廓中的每个上的多个像素中的每个像素，通过使用以所述像素为中心的 窗口来计算所述像素的由 和 > ^决定的评估值， 其中， 所述窗口中包含 多个像素， 是所述窗口中各像素的位置与这些像素的平均位置的距离的 统计值， 是所述窗口中各像素的位置与这些像素的类平均位置的距离 的统计值，其中每个像素的类平均位置是所述窗口中与所述像素属于相同 类的所有像素的平均位置， 并且根据针对每个所述候选轮廓计算的评估 值， 估计所述候选轮廓与对象边界的接近程度； 和
判断装置，其根据至少基于所述接近程度以及所述候选轮廓的相应区 域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选 择具有最优评价的候选轮廓的相应区域作为对象区域。
2. 如权利要求 1所述的图像处理设备， 还包括：
模型计算装置，其根据所述局部区域中像素的颜色值建立前景颜色统 计模型； 和
吻合度计算装置，其计算包含所述初始轮廓和所述演变轮廓的候选轮 廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的 前景吻合度，
其中所述预定边界评价准则还基于所述前景吻合度。
3. 如权利要求 2所述的图像处理设备， 其中所述模型计算装置进一 步被配置为根据靠近所述数字图像边界且处于所述局部区域外的像素的 颜色值建立背景颜色统计模型，
所述吻合度计算装置进一步被配置为计算每个所述候选轮廓的相应 区域外的部分或全部像素与所述背景颜色统计模型的背景吻合度，
其中所述预定边界评价准则还基于所述背景吻合度。
4. 如权利要求 1所述的图像处理设备， 其中在所述数字图像中， 每 个所述初始区域的几何中心与所述局部区域的几何中心的偏差在预定范 围内。
5. 如权利要求 1所述的图像处理设备， 其中所述初始区域之间的差 异包括下述方面中的一个或多个： 轮廓形状、 几何中心的位置、 大小和旋 转角度。
6. 如权利要求 1所述的图像处理设备， 其中所述预定轮廓包括多边 形和椭圆之一或全部。
7. 如权利要求 1所述的图像处理设备， 其中所述接近程度计算装置 进一步被配置为提取所述候选轮廊上的部分像素作为所述多个像素，其中 所述多个像素基本上反映所述候选轮廓在平面上的分布。
8. 如权利要求 7所述的图像处理设备， 其中对较长的候选轮廓采用 较低的像素采样率， 或者
在以所述候选轮廊的相应区域的几何中心为原点的情况下，所述多个 像素中在所述候选轮廓上相邻的像素的方位角的间隔基本相同。
9. 如权利要求 1所述的图像处理设备， 其中所述输入装置通过触摸 屏来实现， 其中所述触摸屏还被配置为显示所述数字图像。
10.一种图像处理设备，用于确定数字图像中的目标对象区域，包括： 输入装置，其接收通过指点操作输入的对象信息， 所述对象信息指定 数字图像上相应于目标对象的局部区域；
模型计算装置，其根据所述局部区域中像素的颜色值建立前景颜色统 计模型；
区域形成装置，其在所述数字图像中确定分别具有预定轮廓的包含所 述局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初 始区域的轮廓为初始轮廓来计算至少一个演变轮廓， 以逼近对象边界； 吻合度计算装置，其计算包含所述初始轮廓和所述演变轮廓的候选轮 廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的 前景吻合度； 和
判断装置，其根据至少基于所述前景吻合度以及所述候选轮廓的相应 区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则， 选择具有最优评价的候选轮廓的相应区域作为对象区域。
11. 一种图像处理方法，用于确定数字图像中的目标对象区域，包括： 对数字图像进行颜色聚类以将所述数字图像中的像素划分到相应的 类中；
接收通过指点操作输入的对象信息，所 ¾t象信息指定所述数字图像 上相应于目标对象的局部区域；
在所述数字图像中确定分别具有预定轮廊的包含所述局部区域的一 个或多个初始区域；
通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廊来计算至 少一个演变轮廊， 以逼近对象边界；
针对包含所述初始轮廓和所述演变轮廓的候选轮廓中的每个上的多 个像素中的每个像素，通过使用以所述像素为中心的窗口来计算所述像素 的由 和^决定的评估值， 其中， 所述窗口中包含多个像素， 是所述 窗口中各像素的位置与这些像素的平均位置的距离的统计值， 是所述 窗口中各像素的位置与这些像素的类平均位置的距离的统计值，其中每个 像素的类平均位置是所述窗口中与所述像素属于相同类的所有像素的平 均位置；
根据针对每个所述候选轮廓计算的评估值，估计所述候选轮廓与对象 边界的接近程度； 和
根据至少基于所述接近程度以及所述候选轮廓的相应区域的几何中 心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优 评价的候选轮廊的相应区域作为对象区域。
12.如权利要求 11所述的图像处理方法， 还包括：
根据所述局部区域中像素的颜色值建立前景颜色统计模型； 和 计算每个所述候选轮廓的相应区域内的部分或全部像素与所述前景 颜色统计模型的前景吻合度， 其中所述预定边界评价准则还基于所述前景吻合度。
13.如权利要求 12所述的图像处理方法， 还包括：
根据靠近所述数字图像边界且处于所述局部区域外的像素的颜色值 建立背景颜色统计模型； 和
计算每个所述候选轮廊的相应区域外的部分或全部像素与所述背景 颜色统计模型的背景吻合度，
其中所述预定边界评价准则还基于所述背景吻合度。
14.如权利要求 11 所述的图像处理方法， 其中在所述数字图像中， 每个所述初始区域的几何中心与所述局部区域的几何中心的偏差在预定 范围内。
15.如权利要求 11 所述的图像处理方法， 其中所述初始区域之间的 差异包括下述方面中的一个或多个： 轮廓形状、 几何中心的位置、 大小和 旋转角度。
16.如权利要求 11 所述的图像处理方法， 其中所述评估值的计算包 括提取所述候选轮廓上的部分像素作为所述多个像素，其中所述多个像素 基本上反映所述候选轮廓在平面上的分布。
17.如权利要求 16所述的图像处理方法， 其中对较长的候选轮廓采 用较低的像素采样率， 或者
在以所述候选轮廊的相应区域的几何中心为原点的情况下，所述多个 像素中在所述候选轮廓上相邻的像素的方位角的间隔基本相同。
18.一种图像处理方法，用于确定数字图像中的目标对象区域，包括： 接收通过指点操作输入的对象信息，所 ¾t象信息指定数字图像上相 应于目标对象的局部区域；
根据所述局部区域中像素的颜色值建立前景颜色统计模型；
在所述数字图像中确定分别具有预定轮廊的包含所述局部区域的一 个或多个初始区域；
通过活动轮廊方法以每个所述初始区域的轮廊为初始轮廊来计算至 少一个演变轮廓， 以逼近对象边界；
计算包含所述初始轮廊和所述演变轮廊的候选轮廊中的每个的相应 区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度； 和 根据至少基于所述前景吻合度以及所述候选轮廓的相应区域的几何 中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最 优评价的候选轮廓的相应区域作为对象区域。
19 一种成像方法， 包括：
tet过光学系统捕获的光学图像转换为数字图像；
通过如权利要求 11或 18所述的图像处理方法来确定对象区域； 和 根据当前拍摄模式针对所述对象区域指示的对象来控制所述成像设 备进行拍摄。
20.一种成像设备， 包括：
成像装置， 其把通过光学系统捕获的光学图像转换为数字图像； 显示装置， 其显示所述数字图像；
如权利要求 1或 10所述的图像处理设备； 和
控制装置，其根据当前拍摄模式针对所述图像处理设备确定的对象区 域指示的对象来控制所述成像设备进行拍摄。
PCT/CN2012/081232 2011-09-29 2012-09-11 图像处理设备和方法，以及成像设备和方法 WO2013044729A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110305349.2 2011-09-29
CN2011103053492A CN103035014A (zh) 2011-09-29 2011-09-29 图像处理设备和方法,以及成像设备和方法

Publications (1)

Publication Number Publication Date
WO2013044729A1 true WO2013044729A1 (zh) 2013-04-04

Family

ID=47994250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/081232 WO2013044729A1 (zh) 2011-09-29 2012-09-11 图像处理设备和方法，以及成像设备和方法

Country Status (2)

Country Link
CN (1) CN103035014A (zh)
WO (1) WO2013044729A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927363B1 (ja) * 2015-02-10 2016-06-01 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2017207373A1 (en) * 2016-06-03 2017-12-07 Koninklijke Philips N.V. Biological object detection
CN110023991B (zh) * 2016-12-02 2023-04-04 皇家飞利浦有限公司 用于从对象类中识别对象的装置
JP6602743B2 (ja) * 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN115200722B (zh) * 2022-09-16 2022-12-13 江苏宸洋食品有限公司 温度测量方法及应用该方法的冷藏车温度测量系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533517A (zh) * 2009-04-15 2009-09-16 北京联合大学 一种基于结构特征的中国书画印章图像自动提取方法
CN101639935A (zh) * 2009-09-07 2010-02-03 南京理工大学 基于几何活动轮廓目标跟踪的数字人连续切片图像分割方法
CN101676953A (zh) * 2008-08-22 2010-03-24 奥多比公司 自动视频图像分割
CN101689305A (zh) * 2007-06-05 2010-03-31 微软公司 从单个示例学习对象剪切
WO2010041034A1 (en) * 2008-10-09 2010-04-15 Isis Innovation Limited Visual tracking of objects in images, and segmentation of images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689305A (zh) * 2007-06-05 2010-03-31 微软公司 从单个示例学习对象剪切
CN101676953A (zh) * 2008-08-22 2010-03-24 奥多比公司 自动视频图像分割
WO2010041034A1 (en) * 2008-10-09 2010-04-15 Isis Innovation Limited Visual tracking of objects in images, and segmentation of images
CN101533517A (zh) * 2009-04-15 2009-09-16 北京联合大学 一种基于结构特征的中国书画印章图像自动提取方法
CN101639935A (zh) * 2009-09-07 2010-02-03 南京理工大学 基于几何活动轮廓目标跟踪的数字人连续切片图像分割方法

Also Published As

Publication number Publication date
CN103035014A (zh) 2013-04-10

Similar Documents

Publication Publication Date Title
CN105721853B (zh) 生成图像捕获指令的方法、系统和计算机可读存储设备
CN109389555B (zh) 一种全景图像拼接方法及装置
AU2014236959B2 (en) Determining object volume from mobile device images
JP4573085B2 (ja) 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
WO2013044729A1 (zh) 图像处理设备和方法，以及成像设备和方法
AU2018379393B2 (en) Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
US20100128927A1 (en) Image processing apparatus and image processing method
US8903130B1 (en) Virtual camera operator
WO2020052270A1 (zh) 一种视频审核的方法、装置和设备
CN107038719A (zh) 基于光场图像角度域像素的深度估计方法及系统
KR20120138627A (ko) 안면 추적 장치 및 방법
JP2017534046A (ja) 建物高さの計算方法、装置及び記憶媒体
JPH1023452A (ja) 画像抽出装置および方法
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
US10249046B2 (en) Method and apparatus for object tracking and segmentation via background tracking
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN106412441B (zh) 一种视频防抖控制方法以及终端
JP4532540B2 (ja) 曲率勾配に基づく画像内の構造のセグメンテーション方法
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017076288A (ja) 情報処理装置、情報処理方法及びプログラム
JP2013004089A (ja) 画像処理方法、画像処理装置及びスキャナ
WO2020252665A1 (zh) 用于分割医学图像中的重叠细胞质的方法及系统
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
CN112995525A (zh) 自行走设备的摄像曝光方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12837092

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12837092

Country of ref document: EP

Kind code of ref document: A1