WO2018070844A1 - 에지 모델링을 위한 에지 블러 설정 방법 - Google Patents

에지 모델링을 위한 에지 블러 설정 방법 Download PDF

Info

Publication number
WO2018070844A1
WO2018070844A1 PCT/KR2017/011349 KR2017011349W WO2018070844A1 WO 2018070844 A1 WO2018070844 A1 WO 2018070844A1 KR 2017011349 W KR2017011349 W KR 2017011349W WO 2018070844 A1 WO2018070844 A1 WO 2018070844A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
edge blur
foreground
background
parameter
Prior art date
Application number
PCT/KR2017/011349
Other languages
English (en)
French (fr)
Inventor
서수영
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to EP17859967.6A priority Critical patent/EP3528205A4/en
Priority to US16/341,765 priority patent/US11227394B2/en
Publication of WO2018070844A1 publication Critical patent/WO2018070844A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention further predicts two edge blur parameters occurring at an edge from an edge profile having various brightness combinations according to brightness value contrast, and performs edge modeling through edge blur corresponding to the predicted two edge blur parameters.
  • the present invention relates to a method for enabling determination of edge positions with stable subpixel precision.
  • an edge In the field of image processing, an edge represents the boundary of an object whose general brightness value changes rapidly. Edge detection and positioning is an essential procedure for extracting and recognizing objects from an image. Due to the importance of these edges, edge detection has been extensively studied in the field of image processing.
  • the edges in the actual image are variously blurred. At this time, most of the image blurring is generated by the movement or focus of the camera, and even a stabilized camera generates a certain amount of blurring due to the resolution of the camera lens.
  • edge detection in an image can be estimated based on the edge blur parameter.
  • edge modeling is performed for edge detection, where edges are typically modeled to have two brightness parameters and one edge blur parameter.
  • edge modeling method described above has a problem in that it does not explain the generation of humps (H) and gutters (G), which are frequently shown in edge profiles, as shown in FIGS. 2A and 2D. .
  • Non-Patent Document 1 J. Ye, G. Fu, U.P. Poudel, High-accuracy edge detection with Blurred Edge Model, Image Vis. Comput. 23 (2005) 453-467. doi: 10.1016 / j.imavis.2004.07.007.
  • Non-Patent Document 2 S. Wu, W. Lin, S. Xie, Z. Lu, E.P. Ong, S. Yao, Blind blur assessment for vision-based applications, J. Vis. Commun. Image Represent. 20 (2009) 231-241. doi: 10.1016 / j.jvcir.2009.03.002.
  • the present invention has been proposed to solve the problems of the prior art as described above, by determining the edge blur parameter in consideration of the influence of the contrast change of brightness, and by using it to set the edge blur for edge modeling, a more stable sub This allows you to determine the edge position of pixel precision.
  • a reference pattern for detecting the reference line and a grid pattern for detecting the edge position is formed, A first step of preparing a plurality of target sheets having different brightness values included; a second step of obtaining a target sheet image by photographing the target sheet; and analyzing a reference pattern of the corresponding target sheet for each target sheet image
  • the target sheet is a line segment shape having a predetermined width
  • the reference pattern consisting of a pair of vertical areas and two horizontal areas spaced apart from each other with a central space
  • a grid consisting of four squares formed in the central space.
  • a method for predicting edge displacement according to image contrast comprising a pattern.
  • the grid pattern is composed of the upper two squares and the lower two squares, one square and its diagonal square is used as the background, the remaining squares are used as the foreground, the foreground and background brightness values are variable brightness
  • An edge blur setting method for edge modeling is provided that is configured to have a value.
  • the foreground brightness value is set to be brighter than the background brightness value
  • the background is set to have a variable brightness value in the range of 0.0 ⁇ 0.9
  • the foreground is a plurality of targets to have a variable brightness value in the range of 0.1 ⁇ 1.0
  • an edge blur setting method for edge modeling wherein a sheet is fabricated.
  • the second step may include acquiring a plurality of images while varying the distance between the camera and the object with respect to each target sheet
  • the third step may include an edge profile according to the change in brightness value for each distance between the camera and the object.
  • the fourth step obtains the background edge blur parameter and the foreground edge blur parameter according to the brightness contrast for each camera-to-object distance
  • the fifth step is constant considering the brightness value change and the distance between the camera and the object.
  • the edge blur parameter obtaining step includes resampling the edge profile collected in the third step at a predetermined interval, generating an average profile for all edge profiles for the resampled interval, and Obtaining a slope profile calculated as the center value of the continuous section by using the difference value of the average profile, generating a slope modeling function such as the following equation corresponding to the slope profile, and calculating a minimum squared error sum
  • an edge blur setting method for edge modeling comprising calculating each of a background edge blur parameter and a foreground edge blur parameter according to brightness contrast.
  • e is a random error
  • h b Is the background brightness
  • h f is the foreground brightness
  • ⁇ b is the background edge blur parameter
  • ⁇ f is the foreground edge blur parameter.
  • the background brightness parameter h b and the foreground brightness parameter h f are set to an average brightness value for the grid pattern of the target sheet. This is provided.
  • the calculating of the background edge blur parameter and the foreground edge blur parameter according to the brightness contrast may be performed by using a brute-force method with a interval of "0.01" and "0.2" to "2.0".
  • An edge blur setting method for edge modeling is provided, wherein the background edge blur parameter and the foreground edge blur parameter for the combination of the background edge blur parameter and the foreground edge blur parameter having a value between are calculated.
  • the fifth step may include collecting the background edge blur parameter and the foreground edge blur parameter obtained in the fourth step as data points for a preset pixel numerical value DN, and using the data points as a background edge. Calculating respective planar surface characteristics for the blur parameter and the foreground edge blur parameter, obtaining a residual component for the background edge blur parameter and the foreground edge blur parameter from the planar surface characteristic, and using the residual component in the kriging technique. Calculating each of the corresponding kriging surface characteristics and generating surface characteristics by pixel values for the background edge blur parameter and the foreground edge blur parameter, respectively, based on the difference between the planar surface characteristic and the kriging surface characteristic, respectively. Constructing the blur prediction information An edge blur setting method for edge modeling is provided.
  • a plane for the background edge blur parameter and the foreground edge blur parameter is modeled as in the following equation, and the edge blur setting method for edge modeling is provided.
  • X is the background pixel numerical value DN
  • Y is the foreground pixel numerical value DN
  • Z is edge blur
  • a, b, and c are planar parameters to be estimated, and e is present in the edge blur parameter. Estimated random error.
  • the calculating of the kriging surface characteristic may include obtaining a residual component such as the following equation from an edge blur parameter, obtaining a variogram for the residual components, and covariance using the points of the variogram as observation values.
  • Edge modeling comprising: generating a function; and obtaining a kriging surface characteristic for pixel numerical values having a predetermined interval by estimating a parameter for the covariance function using a least squares technique.
  • the covariance function is provided in the form of an edge blur for edge modeling, characterized in that it is generated in the form of a quadratic function.
  • a and b are estimation parameters and h is the distance between adjacent residuals.
  • an edge blur setting method for edge modeling wherein the covariance function is generated in the form of a linear linear function as in the following equation.
  • V (h) is the covariance function
  • a is an estimation parameter
  • h is the distance between adjacent residuals.
  • edge blur prediction value according to the surface characteristics for each pixel value having a predetermined interval is provided by the following equation is provided an edge blur setting method for edge modeling.
  • P i P j is the distance between P i point and P j point
  • R i is the P i point residual
  • the background edge blur prediction value according to the surface characteristic is set to decrease as the background pixel numerical value increases or the foreground pixel numerical value increases, and the foreground edge blur prediction value according to the surface characteristic increases as the background pixel numerical value increases or Provided is an edge blur setting method for edge modeling, wherein the foreground pixel numerical value is set to increase as the foreground pixel numerical value decreases.
  • the edge blur parameters of the background and foreground regions of the image are estimated in consideration of various brightness contrast characteristics of the image, and the edge modeling process is performed using two edge blur parameters corresponding to the respective regions.
  • edge blur parameters for the background area and the foreground area are set separately, deblurring is useful, and it is easy to separate edges when several edges are dense or overlapped, and also to reduce the amount of denoise. It will be easier to see.
  • Figure 2 shows edge profiles (a, b, c) and gradient profiles (d, e, f) under three different conditions.
  • FIG. 3 is a diagram showing a schematic configuration of an edge blur setting system to which the present invention is applied;
  • FIG. 4 is a view showing a pattern image of the target sheet 100 shown in FIG.
  • FIG. 5 shows a crop image with a background brightness of 0.3 and a foreground brightness of 0.8.
  • 6 to 8 are flowcharts for explaining an edge blur setting method for edge modeling according to the present invention.
  • Fig. 9 shows a positive direction set for the grid pattern of the target sheet.
  • Fig. 11 shows the edge blur parameter curve estimated by the gradient profile and the brute-force method according to the collected edge profile.
  • Fig. 12 is a diagram showing the distribution characteristics of the edge blur parameters estimated for the background DN and the foreground DN.
  • Fig. 13 is a diagram showing the variogram and its covariance function for the case where the COD is 1m and the COD is 6m.
  • 16 and 17 show edge blur surface characteristics caused by kriging and planar surface difference for foreground edge blur parameters and background edge blur parameters.
  • 19 to 20 show the variogram and its covariance function for the case where the COD is 1m and the COD is 6m.
  • 21 and 22 show planar surface characteristics generated by kriging generated for the background edge blur parameter and the foreground edge blur parameter.
  • FIG. 23 is a diagram showing the difference between the background edge blur parameter and the foreground edge blur parameter.
  • FIG. 24 shows fitting error values for edge models for 45 targetsheets.
  • the present invention estimates each edge blur parameter for two different brightness regions through brightness contrast for edge modeling, and sets edge blur for edge modeling using the edge blur parameter. It is divided into a background edge blur parameter according to the brightness blurring amount in the (background area) and a foreground edge blur parameter according to the brightness blurring amount in the light side (foreground area) of the edge.
  • FIG. 1 shows an ideal step edge in two brightness regions, where h b is Background Brightness (BB) and h f is Foreground Brightness (FB).
  • BB Background Brightness
  • FB Foreground Brightness
  • the curves in Fig. 1 show the Gaussian function of the amount of blurring to the surroundings of the brightness of the background area and the brightness of the foreground area, and the brightness value at any point x is modeled as the sum of the areas of the shaded areas. Indicates.
  • Equations 1 and 2 the blur functions f b (x) and f f (x) for the background brightness BB and the foreground brightness FB from FIG. 1 are modeled by Equations 1 and 2, respectively.
  • ⁇ b is As a standard deviation for background brightness
  • ⁇ f is As a standard deviation for foreground brightness
  • this is the edge blur parameter for the foreground area to be estimated in the present invention.
  • the brightness value (hatching region in FIG. 1) at the x position is determined by the sum of the ambient brightness values.
  • the brightness function F (x) is a blur of the background region and the foreground region, as shown in Equation 3 below. Can be expressed in an integrated form.
  • Equation 4 the slope profile f (x) of the edge is derived from Equation 3 as shown in Equation 4.
  • Figure 2 shows the edge profile (a, b, c) and the slope profile (d, e, f) according to three different conditions.
  • (A) and (d) in FIG. 2 are edge profiles and slope profiles when the edge blur parameter ⁇ b of the background brightness is larger than the edge blur parameter ⁇ f of the foreground brightness, respectively ( ⁇ b > ⁇ f ).
  • the graph with the highest peak in green ((d), (e) and (f)) and the graph with the highest peak in blue ((d), (e) and (f) and (a), (b), (c) graph) and red (graph having the second highest peak in (d), (e), and (f)) are the background blur functions f b (x) corresponding to Equation 1, respectively.
  • the gutter (G) and hump (H) characteristics appear when the background edge blur parameter ⁇ b is larger than the foreground edge blur parameter ⁇ f . It can be seen. This means that when edge modeling is performed through edge blur determined using two edge blur parameters estimated according to the present invention, the gutter and hump characteristics can be analyzed.
  • the present invention describes an edge blur setting method using two edge blur parameters based on various brightness contrasts based on the above-described theoretical basis.
  • FIG. 3 is a diagram showing a schematic configuration of an edge blur setting system to which the present invention is applied.
  • the edge blur setting system applied to the present invention includes a plurality of target sheets 100, a camera 200, and an edge blur setting apparatus 300.
  • the target sheet 100 is configured by imaging a specific pattern for setting the edge blur.
  • 4 illustrates a pattern image of the target sheet 100.
  • the reference sheet includes a reference pattern including a pair of vertical regions and two horizontal regions spaced apart from each other with a central space as a line segment shape having a predetermined width. It has two pattern areas of the grid pattern which consists of four squares formed in the center space.
  • the grid pattern consists of two squares at the top and two squares at the bottom. The squares at the top left and at the bottom right of the diagonal direction are used as backgrounds, and the brightness values vary from 0.0 (black) to 0.9 in 0.1 increments.
  • the square at the upper right and lower left of the diagonal direction is used as a foreground and is formed with variable brightness values from 0.1 to 1.0 (white) in units of 0.1.
  • the foreground brightness is set to 0.1 to 1.0 levels higher than the background brightness, and thus, the target sheet 100 having a total of 55 different brightness patterns may be provided.
  • the camera 200 captures a target sheet 100 having different brightness patterns, and converts the target sheet captured image (hereinafter, referred to as a “target image”) to the edge blur setting apparatus 300. to provide.
  • the camera 200 photographs the target sheet 100 while changing the distance between the camera 200 and the target sheet 100 (hereinafter, referred to as "COD") in 1m to 6m ranges. That is, the camera 200 photographs six target images for each of 55 target sheets 100 by distance, thereby providing a total of 330 target images to the edge blur setting apparatus 300.
  • the target sheet 100 was photographed using a digital single lens camera, and 1: 4 JPEG compression ratio was applied to each image to add a certain amount of artificial blur.
  • 5 is a crop image having a background brightness of 0.3 and a foreground brightness of 0.8
  • (a) to (f) are images taken with CODs sequentially 1 m, 2 m, 3 m, 4 m, 5 m, and 6 m.
  • the edge blur setting apparatus 300 analyzes a plurality of target images corresponding to different brightnesses and CODs provided from the camera 200, collects edge profiles, and uses the edge profiles to calculate brightness values. Estimating an edge blur parameter according to the collation, and setting an edge blur based on the estimated edge blur parameter to thereby perform an edge modeling process.
  • the edge blur setting apparatus 300 applies a pixel numerical value (hereinafter referred to as "DN") corresponding to the background brightness and the foreground brightness estimated for all target images as an observation value, thereby applying a constant to the kriging technique. It is configured to set the edge blur per DN grid position composed of intervals.
  • DN is a digital number for a brightness value given as 0 to 255 corresponding to each brightness intensity given as 0.1 to 1.0 in the target sheet.
  • FIG. 6 is a flowchart for explaining an edge blur setting method according to the present invention.
  • a reference pattern for detecting the reference line and a grid pattern for detecting the edge position are formed, and a plurality of target sheets 100 having different brightness values are prepared in the background area and the foreground area included in the grid pattern (ST10).
  • the brightness values of the background area and the foreground area of the grid pattern are set to be different from 0.1 to 1.0.
  • the camera 200 is photographed while varying the distance (COD) between the camera 200 and the target sheet 100 with respect to each target sheet 100, and the plurality of target images obtained through the edge blur setting apparatus ( 300) (ST20). That is, the target image for the plurality of target sheets 100 having different brightness contrast characteristics for each COD is provided to the edge blur setting apparatus 300.
  • the edge blur setting apparatus 300 extracts a crop image corresponding to the target sheet pattern region shown in FIG. 4 with respect to the plurality of target images provided from the camera 200 (ST30). In this case, the edge blur setting apparatus 300 resamples all the target images using photo modeler software to remove lens distortion, and then crops the image to include only the target sheet pattern region as shown in FIG. 4 in the resultant image. .
  • the edge blur setting apparatus 300 analyzes a crop image for each target image for each COD, generates an edge profile for each target image according to the COD, and estimates two edge blur parameters based on this (ST40).
  • the edge blur setting apparatus 300 collects the edge profile using a pair of reference lines in the vertical and horizontal directions.
  • the edge blur setting apparatus 300 detects the reference region using binary thresholding and region characteristics to detect the edge reference line.
  • a binary image is generated from the cropped image using a predetermined brightness threshold, and then each binary image is labeled by concatenated component labeling with four connectivity. Since labeling is performed in the left-right direction and the up-down direction, the first area of the label area is set as the left area of the horizontal reference area. The area of the right side of the horizontal reference area is then determined among the labeled areas by comparing the dimensions of each area with the dimensions of the left area. Further, the vertical area is determined by comparing the dimensions of the first area with the rest of the area.
  • region is estimated by connecting the center position of each area
  • the edge profile is collected along the baseline in the positive direction shown in FIG. That is, the positive direction is set from the background area (dark area) to the foreground area (bright area) direction as in the arrow direction shown in FIG.
  • (b) corrects the collection result of (a). That is, in Fig. 10A, the center EC of the edge with respect to the x position is laterally shifted from the "0" position.
  • the edge profile result of the center EC of the edge corrected to "0" is obtained as shown in FIG. can do.
  • the process of generating the edge profile as shown in FIG. 10 is described in detail in the application No. 10-2016-0021722 filed previously by the present inventor, and the edge positioning algorithm based on the area symmetry previously filed by the present inventor Since it is described in detail in Application No. 10-2016-0077856, description thereof will be omitted.
  • the edge blur setting apparatus 300 estimates an edge blur parameter based on an edge profile collected from each crop image for each COD as described above. See.
  • the edge blur setting apparatus 300 resamples the collected edge profile at a predetermined interval (ST41).
  • the edge profile may be a corrected edge profile as shown in FIG. 10 (b), and the resampling interval may be set to “0.1” pixels.
  • the edge blur setting apparatus 300 calculates an average of all edge profiles with respect to the preset resampling interval. That is, the edge blur setting apparatus 300 generates an average profile for all target images for each COD (ST42).
  • the gradient profile calculated as the center value for the continuous section is obtained using the difference value of the continuous average profile (ST43). 11 illustrates an inclination profile obtained in this manner.
  • the edge blur setting apparatus 300 models the slope value s at an arbitrary x position as shown in Equation 5 below (ST44).
  • the foreground brightness h b and the background brightness h f are set to pixel average brightness values of the grid pattern of the target sheet 100 illustrated in FIG. 4. That is, the slope value s corresponding to all x positions is used to estimate the background edge blur parameter ⁇ b and the foreground edge blur parameter ⁇ f .
  • the edge blur setting apparatus 300 sets two blur parameter combinations having a value between "0.2" and "2.0” with a spacing of "0.01" through a brute-force method.
  • the background edge blur parameter ⁇ b and the foreground edge blur parameter ⁇ f according to the brightness contrast are obtained by selecting a pair of values for generating the minimum squared error sum in Equation 5 (ST45).
  • 11 is an edge blur parameter curve estimated by the Brute-force method.
  • Table 2 below shows the estimation parameters corresponding to the image characteristics, and shows the values of the estimation parameters ⁇ b and ⁇ f for each image characteristic when the distance from the target sheet 100, that is, the COD is 1 m. .
  • the image characteristic values include a COD, a background brightness (BI), a foreground brightness (FI), a background DN (BDN), and a foreground DN (FDN) as shown in Table 2.
  • BI and FI are brightness values corresponding to the grid pattern of the target sheet
  • BDN and FDB are pixel numerical values corresponding to the target image obtained through the camera 200.
  • FIG. 12 shows distribution characteristics of edge blur parameters estimated for the background DN and the foreground DN.
  • the small circles represent the background edge blur parameter ⁇ b and the foreground edge blur parameter ⁇ f
  • the black line is a connecting line of two edge blur parameters corresponding to the background DN and the foreground DN.
  • (a) to (f) in FIG. 12 show distribution characteristics of edge blur parameters for a target image obtained with CODs sequentially 1 m, 2 m, 3 m, 4 m, 5 m, and 6 m.
  • the background edge blur parameter ⁇ b is larger than the foreground edge blur parameter ⁇ f .
  • the edge blur setting apparatus 300 generates edge blur prediction information corresponding to brightness values of a predetermined interval based on the two edge blur parameters estimated in step ST50 (ST50).
  • the edge blur setting apparatus 300 collects data points for each DN combination for two edge blur parameters obtained for the target image for each COD (ST51).
  • the edge blur setting apparatus 300 obtains the planar surface characteristics of the background and foreground edge blur parameters using the collected data points (ST52), and obtains the residual components from the planar surface characteristic distribution of the edge blur parameters. (ST53).
  • the edge blur Z is modeled as in Equation 6 below.
  • X is a background DN
  • Y is a foreground DN
  • Z is edge blur
  • a, b, and c are planar parameters to be estimated
  • e is a random error estimated to be present in the edge blur parameter.
  • Equation 7 may be expressed in the form of a vector matrix, and is equal to Equation 8.
  • Table 3 shows the plane parameters due to the background edge blur (BBP, ⁇ b ), the plane parameters for the foreground edge blur (FBP, ⁇ f ), and Mean Absolute Difference (MAD) of the residuals. .
  • the background edge blur parameter increases as the background DN decreases as the background DN increases.
  • the increase of the foreground edge blur parameter with the increase of the background DN is greater than the decrease of the foreground edge blur parameter with the increase of the foreground DN in the results except for the plane when the COD is 2 m You can see that it is larger.
  • the MAD values of the residuals in Table 3 indicate that the three-dimensional plane fits the blur within 0.12 pixels for all CODs and two blur parameters.
  • the present applicant proposes a kriging-based planar fitting method.
  • the edge blur setting apparatus 100 obtains the kriging surface characteristics by fitting the estimated edge blur parameters on the 3D plane using a kriging-based surface fitting method (ST55).
  • the edge blur setting apparatus 300 obtains a variogram for the residuals obtained from Equation (10). That is, the variogram for the arbitrary distance h is calculated as in Equation (11).
  • R i and R j are residual values at adjacent i and j points.
  • the variogram has a size unit of "5" and the maximum adjacent distance is set to "60".
  • the variogram point (circle shown in FIG. 13) is set as an observation value for estimating the covariance function C (h) as shown in Equation (13).
  • a and b are estimation parameters.
  • the parameters (a and b in Equation 13) are estimated using the least square method.
  • the covariance function can be used to predict the edge blur (I (P)) for DNs with a certain spacing in the grid configuration.
  • Equation (15) P is an arbitrary point in the grid configuration predicted by the residual, and k, K, and R are defined as in Equation (15).
  • PP i is the distance between P point and P i point
  • P i P j is the distance between P i point and P j point
  • R i is the P i point residual.
  • the grid size of the DN is set to "5".
  • the edge blur setting apparatus 300 After the edge blur setting apparatus 300 predicts the residual at the grid point, the edge blur setting apparatus 300 considers the predicted residual and the trend to calculate the edge blur.
  • Table 4 shows the MADs of the kriging residuals, which are similar to the planar fitting results shown in Table 3 above. In other words, as shown in Tables 3 and 4, it can be seen that the distribution of the edge blur parameters for DN is close to linear.
  • FIG. 14 and 15 show surface characteristics generated by kriging for the background edge blur parameter and the foreground edge blur parameter, respectively.
  • the background edge blur parameter decreases as the background DN and the foreground DN increase as predicted in Table 3 above.
  • the ratio of the background edge blur parameter according to the foreground DN decreases.
  • the foreground edge blur parameter distribution shown in FIG. 15 is a relatively small value, but exhibits a certain amount of nonlinear characteristics.
  • the foreground edge blur parameter increases with the background DN and decreases with the foreground DN.
  • the change rate of the foreground edge blur parameter that changes with the background DN is more meaningful than the change rate with the foreground DN.
  • the edge blur setting apparatus 300 generates edge blur prediction information according to the background and foreground edge blur parameter surface characteristics (ST60). That is, the edge blur setting apparatus 300 generates the background edge blur prediction information by using the plane surface characteristic of the background edge blur parameter and the kriging surface characteristic difference value according to the brightness value, and the plane of the foreground edge blur parameter according to the brightness value. Foreground edge blur prediction information is generated based on the difference between the surface characteristics and the kriging surface characteristics.
  • FIG. 16 and 17 show edge blur surface characteristics caused by kriging and planar surface difference for the background edge blur parameter and the foreground edge blur parameter, respectively, wherein the translucent region is a surface whose kriging and planar surface difference is "0". It is shown.
  • the background edge blur parameter surface derived by kriging has a concave down pattern for all CODs.
  • the edge blur setting apparatus 300 of FIG. 6 acquires the background DN and the foreground DN of the captured image, and the background edge corresponding to the background DN and the foreground DN acquired based on the surface characteristic information as shown in FIGS. 16 and 17.
  • the foreground edge blur is called out and edge modeling is performed using these two edge blurs (ST70). That is, the edge blur setting apparatus 300 determines the edge position by applying the background edge blur value and the foreground edge blur value determined in step ST70 to Equation 4 described above.
  • the difference between the surface for the foreground edge blur parameter and the background edge blur parameter is calculated in step ST70, and the edge modeling process is performed using the same. Can be performed.
  • Fig. 18 As shown in Fig. 18, it can be seen that the edge profile of the form of Fig. 2 (a) is dominant for all DN combinations except the high foreground DN and the high background DN region, and these edges are predicted in the form of Fig. 2 (c). Will be done.
  • the edge profile having the two edge blur parameters is modeled, and the target sheet is used to predict these parameters.
  • each edge blur parameter depends on the brightness region of the edge through the distribution of the foreground edge blur parameter and the background edge blur parameter, and the edge blur variation is linearized by setting the DN blur variation amount to a predetermined interval.
  • Kriging-based edge blur parameter prediction may predict edge blur parameters that can accommodate nonlinear characteristics present in the foreground edge blur parameter and the background edge blur parameter distribution.
  • FIG. 19 and 20 illustrate a variogram and its covariance function in accordance with another embodiment of the present invention.
  • the circles are the variograms and the lines are their covariance functions.
  • the variogram point (circles shown in Figs. 19 and 20) is set as an observation for estimating the variogram function V (h).
  • a is an estimation parameter.
  • the parameter (a in Equation 17) is estimated using the least square method.
  • Edge blur I (P) can be predicted according to equations (14) to (15). After the edge blur setting apparatus 300 predicts the residual at the grid point, the edge blur setting apparatus 300 considers the predicted residual and the trend to calculate the edge blur.
  • Mean Absolute Difference (MAD) is shown.
  • the background edge blur parameter decreases as the background DN or foreground DN increases. It can also be seen that the reduction rate of the background edge blur parameter for the background DN is greater than the reduction rate of the background edge blur parameter for the foreground DN. This means that the background edge blur parameter is more dependent on the background DN than the foreground DN.
  • the MAD values of the residuals in Table 6 indicate that the three-dimensional plane fits the blur within 0.07 pixels for all CODs. In addition, the MAD value of the residuals for the foreground edge blur parameter fits the blur within 0.04 pixels for all CODs.
  • FIG. 21 and 22 show surface characteristics generated by kriging for the background edge blur parameter and the foreground edge blur parameter, respectively.
  • the background edge blur parameter decreases as the background DN increases as predicted in Table 6.
  • the ratio of the background edge blur parameter according to the foreground DN decreases.
  • the foreground edge blur parameter increases as the background DN increases and decreases as the foreground DN increases. In this case, the change rate of the foreground edge blur parameter that changes with the background DN is more meaningful than the change rate with the foreground DN.
  • Figure 23 shows the difference between the background edge blur parameter and the foreground edge blur parameter.
  • the background edge blur parameter is larger than the foreground edge blur parameter in the case of most background DN and the foreground DN, but the background edge blur parameter is smaller than the foreground edge blur parameter when the background DN and the foreground DN are large. have.
  • Table 7 shows the fitting results of the edge blur parameters for the six cases.
  • DDV and LDV are background brightness and foreground brightness of target sheet, respectively.
  • Cases 1 to 3 are cases where the background DN (DPV) and the foreground DN (LPV) are relatively small. In this case, it can be seen that the root mean square error (RMSE) for the two edge blur parameter models is lower than the RMSE of the single edge blur parameter model.
  • Cases 4 to 6 are cases where the foreground DN (LPV) is large. In this case, it can be seen that the square root error for the two edge blur parameter models is not much different but is still lower than for the single edge blur parameter model.
  • Table 8 shows the background brightness (DDV) and foreground brightness (LDV) for the 45 target sheets.
  • FIG. 24 shows fitting error values for edge models for 45 target sheets.
  • Table 9 summarizes the measurement results.
  • edge blur setting method may be utilized for evaluating camera characteristics and extracting edges through edge modeling.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 밝기값에 따른 에지 블러를 설정하기 위한 방법에 관한 것으로, 기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되고, 그리드 패턴에 포함되는 밝기값 변화가 서로 다른 복수 개의 타겟 시트를 준비하는 제1 단계와, 타겟 시트를 촬영하여 타겟 시트 영상을 획득하는 제2 단계, 각 타겟 시트 영상별 해당 타겟 시트의 기준 패턴을 분석하여 기준선을 추정함과 더불어, 그리드 패턴을 분석하여 그리드 패턴에 형성된 에지 프로파일을 추출하는 제3 단계, 에지 프로파일을 근거로 인접 픽셀간 밝기차에 의한 기울기를 산출함과 더불어, 이 기울기에 기초하여 영상 내에 존재하는 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 획득하는 제4 단계 및, 상기 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 분포를 근거로 밝기값에 대응되는 화소 수치별 배경 에지 블러 예측 정보와 전경 에지 블러 예측정보를 각각 생성하는 제5 단계를 포함하여 구성되는 것을 특징으로 한다. 본 발명에 따르면, 밝기값에 따른 두 개의 에지 파라미터를 각각 예측함으로써, 명암대조에 따른 카메라의 해상도 패턴을 정확하게 파악하고, 예측된 에지 파라미터를 갖는 에지 블러를 통해 더욱더 정확한 서브 픽셀 정밀도를 갖는 에지 위치를 결정할 수 있게 됨으로써, 카메라 해상도 분석, 지리 정보 구축, 주행 로봇 등에 있어 정확하고 신속한 에지 위치 인식이 가능한 효과가 있다.

Description

에지 모델링을 위한 에지 블러 설정 방법
본 발명은 다양한 밝기 조합을 가진 에지 프로파일로부터 에지에서 발생하는 두 개의 에지 블러 파라미터를 밝기값 대조에 따라 예측하고, 예측된 두 개의 에지 블러 파라미터에 대응되는 에지 블러를 통해 에지 모델링을 수행함으로써, 더욱 안정된 서브 픽셀 정밀도의 에지 위치를 결정할 수 있도록 해 주는 방법에 관한 것이다.
이미지 처리분야에서, 에지는 일반적인 밝기값이 급격하게 변하는 물체의 경계를 나타낸다. 에지의 검출 및 위치결정은 이미지로부터 물체를 추출 및 인식하는 필수적인 절차이다. 이러한 에지의 중요성으로 인해, 이미지 처리 분야에서 에지 검출이 광범위하게 연구되고 있다.
물체 형상의 정밀한 측정을 위해서는 서브픽셀 정밀도로 에지 위치를 결정할 필요가 있다. 이에 따라 서브픽셀 정밀도의 에지 위치결정을 위한 많은 연구가 있어왔다. 이와 아울러 에지 검출 및 위치결정 결과의 품질을 정량화하기 위한 연구들도 이어지고 있다.
한편, 실제 이미지에서 에지들은 다양하게 블러링(blurring)된다. 이때, 대부분의 이미지 블러링은 카메라의 움직임이나 초점에 의해 발생하며, 안정화된 카메라에서도 카메라 렌즈의 분해능에 의해 일정 량의 블러링이 발생한다.
즉, 이미지에서 에지 검출은 에지 블러 파라미터를 기반으로 추정될 수 있다.
일반적으로 에지 검출을 위해서는 에지 모델링을 수행하게 되는데, 이때 에지들은 통상적으로 두 개의 밝기파라미터와 한 개의 에지 블러 파라미터를 갖도록 모델링된다.
이에, 에지 프로파일 모델과 그 파라미터를 산출하는 다양한 방법이 제안되었다. 예컨대, Ye 등은 가우시안 함수를 이용하여 에지 프로파일 모델을 생성함과 더불어 최소자승법을 이용하여 에지와 에지 블러 파라미터를 추정하는 방법을 제안하였고(비특허문헌 1 참고), Wu 등은 균일한 원형 마스크로 점 분포 함수를 모델링하고, 에지에서 수직방향으로의 기울기 조합을 분석하여 에지 블러 파라미터를 산출하는 방법을 제안하였다(비특허문헌 2 참고).
그러나 상기한 에지 모델링 방법은 도2의 (a) 및 (d)에 도시된 바와 같이 에지 프로파일에서 자주 나타나는 험프(hump : H)와 거터(gutter: G) 발생에 대해서는 설명이 되지 않는 문제가 있다.
이는 에지 위치 결정에 영향을 주게 되어 결국 서브 픽셀 정밀도의 에지 위치 결정에 결정적인 영향을 미치는 요인으로 작용할 수 있다.
따라서, 더욱 안정된 서브 픽셀 정밀도의 에지 위치 결정을 위해서는 험프(hump)와 거터(gutter)에 대해서도 해석이 가능한 에지 모델을 생성할 필요가 있다.
[선행기술문헌]
[비특허문헌]
(비특허문헌 1)1. J. Ye, G. Fu, U.P. Poudel, High-accuracy edge detection with Blurred Edge Model, Image Vis. Comput. 23 (2005) 453-467. doi:10.1016/j.imavis.2004.07.007.
(비특허문헌 2)2. S. Wu, W. Lin, S. Xie, Z. Lu, E.P. Ong, S. Yao, Blind blur assessment for vision-based applications, J. Vis. Commun. Image Represent. 20 (2009) 231-241. doi:10.1016/j.jvcir.2009.03.002.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 것으로서, 밝기의 대조 변화의 영향을 고려하여 에지 블러 파라미터를 결정하고, 이를 이용하여 에지 모델링을 위한 에지 블러를 설정함으로써, 더욱 안정된 서브픽셀 정밀도의 에지 위치를 결정할 수 있도록 해 주는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 밝기값에 따른 에지 블러를 설정하기 위한 방법으로서, 기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되고, 그리드 패턴에 포함되는 밝기값 변화가 서로 다른 복수 개의 타겟 시트를 준비하는 제1 단계와, 타겟 시트를 촬영하여 타겟 시트 영상을 획득하는 제2 단계, 각 타겟 시트 영상별 해당 타겟 시트의 기준 패턴을 분석하여 기준선을 추정함과 더불어, 그리드 패턴을 분석하여 그리드 패턴에 형성된 에지 프로파일을 추출하는 제3 단계, 에지 프로파일을 근거로 인접 픽셀간 밝기차에 의한 기울기를 산출함과 더불어, 이 기울기에 기초하여 영상 내에 존재하는 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 획득하는 제4 단계 및, 상기 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 분포를 근거로 밝기값에 대응되는 화소 수치별 배경 에지 블러 예측 정보와 전경 에지 블러 예측정보를 각각 생성하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
또한, 상기 타겟 시트는 일정 폭을 갖는 선분 형상으로서 중앙의 공간을 두고 서로 이격형성되는 한 쌍의 수직 영역과 2개의 수평 영역으로 이루어지는 기준 패턴과, 상기 중앙 공간에 형성되는 4개의 정사각형으로 이루어지는 그리드패턴을 포함하는 것을 특징으로 하는 영상 대조에 따른 에지 변위량 예측방법이 제공된다.
또한, 상기 그리드 패턴은 상부 2개의 정사각형과 하부 2개의 정사각형으로 이루어지며, 하나의 정사각형과 그 대각선 방향의 정사각형은 배경으로 사용되고, 나머지 사각형들은 전경으로 사용되며, 전경 및 배경 밝기값은 가변적인 밝기값을 갖도록 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
또한, 상기 전경 밝기값은 배경 밝기값 보다 더욱 밝게 되도록 설정되되, 상기 배경은 0.0 ~ 0.9 범위의 가변적인 밝기값을 갖도록 설정되고, 전경은 0.1 ~ 1.0 범위의 가변적인 밝기값을 갖도록 복수 개의 타겟 시트가 제작되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
또한, 상기 제2 단계는 각 타겟 시트에 대하여 카메라 대 물체 간 거리를 가변시키면서 복수개의 영상을 획득하는 단계를 포함하고, 상기 제3 단계는 카메라 대 물체간 거리별 밝기값 변화에 따른 에지 프로파일을 추정하며, 상기 제4 단계는 카메라 대 물체간 거리별 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 획득하고, 상기 제5 단계는 밝기값 변화 및 카메라 대 물체간 거리를 고려하여 일정 간격의 밝기값에 대한 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 분포에 따른 배경 에지 블러 예측 정보와 전경 에지 블러 예측정보를 각각 생성하는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
또한, 상기 제4 단계에서 에지 블러 파라미터 획득단계는 상기 제3 단계에서 수집된 에지 프로파일을 기 설정된 간격으로 리샘플링하는 단계와, 리샘플링된 간격에 대해 모든 에지 프로파일에 대한 평균 프로파일을 생성하는 단계, 연속되는 평균 프로파일의 차이 값을 이용하여 연속 구간의 중심값으로 산출되는 기울기 프로파일을 획득하는 단계, 상기 기울기 프로파일에 대응되는 하기 수학식과 같은 기울기 모델링 함수를 생성하고, 이를 만족하는 최소의 제곱 오차합을 만들어내는 한 쌍의 값을 선택함으로써, 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 산출하는 단계를 포함하여 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
Figure PCTKR2017011349-appb-I000001
여기서, e 는 랜덤 에러, hb 는 배경 밝기, hf 는 전경 밝기, σb 는 배경 에지 블러 파라미터, σf 는 전경 에지 블러 파라미터.
또한, 상기 기울기 모델링 함수에서 배경 밝기값 파라미터(hb), 전경 밝기값 파라미터(hf) 는 타겟 시트의 그리드 패턴에 대한 평균 밝기값으로 설정되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
또한, 상기 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 산출하는 단계는, 브루트-포스(brute-force) 방법을 이용하여 "0.01"의 간격을 가지면서 "0.2" 에서 "2.0" 사이의 값을 갖는 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 조합에 대한 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 산출하도록 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
또한, 상기 제5 단계는 상기 제4 단계에서 획득된 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 기 설정된 화소 수치값(DN)에 대한 데이터 포인트로서 수집하는 단계와, 상기 데이터 포인트를 이용하여 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대한 각각의 평면 표면 특성을 산출하는 단계, 상기 평면 표면 특성으로부터 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대한 잔차성분을 획득하고, 이 잔차성분을 이용하여 크리깅 기법에 따른 크리깅 표면 특성을 각각 산출하는 단계 및, 상기 평면 표면 특성과 상기 크리깅 표면 특성 간의 차를 근거로 배경 에지 블러 파라미터 및 전경 에지 블러 파라미터에 대한 화소 수치별 표면 특성을 각각 생성함으로써, 배경 및 전경 에지 블러 예측 정보를 확정하는 단계를 포함하여 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
또한, 상기 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대한 평면은 하기 수학식과 같이 모델링 하는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
Figure PCTKR2017011349-appb-I000002
여기서, X는 배경 화소 수치값(DN), Y는 전경 화소 수치값(DN), Z는 에지 블러를 나타내고, a,b,c는 추정되어질 평면 파라미터이며, e는 에지 블러 파라미터에 존재하는 것으로 추정되는 랜덤 에러.
또한, 상기 크리깅 표면 특성을 산출하는 단계는, 에지 블러 파라미터로부터 하기 수학식과 같은 잔차성분을 획득하는 단계와, 상기 잔차성분들에 대한 베리오그램을 획득하고, 베리오그램의 포인트를 관측값으로 하여 공분산 함수를 생성하는 단계 및, 최소자승기법을 이용하여 공분산 함수에 대한 파라미터를 추정함으로써, 일정 간격을 갖는 화소 수치값에 대한 크리깅 표면 특성을 획득하는 단계를 포함하여 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
Figure PCTKR2017011349-appb-I000003
이때,
Figure PCTKR2017011349-appb-I000004
여기서,
Figure PCTKR2017011349-appb-I000005
는 파라미터 벡터, R 은 잔차 벡터임.
또한, 상기 공분산 함수는 하기 수학식과 같이 이차함수 형태로 생성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
Figure PCTKR2017011349-appb-I000006
여기서, a,b는 추정 파라미터이고, h는 인접 잔차간의 거리임.
다른 실시예에서, 상기 공분산 함수는 하기 수학식과 같이 선형 일차 함수 형태로 생성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
Figure PCTKR2017011349-appb-I000007
여기서, V(h)는 상기 공분산 함수이고, a는 추정 파라미터이고, h는 인접 잔차간의 거리임.
또한, 상기 일정 간격을 갖는 화소 수치별 표면 특성에 따른 에지 블러 예측값은 하기 수학식에 의해 산출되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정방법이 제공된다.
Figure PCTKR2017011349-appb-I000008
여기서, P는 잔차에 의해 예측된 그리드 구성에서의 임의 포인트이고, k,K,R은 하기와 같이 정의됨.
Figure PCTKR2017011349-appb-I000009
여기서, PPi 는 P 포인트와 Pi 포인트 사이의 거리이고, PiPj 는 Pi 포인트와 Pj 포인트 사이의 거리이며, Ri 는 Pi 포인트 잔차임.
또한, 상기 표면 특성에 따른 배경 에지 블러 예측값은 배경 화소 수치값이 증가할수록 또는 전경 화소 수치값이 증가할수록 감소하도록 설정되고, 상기 표면 특성에 따른 전경 에지 블러 예측값은 배경 화소 수치값이 증가할수록 또는 전경 화소 수치값이 감소할수록 증가하도록 설정되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법이 제공된다.
본 발명에 따르면, 이미지의 다양한 밝기 대조 특성을 고려하여 이미지의 배경 영역과 전경 영역에 대한 각각의 에지 블러 파라미터를 추정하고, 이들 각 영역에 대응되는 두 개의 에지 블러 파라미터를 이용하여 에지 모델링처리를 수행함으로써, 각종 렌즈와 영상표면의 조합에서 발생하는 에지 블러패턴을 정확하게 예측하고, 보다 안정된 서브 픽셀 정밀도를 갖는 에지 위치를 결정할 수 있게 된다.
또한, 배경 영역과 전경 영역에 대한 에지 블러 파라미터가 각각 설정되므로, 디블러링(deblurring)이 유용하여 여러 개의 에지가 조밀하거나 중첩되는 경우 에지를 분리하는데 용이함은 물론, 디노이즈(denoise)량을 더욱 용이하게 간파할 수 있게 된다.
따라서, 카메라 해상도 분석, 지리 정보 구축, 주행 로봇 등에 있어 정확하고 신속한 에지 위치인식이 가능한 효과가 있다.
도1은 두 개 밝기 영역에서의 이상적인 스텝 에지를 도시한 도면.
도2는 서로 다른 세 가지 조건에 따른 에지 프로파일(a,b,c)과 기울기 프로파일(d,e,f)을 도시한 도면.
도3은 본 발명이 적용되는 에지 블러 설정시스템의 개략적인 구성을 도시한 도면.
도4는 도3에 도시된 타겟시트(100)의 패턴 이미지를 도시한 도면.
도5는 배경 밝기가 0.3이고, 전경밝기가 0.8로 설계된 크롭 이미지를 도시한 도면.
도6 내지 도8은 본 발명에 따른 에지 모델링을 위한 에지 블러 설정 방법을 설명하기 위한 흐름도.
도9는 타겟 시트의 그리드 패턴에 대해 설정된 양성(positive) 방향을 나타낸 도면.
도10은 전경 밝기가 "0.0", 배경 밝기가 "1.0" 이면서 COD = 4m 인 크롭 이미지에 대해 수집된 에지 프로파일을 나타낸 도면.
도11은 수집된 에지 프로파일에 따른 기울기 프로파일과 브루트-포스 방법에 의해 추정된 에지 블러 파라미터 곡선을 도시한 도면.
도12는 배경 DN과 전경 DN에 대해 추정된 에지 블러 파라미터의 분포 특성을 도시한 도면.
도13은 COD가 1m 인 경우와, COD가 6m인 경우에 대한 베리오그램과 그 공분산 함수를 도시한 도면.
도14와 도15는 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대하여 발생되는 크리깅에 의해 생성된 평면 표면 특성을 도시한 도면.
도16과 도17은 전경 에지 블러 파라미터와 배경 에지 블러 파라미터에 대하여 크리깅과 평면 표면 차에 의해 발생되는 에지 블러 표면 특성을 도시한 도면.
도18은 배경 에지 블러 파라미터 표면과 전경 에지 블러 파라미터 표면 사이의 차에 의해 생성된 표면 특성을 나타낸 도면.
도19 내지 도 20은 COD가 1m 인 경우와, COD가 6m인 경우에 대한 베리오그램과 그 공분산 함수를 도시한 도면.
도21과 도 22는 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대하여 발생되는 크리깅에 의해 생성된 평면 표면 특성을 도시한 도면.
도23은 도23은 배경 에지 블러 파라미터와 전경 에지 블러 파라미터의 차이값을 도시한 도면.
도24는 45개의 타겟시트에 대해 에지 모델들에 대한 피팅 오차값을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 에지 모델링을 위해 밝기 대조를 통해 서로 다른 두 개의 밝기 영역에 대한 각각의 에지 블러 파라미터를 추정하고, 이를 이용하여 에지 모델링을 위한 에지 블러를 설정하는 것으로, 에지 블러 파라미터는 에지의 어두운 측면(배경 영역)에서의 밝기 블러링량에 따른 배경 에지 블러 파라미터와, 에지의 밝은 측면(전경 영역)에서의 밝기 블러링량에 따른 전경 에지 블러 파라미터로 구분된다.
먼저, 도1은 두 개 밝기 영역에서의 이상적인 스텝 에지를 도시한 것으로, hb 는 배경 밝기(Background Brightness : BB)이고, hf 는 전경 밝기(Foreground Brightness : FB)이다. 도1에서 곡선들은 배경 영역의 밝기와 전경 영역의 밝기의 주변으로 블러링되는 양을 가우시안 함수로 모델링한 것을 나타낸 것으로, 임의 지점 x에서 밝기값은 빗금친 영역의 면적을 합친값으로 모델링함을 나타낸다.
먼저, 도1로부터 배경 밝기(BB)와 전경 밝기(FB)에 대한 블러 함수 fb(x)와 ff(x)는 각각 수학식 1과 수학식2로 모델링한다.
[수학식 1]
Figure PCTKR2017011349-appb-I000010
[수학식 2]
Figure PCTKR2017011349-appb-I000011
여기서, σb 는 배경 밝기에 대한 표준편차로서, 본 발명에서 추정할 배경 영역에 대한 에지 블러 파라미터이고, σf 는 전경 밝기에 대한 표준편차로서, 본 발명에서 추정할 전경 영역에 대한 에지 블러 파라미터이다.
또한, 일반적으로 x 위치에서의 밝기값(도1에서 헤칭 영역)은 주변 밝기값의 합으로 결정되는바, 도1에서 밝기 함수 F(x)는 수학식 3과 같이 배경 영역과 전경 영역의 블러들을 적분한 형태로 표현할 수 있다.
[수학식 3]
Figure PCTKR2017011349-appb-I000012
또한, 에지의 기울기 프로파일(f(x))은 상기 수학식3으로부터 수학식 4와 같이 도출된다.
[수학식 4]
Figure PCTKR2017011349-appb-I000013
도2는 서로 다른 세 가지 조건에 따른 에지 프로파일(a,b,c)과 기울기 프로파일(d,e,f)을 도시한 것이다. 도2에서 (a)와 (d)는 각각 배경 밝기의 에지 블러 파라미터(σb)가 전경 밝기의 에지 블러 파라미터(σf) 보다 큰 경우(σb > σf)의 에지 프로파일과 기울기 프로파일이고, (b)와 (e)는 각각 배경 밝기의 에지 블러 파라미터(σb)와 전경 밝기의 에지 블러 파라미터(σf)가 동일한 경우(σb = σf)의 에지 프로파일과 기울기 프로파일이며, (c)와 (f)는 각각 배경 밝기의 에지 블러 파라미터(σb)가 전경 밝기의 에지 블러 파라미터(σf) 보다 작은 경우(σb < σf)의 에지 프로파일과 기울기 프로파일을 각각 나타낸 것이다. 보다 상세하게는 도1에서 (a) 내지 (c)에 도시된 에지 프로파일은 상기 수학식 3에서의 F(x)로서, 배경 밝기(hb)가 "20" 이고, 전경 밝기(hf)가 "60" 으로 설정된 상태에서 (a)와 (d)는 배경 에지 블러 파라미터(σb) = "1.0", 전경 에지 블러 파라미터(σf)= "0.5"로 설정된 경우의 결과이고, (b)와 (e)는 배경 에지 블러 파라미터(σb)와 전경 에지 블러 파라미터(σf)가 모두 "1.0"으로 설정된 경우의 결과이며, (c)와 (f)는 배경 에지 블러 파라미터(σb)= "1.0" , 전경 에지 블러 파라미터(σf)= "1.5"로 설정된 경우의 결과이다. 또한, 도2에서 녹색((d), (e) 및 (f)에서 피크가 가장 낮은 그래프)과 청색((d), (e) 및 (f)에서 피크가 가장 높은 그래프와 (a), (b), (c) 그래프)과 적색((d), (e) 및 (f)에서 피크가 두번째로 높은 그래프)은 각각 상기 수학식1에 대응되는 배경 블러 함수(fb(x))와, 상기 수학식 2에 대응되는 전경 블러 함수(ff(x)) 및, 상기 수학식 4에 대응되는 기울기 프로파일(f(x))을 나타낸다.
도2에 도시된 (a)와 (d)의 경우에서와 같이 거터(G)와 험프(H) 특성은 배경 에지 블러 파라미터(σb)가 전경 에지 블러 파라미터(σf) 보다 큰 경우에 나타남을 알 수 있다. 이는 본 발명에 따라 추정된 두 개의 에지 블러 파라미터를 이용하여 결정된 에지 블러를 통해 에지 모델링을 수행하는 경우, 거터와 험프 특성에 대한 해석이 가능함을 의미한다.
이어, 본 발명은 상술한 이론적 근거를 바탕으로 다양한 밝기 대조 기반의 두개의 에지 블러 파라미터를 이용한 에지 블러 설정 방법을 설명한다.
도3은 본 발명이 적용되는 에지 블러 설정시스템의 개략적인 구성을 도시한 도면이다.
도3에 도시된 바와 같이 본 발명에 적용되는 에지 블러 설정 시스템은 다수의 타켓시트(100)와, 카메라(200) 및 에지 블러 설정장치(300)를 포함하여 구성된다.
상기 타겟시트(100)는 에지 블러를 설정하기 위한 특정 패턴이 이미징되어 구성된다. 도4는 상기 타겟시트(100)의 패턴 이미지를 도시한 것으로, 일정 폭을 갖는 선분 형상으로서 중앙의 공간을 두고 서로 이격형성되는 한 쌍의 수직 영역과 2개의 수평 영역으로 이루어지는 기준 패턴과, 상기 중앙 공간에 형성되는 4개의 정사각형으로 이루어지는 그리드패턴의 2가지 패턴영역을 갖는다. 그리드패턴은 상부 2개의 정사각형과 하부 2개의 정사각형으로 이루어지며, 좌측상단과 그 대각선 방향의 우측하단의 정사각형은 배경(background)으로 사용되면서 0.1 단위로 0.0(검은색)에서 0.9까지 가변적인 밝기값으로 형성됨과 더불어, 우측상단과 그 대각선 방향의 좌측하단의 정사각형은 전경(foreground)으로 사용되면서 0.1의 단위로 0.1에서 1.0(흰색)까지 가변적인 밝기값으로 형성된다. 이때, 상기 전경 밝기는 배경 밝기 보다 0.1 에서 1.0 레벨 높게 설정되고, 이에 따라 총 55개의 서로 다른 밝기 패턴을 갖는 타겟 시트(100)가 구비될 수 있다.
도4에서 패턴의 각 부분 치수는 표 1과 같다.
부분 a b c d
길이(mm) 9 52.5 35 9
한편, 도3에서 카메라(200)는 상기 서로 다른 밝기 패턴을 갖는 타겟 시트(100)를 촬영하여, 그 타겟시트 촬영 영상(이하 "타겟 영상"이라 칭함)을 상기 에지 블러 설정장치(300)로 제공한다. 상기 카메라(200)는 각 타겟시트(100)에 대해 카메라(200)와 타겟시트(100)간 거리(이하, "COD"라 칭함)를 1m ~ 6m 범위에서 1m 단위로 변화시키면서 촬영한다. 즉, 상기 카메라(200)는 55개의 각 타겟시트(100)에 대해 거리별 6개의 타켓 영상을 촬영함으로써, 총 330 장의 타켓 영상을 상기 에지 블러 설정장치(300)로 제공한다. 본 발명에 있어서는 디지털 싱글 렌즈 카메라를 이용하여 타겟 시트(100)를 촬영하였으며, 일정량의 인위적인 블러를 추가하기 위하여 각 이미지에 대해 1:4 JPEG 압축률을 적용하였다. 도5는 배경 밝기가 0.3이고, 전경밝기가 0.8로 설계된 크롭 이미지로서, (a) 내지 (f)는 COD가 순차로 1m, 2m, 3m, 4m, 5m,6m 인 상태에서 촬영한 이미지이다.
또한, 도3에서 에지 블러 설정장치(300)는 상기 카메라(200)로부터 제공되는 서로 다른 밝기 및 COD에 대응되는 다수의 타겟영상을 분석하여 에지 프로파일을 수집하고, 이 에지 프로파일을 이용하여 밝기값 대조에 따른 에지 블러 파라미터를 추정하며, 추정된 에지 블러 파라미터를 근거로 에지 블러를 설정하여 이를 통해 에지 모델링 처리를 수행하도록 구성된다.
이때, 상기 에지 블러 설정장치(300)는 모든 타겟 영상에 대해 추정된 배경 밝기와 전경 밝기에 대응되는 화소 수치값(이하, "DN" 이라 칭함)을 관측값으로 하여 크리깅 기법에 적용함으로써, 일정한 간격으로 구성된 DN 그리드 위치별 에지 블러를 설정하도록 구성된다. 여기서, DN 은 타켓 시트에서 0.1~1.0 으로 주어지는 각 밝기 강도에 대응되는 0 ~ 255로 주어지는 밝기값에 대한 디지털 번호이다.
도6은 본 발명에 따른 에지 블러 설정 방법을 설명하기 위한 흐름도이다.
먼저, 기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되되, 그리드 패턴에 포함되는 배경 영역과 전경 영역에 밝기값이 서로 다른 복수의 타켓 시트(100)를 준비한다(ST10). 이때, 그리드 패턴의 배경 영역과 전경 영역의 밝기값은 0.1 ~1.0 의 차이가 나도록 설정된다.
이어, 카메라(200)에서 각 타켓 시트(100)에 대하여 카메라(200) 대 타겟 시트(100) 간 거리(COD)를 가변시키면서 촬영하고, 이를 통해 획득한 복수개의 타겟 영상을 에지 블러 설정장치(300)로 제공한다(ST20). 즉, 각 COD에 대해 서로 다른 밝기 대조 특성을 갖는 다수의 타켓 시트(100)에 대한 타겟 영상이 에지 블러 설정장치(300)로 제공된다.
에지 블러 설정장치(300)는 카메라(200)로부터 제공되는 복수의 타겟 영상에 대해 도4에 도시된 타겟 시트 패턴 영역에 대응되는 크롭 이미지를 추출한다(ST30). 이때, 상기 에지 블러 설정장치(300)는 렌즈 왜곡을 제거하기 위하여 모든 타겟 영상에 대해 포토모델러 소프트웨어를 이용하여 재샘플링한 후, 이 결과 이미지에서 도4와 같은 타겟 시트 패턴 영역만을 포함하도록 크롭한다.
이후, 에지 블러 설정장치(300)는 각 COD에 대하여 각 타겟 영상별 크롭 이미지를 분석하여 COD에 따른 타겟 영상별 에지 프로파일을 생성하고, 이를 근거로 두 개의 에지 블러 파라미터를 추정한다(ST40).
이때, 상기 에지 블러 설정장치(300)는 한 쌍의 수직 및 수평 방향의 기준선을 사용하여 에지 프로파일을 수집한다.
즉, 에지 블러 설정장치(300)는 에지 기준선을 검출하기 위해 이진 임계화 및 영역 특성을 이용하여 기준 영역을 검출한다. 이진 임계화 단계에서는, 기 설정된 밝기 문턱값을 이용하여 크롭 이미지로부터 이진 이미지가 생성되고, 그 후 각 이진 이미지가 4개의 연결성을 갖는 연결 성분 레이블링에 의해 레이블된다. 레이블링이 좌-우 방향, 상-하 방향으로 수행되므로 레이블 영역 중 첫 번째 영역은 수평 기준영역의 좌측 영역으로 설정된다. 그 다음, 각 영역의 치수를 좌측 영역의 치수와 비교하여 레이블된 영역 중에서 수평 기준 영역의 우측 영역이 결정된다. 또한, 수직 영역은 첫 번째 영역과 나머지 영역의 치수를 비교하여 결정된다. 그리고 수평 영역과 수직 영역의 중심 기준선을 각 영역의 중심 위치를 직선으로 연결함으로써 추정한다. 이때, 에지 프로파일이 기준선을 따라 도9에 도시된 양성(positive) 방향으로 수집된다. 즉, 양성 방향은 도9에 도시된 화살표 방향과 같이 배경 영역(어두운 영역)에서 전경 영역(밝은 영역)방향으로 설정된다.
도10에서 (a)는 전경 밝기가 "0.0", 배경 밝기가 "1.0" 이면서 COD = 4m 인 크롭 이미지에 대한 에지 프로파일 수집 결과이고, (b)는 (a)의 수집 결과를 보정한 것이다. 즉, 도10 (a)는 x 위치에 대한 에지의 중심(EC)이 "0" 위치로부터 횡방향으로 어긋나 있다. 이를 에지 프로파일의 대칭 면적에 기초한 에지 위치 결정 알고리즘을 이용하여 각 프로파일의 변위를 산출하여 제거함으로써, 도10 (b)와 같이 에지의 중심(EC)이 "0" 으로 보정된 에지 프로파일 결과를 획득할 수 있다. 여기서, 도10과 같은 에지 프로파일을 생성하는 과정에 대해서는 본 발명자가 이전 출원한 출원번호 10-2016-0021722호에 상세히 기재되어 있고, 면적 대칭에 기초한 에지 위치 결정 알고리즘에 대해서는 본 발명자가 이전 출원한 출원번호 10-2016-0077856호에 상세히 기재되어 있으므로, 이에 대한 설명은 생략한다.
또한, 에지 블러 설정장치(300)는 상술한 바와 같이 COD별 각 크롭 이미지로부터 수집된 에지 프로파일을 근거로 에지 블러 파라미터를 추정하게 되는바, 에지 블러 파라미터를 추정과정은 도7에 도시된 흐름도를 참조한다.
먼저, 에지 블러 설정장치(300)는 수집된 에지 프로파일을 기 설정된 간격으로 리샘플링한다(ST41). 이때, 에지 프로파일은 도10 (b)와 같이 보정된 에지 프로파일일 될 수 있으며, 리샘플링 간격은 "0.1" 픽셀로 설정될 수 있다.
이어, 에지 블러 설정장치(300)는 기 설정된 리샘플링 간격에 대해 모든 에지 프로파일의 평균을 산출한다. 즉, 에지 블러 설정장치(300)는 COD 별 모든 타겟 이미지에 대한 평균 프로파일을 생성한다(ST42).
이후, 연속되는 평균 프로파일의 차이 값을 이용하여 연속 구간에 대한 중심값으로 산출되는 기울기 프로파일을 획득한다(ST43). 도11은 이와 같은 방법으로 획득한 기울기 프로파일을 예시한 것이다.
또한, 에지 블러 설정장치(300)는 임의 x 위치에서의 기울기 값 s 를 하기 수학식 5와 같이 모델링한다(ST44).
[수학식 5]
Figure PCTKR2017011349-appb-I000014
여기서, e 는 랜덤 에러이다. 이때, 전경 밝기(hb)와 배경 밝기(hf)는 도4에 도시된 타겟 시트(100)의 그리드 패턴에 대한 픽셀 평균 밝기값으로 설정한다. 즉, 배경 에지 블러 파라미터(σb)와 전경 에지 블러 파라미터(σf)를 추정하기 위하여 모든 x 위치에 대응되는 기울기값 s를 이용한다.
또한, 에지 블러 설정장치(300)는 브루트-포스(brute-force) 방법을 통해 "0.01"의 간격을 가지면서 "0.2" 에서 "2.0" 사이의 값을 갖는 2개의 블러 파라미터 조합을 설정하고, 상기 수학식5에서 최소의 제곱 오차합을 만들어내는 한 쌍의 값을 선택함으로써, 밝기 대조에 따른 배경 에지 블러 파라미터(σb)와 전경 에지 블러 파라미터(σf) 를 획득한다(ST45). 도11은 브루트-포스 방법에 의해 추정된 에지 블러 파라미터 곡선이다. 또한, 하기 표2는 이미지 특성에 대응되는 추정 파라미터를 나타낸 것으로, 타겟 시트(100)와의 이격거리 즉, COD가 1m 인 경우에 대한 이미지 특성별 추정 파라미터(σb, σf)값이 나타나 있다. 이때, 이미지 특성값으로는 표2에 도시된 바와 같이 COD와, 배경 밝기(BI), 전경 밝기(FI), 배경 DN(BDN), 전경 DN(FDN)을 포함한다. 여기서, BI와 FI 는 타겟 시트의 그리드 패턴에 대응되는 밝기 값이고, BDN 과 FDB 은 카메라(200)를 통해 획득한 타겟 이미지에 대응되는 화소 수치값이다.
[표 2]
Figure PCTKR2017011349-appb-I000015
한편, 도12는 배경 DN과 전경 DN에 대해 추정된 에지 블러 파라미터의 분포 특성을 도시한 것이다. 도12에서 작은 원들은 배경 에지 블러 파라미터(σb)와 전경 에지 블러 파라미터(σf)를 나타내며, 흑색 라인은 배경 DN과 전경 DN에 대응되는 두 개의 에지 블러 파라미터의 연결라인이다. 또한, 도12에서 (a) 내지 (f)는 COD 가 순차로 1m, 2m, 3m, 4m, 5m, 6m 인 상태에서 획득한 타겟 이미지에 대한 에지 블러 파라미터의 분포 특성을 도시한 것이다.
도12에 의하면 대부분의 경우 배경 에지 블러 파라미터(σb) 값이 전경 에지 블러 파라미터(σf) 값 보다 큰 것을 알 수 있다.
한편, 도6에서 상기 에지 블러 설정장치(300)는 상기 ST50단계에서 추정된 두 개의 에지 블러 파라미터를 근거로 일정 간격의 밝기값에 대응되는 에지 블러 예측 정보를 생성한다(ST50).
에지 블러 예측정보 생성과정은 도8에 도시된 흐름도를 참조한다.
먼저, 에지 블러 설정장치(300)는 각 COD별 타겟 이미지에 대해 획득된 두 개의 에지 블러 파라미터에 대한 DN 조합별 데이터 포인트를 수집한다(ST51).
이어, 에지 블러 설정장치(300)는 수집된 데이터 포인트를 이용하여 배경 및 전경 에지 블러 파라미터에 대한 평면 표면 특성을 획득함과 더불어(ST52), 에지 블러 파라미터의 평면 표면 특성 분포로부터 잔차성분을 획득한다(ST53).
먼저, 에지 블러(Z)는 하기 수학식 6과 같이 모델링된다.
[수학식 6]
Figure PCTKR2017011349-appb-I000016
여기서, X는 배경 DN, Y는 전경 DN, Z는 에지 블러를 나타내고, a,b,c는 추정되어질 평면 파라미터이며, e는 에지 블러 파라미터에 존재하는 것으로 추정되는 랜덤 에러이다.
에지 블러가 n 개 주어진 경우, 평면은 수학식7과 같이 모델링된다.
[수학식 7]
Figure PCTKR2017011349-appb-I000017
상기 수학식7은 벡터 행렬의 형태로 표현될 수 있으며, 수학식8과 같다.
[수학식 8]
Figure PCTKR2017011349-appb-I000018
여기서, 파라미터 벡터
Figure PCTKR2017011349-appb-I000019
는 수학식 9에 의해 추정된다.
[수학식 9]
Figure PCTKR2017011349-appb-I000020
또한, 잔차 벡터(R)는 수학식 10에 의해 산출된다.
[수학식 10]
Figure PCTKR2017011349-appb-I000021
하기 표3에는 배경 에지 블러(BBP,σb)에 의한 평면 파라미터와, 전경 에지 블러(FBP,σf)에 대한 평면 파라미터 및, 잔차들의 평균 절대값 차(Mean Absolute Difference:MAD)가 나타나 있다.
[표 3]
Figure PCTKR2017011349-appb-I000022
즉, 상기 표3을 통해 배경 에지 블러 파라미터는 배경 DN이 증가할수록 전경 DN이 감소할수록 증가함을 알 수 있다. 또한, 배경 블러 파라미터 평면 계수 값(a,b,c)으로부터 COD 가 2m인 경우의 평면을 제외한 나머지 결과에서 배경 DN 증가에 따른 전경 에지 블러 파라미터 증가가 전경 DN 증가에 따른 전경 에지 블러 파라미터 감소보다 더 크다는 것을 알 수 있다. 또한, 표3에서 잔차들의 MAD 값은 3차원 평면이 모든 COD들과 2개의 블러 파라미터에 대하여 0.12 픽셀 이내로 블러치를 피팅함을 나타낸다.
블러 파라미터 추정치가 3차원 평면에 잘 피팅되었다고 하더라도 블러 파라미터들이 특정량의 비선형을 포함하는 경우, 블러 추정치를 모델링하기 충분하지 않을 수 있다. 이러한 문제를 해결하기 위해 본 출원인은 크리깅 기반 평면 피팅 방법을 제안한다.
이에 따르면, 에지 블러 설정장치(100)는 크리깅 기반의 표면 피팅 방법을 이용하여 기 추정된 에지 블러 파라미터들을 3D 평면상에 피팅하여 크리깅 표면 특성을 획득한다(ST55).
먼저, 에지 블러 설정장치(300)는 상기 수학식 10 으로부터 획득한 잔차들에 대한 베리오그램을 획득한다. 즉, 임의 거리 h에 대한 베리오그램은 수학식 11과 같이 산출된다.
[수학식 11]
Figure PCTKR2017011349-appb-I000023
여기서,
Figure PCTKR2017011349-appb-I000024
는 거리가 h 이내인 인접 잔차 쌍의 수이고, Ri 와 Rj는 인접하는 i번째와 j번째 포인트에서 잔차값이다.
본 실시예에서 베리오그램은 "5"의 크기 단위이면서 최대 인접 거리는 "60" 으로 설정하였으며, 이에 대한 실험 결과로서, 도13에는 COD가 1m 인 경우와, COD가 6m인 경우에 대한 베리오그램과 그 공분산 함수가 도시되어 있다. 즉, 도13에서 원은 베리오그램이고 라인은 그들의 공분산 함수로서, (a)는 COD=1m 인 경우의 배경 에지 블러 프로파일(σb)에 대한 공분산 결과이고, (b)는 COD=6m 인 경우의 배경 에지 블러 프로파일(σb)에 대한 공분산 결과이며, (c)는 COD=1m 인 경우의 전경 에지 블러 프로파일(σf)에 대한 공분산 결과이고, (d)는 COD=6m 인 경우의 전경 에지 블러 프로파일(σf)에 대한 공분산 결과이다.
이때, 베리오그램 포인트(도13에 도시된 원)는 수학식 13과 같이 공분산 함수 C(h)를 추정하기 위한 관측값으로 설정된다.
[수학식 12]
Figure PCTKR2017011349-appb-I000025
여기서, e는 랜덤 에러이다.
베리오그램의 시각적 분석으로부터 상기 공분산 함수는 2개 파라미터를 포함하는 이차 함수(수학식 13)로 모델링된다.
[수학식 13]
Figure PCTKR2017011349-appb-I000026
여기서, a와 b는 추정 파라미터이다. 이때, 모든 COD에 대하여 상기 파라미터(수학식 13에서 a,b)는 최소자승기법을 이용하여 추정된다.
또한, 공분산 함수를 사용하여 그리드 구성에서 일정 간격을 갖는 DN에 대한 에지 블러(I(P))를 예측할 수 있다.
[수학식 14]
Figure PCTKR2017011349-appb-I000027
여기서, P는 잔차에 의해 예측된 그리드 구성에서의 임의 포인트이고, k,K,R은 수학식15와 같이 정의된다.
[수학식 15]
Figure PCTKR2017011349-appb-I000028
여기서, PPi 는 P 포인트와 Pi 포인트 사이의 거리이고, PiPj 는 Pi 포인트와 Pj 포인트 사이의 거리이며, Ri 는 Pi 포인트 잔차이다. 본 실시예에서, DN의 그리드 크기는 "5"로 설정하였다.
에지 블러 설정장치(300)는 그리드 포인트에서 잔차를 예측한 후, 에지 블러를 산출하기 위하여 예측된 잔차와 트렌드를 고려한다. 표4는 크리깅 잔차들의 MAD를 나타낸 것으로, 상기 표3에 나타난 평면 피팅 결과와 유사함을 알 수 있다. 즉, 표3 및 표4에 나타낸 바와 같이, DN에 대한 에지 블러 파라미터의 분포가 선형에 가까워짐을 알 수 있다.
[표 4]
Figure PCTKR2017011349-appb-I000029
도14와 도15은 각각 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대하여 크리깅에 의해 발생되는 표면 특성을 도시한 것이다. 도14에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 배경 에지 블러 파라미터 표면 특성 결과이고, 도15에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 전경 에지 블러 파라미터 표면 특성 결과이다.
도14에서 배경 에지 블러 파라미터는 상기 표3에서 예측된 바와 같이 배경 DN 이나 전경 DN 이 증가할수록 감소함을 알 수 있다. 또한, COD가 증가할수록 전경 DN에 따른 배경 에지 블러 파라미터의 비율이 감소함을 알 수 있다.
도14에 도시된 배경 에지 블러 파라미터 분포들을 비교하여 볼 때, 도15에 도시된 전경 에지 블러 파라미터 분포는 비교적 작은 값이지만, 일정량의 비선형 특성을 나타남을 확인할 수 있다.
즉, 도15에서 전경 에지 블러 파라미터는 배경 DN과 함께 증가하고, 전경 DN과 함께 감소함을 알 수 있다. 이때, 배경 DN과 함께 변화하는 전경 에지 블러 파라미터의 변화율은 전경 DN과 함께하는 변화율보다 의미가 있다.
한편, 도6에서 에지 블러 설정장치(300)는 배경 및 전경 에지 블러 파라미터 표면 특성에 따른 에지 블러 예측정보를 생성한다(ST60). 즉, 에지 블러 설정장치(300)는 밝기값에 따른 배경 에지 블러 파라미터의 평면 표면 특성과 크리깅 표면 특성 차이값을 이용하여 배경 에지 블러 예측정보를 생성하고, 밝기값에 따른 전경 에지 블러 파라미터의 평면 표면 특성과 크리깅 표면 특성 차이값을 근거로 전경 에지 블러 예측정보를 각각 생성한다.
도16과 도17은 각각 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대하여 크리깅과 평면 표면 차에 의해 발생되는 에지 블러 표면 특성을 도시한 것으로, 반투명 영역은 크리깅과 평면 표면 차가 "0"인 표면을 나타낸 것이다. 도16에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 배경 에지 블러 표면 특성 결과이고, 도17에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 전경 에지 블러 표면 특성 결과이다.
도16을 통해 크리깅에 의해 도출된 배경 에지 블러 파라미터 표면이 모든 COD에 대해 오목 다운 패턴을 갖는 것을 알 수 있다. 또한, 도17을 통해 크리깅에 의해 도출된 전경 에지 블러 파라미터 표면이 COD=1m 와 COD=2m 인 경우에는 오목 다운 패턴을 가지지만, 그 외의 COD에 대해서는 오목 업 패턴을 갖는 것을 알 수 있다.
상기한 도면에서 시각적으로 확인할 수 있는 크리깅과 평면 표면 사이의 차이를 각 COD별 에지 블러 파라미터에 대한 두 형태의 표면 사이의 MAD 계산을 통해 수치적으로 산출하였다. 표5는 각 COD별 크리깅 표면과 평면 표면간의 차이에 의해 획득한 MAD 값이다.
[표 5]
Figure PCTKR2017011349-appb-I000030
상기 표5에는 MAD 값과 내림차순으로 설정된 MAD 값의 순위가 표시되어 있다. 표5를 통해 COD=1m 와 COD=3m 인 경우를 제외한 모든 COD에 대해 배경 에지 블러 파라미터 보다 배경 에지 블러 파라미터가 더 비선형적임을 알 수 있다.
이후, 도6에서 에지 블러 설정장치(300)는 촬영 이미지의 배경 DN과 전경 DN을 획득하고, 도16 및 도17과 같은 표면 특성정보를 근거로 획득된 배경 DN과 전경 DN에 대응되는 배경 에지 불러와 전경 에지 블러를 결정하며, 이들 두 개의 에지 블러를 이용하여 에지 모델링을 수행한다(ST70). 즉, 에지 블러 설정장치(300)는 상기 ST70 단계에서 결정된 배경 에지 블러 값과 전경 에지 블러 값을 상기한 수학식4에 적용함으로써, 에지 위치를 결정한다.
한편, 본 발명에서는 도2에 도시된 바와 같은 조건으로 에지 프로파일을 분류하기 위하여, 상기 ST70 단계에서 전경 에지 블러 파라미터와 배경 에지 블러 파라미터에 대한 표면 사이의 차를 산출하고, 이를 이용하여 에지 모델링 처리를 수행할 수 있다.
도18은 배경 에지 블러 파라미터 표면과 전경 에지 블러 파라미터 표면 사이의 차에 의해 생성된 표면 특성을 나타낸 것으로, 도18에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 표면차에 따른 표면 특성 결과이다.
도18에 도시된 바와 같이 도2 (a) 형태의 에지 프로파일은 높은 전경 DN 과 높은 배경 DN 영역을 제외한 모든 DN 조합에 대해 지배적인 것임을 알 수 있으며, 이들 에지들은 도2 (c) 형태로 예측되어질 것이다.
즉, 상기 실시예에 의하면 두 개의 에지 블러 파라미터를 갖는 에지 프로파일을 모델링하고, 타겟 시트를 사용하여 이들 파라미터를 예측하도록 구성된다. 이때, 전경 에지 블러 파라미터와 배경 에지 블러 파라미터의 분포를 통해 각 에지 블러 파라미터가 에지의 밝기 영역에 의존함을 확인할 수 있으며, 에지 블러 변화량을 일정 간격을 갖는 DN 으로 설정하여 선형화하였다. 또한, 크리깅 기반의 에지 블러 파라미터 예측을 통해 전경 에지 블러 파라미터와 배경 에지 블러 파라미터 분포에서 존재하는 비선형적 특성을 수용할 수 있는 에지 블러 파라미터를 예측할 수 있다.
도19 및 도20에는 본 발명의 다른 실시예에 따른 베리오그램과 그 공분산 함수가 도시되어 있다. 도 19 및 도 20에서 원은 베리오그램이고 라인은 그들의 공분산 함수이다. 도19 (a)는 COD=1m 인 경우의 배경 에지 블러 프로파일(σb)에 대한 공분산 결과이고, 도19 (b)는 COD=6m 인 경우의 배경 에지 블러 프로파일(σb)에 대한 공분산 결과이며, 도20 (a)는 COD=1m 인 경우의 전경 에지 블러 프로파일(σf)에 대한 공분산 결과이고, 도20 (b)는 COD=6m 인 경우의 전경 에지 블러 프로파일(σf)에 대한 공분산 결과이다. 베리오그램 포인트(도19 및 도20에 도시된 원)는 베리오그램 함수 V(h)를 추정하기 위한 관측값으로 설정된다.
[수학식 16]
Figure PCTKR2017011349-appb-I000031
여기서, e는 랜덤 에러이다.
베리오그램의 시각적 분석으로부터 공분산 함수는 선형 일차 함수(수학식 17)로 모델링된다.
[수학식 17]
Figure PCTKR2017011349-appb-I000032
여기서, a는 추정 파라미터이다. 이때, 모든 COD에 대하여 상기 파라미터(수학식 17에서 a)는 최소자승기법을 이용하여 추정된다. 에지 블러 I(P)는 수학식 14 내지 수학식 15에 따라 예측할 수 있다. 에지 블러 설정장치(300)는 그리드 포인트에서 잔차를 예측한 후, 에지 블러를 산출하기 위하여 예측된 잔차와 트렌드를 고려한다.
하기 표6에는 배경 에지 블러(DBP=BBP,σ1=σb)에 의한 평면 파라미터와, 전경 에지 블러(LBP=FBP,σ2=σf)에 대한 평면 파라미터 및, 잔차들의 평균 절대값 차(Mean Absolute Difference:MAD)가 나타나 있다.
[표 6]
Figure PCTKR2017011349-appb-I000033
표6을 통해 배경 에지 블러 파라미터는 배경 DN 또는 전경 DN이 증가할수록 감소함을 알 수 있다. 또한, 배경 DN에 대한 배경 에지 블러 파라미터의 감소율은 전경 DN에 대한 배경 에지 블러 파라미터의 감소율 보다 크다는 것을 알 수 있다. 이는 배경 에지 블러 파라미터는 전경 DN 보다 배경 DN에 더욱 의존하는 것을 의미한다. 표6에서 잔차들의 MAD 값은 3차원 평면이 모든 COD들에 대하여 0.07 픽셀 이내로 블러치를 피팅함을 나타낸다. 또한, 전경 에지 블러 파라미터에 대한 잔차들의 MAD 값은 모든 COD들에 대하여 0.04 픽셀 이내로 블러치를 피팅한다.
도21과 도22은 각각 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대하여 크리깅에 의해 발생되는 표면 특성을 도시한 것이다. 도21에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 배경 에지 블러 파라미터 표면 특성 결과이고, 도22에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우의 전경 에지 블러 파라미터 표면 특성 결과이다.
도21에서 배경 에지 블러 파라미터는 표6에서 예측된 바와 같이 배경 DN 이 증가할수록 감소함을 알 수 있다. 또한, COD가 증가할수록 전경 DN에 따른 배경 에지 블러 파라미터의 비율이 감소함을 알 수 있다. 도22에서 전경 에지 블러 파라미터는 배경 DN이 증가함에 따라 증가하고, 전경 DN이 증가함에 따라 감소함을 알 수 있다. 이때, 배경 DN과 함께 변화하는 전경 에지 블러 파라미터의 변화율은 전경 DN과 함께하는 변화율보다 의미가 있다.
도23은 배경 에지 블러 파라미터와 전경 에지 블러 파라미터의 차이값을 도시한 것이다. 도23에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우를 나타낸다. 도23을 통해 대부분의 배경 DN 및 전경 DN의 경우에서 배경 에지 블러 파라미터는 전경 에지 블러 파라미터보다 크지만, 배경 DN 및 전경 DN 이 큰 경우에는 배경 에지 블러 파라미터가 전경 에지 블러 파라미터보다 작은 것을 알 수 있다.
[표 7]
Figure PCTKR2017011349-appb-I000034
표7에는 6가지 경우에 대해 에지 블러 파라미터의 피팅 결과가 나타나 있다. 표7에서 DDV와 LDV는 각각 타겟시트의 배경 밝기와 전경 밝기이다. Case 1 내지 3은 배경 DN(DPV)과 전경 DN(LPV)이 비교적 작은 경우이다. 이 경우, 두 개의 에지 블러 파라미터 모델에 대한 제곱근 오차(RMSE)는 단일 에지 블러 파라미터 모델의 RMSE 보다 낮은 것을 알 수 있다. Case 4 내지 6은 전경 DN(LPV)이 큰 경우이다. 이 경우, 두 개의 에지 블러 파라미터 모델에 대한 제곱근 오차는 차이가 크지는 않지만 단일 에지 블러 파라미터 모델의 경우보다 여전히 낮은 것을 알 수 있다.
[표 8]
Figure PCTKR2017011349-appb-I000035
표8은 45개의 타겟시트에 대해 배경 밝기(DDV)와 전경 밝기(LDV)를 나타낸다. 도24는 45개의 타겟시트에 대해 에지 모델들에 대한 피팅 오차값을 보여주는 도면이다. 도24에서 (a) 내지 (f)는 순차로 COD=1m, COD=2m, COD=3m, COD=4m, COD=5m, COD=6m 인 경우를 나타낸다. 표9는 측정 결과를 요약하여 나타낸 것이다.
[표 9]
Figure PCTKR2017011349-appb-I000036
도 24 및 표 9를 참조하면, 대부분의 경우, 본 발명의 실시예가 단일 에지 블러 파라미터 모델보다 우수한 성능(낮은 오차)을 나타낸다. 본 발명의 실시예에 따른 에지 블러 설정 방법은 에지 모델링을 통한 카메라 특성 평가, 에지 추출 등에 활용될 수 있다.
[부호의 설명]
100 : 타겟시트, 200 : 카메라, 300 : 에지 블러 설정장치.

Claims (15)

  1. 밝기값에 따른 에지 블러를 설정하기 위한 방법으로서,
    기준선 검출을 위한 기준 패턴과 에지 위치 검출을 위한 그리드 패턴이 형성되고, 그리드 패턴에 포함되는 밝기값 변화가 서로 다른 복수 개의 타겟 시트를 준비하는 제1 단계와,
    타겟 시트를 촬영하여 타겟 시트 영상을 획득하는 제2 단계,
    각 타겟 시트 영상별 해당 타겟 시트의 기준 패턴을 분석하여 기준선을 추정함과 더불어, 그리드 패턴을 분석하여 그리드 패턴에 형성된 에지 프로파일을 추출하는 제3 단계,
    에지 프로파일을 근거로 인접 픽셀간 밝기차에 의한 기울기를 산출함과 더불어, 이 기울기에 기초하여 영상 내에 존재하는 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 획득하는 제4 단계 및,
    상기 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 분포를 근거로 밝기값에 대응되는 화소 수치별 배경 에지 블러 예측 정보와 전경 에지 블러 예측정보를 각각 생성하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  2. 제1항에 있어서,
    상기 타겟 시트는 일정 폭을 갖는 선분 형상으로서 중앙의 공간을 두고 서로 이격형성되는 한 쌍의 수직 영역과 2개의 수평 영역으로 이루어지는 기준 패턴과, 상기 중앙 공간에 형성되는 4개의 정사각형으로 이루어지는 그리드패턴을 포함하는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  3. 제2항에 있어서,
    상기 그리드 패턴은 상부 2개의 정사각형과 하부 2개의 정사각형으로 이루어지며, 하나의 정사각형과 그 대각선 방향의 정사각형은 배경으로 사용되고, 나머지 사각형들은 전경으로 사용되며, 전경 및 배경 밝기값은 가변적인 밝기값을 갖도록 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  4. 제3항에 있어서,
    상기 전경 밝기값은 배경 밝기값 보다 밝게 되도록 설정되되,
    상기 배경은 0.0 ~ 0.9 범위의 가변적인 밝기값을 갖도록 설정되고, 전경은 0.1 ~ 1.0 범위의 가변적인 밝기값을 갖도록 복수 개의 타겟 시트가 제작되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  5. 제1항에 있어서,
    상기 제2 단계는 각 타겟 시트에 대하여 카메라 대 물체 간 거리를 가변시키면서 복수개의 영상을 획득하는 단계를 포함하고,
    상기 제3 단계는 카메라 대 물체간 거리별 밝기값 변화에 따른 에지 프로파일을 추정하며,
    상기 제4 단계는 카메라 대 물체간 거리별 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 획득하고,
    상기 제5 단계는 밝기값 변화 및 카메라 대 물체간 거리를 고려하여 일정 간격의 밝기값에 대한 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 분포에 따른 배경 에지 블러 예측 정보와 전경 에지 블러 예측정보를 각각 생성하는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  6. 제1항에 있어서,
    상기 제4 단계에서 에지 블러 파라미터 획득단계는
    상기 제3 단계에서 수집된 에지 프로파일을 기 설정된 간격으로 리샘플링하는 단계와,
    리샘플링된 간격에 대해 모든 에지 프로파일에 대한 평균 프로파일을 생성하는 단계,
    연속되는 평균 프로파일의 차이 값을 이용하여 연속 구간의 중심값으로 산출되는 기울기 프로파일을 획득하는 단계,
    상기 기울기 프로파일에 대응되는 하기 수학식과 같은 기울기 모델링 함수를 생성하고, 이를 만족하는 최소의 제곱 오차합을 만들어내는 한 쌍의 값을 선택함으로써, 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 각각 산출하는 단계를 포함하며,
    Figure PCTKR2017011349-appb-I000037
    여기서, e 는 랜덤 에러, hb 는 배경 밝기, hf 는 전경 밝기, σb 는 배경 에지 블러 파라미터, σf 는 전경 에지 블러 파라미터인 에지 모델링을 위한 에지 블러 설정 방법.
  7. 제6항에 있어서,
    상기 기울기 모델링 함수에서 배경 에지 블러 파라미터(σb ), 전경 에지 블러 파라미터(σf ) 는 타겟 시트의 그리드 패턴에 대한 평균 밝기값으로 설정되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  8. 제6항에 있어서,
    상기 밝기 대조에 따른 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 산출하는 단계는,
    브루트-포스(brute-force) 방법을 이용하여 "0.01"의 간격을 가지면서 "0.2" 에서 "2.0" 사이의 값을 갖는 배경 에지 블러 파라미터와 전경 에지 블러 파라미터 조합에 대한 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 산출하도록 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  9. 제1항에 있어서,
    상기 제5 단계는 상기 제4 단계에서 획득된 배경 에지 블러 파라미터와 전경 에지 블러 파라미터를 기 설정된 화소 수치값(DN)에 대한 데이터 포인트로서 수집하는 단계와,
    상기 데이터 포인트를 이용하여 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대한 각각의 평면 표면 특성을 산출하는 단계,
    상기 평면 표면 특성으로부터 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대한 잔차성분을 획득하고, 이 잔차성분을 이용하여 크리깅 기법에 따른 크리깅 표면 특성을 각각 산출하는 단계 및,
    상기 평면 표면 특성과 상기 크리깅 표면 특성 간의 차를 근거로 배경 에지 블러 파라미터 및 전경 에지 블러 파라미터에 대한 화소 수치별 표면 특성을 각각 생성함으로써, 배경 및 전경 에지 블러 예측 정보를 확정하는 단계를 포함하여 구성되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
  10. 제9항에 있어서,
    상기 배경 에지 블러 파라미터와 전경 에지 블러 파라미터에 대한 평면은 하기 수학식과 같이 모델링 하며,
    Figure PCTKR2017011349-appb-I000038
    여기서, X는 배경 화소 수치값(DN), Y는 전경 화소 수치값(DN), Z는 에지 블러를 나타내고, a,b,c는 추정되어질 평면 파라미터이며, e는 에지 블러 파라미터에 존재하는 것으로 추정되는 랜덤 에러인 에지 모델링을 위한 에지 블러 설정 방법.
  11. 제9항에 있어서,
    상기 크리깅 표면 특성을 산출하는 단계는,
    에지 블러 파라미터로부터 하기 수학식과 같은 잔차성분을 획득하는 단계와,
    상기 잔차성분들에 대한 베리오그램을 획득하고, 베리오그램의 포인트를 관측값으로 하여 공분산 함수를 생성하는 단계 및,
    최소자승기법을 이용하여 공분산 함수에 대한 파라미터를 추정함으로써, 일정 간격을 갖는 화소 수치값에 대한 크리깅 표면 특성을 획득하는 단계를 포함하며,
    Figure PCTKR2017011349-appb-I000039
    이때,
    Figure PCTKR2017011349-appb-I000040
    여기서,
    Figure PCTKR2017011349-appb-I000041
    는 파라미터 벡터, R 은 잔차 벡터인 에지 모델링을 위한 에지 블러 설정 방법.
  12. 제11항에 있어서,
    상기 공분산 함수는 하기 수학식과 같이 이차 함수 형태로 생성되며,
    Figure PCTKR2017011349-appb-I000042
    여기서, C(h)는 상기 공분산 함수, a, b는 추정 파라미터이고, h는 인접 잔차간의 거리인 에지 모델링을 위한 에지 블러 설정 방법.
  13. 제11항에 있어서,
    상기 공분산 함수는 하기 수학식과 같이 선형 일차 함수 형태로 생성되며,
    Figure PCTKR2017011349-appb-I000043
    여기서, V(h)는 상기 공분산 함수, a는 추정 파라미터이고, h는 인접 잔차간의 거리인 에지 모델링을 위한 에지 블러 설정 방법.
  14. 제9항에 있어서,
    상기 일정 간격을 갖는 화소 수치별 표면 특성에 따른 에지 블러 예측값은 하기 수학식에 의해 산출되며,
    Figure PCTKR2017011349-appb-I000044
    여기서, P는 잔차에 의해 예측된 그리드 구성에서의 임의 포인트이고, k,K,R은 하기와 같이 정의되고,
    Figure PCTKR2017011349-appb-I000045
    여기서, PPi 는 P 포인트와 Pi 포인트 사이의 거리이고, PiPj 는 Pi 포인트와 Pj 포인트 사이의 거리이며, Ri 는 Pi 포인트 잔차인 에지 모델링을 위한 에지 블러 설정 방법.
  15. 제9항에 있어서,
    상기 표면 특성에 따른 배경 에지 블러 예측값은 배경 화소 수치값이 증가할수록 또는 전경 화소 수치값이 증가할수록 감소하도록 설정되고,
    상기 표면 특성에 따른 전경 에지 블러 예측값은 배경 화소 수치값이 증가할수록 또는 전경 화소 수치값이 감소할수록 증가하도록 설정되는 것을 특징으로 하는 에지 모델링을 위한 에지 블러 설정 방법.
PCT/KR2017/011349 2016-10-13 2017-10-13 에지 모델링을 위한 에지 블러 설정 방법 WO2018070844A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17859967.6A EP3528205A4 (en) 2016-10-13 2017-10-13 BLUR EDGE ADJUSTMENT METHOD FOR EDGE MODELING
US16/341,765 US11227394B2 (en) 2016-10-13 2017-10-13 Method for setting edge blur for edge modeling

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0132654 2016-10-13
KR1020160132654A KR101868483B1 (ko) 2016-10-13 2016-10-13 영상 대조에 따른 두개의 에지 블러 파라미터 예측 방법

Publications (1)

Publication Number Publication Date
WO2018070844A1 true WO2018070844A1 (ko) 2018-04-19

Family

ID=61905794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011349 WO2018070844A1 (ko) 2016-10-13 2017-10-13 에지 모델링을 위한 에지 블러 설정 방법

Country Status (4)

Country Link
US (1) US11227394B2 (ko)
EP (1) EP3528205A4 (ko)
KR (1) KR101868483B1 (ko)
WO (1) WO2018070844A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298858A (zh) * 2019-07-01 2019-10-01 北京奇艺世纪科技有限公司 一种图像裁剪方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6841075B2 (ja) * 2017-02-17 2021-03-10 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
CN110211105B (zh) * 2019-05-24 2021-09-07 厦门美柚股份有限公司 一种模糊图像检测方法、装置及系统
CN113436120B (zh) * 2021-07-20 2023-06-20 湖南圣洲生物科技有限公司 一种图像模糊值识别方法及装置
CN113470056B (zh) * 2021-09-06 2021-11-16 成都新西旺自动化科技有限公司 一种基于高斯模型卷积的亚像素边缘点检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818828A (ja) * 1994-06-28 1996-01-19 Sony Corp テストチャート
KR20100073366A (ko) * 2008-12-23 2010-07-01 중앙대학교 산학협력단 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
JP2010237177A (ja) * 2009-03-31 2010-10-21 Nippon Hoso Kyokai <Nhk> Ｍｔｆ測定装置およびｍｔｆ測定プログラム
JP2014521990A (ja) * 2011-06-09 2014-08-28 ナム タイ，ヒョク オートフォーカス画像システム
JP2015094701A (ja) * 2013-11-13 2015-05-18 日本放送協会 Ｍｔｆ測定装置およびｍｔｆ測定プログラム
KR20160021722A (ko) 2014-08-14 2016-02-26 에어 프로덕츠 앤드 케미칼스, 인코오포레이티드 다공성의 낮은 유전상수 필름 상에 기공 밀봉 층을 제공하기 위한 방법 및 조성물
KR20160077856A (ko) 2014-12-24 2016-07-04 삼성전자주식회사 알림 정보 제공 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983468B2 (en) * 2005-02-09 2011-07-19 Jp Morgan Chase Bank Method and system for extracting information from documents by document segregation
KR100639164B1 (ko) 2005-03-12 2006-10-26 전재춘 영상 장치의 흔들림에 의한 영상 블러링 제거 방법
US10032254B2 (en) * 2010-09-28 2018-07-24 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for recovering a digital image from a sequence of observed digital images
JP2013005258A (ja) * 2011-06-17 2013-01-07 Panasonic Corp ブレ補正装置、ブレ補正方法及び帳票
US8848094B2 (en) * 2011-12-01 2014-09-30 Sony Corporation Optimal blur matching selection for depth estimation
KR101279705B1 (ko) 2011-12-22 2013-06-27 연세대학교 산학협력단 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법
KR20160100032A (ko) 2015-02-13 2016-08-23 연세대학교 산학협력단 모션 블러 유무에 따른 이미지 선명도 평가 방법 및 장치
KR101765223B1 (ko) 2016-02-24 2017-08-04 경북대학교 산학협력단 밝기에 대한 에지 변위 추정 방법
KR101777696B1 (ko) 2016-06-22 2017-09-12 경북대학교 산학협력단 면적 대칭성을 이용한 에지 위치 결정 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818828A (ja) * 1994-06-28 1996-01-19 Sony Corp テストチャート
KR20100073366A (ko) * 2008-12-23 2010-07-01 중앙대학교 산학협력단 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
JP2010237177A (ja) * 2009-03-31 2010-10-21 Nippon Hoso Kyokai <Nhk> Ｍｔｆ測定装置およびｍｔｆ測定プログラム
JP2014521990A (ja) * 2011-06-09 2014-08-28 ナム タイ，ヒョク オートフォーカス画像システム
JP2015094701A (ja) * 2013-11-13 2015-05-18 日本放送協会 Ｍｔｆ測定装置およびｍｔｆ測定プログラム
KR20160021722A (ko) 2014-08-14 2016-02-26 에어 프로덕츠 앤드 케미칼스, 인코오포레이티드 다공성의 낮은 유전상수 필름 상에 기공 밀봉 층을 제공하기 위한 방법 및 조성물
KR20160077856A (ko) 2014-12-24 2016-07-04 삼성전자주식회사 알림 정보 제공 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. YEG. FUU.P. POUDEL: "High-accuracy edge detection with Blurred Edge Model", IMAGE VIS. COMPUT., vol. 23, 2005, pages 453 - 467
S. WUW. LINS. XIEZ. LUE.P. ONGS. YAO: "Blind blur assessment for vision-based applications", J. VIS. COMMUN. IMAGE REPRESENT., vol. 20, 2009, pages 231 - 241
See also references of EP3528205A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298858A (zh) * 2019-07-01 2019-10-01 北京奇艺世纪科技有限公司 一种图像裁剪方法及装置
CN110298858B (zh) * 2019-07-01 2021-06-22 北京奇艺世纪科技有限公司 一种图像裁剪方法及装置

Also Published As

Publication number Publication date
EP3528205A1 (en) 2019-08-21
US11227394B2 (en) 2022-01-18
KR101868483B1 (ko) 2018-07-23
US20190236787A1 (en) 2019-08-01
EP3528205A4 (en) 2020-06-10
KR20180040846A (ko) 2018-04-23

Similar Documents

Publication Publication Date Title
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2013172580A1 (ko) 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2015099251A1 (ko) 웨이퍼의 형상 분석 방법 및 장치
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2016163609A2 (ko) Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법
TWI425445B (zh) 用於判斷一移動平台之自我運動量的方法以及偵測系統
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
WO2019059632A1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2016206107A1 (en) System and method for selecting an operation mode of a mobile platform
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
CN106558044B (zh) 影像模组的解像力测量方法
KR101367673B1 (ko) 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
KR101733028B1 (ko) 영상대조에 따른 에지 변위량 예측 방법
WO2023055033A1 (en) Method and apparatus for enhancing texture details of images
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
WO2015115866A1 (ko) 이미지의 색상 신호를 보간하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17859967

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017859967

Country of ref document: EP

Effective date: 20190513