WO2017099510A1 - 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법 - Google Patents

영상 통계정보에 기반한 정지장면 분할장치 및 그 방법 Download PDF

Info

Publication number
WO2017099510A1
WO2017099510A1 PCT/KR2016/014429 KR2016014429W WO2017099510A1 WO 2017099510 A1 WO2017099510 A1 WO 2017099510A1 KR 2016014429 W KR2016014429 W KR 2016014429W WO 2017099510 A1 WO2017099510 A1 WO 2017099510A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
average
value
average image
difference
Prior art date
Application number
PCT/KR2016/014429
Other languages
English (en)
French (fr)
Inventor
서수영
Original Assignee
경북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교산학협력단 filed Critical 경북대학교산학협력단
Priority to US16/060,614 priority Critical patent/US10593050B2/en
Priority to EP16873375.6A priority patent/EP3389255A4/en
Publication of WO2017099510A1 publication Critical patent/WO2017099510A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Definitions

  • an average image is generated by correcting motion and brightness components based on statistical information of a plurality of image frames on a still scene, and the edge and non-edge regions are divided from the average image to perform more accurate image segmentation processing.
  • the present invention relates to a still scene segmentation apparatus and method based on image statistical information.
  • the image consists of three signals, R, G, and B, and the image segmentation extracts the same color region or the same object region from the image composed of input color signals.
  • image extraction data may be usefully used in fields related to digital image processing such as image analysis and image recognition for object-based image information processing.
  • image segmentation methods include edge detection segmentation, segmentation using thresholds, region-based segmentation, and segmentation by motion.
  • region-growth technique uses region-based image segmentation to determine seed points that are based on regions. The area is divided by a method of detecting and determining whether neighboring pixels can be included in the same area as the seed point according to the relationship between the seed point and the neighboring neighboring pixels.
  • Over-segmentation means that the image is divided too much into unintended regions, and to prevent such over-segmentation, it is necessary to set appropriate criteria for region growth and merging. At this time, consideration should also be given to the size of the divided region.
  • Image segmentation by this region growth technique is relatively good and simple to implement, but it is difficult to set the exact segmentation criteria for the gradual change in brightness intensity such as the shadow part in the actual picture, and is affected by noise.
  • the area growth technique using a single frame is vulnerable to noise.
  • a method of applying a smoothing operation has been used, but this has the effect of reducing noise in a single image, while sharp shapes are blunted, resulting in deterioration of image segmentation performance.
  • the present invention has been made in view of the above circumstances, and obtains a plurality of image frames for one stationary scene, and corrects motion and brightness components through average and variance values for each image frame.
  • a still scene dividing device and method based on image statistical information that divides the still scene into an edge region and a non-edge region so that segmentation processing for a more accurate and efficient still scene can be performed. There is a purpose.
  • the still scene segmentation apparatus based on the image statistical information for segmenting the area for the still scene using a plurality of image frames for one still scene provided from the camera
  • a motion compensation module configured to generate one resampling image according to a motion difference by setting one image frame among a plurality of image frames provided from the camera as a reference image and comparing the reference image with the remaining image frames, respectively;
  • the image generated using the pixel-corrected values of the plurality of resampling image frames and the reference image corrected by the motion compensation module is set as an initial average image, and the variance value by the brightness difference between the average image and each image frame is set.
  • a brightness correction module which repeats the average image updating process based on the dispersion value until the difference between the average image dispersion value and the previous average image dispersion value is equal to or less than a preset reference value, and the dispersion value of the average image generated by the brightness correction module
  • Still scene segmentation based on image statistical information comprising: a still scene segmentation device comprising an image segmentation module for segmenting an edge region and a non-edge region using a final average image having an update amount equal to or less than a preset reference value
  • the motion correction module may further include a corner point detection block for detecting corner points for each image frame provided from the camera, and a corner point between the reference image and each image frame based on the corner points detected by the corner point detection block. And a video resampling block for generating a resampling image for the corresponding video frame by using a displacement calculation block for calculating a displacement and a corner point displacement calculated from the displacement calculation block.
  • a scene dividing apparatus is provided.
  • a stationary scene segmentation apparatus based on the image statistical information, characterized in that the reference image is set to the first image frame.
  • the brightness correction module generates an initial average image by using the average value of each pixel of the motion-compensated multiple image frame, and sets the initial average image to the current average image, the current average image and a plurality of images provided from the camera.
  • a brightness value estimation block for estimating a difference in brightness values for each pixel of an image frame, and a variance value for each image frame based on a preset average image based on a difference in brightness values for each image frame estimated in the brightness value estimation block.
  • the average image generation processing based on the average variance value is set to be performed again. If the difference between the variance value of the current average image and the variance value of the previous average image is less than or equal to the preset reference value, the current average image is used as the final average image.
  • a still scene dividing apparatus based on video statistical information comprising an average image setting block to be set.
  • the image segmentation module may further include a gradient image generation block for converting the final average image generated by the brightness correction module into a gradient image based on a difference between neighboring pixel values for each pixel, and a gradient for each pixel in the gradient image.
  • a gradient image generation block for converting the final average image generated by the brightness correction module into a gradient image based on a difference between neighboring pixel values for each pixel, and a gradient for each pixel in the gradient image.
  • Comprising a still scene segmentation based on statistical information of the image characterized in that it comprises a video segmentation block for calculating the size, comparing the calculated pixel size with a predetermined threshold value and divides the average image into an edge region and a non-edge region
  • the threshold is provided with a still scene segmentation apparatus based on statistical information of the image, characterized in that the predetermined value is set at a ratio of the variance value for the average image generated by the brightness correction module.
  • a stationary scene segmentation apparatus based on statistical information of an image, wherein an inverse region having a gradient size greater than or equal to a threshold in the image segmentation block is set as an edge region and an area below the threshold is set as an unedge region.
  • G X is a left and right peripheral pixel difference value
  • G Y is a top and bottom peripheral pixel difference value
  • one image frame of a plurality of image frames for one still scene provided from the camera is set as the reference image, the reference image and the remaining image frame
  • the current average of the initial average image using the motion correction process for generating each resampling image according to the motion difference and the average value for each pixel of the plurality of resampling image and the reference image generated in the motion correction process
  • the image and update the current average image by regenerating the average image based on the variance value of the current average image and the brightness difference of each image frame, but the difference between the variance value of the current average image and the previous average image is less than the reference value.
  • Brightness correction process that repeats the average image update process based on the dispersion value until And an image segmentation step of dividing an edge region and a non-edge region using the final average image generated in the brightness correction process.
  • the motion correction process includes a corner point detection step of detecting a corner point for each image frame provided from the camera, and a corner point between the reference image and each image frame based on the corner point detected in the corner point detection step.
  • a scene division method is provided.
  • a still scene segmentation method based on image statistical information characterized in that the reference image is set as the first image frame for the corresponding still scene.
  • the brightness correction process an initial average image generation step of generating an initial average image using the average value for each pixel of the plurality of image frames motion-corrected in the motion correction process, and set it as the current average image, and the current average image
  • a brightness value estimating step of estimating a difference in brightness values for each pixel of a plurality of image frames provided from the camera, and an angle based on a preset average image based on the brightness value difference for each image frame estimated in the brightness value estimating step.
  • a variance value estimating step of estimating a variance value of each image frame, an average image generation step of generating an average image using the average variance value of each image frame and updating it to a current average image, and an image variance of the current average image The difference between the variance of the current average image and the variance of the previous average image If the preset reference value is exceeded, the average image generation processing based on the mean variance value is set to be performed again. If the difference between the variance value of the current average image and the variance value of the previous average image is less than or equal to the preset reference value, the current average There is provided a still scene segmentation method based on image statistical information comprising an average image setting step of setting an image as a final average image.
  • the image segmentation step may include a gradient image generation step of converting the final average image generated in the brightness correction process into a gradient image based on a difference between pixel values surrounding each pixel, and a gradient size of each pixel in the gradient image. And dividing the average image into an edge region and a non-edge region by comparing the calculated pixel size with a predetermined threshold value.
  • the still scene segmentation method based on statistical information of an image This is provided.
  • the threshold value is provided with a still scene segmentation method based on statistical information of the image, characterized in that the threshold is set at a predetermined ratio with respect to the dispersion value of the average image generated during the brightness correction process.
  • a still scene segmentation method based on statistical information of an image wherein an area having a gradient size greater than or equal to a threshold is set as an edge area and an area less than or equal to a threshold is set as a non-edge area. This is provided.
  • the present invention it is possible to divide the still scene more accurately and efficiently by dividing the edge region and the non-edge region using the improved average image while significantly reducing the noise component of the image.
  • the noise component is reduced and the sharp shape becomes clear, so that it is possible to extract accurate information about the shapes of the objects present in the image, and to use the image for processing such as robots or three-dimensional mapping. It can dramatically improve the performance of devices used in fields such as 3D printing and 3D printing.
  • FIG. 1 is a diagram showing a schematic configuration of a still scene dividing apparatus based on image statistical information according to a first embodiment of the present invention
  • FIG. 2 is a functional block diagram showing the internal configuration of the motion compensation module 210 shown in FIG.
  • FIG. 3 is a diagram illustrating an image processing result in the motion compensation module 210 shown in FIG. 2.
  • FIG. 4 is a functional block diagram showing the internal configuration of the brightness correction module 220 shown in FIG.
  • FIG. 5 is a diagram illustrating an image processing result in the brightness correction module 220 shown in FIG. 4.
  • FIG. 6 is a functional block diagram showing the internal configuration of the image segmentation module 230 shown in FIG.
  • FIG. 7 is a diagram illustrating a gradient image generated by the image segmentation module 230 shown in FIG.
  • FIG. 8 is a flowchart for explaining a still scene segmentation method based on image statistical information according to a first embodiment of the present invention
  • FIG. 1 is a diagram showing a schematic configuration of a still scene dividing apparatus based on image statistical information according to a first embodiment of the present invention.
  • the still scene segmentation apparatus based on the image statistical information according to the present invention includes a camera 100 and a still scene segmentation device 200.
  • the camera 100 photographs a single still scene a plurality of times in the same condition to provide a plurality of image frames for one still scene to the still scene dividing device 200.
  • the still scene dividing device 200 calculates statistical information of a plurality of captured images provided from the camera 100, that is, the original image frame, and obtains an average image of which motion and brightness components are corrected using the same.
  • the edge region and the non-edge region are divided using the average image.
  • the still scene dividing device 200 includes a motion correction module 210, a brightness correction module 220, and an image segmentation module 230.
  • the motion compensation module 210 corrects motion generated for a plurality of image frames provided from the camera 100. For example, various motion noises that may be generated due to camera 100 movement due to external factors such as shaking or wind of the camera 100 itself according to a shooting operation are corrected.
  • the motion correction module 210 includes a corner point detection block 211, a displacement calculation block 212, and an image resampling block 213.
  • the corner point detection block 211 detects corner points by using a Harris operator for each image frame provided from the camera 100.
  • 3A is a diagram illustrating a corner point A detection result. For example, corner points for each of 30 video frames are detected.
  • the displacement calculation block 212 calculates a displacement amount between the reference image and the original image frame based on the corner point detected by the corner point detection block 211 using a Least Squares Matching technique.
  • the reference image is set as the first image frame. That is, the displacement amount calculation block 212, when the first to the thirtieth image frame is present according to the photographing order, by setting the first image frame as a reference image, the corner point displacement amount between the first image frame and the second image frame, Corner displacement between the first image frame and the third image frame; The corner point displacement between the first image frame and the thirtieth image frame is calculated.
  • FIG. 3B is a diagram illustrating a corner point displacement calculated by the least square matching between the first image frame and the thirtieth image frame for the still scene shown in FIG. 3A.
  • the image resampling block 213 generates a resampling image for the original image frame based on the displacement amount calculated by the displacement calculation block 212. That is, a resampling image of the thirtieth image frame is generated based on the corner point displacement between the first image frame and the thirtieth image frame.
  • FIG. 3C is a diagram illustrating a resampled image of a thirtieth image frame based on the displacement amount shown in FIG. 3B. That is, as shown in FIG. 3C, it is confirmed that the 30th resampling image frame (the 30th resampled image) is well aligned with the first image as the reference image, compared to the 30th image frame (the 30th original image). Can be.
  • the brightness correction module 200 systematically corrects a minute change in brightness generated between a series of image frames.
  • the brightness correction module 200 performs brightness correction based on an average and a dispersion value at each pixel position of the image frame.
  • the brightness correction module 220 includes an initial average image generation block 221, a brightness value estimation block 222, a variance value estimation block 223, an average image generation block 224, and And an average image setting block 225.
  • the initial average image generation block 221 calculates a brightness average value of each pixel of the resampling images and the reference image generated by the motion compensation module 210, generates an initial average image based on this, and then averages the current average. Set to video. For example, the average image generation block 221 calculates a brightness average value of each pixel in the second to thirtieth resampling images of the first image frame and the second to thirtieth image frames, and has a brightness average value of each pixel. Generate an initial average image.
  • 5A is a diagram illustrating a comparison between the brightness value surface of the original image and the brightness value surface of the initial average image for an arbitrary pixel. In FIG. 5A, the initial average image is significantly reduced in noise and sharper shapes than in the original image.
  • the brightness value estimation block 222 estimates a difference between brightness values of the current average image and the original image provided from the camera 100, that is, a plurality of image frames.
  • the brightness value estimation block 222 initially estimates a difference between brightness values of the initial average image generated by the initial average image generation block 221 and the original image frame, and then resets them according to the dispersion value conditions.
  • the difference between the brightness values of the current average image and the original image frame is estimated.
  • 5B is a diagram illustrating a brightness value relationship between an average image and a specific original image frame. In FIG. 5B, it can be seen that the overall brightness value has a certain amount of difference between the average image and the original image frame. That is, the brightness value estimation block 222 estimates the difference in brightness values for each pixel for the initial average image and the first to thirtieth image frames.
  • the variance value estimation block 223 estimates a variance value for the corresponding video frame based on a preset current average image based on the difference in brightness value for each original image frame estimated by the brightness value estimation block 222. That is, the variance estimation block 223 initially estimates a variance value of an image frame based on an initial average image, and then estimates a variance value of an image frame based on an average image generated according to a previous dispersion value condition. do.
  • the average image generation block 224 generates an average image using the variance value estimated by the variance estimation block 223, and updates the average image with the current average image. That is, the average image generation block 224 calculates a variance average value of the variance value of each pixel of each image frame, and generates an average image based on this. For example, the average image generation block 224 calculates a variance average value for each dispersion value of each pixel of the first to thirtieth image frames to generate an average image accordingly.
  • the average image setting block 225 calculates an image variance value of the average image generated by the average image generation block 224 and updates the variance of the current average image, that is, the image variance value of the current average image. If the difference between the variance value of the average image generated in the previous iteration and the predetermined reference value or less, the current average image is set as the final average image. That is, FIG. 5C illustrates a change in the average image according to the repeated estimation update. As the variance value decreases, the average image becomes clearer.
  • the image segmentation module 230 divides an edge region and a non-edge region in an average image determined as the final average image by the brightness correction module 220.
  • the image segmentation module 230 includes a gradient image generation block 231 and a segmentation area setting block 232.
  • the gradient image generation block 231 converts the average image determined as the final average image by the brightness correction module 220 into a gradient image.
  • the gradient image conversion process is an image generated based on the difference between the peripheral pixel value of each pixel, preferably, the four peripheral pixel values of up, down, left, and right in the corresponding image.
  • 7 is a diagram illustrating a gradient converted image.
  • the partition setting block 232 calculates a gradient size for each pixel in the gradient image generated by the gradient image block 231, compares the calculated pixel size with a threshold, and compares the average image with an edge region and a non-edge. Split into areas.
  • the threshold value may be set to a predetermined ratio, for example, "10 times" of the average image variance value of the average image generated by the brightness correction module.
  • the partition setting block 232 calculates a gradient size for each pixel by using a difference value between each pixel, its peripheral pixel value, and four peripheral pixels of left, right, up and down. For example, the partition setting block 232 may calculate the gradient size G for each pixel through Equation 1 below.
  • G X is a left and right peripheral pixel difference value
  • G Y is a top and bottom peripheral pixel difference value
  • the division area setting block 232 sets an area having a gradient size greater than or equal to a preset threshold as an edge area and sets an area less than a preset threshold as a non-edge area.
  • Equations 2 and 3 are mathematically modeled when the overall brightness value has a certain amount of difference.
  • Equation 4 the difference between the brightness value and the noise amount in Equation 3 may be expressed as Equation 4.
  • Equation 4 the brightness value of the corresponding image frame at the pixel positions r and c of the image is modeled as in Equation 5.
  • Equation 5 may be expressed as Equation 6 as vector identity for N image frames.
  • Equation 6 The noise vector (Equation 6) ) Has a dispersion component matrix. This noise vector ( ) Is estimated by Equation 7.
  • the brightness correction module 200 calculates a variance value of the new average image using the equation obtained through the mathematical modeling, and calculates a difference value between the variance value of the new average image and the reference value of the previous average image.
  • the final average image is set by comparing with a preset reference value.
  • the still scene segmentation method based on the image statistical information according to the present invention the motion correction step (ST100) for correcting the shift noise generated between a plurality of image frames provided from the camera 100, and the brightness dispersion value between the image frame
  • the average image is generated based on the above, but the average image is updated by applying the weighted brightness variance value of the previous average image, but the final average image that satisfies the condition with the set reference value is generated.
  • the brightness correction step (ST200) and the image segmentation step (ST300) for performing a systematic correction for the brightness change can be divided into large.
  • the motion correction step ST100 obtaining a plurality of image frames for one still scene provided from the camera 100 (ST110), and using a Harris operator for the obtained plurality of image frames Detecting a point (ST120), calculating a corner point displacement between a reference image and another image, that is, a comparative image, based on the detected corner point using a least squares matching method (ST130) And generating a resampling image for each image frame based on the point displacement amount (ST140).
  • an initial average image is generated by using the resampling image generated in the motion correction step ST100, and the initial average image is set as the current average image (ST210), and the current average image Estimating a brightness difference value for each pixel between each image frame (ST220), estimating a variance value for each image frame based on the current average image using the brightness difference value for each pixel (ST230), and for each image frame Generating an average image using the variance value, updating the current average image (ST240), the difference between the variance value of the average image set as the current average image and the variance value of the average image generated in the previous iteration is a preset reference value Determining whether the image is less than or equal to (ST250) and when the difference between the variance of the current average image and the variance of the previous average image is less than or equal to the reference value, the current average And setting the image as the final average image (ST260). In this case, when the dispersion value of the current average image exceeds the reference dispersion value in
  • the image segmentation step ST300 converts the final average image set in the brightness correction step ST200 into a gradient image (ST310), calculates a gradient size for each pixel in the gradient image, and calculates the pixel size. And the threshold value is compared and the average image is divided into an edge region and an unedge region based on the result (ST320).
  • a plurality of image frames are acquired for one still scene, an initial average image is generated by motion compensation for the plurality of image frames, and the brightness between the plurality of image frames based on the initial average image. Compensation is performed, and brightness correction is performed on the weighted average image until the difference between the dispersion value of the new average image and the dispersion value of the previous average image is equal to or less than a preset reference value to generate the final average image.

Abstract

본 발명은 정지장면에 대한 다수 영상프레임의 통계정보를 기반으로 움직임 및 밝기 성분을 보정하여 평균영상을 생성하고, 이 평균영상으로부터 에지 영역과 비에지 영역을 분할함으로써, 보다 정확한 영상 분할 처리를 수행할 수 있도록 해 주는 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법에 관한 것이다.

Description

영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
본 발명은 정지장면에 대한 다수 영상프레임의 통계정보를 기반으로 움직임 및 밝기 성분을 보정하여 평균영상을 생성하고, 이 평균영상으로부터 에지 영역과 비에지 영역을 분할함으로써, 보다 정확한 영상 분할 처리를 수행할 수 있도록 해 주는 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법에 관한 것이다.
영상은 R,G,B의 3가지 신호로 이루어져 있고, 영상분할은 입력 색신호로 이루어진 영상에서 동일색 영역이나 동일 물체영역을 추출한다. 이러한 영상추출데이터는 객체기반 영상정보 처리를 위한 영상분석, 영상인식 등과 같은 디지털 영상처리와 관련된 분야에서 유용하게 사용될 수 있다.
색신호에 기반한 대부분의 영상영역 분할방법은 보통 입력 색신호를 여러 다른 형태의 색공간으로 투영하여 그 밀집도를 추출하거나 영상영역에서의 각 색화소들의 공간 인접성 등을 이용하여 분할한다.
보다 구체적으로 영상분할 방법은 에지검출분할, 문턱치를 활용한 분할, 영역 기반의 분할, 움직임에 의한 분할 방법 등이 있으며 특히 영역성장기법은 영역 기반의 영상분할 방법으로 영역의 기준이 되는 씨앗점을 검출하고 씨앗점과 주변 이웃 화소의 관계에 따라 주변 화소들이 씨앗점과 동일 영역에 포함될 수 있는 지를 결정하는 방법에 의해서 영역을 분할한다.
그러나 영상분할에 있어서 주요 관심사는 영역의 과분할에 관한 것이다. 과분할은 영상이 의도하지 않는 영역까지 너무 많이 분할되는 것을 의미하고, 이러한 과분할을 방지하기 위하여 영역성장과 병합을 위한 적절한 기준의 설정이 필요하다. 이때, 분할되는 영역의 크기에 대한 고려도 동반되어야 한다.
이러한 영역성장 기법에 의한 영상의 분할은 비교적 성능이 우수하고 간단히 구현할 수 있으나 실제 사진에서 그림자 부분과 같이 점진적인 밝기 강도변화에 대하여 정확한 분할의 기준을 설정하기 어렵고, 노이즈의 영향을 많이 받는다.
특히, 종래 단일 프레임을 활용한 영역성장기법은 노이즈에 취약하다. 이러한 노이즈를 줄이기 위해서 스무딩(Smoothing) 연산을 적용하는 방법이 이용되고 있으나, 이는 단일 영상에서 노이즈를 감소시키는 효과는 있는 반면, 예리한 형상들이 무디어지게 되어 결과적으로 영상의 분할 성능을 저하시키게 된다.
본 발명은 상기한 사정을 감안하여 창출된 것으로, 하나의 정지장면에 대하여 다수의 영상프레임을 획득하고, 각 영상프레임에 대한 평균 및 분산값을 통해 움직임 및 밝기성분을 보정하여 생성된 평균영상을 근거로 해당 정지장면을 에지 영역과 비에지 영역으로 분할함으로써, 보다 정확하고 효율적인 정지장면에 대한 분할처리를 수행할 수 있도록 해 주는 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임을 이용하여 해당 정지장면에 대한 영역을 분할하는 영상 통계정보에 기반한 정지장면 분할 장치에 있어서, 상기 카메라로부터 제공되는 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정 모듈과, 상기 움직임 보정 모듈을 통해 움직임 보정된 다수의 리샘플링 영상프레임과 기준영상에 대한 픽셀별 평균값을 이용하여 생성된 영상을 초기 평균영상으로 설정하고, 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 평균영상을 업데이트 하되, 현재의 평균영상 분산값과 이전 평균영상 분산값간의 차이가 기 설정된 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정 모듈 및, 상기 밝기 보정 모듈에서 생성된 평균영상의 분산값 갱신량이 기 설정된 기준값 이하인 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 모듈을 구비하여 구성되는 정지장면 분할 디바이스를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치가 제공된다.
또한, 상기 움직임 보정 모듈은 상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출블럭과, 상기 코너점 검출블럭에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출블럭 및, 상기 변위량 산출블럭에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치가 제공된다.
또한, 상기 변위량 산출블럭에서 기준 영상은 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 밝기 보정 모듈은 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성블럭과, 현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정블럭, 상기 밝기값 추정블럭에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정블럭, 상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 현재 평균영상으로 업데이트하는 평균영상 생성블럭 및, 상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 영상 분할모듈은 상기 밝기 보정 모듈에서 생성된 최종 평균영상을 각 픽셀별 그 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 블럭과, 상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할블럭을 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 임계치는 상기 밝기 보정 모듈에서 생성된 평균영상에 대한 분산값의 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 영상 분할블럭에서 그래디언트 크기가 임계치 이상인 역역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 픽셀별 그래디언트 크기는 하기의 수학식에 의해 산출되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
Figure PCTKR2016014429-appb-I000001
여기서, 상기 GX 는 좌우 주변픽셀 차이값이고, GY는 상하 주변픽셀 차이값임.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정과정과, 상기 움직임 보정과정에서 생성된 다수의 리샘플링 영상 및 기준영상에 대한 각 픽셀별 평균값을 이용하여 초기 평균영상을 현재 평균영상으로 설정하고, 현재 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 현재 평균영상을 업데이트 하되, 현재 평균영상과 이전 평균영상의 분산값의 차이가 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정과정 및, 상기 밝기 보정과정에서 생성된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 단계를 포함하여 구성되는 것을 특징으로 영상 통계정보에 기반한 정지장면 분할 방법이 제공된다.
또한, 상기 움직임 보정과정은 상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출단계와, 상기 코너점 검출단계에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출단계 및, 상기 변위량 산출단계에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 방법이 제공된다.
또한, 상기 움직임 보정 과정에서 기준 영상은 해당 정지장면에 대한 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 밝기 보정 과정은, 상기 움직임 보정과정에서 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성단계와, 현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정단계, 상기 밝기값 추정단계에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정단계, 상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 이를 현재 평균영상으로 업데이트하는 평균영상 생성단계 및, 상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 영상 분할단계는, 상기 밝기 보정과정에서 생성된 최종 평균영상을 각 픽셀 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 단계와, 상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할단계를 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 임계치는 상기 밝기 보정과정에서 생성되는 평균영상의 분산값에 대한 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 영상 분할단계에서 그래디언트 크기가 임계치 이상인 영역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하여 해당 정지장면을 분할하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법이 제공된다.
본 발명에 의하면 영상의 노이즈 성분은 현저히 저감시키면서 예리한 형상에 대한 명확성은 향상된 평균영상을 이용하여 에지 영역과 비에지 영역을 분할함으로써, 정지장면을 보다 정확하고 효율적으로 분할하는 것이 가능하게 된다.
또는, 노이즈 성분이 저감되고 예리한 형상이 명확하게 됨으로써, 영상 내에 존재하는 객체의 형태들에 대한 정확한 정보를 추출하는 것이 가능하게 되어 영상을 이용한 처리를 수행하는 사용하는 분야, 예컨대 로봇이나 3차원 매핑, 3D 프린팅 등의 분야에 활용되는 디바이스들의 성능을 획기적으로 개선할 수 있다.
도1은 본 발명의 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할장치의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 움직임 보정 모듈(210)의 내부구성을 기능적으로 블럭화하여 나타낸 도면.
도3은 도2에 도시된 움직임 보정 모듈(210)에서의 영상 처리 결과를 예시한 도면.
도4는 도1에 도시된 밝기 보정 모듈(220)의 내부구성을 기능적으로 블럭화하여 나타낸 도면.
도5는 도4에 도시된 밝기 보정 모듈(220)에서의 영상 처리 결과를 예시한 도면.
도6은 도1에 도시된 영상 분할모듈(230)의 내부구성을 기능적으로 블럭화하여 나타낸 도면.
도7은 도6에 도시된 영상 분할모듈(230)에서 생성되는 그래디언트 영상을 예시한 도면.
도8은 본 발명의 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할방법을 설명하기 위한 흐름도.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도1은 본 발명의 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할장치의 개략적인 구성을 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명에 따른 영상 통계정보에 기반한 정지장면 분할장치는 카메라(100)와 정지장면 분할 디바이스(200)로 구성된다.
상기 카메라(100)는 하나의 정지장면을 동일 조건에서 다수 회 촬영을 수행하여 하나의 정지장면에 대한 다수의 영상프레임을 상기 정지장면 분할 디바이스(200)로 제공한다.
상기 정지장면 분할 디바이스(200)는 상기 카메라(100)로부터 제공되는 다수의 촬영영상 즉, 원 영상 프레임의 통계정보를 산출하고, 이를 이용하여 움직임 및 밝기 성분이 보정된 평균영상을 획득함과 더불어, 이 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하도록 구성된다.
이때, 상기 정지장면 분할 디바이스(200)는 움직임 보정 모듈(210)과, 밝기 보정 모듈(220) 및, 영상 분할모듈(230)을 포함하여 구성된다.
도1에서 상기 움직임 보정 모듈(210)은 상기 카메라(100)로부터 제공되는 다수의 영상프레임에 대해 발생되는 움직임을 보정한다. 예컨대, 촬영동작에 따른 카메라(100) 자체의 흔들림이나 바람 등과 같은 외부 요인에 의한 카메라(100) 움직임 등으로 인해 발생될 수 있는 각종 움직임 노이즈를 보정한다.
상기 움직임 보정 모듈(210)은 도2에 도시된 바와 같이, 코너점 검출블럭(211)과, 변위량 산출블럭(212) 및, 영상 리샘플링 블럭(213)을 포함하여 구성된다.
상기 코너점 검출블럭(211)은 상기 카메라(100)로부터 제공되는 각 영상프레임에 대하여 Harris 연산자를 이용하여 코너점을 검출한다. 도3a는 코너점(A) 검출결과를 예시한 도면이다. 예컨대, 30개의 각 영상 프레임에 대한 코너점을 각각 검출한다.
상기 변위량 산출블럭(212)은 상기 코너점 검출블럭(211)에서 검출된 코너점을 기준으로 기준 영상과 원 영상 프레임간의 변위량을 최소제곱매칭(Least squares matching) 기법을 이용하여 산출한다. 이때, 기준 영상은 최초 영상 프레임으로 설정된다. 즉, 상기 변위량 산출블럭(212)은 촬영순서에 따라 제1 내지 제30 영상 프레임이 존재하는 경우, 제1 영상 프레임을 기준 영상으로 설정하여 제1 영상 프레임과 제2 영상프레임간의 코너점 변위량, 제1 영상 프레임과 제3 영상프레임간의 코너점 변위량, …, 제1 영상 프레임과 제30 영상 프레임간의 코너점 변위량을 산출한다. 도3b는 도3a에 도시된 정지장면에 대한 제1 영상프레임과 제30 영상 프레임간의 최소 제곱매칭으로 산출된 코너점 변위량을 예시한 도면이다.
상기 영상 리샘플링 블럭(213)은 상기 변위량 산출블럭(212)에서 산출된 변위량을 근거로 원 영상프레임에 대한 리샘플링(Resampling) 영상을 생성한다. 즉, 제1 영상 프레임과 제30 영상 프레임간의 코너점 변위량을 근거로 제30 영상 프레임에 대한 리샘플링 영상을 생성한다. 도3c 는 도3b에 도시된 변위량을 근거로 제30 영상 프레임에 대한 리샘플링된 영상을 예시한 도면이다. 즉, 도3c에 도시된 바와 같이 제30 영상프레임(30번째 원영상)에 비해 제30 리샘플링 영상프레임(30번째 리샘플링된 영상)이 기준영상인 제1 영상에 위치적으로 잘 정합되어 있음을 확인할 수 있다.
한편, 도1에서 밝기 보정 모듈(200)은 일련의 영상 프레임간에 발생되는 미세한 밝기 변화에 대한 계통적인 보정을 수행한다. 이때, 상기 밝기 보정 모듈(200)은 영상 프레임의 각 픽셀 위치에서 평균과 분산값을 근거로 밝기 보정을 수행한다.
상기 밝기 보정 모듈(220)은 도4에 도시된 바와 같이, 초기 평균영상 생성블럭(221)과, 밝기값 추정블럭(222), 분산값 추정블럭(223), 평균영상 생성블럭(224) 및, 평균영상 설정블럭(225)를 포함하여 구성된다.
상기 초기 평균영상 생성블럭(221)은 상기 움직임 보정 모듈(210)에서 생성된 리샘플링 영상들과 기준 영상의 각 픽셀의 밝기 평균값을 산출하여, 이를 근거초기 평균영상을 생성함과 더불어, 이를 현재 평균영상으로 설정한다. 예컨대, 상기 평균값 영상 생성블럭(221)은 제1 영상 프레임과 제2 내지 제30 영상프레임에 대한 제2 내지 제30 리샘플링 영상에서 각 픽셀별 밝기 평균값을 각각 산출하고, 각 픽셀별 밝기 평균값을 갖는 초기 평균영상을 생성한다. 도5a는 임의 픽셀에 대한 원 영상의 밝기값 표면과 초기 평균영상의 밝기값 표면을 비교 예시한 도면이다. 도5a에서 초기 평균영상은 원 영상에 비하여 노이즈가 대폭 감소되고 예리한 형상들이 더욱 선명하게 되는 것을 확인할 수 있다.
상기 밝기값 추정블럭(222)은 현재 평균영상과 상기 카메라(100)로부터 제공된 원 영상 즉, 다수의 영상 프레임에 대한 밝기값 차이를 추정한다. 여기서, 상기 밝기값 추정블럭(222)은 최초에는 상기 초기 평균영상 생성블럭(221)에서 생성된 초기 평균영상과 원 영상프레임에 대한 밝기값 차이를 추정하고, 이후에는 분산값 조건에 따라 재 설정된 현재 평균영상과 원 영상 프레임에 대한 밝기값 차이를 추정한다. 도 5b는 평균영상과 특정 원 영상프레임간의 밝기값 관계를 예시한 도면이다. 도5b에서 평균영상과 원 영상프레임간에는 전체적인 밝기값이 일정한 양의 차이를 갖는 것을 알 수 있다. 즉, 상기 밝기값 추정블럭(222)은 초기 평균영상과 제1 내지 제30 영상 프레임에 대해 픽셀별 밝기값 차이를 각각 추정한다.
상기 분산값 추정블럭(223)은 상기 밝기값 추정블럭(222)에서 추정된 각 원 영상프레임에 대한 밝기값 차이를 근거로 기 설정된 현재 평균영상에 기반한 해당 영상 프레임에 대한 분산값을 추정한다. 즉, 상기 분산값 추정블럭(223)은 초기에는 초기 평균영상에 기반한 영상 프레임에 대한 분산값을 추정하고, 이후에는 이전 분산값 조건에 따라 생성된 평균영상에 기반한 영상 프레임에 대한 분산값을 추정한다.
상기 평균영상 생성블럭(224)은 상기 분산값 추정블럭(223)에서 추정된 분산값을 이용하여 평균영상을 생성하여, 이를 현재 평균영상으로 업데이트한다. 즉, 상기 평균영상 생성블럭(224)은 각 영상 프레임의 각 픽셀별 분산값에 대한 분산 평균값을 산출하여, 이를 근거로 평균영상을 생성한다. 예컨대, 상기 평균영상 생성블럭(224)은 제1 내지 제30 영상 프레임의 각 픽셀별 분산값에 대한 분산 평균값을 산출하여 이에 따른 평균영상을 생성한다.
또한, 평균영상 설정블럭(225)은 상기 평균영상 생성블럭(224)에서 생성된 평균영상에 대한 영상 분산값을 산출하고, 현재 평균영상의 분산값 갱신량 즉, 현재 평균영상에 대한 영상 분산값과 이전 반복에서 생성된 평균영상의 분산값과의 차이가 기 설정된 기준값 이하인 경우, 현재 생성된 평균영상을 최종 평균영상으로 설정한다. 즉, 도5c는 반복 추정 갱신에 따른 평균영상의 변화를 예시한 도면으로, 분산값이 작아질수록 평균영상이 보다 선명해진다.
한편 도1에서 영상 분할모듈(230)은 상기 밝기 보정 모듈(220)에서 최종 평균영상으로 결정된 평균영상에서 에지 영역과 비에지 영역을 구분하여 분할한다. 이때, 상기 영상 분할모듈(230)은 그래디언트 영상 생성블럭(231)과, 분할영역 설정블럭(232)을 포함하여 구성된다.
상기 그래디언트 영상 생성블럭(231)은 상기 밝기 보정 모듈(220)에서 최종 평균영상으로 결정된 평균영상을 그래디언트 영상으로 변환한다. 여기서, 그래디언트 영상변환처리는 해당 영상에 있어서 각 픽셀의 주변 픽셀값, 바람직하게는 상하좌우의 4개 주변 픽셀값과의 차이를 근거로 생성되는 영상이다. 도7은 그래디언트 변환영상을 예시한 도면이다.
상기 분할영역 설정블럭(232)은 상기 그래디언트 영상블럭(231)에서 생성된 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할한다. 이때, 상기 임계치는 상기 밝기 보정 모듈에서 생성된 평균영상에 대한 분산값의 일정 비율, 예컨대 평균영상 분산값의 "10 배" 로 설정할 수 있다. 또한, 상기 분할영역 설정블럭(232)은 각 픽셀과 그 주변 픽셀값, 좌우상하의 4개 주변 픽셀값과의 차이값을 이용하여 픽셀별 그래디언트 크기를 산출한다. 예컨대, 상기 분할영역 설정블럭(232)은 하기의 수학식 1을 통해 각 픽셀별 그래디언트 크기(G)를 산출할 수 있다.
Figure PCTKR2016014429-appb-M000001
여기서, 상기 GX 는 좌우 주변픽셀 차이값이고, GY는 상하 주변픽셀 차이값이다.
즉, 상기 분할영역 설정블럭(232)은 그래디언트 크기가 기 설정된 임계치 이상인 영역은 에지영역으로 설정하고, 기 설정된 임계치 미만인 영역은 비에지영역으로 설정한다.
한편, 상기 밝기 보정 모듈(200)에서의 평균영상 분산값 산출과정은 수학식2 내지 수학식8을 통해 수학적으로 모델링될 수 있다.
먼저, 영상 프레임간의 밝기값 차이는 수학식2 및 수학식3을 통해 추정된다. 이때, 수학식2와 수학식3은 전체적인 밝기값이 일정한 양의 차이를 가지는 경우를 수학적으로 모델링한 것이다.
Figure PCTKR2016014429-appb-M000002
Figure PCTKR2016014429-appb-M000003
여기서, 상기 수학식3은 수학식2를 정리한 것으로, 수학식1과 수학식2에서 j는 반복횟수,
Figure PCTKR2016014429-appb-I000002
는 현재 반복에서 평균영상 밝기값,
Figure PCTKR2016014429-appb-I000003
는 각 영상 프레임의 밝기값(i=1,…f, f:프레임 인덱스),
Figure PCTKR2016014429-appb-I000004
는 노이즈량,
Figure PCTKR2016014429-appb-I000005
는 밝기 차이값이다.
또한, 상기 수학식3에서 밝기값 차이 및 노이즈량은 수학식4와 같이 나타낼 수 있다.
Figure PCTKR2016014429-appb-M000004
여기서, 상기
Figure PCTKR2016014429-appb-I000006
는 상기 수학식3 에서 τ=[1,…i]일때, 영상의 로우 번호(R)와 컬럼 번호(C)에 대한 벡터 항등식으로,
Figure PCTKR2016014429-appb-I000007
은 분산 성분이다.
한편, 상기 수학식4에서 영상의 픽셀위치(r,c)에서의 해당 영상 프레임의 밝기값은 수학식5와 같이 모델링 된다.
Figure PCTKR2016014429-appb-M000005
또한, 상기한 수학식5를 N개 영상프레임에 대한 벡터 항등식으로 표현하면 수학식6과 같다.
Figure PCTKR2016014429-appb-M000006
여기서, τ =[1,…1]이고, 이미지의 개수는 "1×N"이다.
상기 수학식6에서 노이즈 벡터(
Figure PCTKR2016014429-appb-I000008
)는 분산 성분 매트릭스를 갖는다. 이 노이즈 벡터(
Figure PCTKR2016014429-appb-I000009
) 추정식은 수학식 7과 같다.
Figure PCTKR2016014429-appb-M000007
따라서, 새로운 평균영상의 밝기값은 수학식8과 같이 모델링된다.
Figure PCTKR2016014429-appb-M000008
또한, 수학식8에 의해 추정된 새로운 평균영상의 분산값(
Figure PCTKR2016014429-appb-I000010
)은 수학식 9와 같이 모델링된다.
Figure PCTKR2016014429-appb-M000009
즉, 밝기 보정 모듈(200)은 상기한 수학적 모델링을 통해 획득한 수학식을 이용하여 새로운 평균영상의 분산값을 산출하고, 이 새로운 평균영상의 분산값과 이전 평균영상의 기준값과의 차이값을 기 설정된 기준값과 비교하여 최종 평균영상을 설정한다.
이어, 상기한 구성으로 된 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할방법을 도8에 도시된 흐름도를 참조하여 설명한다.
먼저, 본 발명에 따른 영상 통계정보에 기반한 정지장면 분할방법은, 카메라(100)로부터 제공되는 다수의 영상프레임간에 발생되는 시프트 노이즈를 보정하는 움직임 보정 단계(ST100)와, 영상프레임간의 밝기 분산값을 근거로 평균영상을 생성하되, 이전 평균영상에 대한 가중 밝기 분산값을 적용하여 평균영상을 갱신하되 기 설정된 기준값과의 조건을 만족하는 최종 평균영상을 생성함으로써, 일련의 영상 프레임간에 발생되는 미세한 밝기 변화에 대한 계통적인 보정을 수행하는 밝기 보정 단계(ST200) 및, 영상 분할 단계(ST300)로 크게 나누어 볼 수 있다.
먼저, 상기 움직임 보정 단계(ST100)에서는 카메라(100)로부터 제공되는 하나의 정지장면에 대한 다수의 영상 프레임을 획득하는 단계(ST110)와, 획득된 다수의 영상 프레임에 대하여 Harris 연산자를 이용하여 코너점을 검출하는 단계(ST120), 검출된 코너점을 기준으로 기준 영상과 다른 영상 즉, 비교 영상 간의 코너점 변위량을 최소제곱매칭(Least squares matching) 기법을 이용하여 산출하는 단계(ST130), 코너점 변위량을 근거로 각 영상 프레임에 대한 리샘플링 영상을 생성하는 단계(ST140)를 포함하여 구성된다.
이후 밝기 보정 단계(ST200)에서는 상기 움직임 보정 단계(ST100)에서 생성된 리샘플링 영상을 이용하여 초기 평균영상을 생성하고, 초기 평균영상을 현재 평균영상으로 설정하는 단계(ST210)와, 현재 평균영상과 각 영상 프레임 간의 픽셀별 밝기 차이값을 추정하는 단계(ST220), 픽셀별 밝기 차이값을 이용하여 현재 평균영상에 기반한 각 영상 프레임에 대한 분산값을 추정하는 단계(ST230), 각 영상 프레임에 대한 분산값을 이용하여 평균영상을 생성하고, 현재 평균영상을 업데이트 하는 단계(ST240), 현재 평균영상으로 설정된 평균영상의 분산값과 이전 반복에서 생성된 평균영상의 분산값과의 차이가 기 설정된 기준값 이하인지를 판단하는 단계(ST250) 및 상기 현재 평균영상의 분산값과 이전 평균영상의 분산값과의 차이가 기준값 이하인 경우 해당 현재 평균영상을 최종 평균영상으로 설정하는 단계(ST260)를 포함하여 구성된다. 이때, 상기 ST250 단계에서 현재 평균영상의 분산값이 기준 분산값을 초과하는 경우에는 상술한 ST220 내지 ST250 의 단계를 반복하여 수행한다.
이어, 영상 분할 단계(ST300)에서는 상기 밝기 보정단계(ST200)에서 설정된 최종 평균영상을 그래디언트 영상으로 변환하는 단계(ST310)와, 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 임계치를 비교하여 그 결과를 근거로 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 단계(ST320)를 수행한다.
즉, 상기 실시예에 의하면 하나의 정지장면에 대해 다수의 영상프레임을 획득하고, 이 다수의 영상프레임에 대한 움직임 보정을 통해 초기 평균영상을 생성하며, 초기 평균영상을 기준으로 다수 영상프레임간의 밝기 보정을 수행하되, 새로운 평균영상의 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하가 될 때 까지 가중 평균영상에 대한 밝기 보정을 수행하여 최종 평균영상을 생성하도록 구성된다.
따라서, 노이즈 성분이 최소화된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하게 됨으로써, 보다 정확하고 효율적인 정지장면 분할처리가 가능하게 된다.

Claims (15)

  1. 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임을 이용하여 해당 정지장면에 대한 영역을 분할하는 영상 통계정보에 기반한 정지장면 분할 장치에 있어서,
    상기 카메라로부터 제공되는 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정 모듈과,
    상기 움직임 보정 모듈을 통해 움직임 보정된 다수의 리샘플링 영상프레임과 기준영상에 대한 픽셀별 평균값을 이용하여 생성된 영상을 초기 평균영상으로 설정하고, 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 평균영상을 업데이트 하되, 현재의 평균영상 분산값과 이전 평균영상 분산값간의 차이가 기 설정된 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정 모듈 및,
    상기 밝기 보정 모듈에서 생성된 평균영상의 분산값 갱신량이 기 설정된 기준값 이하인 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 모듈을 구비하여 구성되는 정지장면 분할 디바이스를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치.
  2. 제1항에 있어서,
    상기 움직임 보정 모듈은 상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출블럭과,
    상기 코너점 검출블럭에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출블럭 및,
    상기 변위량 산출블럭에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치.
  3. 제2항에 있어서,
    상기 변위량 산출블럭에서 기준 영상은 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치.
  4. 제1항에 있어서,
    상기 밝기 보정 모듈은 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성블럭과,
    현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정블럭,
    상기 밝기값 추정블럭에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정블럭,
    상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 현재 평균영상으로 업데이트하는 평균영상 생성블럭 및,
    상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치.
  5. 제1항에 있어서,
    상기 영상 분할모듈은 상기 밝기 보정 모듈에서 생성된 최종 평균영상을 각 픽셀별 그 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 블럭과,
    상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할블럭을 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
  6. 제5항에 있어서,
    상기 임계치는 상기 밝기 보정 모듈에서 생성된 평균영상에 대한 분산값의 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
  7. 제5항 또는 제6항에 있어서,
    상기 영상 분할블럭에서 그래디언트 크기가 임계치 이상인 영역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
  8. 제5항에 있어서,
    상기 픽셀별 그래디언트 크기는 하기의 수학식에 의해 산출되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
    Figure PCTKR2016014429-appb-I000011
    여기서, 상기 GX 는 좌우 주변픽셀 차이값이고, GY는 상하 주변픽셀 차이값임.
  9. 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정과정과,
    상기 움직임 보정과정에서 생성된 다수의 리샘플링 영상 및 기준영상에 대한 각 픽셀별 평균값을 이용하여 초기 평균영상을 현재 평균영상으로 설정하고, 현재 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 현재 평균영상을 업데이트 하되, 현재 평균영상과 이전 평균영상의 분산값의 차이가 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정과정 및,
    상기 밝기 보정과정에서 생성된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 단계를 포함하여 구성되는 것을 특징으로 영상 통계정보에 기반한 정지장면 분할 방법.
  10. 제9항에 있어서,
    상기 움직임 보정과정은,
    상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출단계와,
    상기 코너점 검출단계에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출단계 및,
    상기 변위량 산출단계에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 움직임 보정 과정에서 기준 영상은 해당 정지장면에 대한 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법.
  12. 제9항에 있어서,
    상기 밝기 보정 과정은,
    상기 움직임 보정과정에서 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성단계와,
    현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정단계,
    상기 밝기값 추정단계에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정단계,
    상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 이를 현재 평균영상으로 업데이트하는 평균영상 생성단계 및,
    상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값과의 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값과의 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법.
  13. 제9항에 있어서,
    상기 영상 분할단계는,
    상기 밝기 보정과정에서 생성된 최종 평균영상을 각 픽셀 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 단계와,
    상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할단계를 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법.
  14. 제13항에 있어서,
    상기 임계치는 상기 밝기 보정과정에서 생성되는 평균영상의 분산값에 대한 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법.
  15. 제13항 또는 제14항에 있어서,
    상기 영상 분할단계에서 그래디언트 크기가 임계치 이상인 영역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하여 해당 정지장면을 분할하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법.
PCT/KR2016/014429 2015-12-09 2016-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법 WO2017099510A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/060,614 US10593050B2 (en) 2015-12-09 2016-12-09 Apparatus and method for dividing of static scene based on statistics of images
EP16873375.6A EP3389255A4 (en) 2015-12-09 2016-12-09 METHOD FOR SEGMENTING A STATIC SCENE BASED ON IMAGE STATISTICAL INFORMATION AND RELATED METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0174593 2015-12-09
KR1020150174593A KR101698314B1 (ko) 2015-12-09 2015-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2017099510A1 true WO2017099510A1 (ko) 2017-06-15

Family

ID=57989619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/014429 WO2017099510A1 (ko) 2015-12-09 2016-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법

Country Status (4)

Country Link
US (1) US10593050B2 (ko)
EP (1) EP3389255A4 (ko)
KR (1) KR101698314B1 (ko)
WO (1) WO2017099510A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684594A (zh) * 2018-04-30 2023-09-01 寰发股份有限公司 照度补偿方法及相应的电子装置
CN111107251A (zh) * 2019-10-10 2020-05-05 曹婷 基于通信内容分析的信号补偿装置
CN111784715B (zh) * 2020-08-13 2022-01-04 重庆七腾科技有限公司 一种图像分离方法及其系统
JP2024048292A (ja) * 2022-09-27 2024-04-08 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN116996639A (zh) * 2023-02-13 2023-11-03 深圳Tcl新技术有限公司 投屏帧率获取方法、装置、计算机设备以及存储介质
CN116630321B (zh) * 2023-07-24 2023-10-03 铁正检测科技有限公司 基于人工智能的桥梁健康智能监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030001163A (ko) * 2001-06-28 2003-01-06 마스터진(주) 인체 파필로마 바이러스 유사 입자를 생산하는 재조합아데노바이러스 벡터 및 자궁경부암 생백신
JP3845407B2 (ja) * 2003-10-03 2006-11-15 Ｎｅｃアクセステクニカ株式会社 携帯端末および撮像記録方法
JP4133060B2 (ja) * 2002-03-14 2008-08-13 株式会社リコー 画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体
KR20120090491A (ko) * 2011-02-08 2012-08-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
KR20130047050A (ko) * 2011-10-31 2013-05-08 (주)컨벡스 영상보정방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213592C (zh) * 2001-07-31 2005-08-03 佳能株式会社 采用自适应二值化的图象处理方法和设备
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
US7463753B2 (en) * 2004-09-15 2008-12-09 Raytheon Company FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker
KR100721543B1 (ko) 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
KR101816170B1 (ko) 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
US8670611B2 (en) * 2011-10-24 2014-03-11 International Business Machines Corporation Background understanding in video data
KR101373704B1 (ko) 2012-05-29 2014-03-14 주식회사 코아로직 적응적 가중치 예측을 이용한 영상 처리 방법
US9082198B2 (en) 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device
US9715903B2 (en) * 2014-06-16 2017-07-25 Qualcomm Incorporated Detection of action frames of a video stream

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030001163A (ko) * 2001-06-28 2003-01-06 마스터진(주) 인체 파필로마 바이러스 유사 입자를 생산하는 재조합아데노바이러스 벡터 및 자궁경부암 생백신
JP4133060B2 (ja) * 2002-03-14 2008-08-13 株式会社リコー 画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体
JP3845407B2 (ja) * 2003-10-03 2006-11-15 Ｎｅｃアクセステクニカ株式会社 携帯端末および撮像記録方法
KR20120090491A (ko) * 2011-02-08 2012-08-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
KR20130047050A (ko) * 2011-10-31 2013-05-08 (주)컨벡스 영상보정방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3389255A4 *

Also Published As

Publication number Publication date
KR101698314B1 (ko) 2017-01-20
US20180374220A1 (en) 2018-12-27
EP3389255A1 (en) 2018-10-17
EP3389255A4 (en) 2019-07-24
US10593050B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2011126328A2 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
JP2014112055A (ja) カメラ姿勢の推定方法およびカメラ姿勢の推定システム
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2014010820A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2020004740A1 (ko) 3차원 평면추출 방법 및 그 장치
WO2022114449A1 (ko) 라이다 센서와 카메라 간 온라인 캘리브레이션 방법 및 장치
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
WO2022014791A1 (en) Multi-frame depth-based multi-camera relighting of images
JP2010506482A (ja) ビデオストリームの視差回復方法及びフィルタ
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2018021657A1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치
WO2018084381A1 (ko) 지피유장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
WO2020171258A1 (ko) 영상 처리 방법 및 그 장치
WO2019139303A1 (ko) 영상 합성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16873375

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016873375

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016873375

Country of ref document: EP

Effective date: 20180709