WO2021246822A1 - 객체 이미지 개선 방법 및 장치 - Google Patents

객체 이미지 개선 방법 및 장치 Download PDF

Info

Publication number
WO2021246822A1
WO2021246822A1 PCT/KR2021/007013 KR2021007013W WO2021246822A1 WO 2021246822 A1 WO2021246822 A1 WO 2021246822A1 KR 2021007013 W KR2021007013 W KR 2021007013W WO 2021246822 A1 WO2021246822 A1 WO 2021246822A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
object image
warping
unit
inverse
Prior art date
Application number
PCT/KR2021/007013
Other languages
English (en)
French (fr)
Inventor
신재섭
류성걸
손세훈
김형덕
김효성
고경환
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Publication of WO2021246822A1 publication Critical patent/WO2021246822A1/ko
Priority to US18/075,406 priority Critical patent/US20230095142A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • One embodiment of the present invention relates to an object image restoration method and apparatus.
  • a technique for restoring a low-resolution image to a high-resolution image is classified according to the number of input images used for restoration or a restoration technique. According to the number of input images, it is divided into single image super-resolution restoration technology and continuous image super-resolution restoration technology.
  • single-image super-resolution image restoration technology has a faster processing speed than continuous image super-resolution image restoration, but the quality of image restoration is low because the information required for restoration is insufficient.
  • the continuous image super-resolution image restoration technology uses various features extracted from a number of consecutively acquired images, the quality of the restored image is superior to that of the single image super-resolution image restoration technology, but the algorithm is complex and the amount of computation is large, so the real-time It is difficult to process.
  • the technique using the interpolation method has a fast processing speed, but has the disadvantage of blurring the edges.
  • the technology using edge information has a high speed and can restore an image while maintaining edge sharpness, but has a disadvantage in that it may include a visually noticeable restoration error when the edge direction is incorrectly estimated.
  • the technique using the frequency characteristic can restore the image while maintaining the sharpness of the edge like the technique using the edge information using the high frequency component, but has a disadvantage in that ringing artifacts near the boundary line occur.
  • techniques using machine learning such as example-based or deep learning, have the best quality of reconstructed images, but their processing speed is very slow.
  • the continuous image super-resolution image restoration technology can be applied to fields that require a digital zoom function using the existing interpolation method, and provides superior quality images than the interpolation-based image restoration technology. to provide.
  • the existing super-resolution image restoration technology the technology applicable to electro-optical equipment requiring limited resources and real-time processing is limited due to the complex amount of computation.
  • This embodiment detects a bounding box including a predefined object from an input image, detects a landmark of an object in the detected bounding box, and aligns the object to be located at the center or reference position based on the landmark
  • the image is improved using a learning model learned from the aligned object image, inverse warping is performed to rotate the improved image back to the original direction or angle, and then inserted into the input image to create a more natural image
  • An object of the present invention is to provide a method and apparatus for restoring an object image to restore
  • the present embodiment provides an object image restoration method and apparatus for performing pose estimation on an object in a bounding box detected from an input image, and improving an image using a learning model learned from a side object image corresponding to the pose estimation result aims to provide
  • the input unit for receiving an input image (Input Image); a bounding box detector for detecting a plurality of bounding-boxes in the input image; an object recognition unit for recognizing an object in the bounding box; a background extractor for extracting a background screen from the input image; Detecting landmarks, which are major features for each object, and performing warping of aligning the object position to the center or reference position based on the landmark is performed to create a warping object image, , Inverse warping that generates an improved object image inferred to improve the warping object image using a pre-learned object learning model, and inverses the enhanced object image to the object position of the input image.
  • Input Image input image
  • a bounding box detector for detecting a plurality of bounding-boxes in the input image
  • an object recognition unit for recognizing an object in the bounding box
  • a background extractor for extracting a background screen from the input image
  • Detecting landmarks which are major features for each object, and performing warping of
  • an object image improving unit generating an image of the performed inverse warping object; a background image improvement unit for generating an improved background screen image inferred to improve the background screen using the previously learned background screen learning model; a segmentation unit for segmenting the inverse warping object image; a blending unit generating a blended image by blending the segmented inverse warping object image and the improved background image; and an output unit for outputting the blended image.
  • an input unit for receiving a bounding box including a predefined object; a landmark detection unit for detecting (Prediction) landmarks, which are major features for each object; a warping unit generating a warping object image that performs warping for aligning an object location to a center or reference location based on the landmark; an inference unit for generating an improved object image inferred to improve the warping object image using a pre-learned object learning model; an inverse warping unit generating an inverse warping object image by performing inverse warping to inverse the improved object image to an object position of the bounding box; It provides an object image improvement apparatus comprising an output unit for applying the inverse warping object image to the bounding box.
  • the process of receiving a bounding box including a predefined object including a predefined object; a process of detecting landmarks, which are major features for each object (Prediction); generating a warping object image obtained by performing warping of aligning an object position to a center or reference position based on the landmark; generating an improved object image inferred to improve the warping object image using a pre-learned object learning model; generating an inverse warping object image obtained by performing inverse warping to inverse the improved object image to an object position of the bounding box; It provides an object image improvement method comprising the step of applying the inverse warping object image to the bounding box.
  • an input unit for receiving a bounding box including a predefined object; a pose estimator for calculating an angle of an object within the bounding box; a parameter selection unit for selecting a parameter corresponding to the angle of the object; and an inference unit generating an improved object image that infers to improve the object image in the bounding box by using a learning model corresponding to the parameter. It provides an object image improvement apparatus comprising a.
  • the process of receiving a bounding box including a predefined object calculating an angle of an object within the bounding box; selecting a parameter corresponding to the angle of the object; and generating an improved object image for inferring to improve the object image within the bounding box by using the learning model corresponding to the parameter.
  • the position of the landmark of the object in the bounding box detected from the input image is detected, and the warping is performed to align the object to be located at the center or the reference position based on the landmark.
  • Inverse Warping after resizing to a predetermined object size, improving the image using a learning model learned from the aligned object image, scaling the improved image back to the original size, and rotating it in the original direction or angle After performing , inserting it into the input image has the effect of restoring the image more naturally.
  • FIG. 1 is a diagram illustrating an apparatus for improving an object image according to an exemplary embodiment.
  • FIGS. 2A and 2B are diagrams illustrating an object image improving unit according to the present embodiment.
  • FIG. 3 is a diagram illustrating an object image improvement process according to the present embodiment.
  • FIG. 4 is a diagram illustrating detection of a bounding box and detection of a landmark position according to the present embodiment.
  • FIG. 5 is a diagram illustrating a warping process for an object image according to the present embodiment.
  • FIG. 6 is a diagram specifically illustrating a warping process according to the present embodiment.
  • FIG. 7 is a diagram illustrating warping of a plurality of images according to the present embodiment.
  • FIG. 8 is a diagram illustrating pose estimation for an object according to the present embodiment.
  • FIG. 9 is a diagram illustrating a method of improving a plurality of objects in one frame according to the present embodiment.
  • FIG. 10 is a view showing a method of improving the license plate according to the present embodiment.
  • FIG. 1 is a diagram illustrating an apparatus for improving an object image according to an exemplary embodiment.
  • the object image improvement apparatus 100 detects a bounding box from an input image.
  • the object image improving apparatus 100 detects a bounding box including a predefined object.
  • the object image improvement apparatus 100 detects a location of a landmark of an object.
  • the object image improving apparatus 100 determines the direction or angle of the object based on the landmark, performs warping so that the object faces the front, aligns the landmark, and rotates the object.
  • the object image improving apparatus 100 normalizes the size of the warped object by resizing to the target size.
  • the object image improvement apparatus 100 restores the sorted objects in high quality using an inference device made based on normalized learning data.
  • the object image improving apparatus 100 resizes the restored front-facing object back to its original size, rotates it back to its original direction or angle, and inserts it into the image. By performing the above-described process, the image can be restored more naturally.
  • the object image improving apparatus 100 detects a bounding-box for detecting an object position in an input image.
  • the object image improving apparatus 100 detects landmarks, which are major features of an object, within a bounding box.
  • the object image improving apparatus 100 performs warping by aligning the object position to the center or reference position based on the detected landmark.
  • the object image improving apparatus 100 resizes the warped object image to a target size corresponding to the learned model. For example, when it is desired to use a deep learning network (learning model) trained to improve an image to a size of 128 ⁇ 128, the object image improvement apparatus 100 may improve the warped object image in a target size of 128 Resize to ⁇ 128.
  • learning model deep learning network
  • the object image improving apparatus 100 improves the quality of the resized image.
  • the object image improving apparatus 100 estimates the angle of the object by performing pose estimation on the object when the angle of the object is misaligned.
  • the object image improvement apparatus 100 performs an inference process to which a pre-learned deep learning model is applied to improve the quality of the resized image.
  • the object image improvement apparatus 100 uses a learning model learned based on an aligned object image or based on an image in which the angle of the object is misaligned.
  • the image quality of the resized image is improved by performing inference using the learning model learned by .
  • the object image improving apparatus 100 inversely resizes the image whose image quality is improved back to the original size.
  • the object image improving apparatus 100 inverse warps the inverse resizing image back to the original object position.
  • the object image improvement apparatus 100 detects a bounding box, detects a landmark, and detects a landmark, in the same manner that training data to be used in the training environment is used in the testing environment. Warping is performed to align to the center or reference position, and resize to the target size.
  • the object image improvement apparatus 100 includes an input unit 110 , a bounding box detection unit 120 , an object recognition unit 130 , a model selection unit 140 , an object image improvement unit 150 , and a segmentation unit ( 160 ), a background extraction unit 170 , a background image improvement unit 180 , a blending unit 190 , and an output unit 192 .
  • the components included in the object image improving apparatus 100 are not necessarily limited thereto, and some or all of the components inside the object image improving apparatus 100 may be included.
  • the input unit 110 receives an input image in which a plurality of objects and a background screen are combined.
  • the bounding box detector 120 detects a plurality of bounding boxes including a predefined object in the input image. In this case, an identifier (ID) may be assigned to each bounding box.
  • the object recognition unit 130 designates which bounding box the n bounding boxes are from among predefined objects.
  • the model selection unit 140 generates a model selection signal for selecting a model suitable for the recognized object.
  • the model selection unit 140 generates n pieces of model selection information by performing a process of selecting a model suitable for the object for each object.
  • the object image improvement unit 150 detects landmarks, which are major features for each object of each bounding box.
  • the object image improving unit 150 generates a warping object image in which warping is performed to align an object position to a center or a reference position based on the landmark.
  • the object image improving unit 150 generates an improved object image inferred to improve the warping object image by using the pre-learned object learning model.
  • the object image improving unit 150 generates an inverse warping object image obtained by performing inverse warping in which the improved object image is inversed to the direction or angle of the original object.
  • the object image improvement unit 150 performs a process of improving the object image for each bounding box.
  • the segmentation unit 160 performs segmentation on the inverse warping object image.
  • the segmentation unit 160 performs a process of segmenting the inverse warping object image for each bounding box. It is irrelevant to any position between the segmentation unit 270 and the blending unit 190 after the inference unit 270 .
  • the background extractor 170 extracts a background screen from the input image.
  • the background screen may be the entire screen or a screen excluding the bounding box area from the entire screen.
  • the background image improving unit 180 generates an improved background screen image inferred to improve the background screen by using the previously learned background screen learning model.
  • the blending unit 190 creates a blended image by blending the inverse warping object image and the improved background image.
  • various image processing methods may be selected and applied. For example, with respect to the boundary between the inverse warping object image and the background screen, a predetermined area may be blended using the alpha blending method by averaging the weighted average corresponding to the distance from the boundary line, or simply placing the inverse warping object image on the background area. can also be pasted.
  • the output unit 192 outputs the blended image as an output image. At this time, various data processing corresponding to the output data format required for output can be performed.
  • FIGS. 2A and 2B are diagrams illustrating an object image improving unit according to the present embodiment.
  • the object image improvement unit 150 shown in FIG. 2A includes an input unit 220 , a landmark detection unit 230 , a warping unit 240 , a pose estimation unit 250 , a parameter selection unit 252 , and a resizing unit 260 . , an inference unit 270 , a learning unit 272 , an inverse resizing unit 280 , an inverse warping unit 290 , and an output unit 292 .
  • Components included in the object image improving unit 150 are not necessarily limited thereto, and some or all of the components inside the object image improving unit 150 may be included.
  • Each component included in the object image improving unit 150 may be connected to a communication path that connects a software module or a hardware module inside the device, so that they can operate organically with each other. These components communicate using one or more communication buses or signal lines.
  • Each component of the object image improving unit 150 shown in FIG. 2A means a unit that processes at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.
  • the input unit 220 receives n bounding boxes detected by the bounding box detection unit.
  • the landmark detection unit 230 detects landmarks, which are major features of an object within each bounding box.
  • the warping unit 240 generates a warping object image in which warping is performed to align the object position to the center or reference position based on the landmark.
  • the warping unit 240 aligns the reference feature points included in the landmarks to be positioned on a preset fixed line.
  • the warping unit 240 warps the object by rotating the roll direction among 6 axes of the aligned object image clockwise or counterclockwise when aligning the reference feature points to be positioned on a preset fixed line.
  • the warping unit 240 may warp the object by rotating all 6 axes of the object image when aligning the reference feature points to be positioned on a preset fixed line.
  • the warping unit 240 finds the main feature point of the landmark, and extracts the midpoint of the upper horizontal axis line (x′) connecting the upper feature in the horizontal axis among the main feature points.
  • the warping unit 240 connects a lower part of the main feature points with a lower horizontal axis line and then extracts a midpoint of the lower horizontal axis line.
  • the warping unit 240 connects the midpoint of the upper horizontal axis line (x′) and the middle point of the lower horizontal axis line to the vertical axis line (y′).
  • the warping unit 240 warps the object based on a vertical line (y′) connecting the midpoint of the upper horizontal axis line (x′) and the upper horizontal axis line (x′) and the middle point of the lower horizontal axis line.
  • the warping unit 240 corresponds to the aspect ratio of the object for each of the vertical line (y ⁇ ) connecting the midpoint of the upper horizontal axis line (x ⁇ ) and the upper horizontal axis line (x ⁇ ) and the middle point of the lower horizontal axis line length correction is performed.
  • the warping unit 240 compares the vertical axis line (y') connecting the midpoint of the upper horizontal axis line (x') and the upper horizontal axis line (x') to which the length correction is reflected, and the middle point of the lower horizontal axis line. As a result of comparison, the warping unit 240 determines a larger axis as a reliable axis, and warps the object by rotating based on the reliable axis.
  • the warping unit 240 may warp the object by rotating only the roll direction clockwise or counterclockwise when aligning the reference feature points in the object image to be positioned on a preset fixed line, as an embodiment.
  • the pose estimator 250 may be preferably connected to the input unit 220 , but is not limited thereto, and may be implemented as being connected to the output of the warping unit 240 or the resizing unit 260 .
  • the pose estimator 250 calculates the angle of the object in the object image, the warping object image, or the resizing object image in the bounding box.
  • the pose estimator 250 requires rotation in the 6-axis direction or the pitch direction in order for the object image to face the front
  • the side object that faces the object image It is determined as an image
  • the object angle is estimated by performing pose estimation of the object of the side object image.
  • the information estimated by the pose estimator 250 may be angles in various directions or other information (measures measurable from images such as depth, length, height, brightness, saturation, etc.) can be defined in various ways as needed, and the corresponding section can be estimated.
  • the parameter selection unit 252 selects a parameter corresponding to pose estimation information such as an object angle.
  • the resizing unit 260 generates a resizing warping object image by resizing the warping object image to a preset target size.
  • the inference unit 270 generates an improved object image inferred to improve the warping object image using the pre-learned object learning model.
  • the inference unit 270 generates an improved object image obtained by improving the resizing warping object image.
  • the inference unit 270 improves the image quality of the warping object image by using a reconstruction model learned based on the frontal object image.
  • the inference unit 270 improves the image quality of the warping object image by using a reconstruction model learned based on the side object image.
  • a training process and a testing process are separately performed.
  • the learning unit 272 generates a restoration model for each type of object defined in advance by learning a result of improving the image quality of an object image aligned to a specific position based on a landmark in the training process.
  • the learning unit 272 detects a bounding-box for detecting an object position in an input image in an inference process.
  • the learning unit 272 detects landmarks, which are major features of an object within the bounding box.
  • the learning unit 272 performs warping of aligning the object position to the center or reference position based on the detected landmark.
  • the learning unit 272 resizes the warped object image to a target size corresponding to the model to be learned. For example, when configuring a deep learning network (learning model) trained to improve an image to a size of 128 ⁇ 128, the object image improvement apparatus 100 resizes the warped object image to a learning target size of 128 ⁇ 128.
  • a deep learning network learning model
  • the object image improvement apparatus 100 resizes the warped object image to a learning target size of 128 ⁇ 128.
  • the learning unit 272 learns the resized image and the image having improved image quality for the image.
  • the learning unit 272 estimates the angle of the object by performing pose estimation on the object. By classifying according to the angle (pose) of the predicted object, it is possible to generate different inference networks for each angle.
  • the inverse resizing unit 280 generates an inverse resizing improved object image obtained by inverse resizing the improved object image back to the original size.
  • the inverse warping unit 290 generates an inverse warping object image obtained by performing inverse warping in which the enhanced object image is inversed to the object position of the input image.
  • the inverse warping unit 290 inverses the inverse resizing improved object image to the object position of the input image.
  • the output unit 292 applies the inverse warping object image to the input image (in this embodiment, the inputted bounding box).
  • the object image improvement unit 150 shown in FIG. 2B includes an input unit 220 , a pose estimation unit 250 , a parameter selection unit 252 , a resizing unit 260 , an inference unit 270 , a learning unit 272 , It includes an inverse resizing unit 280 and an output unit 292 .
  • Components included in the object image improvement unit 150 are not necessarily limited thereto, and some or all of components 220 to 292 may be included.
  • Each component included in the object image improving unit 150 may be connected to a communication path that connects a software module or a hardware module inside the device, so that they can operate organically with each other. These components communicate using one or more communication buses or signal lines.
  • Each component of the object image improving unit 150 shown in FIG. 2B means a unit for processing at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.
  • the input unit 220 receives a bounding box including a predefined object and model information selected to improve an object image included in the corresponding bounding box.
  • the pose estimator 250 calculates the angle of the object in the bounding box.
  • the pose estimator 250 When it is determined that the pose estimator 250 requires rotation in the 6-axis direction or the pitch direction in order for the object image to face the front, the side object that faces the object image It is determined as an image, and the object angle is estimated by performing pose estimation of the object of the side object image.
  • the information estimated by the pose estimator 250 may be angles in various directions or other information (measures measurable from images such as depth, length, height, brightness, saturation, etc.) can be defined in various ways as needed, and the corresponding section can be estimated.
  • the parameter selection unit 252 selects a parameter corresponding to pose estimation information such as an object angle.
  • the resizing unit 260 generates a resizing object image by resizing the object image to a preset target size.
  • the inference unit 270 uses a reasoner to which the parameter selected by the parameter selection unit 252 is applied in response to pose estimation information such as an angle of the object, and an object in the resized input image (in this embodiment, the inputted bounding box) An improved object image inferred to improve the image is generated. That is, the inference unit 270 generates an improved object image obtained by improving the resizing object image.
  • the inference unit 270 learns as a parameter corresponding to a side object image having an object angle between 0 and 30 ⁇ .
  • the image quality of the object image is improved by using the reconstruction model.
  • the inference unit 270 determines a side object image having an object angle between 31 and 60 ⁇ , a parameter corresponding to the side object image.
  • the image quality of the object image is improved using the reconstruction model learned by
  • the inference unit 270 determines a side object image having an object angle between 61 and 90 ⁇ , a parameter corresponding to the side object image.
  • the image quality of the object image is improved using the reconstruction model learned by
  • the parameter selection unit 252 selects the inferencing parameter applied to each angular section, and the generated parameter selection information signal is applied as an input to the inference unit 270. to apply the restoration model learned by
  • the information estimated by the pose estimator 250 may be angles in various directions or other information (measures measurable from images such as depth, length, height, brightness, saturation, etc.) can be defined in various ways as needed, and the corresponding section can be estimated.
  • the learning unit 272 may generate a learning model that learns various phenomena in which the shape of various objects changes according to an angle and a result of improving distortion.
  • the learning unit 272 generates a restoration model that has learned the result of improving the image quality of the side object image that is distorted during the training process.
  • the learning unit 272 for example, generates a 0-30° restoration model that has learned a result of improving the image quality of a side object image that is distorted between 0 and 30°.
  • the learning section attribute may be an angle or other information (measures measurable from an image such as depth, length, height, brightness, saturation, etc.) can be applied to
  • the inverse resizing unit 280 generates an inverse resizing improved object image obtained by inverse resizing the improved object image back to the original size.
  • the output unit 292 applies the inverse warping object image to the input image (in this embodiment, the inputted bounding box).
  • FIG. 3 is a diagram illustrating an object image improvement process according to the present embodiment.
  • the object image improving apparatus 100 receives an input image. Objects may exist in various positions within the input image.
  • the object image improving apparatus 100 detects a region in which an object is located in an input image.
  • the object image improvement apparatus 100 extracts a landmark including a main feature in the object area.
  • the object image improvement apparatus 100 detects a bounding-box from an input image, and detects landmarks, which are major features of an object, within the bounding box. )do.
  • the object image improvement apparatus 100 aligns the object to the center (front-facing position) or reference position based on the extracted landmark (Warping) carry out
  • the object image improving apparatus 100 generates a warping object image in which warping is performed to align the object position to the center or reference position based on the landmark.
  • the object image improving apparatus 100 generates an improved object image that is inferred to improve the warping object image by using a pre-trained learning model.
  • the object image improving apparatus 100 performs an image improvement (SR: Super Resolution, etc.) operation on an image aligned to the center (a position facing the front) or a reference position.
  • SR image improvement
  • the object image improvement apparatus 100 may use SR when improving the warping object image.
  • SR Super Resolution
  • SR is a technology for reconstructing a small-sized, degraded, low-quality image into a large-sized, high-quality image. For example, if SR is applied to an image captured by CCTV, an obscure object in a small-sized, low-quality image is improved to a large-sized, high-quality object, and the object in the image can be restored to a level that can be identified.
  • the object image improvement apparatus 100 upscales the warping object image or restores it to a learned object using artificial intelligence.
  • the object image improving apparatus 100 performs inverse warping to reverse the improved image again.
  • the object image enhancement apparatus 100 generates an inverse warping object image that has performed inverse warping to inverse the enhancement object image to an object position of the input image, and applies the inverse warping object image to the input image.
  • FIG. 4 is a diagram illustrating detection of a bounding box and detection of a landmark position according to the present embodiment.
  • the object image improving apparatus 100 may use a deep learning-based technology for detecting a bounding box and detecting a landmark, and for example, deep learning having a RetinaFace structure may be used.
  • the object image improving apparatus 100 detects a bounding box from an input image, and detects an object within the bounding box.
  • the object image improvement apparatus 100 detects a landmark from the detected object and extracts main features of the object.
  • the object image improving apparatus 100 performs warping based on the extracted landmark to align the landmarks to normalize the rotation of the object. That is, the object image improving apparatus 100 rotates only in the roll direction among yaw, pitch, and roll.
  • the object image improvement apparatus 100 normalizes the size of the object by resizing the size of the aligned object to the learned model size.
  • the object image improving apparatus 100 trains a specialized model for each section of yaw and pitch by using object pose estimation.
  • the object image improving apparatus 100 improves generalization performance by applying the above-described process to learning and inference in the same order.
  • the object improvement effect is high because the training method itself detects the bounding box, detects the landmark, and trains based on the result of warping to align the object to the center or reference position in the same way as the testing method.
  • FIG. 5 is a diagram illustrating a warping process for an object image according to the present embodiment.
  • the object image improvement apparatus 100 corresponds to the main features (eg, left eye, right eye, nose, left end of mouth, right end of mouth) from 51 landmarks aligned in the center of the DeepFaceLab library. Extract the landmarks of dogs.
  • the object image improving apparatus 100 uses reference coordinates for aligning five landmarks.
  • the object image improving apparatus 100 detects five landmarks from an input object image, and aligns the detected landmarks with corresponding reference coordinates to center the object.
  • the object image improving apparatus 100 obtains an input image normalized with respect to a roll during 6-axis (yaw, pitch, roll) rotation using the above-described process.
  • the object image improvement apparatus 100 warps the object by rotating it in the roll direction (clockwise or counterclockwise) among 6 axes (yaw, pitch, roll) of the 2D image when warping the object within the bounding box. do.
  • the object image improvement apparatus 100 aligns the object to the center or reference position and when warping is performed to face the front, the reference feature point is always positioned on a fixed fixed line based on the landmark, the roll direction (clockwise direction or counterclockwise) to warp the object.
  • the object image improvement apparatus 100 performs pose estimation of the object when it is determined that rotation is necessary in the 6-axis important direction or the pitch direction of the 2D image when warping the object within the bounding box.
  • the object image improving apparatus 100 estimates how much the angle (yaw direction or pitch direction) of the object is misaligned with respect to the front by performing pose estimation of the object.
  • the object image improving apparatus 100 warps an object within the bounding box, it may rotate in the yaw direction or the pitch direction, not necessarily in the roll direction.
  • the object image improving apparatus 100 may generate each specialized reconstruction model that learns the result of improving an image in which an object is warped by rotating it in a yaw direction, a pitch direction, and a roll direction during a training process.
  • FIG. 6 is a diagram specifically illustrating a warping process according to the present embodiment.
  • the object image improving apparatus 100 assumes that a longer line among x' and y' is a line capable of representing an object. Robust alignment is possible in the case where the landmark is incorrectly estimated or the object is rotated excessively.
  • the apparatus 100 for improving an object image finds major feature points of landmarks in order to align objects.
  • the object image improvement apparatus 100 extracts the midpoint of the upper horizontal axis line (x ⁇ ) connecting the upper feature to the horizontal axis among the main feature points.
  • the object image improving apparatus 100 extracts the midpoint of the lower horizontal axis line connecting the lower feature to the horizontal axis among the main feature points.
  • the object image improving apparatus 100 connects the midpoint of the upper horizontal axis line (x') and the middle point of the lower horizontal axis line to the vertical axis line (y').
  • the object image improving apparatus 100 rotates the vertical axis line y ⁇ counterclockwise by 90°.
  • the object image improving apparatus 100 calculates a value obtained by adding an x-axis vector and a y-axis vector.
  • the object image improving apparatus 100 may determine how many objects to rotate and align based on a value obtained by adding an x-axis vector and a y-axis vector. Using the above-described method, if the object has an inclination, the object may be aligned to the center or reference position while correcting the inclination.
  • the object image improving apparatus 100 is a vertical axis line (y') connecting the midpoint of the upper horizontal axis line (x') and the upper horizontal axis line (x') and the middle point of the lower horizontal axis line Only that axis is used for alignment based on which axis reflects the entire object better.
  • the object image improvement apparatus 100 is more reliable on the larger axis of the vertical axis line (y ⁇ ) connecting the midpoint of the upper horizontal axis line (x ⁇ ) and the upper horizontal axis line (x ⁇ ) and the middle point of the lower horizontal axis line judged by the axis.
  • the object image improving apparatus 100 recognizes the upper horizontal axis line x' as an erroneously estimated value.
  • the object image improvement apparatus 100 ignores the upper horizontal axis line (x'), and based on only the vertical axis line (y') connecting the midpoint of the upper horizontal axis line (x') and the lower horizontal axis line, the object is Align them to be centered.
  • the object image improvement apparatus 100 first performs length correction for each of the vertical axis lines (y') connecting the midpoint of the upper horizontal axis line (x') and the upper horizontal axis line (x') and the middle point of the lower horizontal axis line do.
  • the object image improving apparatus 100 compares the vertical axis line (y') connecting the midpoint of the upper horizontal axis line (x') and the upper horizontal axis line (x') to which the length correction is reflected, and the middle point of the lower horizontal axis line. . As a result of the comparison, the object image improving apparatus 100 determines a larger axis as a reliable axis.
  • the object image improving apparatus 100 calculates a scale (s) value that determines how much to enlarge or reduce an object based on a reliable axis and an angle ( ⁇ ) value that determines how much to rotate the object.
  • s scale
  • ⁇ angle
  • FIG. 7 is a diagram illustrating warping of a plurality of images according to the present embodiment.
  • the object image improvement apparatus 100 has an advantage in that the reference feature point is located on the same line as the point having a constant size regardless of the object ratio.
  • the object image improvement apparatus 100 extracts a landmark including a main feature in the object area.
  • the object image improving apparatus 100 places the line of the object area on a fixed line based on the landmark.
  • the object image improvement apparatus 100 performs warping by predicting a transform based on the feature point of the landmark.
  • the object image improving apparatus 100 may use a similarity transform, an affine transform, a perspective transform, etc. as a transform during warping.
  • the object image improving apparatus 100 may predict a parameter to be converted by generating it as a system of equations for transforming based on the feature point of the landmark.
  • the object image improving apparatus 100 may predict parameter values of an enlargement value of a scale, an angle value, an X-axis inclination, and a Y-axis inclination by using a simultaneous equation.
  • the object image improving apparatus 100 ensures that the eye line is always located in the same area in a rectangular state, and adjusts the size of the object to be substantially the same size. Since the size of the object is almost the same, it is made so that the object has almost the same proportion regardless of age.
  • the object image improving apparatus 100 resizes the warped object image to a target size (eg, 1024 ⁇ 1024) corresponding to the learned model.
  • a target size eg, 1024 ⁇ 1024
  • the object image improvement apparatus 100 analyzes and improves features for all scales of the image using a multi-scale engine.
  • FIG. 8 is a diagram illustrating pose estimation for an object according to the present embodiment.
  • the object image improvement apparatus 100 may use a deep learning-based technique for estimating an object pose, and preferably may use an FSA-Net structure.
  • the object image improving apparatus 100 always positions the reference line of the object in a fixed fixed line based on the landmark when warping is performed so that the object is aligned to the center or the reference position to face the front.
  • the object image improving apparatus 100 since it is difficult to respond to a change in a pose in which the object in the input image is turned sideways or has an angled angle, the object image improving apparatus 100 additionally performs pose estimation of the object.
  • the object image improving apparatus 100 estimates how much the angle of the object is misaligned with respect to the front by performing pose estimation of the object.
  • the object image improving apparatus 100 determines the quality of the warped object image (front-facing object image) using a reconstruction model learned based on the front object image. improve
  • the object image improvement apparatus 100 determines the quality of the warped object image (the side-facing object image) using a reconstruction model learned based on the side object image. improve
  • the object image improving apparatus 100 extracts a reconstruction model suitable for an angle at which the object is distorted with respect to the front.
  • the object image improving apparatus 100 improves the image quality of a warped object image (a side-facing object image) by using a reconstruction model suitable for an angle at which the object is distorted.
  • the object image improving apparatus 100 compares the warped object image with the reference front image (template), and when the warped object image differs from the reference front image (template) by more than a preset threshold, the warped object image Recognize that this is a side object image.
  • the object image improving apparatus 100 performs pose estimation of the object to estimate a misaligned angle of the object.
  • the object image improving apparatus 100 generates a restoration model between 0 and 30° that has learned the result of improving the image quality of the side object image that is distorted at an angle between 0 and 30° during the training process.
  • the object image improvement apparatus 100 performs pose estimation and when it is determined that the angle at which the object is distorted is 0 to 30 ⁇ , the warped image is performed using a reconstruction model between 0 and 30 ⁇ . Improve the video quality.
  • the object image improving apparatus 100 generates a restoration model between 31 and 60° that has learned the result of improving the image quality of the side object image that is distorted at an angle between 31 and 60° during the training process.
  • the object image improvement apparatus 100 performs pose estimation and when it is determined that the angle at which the object is distorted is 31 to 60 ⁇ , the warped image is performed using a reconstruction model between 31 and 60 ⁇ Improve the video quality.
  • the object image improvement apparatus 100 generates a restoration model between 61 and 90 degrees obtained by learning the result of improving the image quality of the side object image that is distorted at an angle between 61 and 90 degrees during the training process.
  • the object image improvement apparatus 100 performs pose estimation and when it is determined that the angle at which the object is distorted is 61 to 90 ⁇ , the warped image is performed using a reconstruction model between 61 and 90 ⁇ . Improve the video quality.
  • FIG. 9 is a diagram illustrating a method of improving a plurality of objects in one frame according to the present embodiment.
  • the object image improvement apparatus 100 is applicable to video or a case in which a plurality of objects exist in one frame.
  • the object image improving apparatus 100 detects a bounding box for each object, detects a landmark within the bounding box, and performs warping to align the object to a center or reference position using the landmark.
  • the object image improving apparatus 100 improves image quality by inferring the warped image, and then performs inverse warping back to the original object position.
  • the object image improving apparatus 100 inserts the inverse warping object image only in a region recognized as the object region in a state in which segmentation is first performed.
  • the adjacent object may be processed as a background, so the object image improving apparatus 100 provides the input image After segmentation is performed to mask the object area, only the corresponding area is blended into the entire image.
  • an object located at the center or reference position within one bounding box is an object of the corresponding bounding box, and the remaining objects are masked with the background.
  • the object image improving apparatus 100 may improve the image quality for a background area other than the bounding box in the image, and may blend the background area and the object area.
  • the object image improving apparatus 100 separates and segments the object and the background. When a plurality of objects are adjacent to each other, the object image improving apparatus 100 separately segments them.
  • the object image improving apparatus 100 may assign an identifier (ID) to each object.
  • ID identifier
  • the object image improving apparatus 100 separately performs image quality improvement on a background when inferring.
  • FIG. 10 is a view showing a method of improving the license plate according to the present embodiment.
  • the object image improving apparatus 100 is specifically applicable to each object included in the background.
  • the object image improvement apparatus 100 may use a learned deep learning network (learning model) to restore the number of the license plate well when it is specially applied to a vehicle license plate.
  • learning model learned deep learning network
  • the object image improvement apparatus 100 may apply a pre-learned deep learning network (learning model) to only the license plate area after detecting the license plates of the vehicle in the pre-processing step. It can be applied by extracting a landmark for an object.
  • learning model pre-learned deep learning network
  • the object is a face, there are landmarks for the eyes, nose, and mouth; if the object is a license plate, there are landmarks for numbers and texts having a pre-allocated number of digits; There are landmarks for Landmark properties for all objects included in the image can be used.
  • the object image improving apparatus 100 may recognize all target objects from the input image and assign an identifier (ID).
  • ID an identifier
  • the object image improving apparatus 100 detects a bounding box of each object for each ID.
  • the object image improving apparatus 100 detects each object in the bounding box.
  • the object image improvement apparatus 100 extracts a landmark including each object main feature.
  • the object image improving apparatus 100 performs warping of aligning an object to a center (a position facing the front) or a reference position based on the extracted landmark.
  • the object image improving apparatus 100 performs an image improvement (SR: Super Resolution, etc.) of an image aligned to a center (a position facing the front) or a reference position.
  • the object image improving apparatus 100 performs inverse warping to reverse the improved image again.
  • the object image improving apparatus 100 inserts the inverse-warped image into the input image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

객체 이미지 개선 방법 및 장치를 개시한다. 본 실시예는 입력 이미지로부터 검출된 바운딩 박스 내의 객체의 랜드마크의 위치를 검출하고, 랜드마크를 기반으로 객체가 중앙 또는 기준 위치에 위치하도록 정렬하는 와핑을 수행한 상태에서 정면 객체 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키고, 개선된 영상을 다시 원래의 방향이나 각도를 회전시는 인버스 와핑을 수행한 후 입력 이미지 내에 삽입하여 보다 자연스러운 영상을 복원이 가능하도록 하는 객체 이미지 복원 방법 및 장치를 제공한다. 또한, 본 실시예는 입력 이미지로부터 검출된 바운딩 박스 내의 객체의 랜드마크의 위치를 검출하고, 랜드마크를 기반으로 측면 객체에 대한 포즈 추정을 수행하고, 포즈 추정 결과에 대응하는 측면 객체 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키는 객체 이미지 복원 방법 및 장치를 제공한다.

Description

객체 이미지 개선 방법 및 장치
본 발명의 일 실시예는 객체 이미지 복원 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적으로 저해상도 영상을 고해상도 영상으로 복원하는 기술은 복원에 사용되는 입력영상의 수 또는 복원 기술에 따라 구분된다. 입력영상의 수에 따라 단일영상 초해상도 복원 기술과 연속영상 초해상도 복원 기술로 구분된다.
일반적으로 단일영상 초해상도 영상복원 기술은 연속영상 초해상도 영상복원에 비하여 처리 속도는 빠르지만, 복원에 필요한 정보가 부족하므로 영상 복원의 품질이 낮다.
연속영상 초해상도 영상복원 기술은 연속적으로 획득된 다수의 영상들로부터 추출된 다양한 특징을 이용하므로 단일영상 초해상도 영상복원 기술에 비하여 복원된 영상의 품질은 우수하나, 알고리즘이 복잡하고 연산량이 많아 실시간 처리가 어렵다.
복원 기술에 따라서는 보간법을 이용한 기술, 에지 정보를 이용한 기술, 주파수 특성을 이용한 기술, 딥러닝 등과 같은 기계학습을 이용한 기술 등이 있다. 보간법을 이용한 기술은 처리 속도가 빠르지만 가장자리 부분이 흐릿해지는 단점이 있다.
에지 정보를 이용한 기술은 속도도 빠르고 가장자리의 선명도를 유지하면서 영상을 복원할 수 있으나, 에지 방향을 잘못 추정한 경우에는 시각적으로 두드러지는 복원 에러를 포함할 수 있는 단점이 있다.
주파수 특성을 이용한 기술은 고주파성분을 이용하여 에지 정보를 이용한 기술과 같이 가장자리의 선명도를 유지하며 영상을 복원할 수 있으나 경계선 부근의 Ringing Artifact가 발생하는 단점이 있다. 마지막으로 예제 기반 또는 딥러닝과 같은 기계학습을 이용한 기술은 복원된 영상의 품질이 가장 우수하지만 처리속도가 매우 느리다.
상술한 바와 같이 기존의 다양한 고해상도 영상 복원 기술들 중 연속영상 초해상도 영상복원 기술은 기존의 보간법을 이용한 디지털 줌 기능이 필요한 분야에 적용될 수 있으며, 보간법 기반의 영상복원 기술에 비해 우수한 품질의 영상을 제공한다. 그러나, 기존의 초해상도 영상복원 기술은, 제한된 리소스와 실시간 처리가 요구되는 전자광학 장비에는 복잡한 연산량으로 인해 적용할 수 있는 기술이 제한적이다.
실시간 처리가 가능한 기존의 단일영상 기반의 초해상도 영상복원 기술은 2배 이상의 고배율로 영상 확대가 필요한 경우에 연속영상 기반의 복원 기술에 비해 성능 저하가 크다는 문제가 있다.
본 실시예는 입력 이미지로부터 사전에 정의된 객체를 포함하는 바운딩 박스를 검출하고, 검출된 바운딩 박스 내의 객체의 랜드마크를 검출하고, 랜드마크를 기반으로 객체가 중앙 또는 기준 위치에 위치하도록 정렬하는 와핑을 수행한 상태에서 정렬된 객체 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키고, 개선된 영상을 다시 원래의 방향이나 각도를 회전시키는 인버스 와핑을 수행한 후 입력 이미지 내에 삽입하여 보다 자연스러운 영상을 복원하도록 하는 객체 이미지 복원 방법 및 장치를 제공하는 데 목적이 있다.
또한, 본 실시예는 입력 이미지로부터 검출된 바운딩 박스 내의 객체에 대한 포즈 추정을 수행하고, 포즈 추정 결과에 대응하는 측면 객체 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키는 객체 이미지 복원 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 입력 영상(Input Image)을 입력받는 입력부; 상기 입력 영상에서 복수개의 바운딩 박스(Bounding-Box)를 검출(Detection)하는 바운딩 박스 검출부; 상기 바운딩 박스에서 객체를 인지하는 객체 인식부; 상기 입력 영상에서 배경화면을 추출하는 배경 추출부; 상기 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)하고, 상기 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성하고, 기 학습된 객체 학습 모델을 이용하여 상기 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성하고, 상기 개선 객체 영상을 상기 입력 영상의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하는 객체 이미지 개선부; 기 학습된 배경화면 학습 모델을 이용하여 상기 배경화면을 개선하도록 추론(Inference)한 개선 배경화면 영상을 생성하는 배경 이미지 개선부; 상기 인버스 와핑 객체 영상을 세그먼테이션(Segmentation)하는 세그먼테이션부; 세그먼테이션한 상기 인버스 와핑 객체 영상과 상기 개선 배경화면 영상을 블렌딩(Blending)하여 블렌딩 영상을 생성하는 블렌딩부; 및 상기 블렌딩 영상을 출력시키는 출력부를 포함하는 것을 특징으로 하는 객체 이미지 개선 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 사전에 정의된 객체를 포함하는 바운딩 박스를 입력받는 입력부; 상기 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Prediction)하는 랜드마크 검출부; 상기 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성하는 와핑부; 기 학습된 객체 학습 모델을 이용하여 상기 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성하는 추론부; 상기 개선 객체 영상을 상기 바운딩 박스의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하는 인버스 와핑부; 상기 인버스 와핑 객체 영상을 상기 바운딩 박스에 적용시키는 출력부를 포함하는 것을 특징으로 하는 객체 이미지 개선 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 사전에 정의된 객체를 포함하는 바운딩 박스를 입력받는 과정; 상기 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Prediction)하는 과정; 상기 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성하는 과정; 기 학습된 객체 학습 모델을 이용하여 상기 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성하는 과정; 상기 개선 객체 영상을 상기 바운딩 박스의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하는 과정; 상기 인버스 와핑 객체 영상을 상기 바운딩 박스에 적용시키는 과정을 포함하는 것을 특징으로 하는 객체 이미지 개선 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 사전에 정의된 객체를 포함하는 바운딩 박스를 입력받는 입력부; 상기 바운딩 박스 내에서 객체의 각도를 산출하는 포즈 추정부; 상기 객체의 각도에 대응하는 파라미터를 선택하는 파라미터 선택부; 및 상기 파라미터에 대응하는 학습 모델을 이용하여 상기 바운딩 박스 내에서 객체 영상을 개선하도록 추론(Inference)하는 개선 객체 영상을 생성하는 추론부; 를 포함하는 것을 특징으로 하는 객체 이미지 개선 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 사전에 정의된 객체를 포함하는 바운딩 박스를 입력받는 과정; 상기 바운딩 박스 내에서 객체의 각도를 산출하는 과정; 상기 객체의 각도에 대응하는 파라미터를 선택하는 과정; 및 상기 파라미터에 대응하는 학습 모델을 이용하여 상기 바운딩 박스 내에서 객체 영상을 개선하도록 추론(Inference)하는 개선 객체 영상을 생성하는 과정;을 포함하는 것을 특징으로 하는 객체 이미지 개선 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 입력 이미지로부터 검출된 바운딩 박스 내의 객체의 랜드마크의 위치를 검출하고, 랜드마크를 기반으로 객체가 중앙 또는 기준 위치에 위치하도록 정렬하는 와핑을 수행한 상태에서, 사전에 정해진 객체 사이즈로 리사이즈 후, 정렬된 객체 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키고, 개선된 영상을 다시 원래의 사이즈로 스케일링하고, 원래의 방향이나 각도로 회전시키는 인버스 와핑을 수행한 후 입력 이미지 내에 삽입하여 보다 자연스럽게 영상을 복원할 수 있는 효과가 있다.
본 실시예에 의하면, 입력 이미지로부터 검출된 바운딩 박스 내의 객체에 대한 포즈 추정을 수행하고, 포즈 추정 결과에 대응하는 측면 객체 영상으로 학습한 학습 모델을 이용하여 영상을 개선시킬 수 있는 효과가 있다.
도 1은 본 실시예에 따른 객체 이미지 개선 장치를 나타낸 도면이다.
도 2a,2b는 본 실시예에 따른 객체 이미지 개선부를 나타낸 도면이다.
도 3은 본 실시예에 따른 객체 영상 개선 과정을 나타낸 도면이다.
도 4는 본 실시예에 따른 바운딩 박스 검출과 랜드마크 위치 검출을 나타낸 도면이다.
도 5는 본 실시예에 따른 객체 영상에 대한 와핑 과정을 나타낸 도면이다.
도 6은 본 실시예에 따른 와핑 과정을 구체적으로 나타낸 도면이다.
도 7은 본 실시예에 따른 복수의 영상에 대한 와핑을 나타낸 도면이다.
도 8은 본 실시예에 따른 객체에 대한 포즈 추정을 나타낸 도면이다.
도 9는 본 실시예에 따른 하나의 프레임 내에 복수의 객체를 개선하는 방법을 나타낸 도면이다.
도 10은 본 실시예에 따른 자동차 번호판을 개선하는 방법을 나타낸 도면이다.
<도면의 주요부분의 대한 부호의 설명>
100: 객체 이미지 개선 장치
110: 입력부
120: 바운딩 박스 검출부
130: 객체 인식부
140: 모델 선택부
150: 객체 이미지 개선부
160: 세그먼테이션부
170: 배경 추출부
180: 배경 이미지 개선부
190: 블렌딩부
192: 출력부
220: 입력부
230: 랜드마크 검출부
240: 와핑부
250: 포즈 추정부
252: 파라미터 선택부
260: 리사이징부
270: 추론부
272: 학습부
280: 인버스 리사이징부
290: 인버스 와핑부
292: 출력부
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 객체 이미지 개선 장치를 나타낸 도면이다.
객체 이미지 개선 장치(100)는 입력 이미지로부터 바운딩 박스를 검출한다. 객체 이미지 개선 장치(100)는 사전에 정의된 객체를 포함하는 바운딩 박스를 검출한다. 객체 이미지 개선 장치(100)는 객체의 랜드마크의 위치를 검출한다. 객체 이미지 개선 장치(100)는 랜드마크를 기반으로 객체의 방향이나 각도를 판단하고, 객체가 정면을 바라보도록 와핑을 수행하여 랜드마크를 정렬하여 객체를 회전시킨다. 객체 이미지 개선 장치(100)는 와핑한 객체의 크기를 타겟 사이즈로 리사이징하여 정규화한다. 객체 이미지 개선 장치(100)는 정규화된 학습 데이터를 기반으로 만들어진 추론(Inference) 장치를 이용하여 정렬된 객체를 고화질로 복원한다. 객체 이미지 개선 장치(100)는 복원된 정면을 바라보는 객체를, 다시 원래의 크기로 리사이즈한 후, 다시 원래의 방향이나 각도로 회전시켜서, 해당 영상 내에 삽입한다. 전술한 과정을 수행하면, 좀 더 자연스럽게 영상을 복원이 가능하다.
객체 이미지 개선 장치(100)는 입력 영상에서 객체 위치를 검출하기 위한 바운딩 박스(Bounding-Box)를 검출(Detection)한다. 객체 이미지 개선 장치(100)는 바운딩 박스 내에서 객체의 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)한다. 객체 이미지 개선 장치(100)는 검출된 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬하는 와핑(Warping)을 수행한다.
객체 이미지 개선 장치(100)는 와핑한 객체 영상을 학습한 모델에 대응하는 타겟 사이즈로 리사이징(Resizing)한다. 예컨대, 128×128 사이즈로 영상을 개선하도록 학습된 딥러닝 네트워크(학습 모델)를 이용하고자 하는 경우, 객체 이미지 개선 장치(100)는 와핑한 객체 영상이 개선될 수 있도록 기 학습된 타겟 사이즈인 128×128로 리사이징한다.
객체 이미지 개선 장치(100)는 리사이징한 영상의 화질을 개선한다. 객체 이미지 개선 장치(100)는 리사이징한 영상의 화질을 개선할 때, 객체의 각도가 틀어져 있는 경우, 객체에 대한 포즈 추정(Pose Estimation)을 수행하여 객체의 각도를 추정한다.
객체 이미지 개선 장치(100)는 기 학습된 딥러닝 모델이 적용된 추론(Inference) 과정을 수행하여 리사이징한 영상의 화질을 개선한다. 객체 이미지 개선 장치(100)는 기 학습된 딥러닝 모델을 이용하여 리사이징한 영상의 화질을 개선할 때, 정렬된 객체 영상을 기반으로 학습한 학습 모델을 이용하거나 객체의 각도가 틀어져 있는 영상을 기반으로 학습한 학습 모델을 이용하여 추론(Inference)을 수행하여 리사이징한 영상의 화질을 개선한다.
객체 이미지 개선 장치(100)는 화질이 개선된 영상을 다시 원본 사이즈로 인버스 리사이징(Inverse Resizing)한다. 객체 이미지 개선 장치(100)는 인버스 리사이징 영상을 다시 원래의 객체 위치로 인버스 와핑(Inverse Warping)한다.
일반적인 환경에서 딥러닝 모델이 원활하게 동작하기 위해서는 트레이닝 환경과 테스팅 환경이 유사한 도메인 상에 위치해야 한다. 따라서, 트레이닝 환경과 테스팅 환경의 도메인을 맞추기 위해, 객체 이미지 개선 장치(100)는 트레이닝 환경에서 사용할 트레이닝 데이터를 테스팅 환경에서 사용할 방식과 동일하게, 바운딩 박스를 검출하고, 랜드마크를 검출하여, 객체를 가운데 또는 기준 위치로 정렬하는 와핑을 수행하고, 타겟 사이즈로 리사이즈한다.
본 실시예에 따른 객체 이미지 개선 장치(100)는 입력부(110), 바운딩 박스 검출부(120), 객체 인식부(130), 모델 선택부(140), 객체 이미지 개선부(150), 세그먼테이션부(160), 배경 추출부(170), 배경 이미지 개선부(180), 블렌딩부(190), 출력부(192)를 포함한다. 객체 이미지 개선 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니며, 객체 이미지 개선 장치(100) 내부의 구성 요소 중 일부 또는 전부를 포함할 수 있다.
입력부(110)는 복수의 객체와 배경화면이 결합된 입력 영상(Input Image)을 입력받는다. 바운딩 박스 검출부(120)는 입력 영상에서 사전에 정의된 객체를 포함하는 바운딩 박스(Bounding-Box)를 복수 개 검출(Detection)한다. 이때 바운딩 박스 별로 식별자(ID)를 부여할 수 있다.
바운딩 박스 검출부(120)에서 n개의 바운딩 박스가 검출된 경우, 객체 인식부(130)는 입력된 n개의 바운딩 박스가 사전에 정의된 객체 중 어떤 객체에 대한 바운딩 박스인지를 지정한다.
모델 선택부(140)는 인지된 객체에 적합한 모델을 선택하는 모델 선택 신호를 생성한다. 모델 선택부(140)는 객체에 적합한 모델을 선택하는 과정을 각 객체에 대하여 수행하여, n개의 모델 선택 정보를 생성한다.
객체 이미지 개선부(150)는 각각의 바운딩 박스가 가진 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)한다. 객체 이미지 개선부(150)는 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성한다. 객체 이미지 개선부(150)는 기 학습된 객체 학습 모델을 이용하여 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성한다. 객체 이미지 개선부(150)는 개선 객체 영상을 원래의 객체의 방향이나 각도로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성한다. 객체 이미지 개선부(150)는 객체 이미지를 개선하는 과정을 각 바운딩 박스에 대하여 수행한다.
세그먼테이션부(160)는 인버스 와핑 객체 영상에 대해 세그먼테이션(Segmentation)을 수행한다. 세그먼테이션부(160)는 인버스 와핑 객체 영상을 세그먼테이션하는 과정을 각 바운딩 박스에 대하여 수행한다. 세그먼테이션부는 추론부(270) 이후부터 블렌딩부(190) 사이의 어느 위치에 오더라도 무관하다.
배경 추출부(170)는 입력 영상에서 배경화면을 추출한다. 이때 배경화면은, 전체 화면이 될 수도 있고, 전체 화면에서 바운딩 박스 영역을 제외한 화면이 될 수도 있다. 배경 이미지 개선부(180)는 기 학습된 배경화면 학습 모델을 이용하여 배경화면을 개선하도록 추론(Inference)한 개선 배경화면 영상을 생성한다.
블렌딩부(190)는 인버스 와핑 객체 영상과 개선 배경화면 영상을 블렌딩(Blending)하여 블렌딩 영상을 생성한다. 이때 블렌딩 방법은 다양한 영상처리 방법을 선택하여 적용할 수 있다. 예를 들면, 인버스 와핑 객체 영상과 배경화면과의 경계에 대하여 일정 영역을 알파블렌딩 방법을 이용하여 경계선과의 거리에 대응한 가중 평균하여 블렌딩할 수 도 있고, 단순히 인버스 와핑 객체 영상을 배경 영역 위에 붙일 수도 있다.
출력부(192)는 블렌딩 영상을 출력 영상으로 출력한다. 이때 출력에 필요한 출력 데이터 형식에 대응하는 여러가지 데이터 처리를 수행 할 수 있다.
도 2a,2b는 본 실시예에 따른 객체 이미지 개선부를 나타낸 도면이다.
도 2a에 도시된 객체 이미지 개선부(150)는 입력부(220), 랜드마크 검출부(230), 와핑부(240), 포즈 추정부(250), 파라미터 선택부(252), 리사이징부(260), 추론부(270), 학습부(272), 인버스 리사이징부(280), 인버스 와핑부(290), 출력부(292)를 포함한다. 객체 이미지 개선부(150)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니며, 객체 이미지 개선부(150) 내부의 구성 요소 중 일부 또는 전부를 포함할 수 있다.
객체 이미지 개선부(150)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2a에 도시된 객체 이미지 개선부(150)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
입력부(220)는 바운딩 박스 검출부에서 검출한 n개의 바운딩박스를 입력받는다. 랜드마크 검출부(230)는 각 바운딩 박스 내에서 객체의 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)한다.
와핑부(240)는 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성한다. 와핑부(240)는 랜드마크에 포함된 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬한다.
와핑부(240)는 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬할 때, 정렬된 객체 영상의 6축(Axis) 중 롤 방향을 시계방향 또는 반시계방향으로 회전시켜서 객체를 와핑한다. 와핑부(240)는 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬할 때, 객체 영상의 6축(Axis)을 모두 회전하여 객체를 와핑할 수 도 있다.
와핑부(240)는 랜드마크의 주요 피쳐 포인트를 찾고, 주요 피쳐 포인트 중 상단 피쳐를 가로축으로 연결한 상단 가로축 라인(x`)의 중간점을 추출한다. 와핑부(240)는 주요 피쳐 포인트 중 하단 피쳐를 하단 가로축 라인으로 연결한 후 하단 가로축 라인의 중간점을 추출한다. 와핑부(240)는 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 세로축 라인(y`)으로 연결한다. 와핑부(240)는 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`)을 기반으로 객체를 와핑한다.
와핑부(240)는 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`) 각각에 대해서 객체의 가로 세로 비율에 대응하는 길이 보정을 수행한다. 와핑부(240)는 길이 보정이 반영된 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`)을 서로 비교한다. 와핑부(240)는 서로 비교한 결과, 더 큰 축을 신뢰할 수 있는 축으로 판별하고, 신뢰할 수 있는 축을 기준으로 회전하여 객체를 와핑한다.
와핑부(240)는, 일 실시예로, 객체 영상 내의 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬할 때, 롤 방향만을 시계방향 또는 반시계방향으로 회전시켜서 객체를 와핑할 수도 있다.
포즈 추정부(250)는 바람직하게는 입력부(220)와 연결될 수 있으나, 반드시 이에 한정되는 것은 아니며, 와핑부(240) 또는 리사이징부(260)의 출력에 연결되는 것으로 구현 가능하다.
포즈 추정부(250)는 바운딩 박스 내에서의 객체 영상, 와핑 객체 영상 또는 리사이징 객체 영상에서의 객체의 각도를 산출한다. 포즈 추정부(250)는 객체 영상이 정면을 바라보기 위해서 6축(Axis) 중 요(Yaw) 방향 또는 피치(Pitch) 방향으로 회전이 필요하다고 판단되는 경우, 객체 영상을 측면을 바라보는 측면 객체 영상으로 판단하고, 측면 객체 영상의 객체의 포즈 추정(Pose Estimation)을 수행하여 객체 각도를 추정한다. 포즈 추정부(250)에서 추정하는 정보는 여러 방향의 각도나 기타 정보(깊이, 길이, 높이, 밝기, 채도 등의 영상으로부터 측정 가능한 측도)일 수 있으며, 해당 정보의 추정 구간 크기, 추정 해상도 등은 필요에 따라 다양하게 정의하여, 해당 구간을 추정할 수 있다.
파라미터 선택부(252)는 객체 각도 등의 포즈 추정 정보에 대응하는 파라미터를 선택한다.
리사이징부(260)는 와핑 객체 영상을 기 설정된 타겟 사이즈로 리사이징(Resizing)하여 리사이징 와핑 객체 영상을 생성한다.
추론부(270)는 기 학습된 객체 학습 모델을 이용하여 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성한다. 추론부(270)는 리사이징 와핑 객체 영상을 개선한 개선 객체 영상을 생성한다.
추론부(270)는 와핑 객체 영상이 정면을 바라보는 정면 객체 영상인 경우, 정면 객체 영상을 기반으로 학습한 복원 모델을 이용하여 와핑 객체 영상의 화질을 개선한다. 추론부(270)는 와핑 객체 영상이 측면을 바라보는 측면 객체 영상인 경우, 측면 객체 영상을 기반으로 학습한 복원 모델을 이용하여 와핑 객체 영상의 화질을 개선한다.
객체 이미지 개선 장치(100)는 트레이닝(Training) 과정과 테스팅(Testing)하는 과정이 분리되어 수행된다.
학습부(272)는 트레이닝 과정에서 랜드마크를 기준으로 특정한 위치로 정렬된 객체 영상의 화질을 개선한 결과를 학습한 복원 모델을 사전에 정의된 객체의 종류별로 생성한다. 학습부(272)는 추론(Inference) 과정에서 입력 영상에서 객체 위치를 검출하기 위한 바운딩 박스(Bounding-Box)를 검출(Detection)한다. 학습부(272)는 바운딩 박스 내에서 객체의 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)한다. 학습부(272)는 검출된 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬하는 와핑(Warping)을 수행한다.
학습부(272)는 와핑한 객체 영상을 학습할 모델에 대응하는 타겟 사이즈로 리사이징(Resizing)한다. 예컨대, 128×128 사이즈로 영상을 개선하도록 학습된 딥러닝 네트워크(학습 모델)를 구성하고자 하는 경우, 객체 이미지 개선 장치(100)는 와핑한 객체 영상을 학습 타겟 사이즈인 128×128로 리사이징한다.
학습부(272)는 리사이징한 영상과 해당 영상에 대한 개선된 화질을 갖는 영상을 학습한다. 학습부(272)는 리사이징한 영상을 학습할 때, 객체의 각도가 틀어져 있는 경우, 객체에 대한 포즈 추정(Pose Estimation)을 수행하여 객체의 각도를 추정한다. 예측된 객체의 각도(포즈)에 따라 분류하여, 각도 별로 서로 다른 추론 네트워크를 생성할 수 있다.
인버스 리사이징부(280)는 개선 객체 영상을 다시 원본 사이즈로 인버스 리사이징(Inverse Resizing)한 인버스 리사이징 개선 객체 영상을 생성한다.
인버스 와핑부(290)는 개선 객체 영상을 입력 영상의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성한다. 인버스 와핑부(290)는 인버스 리사이징 개선 객체 영상을 입력 영상의 객체 위치로 인버스시킨다. 출력부(292)는 인버스 와핑 객체 영상을 입력 영상(본 실시예의 경우, 입력된 바운딩 박스) 내에 적용시킨다.
도 2b에 도시된 객체 이미지 개선부(150)는 입력부(220), 포즈 추정부(250), 파라미터 선택부(252), 리사이징부(260), 추론부(270), 학습부(272), 인버스 리사이징부(280), 출력부(292)를 포함한다. 객체 이미지 개선부(150)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니며, 220~292의 구성 요소 중 일부 또는 전부를 포함할 수 있다.
객체 이미지 개선부(150)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2b에 도시된 객체 이미지 개선부(150)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
입력부(220)는 사전에 정의된 객체를 포함하는 바운딩 박스와 해당 바운딩 박스 내에 포함된 객체 이미지를 개선하기 위해 선택된 모델 정보를 입력받는다.
포즈 추정부(250)는 바운딩 박스 내의 객체의 각도를 산출한다.
포즈 추정부(250)는 객체 영상이 정면을 바라보기 위해서 6축(Axis) 중 요(Yaw) 방향 또는 피치(Pitch) 방향으로 회전이 필요하다고 판단되는 경우, 객체 영상을 측면을 바라보는 측면 객체 영상으로 판단하고, 측면 객체 영상의 객체의 포즈 추정(Pose Estimation)을 수행하여 객체 각도를 추정한다.
포즈 추정부(250)에서 추정하는 정보는 여러 방향의 각도나 기타 정보(깊이, 길이, 높이, 밝기, 채도 등의 영상으로부터 측정 가능한 측도)일 수 있으며, 해당 정보의 추정 구간 크기, 추정 해상도 등은 필요에 따라 다양하게 정의하여, 해당 구간을 추정할 수 있다.
파라미터 선택부(252)는 객체 각도 등의 포즈 추정 정보에 대응하는 파라미터를 선택한다.
리사이징부(260)는 객체 영상을 기 설정된 타겟 사이즈로 리사이징(Resizing)하여 리사이징 객체 영상을 생성한다.
추론부(270)는 객체의 각도 등의 포즈 추정 정보에 대응하여 파라미터 선택부(252)에서 선택한 파라미터를 적용한 추론기를 이용하여, 리사이즈된 입력 영상(본 실시예의 경우, 입력된 바운딩 박스) 내의 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성한다. 즉, 추론부(270)는 리사이징 객체 영상을 개선한 개선 객체 영상을 생성한다.
추론부(270)는 포즈 추정부(250)에서 추정한 객체 각도가, 일 예로, 0~30˚사이인 경우, 0~30˚ 사이의 객체 각도를 갖는 측면 객체 영상에 대응하는 파라미터로 학습한 복원 모델을 이용하여 객체 영상의 화질을 개선한다. 추론부(270)는 포즈 추정부(250)에서 추정한 객체 각도가, 일 예로, 31~60˚사이인 경우, 31~60˚ 사이의 객체 각도를 갖는 측면 객체 영상측면 객체 영상에 대응하는 파라미터로 학습한 복원 모델을 이용하여 객체 영상의 화질을 개선한다. 추론부(270)는 포즈 추정부(250)에서 추정한 객체 각도가, 일 예로, 61~90˚사이인 경우, 61~90˚ 사이의 객체 각도를 갖는 측면 객체 영상측면 객체 영상에 대응하는 파라미터로 학습한 복원 모델을 이용하여 객체 영상의 화질을 개선한다. 이때 각도 구간 별로 적용되는 추론기 파라미터 선택은 파라미터 선택부(252)에서 이루어지고, 생성된 파라미터 선택 정보 신호가 추론부(270)의 입력으로 적용되어, 추론부(270)에서 해당 각도에 따른 파라미터로 학습한 복원 모델 적용할 수 있도록 한다.
포즈 추정부(250)에서 추정하는 정보는 여러 방향의 각도나 기타 정보(깊이, 길이, 높이, 밝기, 채도 등의 영상으로부터 측정 가능한 측도)일 수 있으며, 해당 정보의 추정 구간 크기, 추정 해상도 등은 필요에 따라 다양하게 정의하여, 해당 구간을 추정할 수 있다.
학습부(272)는 다양한 객체의 형태가 각도에 따라 변화되는 다양한 현상과 왜곡을 개선시킨 결과를 학습한 학습 모델을 생성할 수 있다. 학습부(272)는 트레이닝 과정에서 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 복원 모델을 생성한다.
학습부(272)는, 일 예로, 0~30˚사이로 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 0~30˚ 복원 모델을 생성한다. 학습부(272)는, 일 예로, 31~60˚사이로 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 31~60˚ 복원 모델을 생성한다. 학습부(272)는,일 예로, 61~90˚ 사이로 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 61~90˚ 복원 모델을 생성한다. 이때 학습 구간 속성은 각도나 기타 정보(깊이, 길이, 높이, 밝기, 채도 등의 영상으로부터 측정 가능한 측도)일 수 있으며, 해당 정보의 구간 크기, 해상도 등은 필요에 따라 다양하게 정의하여 학습 및 추론에 적용할 수 있다.
인버스 리사이징부(280)는 개선 객체 영상을 다시 원본 사이즈로 인버스 리사이징(Inverse Resizing)한 인버스 리사이징 개선 객체 영상을 생성한다. 출력부(292)는 인버스 와핑 객체 영상을 입력 영상(본 실시예의 경우, 입력된 바운딩 박스)에 적용시킨다.
도 3은 본 실시예에 따른 객체 영상 개선 과정을 나타낸 도면이다.
도 3의 (a)에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 입력 영상을 입력받는다. 입력 영상 내에서 다양한 위치에 객체가 존재할 수 있다.
도 3의 (b)에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 입력 영상 내에서 객체가 위치하는 영역을 검출한다. 객체 이미지 개선 장치(100)는 객체 영역 내의 주요 피쳐를 포함하는 랜드마크를 추출한다. 다시 말해, 객체 이미지 개선 장치(100)는 입력 영상(Input Image)으로부터 바운딩 박스(Bounding-Box)를 검출(Detection)하고, 바운딩 박스 내에서 객체의 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)한다.
도 3의 (c)에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 추출된 랜드마크를 기반으로 객체를 가운데(정면을 바라보는 위치) 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한다. 다시 말해, 객체 이미지 개선 장치(100)는 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성한다.
도 3의 (d)에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 기 학습된 학습 모델을 이용하여 와핑 객체 영상을 개선하도록 추론(Inference)하는 개선 객체 영상을 생성한다. 다시 말해, 객체 이미지 개선 장치(100)는 가운데(정면을 바라보는 위치) 또는 기준 위치로 정렬(Alignment)된 영상에 대해서 이미지를 개선(SR: Super Resolution 등)하는 작업을 수행한다.
객체 이미지 개선 장치(100)는 와핑 객체 영상을 개선할 때 SR을 이용할 수 있다. SR(Super Resolution)은 작은 사이즈의 열화된 저화질을 갖는 영상을 큰 사이즈의 고화질을 갖는 영상으로 복원하는 기술이다. 예컨대, CCTV로 촬영한 영상에 SR을 적용하면, 작은 사이즈의 저화질을 갖는 영상 내의 불분명한 객체를 큰 사이즈의 고화질을 갖는 객체로 개선하여 영상 내 객체를 식별할 수 있는 수준으로 복원시킬 수 있다. 객체 이미지 개선 장치(100)는 와핑 객체 영상을 업스케일링 시키거나 인공지능을 이용하여 학습한 객체로 복원시킨다.
도 3의 (e)에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 개선된 이미지를 다시 역으로 돌리는 인버스 와핑(Inverse Warping)을 수행한다. 다시 말해, 객체 이미지 개선 장치(100)는 개선 객체 영상을 입력 영상의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하고 인버스 와핑 객체 영상을 입력 영상에 적용시킨다.
도 4는 본 실시예에 따른 바운딩 박스 검출과 랜드마크 위치 검출을 나타낸 도면이다.
객체 이미지 개선 장치(100)는 바운딩 박스 검출과 랜드마크 검출에 딥러닝 기반 기술을 이용할 수 있으며, 일예로, RetinaFace 구조를 갖는 딥러닝을 이용할 수 있다.
객체 이미지 개선 장치(100)는 입력 영상으로부터 바운딩 박스(Bounding Box)를 검출(Detection)하고, 바운딩 박스 내에서 객체를 검출한다. 객체 이미지 개선 장치(100)는 검출된 객체로부터 랜드마크(Landmark)를 검출(Detection)하여 객체의 주요 특징을 추출한다.
객체 이미지 개선 장치(100)는 추출된 랜드마크를 기반으로 와핑(Warping)을 수행하여 랜드마크를 정렬하여 객체의 회전을 정규화한다. 즉, 객체 이미지 개선 장치(100)는 요(Yaw), 피치(Pitch), 롤(Roll) 중 롤 방향으로만 회전시킨다.
객체 이미지 개선 장치(100)는 정렬된 객체의 크기를 학습된 모델 크기로 리사이징(Resizing)하여 객체의 크기를 정규화한다. 객체 이미지 개선 장치(100)는 객체 포즈 추정(Pose Estimation)을 이용하여 요(Yaw)와 피치(Pitch)의 구간 별로 특화된 모델을 트레이닝(Training)한다. 객체 이미지 개선 장치(100)는 전술한 과정을 학습과 추론에 동일한 순서로 적용하여 일반화 성능을 향상시킨다.
트레이닝 부분과 추론(Inference)이 동일한 형식 수행되므로, 추론시 트레이닝과 동일한 방식이 적용되어서 객체 개선 효과가 높다. 트레이닝 방식 자체가 테스팅 방식과 동일하게 바운딩 박스를 검출하고, 랜드마크를 검출하여, 객체를 가운데 또는 기준 위치로 정렬하는 와핑을 수행한 결과를 기반으로 트레이닝하기 때문에 객체 개선 효과가 높다.
다시 말해, 트레이닝 시 단순하게 정면을 바라보는 영상을 화질을 개선시킨 결과만을 학습하는 것이 아니라, 특정 방향을 바라보는 객체가 정면을 바라보도록 와핑한 후 화질을 개선한 결과를 학습하기 때문에, 와핑시 발생하는 다양한 왜곡을 미리 학습할 수 있으므로, 실제 테스팅 과정에서 화질 개선 효과를 극대화할 수 있다.
트레이닝 시 객체를 가운데 또는 기준 위치로 정렬해서 정면을 바라보도록 와핑을 수행할 때 다양한 객체의 형태가 각도에 따라 변화되는 다양한 현상과 왜곡을 개선시킨 결과가 학습한 학습 모델을 생성할 수 있다. 트레이닝 시 정면을 바라보는 영상을 개선시킨 결과만을 학습한다.
도 5는 본 실시예에 따른 객체 영상에 대한 와핑 과정을 나타낸 도면이다.
도 5에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 DeepFaceLab 라이브러리의 중앙 정렬된 51개의 랜드마크로부터 주요 피쳐(예컨대, 좌안, 우안, 코, 입 왼쪽 끝, 입 오른쪽 끝)에 해당하는 5개의 랜드마크를 추출한다.
객체 이미지 개선 장치(100)는 5개의 랜드마크를 정렬하기 위한 기준 좌표를 이용한다. 객체 이미지 개선 장치(100)는 입력되는 객체 영상으로부터 5개의 랜드마크를 검출하고, 검출된 랜드마크를 해당 기준 좌표로 정렬하여 객체를 중앙 정렬한다. 객체 이미지 개선 장치(100)는 전술한 과정을 이용하여 6축(Axis)(요, 피치, 롤) 회전 중 롤에 대해서 정규화된 입력 영상을 획득한다.
객체 이미지 개선 장치(100)는 바운딩 박스 내에서 객체를 와핑할 때, 2D 영상의 6축(Axis)(요, 피치, 롤) 중 롤 방향(시계방향 또는 반시계방향)으로 회전시켜서 객체를 와핑한다. 객체 이미지 개선 장치(100)는 객체를 가운데 또는 기준 위치로 정렬해서 정면을 바라보도록 와핑을 수행할 때, 랜드마크를 기반으로 기준 피쳐 포인트를 항상 일정한 고정된 라인에 위치시킬 때, 롤 방향(시계방향 또는 반시계방향)으로 회전시켜서 객체를 와핑한다.
객체 이미지 개선 장치(100)는 바운딩 박스 내에서 객체를 와핑할 때, 2D 영상의 6축 중 요 방향 또는 피치방향으로 회전이 필요하다고 판단되는 경우, 객체의 포즈 추정(Pose Estimation)을 수행한다. 객체 이미지 개선 장치(100)는 객체의 포즈 추정을 수행하여 정면을 기준으로 객체의 각도(요 방향 또는 피치 방향)가 얼마나 틀어져 있는지를 추정한다.
객체 이미지 개선 장치(100)는 바운딩 박스 내에서 객체를 와핑할 때, 반드시 롤 방향으로만 회전시키는 것이 아니라 요 방향 또는 피치 방향으로 회전시킬 수 있다. 객체 이미지 개선 장치(100)는 트레이닝 과정에서, 요 방향, 피치 방향, 롤 방향으로 회전시켜서 객체를 와핑한 영상을 개선한 결과를 학습한 각각의 전문적인 복원 모델을 생성할 수 있다.
도 6은 본 실시예에 따른 와핑 과정을 구체적으로 나타낸 도면이다.
도 6에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 x` 와 y` 중에서 보다 긴 라인을 객체를 대표할 수 있는 라인으로 가정한다. 랜드마크가 잘못 추정된 경우나 객체가 지나치게 회전한 경우에 대하여 강건(Robust)한 정렬이 가능하다.
도 6에 도시된 바와 같이, 객체 이미지 개선 장치(100)는 객체를 정렬하기 위해, 랜드마크의 주요 피쳐 포인트를 찾는다. 객체 이미지 개선 장치(100)는 주요 피쳐 포인트 중 상단 피쳐를 가로축으로 연결한 상단 가로축 라인(x`)의 중간점을 추출한다. 객체 이미지 개선 장치(100)는 주요 피쳐 포인트 중 하단 피쳐를 가로축으로 연결한 하단 가로축 라인의 중간점을 추출한다. 객체 이미지 개선 장치(100)는 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 세로축 라인(y`)으로 연결한다.
객체 이미지 개선 장치(100)는 세로축 라인(y`)을 반시계 방향으로 90˚만큼 회전시킨다. 객체 이미지 개선 장치(100)는 x축 벡터와 y축 벡터를 더한 값을 산출한다. 객체 이미지 개선 장치(100)는 x축 벡터와 y축 벡터를 더한 값을 기반으로 객체를 얼마나 돌려서 정렬할지를 결정할 수 있다. 전술한 방식을 이용하면, 객체에 경사가 있는 경우, 경사를 보정해주면서 가운데 또는 기준 위치로 정렬해 줄 수 있다.
일반적으로 가로축 라인(x`)과 세로축 라인(y`)이 정확하게 예측된 경우, 안정적으로 동작하지만, 일반적으로 가로축 라인(x`)과 세로축 라인(y`) 중 어느 하나라도 예측이 잘못된(랜드마크 자체가 잘못 추정된 경우) 경우, 잘못된 결과가 도출된다.
따라서, 본 실시예에 따른 객체 이미지 개선 장치(100)는 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`) 중 어떤 축이 전체 객체를 더 잘 반영하는 지를 기반으로 해당 축만을 정렬에 사용한다.
객체 이미지 개선 장치(100)는 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`) 중 더 큰 축을 더 신뢰할 수 있는 축으로 판단한다.
예컨대, 객체 이미지 개선 장치(100)는 상단 가로축 라인(x`)이 기준값과 비교하여 짧다고 판단되는 경우, 상단 가로축 라인(x`)이 잘못 추정된 값으로 인지한다. 객체 이미지 개선 장치(100)는 상단 가로축 라인(x`)을 무시하고, 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`)만을 기반으로 객체가 중앙에 오도록 정렬한다.
객체 이미지 개선 장치(100)는 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`) 각각에 대해서 길이 보정을 먼저 수행한다. 객체 이미지 개선 장치(100)는 길이 보정이 반영된 상단 가로축 라인(x`)과 상단 가로축 라인(x`)의 중간점과 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`)을 서로 비교한다. 객체 이미지 개선 장치(100)는 서로 비교한 결과, 더 큰 축을 신뢰할 수 있는 축으로 판별한다. 객체 이미지 개선 장치(100)는 신뢰할 수 있는 축을 기반으로 얼마나 확대할지 축소할지를 결정한 스케일(s)값과 객체를 얼마나 돌릴지를 결정한 각도(θ)값을 산출한다. 전술한 방식을 이용하는 경우, 성능 향상에 큰 도움이 된다.
도 7은 본 실시예에 따른 복수의 영상에 대한 와핑을 나타낸 도면이다.
객체 이미지 개선 장치(100)는 일반적인 와핑(Warping)과 본 실시예에 따른 와핑방법을 비교한 결과 객체 비율에 관계없이 일정한 크기를 갖는 점과 동일한 라인 상에 기준 피쳐 포인트가 위치한다는 점에서 장점을 갖는다.
객체 이미지 개선 장치(100)는 객체 영역 내의 주요 피쳐를 포함하는 랜드마크를 추출한다. 객체 이미지 개선 장치(100)는 랜드마크를 기반으로 객체 영역의 라인이 고정된 라인에 위치시킨다.
객체 이미지 개선 장치(100)는 랜드마크의 피쳐 포인트를 기반으로 트랜스폼을 예측하는 방식으로 와핑을 수행한다. 객체 이미지 개선 장치(100)는 와핑시 트랜스폼으로 Similarity transform, Affine transform, Perspective transform 등을 이용할 수 있다.
객체 이미지 개선 장치(100)는 랜드마크의 피쳐 포인트를 기반으로 변환하는 연립 방정식으로 생성하여 변환하는 파라미터를 예측할 수 있다. 객체 이미지 개선 장치(100)는 을 연립 방정식을 이용하여 스케일의 확대값, 각도값, X축 기울기, Y축 기울기의 파라미터값을 예측할 수 있다.
도 7에 도시된 바와 같이, 와핑 시 객체에 왜곡이 발생하거나, 객체의 스케일이 일정 비율로 유지되지 않는 경우가 발생한다. 어른 객체 영상의 경우, 와핑시 스케일이 작아지는 문제가 있으며, 어린아이 객체 영상의 경우, 와핑시 스케일이 커지는 문제가 발생한다. 어린아이 객체 영상의 경우, 눈과 입 사이의 간격이 좁은데, 이를 중앙으로 정렬하다 보니, 스케일이 커지게 되며, 반대로 어른 객체 영상의 경우, 스케일이 작아지게 된다.
따라서, 전술한 문제를 해결하기 위해, 본 실시예에 따른 객체 이미지 개선 장치(100)는 눈 라인이 사각형 상태에서 항상 동일한 영역에 위치하도록 하며, 객체의 크기를 거의 동일한 크기로 조정한다. 객체의 크기가 거의 동일하므로, 나이와 무관하게 객체가 거의 동일한 비율을 갖도록 한다.
객체 이미지 개선 장치(100)는 와핑한 객체 영상을 학습한 모델에 대응하는 타겟 사이즈(예컨대, 1024×1024)로 리사이징한다. 객체 이미지 개선 장치(100)는 타겟 사이즈로 리사이징한 영상의 화질을 개선할 때, 멀티스케일엔진을 이용하여 해당 이미지의 모든 스케일에 대해서 피쳐를 분석하고 개선한다.
도 8은 본 실시예에 따른 객체에 대한 포즈 추정을 나타낸 도면이다.
객체 이미지 개선 장치(100)는 객체 포즈 추정을 위해 딥러닝 기반 기술을 사용할 수 있으며, 바람직하게는 FSA-Net 구조를 이용할 수 있다.
객체 이미지 개선 장치(100)는 객체를 가운데 또는 기준 위치로 정렬해서 정면을 바라보도록 와핑을 수행할 때, 랜드마크를 기반으로 객체의 기준 라인을 항상 일정한 고정된 라인에 위치시킨다.
따라서, 입력 영상 내의 객체가 옆으로 돌아가 있거나, 각도가 틀어져 있는 포즈의 변화에 대응하기 어렵기 때문에, 객체 이미지 개선 장치(100)는 추가적으로 객체의 포즈 추정(Pose Estimation)을 수행한다. 객체 이미지 개선 장치(100)는 객체의 포즈 추정을 수행하여 정면을 기준으로 객체의 각도가 얼마나 틀어져 있는지를 추정한다.
객체 이미지 개선 장치(100)는 와핑한 객체 영상이 정면을 바라보는 객체 영상인 경우, 정면 객체 영상을 기반으로 학습한 복원 모델을 이용하여 와핑한 객체 영상(정면을 바라보는 객체 영상)의 화질을 개선한다.
객체 이미지 개선 장치(100)는 와핑한 객체 영상이 측면을 바라보는 객체 영상인 경우, 측면 객체 영상을 기반으로 학습한 복원 모델을 이용하여 와핑한 객체 영상(측면을 바라보는 객체 영상)의 화질을 개선한다.
다시 말해, 객체 이미지 개선 장치(100)는 와핑한 객체 영상이 측면을 바라보는 객체 영상인 경우, 정면을 기준으로 객체가 틀어진 각도에 적합한 복원 모델을 추출한다. 객체 이미지 개선 장치(100)는 객체가 틀어진 각도에 적합한 복원 모델을 이용하여 와핑한 객체 영상(측면을 바라보는 객체 영상)의 화질을 개선한다.
객체 이미지 개선 장치(100)는 와핑한 객체 영상을 기준 정면 영상(템플릿)과 비교하여, 와핑한 객체 영상이 기 설정된 임계치 이상으로 기준 정면 영상(템플릿)과 차이가 발생하는 경우, 와핑한 객체 영상이 측면 객체 영상인 것으로 인지한다. 객체 이미지 개선 장치(100)는 와핑한 객체 영상이 측면 객체 영상인 것으로 인지하면, 객체의 포즈 추정(Pose Estimation)을 수행하여 객체의 틀어진 각도를 추정한다.
객체 이미지 개선 장치(100)는 트레이닝 과정에서 0~30˚사이의 각도로 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 0~30˚사이 복원 모델을 생성한다. 객체 이미지 개선 장치(100)는 와핑된 영상이 측면 객체 영상인 것으로 판단되면, 포즈 추정을 수행하여 객체가 틀어진 각도가 0~30˚로 판단되면, 0~30˚ 사이 복원 모델을 이용하여 와핑된 영상의 화질을 개선한다.
객체 이미지 개선 장치(100)는 트레이닝 과정에서 31~60˚사이의 각도로 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 31~60˚사이 복원 모델을 생성한다. 객체 이미지 개선 장치(100)는 와핑된 영상이 측면 객체 영상인 것으로 판단되면, 포즈 추정을 수행하여 객체가 틀어진 각도가 31~60˚로 판단되면, 31~60˚ 사이 복원 모델을 이용하여 와핑된 영상의 화질을 개선한다.
객체 이미지 개선 장치(100)는 트레이닝 과정에서 61~90˚사이의 각도로 틀어진 측면 객체 영상의 화질을 개선한 결과를 학습한 61~90˚사이 복원 모델을 생성한다. 객체 이미지 개선 장치(100)는 와핑된 영상이 측면 객체 영상인 것으로 판단되면, 포즈 추정을 수행하여 객체가 틀어진 각도가 61~90˚로 판단되면, 61~90˚ 사이 복원 모델을 이용하여 와핑된 영상의 화질을 개선한다.
도 9는 본 실시예에 따른 하나의 프레임 내에 복수의 객체를 개선하는 방법을 나타낸 도면이다.
객체 이미지 개선 장치(100)는 비디오에 적용하거나 하나의 프레임 내에 복수의 객체가 존재하는 경우에 적용 가능하다. 객체 이미지 개선 장치(100)는 각각의 객체에 대해서, 바운딩 박스를 검출하고, 바운딩 박스 내에서 랜드마크를 검출하고, 랜드마크를 이용하여 객체를 가운데 또는 기준 위치로 정렬하는 와핑을 수행한다.
객체 이미지 개선 장치(100)는 와핑한 영상을 추론(Inference)하여 화질을 개선한 후 다시 원래의 객체 위치로 인버스 와핑한다. 객체 이미지 개선 장치(100)는 인버스 와핑 객체 영상을 입력 영상에 삽입할 때, 세그먼테이션(Segmentation)을 먼저 수행한 상태에서 객체 영역으로 인지되는 영역에만 인버스 와핑 객체 영상을 삽입한다.
예컨대, 하나의 바운딩 박스 내에 두 개 이상의 객체가 인접해서 존재하는 경우, 바운딩 박스를 기반으로 그대로 인버스 와핑 영상을 삽입하면 인접한 객체가 배경으로 처리될 수 있으므로, 객체 이미지 개선 장치(100)는 입력 영상에 대해 세그먼테이션을 수행하여 객체 영역을 마스킹한 후 해당 영역만 전체 영상에 블렌딩한다. 이때, 하나의 바운딩 박스 내에서 중앙 또는 기준 위치에 위치한 객체가 해당 바운딩 박스의 객체이며, 나머지 객체들은 배경으로 마스킹한다.
객체 이미지 개선 장치(100)는 영상 내의 바운딩 박스 이외의 배경 영역에 대해서도 영상의 화질을 개선할 수 있으며, 배경 영역과 객체 영역을 블랜딩할 수 있다.
객체 이미지 개선 장치(100)는 객체와 배경을 구분해서 세그먼테이션한다. 객체 이미지 개선 장치(100)는 복수의 객체가 인접해 있는 경우, 별도로 세그먼테이션 한다. 객체 이미지 개선 장치(100)는 각 객체별로 식별자(ID)를 부여할 수 있다. 객체 이미지 개선 장치(100)는 추론(Inference)할 때 배경(background)에 대한 화질 개선을 별도로 수행한다.
도 10은 본 실시예에 따른 자동차 번호판을 개선하는 방법을 나타낸 도면이다.
객체 이미지 개선 장치(100)는 배경 내에 포함된 객체에 각각 특화하여 적용 가능하다. 예컨대, 객체 이미지 개선 장치(100)는 자동차 번호판에 특화하여 적용하는 경우, 번호판의 숫자를 잘 복원하도록 하는 학습된 딥러닝 네트워크(학습 모델)를 이용할 수 있다.
객체 이미지 개선 장치(100)는 전처리 단계에서 자동차의 번호판들을 검출한 후 번호판 영역에 대해서만 기 학습된 딥러닝 네트워크(학습 모델)를 적용할 수 있다. 객체에 대해서 랜드마크를 추출하여 적용 가능하다.
예컨대, 객체가 얼굴인 경우 눈코입에 대한 랜드마크가 존재하고, 객체가 자동차 번호판인 경우 기 할당된 자릿수를 갖는 숫자와 텍스트에 대한 랜드마크가 존재하고, 객체가 차량인 경우 유리영역, 바퀴영역에 대한 랜드마크가 존재한다. 영상 내에 포함된 모든 객체에 대한 랜드마크 특성을 이용할 수 있다.
객체 이미지 개선 장치(100)는 입력 영상으로부터 대상이 되는 객체를 모두 인식하여 식별자(ID)를 부여할 수 있다. 객체 이미지 개선 장치(100)는 ID별로 각 객체의 바운딩 박스를 검출한다. 객체 이미지 개선 장치(100)는 바운딩 박스 내의 각 객체를 검출한다. 객체 이미지 개선 장치(100)는 각 객체 주요 피쳐를 포함하는 랜드마크를 추출한다.
객체 이미지 개선 장치(100)는 추출된 랜드마크를 기반으로 객체를 가운데(정면을 바라보는 위치) 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한다. 객체 이미지 개선 장치(100)는 가운데(정면을 바라보는 위치) 또는 기준 위치로 정렬(Alignment)된 영상에 대해서 이미지를 개선(SR: Super Resolution 등)하는 작업을 수행한다. 객체 이미지 개선 장치(100)는 개선된 이미지를 다시 역으로 돌리는 인버스 와핑(Inverse Warping)을 수행한다. 객체 이미지 개선 장치(100)는 인버스 와핑한 영상을 입력 영상에 삽입한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 입력 영상(Input Image)을 입력받는 입력부;
    상기 입력 영상에서 복수의 바운딩 박스(Bounding-Box)를 검출(Detection)하는 바운딩 박스 검출부;
    상기 각각의 바운딩 박스에서 객체를 인지하는 객체 인식부;
    상기 입력 영상에서 배경화면을 추출하는 배경 추출부;
    상기 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)하고, 상기 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성하고, 기 학습된 객체 학습 모델을 이용하여 상기 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성하고, 상기 개선 객체 영상을 상기 입력 영상의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하는 객체 이미지 개선부;
    기 학습된 배경화면 학습 모델을 이용하여 상기 배경화면을 개선하도록 추론(Inference)한 개선 배경화면 영상을 생성하는 배경 이미지 개선부;
    상기 인버스 와핑 객체 영상을 세그먼테이션(Segmentation)하는 세그먼테이션부;
    세그먼테이션한 상기 인버스 와핑 객체 영상과 상기 개선 배경화면 영상을 블렌딩(Blending)하여 블렌딩 영상을 생성하는 블렌딩부; 및
    상기 블렌딩 영상을 출력 영상으로 하여 출력하는 출력부
    를 포함하는 것을 특징으로 하는 객체 이미지 개선 장치.
  2. 바운딩 박스로 표시된 복수의 객체를 입력받는 입력부;
    상기 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)하는 랜드마크 검출부;
    상기 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성하는 와핑부;
    기 학습된 객체 학습 모델을 이용하여 상기 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성하는 추론부;
    상기 개선 객체 영상을 상기 바운딩 박스의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하는 인버스 와핑부;
    상기 인버스 와핑 객체 영상을 상기 바운딩 박스에 적용시키는 출력부
    를 포함하는 것을 특징으로 하는 객체 이미지 개선 장치.
  3. 제2항에 있어서,
    상기 와핑 객체 영상을 기 설정된 타겟 사이즈로 리사이징(Resizing)하여 리사이징 와핑 객체 영상을 생성하는 리사이징부;
    상기 추론부에서 상기 리사이징 와핑 객체 영상을 개선한 상기 개선 객체 영상을 생성하며,
    상기 개선 객체 영상을 다시 원본 사이즈로 인버스 리사이징(Inverse Resizing)한 인버스 리사이징 개선 객체 영상을 생성하는 인버스 리사이징부;
    상기 인버스 와핑부에서 인버스 리사이징 개선 객체 영상을 상기 입력 영상의 객체 위치로 인버스시키는 것을 특징으로 하는 객체 이미지 개선 장치.
  4. 제3항에 있어서,
    상기 와핑부는
    상기 바운딩 박스 내의 객체의, 상기 랜드마크에 포함된 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬하는 것을 특징으로 하는 객체 이미지 개선 장치.
  5. 제4항에 있어서,
    상기 와핑부는
    상기 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬할 때, 객체 영상이 정면을 바라보는 정면 객체 영상으로 판단되면, 상기 정면 객체 영상의 6축(Axis) 중 롤 방향만을 시계방향 또는 반시계방향으로 회전시켜서 객체를 와핑하는 것을 특징으로 하는 객체 이미지 개선 장치.
  6. 제5항에 있어서,
    상기 와핑부는
    상기 랜드마크의 주요 피쳐 포인트를 찾고, 상기 주요 피쳐 포인트 중 상단 피쳐를 가로축으로 연결한 상단 가로축 라인(x`)의 중간점을 추출하고,
    상기 주요 피쳐 포인트 중 하단 피쳐를 하단 가로축 라인으로 연결한 후 상기 하단 가로축 라인의 중간점을 추출하고,
    상기 상단 가로축 라인(x`)의 중간점과 상기 하단 가로축 라인의 중간점을 세로축 라인(y`)으로 연결하며,
    상기 상단 가로축 라인(x`)과 상기 상단 가로축 라인(x`)의 중간점과 상기 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`)을 기반으로 객체를 와핑하는 것을 특징으로 하는 객체 이미지 개선 장치.
  7. 제6항에 있어서,
    상기 와핑부는
    상기 상단 가로축 라인(x`)과 상기 상단 가로축 라인(x`)의 중간점과 상기 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`) 각각에 대해서 객체의 가로 세로 비율에 대응하는 길이 보정을 수행하고,
    상기 길이 보정이 반영된 상단 가로축 라인(x`)과 상기 상단 가로축 라인(x`)의 중간점과 상기 하단 가로축 라인의 중간점을 연결한 세로축 라인(y`)을 서로 비교하며, 서로 비교한 결과, 더 큰 축을 신뢰할 수 있는 축으로 판별하고, 상기 신뢰할 수 있는 축을 기준으로 회전하여 객체를 와핑하는 것을 특징으로 하는 객체 이미지 개선 장치.
  8. 제7항에 있어서,
    상기 추론부는,
    상기 와핑 객체 영상이 정면을 바라보는 정면 객체 영상인 경우, 정면 객체 영상을 기반으로 학습한 복원 모델을 이용하여 상기 와핑 객체 영상의 화질을 개선하는 것을 특징으로 하는 객체 이미지 개선 장치.
  9. 제8항에 있어서,
    상기 와핑부는,
    상기 기준 피쳐 포인트를 기 설정된 고정된 라인에 위치되도록 정렬할 때, 롤 방향만을 시계방향 또는 반시계방향으로 회전시켜서 객체를 와핑하는 것을 특징으로 하는 객체 이미지 개선 장치.
  10. 제9항에 있어서,
    상기 와핑 객체 영상이 정면을 바라보기 위해서 6축(Axis) 중 요(Yaw) 방향 또는 피치(Pitch) 방향으로 회전이 필요하다고 판단되는 경우, 객체 영상을 측면을 바라보는 측면 객체 영상으로 판단하고, 상기 측면 객체 영상의 객체의 포즈 추정(Pose Estimation)을 수행하여 객체 각도를 추정하는 포즈 추정부;
    상기 객체 각도에 대응하는 파라미터를 선택하는 파라미터 선택부;
    를 추가로 포함하는 것을 특징으로 하는 객체 이미지 개선 장치.
  11. 제10항에 있어서,
    상기 추론부는,
    상기 와핑 객체 영상이 측면을 바라보는 측면 객체 영상인 경우, 측면 객체 영상을 기반으로 학습한 복원 모델을 이용하여 상기 와핑 객체 영상의 화질을 개선하는 것을 특징으로 하는 객체 이미지 개선 장치.
  12. 바운딩 박스로 표시된 객체를 복수개 입력받는 과정;
    상기 객체 별로 주요한 피쳐들인 랜드마크(Landmark)를 검출(Detection)하는 과정;
    상기 랜드마크를 기반으로 객체 위치를 가운데 또는 기준 위치로 정렬(Alignment)하는 와핑(Warping)을 수행한 와핑 객체 영상을 생성하는 과정;
    기 학습된 객체 학습 모델을 이용하여 상기 와핑 객체 영상을 개선하도록 추론(Inference)한 개선 객체 영상을 생성하는 과정;
    상기 개선 객체 영상을 상기 바운딩 박스의 객체 위치로 인버스시키는 인버스 와핑(Inverse Warping)을 수행한 인버스 와핑 객체 영상을 생성하는 과정;
    상기 인버스 와핑 객체 영상을 상기 바운딩 박스에 적용시키는 과정
    을 포함하는 것을 특징으로 하는 객체 이미지 개선 방법.
  13. 바운딩 박스로 표시된 객체를 복수개 입력받는 입력부;
    상기 개별 바운딩 박스 내에서 객체의 각도를 산출하는 포즈 추정부;
    상기 객체의 각도에 대응하는 파라미터를 선택하는 파라미터 선택부; 및
    상기 파라미터에 대응하는 학습 모델을 이용하여 상기 바운딩 박스 내 객체 영상을 개선하도록 추론(Inference)하는 개선 객체 영상을 생성하는 추론부;
    를 포함하는 것을 특징으로 하는 객체 이미지 개선 장치.
  14. 제13항에 있어서,
    상기 추론부는,
    상기 포즈 추정부에서 추정한 상기 객체 각도를 이용하여, 상기 파라미터 선택부에서 사전에 정의된 수개의 각도 구간에 대응하여 상기 추정된 객체 각도가 포함된 각도 구간에 대응하는 파라미터를 선택하고, 선택된 파라미터 정보를 적용하여 상기 객체 영상의 화질을 개선하는 것을 특징으로 하는 객체 이미지 개선 장치.
  15. 바운딩 박스로 표시된 객체를 복수개 입력받는 과정;
    상기 개별 바운딩 박스 내에서 객체의 각도를 산출하는 과정;
    상기 객체의 각도에 대응하는 파라미터를 선택하는 과정; 및
    상기 파라미터에 대응하는 학습 모델을 이용하여 상기 바운딩 박스 내 객체 영상을 개선하도록 추론(Inference)하는 개선 객체 영상을 생성하는 과정;
    을 포함하는 것을 특징으로 하는 객체 이미지 개선 방법.
PCT/KR2021/007013 2020-06-05 2021-06-04 객체 이미지 개선 방법 및 장치 WO2021246822A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/075,406 US20230095142A1 (en) 2020-06-05 2022-12-05 Method and apparatus for improving object image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0068166 2020-06-05
KR1020200068166A KR102223754B1 (ko) 2020-06-05 2020-06-05 객체 이미지 개선 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/075,406 Continuation-In-Part US20230095142A1 (en) 2020-06-05 2022-12-05 Method and apparatus for improving object image

Publications (1)

Publication Number Publication Date
WO2021246822A1 true WO2021246822A1 (ko) 2021-12-09

Family

ID=75163893

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007013 WO2021246822A1 (ko) 2020-06-05 2021-06-04 객체 이미지 개선 방법 및 장치

Country Status (3)

Country Link
US (1) US20230095142A1 (ko)
KR (1) KR102223754B1 (ko)
WO (1) WO2021246822A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220130139A1 (en) * 2022-01-05 2022-04-28 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223754B1 (ko) * 2020-06-05 2021-03-05 주식회사 픽스트리 객체 이미지 개선 방법 및 장치
KR20240107987A (ko) * 2022-12-30 2024-07-09 주식회사 픽스트리 동영상의 객체 시퀀스를 복원하는 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054305A (ko) * 2000-06-01 2000-09-05 이성환 적은 수의 특징점을 이용한 얼굴 영상 압축과 손상된 얼굴영상의 복원 방법 및 장치
KR20100001409A (ko) * 2008-06-27 2010-01-06 가톨릭대학교 산학협력단 얼굴 표정 인식 방법 및 이를 사용하는 영상 콘텐츠 감상용 로봇의 동작 방법
US20190279393A1 (en) * 2018-03-06 2019-09-12 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
KR20190128930A (ko) * 2018-05-09 2019-11-19 삼성전자주식회사 영상 정규화 장치 및 방법
US20190392268A1 (en) * 2018-06-20 2019-12-26 Zoox, Inc. Machine Learning Techniques
KR102223754B1 (ko) * 2020-06-05 2021-03-05 주식회사 픽스트리 객체 이미지 개선 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054305A (ko) * 2000-06-01 2000-09-05 이성환 적은 수의 특징점을 이용한 얼굴 영상 압축과 손상된 얼굴영상의 복원 방법 및 장치
KR20100001409A (ko) * 2008-06-27 2010-01-06 가톨릭대학교 산학협력단 얼굴 표정 인식 방법 및 이를 사용하는 영상 콘텐츠 감상용 로봇의 동작 방법
US20190279393A1 (en) * 2018-03-06 2019-09-12 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
KR20190128930A (ko) * 2018-05-09 2019-11-19 삼성전자주식회사 영상 정규화 장치 및 방법
US20190392268A1 (en) * 2018-06-20 2019-12-26 Zoox, Inc. Machine Learning Techniques
KR102223754B1 (ko) * 2020-06-05 2021-03-05 주식회사 픽스트리 객체 이미지 개선 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220130139A1 (en) * 2022-01-05 2022-04-28 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium

Also Published As

Publication number Publication date
KR102223754B1 (ko) 2021-03-05
US20230095142A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
WO2021246822A1 (ko) 객체 이미지 개선 방법 및 장치
WO2021246821A1 (ko) 얼굴 이미지 개선 방법 및 장치
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2015174647A1 (ko) 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2021080233A1 (ko) 이미지 복원 방법 및 장치
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2018093100A1 (en) Electronic apparatus and method for processing image thereof
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2022075772A1 (ko) 영상복원 방법 및 장치
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2024063197A1 (ko) 영상 인페인팅 장치 및 방법
CN111242829A (zh) 一种水印提取方法、装置、设备及存储介质
EP3459009A2 (en) Adaptive quantization method for iris image encoding
WO2020235854A1 (ko) 불량 이미지 생성 장치 및 방법
WO2020101300A1 (ko) 영상 처리 장치 및 그 동작방법
WO2022255523A1 (ko) 멀티 스케일 객체 이미지 복원 방법 및 장치
JP2000134638A (ja) 画像処理装置
JPH0991453A (ja) 画像処理方法およびその装置
WO2024143822A1 (ko) 동영상의 객체 시퀀스를 복원하는 장치 및 방법
JPH06231257A (ja) 学習データ生成装置
JP3138381B2 (ja) 監視装置
WO2022139480A1 (en) Method and electronic device for identifying user
WO2023101167A1 (ko) 후면 영상정보 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21817432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21817432

Country of ref document: EP

Kind code of ref document: A1