WO2022250402A1 - 영상 처리 장치 및 그 동작방법 - Google Patents

영상 처리 장치 및 그 동작방법 Download PDF

Info

Publication number
WO2022250402A1
WO2022250402A1 PCT/KR2022/007304 KR2022007304W WO2022250402A1 WO 2022250402 A1 WO2022250402 A1 WO 2022250402A1 KR 2022007304 W KR2022007304 W KR 2022007304W WO 2022250402 A1 WO2022250402 A1 WO 2022250402A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
map
original
attribute
original image
Prior art date
Application number
PCT/KR2022/007304
Other languages
English (en)
French (fr)
Inventor
박두복
최웅일
곽재희
배재현
오영호
이성호
정승수
최나래
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22811595.2A priority Critical patent/EP4318377A1/en
Priority to US17/752,603 priority patent/US20220383450A1/en
Publication of WO2022250402A1 publication Critical patent/WO2022250402A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Definitions

  • Various embodiments relate to an image processing device that changes the size of an image and an operating method thereof, and more particularly, to an image processing device that selectively reduces distortion of a peripheral area of an image that occurs when the size of a peripheral area is selectively changed. and its operating method.
  • a method of inserting a black and white image in the upper and lower regions or left and right regions of the original image eg, based on letterboxing
  • linearly enlarging the original image e.g., based on linear scaling
  • distortion may occur in the image.
  • an image processing device when changing the size of an image, adaptively reconstructs an original image based on information related to the properties of the original image, thereby reducing or preventing distortion of a surrounding area (eg, a background portion) while An image processing device capable of preserving an object area and an operating method thereof may be provided.
  • An image processing device includes a memory in which one or more instructions are stored; and a processor that executes the one or more instructions stored in the memory, wherein the processor determines the original image based on first attribute-related information of the original image, which is information set by dividing an object region and a surrounding region of the original image.
  • the scale weight and the additional weight may be weights for obtaining a pixel value of a transformed pixel in the transformed image.
  • the processor executes the one or more instructions to apply the scale weight and the additional weight to corresponding pixels of the original pixels of the original image
  • the original pixel is based on a weight reflecting the scale weight and the additional weight.
  • a weighted sum of corresponding pixels of s is calculated, and a pixel value of a transformed pixel of the transformed image may correspond to a weighted sum of original pixels obtained based on the weight.
  • the processor executes the one or more instructions to generate a first attribute-based map corresponding to first attribute-related information of the original image, and based on the first attribute-based map, a scale for each of the original pixels determining a weight, generating a second attribute-based map corresponding to second attribute-related information of the original image, and obtaining an additional weight for the surrounding area based on the first attribute-based map and the second attribute-based map It is possible to determine a guide map including.
  • the first attribute-based map includes a saliency map of the original image or a depth map of the original image
  • the second attribute-based map is based on a change rate of a difference between pixel values of the original pixels.
  • the guide map may include a saliency guidance map obtained by combining an inverse map of the importance map and the texture map.
  • the scale weight obtained based on the first attribute-based map is determined as a predetermined first value for the object region and a predetermined value for the surrounding region when the converted image has a larger size than the original image. determined as a value greater than a first value, and based on the first attribute-based map, the scale weight is determined as a predetermined second value for the object region when the converted image has a smaller size than the original image; , may be determined as a value smaller than a predetermined second value for the peripheral area.
  • Density of the first attribute-based map is obtained based on entropy, change rates in vertical and horizontal directions are obtained based on the calculated density, and based on the change rates in the vertical and horizontal directions, the original In the converted image whose size is changed, the width of the original image may be changed in a horizontal direction while the height of the original image is changed in a vertical direction.
  • both the scale weight and the additional weight having a non-zero value may be applied to at least one pixel in the peripheral area of the original image.
  • each of original pixels in an original image is determined based on first attribute related information of an original image, which is information set by dividing an object region and a surrounding region of an original image. determining a scale weight for; Based on the first attribute-related information and second attribute-related information about the original image, which is information based on the amount of change between pixel values of adjacent pixels, adding at least one pixel among original pixels in the peripheral area determining weights; and obtaining a transformed image whose size is changed from the original image by applying the at least one scale weight and the additional weight to corresponding pixels of original pixels in the original image.
  • the scale weight and the additional weight may be weights for obtaining a pixel value of a transformed pixel in the transformed image.
  • the obtaining of the transformed image may include obtaining a weighted sum of corresponding pixels of the original pixels based on a weight that reflects the scale weight and the additional weight, and a pixel value of a transformed pixel of the transformed image is based on the weight It may correspond to a weighted sum of corresponding pixels of the calculated original pixels.
  • the determining of the scale weight may include generating a first attribute-based map corresponding to first attribute related information of the original image;
  • determining a scale weight for each of the original pixels based on the first attribute-based map wherein the determining of the additional weight comprises determining a second attribute related information of the original image. generating a second attribute-based map; and determining a guide map including an additional weight for the surrounding area based on the first attribute-based map and the second attribute-based map.
  • the guide map may include a saliency guidance map obtained by combining an inverse map of the importance map and a texture map.
  • the scale weight obtained based on the importance map is determined as a first predetermined value for the object region and greater than a predetermined first value for the surrounding region when the converted image has a larger size than the original image. determined by a large value
  • the scale weight is determined to be a predetermined second value for the object region based on the importance map and a value smaller than the predetermined second value for the surrounding region.
  • Density of the first attribute-based map is obtained based on entropy, and change rates in vertical and horizontal directions are obtained based on the calculated density;
  • the converted image whose size of the original image is changed may have a width of the original image changed in a horizontal direction while a height of the original image is changed in a vertical direction.
  • the obtaining of the transformed image may further include applying both the scale weight having a non-zero value and the additional weight to at least one pixel in the peripheral area of the original image.
  • a computer-readable recording medium recording a program executed by the at least one processor is information set by dividing an object area and a surrounding area of an original image. determining a scale weight for each of the original pixels in the original image, based on the first attribute-related information of the original image; Based on the first attribute-related information and second attribute-related information about the original image, which is information based on the amount of change between pixel values of adjacent pixels, adding at least one pixel among original pixels in the peripheral area determining weights; and
  • the scale weight and the additional weight are It may be a weight for obtaining a pixel value of a transformed pixel in the transformed image.
  • An image processing device may generate images having various aspect ratios without distorting backgrounds or objects included in the images.
  • FIG. 1 is a diagram illustrating a configuration of an image processing device according to an exemplary embodiment.
  • FIG. 2 is a diagram for explaining in detail a process of processing an original image by an image processing device.
  • FIG. 3 is a diagram for explaining in detail a process in which an image processing device scales an original image in both directions in consideration of an entropy-based importance density.
  • 4A is a diagram for explaining a process of generating, by an image processing apparatus, a transformed image whose size is changed using a scale weight based on an importance map, according to an embodiment of the present disclosure.
  • 4B is a diagram for explaining a process of expanding a pixel grid when an image processing device according to an embodiment of the present disclosure performs resizing.
  • 4C is a diagram for explaining unidirectional conversion and bidirectional conversion according to an embodiment of the present disclosure.
  • 5A is a diagram for explaining a process of adjusting a ratio of an image through density analysis of entropy-based importance by an image processing apparatus according to an embodiment of the present disclosure.
  • 5B to 5C are diagrams for explaining a specific process of adjusting a ratio of an image through density analysis of entropy-based importance by an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a process of selectively adjusting an aspect ratio according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram for explaining a process of extracting a texture map by an image processing device according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram for explaining a process of extracting an importance guidance map using a texture map by an image processing device according to an embodiment of the present disclosure.
  • 8A illustrates pseudocodes in a horizontal upscale case according to an embodiment of the present disclosure.
  • FIG. 8B is a diagram for explaining a difference between a transformed pixel value generated based on an additional weight and a transformed pixel value generated without an additional weight according to a pseudocode in the horizontal upscale case of FIG. 8A.
  • 9A shows pseudocodes in the horizontal down-scale case according to an embodiment of the present disclosure.
  • FIG. 9B is a diagram for explaining a difference between a transformed pixel value generated based on an additional weight according to a pseudocode in the horizontal down-scale case of FIG. 9A and a transformed pixel value generated without an additional weight.
  • FIG. 10 is a diagram for explaining a process of generating a transformed image by an image processing device when an original image includes a plurality of object regions, according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart of an image processing method of an image processing device according to an embodiment of the present disclosure.
  • components expressed as ' ⁇ unit (unit)', 'module', etc. are two or more components combined into one component, or one component is divided into two or more components for each more subdivided function. may be differentiated into.
  • each of the components to be described below may additionally perform some or all of the functions of other components in addition to its own main function, and some of the main functions of each component may be different from other components. Of course, it may be performed exclusively by a component.
  • a 'saliency map' may refer to a map including a saliency value for distinguishing an object area and a surrounding area of an image.
  • the importance map may indicate 'a degree of conspicuousness' in the image for each pixel. Accordingly, when a user views an image, a region primarily viewed or a region of interest may have a large pixel value in the importance map.
  • the image processing device 100 may determine a scale factor (or scale weight) based on the importance map.
  • the image processing device 100 may generate an importance map using a neural network, but is not limited thereto. For example, the importance map can be created using a Fourier transform (as a spectral importance map).
  • a 'scale factor (or scale weight)' is a weight applied to an original pixel of an original image to adjust the size of an image, and based on this, a pixel value of a scaled image (or a transformed image) can be determined. .
  • the value of one pixel of the scaled image is determined as a weighted sum based on the value of at least one original pixel of the original image and the weight for the at least one original pixel.
  • calculating the value of one pixel of the scaled image The total sum of the weights corresponding to at least one original pixel used for processing should be a predetermined value (eg, 1).
  • the image processing device 100 may determine a value obtained by adding pixel values having the same x-coordinate as a scale factor corresponding to the corresponding x-coordinate.
  • the image processing device 100 may determine an average value, a maximum value, a minimum value, and the like of pixel values having the same x coordinate in the importance map as a scale factor corresponding to the corresponding x coordinate.
  • the scale factor can be expressed as a function having the x-coordinate of a pixel as an input variable.
  • the scale factor is not limited thereto, and may also be expressed as a function having a y-coordinate as an input variable.
  • a 'neural network' is an example of an artificial intelligence model that mimics a cranial nerve, and is not limited to a neural network model using a specific algorithm.
  • a 'parameter' is a value used in the calculation process of each layer constituting the neural network, and may include, for example, a weight used when an input value is applied to a predetermined calculation expression. Parameters can be expressed in matrix form.
  • a parameter is a value set as a result of training, and may be updated through separate training data in an embodiment.
  • an 'object region' is an area including an object of interest in an image, and may mean an area in which an importance value (or depth value) is higher (or lower) than a predetermined threshold value.
  • the 'surrounding area' is an area that includes a non-interesting area in the image, for example, a background, and may mean an area in which the importance value (or depth value) is lower (or higher) than a predetermined threshold value.
  • the surrounding area is not limited to being based on a predetermined threshold, and the 'object area' and the 'surrounding area' may be distinguished by various techniques.
  • 'original image' may refer to an image (input image) input to the image processing device 100 and subjected to image processing.
  • 'converted image means an image (output image) generated by image processing of an original image by the image processing device 100, and may mean an image whose size has been changed from the original image.
  • the size of the original image is changed, the size of the object area is maintained as much as possible, but the size of the surrounding area may be changed.
  • a distortion phenomenon may occur in the peripheral area due to a change in size.
  • the image quality of the surrounding area may be improved through image processing of the surrounding area. Specifically, the image quality may be improved by increasing the sharpness of the texture edge of the surrounding area based on attribute-related information that does not change from the original image (eg, a texture map based on edge gradient).
  • a 'texture map' is a map representing a rate of change of a texture edge in an image, and may be derived, for example, based on second order derivatives of pixels in an original image in various directions.
  • a 'texture map' may be used as a weight to increase the sharpness of a texture edge. For example, when the amount of change (for example, the second amount of change) of the amount of change (for example, the first amount of change) for the difference between pixel values of the original image has a positive value, a positive additional weight is applied to the pixel value. In addition, when the change amount has a negative value, a negative additional weight is added to the pixel value to increase the difference value between pixels, thereby increasing the sharpness of a texture edge or the like.
  • 'image' may be a still image or a moving picture (or video) itself.
  • 'image' may include a still image constituting a moving picture (or video).
  • sample' refers to data to be processed as data allocated to a sampling position of an original image or original image property related information (map).
  • pixels in a frame in the spatial domain and transform coefficients in the transform domain may be samples.
  • a pixel value in a frame in the spatial domain may be a sample value.
  • a unit including such at least one sample may be defined as a block.
  • FIG. 1 is a diagram illustrating a configuration of an image processing device 100 according to an exemplary embodiment.
  • the image processing device 100 includes a memory 110 and a processor 130 .
  • the image processing device 100 may be implemented as a device capable of image processing, such as a server, a TV, a camera, a mobile phone, a tablet PC, and a laptop computer.
  • the memory 110 and the processor 130 are separately shown in FIG. 1 , the memory 110 and the processor 130 may be implemented as one hardware module (eg, a chip).
  • the processor 130 may be implemented as a dedicated processor for neural network-based image processing.
  • the processor 130 may be implemented through a combination of software and a general-purpose processor such as an application processor (AP), central processing unit (CPU), or graphic processing unit (GPU).
  • AP application processor
  • CPU central processing unit
  • GPU graphic processing unit
  • a dedicated processor it may include a memory for implementing an embodiment of the present disclosure or a memory processing unit for using an external memory.
  • Processor 130 may be composed of a plurality of processors.
  • the plurality of processors may be implemented as a combination of dedicated processors, or may be implemented as a combination of software and a plurality of general-purpose processors such as APs, CPUs, or GPUs.
  • the memory 110 may store one or more instructions for image processing.
  • memory 110 may store the neural network used to generate the importance map.
  • a neural network is implemented in the form of a dedicated hardware chip for artificial intelligence, or is implemented as part of an existing general-purpose processor (eg, CPU or application processor) or a graphics-only processor (eg, GPU), the neural network is implemented in memory ( 110) may not be stored.
  • the neural network may be implemented by an external device (eg, a server), and in this case, the image processing device 100 may request generation of an importance map from the external device and receive the importance map from the external device.
  • the processor 130 may obtain consecutive restored frames by sequentially processing consecutive frames according to instructions stored in the memory 110 .
  • Continuous frames may refer to frames constituting a video. However, consecutive frames do not necessarily constitute a moving picture in the present disclosure.
  • the image processing device 100 may process still images individually photographed according to a predetermined order, a random order, or an order set by a user.
  • the image processing device 100 may output a converted image whose size is changed through image processing (eg, filter processing) on an original image. At this time, the quality improvement of the peripheral area within the image may be performed together with the image size change.
  • image processing eg, filter processing
  • the image processing device 100 may generate first attribute related information for an original image including an object area and a peripheral area.
  • the first attribute-related information may include information distinguishing between the object region and the surrounding region of the original image.
  • the first attribute-related information may include a first attribute-based map corresponding to the first attribute-related information of the original image.
  • the first attribute-based map may include a saliency map of the original video or a depth map of the original video.
  • the image processing device 100 may determine a scale weight (of a filter) for original pixels of the original image based on the first attribute-related information in order to change the size of the original image. In this case, the size of the image to be changed is first determined, and scale weights for the original pixels may be determined based on the size of the image to be changed and the first property-related information.
  • the image processing device 100 may determine additional weights for original pixels in the original image of the surrounding area to improve the quality of the surrounding area based on the first attribute-related information and the second attribute-related information of the original image. .
  • the image processing device 100 may generate a second attribute-based map corresponding to second attribute related information of an original image.
  • the second attribute-based map of the original image may be information based on the amount of change between pixel values of adjacent pixels.
  • the second attribute-based map may include a texture map.
  • the texture map may be a map based on a change rate (eg, a second order change rate) of a difference value (eg, a first order change rate) between pixel values of an original image.
  • the image processing device 100 may generate a guide map based on the first attribute-based map and the second attribute-based map. In this case, the guide map may include additional weights.
  • the guide map may be a map generated based on an importance map and a texture map.
  • the guide map may be a saliency guidance map in which an inverse map of the importance map and a texture map are combined.
  • the additional weight included in the importance guidance map may be 0 or close to 0 in the object area (may be within a predetermined range around 0), and a value between -1 and 1 in the surrounding area (non-zero, value close to 0 . That is, a value other than a value within a predetermined range around 0). Creation of the texture map and the importance guidance map will be described later with reference to FIGS. 7A to 7B .
  • the image processing device 100 may obtain a transformed image whose size is changed from the original image by applying the scale weight and the additional weight to original pixels of the original image. Applying the scale weight and the additional weight to original pixels of the original image may correspond to performing filter processing using a filter on the original image.
  • the filter may include scale weights and additional weights.
  • one scale weight or the sum of a plurality of scale weights used to calculate a pixel value of one of the transformed pixels in the transformed image may be a predetermined value (eg, 1).
  • the original pixel and the corresponding scale weight may have a 1:1 correspondence relationship. Accordingly, each scale weight corresponding to each of the plurality of original pixels may be determined.
  • the image processing device 100 may calculate a weighted sum of pixels included in the original image based on the scale weight and the additional weight.
  • pixel values of transformed pixels of the transformed image may correspond to a weighted sum of pixels included in the original image.
  • a process of applying a filter to pixels of an original image by the image processing device 100 will be described later with reference to FIGS. 8A to 9B .
  • the image processing device 100 applies the scale weight and the additional weight to the original pixels, and when obtaining a transformed image whose size is changed from the original image, the first difference between the pixel values of the transformed pixels of the transformed image is converted into a filter. It may be obtained greater than the second difference between pixel values of transformed pixels included in the surrounding area determined based on the scale weight of the filter (eg, based only on the scale weight) rather than the additional weight of . That is, by sharpening a portion such as a texture edge of the surrounding area, the image quality of the surrounding area can be improved.
  • the obtaining of the first difference value greater than the second difference value will be described later with reference to FIG. 8B or 9B.
  • the image processing apparatus 100 determines the scale weight of the object region as a first weight of a predetermined value, and the value of the scale weight of the surrounding region is greater than the value of the first weight. value can be determined.
  • the value of the predetermined first weight may be 1, but is not limited thereto.
  • the transformed image obtained based on the scale weight may be larger than the original image.
  • the image processing device 100 determines a scale weight for an object region as a first weight of a predetermined value based on a first attribute-based map (eg, an importance map or a depth map), and determines a scale weight for a surrounding region as a first weight value.
  • a first attribute-based map eg, an importance map or a depth map
  • the predetermined value may be 1, but is not limited thereto.
  • the transformed image obtained based on the scale weight may be smaller than the original image.
  • the converted image whose size is changed may change the width of the original image in the horizontal direction while the height of the original image is changed in the vertical direction. That is, the size of the original image may be changed in both vertical and horizontal directions by considering the object region and the surrounding region of the original image. In this case, the change rate in the vertical direction and the change rate in the horizontal direction may be determined in consideration of the object area and the surrounding area of the original image.
  • the image processing device 100 may calculate density of the first attribute-based map based on entropy, and calculate change ratios in vertical and horizontal directions based on the density.
  • the height and width of the original image to be changed may be calculated based on the change rates in the vertical and horizontal directions, and a scale weight may be determined based on the height and width of the original image to be changed.
  • the scale weight may be determined based on the importance map (or depth map). Resizing the original image in both directions based on entropy will be described later with reference to FIGS. 5A to 5C .
  • the image processing device 100 may further include a display or may be connected to a separate display device. An image generated by the image processing device 100 may be reproduced on a display or display device. In one embodiment, an image generated by the image processing device 100 may be reproduced on a display or display device after being post-processed.
  • the image processing device 100 may encode an image through an image compression method using transformation.
  • An image compression method using frequency conversion includes a process of generating prediction data by predicting a restored frame, a process of generating residual data corresponding to a difference between a restored frame and predicted data, and converting residual data, which is a spatial domain component. It may include a process of transforming into a transform domain component, a process of quantizing the residual data converted into a transform domain component, and a process of entropy encoding the quantized residual data.
  • Such an image compression method uses MPEG-2, H.264 AVC (Advanced Video Coding), MPEG-4, HEVC (High Efficiency Video Coding), VC-1, VP8, VP9, and AV1 (AOMedia Video 1) conversion. It may be implemented through one of image compression methods.
  • Encoded data generated through encoding of a restored image is transmitted to an external device via a network, or magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floptical disks. ) may be stored in a data storage medium such as a magneto-optical medium.
  • the image processing device 100 may generate the importance map 210 by using the original image 200 as an input (operation 210).
  • the importance map 210 is a map in which the surrounding area 220 and the object area 225 are distinguished, and the image processing device 100 may adaptively determine a scale weight for each area based on the importance map 210. Yes (act 230).
  • the surrounding area 220 may be scaled based on the scale weight of the surrounding area 220 .
  • the scale weight of the object area 225 may be set to 1, and for example, the object area 225 may not be scaled, but is not limited thereto, and the object area 225 may not be scaled.
  • the weight may be determined as a value other than 1 based on the importance map 210 .
  • the image processing device 100 generates a property-related map of the original image 200 in order to minimize the distortion of the surrounding area 220 caused by adaptively determining the scale weight (operation 240), and the original image 200
  • An importance guidance map may be generated based on the attribute-related map of ) and the importance map 210 (operation 250).
  • the importance guidance map may have an additional weight for the surrounding area 220 based on the properties of the original image 200 and may not have an additional weight for the object area 225 .
  • the image quality of the peripheral area 220 may be improved based on the additional weight for the peripheral area 220 .
  • the attribute-related map of the original image 200 may be a texture map, but is not limited thereto.
  • the image processing device 100 applies a filter including a scale weight S(m,n) and an additional weight g(m,n) for the surrounding area 220 to the original image 200 (operation 260),
  • the scale and image quality of the region 220 may be improved. That is, the transformed image 270 may be an image whose size has been changed from the original image 200, and as described above, the image quality of the surrounding area 220 can be improved due to the additional weight on the surrounding area 220.
  • the filter process is performed on the object area 225 similarly to the filter process on the peripheral area 220 without being limited thereto. It can be.
  • the scale weight and the additional weight of the object area 225 may be smaller than those of the surrounding area 220 .
  • the corrected additional weight may be determined by multiplying the additional weight by a correction coefficient (a value between 0 and 1).
  • a correction factor may be determined based on the scale weight.
  • the image processing device 100 may generate a priority map in which the surrounding area and the object area are distinguished (operation 310).
  • the image processing device 100 may calculate an entropy-based importance density based on the importance value of the importance map A(m,n) (operation 320).
  • entropy-based importance densities H(x) and H(y) may be calculated in the horizontal and vertical directions, respectively.
  • the image processing device 100 may calculate change ratios R(x) and R(y) in the horizontal and vertical directions, respectively, based on the entropy-based importance densities H(x) and H(y) (operation 330). . That is, the image processing device 100 identifies in which direction a large number of surrounding areas are included compared to important object areas based on the entropy-based importance densities H(x) and H(y), and scales in the horizontal direction are free. It is possible to identify whether the scale in the vertical direction is free, and to calculate a higher rate of change in the freer direction.
  • free scale means that the range of scalable scale domain is large. Therefore, when scaling in a more free direction, since the range of the scalable scale area is wide, the change ratio can be determined to be larger.
  • the image processing device 100 may calculate a change height (the height at which the original image is to be changed) and a change width (the width at which the original image is to be changed) based on the change ratio (operation 340), and the importance map and the change height and change A scale weight may be determined based on the width, and a transformed image whose size is changed from the original image may be obtained based on the scale weight (operation 350). This is because, since scaling is performed in both directions, distortion of the object area can be minimized by adjusting in more diverse directions than when scaling is performed in one direction, but determining the change ratio in each direction based on the importance map.
  • 4A is a diagram for explaining a process of generating, by an image processing apparatus, a transformed image whose size is changed using a scale weight based on an importance map, according to an embodiment of the present disclosure.
  • the image processing device 100 may take an original image 410 as an input, adjust an aspect ratio through selective resizing, and output a converted image 440. .
  • a scale weight 430 may be generated based on the importance map 420 .
  • the importance map 420 is set by dividing the object area and the surrounding area, and accordingly, the scale weight 430 generated based on the importance map 420 also corresponds to the object area 450 and the surrounding area 460. ) can be set separately. However, it is not limited thereto, and the object area and the surrounding area are not clearly distinguished and set in the importance map 420, and the importance value may have a continuous value.
  • the image processing device 100 Based on the importance map 420 the original image may be divided into an object region and a peripheral region. This is also true for a depth map that can replace the scale weight 430 or the importance map.
  • the scale weight 430 for the object area 450 may be 1 or a value within a predetermined range including 1, and therefore, the scale for the object area 450 is not or rarely performed, and the object area 450 is not scaled. Region 450 may also be preserved in transformed image 440 .
  • the scale weight 430 for the peripheral area 460 may be a value greater than 1 or a value outside a predetermined range including 1.
  • the object area 450 and the surrounding area are determined based on whether the gradient of the importance value of the surrounding pixel or the gradient of the scale weight 430 (or, for example, the absolute value of the gradient) is greater than or equal to a predetermined value. (460) can be set separately.
  • the gradient is not limited to the first gradient and may be a second gradient.
  • the scale weight 430 at the boundary between the object area 450 and the surrounding area 460 may be a value greater than 1. have.
  • the scale weight 430 may be refined to have a predetermined value (eg, 1) with respect to the object area 450 .
  • Upscaling of the peripheral area 460 is performed, and the size of the peripheral area 460 may be changed. That is, the image processing device 100 may preserve a portion (eg, an object area) that the user pays more attention to by adjusting the aspect ratio through selective resizing based on the importance map. Also, even if distortion occurs in the peripheral area through resizing of the remaining parts (eg, the peripheral area) that are not receiving much attention, the user may not significantly feel deterioration in image quality due to the distortion.
  • the image processing device 100 selectively performs resizing using the importance map 420, but is not limited thereto, and the object area 450 and the surrounding area 460 are distinguished.
  • Various set attribute map information may be used. For example, a depth map of the original image 410 may be used.
  • the content of upscaling in the horizontal direction by the image processing device 100 has been described, but the upscaling in the vertical direction may be performed without being limited thereto.
  • the content of upscaling by the image processing device 100 has been described, it is not limited thereto, and downscaling may be performed.
  • the weight of the peripheral area 460 may be less than 1.
  • 4B is a diagram for explaining a process of expanding a pixel grid when an image processing device according to an embodiment of the present disclosure performs resizing.
  • the original image pixel grid of the object area 450 of the original image 410 is expanded. may not That is, the object region 450 may be preserved by mapping the coordinates of the original pixel and the transformed pixel in a 1:1 relationship.
  • the image processing device 100 may expand the original image pixel grid of the peripheral area 460 of the original image 410 . That is, since the coordinates of the original pixel and the transformed pixel are mapped in a one-to-many relationship, the peripheral area 460 may not be preserved and may be enlarged.
  • a pixel value of one transformed pixel in the transformed image 440 may be expressed as a weighted sum of pixel values of at least one original pixel. At this time, the weight may be the scale weight 430 and the additional weight.
  • the downscaling may be performed without being limited thereto.
  • the weight of the surrounding area 460 may be less than 1, so the pixel grid is reduced and the coordinates of the original pixel and the transformed pixel are mapped many to one, so the surrounding area 460 is not preserved and becomes smaller.
  • a pixel value of one transformed pixel may be expressed as a weighted sum of pixel values of a plurality of original pixels.
  • 4C is a diagram for explaining 1-direction conversion and bi-direction conversion according to an embodiment of the present disclosure.
  • the image processing device 100 may perform unidirectional transformation in a horizontal direction or a vertical direction using the importance map. For example, referring to FIG. 4C , in order to adjust the ratio of an image to a predetermined ratio, the image processing device 100 expands the original image 410 horizontally using an importance map so that the original image 410 is larger than the original image 410. A first transformed image 470 having an increased width may be obtained. When unidirectional transformation is performed, a large distortion may occur in an image due to limiting transformation in only one direction.
  • the image processing device 100 is not limited to unidirectional conversion and can perform bidirectional conversion. That is, in order to adjust the ratio of the image to a predetermined ratio, the image processing device 100 not only horizontally expands the original image 410 using the importance map, but also vertically reduces it, so that the original image 410 is smaller than the original image 410. A second transformed image 480 having a larger width and a smaller height may be obtained. When bi-directional conversion is performed, distortion within the image can be reduced or avoided compared to uni-directional conversion.
  • 5A is a diagram for explaining a process of adjusting a ratio of an image through density analysis of entropy-based importance by an image processing apparatus according to an embodiment of the present disclosure.
  • the image processing device 100 may determine the importance A(x,y) for the original image 500 based on the original image 500 .
  • the image processing device 100 may determine the importance A(x) in the horizontal direction and the importance A(y) in the vertical direction based on the importance A(x,y).
  • A(x) is the average value of A(x) (x is a value between '0' and 'image width - 1)
  • A(y) is A(y) (y is ' It may be an average value of values ranging from 0' to 'image height - 1'), but is not limited thereto, and may be various values.
  • the image processing device 100 may determine a horizontal adjustment ratio R hor and a vertical adjustment ratio R ver based on the horizontal importance A(x) and A(y) according to the following equation.
  • H() may mean signal entropy.
  • H a higher value can be derived as the distribution of values is wider, and a lower value can be derived as the distribution is narrower.
  • H(A(x)) a higher value may be derived as the importance A(x i ) is widely distributed, and a lower value may be derived as the importance A(x i ) is distributed more narrowly.
  • the distribution of A(x) may be narrowly distributed and the distribution of A(y) may be widely distributed.
  • the degree of freedom in the vertical direction is small and the horizontal direction
  • the degrees of freedom can be high.
  • the image processing device 100 may set the adjustment ratio high in a direction with a high degree of freedom.
  • the image processing device 100 may adjust (or convert) the ratio of the image in both directions through density analysis of entropy-based importance in order to minimize distortion of the image.
  • 5B to 5C are diagrams for explaining a specific process of adjusting a ratio of an image through density analysis of entropy-based importance by an image processing apparatus according to an embodiment of the present disclosure.
  • the image processing device 100 may acquire an importance A(x,y) based on the original image 500 .
  • the resolution of the original image 500 may be 2520x1080, and the ratio may be 21:9.
  • the image processing device 100 determines A(x) and A(y) based on the importance A(x,y) to adjust the ratio of the image to 16:9, and A(x) and A(y) ), H(A(x)) and H(A(y)) can be determined.
  • the image processing device 100 may determine a horizontal adjustment ratio R hor and a vertical adjustment ratio R ver based on H(A(x)) and H(A(y)).
  • the image processing device 100 may adjust an image ratio in both directions based on R hor and R ver .
  • the first converted image 510 may be generated by reducing the size of the image by 600 pixels in the horizontal direction to adjust the image ratio to 16:9. have.
  • the image processing device 100 may determine the number of adjustment pixels in the remaining directions in order to adjust the image ratio. For example, referring to FIG. 5C , the image processing device 100 expands the size of an image in the vertical direction by increasing the size to 119 pixels in the vertical direction to adjust the ratio of the image to 16:9 (1199 pixels). )can do. Accordingly, the image processing device 100 may generate and output the second converted image 520 having an image ratio of 16:9 and an image resolution of 2132x1199.
  • FIG. 6 is a diagram for explaining a process of selectively adjusting an aspect ratio while an image processing device generates an importance guidance map to improve image quality of a surrounding area, according to an embodiment of the present disclosure.
  • the image processing device 100 may generate an importance map 610 based on an original image 600 .
  • the image processing device 100 may generate a texture map 620 based on the original image 600 .
  • the texture map 620 includes values related to gradients of texture edges in various directions, and additional weights capable of increasing the sharpness of an image may be determined through the texture map 620 .
  • the image processing device 100 may generate an inverse map 615 based on the importance map 610 .
  • the reason for generating the inverse map 615 will be described below.
  • the importance value of the object region is large and the importance value of the surrounding region is small, and the importance guidance map 630 is generated by combining it with the texture map 620 (eg, multiplication operation),
  • the value in the object area is large, and the value in the surrounding area is small. This is because when the value is used as an additional weight, an over-sharpening phenomenon may occur due to improvement in sharpness in the object area. Due to this phenomenon, distortion may occur in the object area. That is, since the object area is not upscaled or downscaled by the selective transformation described with reference to FIG. 4A and is an area that is preserved, there is almost no image quality degradation even by the transformation, and in such a state, sharpness is improved. Over-sharpening may occur.
  • the image processing device 100 may generate an inverse map of the importance map 610 .
  • the image processing device 100 may generate an importance guidance map 630 by combining the inverse map 615 and the texture map 620 .
  • the image processing device 100 may generate a pixel value of the importance guidance map 630 by multiplying a pixel value of the inverse map 615 and a pixel value of the texture map 620 .
  • the importance guidance map 630 may be generated based on the inverse map 615 and the texture map 620 in various ways without being limited thereto.
  • the importance guidance map 630 may include additional weights for improving image quality.
  • the image processing device 100 may generate a scale weight map 640 using the importance map 610 .
  • the image processing device 100 may output the transformed image 650 based on the scale weight of the scale weight map 640 and the additional weight of the importance guidance map 630 .
  • FIG. 7A is a diagram for explaining a process of extracting a texture map by an image processing device according to an embodiment of the present disclosure.
  • the image processing device 100 may apply the filter kernel 710 to the original image 700 to determine gradients of edges in various directions.
  • the application of the filter kernel 710 may correspond to a convolution operation between the matrix of the original image and the matrix of the filter kernel.
  • the filter kernel is a second derivative (or differential) kernel in various directions, and its shape may be as shown in FIG. 7A, but its coefficient may be different.
  • the size of the kernel of the filter may be 3x3 or 5x5 as shown in FIG. 7A in consideration of the amount of computation, but is not limited thereto and may have various sizes.
  • a Laplacian kernel or other simple second derivative kernel may be used as the kernel.
  • the sum of all coefficients of the second derivative kernel may be zero.
  • the image processing device 100 may obtain a differential value (eg, a second derivative value) in each direction based on a filter kernel.
  • a differential value eg, a second derivative value
  • the image processing device 100 may obtain quadratic derivative values in four directions based on the following equation.
  • (m,n) is a spatial domain coordinate
  • I may be a gray scale image of an original image.
  • I may be derivatives in the horizontal and vertical directions, respectively, , may be differential values in directions of -45 degrees and 45 degrees, respectively. Since the differential value is not in the range of -1 to 1, the edge guidance map in each direction can be obtained based on the sigmoid function S() as shown in the following equation.
  • the image processing device 100 may generate the texture map E(m,n) 720 based on the following equation.
  • a pixel value of the texture map E(m,n) 720 may be a value between -1 and 1.
  • a corresponding pixel value of the texture map E(m,n) 720 may be based on a gradient of an edge in each direction.
  • a corresponding pixel value of the texture map E(m,n) 720 may be a value based on gradients of the beginning and end of a texture edge. Accordingly, sharpness of a texture edge or the like can be improved by giving a large additional weight according to a change in pixel value in the vicinity of the edge.
  • FIG. 7B is a diagram for explaining a process of extracting an importance guidance map using a texture map by an image processing device according to an embodiment of the present disclosure.
  • the image processing device 100 may obtain an importance map A(m,n) using an original image 700 .
  • the image processing device 100 may obtain an inverse map 1-A(m,n) based on the importance map A(m,n).
  • the image processing device 100 may use the importance guidance map g(m,n) as an additional weight to improve image quality degradation that occurs in the transformed image 740 due to distortion of the peripheral area 730 .
  • the quality of the surrounding area 730 may be improved by applying the importance guidance map g(m,n) to the transformed image 740, but the image quality of the surrounding area 730 may be improved, but is not limited thereto, and the importance when scaling from the original image 700 by the scale weight
  • the image quality of the surrounding area 730 may be improved along with the scale by applying an additional weight to the value of the guidance map g(m,n).
  • 8A illustrates pseudocodes in a horizontal upscale case according to an embodiment of the present disclosure.
  • the image processing device 100 may perform operations within the for statement until the variable i (column number of the transformed image) is 1 to the target image width W out .
  • the image processing device 100 selects a target within the target image (or transformed image).
  • the pixel value T(m i, n) of the pixel (or transformed pixel) is determined as (1 + g(m j , n))* I(m j, n), and the scale weight S(m j ) is 1 can be deducted.
  • the scale weight S(m j ) of the original pixel in the input image (or original image) is greater than 1, the scale weight is set to 1 to generate one transform pixel, and the additional weight g(m j ,n ), T(m i, n) can be calculated and the value of i can be increased by 1. (The value of j remains the same)
  • the scale weight S(m i ) of the original pixel in the input image (original image) is greater than or equal to 1, T(m i, n) is obtained through the same operation as described above. can be calculated At this time, S(m j ) may decrease by 1. If the scale weight S(m i ) of the original pixel in the input image (original image) is less than 1, the scale weight S(m i ), the additional weight g(m j , n) and the input pixel value I(m j , n ), the additional weight g(m j+1 , n), and the input pixel value I(m j+1 , n), T(m i , n) can be calculated. In this case, the scale weight S(m j+1 ) may be determined as S(m j+1 ) - (1- S(m j )). At this time, the value of j may increase by 1.
  • the scale weight of the original pixel is greater than or equal to 1, the original pixel is multiplied using 1, the scale weight is subtracted by 1, and the scale weight remaining after the subtraction is used to obtain the pixel of the next converted pixel. value can be determined. That is, until the scale weight is less than 1, the pixel value of at least one transformed pixel may be determined using the pixel value of the corresponding original pixel with the scale weight set to 1. However, if the scale weight is less than 1, the scale weight of the corresponding original pixel (first original pixel) and the scale weight of the original pixel (second original pixel) in the immediately adjacent column may be used. Since there is no longer a scale weight of the first original pixel to be used, a pixel value of a next transformed pixel may be determined using the scale weight of the second original pixel.
  • the image processing device 100 calculates T(1,160) as (1+g(1,160))* It can be determined as I(1,160).
  • FIG. 8B is a diagram for explaining a difference between a transformed pixel value generated (based on an additional weight) according to a pseudo code in the horizontal upscale case of FIG. 8A and a transformed pixel value generated without an additional weight.
  • the image processing apparatus 100 may obtain an output image (transformed image) from an input image by processing the pseudo code row by row in the horizontal up-scale case of FIG. 8A .
  • the image processing device 100 may obtain a texture map E(m,160) based on the input image.
  • the image processing device 100 may obtain an importance guidance map g(m, 160) based on the texture map E(m, 160).
  • a value within the object area of the importance guidance map g(m,160) may be close to 0. That is, the additional weight may be a value close to 0.
  • the image processing device 100 may generate a pixel value T(m', 160) based on the pixel value I(m, 160), the scale weight S(m), and the importance guidance map g(m, 160).
  • the image processing device 100 does not use the importance guidance map g(m,160), and based on the pixel value I(m,160) and the scale weight S(m), the pixel value T'(m', 160) can be created.
  • the variation range of the pixel value of the portion where the grid of pixels is expanded is greater than that based on the importance guidance map, and due to the increase in the variation range of the pixel value, the texture edge
  • the image quality can be improved by emphasizing the etc. more.
  • 9A shows pseudocodes in the horizontal down-scale case according to an embodiment of the present disclosure.
  • the image processing device 100 may perform operations within the for statement until the variable i (column number of the transformed image) is 1 to the target image width W out .
  • the image processing device 100 may repeatedly perform an operation within the while statement only when temp_S is less than 1 within the for statement.
  • the image processing device 100 sets the scale weight S (m j ) at the x-coordinate m j of the pixel located in the n-th row and j-th column in the original image as a variable temp_S, temp_S is less than 1, temp_S and S If the sum of (m j+1 ) is greater than 1, the value of the pixel value T(m i, n) of the target pixel (transformed pixel) in the target image (transformed image) is set to the previously determined T(m i, n) and (1 - temp_S) * (1 + g(m j+1 ,n))* I(m j+1, n), and S(m j+1 ) is determined by the previous S(m j+1 ) by subtracting 1- temp_S. Then, the operation of the while statement is not executed any more through break.
  • the image processing device 100 sets the value of the pixel value T(m i, n) of the target pixel in the target image to the previously determined T Determined by adding (m i, n) and S(m j+1 )* (1 + g(m j+1 ,n))* I(m j+1, n), and setting the value of temp_S to the previous temp_S It is determined as a value added by S(m j+1 ), and the value of j can be increased by 1.
  • the image processing device 100 calculates T(m) based on the weight and additional weight of the current original pixel and the pixel value of the current original pixel (first original pixel). i, n) is determined first, and if the sum of the scale weight of the next original pixel (the second original pixel) and the scale weight of the current original pixel (the first original pixel) is less than 1, the previously determined T(m i , n), a new T(m i, n) may be determined by adding all of the weights of the next original pixel (second original pixel), the additional weight, and the pixel value of the next original pixel (second original pixel).
  • the final T(m i, n) may be determined using the weight of the next original pixel, the additional weight, and the pixel value until the sum of the scale weights becomes 1. In this case, if the weight of the original pixel after the final T(m i, n) is determined is not 0, T(m i+1, n) may be determined based on the weight of the original pixel, the additional weight, and the pixel value.
  • the image processing device 100 may determine the first T(2,90) as (0.8+g(3,90))*I(3,90). Then, the second T(2,90) can be determined as the first T(2,90)+(0.2+g(4,90))*I(4,90). Thereafter, no further operation may be performed.
  • a transformed pixel value in a transformed image of T(1 to 2,90) may be determined. That is, a converted image whose width is reduced by half from the existing I(1 to 4,90) can be obtained.
  • FIG. 9B is a diagram for explaining a difference between a transformed pixel value generated (based on an additional weight) according to a pseudo code in the horizontal down-scale case of FIG. 9A and a transformed pixel value generated without an additional weight.
  • the image processing apparatus 100 may obtain an output image (transformed image) from an input image by processing the pseudo code row by row in the horizontal down-scale case of FIG. 9A .
  • the image processing device 100 may obtain a texture map E(m, 90) based on the input image.
  • the image processing device 100 may obtain an importance guidance map g(m, 90) based on the texture map E(m, 90).
  • a value within the object area of the importance guidance map g(m,90) may be close to 0. That is, the additional weight may be a value close to 0.
  • the image processing device 100 may generate a pixel value T(m', 90) based on the pixel value I(m, 90), the scale weight S(m), and the importance guidance map g(m, 90).
  • the image processing device 100 does not use the importance guidance map g(m,90), and based on the pixel value I(m,90) and the scale weight S(m), the pixel value T′(m′, 90) can be created.
  • the variation range of the pixel value of the portion where the grid of pixels is extended, such as the peripheral area 820 is greater than that based on the importance guidance map, and due to the increase in the variation range of the pixel value, the texture edge
  • the image quality can be improved by emphasizing the etc. more.
  • FIG. 10 is a diagram for explaining a process of generating a transformed image by the image processing device 100 when an original image includes a plurality of object regions, according to an embodiment of the present disclosure.
  • an original image 1000 may include a plurality of object areas 1010 and 1020 .
  • the image processing device 100 obtains an importance map in which the plurality of object regions 1010 and 1020 and the surrounding region 1030 are distinguished from each other, and determines scale weights and additional weights based on the importance map as described above. And, the pixel value of the transformed pixel in the transformed image can be determined using the scale weight, the additional weight, and the pixel value of the original pixel.
  • a transformed image may be obtained by preserving the plurality of object areas 1010 and 1020 based on the scale weight and expanding or contracting (up-scaling or down-scaling) the pixel grid of the peripheral area 1030 .
  • an original image may include a plurality of object regions, and those skilled in the art can fully understand that the same technical effect can be achieved by image processing the original image including the plurality of object regions.
  • FIG. 11 is a flowchart of an image processing method of an image processing device according to an embodiment of the present disclosure.
  • the image processing device 100 may determine a scale weight for original pixels in the original image based on the first attribute related information of the original image.
  • a scale weight is a weight for expanding or contracting a pixel grid.
  • One scale weight or the sum of a plurality of scale weights may have a predetermined value and may be used to calculate one transformed pixel in a transformed image.
  • the predetermined value may be 1, but is not limited thereto.
  • the first attribute-related information may be information set by dividing the object region and the surrounding region of the original image.
  • the first attribute-related information may be a first attribute-based map
  • the first attribute-based map may be an importance map or a depth map for an original image.
  • the object region is a region of high interest (importance) of the user or located close to the original image, and can be preserved without distortion. Therefore, the object region has a scale weight of 1 or a predetermined value It can be any value within the range.
  • the peripheral area is an area of low interest (importance) to the user or an area such as a background area located far away from the original image. If the height or width of the original image increases, the value of the scale weight may be greater than 1, and the value of the scale weight may be greater than 1. If the height or width is reduced, the value of the scale weight may be less than 1. It is not limited thereto, and may be a value outside of a predetermined range including 1 or around 1.
  • the image processing device 100 may determine additional weights for original pixels in the surrounding area based on the first attribute-related information and the second attribute-related information of the original image.
  • the additional weight is a weight used to improve the image quality of a portion of the image that is distorted due to the scale, and may be a weight calculated based on a degree of change around an edge in at least one direction. That is, based on the additional weight, it is possible to increase the difference in pixel values between adjacent pixels in a portion where the variance around the edge is large, and thus sharpen the edge, thereby increasing the sharpness of the area including the edge.
  • the second attribute-related information may be information based on a variation between pixel values of adjacent pixels.
  • the second attribute-based map corresponding to the second attribute-related information may include a texture map based on a change rate of a difference between pixel values of original pixels.
  • the image processing device 100 may generate a guide map based on the second attribute-based map.
  • the guide map may include additional weights, and the guide map may include a map generated based on the importance map and the texture map. That is, the guide map is a map set by dividing the object area and the surrounding area, and the additional weight for the object area may be 0, but is not limited thereto, and may be within a predetermined range including around 0.
  • the additional weight for the surrounding area may be greater than or equal to -1 and less than or equal to -1. For example, the additional weight for the surrounding area may be 0 or a value outside a predetermined range including 0.
  • the guide map may be a saliency guidance map in which an inverse map of the importance map and a texture map are combined.
  • the content based on the importance map has been described, but those skilled in the art can understand that it is not limited thereto and may be replaced with a depth map or a scale weight map set by dividing the object area and the surrounding area.
  • the image processing device 100 may obtain a transformed image whose size is changed from the original image by applying the scale weight and the additional weight to original pixels in the original image.
  • one scale weight or the sum of a plurality of scale weights used to calculate a pixel value for transforming one of the transformed pixels in the transformed image may be a predetermined value.
  • the predetermined value may be 1, but is not limited thereto.
  • the image processing device 100 may prevent image quality degradation of the surrounding area by scaling the surrounding area while preserving the object area based on the scale weight. That is, when the ratio of the image and the display ratio of various display devices (eg, smart phones) do not match, the scale of the image is required to provide a full screen. At this time, by performing conversion (scaling) according to various embodiments of the present disclosure, it is possible to minimize deterioration in image quality of the surrounding area while preserving the object area.
  • the user may experience a full-screen image.
  • the ratio of the TV image is 16:9, but the ratio of the smartphone display is 18.5:9, the TV image is scaled according to the ratio of the smartphone display, so that the user experiences a full-screen TV image. Therefore, the user can be more immersed in the image.
  • the image processing device 100 may generate an image of an effect obtained by transforming a view by scaling (eg, transforming or resizing) a surrounding area while preserving an object area based on a scale weight, This can be used in the field of 3D/light field imaging.
  • a conversion image of the effect of transforming the view from the original image is generated, and the original image and the converted image are stored in the training database.
  • database aggregation which creates artificial data using existing data, becomes possible.
  • the image processing device 100 may minimize image distortion by adjusting (eg, scaling) an image ratio in both directions through density analysis of entropy-based importance.
  • the image processing device 100 may improve the image quality of the surrounding area by using attribute data of an original image capable of improving image quality, such as a texture map.
  • attribute data of an original image capable of improving image quality such as a texture map.
  • the object area and the surrounding area may be separately set, and attribute data of the original image may be used together to selectively improve the image quality of the surrounding area where distortion occurs due to resizing.
  • the image processing device 100 can preserve the object region and improve image quality degradation of the scaled surrounding region by applying the scale weight and the additional weight to the original image at once. Since the scale weight and the additional weight are coefficients of a kind of post-processing filter, by applying the scale weight and the additional weight to the original image acquired in various ways, the aspect ratio is scaled to suit the display device, and the image with less deterioration in image quality is obtained. It can be played on a display device.
  • the present disclosure may be implemented as a device-readable storage medium, which may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or between two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a part of a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 장치에 있어서, 메모리; 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 제1 속성 관련 정보를 기초로 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하고, 제1 속성 관련 정보 및 인적 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 제2 속성 관련 정보를 기초로 주변 영역 내의 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하고, 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 적어도 하나의 스케일 가중치 및 추가 가중치를 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 원본 영상으로부터 크기가 변경된 변환 영상을 획득한다.

Description

영상 처리 장치 및 그 동작방법
다양한 실시예들은 영상의 크기를 변경하는 영상 처리 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 선별적으로 주변 영역에 대한 크기 변경 시 발생하는 영상의 주변 영역의 왜곡 현상을 감소시키는 영상 처리 장치 및 그 동작 방법에 관한 것이다.
최근, IoT 기술 발전으로 인해 영상 정보의 전송이 용이해졌으며, 다양한 화면 비율(aspect ratio; 또는 종횡비)을 가지는 다양한 디스플레이 장치들에서 출력될 수 있다. 이때, 원본 영상의 화면 비율과 영상 정보를 출력하는 디스플레이 장치의 화면 비율이 변경되는 경우, 영상 정보에 포함되는 객체 영역에 대한 왜곡이 발생할 수 있으며, 이에 따라, 부자연스러운 영상이 출력될 수 있다.
예를 들어, 디스플레이 장치의 화면 비율에 맞추기 위하여, 원본 영상의 상, 하 영역 또는 좌, 우 영역에 흑백 영상을 삽입하는 방식(예를 들어, Letterboxing 기반) 또는, 원본 영상을 선형적으로 확대하거나 축소하는 방식(예를 들어, Linear scaling 기반)으로 영상을 변형하는 경우, 영상에 왜곡이 발생할 수 있다.
따라서, 영상에 포함되는 객체나 배경의 중요도(saliency)에 따라 선별적으로 영상을 재구성(image retargeting)하는 방법이 필요하다.
다양한 실시예들은, 영상의 크기를 변경할 때, 원본 영상의 속성 관련 정보에 기초하여, 적응적으로 원본 영상을 재구성함으로써, 주변 영역(예를 들어, 배경 부분)의 왜곡 현상을 감소시키거나 방지하면서 객체 영역을 보존할 수 있는 영상 처리 장치 및 그 동작방법을 제공할 수 있다.
본 개시의 일 실시예에 따라 제공되는 영상 처리 장치는 하나 이상의 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 상기 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하고, 상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 상기 주변 영역 내의 상기 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하고, 상기 적어도 하나의 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다. 이때, 상기 스케일 가중치 및 상기 추가 가중치는 상기 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 가중치일 수 있다.
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행하여, 상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상의 원본 픽셀들의 대응 픽셀들에 적용할 때, 상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 대응 픽셀들의 가중합을 산출하고, 상기 변환 영상의 변환 픽셀의 픽셀값은, 상기 가중치에 기초하여 획득된 원본 픽셀들과의 가중합에 대응될 수 있다.
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행하여, 상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하고, 상기 제 1 속성 기반 맵을 기초로 상기 원본 픽셀들 각각에 대한 스케일 가중치를 결정하고, 상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하고, 상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정할 수 있다.
상기 제 1 속성 기반 맵은 상기 원본 영상에 대한 중요도 맵(saliency map) 또는 상기 원본 영상에 대한 뎁스 맵을 포함하고, 상기 제 2 속성 기반 맵은 상기 원본 픽셀들의 픽셀값들의 차이값에 대한 변화율에 기초한 텍스처 맵을 포함할 수 있다.
상기 가이드 맵은, 상기 중요도 맵의 인버스 맵(inverse map)과 상기 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)을 포함할 수 있다.
상기 제 1 속성 기반 맵에 기초하여 획득된 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고, 상기 제 1 속성 기반 맵에 기초하여 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 작은 경우, 상기 객체 영역에 대해서는 소정의 제 2 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 2 값보다 작은 값으로 결정될 수 있다.
엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 획득되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 획득되고, 상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경될 수 있다.
상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 것에 있어서, 0이 아닌 값을 가지는 상기 스케일 가중치 및 상기 부가 가중치 모두가 상기 원본 영상의 상기 주변 영역 내의 적어도 하나의 픽셀에 적용될 수 있다.
본 개시의 일 실시예에 따라 제공되는 영상 처리 방법은, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하는 단계; 상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 상기 주변 영역 내의 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하는 단계; 및 상기 적어도 하나의 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 단계를 포함할 수 있다. 이때, 상기 스케일 가중치 및 상기 추가 가중치는 상기 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 가중치일 수 있다.
상기 변환 영상을 획득하는 단계는, 상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 해당 픽셀들의 가중합을 획득하고, 상기 변환 영상의 변환 픽셀의 픽셀값은 상기 가중치에 기초하여 산출된 원본 픽셀들의 대응 픽셀들의 가중합에 대응될 수 있다.
상기 스케일 가중치를 결정하는 단계는, 상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하는 단계; 및
상기 제 1 속성 기반 맵을 기초로, 상기 원본 픽셀들 각각에 대한 스케일 가중치를 결정하는 단계를 더 포함하고, 상기 추가 가중치를 결정하는 단계는, 상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하는 단계; 및 상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정하는 단계를 더 포함할 수 있다.
상기 가이드 맵은, 중요도 맵의 인버스 맵과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)을 포함할 수 있다.
상기 중요도 맵에 기초하여 획득된 상기 스케일 가중치는 상기 변환 영상은 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고
상기 변환 영상은 상기 원본 영상보다 크기가 작은 경우, 상기 중요도 맵에 기초하여 상기 스케일 가중치는 상기 객체 영역에 대해서는 소정의 제 2 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 2 값보다 작은 값으로 결정될 수 있다.
엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 획득되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 획득되고,
상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경될 수 있다.
상기 변환 영상을 획득하는 단계는, 0이 아닌 값을 가지는 상기 스케일 가중치 및 상기 추가 가중치 모두가 상기 원본 영상의 상기 주변 영역 내의 적어도 하나의 픽셀에 적용하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 따라 제공되는 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 수행하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체는 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하는 단계; 상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 상기 주변 영역 내의 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하는 단계; 및
상기 적어도 하나의 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 단계를 포함하고, 상기 스케일 가중치 및 상기 추가 가중치는 상기 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 가중치일 수 있다.
일 실시예에 따른 영상 처리 장치는, 영상에 포함되는 배경이나 객체를 왜곡시키지 않고 다양한 화면 비율을 가지는 영상들을 생성할 수 있다.
본 개시 내용의 특정 실시 태양의 다른 양상, 특징 및 이점은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백할 것이다.
도 1은 일 실시예에 따른 영상 처리 장치의 구성을 도시하는 도면이다.
도 2는 영상 처리 장치에 의한 원본 영상의 처리 과정을 구체적으로 설명하기 위한 도면이다.
도 3은 영상 처리 장치가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 과정을 구체적으로 설명하기 위한 도면이다.
도 4a는 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 맵에 기초한 스케일 가중치를 이용하여 크기가 변경된 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4b는 본 개시의 일 실시예에 따른 영상 처리 장치가 리사이징을 수행하는 경우, 픽셀 그리드가 확장되는 과정을 설명하기 위한 도면이다.
도 4c는 본 개시의 일 실시예에 따른, 단방향 변환 및 양방향 변환을 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 5b-5c는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 구체적인 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따라, 선별적으로 화면 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 이용하여 중요도 가이던스 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시예에 따른 수평 업스케일 케이스에서의 수도코드를 도시한다.
도 8b는 도 8a의 수평 업스케일 케이스에서의 수도코드에 따라 추가 가중치 기초로 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 9a는 본 개시의 일 실시예에 따른 수평 다운 스케일 케이스에서의 수도코드를 도시한다.
도 9b는 도 9a의 수평 다운 스케일 케이스에서의 수도코드에 따라 추가 가중치 기초로 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따라, 영상 처리 장치가 원본 영상이 복수의 객체 영역을 포함하는 경우, 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 영상 처리 장치의 영상 처리 방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 하나 이상의 실시예를 상세히 설명한다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
본 명세서에서, '중요도 맵(Saliency map)'은 영상의 객체 영역과 주변 영역을 구별하기 위한 중요도 값(Saliency value)을 포함하는 맵을 의미할 수 있다. 이때, 중요도 맵은 영상에서'눈에 띄는 정도'를 픽셀별로 나타낼 수 있다. 이에 따라, 사용자가 영상을 볼 때, 주로 보는 영역 또는 관심을 두고 있는 영역은, 중요도 맵에서, 큰 픽셀 값을 가질 수 있다. 영상 처리 장치(100)는 중요도 맵에 기초하여, 스케일 펙터(또는, 스케일 가중치)를 결정할 수 있다. 영상 처리 장치(100)는 뉴럴 네트워크(neural network)를 이용하여, 중요도 맵을 생성할 수 있으나, 이에 제한되지 않는다. 예를 들어, 중요도 맵은 푸리에 변환을 이용하여 생성(스펙트럴 중요도 맵으로)될 수 있다.
본 명세서에서, '스케일 펙터(또는 스케일 가중치)'는 영상의 크기를 조절하기 위해 원본 영상의 원본 픽셀에 적용되는 가중치로, 이를 기초로 스케일된 영상(또는 변환 영상)의 픽셀 값이 결정될 수 있다. 스케일된 영상의 하나의 픽셀 값은 원본 영상의 적어도 하나의 원본 픽셀 값 및 적어도 하나의 원본 픽셀에 대한 가중치를 기초로 하는 가중합으로 결정되는데, 이때, 스케일된 영상의 하나의 픽셀 값을 산출하기 위해 이용되는 적어도 하나의 원본 픽셀에 대응하는 가중치의 총 합은 소정의 값(예를 들어, 1)이 되어야 한다.
예를 들어, 영상 처리 장치(100)는 x좌표가 동일한 픽셀 값들을 더한 값을 해당 x 좌표에 대응하는, 스케일 팩터로 결정할 수 있다. 또는, 영상 처리 장치(100)는 중요도 맵에서 x 좌표가 동일한 픽셀 값들의 평균값, 최대값, 최소값 등의 값을 해당 x 좌표에 대응하는, 스케일 팩터로 결정할 수 있다. 이에 따라, 스케일 팩터는, 픽셀의 x좌표를 입력 변수로 갖는 함수로 나타낼 수 있다. 다만, 스케일 팩터는 이에 한정되는 것은 아니고, y좌표를 입력변수로 갖는 함수로도 나타낼 수 있다.
또한, 본 명세서에서 '뉴럴 네트워크(neural network)'은 뇌 신경을 모사한 인공지능 모델의 예시로서, 특정 알고리즘을 사용한 신경망 모델로 한정되지 않는다.
또한, 본 명세서에서 '파라미터'는 신경망을 이루는 각 레이어의 연산 과정에서 이용되는 값으로서 예를 들어, 입력 값을 소정 연산식에 적용할 때 이용되는 가중치를 포함할 수 있다. 파라미터는 매트릭스 형태로 표현될 수 있다. 파라미터는 훈련의 결과로 설정되는 값으로서, 실시 예에서 별도의 훈련 데이터(training data)를 통해 갱신될 수 있다.
본 명세서에서, '객체 영역'은 영상 내 관심 대상이 되는 객체를 포함하는 영역으로, 중요도 값(또는 뎁스 값)이 소정의 임계값보다 높은(또는 낮은) 영역을 의미할 수 있다. '주변 영역'은 영상 내 관심 대상이 아닌 영역, 예를 들어 배경과 같은 부분을 포함하는 영역으로, 중요도 값(또는 뎁스 값)이 소정의 임계값보다 낮은(또는 높은) 영역을 의미할 수 있다. 다만, 주변 영역은 소정의 임계값에 기초하는 것에 제한되지 않고, 다양한 기법에 의해 '객체 영역'과 '주변 영역'이 구분될 수 있다.
본 명세서에서, '원본 영상'은 영상 처리 장치(100)에 입력되어 영상 처리의 대상이 되는 영상(입력 영상)을 의미할 수 있다
본 명세서에서, '변환 영상'은 영상 처리 장치(100)에 의해 원본 영상을 영상 처리하여 생성된 영상(출력 영상)을 의미하고, 원본 영상으로부터 크기가 변경된 영상을 의미할 수 있다. 원본 영상의 크기가 변경될 때, 객체 영역의 크기는 최대한 유지하되, 주변 영역의 크기가 변경될 수 있다. 주변 영역은 크기의 변경으로 인하여 왜곡 현상이 발생할 수 있다. 이때, 주변 영역에 대한 영상 처리를 통해 주변 영역의 화질이 개선될 수 있다. 구체적으로, 원본 영상으로부터 변하지 않는 속성 관련 정보를 기초(예를 들어, 에지 변화도에 기초한 텍스처 맵)로, 주변 영역의 텍스처 에지 등의 선명도를 높임으로써 화질이 개선될 수 있다.
또한, 본 명세서에서, '텍스처 맵'은 영상 내 텍스처 에지의 변화율을 나타내는 맵으로, 예를 들어, 원본 영상 내 픽셀의 다양한 방향에 대한 2차 미분에 기초하여 도출될 수 있다. '텍스처 맵'은 텍스처 에지의 선명도를 높이기 위하여 가중치로써 이용될 수 있다. 예를 들어, 원본 영상의 픽셀 값 간의 차이 값에 대한 변화량(예를 들어, 1차 변화량)의 변화량(예를 들어, 2차 변화량)이 양의 값을 갖는 경우, 양의 추가 가중치를 픽셀값에 부가하고, 변화량이 음의 값을 갖는 경우, 음의 추가 가중치를 픽셀값에 부가하여, 픽셀들 간의 차이값이 커지게 함으로써 텍스처 에지 등의 선명도를 높일 수 있다.
또한, 본 명세서에서, '영상'은 정지 영상 또는 동영상(또는 비디오) 그 자체일 수 있다. 예를 들어, '영상'은 동영상(또는 비디오)를 구성하는 정지 영상을 포함할 수 있다.
또한, 본 명세서에서, '샘플'은 원본 영상 또는 원본 영상 속성 관련 정보(맵)의 샘플링 위치에 할당된 데이터로서 프로세싱 대상이 되는 데이터를 의미한다. 예를 들어, 공간 영역의 프레임에서 픽셀, 변환 영역 상의 변환 계수들이 샘플들일 수 있다. 따라서, 공간 영역의 프레임에서 픽셀 값은 샘플 값일 수 있다. 이러한 적어도 하나의 샘플들을 포함하는 단위를 블록이라고 정의할 수 있다.
이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 일 실시예에 따른 영상 처리 장치(100)의 구성을 도시하는 도면이다.
영상 처리 장치(100)는 메모리(110) 및 프로세서(130)를 포함한다. 영상 처리 장치(100)는 서버, TV, 카메라, 휴대폰, 태블릿 PC, 노트북 등 영상 처리가 가능한 기기로 구현될 수 있다.
도 1에는 메모리(110) 및 프로세서(130)가 개별적으로 도시되어 있으나, 메모리(110) 및 프로세서(130)는 하나의 하드웨어 모듈(예를 들어, 칩)을 통해 구현될 수 있다.
프로세서(130)는 신경망 기반의 영상 처리를 위한 전용 프로세서로 구현될 수 있다. 또는, 프로세서(130)는 AP(application processor), CPU(central processing unit) 또는 GPU(graphic processing unit)와 같은 범용 프로세서와 소프트웨어의 조합을 통해 구현될 수도 있다. 전용 프로세서의 경우, 본 개시의 실시예를 구현하기 위한 메모리를 포함하거나, 외부 메모리를 이용하기 위한 메모리 처리부를 포함할 수 있다
프로세서(130)는 복수의 프로세서들로 구성될 수도 있다. 이 경우, 복수의 프로세서들은 전용 프로세서들의 조합으로 구현될 수도 있고, AP, CPU 또는 GPU와 같은 다수의 범용 프로세서들과 소프트웨어의 조합을 통해 구현될 수도 있다.
메모리(110)는 영상 처리를 위한 하나 이상의 인스트럭션을 저장할 수 있다. 일 실시예에서, 메모리(110)는 중요도 맵의 생성에 이용되는 신경망을 저장할 수 있다. 신경망이 인공 지능을 위한 전용 하드웨어 칩 형태로 구현되거나, 기존의 범용 프로세서(예를 들어, CPU 또는 애플리케이션 프로세서) 또는 그래픽 전용 프로세서(예를 들어, GPU)의 일부로 구현되는 경우에는, 신경망이 메모리(110)에 저장되지 않을 수 있다. 신경망은 외부 장치(예를 들어, 서버)에 의해 구현될 수 있고, 이 경우, 영상 처리 장치(100)는 외부 장치에 중요도 맵의 생성을 요청하고, 외부 장치로부터 중요도 맵을 수신할 수 있다.
프로세서(130)는 메모리(110)에 저장된 인스트럭션에 따라 연속된 프레임들을 순차적으로 처리하여 연속된 복원 프레임들을 획득할 수 있다. 연속된 프레임은 동영상을 구성하는 프레임들을 의미할 수 있다. 그러나, 본 개시에서 연속된 프레임이 반드시 동영상을 구성할 필요는 없다. 다시 말하면, 서로 개별적으로 촬영된 정지 영상들이 미리 결정된 순서, 임의의 순서 또는 사용자가 설정한 순서에 따라 영상 처리 장치(100)에 의해 처리될 수 있다.
도 1에 도시된 것과 같이, 영상 처리 장치(100)는 원본 영상에 대한 영상 처리(예를 들어, 필터 처리)를 통해 영상의 크기가 변경된 변환 영상을 출력할 수 있다. 이때, 영상 내 주변 영역에 대한 화질 개선이 영상 크기 변경과 함께 이루어질 수 있다.
영상 처리 장치(100)는 객체 영역과 주변 영역을 포함하는 원본 영상에 대한 제 1 속성 관련 정보를 생성할 수 있다. 제 1 속성 관련 정보는 원본 영상의 객체 영역과 주변 영역 간에 구별되는 정보를 포함할 수 있다. 제 1 속성 관련 정보는 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 포함할 수 있다. 예를 들어, 제 1 속성 기반 맵은 원본 영상에 대한 중요도 맵(Saliency Map) 또는 원본 영상에 대한 뎁스 맵(Depth Map)을 포함할 수 있다. 영상 처리 장치(100)는 원본 영상의 크기를 변경하기 위해, 제 1 속성 관련 정보를 기초로 원본 영상의 원본 픽셀들에 대한 (필터의) 스케일 가중치를 결정할 수 있다. 이때, 변경될 영상의 크기가 먼저 결정되고, 변경될 영상의 크기 및 제 1 속성 관련 정보를 기초로, 원본 픽셀들에 대한 스케일 가중치가 결정될 수 있다.
영상 처리 장치(100)는 원본 영상에 대한 제 1 속성 관련 정보 및 제 2 속성 관련 정보를 기초로 주변 영역의 화질을 개선하기 위한 주변 영역의 원본 영상 내의 원본 픽셀들에 대한 추가 가중치를 결정할 수 있다.
예를 들어, 영상 처리 장치(100)는 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성할 수 있다. 여기서 원본 영상에 대한 제 2 속성 기반 맵은 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보일 수 있다. 제 2 속성 기반 맵은 텍스처 맵을 포함할 수 있다. 텍스처 맵은 원본 영상의 픽셀들 값들의 차이값(예를 들어, 1차 변화율)에 대한 변화율(예를 들어, 2차 변화율)에 기초한 맵일 수 있다. 영상 처리 장치(100)는 제 1 속성 기반 맵과 제 2 속성 기반 맵을 기초로 가이드 맵을 생성할 수 있다. 이때, 가이드 맵은 추가 가중치를 포함할 수 있다.
예를 들어, 가이드 맵은 중요도 맵과 텍스처 맵에 기초하여 생성된 맵일 수 있다. 구체적으로, 가이드 맵은 중요도 맵의 인버스 맵과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)일 수 있다. 중요도 가이던스 맵에 포함된 추가 가중치는 객체 영역에서 0이거나 0에 가까울 수 있고(0 근처 소정의 범위 내일 수 있고), 주변 영역에서 -1부터 1 사이의 값(0이 아니거나, 0에 가까운 값. 즉, 0 근처 소정의 범위 내의 값이 아닌 값)을 가질 수 있다. 텍스처 맵 및 중요도 가이던스 맵의 생성과 관련하여, 도 7a 내지 7b를 참조하여 후술하겠다.
영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 영상의 원본 픽셀들에 적용하여 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다. 스케일 가중치 및 추가 가중치를 원본 영상의 원본 픽셀들에 적용하는 것은 원본 영상에 필터를 이용하여 필터 처리를 수행하는 것에 대응될 수 있다. 이때, 필터는 스케일 가중치 및 추가 가중치를 포함할 수 있다.
예를 들어, 변환 영상 내의 변환 픽셀들 중 하나의 변환 픽셀의 픽셀값을 산출하기 위해 이용되는 하나의 스케일 가중치 또는 복수의 스케일 가중치의 합은 소정의 값(예를 들어, 1)일 수 있다. 이때, 원본 픽셀과 이에 대응하는 스케일 가중치는 1:1 대응관계를 가질 수 있다. 따라서, 복수개의 원본 픽셀의 각각에 대응하는 스케일 가중치 각각이 결정될 수 있다.
영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 영상의 픽셀들에 적용할 때, 스케일 가중치 및 추가 가중치에 기초하여 원본 영상에 포함된 픽셀들의 가중합을 산출할 수 있다. 이때, 변환 영상의 변환 픽셀들의 픽셀값은 원본 영상에 포함된 픽셀들과의 가중합에 대응될 수 있다. 구체적으로, 영상 처리 장치(100)가 필터를 원본 영상의 픽셀들에 적용하는 과정에 대하여 도 8a 내지 9b를 참조하여 후술하겠다.
영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 픽셀들에 적용하여, 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 때, 변환 영상의 변환 픽셀들의 픽셀값들 간의 제 1 차이값을, 필터의 추가 가중치가 아닌 필터의 스케일 가중치를 기초로(예를 들어, 스케일 가중치만을 기초로) 결정된 주변 영역에 포함된 변환 픽셀들의 픽셀값들 간의 제 2 차이값보다 크게 획득할 수 있다. 즉, 주변 영역의 텍스처 에지와 같은 부분을 선명하게 함으로써, 주변 영역의 화질 개선이 이루어질 수 있다. 제 1 차이값이 제 2 차이값보다 크게 획득되는 것과 관련하여, 도 8b 또는 도 9b를 참조하여 후술하겠다.
예를 들어, 영상 처리 장치(100)는 중요도 맵에 기초하여, 객체 영역에 대해서는 스케일 가중치를 소정 값의 제 1 가중치로 결정하고, 주변 영역에 대한 스케일 가중치의 값은 제 1 가중치의 값보다 큰 값으로 결정할 수 있다. 이때 소정의 제 1 가중치의 값은 1일 수 있으나, 이에 제한되지 않는다. 이 경우, 상기 스케일 가중치에 기초하여 획득된 변환 영상은 원본 영상보다 크기가 큰 영상일 수 있다.
다른 예로, 영상 처리 장치(100)는 제 1 속성 기반 맵(예를 들어, 중요도 맵 또는 뎁스 맵)에 기초하여, 객체 영역에 대해서는 스케일 가중치를 소정 값의 제 1 가중치로 결정하고, 주변 영역에 대해서는 소정 값의 제 1 가중치보다 작은 값으로 결정할 수 있다. 이때 소정 값은 1일 수 있으나, 이에 제한되지 않는다. 이 경우, 상기 스케일 가중치에 기초하여 획득된 변환 영상은 원본 영상보다 크기가 작은 영상일 수 있다.
원본 영상의 객체 영역 및 주변 영역을 고려하여, 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 원본 영상의 높이가 변경되면서, 수평 방향으로 원본 영상의 너비가 변경될 수 있다. 즉, 원본 영상의 객체 영역 및 주변 영역을 고려하여, 원본 영상의 크기가 수직 방향 및 수평 방향의 양방향으로 크기가 변경될 수 있다. 이때, 수직 방향으로의 변경 비율과 수평 방향으로의 변경 비율은 원본 영상의 객체 영역 및 주변 영역을 고려하여 결정될 수 있다.
구체적으로, 영상 처리 장치(100)는 엔트로피 기반으로, 제 1 속성기반 맵의 밀집도를 산출하고, 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율을 산출할 수 있다. 수직 방향 및 수평 방향의 변경 비율을 기초로, 변경될 원본 영상의 높이 및 너비가 산출되고, 변경될 원본 영상의 높이 및 너비를 기초로, 스케일 가중치가 결정될 수 있다. 이때, 스케일 가중치는 중요도 맵(또는 뎁스 맵)에 기초하여 결정될 수 있다. 엔트로피 기반으로 양방향으로 원본 영상의 크기를 변경하는 내용과 관련하여, 도 5a 내지 5c를 참조하여 후술하겠다.
도 1에는 도시되어 있지는 않지만, 영상 처리 장치(100)는 디스플레이를 더 포함하거나, 별도의 디스플레이 장치와 연결될 수 있다. 영상 처리 장치(100)에 의해 생성된 영상은 디스플레이 또는 디스플레이 장치에서 재생될 수 있다. 일 실시 예에서, 영상 처리 장치(100)에 의해 생성된 영상은 후처리된 후 디스플레이 또는 디스플레이 장치에서 재생될 수도 있다.
구현예에 따라, 영상 처리 장치(100)는 변환(transformation)을 이용한 영상 압축 방법을 통해 영상을 부호화할 수 있다. 주파수 변환을 이용한 영상 압축 방법은 복원 프레임을 예측하여 예측 데이터를 생성하는 과정, 복원 프레임과 예측 데이터 사이의 차이에 해당하는 잔차 데이터를 생성하는 과정, 공간 영역(spatial domain) 성분인 잔차 데이터를 변환 영역(transform domain) 성분으로 변환하는 과정, 변환 영역 성분으로 변환된 잔차 데이터를 양자화(quantization)하는 과정 및 양자화된 잔차 데이터를 엔트로피 부호화하는 과정 등을 포함할 수 있다. 이와 같은 영상 압축 방법은 MPEG-2, H.264 AVC(Advanced Video Coding), MPEG-4, HEVC(High Efficiency Video Coding), VC-1, VP8, VP9 및 AV1(AOMedia Video 1) 등 변환을 이용한 영상 압축 방법들 중 하나를 통해 구현될 수 있다.
복원 영상의 부호화를 통해 생성된 부호화 데이터는 네트워크를 통해 외부 기기로 전달되거나, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등의 데이터 저장 매체에 저장될 수 있다.
이하에서는, 도 2를 참조하여, 영상 처리 장치(100)에 의한 원본 영상의 처리 과정을 구체적으로 설명한다.
영상 처리 장치(100)는 원본 영상(200)을 입력으로 하여, 중요도 맵(210)을 생성할 수 있다(동작 210). 중요도 맵(210)은 주변 영역(220)과 객체 영역(225)이 구별되는 맵으로, 영상 처리 장치(100)는 중요도 맵(210)을 기초로 각 영역에 대한 스케일 가중치를 적응적으로 결정할 수 있다(동작 230). 주변 영역(220)에 대한 스케일 가중치를 기초로 주변 영역(220)의 스케일이 이루어질 수 있다. 한편, 객체 영역(225)에 대한 스케일 가중치는 1로 설정될 수 있고, 예를 들어, 객체 영역(225)에 대한 스케일은 이루어지지 않을 수 있으나, 이에 제한되지 않고, 객체 영역(225)에 대한 가중치는 중요도 맵(210)을 기초로 1이 아닌 다른 값으로 결정될 수 있다.
영상 처리 장치(100)는 적응적으로 스케일 가중치를 결정함으로써 발생되는 주변 영역(220)의 왜곡 현상을 최소화하기 위해 원본 영상(200)의 속성 관련 맵을 생성하고(동작 240), 원본 영상(200)의 속성 관련 맵과 중요도 맵(210)을 기초로 중요도 가이던스 맵을 생성할 수 있다(동작 250). 이때, 중요도 가이던스 맵은 원본 영상(200)의 속성을 기초로 주변 영역(220)에 대한 추가 가중치를 갖고, 객체 영역(225)에 대한 추가 가중치는 갖지 않을 수 있다. 따라서, 주변 영역(220)에 대한 추가 가중치를 기초로 주변 영역(220)에 대한 화질 개선이 이루어질 수 있다. 예를 들어, 원본 영상(200)의 속성 관련 맵은 텍스처 맵일 수 있으나, 이에 제한되지 않는다.
영상 처리 장치(100)는 스케일 가중치 S(m,n) 및 주변 영역(220)에 대한 추가 가중치 g(m,n)를 포함하는 필터를 원본 영상(200)에 적용하여(동작 260), 주변 영역(220)의 스케일 및 화질 개선이 이루어질 수 있다. 즉, 변환 영상(270)은 원본 영상(200)으로부터 크기가 변경된 영상일 수 있고, 전술한 바와 같이, 주변 영역(220)에 대한 추가 가중치로 인하여, 주변 영역(220)에 대한 화질 개선이 이루어질 수 있다.
주변 영역(220)에 대하여 스케일 및 화질 개선이 수행되는지에 대한 내용만이 설명되었으나, 이에 제한되지 않고, 주변 영역(220)의 필터 처리와 유사하게, 객체 영역(225)에 대한 필터 처리가 수행될 수 있다. 예를 들어, 주변 영역(220)에 비하여 객체 영역(225)의 스케일 가중치 및 추가 가중치는 작게 결정될 수 있다.
예를 들어, 보정 계수(0~1 사이의 값)를 추가 가중치에 곱하여 보정된 추가 가중치가 결정될 수 있다. 보정 계수는 스케일 가중치에 기초하여 결정될 수 있다.
이하에서는, 도 3을 참조하여, 영상 처리 장치(100)가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 과정을 구체적으로 설명한다.
영상 처리 장치(100)는 주변 영역 및 객체 영역이 구별된 중요도 맵을 생성할 수 있다(동작 310). 영상 처리 장치(100)는 중요도 맵 A(m,n)의 중요도 값을 기초로, 엔트로피 기반 중요도 밀집도를 산출할 수 있다(동작 320). 이때, 수평 방향 및 수직 방향으로 엔트로피 기반 중요도 밀집도 H(x) 및 H(y)가 각각 산출될 수 있다.
영상 처리 장치(100)는 엔트로피 기반 중요도 밀집도 H(x) 및 H(y)를 기초로 수평방향 및 수직 방향의 변경 비율 R(x) 및 R(y)를 각각 산출할 수 있다(동작 330). 즉, 영상 처리 장치(100)는 엔트로피 기반 중요도 밀집도 H(x) 및 H(y)를 기초로 어느 방향으로 중요한 객체 영역 대비 주변 영역을 많이 포함하고 있는지를 식별하고, 수평 방향으로의 스케일이 자유로운지, 수직방향의 스케일이 자유로운지를 식별하고, 보다 자유로운 방향의 변경 비율을 높게 산출할 수 있다. 여기서 스케일이 자유롭다함은 스케일 가능한 스케일 영역의 범위가 큼을 의미한다. 따라서, 보다 자유로운 방향으로 스케일하는 경우, 스케일 가능한 스케일 영역의 범위가 넓으므로, 변경 비율이 보다 크게 결정될 수 있다.
영상 처리 장치(100)는 변경 비율을 기초로 변경 높이(원본 영상이 변경될 높이) 및 변경 너비(원본 영상이 변경될 폭)를 산출할 수 있고(동작 340), 중요도 맵과 변경 높이 및 변경 너비를 기반으로, 스케일 가중치를 결정할 수 있고, 스케일 가중치를 기초로 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다(동작 350). 이는, 양방향으로 스케일이 수행되기 때문에, 단방향으로 스케일이 수행될 때보다 다양한 방향으로 조정하되, 중요도 맵을 기반으로 각 방향의 변경 비율을 결정함으로써, 객체 영역의 왜곡을 최소화할 수 있기 때문이다.
영상 처리 장치(100)가 엔트로피 기반 중요도 밀집도를 고려하여 원본 영상을 양방향으로 스케일하는 보다 구체적인 과정은 도 5a 내지 5c를 참조하여 후술하기로 한다.
도 4a는 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 맵에 기초한 스케일 가중치를 이용하여 크기가 변경된 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4a를 참조하면, 영상 처리 장치(100)는 원본 영상(410)을 입력으로 하여 선별적인 리사이징(Resizing)을 통해 화면 비율(aspect ratio)을 조정하고, 변환 영상(440)을 출력할 수 있다. 이때, 중요도 맵(420)을 기반으로 스케일 가중치(430)가 생성될 수 있다. 중요도 맵(420)은 객체 영역과 주변 영역이 구분되어 설정되어 있고, 이에 따라, 중요도 맵(420)을 기초로 생성된 스케일 가중치(430)도 이에 따라, 객체 영역(450) 및 주변 영역(460)이 구분되어 설정될 수 있다. 다만, 이에 제한되지 않고, 중요도 맵(420)에서 객체 영역과 주변 영역이 명확하게 구분되어 설정되지 않고, 중요도 값이 연속적인 값을 가질 수 있으나, 다양한 기법에 의하여, 영상 처리 장치(100)는 중요도 맵(420)을 기초로 원본 영상을 객체 영역과 주변 영역으로 구분할 수 있다. 이는 스케일 가중치(430)나 중요도 맵을 대체할 수 있는 뎁스 맵 등에서도 마찬가지이다.
이때, 객체 영역(450)에 대한 스케일 가중치(430)는 1 또는 1을 포함하는 소정의 범위 내 값일 수 있고, 따라서, 객체 영역(450)에 대한 스케일은 수행되지 않거나, 거의 수행되지 않고, 객체 영역(450)은 변환 영상(440)에서도 보존될 수 있다. 한편, 주변 영역(460)에 대한 스케일 가중치(430)는 1보다 큰 값이거나, 1을 포함하는 소정의 범위를 벗어난 값일 수 있다. 또는 주변 픽셀의 중요도 값의 변화도 또는 스케일 가중치(430)의 변화도(또는 예를 들어, 변화도의 절대값)가 소정의 값보다 크거나 같은지 여부에 기초하여 객체 영역(450)과 주변 영역(460)이 구분되어 설정될 수 있다. 이때, 변화도는 1차 변화도에 제한되지 않고, 2차 변화도일 수 있고, 이때, 객체 영역(450) 및 주변 영역(460)의 경계에서의 스케일 가중치(430)는 1보다 큰 값일 수 있다. 이에 제한되지 않고, 스케일 가중치(430)는 객체 영역(450)에 대하여 소정의 값(예를 들어, 1)을 갖도록 리파인(refine)될 수 있다.
주변 영역(460)에 대한 업스케일이 수행되고, 주변 영역(460)의 크기는 변경될 수 있다. 즉, 영상 처리 장치(100)는 중요도 맵을 기초로 선별적인 리사이징을 통해 화면 비율을 조정함으로써, 사용자가 더 주목하는 부분(예를 들어, 객체 영역)을 보존할 수 있다. 그리고, 설사 많이 주목하지 않는 나머지 부분(예를 들어, 주변 영역)에 대한 리사이징을 통해 주변 영역에 왜곡이 발생하더라도, 사용자가 왜곡에 따른 화질 열화를 크게 느끼지 않을 수 있다.
도 4a를 참조하여, 영상 처리 장치(100)가 중요도 맵(420)을 이용하여 선별적인 리사이징을 수행하는 것을 설명하였으나, 이에 제한되지 않고, 객체 영역(450) 및 주변 영역(460)이 구분되어 설정된 다양한 속성 맵 정보가 이용될 수 있다. 예를 들어, 원본 영상(410)에 대한 뎁스 맵(Depth map)이 이용될 수 있다.
또한, 도 4a를 참조하여, 설명의 편의상 영상 처리 장치(100)가 수평 방향으로 업스케일하는 내용을 설명하였으나, 이에 제한되지 않고, 수직 방향으로 업스케일을 수행할 수 있다. 또한, 영상 처리 장치(100)가 업스케일을 수행하는 내용을 설명하였으나, 이에 제한되지 않고, 다운스케일을 수행할 수 있다. 이때, 주변 영역(460)의 가중치는 1보다 작을 수 있다.
도 4b는 본 개시의 일 실시예에 따른 영상 처리 장치가 리사이징을 수행하는 경우, 픽셀 그리드가 확장되는 과정을 설명하기 위한 도면이다.
도 4b를 참조하면, 영상 처리 장치(100)는 중요도 맵을 이용하여 원본 영상(410)의 선별적인 리사이징을 수행하는 경우, 원본 영상(410)의 객체 영역(450)의 원본 영상 픽셀 그리드를 확장하지 않을 수 있다. 즉, 원본 픽셀과 변환 픽셀의 좌표가 1:1 관계로 맵핑됨으로써, 객체 영역(450)이 보존될 수 있다.
반면, 영상 처리 장치(100)는 원본 영상(410)의 주변 영역(460)의 원본 영상 픽셀 그리드를 확장할 수 있다. 즉, 원본 픽셀과 변환 픽셀의 좌표가 1 대 다 관계로 맵핑됨으로써, 주변 영역(460)이 보존되지 않고 커질 수 있다. 좌표가 변환 픽셀에 1 대 다 관계로 맵핑될 때, 변환 영상(440) 내 하나의 변환 픽셀의 픽셀값은 적어도 하나의 원본 픽셀의 픽셀값의 가중합으로 표현될 수 있다. 이때, 가중치는 스케일 가중치(430) 및 추가 가중치일 수 있다.
도 4b를 참조하여, 영상 처리 장치(100)가 업스케일을 수행하는 내용을 설명하였으나, 이에 제한되지 않고, 다운스케일을 수행할 수 있다. 이때, 주변 영역(460)의 가중치는 1보다 작을 수 있고, 따라서, 픽셀 그리드가 축소되고, 원본 픽셀과 변환 픽셀의 좌표가 다 대 1 맵핑됨으로써, 주변 영역(460)이 보존되지 않고, 작아질 수 있다.
다 대 1 맵핑될 때, 하나의 변환 픽셀의 픽셀값은 복수의 원본 픽셀들의 픽셀값들의 가중합으로 표현될 수 있다.
도 4c는 본 개시의 일 실시예에 따른, 단방향(1-direction) 변환 및 양방향(bi-direction) 변환을 설명하기 위한 도면이다.
영상 처리 장치(100)는 중요도 맵을 이용하여 수평 방향 또는 수직 방향으로 단방향 변환을 수행할 수 있다. 예를 들어, 도 4c를 참조하면, 영상의 비율을 소정의 비율로 조정하기 위해, 영상 처리 장치(100)는 중요도 맵을 이용하여 원본 영상(410)을 가로로 확장함으로써 원본 영상(410)보다 너비가 커진 제 1 변환 영상(470)을 획득할 수 있다. 단방향 변환이 수행되는 경우, 한쪽 방향으로만의 변환 제한으로 인하여, 영상에서 왜곡이 크게 발생할 수 있다.
따라서, 영상 처리 장치(100)는 단방향 변환에 제한되지 않고, 양방향 변환을 수행할 수 있다. 즉, 영상의 비율을 소정의 비율로 조정하기 위해, 영상 처리 장치(100)는 중요도 맵을 이용하여 원본 영상(410)을 가로로 확장할 뿐 아니라, 세로로 축소함으로써, 원본 영상(410)보다 너비가 커지고, 높이가 작아진 제 2 변환 영상(480)을 획득할 수 있다. 양방향 변환이 수행되는 경우, 단방향 변환에 비해 영상 내에서 왜곡이 줄어들거나 피할 수 있다.
도 5a는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 과정을 설명하기 위한 도면이다.
영상 처리 장치(100)는 원본 영상(500)을 기초로 원본 영상(500)에 대한 중요도 A(x,y)를 결정할 수 있다. 영상 처리 장치(100)는 중요도 A(x,y)를 기초로 수평 방향의 중요도 A(x) 및 수직 방향의 중요도 A(y)를 결정할 수 있다. 예를 들어, A(x)는 A(x)의(x는 '0'부터 '영상의 너비 - 1 사이의 값)의 값의 평균값이고, A(y)는 A(y)(y는 '0'부터 '영상의 높이 - 1' 사이의 값)의 값의 평균값일 수 있으나, 이에 제한되지 않고, 다양한 값일 수 있다.
영상 처리 장치(100)는 다음 수학식에 따라 수평 방향의 중요도 A(x) 및 A(y)를 기초로, 수평 방향의 조정 비율 Rhor 및 수직 방향의 조정 비율 Rver을 결정할 수 있다.
[수학식 1]
Figure PCTKR2022007304-appb-img-000001
이때, H()는 시그널 엔트로피를 의미할 수 있다. 엔트로피 값 H는 값의 분포가 넓게 분포할수록 높은 값이 도출될 수 있고, 분포가 좁게 분포할수록 낮은 값이 도출될 수 있다. 예를 들어, H(A(x))는 중요도 A(xi)가 넓게 분포되어 있을수록 높은 값이 도출될 수 있고, 좁게 분포할수록 낮은 값이 도출될 수 있다.
예를 들어, 도 5a를 참조하면, A(x)의 분포는 좁게 분포되어 있고, A(y)의 분포는 넓게 분포되어 있을 수 있고, 이 경우, 수직 방향으로의 자유도는 작고, 수평방향의 자유도는 높을 수 있다. 영상 처리 장치(100)는 자유도가 높은 방향으로 조정 비율을 높게 설정할 수 있다.
따라서, 영상 처리 장치(100)는 최소한의 영상의 왜곡 발생을 위해, 엔트로피 기반 중요도의 밀집도 분석을 통해 양방향으로 영상의 비율을 조정(또는, 변환)할 수 있다.
도 5b-5c는 본 개시의 일 실시예에 따른 영상 처리 장치가 엔트로피 기반 중요도의 밀집도 분석을 통해 영상의 비율을 조정하는 구체적인 과정을 설명하기 위한 도면이다.
도 5b를 참조하면, 영상 처리 장치(100)는 원본 영상(500)을 기초로, 중요도 A(x,y)를 획득할 수 있다. 이때, 도 5c를 참조하면, 원본 영상(500)의 해상도는 2520x1080이고, 비율은 21:9일 수 있다. 영상 처리 장치(100)는 영상의 비율을 16:9로 조정하기 위해, 중요도 A(x,y)를 기초로 A(x) 및 A(y)를 결정하고, A(x) 및 A(y)를 기초로, H(A(x)) 및 H(A(y))를 결정할 수 있다. 영상 처리 장치(100)는 H(A(x)) 및 H(A(y))를 기초로 수평 방향의 조정 비율 Rhor 및 수직 방향의 조정 비율 Rver을 결정할 수 있다. 예를 들어, 조정 비율 Rho 및 조정 비율 Rver는 위에서 설명한 수학식 1을 사용하여 결정될 수 있고, 다음과 같이 Rhor=0.648 및 Rver= 0.352로 획득될 수 있다.
영상 처리 장치(100)는 Rhor 및 Rver를 기초로 양방향으로 영상의 비율을 조정할 수 있다.
도 5c를 참조하면, 만약, 가로방향만 조정되는 경우, 영상의 비율을 16:9로 조정하기 위해, 가로방향으로 600 픽셀만큼 영상의 크기가 축소되어 제 1 변환 영상(510)이 생성될 수 있다.
영상 처리 장치(100)는 단방향만 조정하는 경우에 감소되는 픽셀의 개수를 기초로 Rhor 및 Rver 중 큰 값을 이용하여 한쪽 방향의 조정 픽셀의 개수를 결정할 수 있다. 예를 들어, 도 5c를 참조하면, 영상 처리 장치(100)는 가로방향으로 600 픽셀 × Rhor = 388로 크기를 줄임으로써 가로방향으로 영상의 크기를 축소(2132 픽셀)할 수 있다.
영상 처리 장치(100)는 영상의 비율을 맞추기 위해, 나머지 방향의 조정 픽셀의 개수를 결정할 수 있다. 예를 들어, 도 5c를 참조하면, 영상 처리 장치(100)는 영상의 비율을 16:9로 조정하기 위해, 세로방향으로 119 픽셀로 크기를 늘림으로써 세로방향으로 영상의 크기를 확장(1199 pixel)할 수 있다. 따라서, 영상 처리 장치(100)는 영상의 비율이 16:9이고, 영상의 해상도가 2132x1199인 제 2 변환 영상(520)을 생성하여 출력할 수 있다.
도 6은 본 개시의 일 실시예에 따라, 영상 처리 장치가 중요도 가이던스 맵을 생성하여 주변 영역의 화질을 개선하면서, 선별적으로 화면 비율을 조정하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 영상 처리 장치(100)는 원본 영상(600)을 기초로 중요도 맵(610)을 생성할 수 있다.
또한, 영상 처리 장치(100)는 원본 영상(600)을 기초로 텍스처 맵(620)을 생성할 수 있다. 텍스처 맵(620)은 다양한 방향의 텍스처 에지 등의 변화도에 관한 값을 포함하고 있고, 텍스처 맵(620)을 통해 영상의 선명도를 높일 수 있는 추가 가중치가 결정될 수 있다.
영상 처리 장치(100)는 중요도 맵(610)을 기초로 인버스 맵(615) (Inverse map)을 생성할 수 있다. 인버스 맵(615)을 생성하는 이유는 아래에서 설명한다.
중요도 맵(610)에서 객체 영역의 중요도 값이 크고, 주변 영역의 중요도 값이 작아, 이를 텍스처 맵(620)과 결합(예를 들어, 곱셈 연산)하여 중요도 가이던스 맵(630)을 생성하는 경우, 객체 영역에서의 값이 크고, 주변 영역의 값이 작게 된다. 그 값을 추가 가중치로 이용하게 되면, 객체 영역에서의 선명도 개선으로 인하여, 오버-샤프닝(over-sharpening) 현상이 발생할 수 있기 때문이다. 이 현상으로 인하여, 객체 영역에 왜곡이 발생할 수 있다. 즉, 객체 영역은 도 4a를 참조하여 설명한 선별적인 변환에 의하여 업스케일 또는 다운스케일되지 않고, 보존되는 영역이기 때문에, 변환에 의하더라도, 화질 열화가 거의 없는 상태이고, 그러한 상태에서 선명도를 개선함으로써 오버-샤프닝 현상이 발생할 수 있다.
그리고, 주변 영역의 값이 작기 때문에, 그 값을 추가 가중치로 이용하게 되면, 선명도 개선이 객체 영역보다 상대적으로 적게 될 수 있다. 따라서, 도 4a를 참조하여 설명한 선별적인 변환에 의하여 업스케일되거나 다운스케일된 주변 영역에는 왜곡이 발생하는 동안, 이에 대한 화질 개선이 적게 될 수 있다. 이러한 문제를 해결하기 위하여, 영상 처리 장치(100)는 중요도 맵(610)의 인버스 맵을 생성할 수 있다.
영상 처리 장치(100)는 인버스 맵(615)과 텍스처 맵(620)을 결합하여 중요도 가이던스 맵(630)을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 인버스 맵(615)의 픽셀 값과 텍스처 맵(620)의 픽셀 값을 곱하여 중요도 가이던스 맵(630)의 픽셀 값을 생성할 수 있다. 하지만, 이에 제한되지 않고, 다양한 방법으로, 인버스 맵(615)과 텍스처 맵(620)을 기초로 중요도 가이던스 맵(630)이 생성될 수 있다. 중요도 가이던스 맵(630)은 화질 개선을 위한 추가 가중치를 포함할 수 있다.
영상 처리 장치(100)는 중요도 맵(610)을 이용하여 스케일 가중치 맵(640)을 생성할 수 있다. 영상 처리 장치(100)는 스케일 가중치 맵(640)의 스케일 가중치와 중요도 가이던스 맵(630)의 추가 가중치를 기초로 변환 영상(650)을 출력할 수 있다.
도 7a는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 추출하는 과정을 설명하기 위한 도면이다.
영상 처리 장치(100)는 원본 영상(700)에 필터 커널(710)을 적용하여 다양한 방향의 에지 등의 변화도를 결정할 수 있다. 이때, 필터 커널(710)의 적용은 원본 영상의 행렬과 필터 커널의 행렬의 컨볼루션 연산에 대응될 수 있다.
이때, 필터 커널은 다양한 방향의 2차 도함수(또는, 미분) 커널로, 그 모양은 도 7a에 도시된 바와 같을 수 있으나, 그 계수는 달라질 수 있다. 특히, 필터의 커널의 크기는 연산량을 고려하여 도 7a에 도시된 바와 같이, 3x3 또는 5x5일 수 있으나, 이에 제한되지 않고, 다양한 크기를 가질 수 있다. 예를 들어, 커널은 라플라시안 커널이나 다른 심플한 2차 도함수 커널이 이용될 수 있다. 2차 도함수 커널의 전체 계수의 합은 0일 수 있다.
구체적으로, 영상 처리 장치(100)는 필터 커널을 기초로 각 방향의 미분 값(예를 들어, 2차 미분 값)을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 다음 수학식을 기초로 네 가지 방향의 2차 미분 값을 획득할 수 있다.
[수학식 2]
Figure PCTKR2022007304-appb-img-000002
여기서, (m,n)이 공간 도메인 좌표이고, I는 원본 영상의 그레이 스케일 영상일 수 있다.
Figure PCTKR2022007304-appb-img-000003
,
Figure PCTKR2022007304-appb-img-000004
는 각각 수평 및 수직 방향의 미분값일 수 있고,
Figure PCTKR2022007304-appb-img-000005
,
Figure PCTKR2022007304-appb-img-000006
는 각각 -45도 및 45도 방향의 미분값일 수 있다. 미분값은 -1에서 1 사이의 범위에 있지 않기 때문에, 각 방향의 에지 가이던스 맵은 다음 수학식과 같이 시그모이드 함수S()를 기초로 획득될 수 있다.
[수학식 3]
Figure PCTKR2022007304-appb-img-000007
영상 처리 장치(100)는 다음의 수학식을 기초로 텍스처 맵 E(m,n)(720)을 생성할 수 있다.
[수학식 4]
Figure PCTKR2022007304-appb-img-000008
텍스처 맵 E(m,n)(720) 의 픽셀 값은 -1에서 1사이의 값일 수 있다. 텍스처 맵 E(m,n)(720)의 해당 픽셀 값은 각 방향의 에지의 변화도에 기초할 수 있다. 특히, 텍스처 맵 E(m,n)(720)의 해당 픽셀 값은 텍스처 에지 등의 처음과 끝 부분의 변화도에 기초한 값일 수 있다. 이에 따라, 에지 부근에서 픽셀값에 변화에 따른 추가 가중치를 크게 부여함으로써, 텍스처 에지 등의 선명도를 개선할 수 있다.
도 7b는 본 개시의 일 실시예에 따라 영상 처리 장치가 텍스처 맵을 이용하여 중요도 가이던스 맵을 추출하는 과정을 설명하기 위한 도면이다.
도 7b를 참조하면, 영상 처리 장치(100)는 원본 영상(700)을 이용하여 중요도 맵 A(m,n)을 획득할 수 있다. 영상 처리 장치(100)는 중요도 맵 A(m,n)을 기초로 인버스 맵 1-A(m,n)을 획득할 수 있다. 영상 처리 장치(100)는 인버스 맵 1-A(m,n) 및 텍스처 맵 E(m,n)을 결합하여, 중요도 가이던스 맵 g(m,n)을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 수학식: g(m,n) = (1 - A(m,n))E(m,n)에 기초하여 중요도 가이던스 맵 g(m,n)을 획득할 수 있다.
영상 처리 장치(100)는 주변 영역(730)의 왜곡에 의하여 변환 영상(740)에 발생한 화질 열화를 개선하기 위해, 중요도 가이던스 맵 g(m,n)을 추가 가중치로 이용할 수 있다. 변환 영상(740)에 중요도 가이던스 맵 g(m,n)을 적용하여 주변 영역(730)의 화질을 개선할 수 있으나, 이에 제한되지 않고, 원본 영상(700)으로부터 스케일 가중치에 의한 스케일시에 중요도 가이던스 맵 g(m,n)의 값을 추가 가중치를 적용하여 스케일과 함께 주변 영역(730)의 화질을 개선할 수 있다.
도 8a는 본 개시의 일 실시예에 따른 수평 업스케일 케이스에서의 수도코드를 도시한다.
도 8a를 참조하면, 영상 처리 장치(100)는 변수 i(변환 영상의 열 번호)가 1부터 타겟 영상 너비 Wout이 될 때까지 for 문 내의 동작을 수행할 수 있다. 영상 처리 장치(100)는 원본 영상의 n번째 행, j번째 열에 위치하는 픽셀의 x좌표 mj에서의 스케일 가중치 S(mj)가 1보다 큰 경우, 타겟 영상(또는, 변환 영상) 내 타겟 픽셀(또는, 변환 픽셀)의 픽셀값 T(mi,n)을 (1 + g(mj,n))* I(mj,n)으로 결정하고, 스케일 가중치 S(mj)에서 1을 차감할 수 있다. 즉, 입력 영상(또는, 원본 영상) 내 원본 픽셀의 스케일 가중치 S(mj)가 1보다 크다면, 하나의 변환 픽셀을 생성하기 위해 스케일 가중치를 1로 하고, 추가 가중치 g(mj,n)으로 하여, T(mi,n)을 산출하고, i의 값을 1 증가시킬 수 있다. (j의 값은 그대로)
1 증가된 I 값과 관련하여, 입력 영상(원본 영상) 내 원본 픽셀의 스케일 가중치 S(mi)가 1 보다 크거나 같다면, 위에서 설명한 것과 동일한 동작을 통해, T(mi,n)을 산출할 수 있다. 이때, S(mj)가 1 감소할 수 있다. 입력 영상(원본 영상) 내 원본 픽셀의 스케일 가중치 S(mi)가 1보다 작아진다면, 스케일 가중치 S(mi), 추가 가중치 g(mj, n) 및 입력 픽셀값 I(mj, n)과 추가 가중치 g(mj+1, n) 및 입력 픽셀값 I(mj+1, n)을 이용하여 T(mi, n)를 산출할 수 있다. 이때, 스케일 가중치 S(mj+1)는 S(mj+1) - (1- S(mj))로 결정될 수 있다. 이때, j의 값은 1 증가할 수 있다.
즉, 정리하면, 원본 픽셀에 대한 스케일 가중치가 1보다 크거나 같은 경우, 1을 이용하여 원본 픽셀과 곱하고, 스케일 가중치를 1 차감하고 차감된 후 나머지 스케일 가중치를 이용하여, 그 다음 변환 픽셀의 픽셀값을 결정할 수 있다. 즉, 스케일 가중치가 1보다 작아질 때까지는 스케일 가중치를 1로 하여 해당 원본 픽셀의 픽셀값을 이용하여 적어도 하나의 변환 픽셀의 픽셀값을 결정할 수 있다. 다만, 스케일 가중치가 1보다 작아지면, 해당 원본 픽셀(제1 원본 픽셀)의 스케일 가중치 및 바로 인접한 다음 열의 원본 픽셀(제2 원본 픽셀)의 스케일 가중치를 이용할 수 있다. 이제 더 이상 이용할 제1 원본 픽셀의 스케일 가중치는 없기 때문에, 제2 원본 픽셀의 스케일 가중치를 이용하여 그 다음 변환 픽셀의 픽셀값을 결정할 수 있다.
이와 같은 동작을 현재 열 번호가 목표 영상 너비 Wout에 대응 될 때까지 반복함으로써, 변환 영상을 출력할 수 있다. 이하에서는, 간단한 예를 들어, 상기 동작을 설명하기로 한다.
예를 들어, n=160, S(1)=1.5, S(2)=1.5이고, Wout이 3이라면, 영상 처리 장치(100)는 T(1,160)을 (1+g(1,160))*I(1,160)로 결정할 수 있다.
그러고, S(1)은 1.5-1=0.5가 되고, 영상 처리 장치(100)는 T(2,160)을 0.5*(1+g(1,160))*I(1,160) + 0.5*(1+g(2,160))*I(2,160)으로 결정할 수 있다. 이때, 0.5*(1+g(2,160))의 0.5는 S(2)의 값 중 일부이고, T(2,160) 결정 후, S(2)=1.5+0.5-1=1이 된다.
영상 처리 장치(100)은 T(3,160)을 (1+g(2,160))*I(2,160)으로 결정할 수 있다. 이후, S(2)=1-1=0가 되고, 더 이상의 동작이 수행되지 않을 수 있다. 결국, T(1,360)부터 T(3,160)의 변환 영상 내 변환 픽셀 값이 결정될 수 있다. 즉, 기존의 I(1, 160)부터 I(2,160)에서 너비가 1.5 배 확장된 변환 영상이 획득될 수 있다.
도 8b는 도 8a의 수평 업스케일 케이스에서의 수도코드에 따라 (추가 가중치 기초로) 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 8b를 참조하면, 영상 처리 장치(100)는 도 8a의 수평 업스케일 케이스에서의 수도코드를 행마다 처리함으로써, 입력 영상으로부터 출력 영상(변환 영상)을 획득할 수 있다.
이하에서는, 설명의 편의를 위하여 영상 처리 장치(100)가 160번째 행을 처리함으로써 출력 영상 내 160번째 행의 픽셀값을 획득하는 내용만을 설명하겠다. 따라서, 이하 설명되는 모든 정보는 160번째 행의 정보에 제한됨에 유의한다.
영상 처리 장치(100)는 입력 영상을 기초로 텍스처 맵 E(m,160)을 획득할 수 있다. 영상 처리 장치(100)는 텍스처 맵 E(m,160)을 기초로 중요도 가이던스 맵 g(m,160)을 획득할 수 있다. 중요도 가이던스 맵 g(m,160)의 객체 영역 내 값은 0에 가까울 수 있다. 즉, 추가 가중치는 0에 가까운 값일 수 있다.
영상 처리 장치(100)는 화소값 I(m,160), 스케일 가중치 S(m) 및 중요도 가이던스 맵 g(m,160)을 기초로 화소값 T(m',160)을 생성할 수 있다.
한편, 영상 처리 장치(100)는 중요도 가이던스 맵 g(m,160)을 이용하지 않고, 화소값 I(m,160) 및 스케일 가중치 S(m)을 기초로, 화소값 T'(m',160)을 생성할 수 있다.
이때, 주변 영역(910)과 같이 픽셀의 그리드가 확장되는 부분의 화소값의 변동폭은 중요도 가이던스 맵에 기반한 것이 기반하지 않은 것보다 큼을 확인할 수 있고, 화소값의 변동 폭이 커짐으로 인하여, 텍스처 에지 등이 보다 강조됨으로써 화질 개선이 이루어질 수 있다.
도 9a는 본 개시의 일 실시예에 따른 수평 다운 스케일 케이스에서의 수도코드를 도시한다.
도 9a를 참조하면, 영상 처리 장치(100)는 변수 i(변환 영상의 열 번호)가 1부터 타겟 영상 너비 Wout이 될 때까지 for 문 내의 동작을 수행할 수 있다. 영상 처리 장치(100)는 for 문 내에서 temp_S가 1보다 작을 때에만, while 문 내의 동작을 반복적으로 수행할 수 있다.
영상 처리 장치(100)는 원본 영상 내의 n번째 행, j번째 열에 위치하는 픽셀의 x좌표 mj에서의 스케일 가중치 S(mj)를 변수 temp_S로 설정하고, temp_S가 1보다 작고, temp_S와 S(mj+1)의 합이 1보다 크다면, 타겟 영상(변환 영상) 내 타겟 픽셀(변환 픽셀)의 픽셀값 T(mi,n)의 값을 그 전에 결정된 T(mi,n)과 (1 - temp_S) * (1 + g(mj+1,n))* I(mj+1,n)을 합하여 결정하고, S(mj+1)을 이전 S(mj+1)에서 1- temp_S만큼 뺀 값으로 결정할 수 있다. 그러고 나서, break를 통해 while 문의 동작을 더 이상 수행하지 않는다.
한편, 영상 처리 장치(100)는 temp_S와 S(mj+1)의 합이 1보다 작거나 같다면, 타겟 영상 내 타겟 픽셀의 픽셀값 T(mi,n)의 값을 그 전에 결정된 T(mi,n)과 S(mj+1)* (1 + g(mj+1,n))* I(mj+1,n)을 합하여 결정하고, temp_S의 값을 이전 temp_S에 S(mj+1)만큼 더한 값으로 결정하고, j의 값을 1 증가시킬 수 있다.
즉, 정리하면, 영상 처리 장치(100)는 현재 변환 픽셀의 픽셀값을 결정하기 위해, 현재 원본 픽셀의 가중치 및 추가 가중치와 현재 원본 픽셀(제 1 원본 픽셀)의 픽셀값을 기초로 T(mi,n)를 먼저 결정하고, 그 다음 원본 픽셀(제 2 원본 픽셀)의 스케일 가중치와 현재 원본 픽셀(제 1 원본 픽셀)의 스케일 가중치의 합이 1보다 작다면, 이전에 결정된 T(mi,n)에 그 다음 원본 픽셀(제 2 원본 픽셀)의 가중치 전부와 추가 가중치 및 그 다음 원본 픽셀(제 2 원본 픽셀)의 픽셀값을 합하여 새로운 T(mi,n)을 결정할 수 있다. 이때, 스케일 가중치 합이 1이 될때까지 그 다음 원본 픽셀의 가중치 및 추가 가중치 및 픽셀값을 이용하여 최종 T(mi,n)을 결정할 수 있다. 이때, 최종 T(mi,n)이 결정된 후의 원본 픽셀의 가중치가 0이 아니라면, 해당 원본 픽셀의 가중치, 추가 가중치 및 픽셀값을 기초로 T(mi+1,n)을 결정할 수 있다.
이와 같은 동작을 현재 열이 Wout이 될때까지 반복함으로써, 변환 영상을 출력할 수 있다. 이하에서는, 간단한 예를 들어, 상기 동작을 설명하기로 한다.
예를 들어, n=90, S(1)=0.7, S(2)=0.2, S(3)= 0.9, S(4)=0.2이고, Wout이 2이라면,
먼저, 영상 처리 장치(100)는 첫번째 T(1,90)을 (0.7+g(1,90))*I(1,90)로 결정할 수 있다. 그러고 나서, 두번째 T(1,90)을 첫번째 T(1,90)+ (0.2+g(2,90))*I(2,90)으로 결정하고, temp_S를 0.7+0.2로 결정할 수 있다. temp_S가 1보다 작으므로, 최종 T(1,90)을 두번째 T(1,90)+(0.1+g(3,90)*I(3,90)으로 결정하고, S(3)의 값을 0.9-0.1=0.8로 결정할 수 있다. 그러고 나서 그 다음 변환 픽셀의 T(2,90)의 값을 결정할 수 있다.
영상 처리 장치(100)는 첫번째 T(2,90)을 (0.8+g(3,90))*I(3,90)로 결정할 수 있다. 그러고 나서, 두번째 T(2,90)을 첫번째 T(2,90)+ (0.2+g(4,90))*I(4,90)으로 결정할 수 있다. 이후 더 이상의 동작은 수행되지 않을 수 있다.
결국, T(1~2,90)의 변환 영상 내 변환 픽셀 값이 결정될 수 있다. 즉, 기존의 I(1~4,90)에서 너비가 절반으로 축소된 변환 영상이 획득될 수 있다.
도 9b는 도 9a의 수평 다운 스케일 케이스에서의 수도코드에 따라 (추가 가중치 기초로) 생성된 변환 픽셀값과 추가 가중치 없이 생성된 변환 픽셀값의 차이를 설명하기 위한 도면이다.
도 9b를 참조하면, 영상 처리 장치(100)는 도 9a의 수평 다운 스케일 케이스에서의 수도코드를 행마다 처리함으로써, 입력 영상으로부터 출력 영상(변환 영상)을 획득할 수 있다.
이하에서는, 설명의 편의를 위하여 영상 처리 장치(100)가 90번째 행을 처리함으로써 출력 영상 내 90번째 행의 픽셀값을 획득하는 내용만을 설명하겠다. 따라서, 이하 설명되는 모든 정보는 90번째 행의 정보에 제한됨에 유의한다.
영상 처리 장치(100)는 입력 영상을 기초로 텍스처 맵 E(m,90)을 획득할 수 있다. 영상 처리 장치(100)는 텍스처 맵 E(m,90)을 기초로 중요도 가이던스 맵 g(m,90)을 획득할 수 있다. 중요도 가이던스 맵 g(m,90)의 객체 영역 내 값은 0에 가까울 수 있다. 즉, 추가 가중치는 0에 가까운 값일 수 있다.
영상 처리 장치(100)는 화소값 I(m,90), 스케일 가중치 S(m) 및 중요도 가이던스 맵 g(m,90)을 기초로 화소값 T(m',90)을 생성할 수 있다.
한편, 영상 처리 장치(100)는 중요도 가이던스 맵 g(m,90)을 이용하지 않고, 화소값 I(m,90) 및 스케일 가중치 S(m)을 기초로, 화소값 T'(m',90)을 생성할 수 있다.
이때, 주변 영역(820)과 같이 픽셀의 그리드가 확장되는 부분의 화소값의 변동폭은 중요도 가이던스 맵에 기반한 것이 기반하지 않은 것보다 큼을 확인할 수 있고, 화소값의 변동 폭이 커짐으로 인하여, 텍스처 에지 등이 보다 강조됨으로써 화질 개선이 이루어질 수 있다.
도 10은 본 개시의 일 실시예에 따라, 영상 처리 장치(100)가 원본 영상이 복수의 객체 영역을 포함하는 경우, 변환 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 원본 영상(1000)은 복수의 객체 영역(1010,1020)을 포함할 수 있다. 영상 처리 장치(100)는 복수의 객체 영역(1010,1020)과 그 주변 영역(1030)이 서로 구분되는 중요도 맵을 획득하고, 전술한 바와 같이, 중요도 맵을 기초로 스케일 가중치 및 추가 가중치를 결정하고, 스케일 가중치 및 추가 가중치와 원본 픽셀의 픽셀값을 이용하여 변환 영상 내 변환 픽셀의 픽셀값을 결정할 수 있다. 이때, 스케일 가중치에 기초하여 복수의 객체 영역(1010,1020)을 보존하되, 주변 영역(1030)의 픽셀 그리드를 확장 또는 축소(업스케일 또는 다운스케일)함으로써, 변환 영상을 획득할 수 있다. 특히, 추가 가중치에 기초하여 주변 영역(1030)의 픽셀 그리드 확장 또는 축소로 인해 발생할 수 있는 화질 열화 현상을 개선할 수 있다. 즉, 이상에서는, 하나의 객체 영역을 포함하는 원본 영상을 입력 영상으로 하여 영상 처리하는 내용을 설명하였으나, 이에 제한되지 않는다. 도 10에 도시된 바와 같이, 원본 영상이 복수의 객체 영역을 포함할 수 있으며, 복수의 객체 영역을 포함하는 원본 영상을 영상 처리함으로써 동일한 기술적 효과를 달성할 수 있음을 당업자는 충분히 이해할 수 있다.
도 11은 본 개시의 일 실시예에 따른 영상 처리 장치의 영상 처리 방법의 흐름도이다.
S1110 단계에서, 영상 처리 장치(100)은 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내 원본 픽셀들에 대한 스케일 가중치를 결정할 수 있다. 스케일 가중치는 픽셀 그리드 확장 또는 축소를 위한 가중치로, 하나의 스케일 가중치 또는 복수의 스케일 가중치들의 합은 소정의 값을 가질 수 있으며, 변환 영상 내 하나의 변환 픽셀을 산출하기 위해 이용될 수 있다. 소정의 값은 1일 수 있으나, 이에 제한되지 않는다. 여기서, 제 1 속성 관련 정보는, 원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보일 수 있다. 일 예로, 제 1 속성 관련 정보는 제 1 속성 기반 맵일 수 있고, 제 1 속성 기반 맵은 원본 영상에 대한 중요도 맵 또는 뎁스 맵일 수 있다. 이때, 객체 영역은 사용자의 관심도(중요도)가 높거나, 원본 영상 내에서 가까이에 위치하는 영역으로, 왜곡없이 보존될 수 있고, 따라서, 객체 영역은 스케일 가중치가 1 또는 1 주변을 포함하는 소정의 범위 내의 값일 수 있다. 주변 영역은 사용자의 관심도(중요도)가 낮거나, 원본 영상 내에서 멀리 위치하는 배경 영역과 같은 영역으로, 원본 영상의 높이 또는 너비가 커진다면 스케일 가중치의 값이 1보다 클 수 있고, 원본 영상의 높이 또는 너비가 작아진다면 스케일 가중치의 값이 1보다 작을 수 있다. 이에 제한되지 않고, 1 또는 1 주변을 포함하는 소정의 범위 외의 값일 수 있다.
S1120 단계에서, 영상 처리 장치(100)는 원본 영상에 대한 제 1 속성 관련 정보 및 제 2 속성 관련 정보를 기초로, 주변 영역 내 원본 픽셀들에 대한 추가 가중치를 결정할 수 있다. 추가 가중치는 스케일로 인하여 영상의 왜곡되는 부분의 화질을 개선하기 위해 이용되는 가중치로, 적어도 하나의 방향으로의 에지 주변에서의 변화도에 기초하여 산출된 가중치일 수 있다. 즉, 추가 가중치에 기초하여 에지 주변에서의 변화도가 큰 부분에서 인접 픽셀 간의 픽셀값의 차이를 크게 할 수 있고, 따라서, 에지가 선명해짐으로써, 에지를 포함하는 영역의 선명도를 높일 수 있다.
제 2 속성 관련 정보는 인접 픽셀들의 픽셀값들 간의 변화량에 기초한 정보일 수 있다. 예를 들어, 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵은 원본 픽셀들의 픽셀값들의 차이값에 대한 변화율에 기초한 텍스처 맵을 포함할 수 있다.
영상 처리 장치(100)는 제 2 속성 기반 맵을 기초로 가이드 맵을 생성할 수 있다. 가이드 맵은 추가 가중치를 포함할 수 있고, 가이드 맵은 중요도 맵과 텍스처 맵에 기초하여 생성된 맵을 포함할 수 있다. 즉, 가이드 맵은 객체 영역과 주변 영역이 구분되어 설정된 맵으로, 객체 영역에 대한 추가 가중치는 0일 수 있으나, 이에 제한되지 않고, 0 주변을 포함하는 소정의 범위 내일 수 있다. 주변 영역에 대한 추가 가중치는 -1보다 크거나 같고, -1보다 작거나 같은 값일 수 있다. 예를 들어, 주변 영역에 대한 추가 가중치는 0 또는 0을 포함하는 소정의 범위 외의 값일 수 있다.
가이드 맵은, 중요도 맵의 인버스 맵(inverse map)과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)일 수 있다. 이상에서는, 중요도 맵에 기초하는 내용을 설명하였으나, 이에 제한되지 않고, 객체 영역과 주변 영역을 구분하여 설정된 뎁스 맵 또는 스케일 가중치 맵 등으로 대체될 수 있음을 당업자는 이해할 수 있다.
S1130 단계에서, 영상 처리 장치(100)는 스케일 가중치 및 추가 가중치를 원본 영상 내의 원본 픽셀들에 적용하여 원본 영상으로부터 크기가 변경된 변환 영상을 획득할 수 있다. 이때, 변환 영상 내 변환 픽셀들 중 하나의 픽셀 변환에 대한 픽셀값을 산출하기 위해 이용되는 하나의 스케일 가중치 또는 복수의 스케일 가중치들의 합은 소정의 값일 수 있다. 소정의 값은 1일 수 있으나, 이에 제한되지 않는다.
본 개시에 다양한 실시예에 의하면, 영상 처리 장치(100)는 스케일 가중치를 기초로 객체 영역을 보존하면서, 주변 영역에 대한 스케일을 수행함으로써 주변 영역의 화질 열화를 방지할 수 있다. 즉, 영상의 비율과 다양한 디스플레이 장치(예를 들어, 스마트폰)의 디스플레이 비율이 일치하지 않는 경우, 꽉찬 화면 제공을 위해, 영상의 스케일이 필요하다. 이때, 본 개시의 다양한 실시예에 따른 변환(스케일)을 수행함으로써, 객체 영역이 보존되면서, 주변 영역의 화질 열화를 최소화할 수 있다.
또한, 사용자는 꽉찬 화면의 영상을 경험할 수 있다. 예를 들어, TV 영상의 비율은 16:9이나, 스마트폰의 디스플레이의 비율이 18.5:9인 경우, TV 영상을 스마트폰의 디스플레이의 비율에 맞게 스케일함으로써, 사용자가 꽉찬 화면의 TV 영상을 경험할 수 있고, 따라서, 사용자는 보다 영상에 몰입할 수 있다.
또한, 영상 처리 장치(100)는 스케일 가중치를 기초로 객체 영역을 보존하면서, 주변 영역에 대한 스케일(예를 들어, 변환 또는 리사이징)을 수행함으로써 뷰를 변환한 효과의 영상을 생성할 수 있고, 이를 3D/라이트 필드 영상 분야에서 이용할 수 있다. 특히, 3D 및/또는 라이트 필드 영상 분야에서 이용되는 딥 뉴럴 네트워크의 훈련 데이터 베이스를 구축할 때, 원본 영상으로부터 뷰를 변환한 효과의 변환 영상을 생성하고, 원본 영상 및 변환 영상을 훈련 데이터 베이스에 포함시킬 수 있다. 즉, 기존의 데이터를 이용해 인위적인 데이터를 만드는　데이터 베이스 어그멘테이션이 가능하게 된다.
또한, 영상 처리 장치(100)는 엔트로피 기반 중요도의 밀집도 분석을 통해 양방향으로 영상의 비율을 조정(예를 들어, 스케일)함으로써, 영상의 왜곡을 최소화할 수 있다.
또한, 영상 처리 장치(100)는 텍스처 맵과 같이, 영상의 화질을 개선할 수 있는 원본 영상의 속성 데이터를 이용하여, 주변 영역의 화질을개선할 수 있다. 이때, 중요도 맵과 같이, 객체 영역과 주변 영역이 구분되어 설정된 원본 영상의 속성 데이터를 함께 이용하여 리사이징으로 인하여 왜곡이 발생한 주변 영역에 선별적으로 화질을 개선할 수 있다.
특히, 영상 처리 장치(100)는 스케일 가중치와 추가 가중치를 원본 영상에 한번에 적용함으로써 객체 영역이 보존될 뿐 아니라, 스케일된 주변 영역의 화질 열화를 개선할 수 있다. 스케일 가중치 및 추가 가중치는 일종의 후처리 필터의 계수이기 때문에, 다양한 방법으로 획득된 원본 영상에 스케일 가중치와 추가 가중치를 적용함으로써, 종횡비의 비율이 디스플레이 장치에 맞게 스케일되면서, 화질의 열화가 적은 영상을 디스플레이 장치에서 재생할 수 있다.
본 개시는 기기로 읽을 수 있는 저장매체로 구현될 수 있으며, 이는 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시내용이 예시적인 실시예를 참조하여 설명되었지만, 본 개시내용의 사상 및 범위를 벗어나지 않고 하기 청구항 및 그 등가물에 기재된 본 개시내용에 대한 다양한 변경 및 수정이 이루어질 수 있음이 당업자에게 명백할 것이다.

Claims (15)

  1. 영상 처리 장치에 있어서,
    하나 이상의 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 상기 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하고,
    상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 상기 주변 영역 내의 상기 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하고,
    상기 적어도 하나의 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하고,
    상기 스케일 가중치 및 상기 추가 가중치는 상기 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 가중치인 것을 특징으로 하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행하여,
    상기 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상의 원본 픽셀들의 대응 픽셀들에 적용할 때, 상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 대응 픽셀들의 가중합을 획득하고,
    상기 변환 영상의 변환 픽셀의 픽셀값은, 상기 가중치에 기초하여 획득된 원본 픽셀들과의 가중합에 대응되는 것을 특징으로 하는 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행하여,
    상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하고,
    상기 제 1 속성 기반 맵을 기초로 상기 원본 픽셀들 각각에 대한 스케일 가중치를 결정하고,
    상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하고,
    상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정하는 것을 특징으로 하는 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 제 1 속성 기반 맵은 상기 원본 영상에 대한 중요도 맵(saliency map) 또는 상기 원본 영상에 대한 뎁스 맵을 포함하고,
    상기 제 2 속성 기반 맵은 상기 원본 픽셀들의 픽셀값들의 차이값에 대한 변화율에 기초한 텍스처 맵을 포함하는 것을 특징으로 하는 영상 처리 장치.
  5. 제 4 항에 있어서,
    상기 가이드 맵은, 상기 중요도 맵의 인버스 맵(inverse map)과 상기 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)을 포함하는 것을 특징으로 하는 영상 처리 장치.
  6. 제 3 항에 있어서,
    상기 제 1 속성 기반 맵에 기초하여 획득된 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고,
    상기 제 1 속성 기반 맵에 기초하여 상기 스케일 가중치는, 상기 변환 영상이 상기 원본 영상보다 크기가 작은 경우, 상기 객체 영역에 대해서는 소정의 제 2 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 2 값보다 작은 값으로 결정되는 것을 특징으로 하는 영상 처리 장치.
  7. 제 3 항에 있어서,
    엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 획득되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 획득되고,
    상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경되는 것을 특징으로 하는 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 것에 있어서, 0이 아닌 값을 가지는 상기 스케일 가중치 및 상기 부가 가중치 모두가 상기 원본 영상의 상기 주변 영역 내의 적어도 하나의 픽셀에 적용되는 것을 특징으로 하는 영상 처리 장치.
  9. 영상 처리 방법에 있어서,
    원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하는 단계;
    상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 상기 주변 영역 내의 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하는 단계; 및
    상기 적어도 하나의 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 단계를 포함하고,
    상기 스케일 가중치 및 상기 추가 가중치는 상기 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 가중치인 것을 특징으로 하는 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 변환 영상을 획득하는 단계는,
    상기 스케일 가중치 및 상기 추가 가중치를 반영한 가중치에 기초하여 상기 원본 픽셀들의 해당 픽셀들의 가중합을 획득하고,
    상기 변환 영상의 변환 픽셀의 픽셀값은 상기 가중치에 기초하여 산출된 원본 픽셀들의 대응 픽셀들의 가중합에 대응되는 것을 특징으로 하는 영상 처리 방법.
  11. 제 9 항에 있어서,
    상기 스케일 가중치를 결정하는 단계는,
    상기 원본 영상에 대한 제 1 속성 관련 정보에 상응하는 제 1 속성 기반 맵을 생성하는 단계; 및
    상기 제 1 속성 기반 맵을 기초로, 상기 원본 픽셀들 각각에 대한 스케일 가중치를 결정하는 단계를 더 포함하고,
    상기 추가 가중치를 결정하는 단계는,
    상기 원본 영상에 대한 제 2 속성 관련 정보에 상응하는 제 2 속성 기반 맵을 생성하는 단계; 및
    상기 제 1 속성 기반 맵 및 상기 제 2 속성 기반 맵을 기초로 상기 주변 영역에 대한 추가 가중치를 포함하는 가이드 맵을 결정하는 단계를 더 포함하는 것을 특징으로 영상 처리 방법.
  12. 제 11 항에 있어서,
    상기 가이드 맵은, 중요도 맵의 인버스 맵과 텍스처 맵을 결합한 중요도 가이던스 맵(saliency guidance map)을 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제 12 항에 있어서,
    상기 중요도 맵에 기초하여 획득된 상기 스케일 가중치는 상기 변환 영상은 상기 원본 영상보다 크기가 큰 경우, 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 큰 값으로 결정되고
    상기 변환 영상은 상기 원본 영상보다 크기가 작은 경우, 상기 중요도 맵에 기초하여 상기 스케일 가중치는 상기 객체 영역에 대해서는 소정의 제 1 값으로 결정되고, 상기 주변 영역에 대해서는 소정의 제 1 값보다 작은 값으로 결정되는 것을 특징으로 하는 영상 처리 방법.
  14. 제 12 항에 있어서,
    엔트로피 기반으로 상기 제 1 속성 기반 맵의 밀집도가 획득되고, 상기 산출된 밀집도를 기초로 수직 방향 및 수평 방향의 변경 비율이 획득되고,
    상기 수직 방향 및 상기 수평 방향의 변경 비율을 기초로, 상기 원본 영상의 크기가 변경된 변환 영상은 수직 방향으로 상기 원본 영상의 높이가 변경되면서, 수평 방향으로 상기 원본 영상의 너비가 변경되는 것을 특징으로 하는 영상 처리 방법.
  15. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 수행하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체에 있어서,
    원본 영상 중 객체 영역과 주변 영역을 구분하여 설정된 정보인 원본 영상에 대한 제 1 속성 관련 정보를 기초로, 원본 영상 내의 원본 픽셀들 각각에 대한 스케일 가중치를 결정하는 단계;
    상기 제 1 속성 관련 정보 및 인접 픽셀들의 픽셀값들 간의 변화의 양에 기초한 정보인 상기 원본 영상에 대한 제 2 속성 관련 정보를 기초로, 상기 주변 영역 내의 원본 픽셀들 중 적어도 하나의 픽셀에 대한 추가 가중치를 결정하는 단계; 및
    상기 적어도 하나의 스케일 가중치 및 상기 추가 가중치를 상기 원본 영상 내의 원본 픽셀들의 대응 픽셀들에 적용하여, 상기 원본 영상으로부터 크기가 변경된 변환 영상을 획득하는 단계를 포함하고,
    상기 스케일 가중치 및 상기 추가 가중치는 상기 변환 영상 내 변환 픽셀의 픽셀 값을 획득하기 위한 가중치인 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.
PCT/KR2022/007304 2021-05-24 2022-05-23 영상 처리 장치 및 그 동작방법 WO2022250402A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22811595.2A EP4318377A1 (en) 2021-05-24 2022-05-23 Image processing device and operating method therefor
US17/752,603 US20220383450A1 (en) 2021-05-24 2022-05-24 Image processing apparatus and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210066492A KR20220158540A (ko) 2021-05-24 2021-05-24 영상 처리 장치 및 그 동작방법
KR10-2021-0066492 2021-05-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/752,603 Continuation US20220383450A1 (en) 2021-05-24 2022-05-24 Image processing apparatus and operating method thereof

Publications (1)

Publication Number Publication Date
WO2022250402A1 true WO2022250402A1 (ko) 2022-12-01

Family

ID=84229032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/007304 WO2022250402A1 (ko) 2021-05-24 2022-05-23 영상 처리 장치 및 그 동작방법

Country Status (2)

Country Link
KR (1) KR20220158540A (ko)
WO (1) WO2022250402A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988380B1 (ko) * 2008-12-24 2010-10-18 포항공과대학교 산학협력단 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
US20130342758A1 (en) * 2012-06-20 2013-12-26 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
KR20150090453A (ko) * 2014-01-29 2015-08-06 강원대학교산학협력단 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치
KR20200079697A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988380B1 (ko) * 2008-12-24 2010-10-18 포항공과대학교 산학협력단 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
US20130342758A1 (en) * 2012-06-20 2013-12-26 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
KR20150090453A (ko) * 2014-01-29 2015-08-06 강원대학교산학협력단 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치
KR20200079697A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAFIEYAN F.; KARIMI N.; MIRMAHBOUB B.; SAMAVI S.; SHIRANI S.: "Image retargeting using depth assisted saliency map", SIGNAL PROCESSING. IMAGE COMMUNICATION., ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM., NL, vol. 50, 5 November 2016 (2016-11-05), NL , pages 34 - 43, XP029825781, ISSN: 0923-5965, DOI: 10.1016/j.image.2016.10.006 *

Also Published As

Publication number Publication date
KR20220158540A (ko) 2022-12-01

Similar Documents

Publication Publication Date Title
EP4032062A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2016064185A1 (ko) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
AU2018319215B2 (en) Electronic apparatus and control method thereof
WO2019156524A1 (en) Image processing apparatus and image processing method thereof
WO2013111994A1 (en) Image processing method and apparatus for 3d video
WO2020235860A1 (en) Image processing apparatus and image processing method thereof
WO2019132091A1 (ko) 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
US20050259870A1 (en) Image processing apparatus and method, and image pickup apparatus
WO2021002719A1 (ko) 비디오 처리 방법 및 장치
WO2020027519A1 (ko) 영상 처리 장치 및 그 동작방법
WO2021085757A1 (ko) 예외적 움직임에 강인한 비디오 프레임 보간 방법 및 그 장치
WO2019022537A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019009447A1 (ko) 영상을 부호화/복호화 하는 방법 및 그 장치
WO2021101243A1 (en) Apparatus and method for using ai metadata related to image quality
EP4367628A1 (en) Image processing method and related device
WO2022075688A1 (en) Occlusion processing for frame rate conversion using deep learning
WO2022250402A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020055208A1 (ko) 인트라 예측을 수행하는 영상 예측 방법 및 장치
WO2022250372A1 (ko) Ai에 기반한 프레임 보간 방법 및 장치
WO2023090569A1 (ko) 영상 처리 장치 및 그 동작 방법
WO2020071845A1 (ko) 3차원 영상을 부호화하는 방법 및 장치, 3차원 영상을 복호화하는 방법 및 장치
WO2023018179A1 (ko) 어플리케이션에 따라 ai 기반으로 영상을 재생하는 전자 장치 및 이에 의한 영상 재생 방법
WO2023038219A1 (ko) 이미지를 선명화하는 전자 장치 및 그 동작 방법
WO2022245024A1 (ko) 영상 처리 장치 및 그 동작 방법
WO2021210761A1 (ko) Ai 다운스케일 장치 및 그 동작방법, 및 ai 업스케일 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22811595

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022811595

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022811595

Country of ref document: EP

Effective date: 20231031

NENP Non-entry into the national phase

Ref country code: DE