KR20160011500A - Method for image detail enhancement using base shift and device therefor - Google Patents
Method for image detail enhancement using base shift and device therefor Download PDFInfo
- Publication number
- KR20160011500A KR20160011500A KR1020140092699A KR20140092699A KR20160011500A KR 20160011500 A KR20160011500 A KR 20160011500A KR 1020140092699 A KR1020140092699 A KR 1020140092699A KR 20140092699 A KR20140092699 A KR 20140092699A KR 20160011500 A KR20160011500 A KR 20160011500A
- Authority
- KR
- South Korea
- Prior art keywords
- detail
- image
- input image
- parameter
- layer
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 한 장의 이차원 영상으로부터 자동으로 디테일이 향상된 영상을 생성해 내는 방법 및 이러한 방법을 수행하는 장치에 관한 것으로 더욱 상세하게는, 디테일을 극도로 향상시키기 위하여 베이스 톤(base tone)의 지역적 시프트(shift)를 허용하여 유연하게 변화할 수 있는 톤 변환 모델을 제시하고 이러한 모델을 기반으로 한 효과적인 디테일 향상 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method of automatically generating an image with improved detail from a single two-dimensional image and an apparatus for performing the method, and more particularly, the present invention relates to a tone conversion model that can be flexibly changed by allowing a shift to be performed and an effective detail enhancement technique based on the model.
영상 디테일 향상은 영상의 디테일 부분이 차지하는 톤의 변화 정도를 증가시킴으로써 대상에 대한 정보를 보다 분명하게 전달할 수 있도록 하는 영상 품질 향상 기법의 일종이다. 이러한 영상 디테일 향상을 위해 다양한 연구가 진행되어 왔으며, 가장 일반적인 접근 방법은 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 나누고 디테일 레이어에 스케일링(scaling) 등의 방법을 적용하여 디테일 정도를 향상시킨 후 베이스 레이어에 다시 더하여 결과 영상을 얻는 것이다.Image Detail Enhancement is a kind of image quality enhancement technique that makes it possible to more clearly convey information about a subject by increasing the amount of change in the tone of the detail portion of the image. Various studies have been conducted to improve the detail of the image. The most common approach is to divide the image into a base layer and a detail layer, and apply a method such as scaling to the detail layer, To the base layer again to obtain the resulting image.
기존 연구들은 이를 위하여 베이스 레이어와 디테일 레이어를 효과적으로 분리하는 다양한 방법을 제시하였고 이를 기반으로 디테일 향상 결과를 얻었다. Fattal 등은 "Multiscale Shape and Detail Enhancement from Multi-Light Image Collections" (R. Fattal, M. Agrawala, S. Rusinkiewicz, ACM Transactions on Graphics (Proc. SIGGRAPH 2007), 26, 3, 2007)에서 조명을 달리한 복수의 영상을 입력으로 사용하였고, Farbman 등은 "Edge-Preserving Decomposition for Multi-Scale Tone and Detail Manipulation" (Z. Farbman, R. Fattal, D. Lischinski, R. Szeliski, ACM Transactions on Graphics (Proc. SIGGRAPH 2008), 27, 3, 2008)에서 가중최소자승법(weighted least squares)을 이용하였으며, Subr 등은 "Edge-Preserving Multiscale Image Decomposition based on Local Extrema" (K. Subr, C. Soler, F. Durand, ACM Transactions on Graphics (Proc. SIGGRAPH Asia 2009), 28, 5, 2009)에서 지역적 극치값들을 이용하는 방법을 사용하였다. 또한 Paris 등은 "Local Laplacian Filters: Edge-Aware Image Processing with a Laplacian Pyramid" (S. Paris, S. W. Hasinoff, J. Kautz, ACM Transactions on Graphics (Proc. SIGGRAPH 2011), 30, 4, 2011)에서 라플라시안 피라미드를, Gastal 등은 "Domain Transform for Edge-Aware Image and Video Processing" (E. S. L. Gastal, M. M. Oliveira, ACM Transactions on Graphics (Proc. SIGGRAPH 2011), 30, 4, 2011)에서 도메인을 전환하는 접근 방법을, Xu 등은 "Image Smoothing via L0 Gradient Minimization" (L. Xu, C. Lu, Y. Xu, J. Jia, ACM Transactions on Graphics (Proc. SIGGRAPH Asia 2011), 30, 5, 2011)에서 L0 그래디언트를 최소화하는 최적화 방법을 이용하기도 하였다.Previous studies have proposed various methods to effectively separate the base layer and the detail layer, and based on this, the detail enhancement results are obtained. Fattal et al., In "Multiscale Shape and Detail Enhancement from Multi-Light Image Collections" (R. Fattal, M. Agrawala, S. Rusinkiewicz, ACM Transactions on Graphics (Proc. SIGGRAPH 2007), 26, Farbman, et al., &Quot; Edge-Preserving Decomposition for Multi-Scale Tone and Detail Manipulation "(Z. Farbman, R. Fattal, D. Lischinski, R. Szeliski, ACM Transactions on Graphics SIGGRAPH 2008), 27, 3, 2008) using weighted least squares and Subr et al., "Edge-Preserving Multiscale Image Decomposition Based on Local Extrema" (K. Subr, C. Soler, F. Durand, ACM Transactions on Graphics (Proc. SIGGRAPH Asia 2009), 28, 5, 2009). Paris et al., In Laplacian < RTI ID = 0.0 > (" Local Laplacian Filters: Edge-Aware Image Processing with a Laplacian Pyramid ", S. Paris, SW Hasinoff, J. Kautz, ACM Transactions on Graphics Gastal et al. Have proposed an approach to convert domains in "Domain Transform for Edge-Aware Image and Video Processing" (ESL Gastal, MM Oliveira, ACM Transactions on Graphics, Proc. SIGGRAPH 2011) , Xu et al., In "Image Smoothing via L0 Gradient Minimization" (L. Xu, C. Lu, Y. Xu, J. Jia, ACM Transactions on Graphics (Proc. SIGGRAPH Asia 2011), 30, To minimize the amount of data.
하지만 이러한 방법들은 입력 영상을 분리한 후 베이스 레이어를 그대로 둔 채로 톤 범위가 증가된 디테일을 다시 더하기 때문에 영상이 표현할 수 있는 다이나믹 레인지(dynamic range)의 한계로 인해 디테일 향상 정도에 한계가 있고, 특히 어두운 부분이나 밝은 부분에서 그 한계가 더욱 두드러진다.However, since the input image is separated and the base layer is left as it is, the detail of the tone range is added again. Therefore, there is a limit to the detail improvement due to the limitation of the dynamic range that the image can express. The limits are more pronounced in dark or light areas.
베이스 레이어를 변형하는 연구는 HDR (High-Dynamic Range) 영상을 일반적인 LDR (Low-Dynamic Range)영상으로 바꾸는 톤 매핑 (tone mapping) 연구에서 다양하게 진행되었다. 하지만 이들의 최종 목표는 다이나믹 레인지를 줄이는 것으로, 베이스 레이어의 변형이 디테일 향상과 함께 이루어진다 하더라도 디테일 향상의 극대화를 목표로 하여 탄력적으로 베이스 레이어를 변형시키는 것은 불가능하다는 문제점이 있다.The study of transforming the base layer has been done in a variety of tone mapping studies that convert high-dynamic range (HDR) images into ordinary LDR (low-dynamic range) images. However, the final goal is to reduce the dynamic range. Even if the deformation of the base layer is accompanied by the improvement of detail, there is a problem that it is impossible to flexibly deform the base layer in order to maximize the detail enhancement.
위와 같은 문제점을 해결하기 위한 본 발명의 목적은 베이스 레이어를 톤 변환하는 베이스 시프트를 포함하는 톤 변환 모델을 정의하는 데 있다. 이는 상술한 바와 같이 기존의 영상 디테일 향상 기법들이 기본적으로 베이스 레이어 변화 없이 디테일만을 증가시키기 때문에 영상의 다이나믹 레인지 한계로 인해 어두운 부분이나 밝은 부분에서 디테일을 증가시키는데 한계가 있다는 단점을 극복하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to define a tone transformation model including a base shift for tone-transforming a base layer. As described above, since the conventional image detail enhancement techniques basically increase the detail without changing the base layer, it overcomes the disadvantage that there is a limit to increase the detail in the dark part or the bright part due to the dynamic range limit of the image.
또한, 더 나아가 톤 매핑을 통해 베이스 레이어를 변화시키는 경우라 하더라도 디테일 증가와는 별도로 단순히 다이나믹 레인지를 줄여주는 역할만을 하다 보니 디테일을 어느 정도 이상 증가시키는 데에는 마찬가지로 한계가 있다는 단점도 극복하는 것이다.Furthermore, even if the base layer is changed by tone mapping, since it only serves to reduce the dynamic range separately from the detail increase, it also overcomes the disadvantage of increasing the detail to some extent.
본 발명의 또 다른 목적은 베이스 시프트를 포함하는 톤 변환 모델을 정의하고, 정의된 모델 하에서 베이스 레이어의 탄력적인 변화를 통해 한 장의 이차원 영상으로부터 효과적인 영상 디테일 향상 결과를 만들어내는 방법 및 장치를 제공하는 데에 있다. 특히, 정의된 톤 변환 모델을 기반으로 제약적 최적화(constrained optimum) 방법을 통해 입력 영상에 특화된 지역적인 톤 변환 함수를 정의함으로써 영상 각 영역에 특화되어 디테일이 현저하게 증가된 결과를 얻을 수 있는 방법 및 장치를 제공하는 데에 있다.It is still another object of the present invention to provide a method and apparatus for defining a tone transformation model including a base shift and producing an effective image detail enhancement result from a single two dimensional image through a flexible change of the base layer under a defined model There is. Especially, it is possible to obtain the result that the detail is specified in each area of the image and the result is remarkably increased by defining a local tone conversion function specific to the input image through a constrained optimization method based on the defined tone conversion model. Device.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 디테일 향상 방법은, 영상 처리에 있어서, 입력 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 분리하는 단계와, 베이스 레이어를 톤 변환(tone transform)하는 베이스 시프트(base shift) 파라미터를 포함하는 톤 변환 모델(tone transform model)에 기반하여 입력 영상을 분할한 각 구성 단위에 대한 변환 함수(transform function)를 결정하는 단계와, 결정된 변환 함수를 이용하여 입력 영상을 변환하고 결과 영상을 생성하는 단계를 포함하여 구성될 수 있다.According to an aspect of the present invention, there is provided an image detail enhancement method including: separating an input image into a base layer and a detail layer; Determining a transform function for each constituent unit that divides the input image based on a tone transform model including a base shift parameter that performs a tone transform; Converting the input image using the determined conversion function, and generating a resultant image.
여기에서, 베이스 레이어는 입력 영상의 단순화 이미지이고, 디테일 레이어는 입력 영상과 베이스 레이어의 차(difference)일 수 있다.Here, the base layer is a simplified image of the input image, and the detail layer may be a difference between the input image and the base layer.
여기에서, 톤 변환 모델은, 디테일 레이어를 톤 변환하는 정도를 나타내는 디테일 스케일링(detail scaling) 파라미터를 추가적으로 포함할 수 있다.Here, the tone conversion model may further include a detail scaling parameter indicating the degree of tone conversion of the detail layer.
나아가, 변환 함수는, 디테일 스케일링 파라미터의 값에 의해 결정되는 상기 결과 영상의 디테일 정도가 최대값(maximum value)을 갖는 방향으로 결정되되, 디테일 스케일링 파라미터와 베이스 시프트 파라미터에 관한 소정의 제약식(constraint)을 만족할 수 있다.Further, the transformation function is determined in a direction in which the degree of detail of the resultant image determined by the value of the detail scaling parameter has a maximum value, and a predetermined constraint expression for the detail scaling parameter and the base shift parameter ) Can be satisfied.
더 나아가, 변환 함수는, 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값(minimum value)을 갖는 방향으로 결정될 수 있다.Furthermore, the transformation function can be determined in the direction in which the absolute value of the gradient of the detail scaling parameter and the base shift parameter has a minimum value.
더 나아가, 변화도는, 대상 픽셀(pixel)과 상기 대상 픽셀에 이웃하는 픽셀의 디테일 스케일링 파라미터와 베이스 시프트 파라미터가 변화한 증분값(increment value)일 수 있다.Furthermore, the degree of change may be an increment value obtained by changing a detail pixel and a detail scaling parameter of a pixel neighboring the target pixel and a base shift parameter.
여기에서, 결과 영상을 생성하는 단계는, 입력 영상을 변환한 이후에, 입력 영상과 상기 변환된 입력 영상을 보간(interpolation)하여 결과 영상을 생성할 수 있다.Here, in the step of generating a result image, after converting the input image, the input image and the converted input image may be interpolated to generate a result image.
여기에서, 베이스 레이어는, 스무딩 기법을 이용하여 입력 영상을 스무딩하여 조각적 지속적인(piecewise constant) 성질을 갖게 된 것일 수 있다.Here, the base layer may have a piecewise constant property by smoothing the input image using a smoothing technique.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 톤 변환 방법은, 영상을 디테일 향상(detail enhancement) 처리함에 있어서, 수신된 영상의 베이스 레이어와 디테일 레이어를 영상의 엣지 부분 정보에 기반하여 N개의 구성 단위로 분할하는 단계와, 디테일 레이어의 N개의 구성 단위를 톤 변환하는 정도를 나타내는 디테일 스케일링 파라미터의 값에 의해 결정되는 결과 영상의 디테일 정도가 소정의 제약 조건 하에서 최대값을 갖도록 디테일 스케일링 파라미터의 값을 결정하는 단계와, 베이스 레이어에 베이스 시프트 파라미터를, 디테일 레이어에 디테일 스케일링 파라미터를 적용하여 영상을 톤 변환하는 단계를 포함하여 구성될 수 있다.According to another aspect of the present invention, there is provided a method for transforming a video tone, the method comprising the steps of: receiving a base layer and a detail layer of a received video based on edge part information of the video; And a step of dividing the N component units of the detail layer into N constituent units by performing a detailed scaling process so that the detail degree of the resultant image determined by the value of the detail scaling parameter indicating the degree of tone conversion of the N constituent units of the detail layer has a maximum value under a predetermined constraint condition, Determining a value of the parameter, applying a base shift parameter to the base layer, and applying a detail scaling parameter to the detail layer, and tone-converting the image.
여기에서, 구성 단위는 픽셀을 포함할 수 있다.Here, the constituent unit may include a pixel.
여기에서, 소정의 제약 조건은, 베이스 레이어와 디테일 레이어의 N개의 구성 단위, 베이스 시프트 파라미터, 및 디테일 스케일링 파라미터에 관한 적어도 하나의 방정식 또는 부등식으로 표현될 수 있다.Here, the predetermined constraint condition may be represented by at least one equation or inequality regarding the N constituent units of the base layer and the detail layer, the base shift parameter, and the detail scaling parameter.
여기에서, 디테일 스케일링 파라미터를 결정하는 단계는, 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값을 갖는 방향으로 결정되되, 변화도는 N개의 구성단위 중 대상 구성단위와 대상 구성단위에 이웃하는 구성단위의 디테일 스케일링 파라미터와 베이스 시프트 파라미터가 변화한 증분값일 수 있다.Here, the step of determining the detail scaling parameter may include determining a direction in which the absolute value of the gradient of the detail scaling parameter and the base shift parameter has a minimum value, The detail scaling parameter of the constituent unit neighboring the constituent unit and the increment value whose base shift parameter has changed.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 영상 디테일 향상 장치는, 영상 처리에 있어서, 입력 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 분리하는 영상 분리부와, 베이스 레이어를 톤 변환(tone transform)하는 베이스 시프트(base shift) 파라미터를 포함하는 톤 변환 모델(tone transform model)에 기반하여 입력 영상을 분할한 각 구성 단위에 대한 변환 함수(transform function)를 결정하는 파라미터 결정부와, 결정된 변환 함수를 이용하여 입력 영상을 변환하고 결과 영상을 생성하는 영상 변환부를 포함하여 구성될 수 있다.According to another aspect of the present invention, there is provided an image detail enhancement apparatus including an image separation unit for separating an input image into a base layer and a detail layer, Determining a transform function for each constituent unit of the input image based on a tone transform model including a base shift parameter for performing a tone transform on the base layer A parameter determination unit, and an image conversion unit that converts an input image using the determined conversion function and generates a resultant image.
여기에서, 베이스 레이어는 입력 영상의 단순화 이미지이고, 디테일 레이어는 입력 영상과 베이스 레이어의 차(difference)일 수 있다.Here, the base layer is a simplified image of the input image, and the detail layer may be a difference between the input image and the base layer.
나아가, 톤 변환 모델은, 디테일 레이어를 톤 변환하는 정도를 나타내는 디테일 스케일링(detail scaling) 파라미터를 추가적으로 포함할 수 있다.Further, the tone transformation model may additionally include a detail scaling parameter indicating the degree to which the detail layer is tone transformed.
더 나아가, 변환 함수는, 디테일 스케일링 파라미터의 값에 의해 결정되는 상기 결과 영상의 디테일 정도가 최대값(maximum value)을 갖는 방향으로 결정되되, 디테일 스케일링 파라미터와 베이스 시프트 파라미터에 관한 소정의 제약식(constraint)을 만족할 수 있다.Further, the transformation function is determined in a direction in which the degree of detail of the resultant image, which is determined by the value of the detail scaling parameter, has a maximum value, and a predetermined constraint expression for the detail scaling parameter and the base shift parameter constraint can be satisfied.
더 나아가, 변환 함수는, 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값(minimum value)을 갖는 방향으로 결정될 수 있다.Furthermore, the transformation function can be determined in the direction in which the absolute value of the gradient of the detail scaling parameter and the base shift parameter has a minimum value.
더 나아가, 변화도는, 대상 픽셀(pixel)과 대상 픽셀에 이웃하는 픽셀의 디테일 스케일링 파라미터와 베이스 시프트 파라미터가 변화한 증분값(increment value)일 수 있다.Further, the degree of change may be an increment value obtained by changing the detail scaling parameter of the pixel neighboring the target pixel and the base shift parameter of the target pixel.
여기에서, 영상 디테일 향상 장치는, 영상 변환부가 입력 영상을 변환한 이후에, 입력 영상과 변환된 입력 영상을 보간(interpolation)하여 결과 영상을 생성하는 영상 보간부를 더 포함하여 구성될 수 있다.Here, the image detail enhancement apparatus may further include an image interpolating unit for interpolating the input image and the transformed input image after the image transforming unit transforms the input image to generate a resultant image.
여기에서, 베이스 레이어는, 스무딩 기법을 이용하여 입력 영상을 스무딩하여 조각적 지속적인(piecewise constant) 성질을 갖게 된 것일 수 있다.Here, the base layer may have a piecewise constant property by smoothing the input image using a smoothing technique.
상술한 바와 같은 본 발명에 따른 영상 디테일 향상 방법 및 장치를 이용하면 한 장의 영상을 입력으로 하여 자동으로 디테일이 극대화된 결과 영상을 생성할 수 있다. 이는 기존의 디테일 향상 방법들이 베이스 레이어와 다이나믹 레인지의 제약으로 인해 디테일 향상 정도에 한계가 있던 것에 비해 입력 톤에 관련 없이 영상 모든 부분에서 디테일이 극도로 향상되는 결과를 생성할 수 있는 것이다. 이렇게 생성된 디테일 향상 결과는 고품질 영상 획득이라는 면에서 그 자체로도 장점일 뿐만 아니라, 다양한 영상 처리 기술의 효과를 높이기 위한 전처리 기술로도 활용될 수 있다.As described above, according to the method and apparatus for enhancing an image detail according to the present invention, a result image with maximum detail can be automatically generated by inputting a single image. This is because the existing detail enhancement methods have a limitation in the degree of detail enhancement due to the base layer and dynamic range constraints, and can result in an extremely improved detail in all portions of the image regardless of the input tone. The resulting detail enhancement is not only advantageous in terms of high-quality image acquisition, but also can be used as a preprocessing technique for enhancing the effects of various image processing techniques.
또한 이를 위해 정의된 베이스에 시프트를 허용하는 톤 변환 모델과 영상 변환을 최적화 문제로 접근하는 방식 등은 영상의 디테일 향상 방법은 물론 다양한 영상 변환, 개선 문제에서 활용될 수 있다.In addition, a tone conversion model that allows a shift to a defined base and a method of approaching an image conversion as an optimization problem can be utilized in various image conversion and improvement problems as well as image detail enhancement methods.
도 1은 본 발명의 일 실시예에 따른 영상 디테일 향상 방법과 그 세부 단계를 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 톤 변환 모델의 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 증분값(smooth variation)에 적용되는 가중치(w, weight)에 따른 변화를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 여러 이미지 분리 방법에 기반한 디테일 향상의 비교를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 보간 파라미터의 값을 변화시켜 결과 영상을 디테일 제어하는 것을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상 톤 변환 방법과 그 세부 단계를 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 영상 디테일 향상 장치와 그 구성요소를 설명하기 위한 블록도이다.FIG. 1 is a flowchart illustrating an image detail enhancement method and its detailed steps according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 2 is an exemplary diagram for explaining a change depending on a weight (w, weight) applied to a smooth variation of a detail shift scaling parameter and a base shift parameter of a tone conversion model according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a comparison of detail enhancements based on various image segmentation methods in accordance with an embodiment of the present invention.
4 is an exemplary diagram for explaining detail control of a resultant image by changing values of an interpolation parameter according to an embodiment of the present invention.
5 is a flowchart illustrating a method of converting a video tone according to an exemplary embodiment of the present invention and detailed steps thereof.
6 is a block diagram for explaining an image detail enhancement apparatus and its components according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
본 발명을 설명하기 위해서 전반적으로 사용되는 용어들에 대한 간략한 정의들을 정리한다. 아래 용어들 이외의 용어들에 대해서는 본 명세서 내의 적절한 부분에서 정의를 제공한다.Brief definitions of terms used throughout to describe the present invention are summarized. For definitions of terms other than the following terms, definitions are given in the relevant part of this specification.
조각적 지속성(piecewise constancy)이란, 서로 분리된 영역(혹은 구간)을 연결시켰을 때, 그 연결된 영역(homogeneous region) 각각이 지역적으로(locally) 상수(constant number)인 것을 말한다. 즉, 분리된 영역을 연결한 전체(globally) 영역 관점에서 보면 각각의 영역은 heterogeneous region이 될 수 있으므로 상수가 아닐 수 있다. 영역 전체적으로(globally) 보면 상수값을 가지지 않지만 조각(piecewise) 내에서 지역적으로(locally) 보면 상수값을 가지는 경우를 가리키는 말이다. 함수의 경우를 예로 들어보면, 함수보다 낮은 차원(lower dimension)의 가능한 수(number)로 분리된 영역을 연결했을 때 각각의 연결된 영역이 지역적으로 상수이면 이를 조각 지속적 함수(piecewise constant function)이라 한다. Heaviside step 함수, rectangle 함수, square wave 함수 등이 조각 지속적 함수의 예이다.Piecewise constancy means that each of the homogeneous regions is a locally constant number when connecting separate regions (or regions). That is, from the viewpoint of the globally connected regions, each region may be a heterogeneous region, and thus may not be a constant. A region that does not have a constant value globally but has a constant value locally within the piecewise. For example, if a connected region is separated by a possible number of lower dimensions lower than the function, if each connected region is locally constant, it is called a piecewise constant function . The Heaviside step function, the rectangle function, and the square wave function are examples of fragment continuation functions.
이와 비슷한 용어로서 piecewise smooth, piecewise differentiable이 있는데 이는 지역적으로 미분가능하다는 개념이다.A similar term is piecewise smooth, piecewise differentiable, which is locally differentiable.
스무딩(smoothing)이란 인문학, 사회과학, 자연과학, 공학 등의 분야에서 널리 쓰이는 용어로서, 우리말로는 미세조정을 뜻하는 말이다. 영상 처리에 있어서 스무딩 기법은, 주로 영상의 잡음(noise) 또는 손상을 완화시키기 위해서 사용된다. 예를 들어, 영상의 엣지 부분에 할로 및 그라데이션 반전(halo and gradient reversal)이 나타나는 등의 부작용을 없애기 위하여 입력 영상의 원래 엣지 부분의 모양과 위치에 기반하여 과장된 엣지(oversharpened edge)를 처리하는 절차 등을 일컫는다. 가우시안 엣지 스무딩(Gaussian edge smoothing)이 대표적인 예이다.
Smoothing is a term widely used in the fields of humanities, social sciences, natural sciences, and engineering, which means fine tuning. In image processing, a smoothing technique is mainly used to alleviate noise or damage of an image. For example, in order to eliminate side effects such as halo and gradient reversal appearing at the edge of an image, a procedure for processing an oversharpened edge based on the shape and position of the original edge portion of the input image . Gaussian edge smoothing is a typical example.
본 발명의 실시예들을 도면을 참조하여 설명하기에 앞서 발명의 전체적인 구성을 개략적으로 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Before describing embodiments of the present invention with reference to the drawings, the overall structure of the invention will be schematically described as follows.
본 발명의 영상 디테일 향상 장치(10)는, 입력 영상을 베이스 레이어와 디테일 레이어로 분리하는 부분과, 본 발명에서 제안하는 베이스 시프트를 포함한 톤 변환 모델을 기반으로 하여 영상 각 픽셀에 대한 지역적 변환 함수를 결정하는 부분과, 결정된 톤 변환 함수를 이용하여 입력 영상을 디테일 향상 결과 영상으로 변환하는 부분을 포함할 수 있다.The image
베이스 레이어와 디테일 레이어 분리(S120)는 입력 영상을 이용하여 입력 영상의 단순화에 해당하는 베이스 레이어를 정의하는 단계, 입력 영상과 베이스 레이어의 차이에 해당하는 디테일 레이어를 정의하는 단계를 포함할 수 있다.The separation of the base layer and the detail layer S120 may include defining a base layer corresponding to the simplification of the input image using the input image and defining a detail layer corresponding to the difference between the input image and the base layer .
지역적 변환 함수 결정(S130)은 베이스 시프트를 포함하는 톤 변환 모델을 정의하는 단계, 톤 변환 모델로 인한 톤 변환 결과가 영상의 디테일을 최대화 하면서도 영상의 다이나믹 레인지를 넘지 않고 입력 영상의 구조 정보를 잃지 않도록 하는 제약적 최적화 문제로 모델링하는 단계를 포함할 수 있다.The local transform function determination S130 includes defining a tone transform model including a base shift, and the tone transform result due to the tone transform model maximizes the detail of the image while losing structure information of the input image without exceeding the dynamic range of the image Modeling with a constrained optimization problem that avoids the need for a constraint optimization problem.
디테일 향상 결과 변환(S140)은 결정된 지역적 변환 함수를 입력 영상에 적용하여 디테일이 최대화된 결과를 얻는 단계이며, 이후에 입력 영상과 디테일 최대화 결과 영상을 보간하여 최종 디테일 향상 결과를 얻는 단계가 수행될 수 있다.The detail enhancement result conversion step S140 is a step of applying the determined local transformation function to the input image to obtain a result of maximizing the detail, and then a step of interpolating the input image and the detail maximized result image to obtain a final detail enhancement result is performed .
상술한 바와 같이, 본 발명은 한 장의 영상을 입력으로 하여 자동으로 디테일이 극대화된 결과 영상을 생성할 수 있도록 한다. 이는 기존의 디테일 향상 방법들이 베이스 레이어와 다이나믹 레인지의 제약으로 인해 디테일 향상 정도에 한계가 있던 것에 비해 입력 톤에 관련 없이 영상 모든 부분에서 디테일이 극도로 향상되는 결과를 생성할 수 있다. 이렇게 생성된 디테일 향상 결과는 고품질 영상 획득이라는 면에서 그 자체로도 의미 있을 뿐 아니라, 다양한 영상 처리 기술의 효과를 높이기 위한 전처리 기술로도 활용될 수 있다.As described above, according to the present invention, a single image is input, and a result image with the maximum detail can be automatically generated. This can result in extreme detail enhancement in all parts of the image, regardless of the input tone, as compared to conventional limit enhancements due to base layer and dynamic range constraints. The resulting detail enhancement is not only meaningful in terms of high quality image acquisition, but also can be used as a preprocessing technique to enhance the effect of various image processing techniques.
또한 이를 위해 정의된 베이스에 시프트를 허용하는 톤 변환 모델과 영상 변환을 최적화 문제로 접근하는 방식 등은 영상의 디테일 향상 방법은 물론 다양한 영상 변환, 개선 문제에서 활용될 수 있을 것이라 기대된다.
Also, it is expected that the tone conversion model that allows shifting to a defined base and the method of approaching the image conversion as an optimization problem can be utilized in various image conversion and improvement problems as well as various image enhancement methods.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 본 발명의 일 실시예에 따른 영상 디테일 향상 방법과 그 세부 단계를 설명하기 위한 흐름도이다. 도 2는 톤 변환 모델의 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 증분값(smooth variation)에 적용되는 가중치(w, weight)에 따른 변화를 설명하기 위한 예시도이고, 도 3은 여러 이미지 분리 방법에 기반한 디테일 향상의 비교를 설명하기 위한 예시도이고, 도 4는 보간 파라미터의 값을 변화시켜 결과 영상을 디테일 제어하는 것을 설명하기 위한 예시도이다.FIG. 1 is a flowchart illustrating an image detail enhancement method and its detailed steps according to an exemplary embodiment of the present invention. Referring to FIG. FIG. 2 is an exemplary view for explaining a change according to a weight (w, weight) applied to a detail variation scaling parameter of a tone transformation model and a smooth variation of a base shift parameter, and FIG. Fig. 4 is an exemplary diagram for explaining detail control of the resulting image by changing the value of the interpolation parameter. Fig.
도 1 내지 도 4를 참조하면, 영상 디테일 향상 방법은, 영상 처리에 있어서, 입력 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 분리하는 단계(S120)와, 베이스 레이어를 톤 변환(tone transform)하는 베이스 시프트(base shift) 파라미터를 포함하는 톤 변환 모델(tone transform model)에 기반하여 입력 영상을 분할한 각 구성 단위에 대한 변환 함수(transform function)를 결정하는 단계(S130)와, 결정된 변환 함수를 이용하여 입력 영상을 변환하고 결과 영상을 생성하는 단계(S160)를 포함하여 구성될 수 있다.1 to 4, the image detail enhancement method includes a step S120 of separating an input image into a base layer and a detail layer in the image processing, (S130) of determining a transform function for each constituent unit that divides the input image based on a tone transform model including a base shift parameter for performing a tone transform on the input image, Transforming the input image using the determined conversion function, and generating a result image (S160).
베이스 레이어는 입력 영상의 단순화 이미지이고, 디테일 레이어는 입력 영상과 베이스 레이어의 차(difference)일 수 있다.The base layer is a simplified image of the input image, and the detail layer may be a difference between the input image and the base layer.
톤 변환 모델은, 디테일 레이어를 톤 변환하는 정도를 나타내는 디테일 스케일링(detail scaling) 파라미터를 추가적으로 포함할 수 있다. 나아가, 변환 함수는, 디테일 스케일링 파라미터의 값에 의해 결정되는 결과 영상의 디테일 정도가 최대값(maximum value)을 갖는 방향으로 결정되되, 디테일 스케일링 파라미터와 베이스 시프트 파라미터에 관한 소정의 제약식(constraint)을 만족할 수 있다. 더 나아가, 변환 함수는, 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값(minimum value)을 갖는 방향으로 결정될 수 있다. 더 나아가, 변화도는, 대상 픽셀(pixel)과 대상 픽셀에 이웃하는 픽셀의 디테일 스케일링 파라미터와 베이스 시프트 파라미터가 변화한 증분값(increment value)일 수 있다.The tone transformation model may additionally include a detail scaling parameter indicating the degree to which the detail layer is tone transformed. Further, the transformation function is determined in a direction in which the degree of detail of the resultant image determined by the value of the detail scaling parameter has a maximum value, and a predetermined constraint on the detail scaling parameter and the base shift parameter, Can be satisfied. Furthermore, the transformation function can be determined in the direction in which the absolute value of the gradient of the detail scaling parameter and the base shift parameter has a minimum value. Further, the degree of change may be an increment value obtained by changing the detail scaling parameter of the pixel neighboring the target pixel and the base shift parameter of the target pixel.
결과 영상을 생성하는 단계(S160)는, 입력 영상을 변환한 이후에, 입력 영상과 변환된 입력 영상을 보간(interpolation)하여(S150) 결과 영상을 생성할 수 있다.In operation S160, after the input image is converted, the input image and the converted input image may be interpolated (S150) to generate a resultant image.
베이스 레이어는, 스무딩 기법을 이용하여 입력 영상을 스무딩하여 조각적 지속적인(piecewise constant) 성질을 갖게 된 것일 수 있다.The base layer may be made to have a piecewise constant nature by smoothing the input image using a smoothing technique.
영상 수신 단계(S110)는 다양한 방법으로 획득된 이차원 영상을 입력으로 받을 수 있다. 베이스 레이어와 디테일 레이어 분리 단계(S120)에서는 입력 영상 수신 단계로부터 수신된 입력 영상을 이용하여 입력 영상의 단순화에 해당하는 베이스 레이어를 정의하고, 입력 영상과 베이스 레이어의 차이에 해당하는 디테일 레이어를 정의하여 입력 영상을 베이스 레이어와 디테일 레이어로 분리할 수 있다.The image receiving step S110 may receive the two-dimensional image obtained by various methods as input. In the step of separating the base layer and the detail layer (S120), a base layer corresponding to the simplification of the input image is defined using the input image received from the input image receiving step, and a detail layer corresponding to the difference between the input image and the base layer is defined So that the input image can be separated into a base layer and a detail layer.
베이스 레이어는 조각적 지속적(piecewise constant) 성질을 갖도록 하기 위하여 L0 Gradient Minimization을 통한 Image Smoothing 방법을 사용하여 생성될 수 있다. 또한, 베이스 레이어는 조각적 지속성을 가지면서도 비연속성이 나타나는 에지 부분에서 입력 영상의 에지 정보를 따르도록 하기 위해 에지 부분의 톤을 스무딩하는 과정을 추가적으로 포함하여 생성될 수 있다.The base layer can be created using the Image Smoothing method through L0 Gradient Minimization to have a piecewise constant nature. In addition, the base layer may be generated by additionally including a process of smoothing the tone of the edge portion so as to follow the edge information of the input image at the edge portion in which discontinuity occurs, with fragmentary persistence.
지역적 변환함수 결정 단계(S130)에서는 디테일 향상 결과를 입력 영상의 베이스 시프트를 포함하는 톤 변환 모델로서 정의하고, 정의된 모델 하에서 톤 변환 결과가 영상의 디테일을 최대화 하면서도 입력 영상의 구조 정보 및 다이나믹 레인지를 유지할 수 있도록 하는 제약적 최적화 문제로 모델링하여 조건을 만족하는 지역적 톤 변환 함수를 얻을 수 있다.In the local conversion function determination step (S130), the detail enhancement result is defined as a tone conversion model including the base shift of the input image. Under the defined model, the tone conversion result maximizes the detail of the image while the structure information of the input image and the dynamic range And a local tone conversion function satisfying the condition can be obtained by modeling the constraint optimization problem.
입력 영상으로부터 디테일이 향상된 결과를 얻기 위한 톤 변환 모델은 입력 영상 I와 그에 대한 베이스 레이어 B, 디테일 레이어 D에 대하여, 각 픽셀 i에 대해 수학식 1과 같이 베이스 시프트 t를 포함하고 디테일 스케일링 s를 추가적으로 포함하여 정의될 수 있다.The tone conversion model for obtaining an improved result from the input image includes a base shift t for each pixel i for the input image I, the base layer B and the detail layer D for the input image I, and the detail scaling s May be further defined.
디테일 향상을 위한 지역적 톤 변환 함수는 변환 후 디테일 정도를 최대화 하면서도 입력 영상의 구조 정보 및 다이나믹 레인지를 유지할 수 있도록 제약적 최적화를 통해 정의될 수 있다. 이 때, 최적화 수식은 변환 후 디테일 최대화를 위한 각 픽셀의 디테일의 합의 최대화, 구조 정보 유지를 위한 시프트와 스케일링의 지역적 가중 변화 정도의 최소화를 목적으로 할 수 있다. 다시 말해, 다음을 목적으로 할 수 있다.The local tone conversion function for improving detail can be defined through constrained optimization to maximize the degree of detail after conversion and maintain the structure information and dynamic range of the input image. At this time, the optimization formula may be aimed at maximizing the sum of the details of each pixel for maximizing the detail after conversion, and minimizing the degree of regional weighting shift of scaling and shift for maintaining structural information. In other words, you can do the following:
여기에, 다이나믹 레인지 제약 조건을 포함하면 다음과 같이 수학식 2로 정의될 수 있다. 본 발명의 일 실시예인 수학식 2에 의한 최적화 해를 구하는 과정에서 디테일 스케일링 파라미터 s와 베이스 시프트 파라미터 t, 결과 영상의 디테일 정도 sD가 함께 결정될 수 있다.Here, if the dynamic range constraint is included, it can be defined as Equation 2 as follows. The detail scaling parameter s, the base shift parameter t, and the degree of detail sD of the resultant image can be determined together in the process of finding the optimization solution according to Equation (2), which is one embodiment of the present invention.
디테일 향상 결과 변환 단계에서는 지역적 변환함수 결정 단계에서 결정된 지역적 톤 변환 함수를 입력 영상에 적용하여 영상 디테일이 최대화된 결과를 얻고, 입력 영상과 디테일 최대화 결과 영상을 보간하여 최종 디테일 향상 결과 영상을 얻을 수 있다.In detail, in the conversion step, the local tone conversion function determined in the local conversion function determination step is applied to the input image to obtain the result of maximizing the image detail, and the final detail enhancement image is obtained by interpolating the input image and the detail maximization result image have.
최종 디테일 향상 결과는 지역적 변환함수 결정 단계에서 결정된 베이스 시프트 t를 포함한 톤 변환 모델, 예를 들어 수학식 1을 입력 영상에 적용하여 영상 디테일을 최대화시킨 결과를 구함으로써 얻을 수 있다. 또한 최종 디테일 향상 결과는 해당 디테일 최대화 결과 영상과 입력 영상을 일정 비율로 보간한 수학식 3을 추가적으로 이용하여 얻을 수도 있다.The final detail enhancement result can be obtained by applying a tone transformation model including the base shift t determined in the local transformation function determination step, for example, Equation 1, to the input image to maximize the image detail. Also, the final detail enhancement result may be obtained by additionally using Equation (3) interpolating the detail-maximized result image and the input image at a constant ratio.
도 5는 본 발명의 일 실시예에 따른 영상 톤 변환 방법과 그 세부 단계를 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of converting a video tone according to an exemplary embodiment of the present invention and detailed steps thereof.
영상 톤 변환 방법은, 영상을 디테일 향상(detail enhancement) 처리함에 있어서, 수신된 영상의 베이스 레이어와 디테일 레이어를 영상의 엣지 부분 정보에 기반하여 N개의 구성 단위로 분할하는 단계와, 디테일 레이어의 N개의 구성 단위를 톤 변환하는 정도를 나타내는 디테일 스케일링 파라미터의 값에 의해 결정되는 결과 영상의 디테일 정도가 소정의 제약 조건 하에서 최대값을 갖도록 디테일 스케일링 파라미터의 값을 결정하는 단계와, 베이스 레이어에 베이스 시프트 파라미터를, 디테일 레이어에 디테일 스케일링 파라미터를 적용하여 영상을 톤 변환하는 단계를 포함하여 구성될 수 있다.The video tone conversion method includes the steps of: dividing a base layer and a detail layer of a received image into N constituent units based on edge part information of the video in detail enhancement processing of the video; Determining a value of a detail scaling parameter such that the degree of detail of a resultant image determined by a value of a detail scaling parameter indicating a degree of tone conversion of the constituent units has a maximum value under a predetermined constraint condition; Parameter, and tone-transforming the image by applying a detail scaling parameter to the detail layer.
구성 단위는, 픽셀을 포함할 수 있다.The constituent unit may include pixels.
소정의 제약 조건은, 베이스 레이어와 디테일 레이어의 N개의 구성 단위, 베이스 시프트 파라미터, 및 디테일 스케일링 파라미터에 관한 적어도 하나의 방정식 또는 부등식으로 표현될 수 있다.The predetermined constraint condition may be represented by at least one equation or inequality regarding the N constituent units of the base layer and the detail layer, the base shift parameter, and the detail scaling parameter.
디테일 스케일링 파라미터를 결정하는 단계는, 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값을 갖는 방향으로 결정되되, 변화도는 N개의 구성단위 중 대상 구성단위와 대상 구성단위에 이웃하는 구성단위의 디테일 스케일링 파라미터와 베이스 시프트 파라미터가 변화한 증분값일 수 있다.Wherein the step of determining the detail scaling parameter is determined in a direction in which the absolute value of the gradient of the detail scaling parameter and the base shift parameter has a minimum value and the degree of change is determined based on the target constituent unit and the target constituent unit among the N constituent units The detail scaling parameter of the neighboring constituent unit and the base shift parameter may be incremental values that have changed.
상술한 영상 디테일 향상 방법은 영상 톤 변환 방법의 설명에도 적용된다. 앞서 설명한 수학식 3을 다시 참조하여 보면 본 발명의 일 실시예인 수학식 3에 의하여 최적화 해를 구하는 과정에서 디테일 스케일링 파라미터 s와 베이스 시프트 파라미터 t, 결과 영상의 디테일 정도 sD가 함께 결정될 수 있다.
The video detail enhancement method described above also applies to the description of the video tone conversion method. Referring to Equation 3, the detail scaling parameter s, the base shift parameter t, and the degree of detail sD of the resultant image can be determined together with Equation (3), which is an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 영상 디테일 향상 장치(10)와 그 구성요소를 설명하기 위한 블록도이다.FIG. 6 is a block diagram for explaining an image
영상 디테일 향상 장치(10)는, 영상 처리에 있어서, 입력 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 분리하는 영상 분리부(100)와, 베이스 레이어를 톤 변환(tone transform)하는 베이스 시프트(base shift) 파라미터를 포함하는 톤 변환 모델(tone transform model)에 기반하여 입력 영상을 분할한 각 구성 단위에 대한 변환 함수(transform function)를 결정하는 파라미터 결정부(200)와, 결정된 변환 함수를 이용하여 입력 영상을 변환하고 결과 영상을 생성하는 영상 변환부(300)를 포함하여 구성될 수 있다.The video
베이스 레이어는, 입력 영상의 단순화 이미지이고, 디테일 레이어는 입력 영상과 베이스 레이어의 차(difference)일 수 있다.The base layer is a simplified image of the input image, and the detail layer may be a difference between the input image and the base layer.
톤 변환 모델은, 디테일 레이어를 톤 변환하는 정도를 나타내는 디테일 스케일링(detail scaling) 파라미터를 추가적으로 포함할 수 있다. 나아가, 변환 함수는, 디테일 스케일링 파라미터의 값에 의해 결정되는 결과 영상의 디테일 정도가 최대값(maximum value)을 갖는 방향으로 결정되되, 디테일 스케일링 파라미터와 베이스 시프트 파라미터에 관한 소정의 제약식(constraint)을 만족할 수 있다. 더 나아가, 변환 함수는, 디테일 스케일링 파라미터와 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값(minimum value)을 갖는 방향으로 결정될 수 있다. 더 나아가, 변화도는, 대상 픽셀(pixel)과 대상 픽셀에 이웃하는 픽셀의 디테일 스케일링 파라미터와 베이스 시프트 파라미터가 변화한 증분값(increment value)일 수 있다.The tone transformation model may additionally include a detail scaling parameter indicating the degree to which the detail layer is tone transformed. Further, the transformation function is determined in a direction in which the degree of detail of the resultant image determined by the value of the detail scaling parameter has a maximum value, and a predetermined constraint on the detail scaling parameter and the base shift parameter, Can be satisfied. Furthermore, the transformation function can be determined in the direction in which the absolute value of the gradient of the detail scaling parameter and the base shift parameter has a minimum value. Further, the degree of change may be an increment value obtained by changing the detail scaling parameter of the pixel neighboring the target pixel and the base shift parameter of the target pixel.
영상 디테일 향상 장치(10)는, 영상 변환부(300)가 입력 영상을 변환한 이후에, 입력 영상과 변환된 입력 영상을 보간(interpolation)하여 결과 영상을 생성하는 영상 보간부(400)를 더 포함하여 구성될 수 있다.The image
베이스 레이어는, 스무딩 기법을 이용하여 입력 영상을 스무딩하여 조각적 지속적인(piecewise constant) 성질을 갖게 된 것일 수 있다. 영상 디테일 향상 장치(10)에 대한 설명은 앞서 영상 디테일 향상 방법에 대한 설명과 상응하므로 중복하여 기재하지는 않는다.
The base layer may be made to have a piecewise constant nature by smoothing the input image using a smoothing technique. The description of the video
비록 몇몇의 측면들은 방법의 관점에서 설명되었지만, 이러한 측면들은 상응하는 장치의 설명을 나타내는 것이 명확하며, 여기서 방법의 단계는 장치에 대응한다. 특정 구현 요구들에 따르면, 발명의 실시예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 본 발명의 실시예들은 프로그램 코드, 방법들 중 하나의 수행을 위해 동작하는 프로그램 코드를 가지는 컴퓨터 프로그램 제품으로서 수행될 수 있다.Although some aspects have been described in terms of a method, it is evident that these aspects represent a description of the corresponding apparatus, wherein the steps of the method correspond to the apparatus. According to certain implementation requirements, embodiments of the invention may be implemented in hardware or software. Embodiments of the present invention may be implemented as program code, a computer program product having program code that is operative for performing one of the methods.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
10: 영상 디테일 향상 장치
100: 영상 분리부
200: 파라미터 결정부
300: 영상 변환부
400: 영상 보간부10: image detail enhancement device 100:
200: parameter determination unit 300: image conversion unit
400: Image interpreter
Claims (20)
입력 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 분리하는 단계;
상기 베이스 레이어를 톤 변환(tone transform)하는 베이스 시프트(base shift) 파라미터를 포함하는 톤 변환 모델(tone transform model)에 기반하여 상기 입력 영상을 분할한 각 구성 단위에 대한 변환 함수(transform function)를 결정하는 단계; 및
상기 결정된 변환 함수를 이용하여 상기 입력 영상을 변환하고 결과 영상을 생성하는 단계를 포함하는 영상 디테일 향상 방법.In image processing,
Separating the input image into a base layer and a detail layer;
And a transform function for each constituent unit that divides the input image based on a tone transform model including a base shift parameter for performing a tone transform on the base layer, Determining; And
And transforming the input image using the determined conversion function and generating a resultant image.
상기 베이스 레이어는 상기 입력 영상의 단순화 이미지이고, 상기 디테일 레이어는 상기 입력 영상과 상기 베이스 레이어의 차(difference)인 것을 특징으로 하는 영상 디테일 향상 방법.The method according to claim 1,
Wherein the base layer is a simplified image of the input image, and the detail layer is a difference between the input image and the base layer.
상기 톤 변환 모델은,
상기 디테일 레이어를 톤 변환하는 정도를 나타내는 디테일 스케일링(detail scaling) 파라미터를 추가적으로 포함하는 것을 특징으로 하는 영상 디테일 향상 방법.The method according to claim 1,
Wherein the tone conversion model comprises:
And a detail scaling parameter indicating a degree of tone conversion of the detail layer.
상기 변환 함수는,
상기 디테일 스케일링 파라미터의 값에 의해 결정되는 상기 결과 영상의 디테일 정도가 최대값(maximum value)을 갖는 방향으로 결정되되,
상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터에 관한 소정의 제약식(constraint)을 만족하는 것을 특징으로 하는 영상 디테일 향상 방법.The method of claim 3,
Wherein the conversion function comprises:
The degree of detail of the resultant image determined by the value of the detail scaling parameter is determined as a direction having a maximum value,
Wherein the image scaling parameter satisfies a predetermined constraint on the detail scaling parameter and the base shift parameter.
상기 변환 함수는,
상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값(minimum value)을 갖는 방향으로 결정되는 것을 특징으로 하는 영상 디테일 향상 방법.The method of claim 4,
Wherein the conversion function comprises:
And the absolute value of the gradient of the detail scaling parameter and the base shift parameter is determined as a direction having a minimum value.
상기 변화도는,
대상 픽셀(pixel)과 상기 대상 픽셀에 이웃하는 픽셀의 상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터가 변화한 증분값(increment value)인 것을 특징으로 하는 영상 디테일 향상 방법.The method of claim 5,
The degree of change,
Wherein the target detail pixel is an increment value obtained by changing the detail scaling parameter of the pixel adjacent to the target pixel and the base shift parameter.
상기 결과 영상을 생성하는 단계는,
상기 입력 영상을 변환한 이후에, 상기 입력 영상과 상기 변환된 입력 영상을 보간(interpolation)하여 상기 결과 영상을 생성하는 것을 특징으로 하는 영상 디테일 향상 방법.The method according to claim 1,
Wherein the generating the resultant image comprises:
And after the input image is transformed, interpolating the input image and the transformed input image to generate the resultant image.
상기 베이스 레이어는,
스무딩 기법을 이용하여 상기 입력 영상을 스무딩하여 조각적 지속적인(piecewise constant) 성질을 갖게 된 것임을 특징으로 하는 영상 디테일 향상 방법.The method according to claim 1,
Wherein the base layer comprises:
And smoothing the input image using a smoothing technique so as to have a piecewise constant property.
수신된 상기 영상의 베이스 레이어와 디테일 레이어를 상기 영상의 엣지 부분 정보에 기반하여 N개의 구성 단위로 분할하는 단계;
상기 디테일 레이어의 N개의 구성 단위를 톤 변환하는 정도를 나타내는 디테일 스케일링 파라미터의 값에 의해 결정되는 결과 영상의 디테일 정도가 소정의 제약 조건 하에서 최대값을 갖도록 상기 디테일 스케일링 파라미터의 값을 결정하는 단계; 및
상기 베이스 레이어에 베이스 시프트 파라미터를, 상기 디테일 레이어에 상기 디테일 스케일링 파라미터를 적용하여 상기 영상을 톤 변환하는 단계를 포함하는 영상 톤 변환 방법.In the detail enhancement processing of an image,
Dividing the base layer and the detail layer of the received image into N constituent units based on edge part information of the image;
Determining a value of the detail scaling parameter so that the degree of detail of the resultant image determined by the value of the detail scaling parameter indicating the degree of tone conversion of the N constituent units of the detail layer has a maximum value under a predetermined constraint; And
Applying a base shift parameter to the base layer, and applying the detail scaling parameter to the detail layer, and tone-transforming the image.
상기 구성 단위는 픽셀을 포함하는 것을 특징으로 하는 영상 톤 변환 방법.The method of claim 9,
Wherein the constituent units comprise pixels.
상기 소정의 제약 조건은,
상기 베이스 레이어와 상기 디테일 레이어의 N개의 구성 단위, 상기 베이스 시프트 파라미터, 및 상기 디테일 스케일링 파라미터에 관한 적어도 하나의 방정식 또는 부등식으로 표현되는 것을 특징으로 하는 영상 톤 변환 방법.The method of claim 9,
The predetermined constraint condition is that,
Wherein at least one equation or inequality relating to N constituent units of the base layer and the detail layer, the base shift parameter, and the detail scaling parameter is expressed.
상기 디테일 스케일링 파라미터를 결정하는 단계는,
상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값을 갖는 방향으로 결정되되,
상기 변화도는 상기 N개의 구성단위 중 대상 구성단위와 상기 대상 구성단위에 이웃하는 구성단위의 상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터가 변화한 증분값인 것을 특징으로 하는 영상 톤 변환 방법.The method of claim 9,
Wherein the step of determining the detail scaling parameter comprises:
The absolute value of the gradient of the detail scaling parameter and the base shift parameter is determined as a direction having a minimum value,
Wherein the degree of change is an increment value obtained by changing the detail scaling parameter and the base shift parameter of the target constituent unit among the N constituent units and the constituent unit adjacent to the target constituent unit.
입력 영상을 베이스 레이어(base layer)와 디테일 레이어(detail layer)로 분리하는 영상 분리부;
상기 베이스 레이어를 톤 변환(tone transform)하는 베이스 시프트(base shift) 파라미터를 포함하는 톤 변환 모델(tone transform model)에 기반하여 상기 입력 영상을 분할한 각 구성 단위에 대한 변환 함수(transform function)를 결정하는 파라미터 결정부; 및
상기 결정된 변환 함수를 이용하여 상기 입력 영상을 변환하고 결과 영상을 생성하는 영상 변환부를 포함하는 영상 디테일 향상 장치.In image processing,
An image separator for separating an input image into a base layer and a detail layer;
And a transform function for each constituent unit that divides the input image based on a tone transform model including a base shift parameter for performing a tone transform on the base layer, A parameter determining unit for determining the parameter; And
And an image converting unit converting the input image using the determined conversion function and generating a resultant image.
상기 베이스 레이어는 상기 입력 영상의 단순화 이미지이고, 상기 디테일 레이어는 상기 입력 영상과 상기 베이스 레이어의 차(difference)인 것을 특징으로 하는 영상 디테일 향상 장치.14. The method of claim 13,
Wherein the base layer is a simplified image of the input image, and the detail layer is a difference between the input image and the base layer.
상기 톤 변환 모델은,
상기 디테일 레이어를 톤 변환하는 정도를 나타내는 디테일 스케일링(detail scaling) 파라미터를 추가적으로 포함하는 것을 특징으로 하는 영상 디테일 향상 장치.15. The method of claim 14,
Wherein the tone conversion model comprises:
Further comprising a detail scaling parameter indicating a degree of tone conversion of the detail layer.
상기 변환 함수는,
상기 디테일 스케일링 파라미터의 값에 의해 결정되는 상기 결과 영상의 디테일 정도가 최대값(maximum value)을 갖는 방향으로 결정되되,
상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터에 관한 소정의 제약식(constraint)을 만족하는 것을 특징으로 하는 영상 디테일 향상 장치.16. The method of claim 15,
Wherein the conversion function comprises:
The degree of detail of the resultant image determined by the value of the detail scaling parameter is determined as a direction having a maximum value,
Wherein the image detail enhancement unit satisfies a predetermined constraint on the detail scaling parameter and the base shift parameter.
상기 변환 함수는,
상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터의 변화도(gradient)의 절대값이 최소값(minimum value)을 갖는 방향으로 결정되는 것을 특징으로 하는 영상 디테일 향상 장치.18. The method of claim 16,
Wherein the conversion function comprises:
And the absolute value of the gradient of the detail scaling parameter and the base shift parameter is determined as a direction having a minimum value.
상기 변화도는,
대상 픽셀(pixel)과 상기 대상 픽셀에 이웃하는 픽셀의 상기 디테일 스케일링 파라미터와 상기 베이스 시프트 파라미터가 변화한 증분값(increment value)인 것을 특징으로 하는 영상 디테일 향상 장치.18. The method of claim 17,
The degree of change,
Wherein the target detail pixel is an increment value obtained by changing the detail scaling parameter of the pixel adjacent to the target pixel and the base shift parameter.
상기 영상 디테일 향상 장치는,
상기 영상 변환부가 상기 입력 영상을 변환한 이후에, 상기 입력 영상과 상기 변환된 입력 영상을 보간(interpolation)하여 상기 결과 영상을 생성하는 영상 보간부를 더 포함하는 것을 특징으로 하는 영상 디테일 향상 장치.14. The method of claim 13,
Wherein the image detail enhancement device comprises:
Further comprising an image interpolating unit interpolating the input image and the transformed input image after the image transform unit transforms the input image to generate the resultant image.
상기 베이스 레이어는,
스무딩 기법을 이용하여 상기 입력 영상을 스무딩하여 조각적 지속적인(piecewise constant) 성질을 갖게 된 것임을 특징으로 하는 영상 디테일 향상 장치.14. The method of claim 13,
Wherein the base layer comprises:
And smoothing the input image using a smoothing technique to obtain a piecewise constant property.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140092699A KR101599143B1 (en) | 2014-07-22 | 2014-07-22 | Method for image detail enhancement using base shift and device therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140092699A KR101599143B1 (en) | 2014-07-22 | 2014-07-22 | Method for image detail enhancement using base shift and device therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160011500A true KR20160011500A (en) | 2016-02-01 |
| KR101599143B1 KR101599143B1 (en) | 2016-03-02 |
Family
ID=55354033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140092699A KR101599143B1 (en) | 2014-07-22 | 2014-07-22 | Method for image detail enhancement using base shift and device therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101599143B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100081886A (en) * | 2009-01-07 | 2010-07-15 | 한양대학교 산학협력단 | Adaptive tone mapping apparatus and method, and image processing system using the method |
| KR20120114899A (en) * | 2011-04-08 | 2012-10-17 | 삼성전자주식회사 | Image processing method and image processing apparatus |
-
2014
- 2014-07-22 KR KR1020140092699A patent/KR101599143B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100081886A (en) * | 2009-01-07 | 2010-07-15 | 한양대학교 산학협력단 | Adaptive tone mapping apparatus and method, and image processing system using the method |
| KR20120114899A (en) * | 2011-04-08 | 2012-10-17 | 삼성전자주식회사 | Image processing method and image processing apparatus |
Non-Patent Citations (1)
| Title |
|---|
| 이근영 외 3명, "시각 선명도 감각 특성을 이용한 개선된 고명암 대비 영상 렌더링 기법", 한국통신학회논문지 제38권 제8호(통신이론 및 시스템), pp.669-679 (2013.08.) * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101599143B1 (en) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Possa et al. | A multi-resolution FPGA-based architecture for real-time edge and corner detection | |
| Zheng et al. | Guided point cloud denoising via sharp feature skeletons | |
| Shahdoosti et al. | MRI and PET image fusion using structure tensor and dual ripplet-II transform | |
| Bhairannawar | Efficient medical image enhancement technique using transform HSV space and adaptive histogram equalization | |
| Khan et al. | Contrast enhancement of low-contrast medical images using modified contrast limited adaptive histogram equalization | |
| Wan et al. | Practical remote sensing image fusion method based on guided filter and improved SML in the NSST domain | |
| Ravisankar et al. | Acoustic image enhancement using Gaussian and Laplacian pyramid–a multiresolution based technique | |
| Chen et al. | Weighted aggregation for guided image filtering | |
| CN112837331A (en) | Fuzzy three-dimensional SAR image target extraction method based on self-adaptive morphological reconstruction | |
| CN101939763A (en) | Method of generating a multiscale contrast enhanced image | |
| Wang et al. | Total generalized variation-based Retinex image decomposition | |
| Shukla et al. | Adaptive fractional masks and super resolution based approach for image enhancement | |
| CN103700071A (en) | Depth map up-sampling edge enhancement method | |
| Zhao et al. | Constant time texture filtering | |
| CN101889295B (en) | Method of generating a multiscale contrast enhanced image | |
| Zhu et al. | MRI enhancement based on visual-attention by adaptive contrast adjustment and image fusion | |
| Liu et al. | Joint dehazing and denoising for single nighttime image via multi-scale decomposition | |
| EP2328124B1 (en) | Method of enhancing the contrast of spatially-localized phenomena in an image | |
| Nandal et al. | Enhanced image fusion using directional contrast rules in fuzzy transform domain | |
| KR101599143B1 (en) | Method for image detail enhancement using base shift and device therefor | |
| Chen et al. | Low-contrast microscopic image enhancement based on multi-technology fusion | |
| CN105069764A (en) | Image denoising method and system based on edge tracking | |
| Jung et al. | Intensity-guided edge-preserving depth upsampling through weighted L0 gradient minimization | |
| Gao et al. | Multiscale phase congruency analysis for image edge visual saliency detection | |
| Zhang et al. | Adaptive typhoon cloud image enhancement using genetic algorithm and non-linear gain operation in undecimated wavelet domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 5 |