KR20120006926A - Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis - Google Patents

Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis Download PDF

Info

Publication number
KR20120006926A
KR20120006926A KR1020110054643A KR20110054643A KR20120006926A KR 20120006926 A KR20120006926 A KR 20120006926A KR 1020110054643 A KR1020110054643 A KR 1020110054643A KR 20110054643 A KR20110054643 A KR 20110054643A KR 20120006926 A KR20120006926 A KR 20120006926A
Authority
KR
South Korea
Prior art keywords
current
image
high frequency
low frequency
frequency component
Prior art date
Application number
KR1020110054643A
Other languages
Korean (ko)
Other versions
KR101797673B1 (en
Inventor
이현승
김동현
박세혁
박종현
신건식
김연진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/181,824 priority Critical patent/US8953896B2/en
Publication of KR20120006926A publication Critical patent/KR20120006926A/en
Application granted granted Critical
Publication of KR101797673B1 publication Critical patent/KR101797673B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Abstract

PURPOSE: An image texture enhancing device by bandwidth spatial modulation and a method of the same are provided to improving a quality of image texture by modulating components of an image. CONSTITUTION: A frequency divider(110) divides an input image into a low frequency component and a high frequency component. A low frequency modulator(120) modulates a low frequency component of the divided input image by dithering. A high frequency modulator(130) modulates a high component of the input image by sampling. A frequency composition unit(140) synthesizes the low frequency component and the high frequency component.

Description

대역별 공간적 변조를 통한 영상 질감 향상 방법 및 그 장치{Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis}Method and apparatus for improving image texture through band-specific spatial modulation {Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis}

본 발명은, 영상 화질 개선 및 향상에 관한 것이다.The present invention relates to improving and improving image quality.

영상의 압축 또는 스케일링 과정에서, 영상의 주파수 성분이 손실될 수 있다. 소정 주파수 대역의 영상 성분이 손실되면 영상의　세밀한 질감이　훼손되면서, 과도하게 성글거나 밋밋한 느낌의 영상으로 변형되어 영상의 화질이 시각적으로 열화될 수 있다. In the process of compressing or scaling an image, frequency components of the image may be lost. When the image component of a predetermined frequency band is lost, the fine texture of the image is damaged, and the image quality is deteriorated by being deformed into an excessively sparse or flat image.

이렇게 열화된 영상의 화질을 개선하기 위해, 약화된 주파수 대역의 영상 성분을 증폭시키기 위한 영상 처리 기법이 이용되고 있다. 하지만, 이러한 영상 처리 기법에 따라, 영상의 고주파 성분이 증폭되면 영상의 전체적인 선예도는 향상시키지만, 이미 상실된　고주파 성분이 복원되기는 어려우므로, 원본 영상의 세밀한 질감이 복원되기는 어렵다. In order to improve the quality of the deteriorated image, an image processing technique for amplifying an image component of a weakened frequency band is used. However, according to this image processing technique, when the high frequency component of the image is amplified, the overall sharpness of the image is improved, but since the lost high frequency component is difficult to recover, it is difficult to restore the fine texture of the original image.

본 발명은, 영상의 저주파 대역 및 고주파 대역 별로, 영상 성분을 변조함으로써 영상 화질을 개선하고 영상 질감을 향상시키기는 방법 및 그 장치를 제안한다. The present invention proposes a method and apparatus for improving image quality and image texture by modulating image components for each low frequency band and high frequency band of an image.

본 발명의 일 실시예에 따른 영상 질감 향상 방법은, 입력 영상을 저주파 성분 및 고주파 성분으로 분리하는 단계; 상기 저주파 성분을 디더링을 통해 블록 단위로 변조하는 단계; 상기 고주파 성분을 샘플링을 통해 변조하는 단계; 및 상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하는 단계를 포함한다.An image texture improving method according to an embodiment of the present invention comprises the steps of: separating the input image into a low frequency component and a high frequency component; Modulating the low frequency component block by dithering; Modulating the high frequency component through sampling; And synthesizing the modulated low frequency component and the modulated high frequency component.

일 실시예에 따른 상기 저주파 성분 변조 단계는, 입력 영상의 저주파 성분들 중에서, 현재 블록과 주변 블록의 유사도를 결정하는 단계; 및 상기 현재 블록과 주변 블록의 유사도에 기초하여, 상기 현재 블록에 랜덤값을 합성할지 여부를 결정하는 단계를 포함할 수 있다. According to an embodiment, the step of modulating low frequency components may include: determining similarity between a current block and a neighboring block among low frequency components of an input image; And determining whether to synthesize a random value with the current block based on the similarity between the current block and a neighboring block.

일 실시예에 따른 상기 고주파 성분 변조 단계는, 상기 고주파 성분에 대하여 디블러링 동작을 수행하는 단계; 상기 디블러링 동작을 통해 블러 성분이 감소된 고주파 성분에 대하여 샘플링 동작을 수행하는 단계; 및 상기 고주파 성분의 픽셀들에 대하여, 현재 픽셀을 중심으로 소정 범위 내의 주변 픽셀들 중에서, 소정 위치의 픽셀들을 선택하여 합성하여 상기 현재 픽셀에 대한 샘플링 값을 결정하는 단계를 포함할 수 있다. According to an embodiment, the modulating the high frequency component may include: performing a deblur operation on the high frequency component; Performing a sampling operation on a high frequency component of which a blur component is reduced through the deblurring operation; And for the pixels of the high frequency component, determining a sampling value for the current pixel by selecting and synthesizing pixels of a predetermined position among neighboring pixels within a predetermined range around the current pixel.

본 발명의 일 실시예에 따른 영상 질감 향상 장치는, 입력 영상을 저주파 성분 및 고주파 성분으로 분리하는 주파수 분리부; 상기 저주파 성분을 디더링을 통해 블록 단위로 변조하는 저주파 변조부; 상기 고주파 성분을 샘플링을 통해 변조하는 고주파 변조부; 및 상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하는 주파수 합성부를 포함한다.An image texture improving apparatus according to an embodiment of the present invention, the frequency separation unit for separating the input image into a low frequency component and a high frequency component; A low frequency modulator for modulating the low frequency component in units of blocks through dithering; A high frequency modulator for modulating the high frequency component through sampling; And a frequency synthesizer for synthesizing the modulated low frequency component and the modulated high frequency component.

일 실시예에 따른 상기 영상 질감 향상 장치는, 현재 영상에 대하여 상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하여 현재 변조 영상을 생성하고, 이전 영상에 대한 변조 영상과 상기 현재 변조 영상을 합성하는 시간적 합성부를 더 포함할 수 있다. The image texture enhancing apparatus according to an embodiment may generate a current modulated image by synthesizing the modulated low frequency component and the modulated high frequency component with respect to a current image, and synthesizing the modulated image and the current modulated image with respect to a previous image. It may further include a temporal synthesis unit.

본 발명은, 일 실시예에 따른 영상 질감 향상 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함한다.The present invention includes a computer-readable recording medium having recorded thereon a program for implementing an image texture improving method according to an embodiment of the present invention.

도 1 은 본 발명의 일 실시예에 따른 영상 질감 향상 장치의 블록도를 도시한다.
도 2 는 다른 실시예에 따른 영상 질감 향상 장치의 블록도를 도시한다.
도 3 은 일 실시예에 따른 샘플링 윈도우를 도시한다.
도 4 는 본 발명의 일 실시예에 따른 영상 질감 향상 방법의 흐름도를 도시한다.1 is a block diagram of an apparatus for improving image texture according to an embodiment of the present invention.
2 is a block diagram of an apparatus for improving image texture according to another embodiment.
3 illustrates a sampling window according to one embodiment.
4 is a flowchart illustrating an image texture enhancement method according to an embodiment of the present invention.

이하 도 1 내지 4를 참조하여, 본 발명의 다양한 실시예에 따른 영상 질감 향상 장치 및 그 방법을 상술한다.Hereinafter, an apparatus and method for improving image texture according to various embodiments of the present disclosure will be described with reference to FIGS. 1 to 4.

도 1 은 본 발명의 일 실시예에 따른 영상 질감 향상 장치의 블록도를 도시한다. 일 실시예에 따른 영상 질감 향상 장치(100)는, 비디오 등의 영상 시퀀스를 입력받아, 입력 영상마다 저주파 성분 및 고주파 성분별로 변조하여, 비디오의 화질을 향상시킨다.1 is a block diagram of an apparatus for improving image texture according to an embodiment of the present invention. The image texture enhancing apparatus 100 according to an embodiment receives an image sequence such as a video, modulates the low frequency component and the high frequency component for each input image, thereby improving the video quality.

일 실시예에 따른 영상 질감 향상 장치(100)는, 주파수 분리부(110), 저주파 변조부(120), 고주파 변조부(130) 및 주파수 합성부(140)를 포함한다. 일 실시예에 따른 영상 질감 향상 장치(100)는, 중앙 연산 프로세서 또는 그래픽 프로세서를 구비하여, 주파수 분리부(110), 저주파 변조부(120), 고주파 변조부(130) 및 주파수 합성부(140)의 동작을 총괄적으로 제어할 수 있다. 또한 일 실시예에 따른 주파수 분리부(110), 저주파 변조부(120), 고주파 변조부(130) 또는 주파수 합성부(140)가, 각각의 연산 프로세서를 구비하여 해당 연산 프로세서에 의해 작동될 수도 있다. The apparatus for improving image texture 100 according to an embodiment includes a frequency separator 110, a low frequency modulator 120, a high frequency modulator 130, and a frequency synthesizer 140. Image texture enhancing apparatus 100 according to an embodiment includes a central processing processor or a graphics processor, frequency separation unit 110, low frequency modulator 120, high frequency modulator 130 and frequency synthesizer 140 ) Can be controlled collectively. In addition, the frequency separator 110, the low frequency modulator 120, the high frequency modulator 130, or the frequency synthesizer 140 according to an embodiment may be operated by a corresponding arithmetic processor having respective arithmetic processors. have.

일 실시예에 따른 주파수 분리부(110)는, 입력 영상을 저주파 성분 및 고주파 성분으로 분리한다.The frequency separator 110 according to an embodiment separates an input image into low frequency components and high frequency components.

일 실시예에 따른 저주파 변조부(120)는, 주파수 분리부(110)에 의해 분리된 입력 영상의 저주파 성분을 디더링을 통해 변조한다. 저주파 변조부(120)는, 입력 영상의 저주파 성분을 블록 단위로 디더링한다. 저주파 변조부(120)의 저주파 블록에 대한 변조 동작은, 공간 영역에서의 저주파 성분을 기초로 수행된다.The low frequency modulator 120 according to an embodiment modulates a low frequency component of the input image separated by the frequency separator 110 through dithering. The low frequency modulator 120 dithers the low frequency components of the input image in units of blocks. The modulation operation on the low frequency block of the low frequency modulator 120 is performed based on the low frequency component in the spatial domain.

일 실시예에 따른 저주파 변조부(120)의 변조 동작은, 입력 영상의 저주파 성분을 기초로, 블록 단위로 저주파 변조 성분을 결정할 수 있다. 예를 들어 저주파 변조부(120)는 저주파 블록에 대해 변조 동작을 수행할 수 있다. 일 실시예에 따른 저주파 블록은, 입력 영상의 저주파 성분들로 구성된 저주파 영상의 블록들 중 하나를 나타낼 수 있다. 또는 저주파 변조부(120)는, 입력 영상의 블록들을 입력받아, 블록별로 저주파 성분들을 추출하고, 블록별 저주파 성분을 포함하는 저주파 블록을, 현재 블록을 위한 저주파 성분 변조에 이용할 수 있다.  The modulation operation of the low frequency modulator 120 according to an embodiment may determine the low frequency modulation component in units of blocks based on the low frequency component of the input image. For example, the low frequency modulator 120 may perform a modulation operation on the low frequency block. The low frequency block according to an embodiment may represent one of blocks of a low frequency image composed of low frequency components of an input image. Alternatively, the low frequency modulator 120 may receive blocks of the input image, extract low frequency components for each block, and use a low frequency block including low frequency components for each block for low frequency component modulation for the current block.

일 실시예에 따른 저주파 변조부(120)는, 입력 영상의 저주파 성분의 현재 블록과 주변 블록의 유사도에 기초하여, 현재 블록에 랜덤값을 합성함으로써 변조할 수 있다. The low frequency modulator 120 according to an exemplary embodiment may modulate by combining a random value with the current block based on the similarity between the current block and the neighboring block of the low frequency component of the input image.

일 실시예에 따른 저주파 변조부(120)는, 입력 영상의 현재 저주파 블록과 주변 저주파 블록의 유사도를 결정할 수 있다. 저주파 변조부(120)는, 현재 저주파 블록과 주변 저주파 블록의 유사도에 기초하여, 현재 저주파 블록에 랜덤값을 합성할지 여부를 결정할 수 있다. The low frequency modulator 120 according to an embodiment may determine the similarity between the current low frequency block and the surrounding low frequency block of the input image. The low frequency modulator 120 may determine whether to synthesize a random value with the current low frequency block based on the similarity between the current low frequency block and the neighboring low frequency block.

일 실시예에 따른 저주파 변조부(120)는, 현재 저주파 블록과 주변 저주파 블록이 거의 유사하다면, 영상 질감이 손실되어 과도하게 평탄화된 영역으로 판단하여, 현재 저주파 블록의 저주파 성분에 랜덤값을 합성함으로써 영상 질감을 복원하고자 한다.If the current low frequency block and the neighboring low frequency block are almost similar, the low frequency modulator 120 according to an embodiment determines that the image texture is excessively flattened, and thus synthesizes a random value to the low frequency component of the current low frequency block. By doing so, we want to restore the image texture.

예를 들어 일 실시예에 따른 저주파 변조부(120)는, 현재 저주파 블록과 주변 저주파 블록이 유사하다면, 현재 저주파 블록에 랜덤값을 합성할 수 있다. 현재 저주파 블록의 저주파 성분마다, 독립적으로 생성된 난수가 합성될 수 있다. 즉, 현재 저주파 블록과 주변 저주파 블록이 유사하다면, 현재 저주파 블록에 랜덤값이 합성하여, 현재 저주파 변조 성분을 출력할 수 있다. For example, if the current low frequency block and the surrounding low frequency block are similar, the low frequency modulator 120 may synthesize a random value to the current low frequency block. For each low frequency component of the current low frequency block, independently generated random numbers may be synthesized. That is, if the current low frequency block and the neighboring low frequency block are similar, a random value may be synthesized in the current low frequency block to output the current low frequency modulation component.

반면에 현재 저주파 블록의 평균값과 주변 저주파 블록의 평균값이 유사하지 않다면, 저주파 변조부(120)는 현재 저주파 블록을 그대로 현재 저주파 변조 성분으로서 출력할 수 있다. On the other hand, if the average value of the current low frequency block is not similar to the average value of the neighboring low frequency block, the low frequency modulator 120 may output the current low frequency block as a current low frequency modulation component.

즉,입력 영상의 현재 저주파 블록 및 이전 저주파 블록의 저주파 성분들의 평균값들 간의 차이가 소정 임계치보다 작거나 같을 정도로 유사한 경우, 저주파 변조부(120)는 현재 저주파 블록과 이전 저주파 블록을 과도하게 평탄한 영역으로 판단할 수 있다. 이 경우, 저주파 변조부(120)는 과도하게 평탄한 영역인 현재 저주파 블록에 임의의 랜덤값을 추가함으로써, 저주파 대역에 집중되어 있는 주파수 성분을 고주파 대역으로 분산시킴으로써 좀 더 자연스러운 화질의 영상을 유도할 수 있다.That is, when the difference between the average values of the low frequency components of the current low frequency block and the previous low frequency block of the input image is similar to be smaller than or equal to a predetermined threshold value, the low frequency modulator 120 excessively flattens the current low frequency block and the previous low frequency block. Judging by In this case, the low frequency modulator 120 adds an arbitrary random value to the current low frequency block, which is an overly flat region, to induce a more natural image by distributing the frequency components concentrated in the low frequency band into the high frequency band. Can be.

일 실시예에 따른 고주파 변조부(130)는, 주파수 분리부(110)에 의해 분리된 입력 영상의 고주파 성분을 샘플링을 통해 변조한다. 고주파 변조부(130)의 픽셀별 고주파 성분에 대한 변조 동작은, 공간 영역에서의 고주파 성분을 기초로 수행된다.The high frequency modulator 130 according to an embodiment modulates a high frequency component of the input image separated by the frequency separator 110 through sampling. The modulation operation on the high frequency component of each pixel of the high frequency modulator 130 is performed based on the high frequency component in the spatial domain.

일 실시예에 따른 고주파 변조부(120)의 변조 동작은, 입력 영상의 픽셀별 고주파 성분들을 기초로 고주파 변조 성분을 결정할 수 있다. 예를 들어 고주파 변조부(120)는, 입력 영상의 픽셀별 고주파 성분으로 구성된 고주파 영상을 기반으로, 현재 픽셀의 영상 성분, 즉 현재 고주파 성분에 대하여 변조 동작을 수행할 수 있다. 또는 고주파 변조부(120)는, 입력 영상의 픽셀들마다 고주파 성분들을 추출하여, 현재 픽셀의 고주파 성분인 현재 고주파 성분의 변조 동작을 수행할 수도 있다.  The modulation operation of the high frequency modulator 120 according to an embodiment may determine the high frequency modulation component based on the high frequency components of each pixel of the input image. For example, the high frequency modulator 120 may perform a modulation operation on an image component of a current pixel, that is, a current high frequency component, based on a high frequency image composed of high frequency components of pixels of an input image. Alternatively, the high frequency modulator 120 may extract high frequency components for each pixel of the input image and perform a modulation operation on the current high frequency component, which is a high frequency component of the current pixel.

일 실시예에 따른 고주파 변조부(130)는, 입력 영상의 픽셀별 고주파 성분에 대하여, 현재 고주파 성분을 위한 샘플링을 수행하여 현재 고주파 변조 성분을 결정할 수 있다. 예를 들어 고주파 변조부(130)는, 현재 고주파 픽셀을 중심으로 소정 범위 내의 주변 고주파 픽셀들 중에서, 소정 위치의 픽셀들을 선택하여 픽셀별 고주파 성분을 합성함으로써, 현재 고주파 성분에 대한 샘플링 합성값을 결정하고, 현재 고주파 변조 성분을 출력할 수 있다. The high frequency modulator 130 according to an embodiment may determine a current high frequency modulation component by performing sampling for a current high frequency component on a high frequency component of each pixel of the input image. For example, the high frequency modulator 130 selects pixels of a predetermined position from among neighboring high frequency pixels within a predetermined range with respect to the current high frequency pixel to synthesize high frequency components for each pixel, thereby obtaining a sampling synthesis value for the current high frequency component. Can be determined and the current high frequency modulation component can be output.

일 실시예에 따른 고주파 변조부(130)는, 입력 영상의 고주파 성분의 변조를 위해 디블러링 동작을 수행할 수 있다. 고주파 변조부(130)는, 디블러링 동작을 통해 블러 성분이 감소된 고주파 성분에 대하여 샘플링 및 합성 동작을 추가적으로 수행하여 고주파 변조 성분을 결정할 수도 있다.The high frequency modulator 130 according to an embodiment may perform a deblurring operation to modulate the high frequency component of the input image. The high frequency modulator 130 may determine the high frequency modulation component by additionally performing a sampling and combining operation on the high frequency component whose blur component is reduced through the deblurring operation.

일 실시예에 따른 주파수 합성부(140)는, 저주파 변조부(120)에 의해 변조된 저주파 성분과 고주파 변조부(130)에 의해 변조된 고주파 성분을 합성하여, 일 실시예에 따른 영상 질감 향상 방식에 따라 변조된 영상을 출력한다. The frequency synthesizer 140 according to an embodiment synthesizes a low frequency component modulated by the low frequency modulator 120 and a high frequency component modulated by the high frequency modulator 130 to improve image texture according to an embodiment. Output the modulated image according to the scheme.

일 실시예에 따른 영상 질감 향상 장치(100)는, 저주파 대역 및 고주파 대역에서의 독립적인 변조를 기초로, 원본 주파수 대역에 비해 폭넓은 대역대의 주파수 성분들을 추가할 수 있다. 이로써, 영상 확대 또는 열화에 의해 영상의 주파수 성분들이 저주파 대역에 집중되어 과도하게 평탄화된 입력 영상에 대하여, 주파수 대역별 성분들을 분산시킴으로써, 손상된 영상 질감이 복원될 수 있다. The apparatus 100 for improving image texture according to an embodiment may add frequency components in a wider band than the original frequency band based on independent modulation in the low frequency band and the high frequency band. As a result, the damaged image texture may be restored by dispersing the components of each frequency band for an excessively flattened input image where the frequency components of the image are concentrated in the low frequency band by image enlargement or degradation.

도 2 는 다른 실시예에 따른 영상 질감 향상 장치의 블록도를 도시한다.2 is a block diagram of an apparatus for improving image texture according to another embodiment.

다른 실시예에 따른 영상 질감 향상 장치(200)는, 일 실시예에 따른 영상 질감 향상 장치(100)의 주파수 분리부(110), 저주파 변조부(120), 고주파 변조부(130), 주파수 합성부(140)과, 버퍼들(205, 215, 225, 235), 및 시간적 합성부(270)를 추가적으로 포함한다.The image texture enhancing apparatus 200 according to another embodiment may include a frequency separation unit 110, a low frequency modulation unit 120, a high frequency modulation unit 130, and frequency synthesis of the image texture improving apparatus 100 according to an embodiment. The unit 140 further includes a buffer 205, 215, 225, and 235, and a temporal synthesis unit 270.

주파수 분리부(110)는, 저역통과 필터(Lowpass Filter) 및 양방향 필터(Bilateral Filter) 중 적어도 하나를 이용하여, 입력 영상의 저주파 성분과 고주파 성분을 분리할 수 있다. 주파수 분리부(110)에 의해 분리된 저주파 성분은 버퍼(205)에 저장되고, 고주파 성분은 버퍼(215)에 저장될 수 있다. The frequency separator 110 may separate the low frequency component and the high frequency component of the input image by using at least one of a low pass filter and a bilateral filter. The low frequency component separated by the frequency separator 110 may be stored in the buffer 205, and the high frequency component may be stored in the buffer 215.

주파수 분리부(110)의 일 동작례는 수학식 1 및 2로 표현될 수 있다. One example of the operation of the frequency separator 110 may be represented by Equations 1 and 2 below.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

Y는 입력 영상, LPF(·)는 저역통과 필터링 함수를 나타낸다. 수학식 1에 따라, 입력 영상 Y에 대한 저역통과 필터링을 통해 입력 영상의 저주파 성분 YLF이 생성될 수 있다. 수학식 2에 따라, 입력 영상 Y로부터 저주파 성분 YLF을 제외한 고주파 성분 YHF이 생성될 수 있다. Y denotes the input image and LPF (·) denotes the lowpass filtering function. According to Equation 1, the low frequency component Y LF of the input image may be generated through low pass filtering on the input image Y. According to Equation 2, the high frequency component Y HF excluding the low frequency component Y LF may be generated from the input image Y.

저주파 변조부(120)는, 입력 영상의 현재 저주파 블록과 주변 저주파 블록의 유사도에 기초하여, 현재 저주파 블록의 저주파 성분들에 랜덤값을 합성함으로써, 입력 영상의 저주파 변조 성분을 결정할 수 있다. The low frequency modulator 120 may determine the low frequency modulation component of the input image by synthesizing a random value with the low frequency components of the current low frequency block based on the similarity between the current low frequency block of the input image and the neighboring low frequency block.

구체적으로 다른 실시예에 따른 저주파 변조부(120)는, 평균값 결정부(220), 랜덤값 생성부(230), 저주파 변조값 결정부(240) 및 버퍼(225)를 포함할 수 있다. In detail, the low frequency modulator 120 according to another embodiment may include an average value determiner 220, a random value generator 230, a low frequency modulated value determiner 240, and a buffer 225.

평균값 결정부(220)는, 버퍼(205)로부터 입력 영상의 저주파 성분의 블록들인 저주파 블록들을 입력받아, 블록마다 평균값을 결정할 수 있다. 버퍼(225)는, 평균값 결정부(220)에 의해 결정된 하나 이상의 블록에 대하여 결정된 블록별 평균값을 저장할 수 있다. 랜덤값 생성부(230)는, 랜덤값을 생성할 수 있다.The average value determiner 220 may receive low frequency blocks that are blocks of low frequency components of the input image from the buffer 205, and determine an average value for each block. The buffer 225 may store the average value for each block determined for one or more blocks determined by the average value determiner 220. The random value generator 230 may generate a random value.

평균값 결정부(220)가 입력 영상의 저주파 블록들에 대하여, 현재 저주파 블록의 평균값을 결정하여 저주파 변조값 결정부(240)에게로 출력할 수 있다. 저주파 변조값 결정부(240)는, 버퍼(225)에 저장되어 있는, 현재 저주파 블록에 공간적으로 인접하는 주변 저주파 블록의 평균값과 현재 저주파 블록의 평균값을 비교하여, 현재 저주파 블록과 주변 저주파 블록의 유사도를 결정할 수 있다. The average value determiner 220 may determine the average value of the current low frequency block with respect to the low frequency blocks of the input image and output the average value to the low frequency modulated value determiner 240. The low frequency modulation value determiner 240 compares an average value of the neighboring low frequency block spatially adjacent to the current low frequency block and the average value of the current low frequency block stored in the buffer 225 to determine the current low frequency block and the neighboring low frequency block. Similarity can be determined.

저주파 변조값 결정부(240)는, 입력 영상의 현재 저주파 블록과 주변 저주파 블록의 유사도에 기초하여, 현재 저주파 블록에 랜덤값을 합성할지 여부를 결정하고, 현재 블록의 저주파 변조 성분을 출력할 수 있다. 저주파 변조값 결정부(240)는, 현재 저주파 블록과 주변 저주파 블록이 유사하다고 결정하면 랜덤값 생성부(230)에 의해 생성된 랜덤값을 현재 저주파 블록에 합성할 수 있다. 저주파 변조값 결정부(240)는, 현재 저주파 블록의 평균값과 주변 저주파 블록의 평균값이 유사하지 않다고 결정하면, 현재 저주파 블록을 그대로 출력할 수 있다. The low frequency modulation value determiner 240 may determine whether to synthesize a random value to the current low frequency block based on the similarity between the current low frequency block and the neighboring low frequency block of the input image, and output the low frequency modulation component of the current block. have. When the low frequency modulation value determiner 240 determines that the current low frequency block and the neighboring low frequency block are similar, the low frequency modulation value determiner 240 may synthesize the random value generated by the random value generator 230 to the current low frequency block. The low frequency modulation value determiner 240 may output the current low frequency block as it is, if it is determined that the average value of the current low frequency block is not similar to the average value of the neighboring low frequency block.

저주파 변조값 결정부(240)의 일 동작례는 수학식 3로 표현될 수 있다. An operation example of the low frequency modulation value determiner 240 may be represented by Equation 3 below.

Figure pat00003
Figure pat00003

Figure pat00004
및
Figure pat00005
는 각각 입력 영상 Y의 n번째 저주파 블록 및 n-1번째 저주파 블록의 저주파 성분의 평균값을 나타내며,
Figure pat00006
는 현재 n번째 저주파 블록의 변조된 저주파 값을 나타낸다. th 는 입력 영상 Y의 n번째 저주파 블록 및 n-1번째 저주파 블록 간의 유사도를 결정하기 위한 임계값을 나타낸다. value rand 는 랜덤값을 나타내며, var은 랜덤값의 분산을 나타낸다.
Figure pat00004
And
Figure pat00005
Denote an average value of the low frequency components of the nth low frequency block and the n-1th low frequency block of the input image Y, respectively.
Figure pat00006
Denotes a modulated low frequency value of the current n th low frequency block. th Denotes a threshold for determining similarity between the nth low-frequency block and the n-1th low-frequency block of the input image Y. value rand represents a random value and var represents a variance of the random value.

즉, 저주파 변조값 결정부(240)는, 입력 영상 Y의 n번째 현재 저주파 블록 및 n-1번째 이전 저주파 블록의 저주파 성분들의 평균값들 간의 차이가 소정 임계치보다 작거나 같은 경우, 현대 블록의 저주파 성분 값에, 랜덤값의 분산에 비례하여 증감하는 랜덤값을 추가하여 출력할 수 있다. That is, the low frequency modulation value determiner 240 determines that the difference between the average values of the low frequency components of the nth current low frequency block of the input image Y and the n−1th previous low frequency block is less than or equal to a predetermined threshold, the low frequency of the modern block. The component value can be output by adding a random value which increases or decreases in proportion to the variance of the random value.

즉, 저주파 변조값 결정부(240)는, 입력 영상 Y의 n번째 현재 저주파 블록 및 n-1번째 이전 저주파 블록의 저주파 성분들의 평균값들 간의 차이가 소정 임계치보다 큰 경우는 현대 블록의 저주파 성분 값을 그대로 출력할 수 있다. That is, the low frequency modulation value determiner 240 determines that the difference between the average values of the low frequency components of the nth current low frequency block of the input image Y and the n−1th previous low frequency block is greater than the predetermined threshold value of the low frequency component of the modern block. Can be output as is.

따라서, 저주파 변조부(120)에 의해 출력되는 저주파 변조 성분은, 블록 단위로 출력되며, 입력된 현재 저주파 블록의 주파수 대역에 비해 고주파 대역의 영상 성분을 더 포함할 수도 있다.Accordingly, the low frequency modulation component output by the low frequency modulator 120 may be output in units of blocks, and may further include an image component of a high frequency band compared to the frequency band of the input current low frequency block.

일 실시예에 따른 고주파 변조부(130)는, 입력 영상의 고주파 성분을 샘플링을 통해 변조한다. 구체적으로 고주파 변조부(130)는, 디블러링 동작부(250) 및 샘플링 합성부(260)를 포함한다.The high frequency modulator 130 according to an embodiment modulates a high frequency component of the input image through sampling. In detail, the high frequency modulator 130 includes a deblurring operation unit 250 and a sampling synthesis unit 260.

디블러링 동작부(250)는, 버퍼(215)로부터 입력 영상의 픽셀별로 고주파 성분을 입력받아, 픽셀에 대해 디블러링 동작을 수행할 수 있다. 샘플링 합성부(260)는, 디블러링 동작부(250)의 디블러링 동작을 통해 블러 성분이 감소된 고주파 성분에 대하여 샘플링 동작을 수행할 수 있다. The deblur operation unit 250 may receive a high frequency component for each pixel of the input image from the buffer 215, and perform a deblur operation on the pixel. The sampling synthesis unit 260 may perform a sampling operation on the high frequency component of which the blur component is reduced through the deblur operation of the deblur operation unit 250.

영상이 큰 비율로 확대되거나 열화가 심한 경우, 영상의 고주파 성분이 많이 훼손되어 파워가 약화될 수 있다. 이러한 경우, 디블러링 동작을 통해 영상의 고주파 성분이 증폭될 수 있다. If the image is enlarged at a large rate or severely degraded, the high frequency component of the image may be largely damaged and the power may be weakened. In this case, the high frequency component of the image may be amplified by the deblurring operation.

예를 들어 디블러링 동작부(250)는, 하나 이상의 대역통과 필터(Bandpass Filter)를 이용하여 현재 고주파 성분에 대한 디블러링 동작을 수행할 수 있다. 디블러링 동작부(250)는, 현재 고주파 성분에 하나 이상의 대역통과 필터를 적용하여, 주파수 대역별로 주파수 성분들을 추출하고, 추출된 대역별 주파수 성분들을 가중합하여, 현재 고주파 성분에 합성할 수 있다.For example, the deblurring operation unit 250 may perform a deblurring operation on the current high frequency component using one or more bandpass filters. The deblurring operation unit 250 may apply one or more bandpass filters to the current high frequency component, extract frequency components for each frequency band, weight the extracted frequency components for each band, and synthesize the current high frequency component. .

대역통과를 이용한 디블러링 동작부(250)의 일 동작례는 수학식 4로 표현될 수 있다. An example of operation of the deblur operation unit 250 using the band pass may be expressed by Equation 4.

Figure pat00007
Figure pat00007

YHF는 입력 영상의 픽셀별 고주파 성분, ck는 대역별 가중치, BPFk(·)는 n개의 대역별 대역통과 필터링 함수를 나타낸다. Ydeblur는 디블러링 동작을 통해 블러 성분이 감소된 고주파 성분을 나타낸다. 즉, 입력 영상의 픽셀별 고주파 성분에 대한 대역별 대역통과 필터링 결과가 가중합됨으로써, 디블러링 동작이 구현될 수 있다. Y HF denotes a high frequency component for each pixel of the input image, c k denotes a weight for each band, and BPF k (·) denotes n band-specific bandpass filtering functions. Y deblur denotes a high frequency component in which a blur component is reduced through a deblur operation. That is, the de-blurring operation may be implemented by weighting the band pass filtering results for each high frequency component of the input image.

샘플링 합성부(260)는, 디블러링 동작을 통해 블러 성분이 제거된 현재 고주파 성분에 대하여 샘플링을 수행하고 샘플링된 값들을 합성한 고주파 변조 성분을 결정할 수 있다. 샘플링 합성부(260)는, 현재 픽셀을 중심으로 소정 범위 내의 주변 픽셀들 중에서, 소정 위치의 픽셀들을 선택하여 해당 고주파 성분들을 합성함으로써, 현재 고주파 성분에 대한 샘플링 합성 결과를 결정하고, 현재 고주파 변조 성분을 출력할 수 있다.The sampling synthesis unit 260 may perform sampling on the current high frequency component from which the blur component is removed through a deblurring operation, and determine a high frequency modulation component that synthesizes the sampled values. The sampling synthesis unit 260 determines a sampling synthesis result for the current high frequency component by selecting pixels of a predetermined position from among neighboring pixels within a predetermined range with respect to the current pixel to synthesize corresponding high frequency components, and then modulates the current high frequency modulation. You can output the component.

샘플링 합성부(260)는, 현재 픽셀을 중심으로 선택된 소정 위치의 픽셀들에 대하여, 소정 위치별 가중치를 이용하여 가중합하여 현재 픽셀의 고주파 성분에 대한 샘플링 및 합성 결과를 결정할 수 있다. 일 실시예에 따른 샘플링 합성 동작은 수학식 5로 표현될 수 있다. The sampling synthesis unit 260 may weight the pixels of the predetermined positions selected around the current pixel using weights for each predetermined position to determine a sampling and synthesis result for the high frequency component of the current pixel. The sampling synthesis operation according to an embodiment may be represented by Equation 5.

Figure pat00008
Figure pat00008

Figure pat00009
는 샘플링 및 가중합 함수를 나타내고,
Figure pat00010
는 블러 성분이 감소된 고주파 성분 Ydeblur에 대한 샘플링 및 가중합을 통해 변조된 성분을 나타낸다.
Figure pat00009
Represents the sampling and weighting functions,
Figure pat00010
Denotes a component modulated by sampling and weighting the high frequency component Y deblur with reduced blur component.

예를 들어 샘플링 합성부(260)는, 현재 픽셀을 중심으로 특정 간격으로 떨어져 위치한 픽셀의 고주파 성분들을 선택하기 위하여, 소정 크기의 샘플링 윈도우 또는 공간적 FIR 필터(Finite Impulse Response Filter)를 이용하여 현재 픽셀에 대한 샘플링 동작을 구현할 수 있다. 도 3 은 일 실시예에 따른 샘플링 윈도우를 도시한다.For example, the sampling synthesis unit 260 uses a sampling window or a spatial FIR filter (Finite Impulse Response Filter) of a predetermined size in order to select high frequency components of pixels spaced apart from each other by a specific distance from the current pixel. Can implement a sampling operation for. 3 illustrates a sampling window according to one embodiment.

샘플링 윈도우(300)는, 크기 9x9의 윈도우로서, 현재 픽셀을 중심으로 상하좌우의 각각의 방향으로, 샘플링 간격을 2픽셀로 하면서 두 개의 픽셀들씩 샘플링할 수 있다. 특히 샘플링 윈도우(300)의 중앙 가중치 C는 현재 픽셀을 위한 가중치이며, 나머지 샘플링 위치들을 위한 가중치는 균일하게 1이다. 샘플링 합성부(260)는, 현재 픽셀에 대해 샘플링 위치별로 별도로 설정된 가중치를 이용하여, 샘플링 위치의 픽셀들의 고주파 성분들을 가중합함으로써, 현재 고주파 변조 성분을 결정할 수 있다.The sampling window 300 is a window having a size of 9 × 9 and may sample two pixels at a sampling interval of two pixels in each of the top, bottom, left, and right directions of the current pixel. In particular, the central weight C of the sampling window 300 is the weight for the current pixel, and the weight for the remaining sampling positions is equal to one. The sampling synthesis unit 260 may determine the current high frequency modulation component by weighting the high frequency components of the pixels at the sampling position by using a weight set separately for each sampling position with respect to the current pixel.

이 밖에도 샘플링 합성부(260)는, 샘플링 위치에 따라 가중치를 달리 결정할 수도 있으며, 샘플링 윈도우의 크기, 샘플링 간격 및 샘플링 윈도우의 형태 등도 임의로 결정하여, 다양한 변수 또는 환경 요인을 고려하여 현재 고주파 성분의 변조를 위한 샘플링을 수행할 수도 있다.In addition, the sampling synthesis unit 260 may differently determine the weight according to the sampling position, and arbitrarily determine the size of the sampling window, the sampling interval, and the shape of the sampling window, and consider various variables or environmental factors to determine the current high frequency component. Sampling for modulation may be performed.

현재 픽셀에 대한 샘플링 동작은 현재 픽셀의 주변 픽셀들로부터 샘플링 대상을 검색하므로, 하나의 현재 픽셀에 대한 샘플링 동작이더라도 샘플링 합성부(260)에는, 현재 픽셀을 중심으로 하는 주변 픽셀들에 대한 고주파 성분들을 포함하는 고주파 블록이 입력될 수 있다. Since the sampling operation for the current pixel retrieves a sampling target from neighboring pixels of the current pixel, the sampling synthesis unit 260, even if the sampling operation is performed for one current pixel, has a high frequency component for surrounding pixels centered on the current pixel. The high frequency block including the above may be input.

샘플링 합성부(260)에 픽셀별로 현재 픽셀을 중심으로 하는 고주파 블록이 입력되기 위해서, 주파수 분리부(110)에 의해 분리되어 버퍼(215)에 저장된 고주파 성분들은, 디블러링 동작부(250)부터 현재 픽셀을 중심으로 하는 고주파 블록 단위로 입력될 수 있다.In order to input a high frequency block centered on the current pixel for each pixel to the sampling synthesis unit 260, the high frequency components separated by the frequency separation unit 110 and stored in the buffer 215 are deblurred operation unit 250. Can be input in units of high frequency blocks centered on the current pixel.

따라서, 디블러링 동작부(250)는 현재 픽셀을 포함한 현재 고주파 블록을 입력받아, 블러 성분이 제거된 고주파 블록을 출력하고, 샘플링 합성부(260)는 현재 픽셀에 대해 블러 성분이 제거된 고주파 블록을 입력받아, 현재 픽셀에 대한 고주파 변조 성분을 출력할 수 있다.Accordingly, the deblurring operation unit 250 receives the current high frequency block including the current pixel, outputs a high frequency block from which the blur component is removed, and the sampling synthesis unit 260 removes the high frequency component from the current pixel. The block may be input to output a high frequency modulation component for the current pixel.

영상이 과도하게 확대되거나 열화된 경우에, 영상의 고주파 성분이 과도하게 약화되어, 입력 영상의 저주파 성분을 제외한 주파수 성분들이 중주파 대역에 집중되며, 이 경우 영상은 과도하게 평탄해진다. 입력 영상의 고주파 성분에 대한 샘플링 동작을 통해, 앨리어싱 현상이 발생할 수 있다. 영상의 고주파 성분에 대한 앨리어싱 현상을 통해, 중주파 대역의 주파수 성분들이 외각 주파수 대역으로 분산되도록 변조될 수 있다. When the image is excessively enlarged or degraded, the high frequency component of the image is excessively weakened, so that frequency components except the low frequency component of the input image are concentrated in the mid frequency band, in which case the image is excessively flat. Aliasing may occur through a sampling operation on a high frequency component of the input image. Through aliasing of high frequency components of an image, frequency components of the medium frequency band may be modulated to be distributed to the outer frequency band.

따라서 주파수 합성부(140)는, 저주파 변조부(120)로부터 출력된 저주파 변조 성분과 고주파 변조부(130)로부터 출력된 고주파 변조 성분을 공간적으로 합성할 수 있다. 주파수 합성부(140)의 일 동작례는 수학식 6으로 표현될 수 있다.Therefore, the frequency synthesizing unit 140 may spatially synthesize the low frequency modulation component output from the low frequency modulation unit 120 and the high frequency modulation component output from the high frequency modulation unit 130. An example of operation of the frequency synthesizer 140 may be represented by Equation 6.

Figure pat00011
Figure pat00011

Figure pat00012
는 변조된 저주파 성분,
Figure pat00013
는 변조된 고주파 성분을 나타낸다. 즉, 주파수 합성부(140)는, 변조된 저주파 성분
Figure pat00014
과 고주파 성분
Figure pat00015
을 공간적으로 합성하여 변조 영상
Figure pat00016
을 출력할 수 있다.
Figure pat00012
Is a modulated low frequency component,
Figure pat00013
Denotes a modulated high frequency component. In other words, the frequency synthesizer 140 modulates the low frequency component.
Figure pat00014
And high frequency components
Figure pat00015
Modulated image by spatially compositing
Figure pat00016
You can output

저주파 변조부(120)는 블록 단위로 변조 결과를 출력하고, 고주파 변조부(130)는 픽셀 단위로 변조 결과를 출력하여 버퍼(235)에 저장된다. 주파수 합성부(140)는, 버퍼(235)로부터, 저주파 변조부(120)의 결과와 동일한 위치 및 크기에 해당하는 고주파 변조부(130)의 변조 결과들을 입력받아, 변조된 저주파 성분과 변조된 고주파 성분을 합성할 수 있다.The low frequency modulator 120 outputs the modulation result in block units, and the high frequency modulator 130 outputs the modulation result in pixel units and is stored in the buffer 235. The frequency synthesizer 140 receives the modulation results of the high frequency modulator 130 corresponding to the same position and size as the result of the low frequency modulator 120 from the buffer 235, and modulates the modulated low frequency component. High frequency components can be synthesized.

일 실시예에 따른 영상 질감 향상 장치(200)는, 입력 영상마다 영상 화질을 향상시키기 위한 동작을 수행하므로, 시간 순서에 따라 이전 영상에 대한 변조 영상을 이용하여 현재 영상을 변조할 수도 있다. Since the image texture improving apparatus 200 according to an embodiment performs an operation for improving image quality for each input image, the current image may be modulated using a modulated image of the previous image in time order.

일 실시예에 따른 시간적 합성부(270)는, 주파수 합성부(140)로부터 현재 영상에 대하여 변조된 현재 변조 영상을 입력받아, 이전 영상에 대한 변조 영상과 현재 변조 영상을 합성할 수 있다. 시간적 합성부(270)로부터 출력된 최종 변조 영상은 다시 버퍼(275)에 저장되어, 다음 변조 영상에 대한 이전 영상으로서 이용될 수도 있다.The temporal synthesizer 270 according to an embodiment may receive the current modulated image modulated with respect to the current image from the frequency synthesizer 140, and synthesize the modulated image and the current modulated image with respect to the previous image. The final modulated image output from the temporal synthesizer 270 may be stored in the buffer 275 again and used as a previous image for the next modulated image.

일 실시예에 따른 시간적 합성부(270)는, 이전 변조 영상과 현재 변조 영상의 시간적 합성을 위해, 이전 영상 및 현재 영상 간의 움직임을 고려할 수 있다. 즉, 시간적 합성부(270)는, 이전 영상 및 현재 영상 간의 움직임 벡터를 결정하고, 움직임 벡터에 기초하여 움직임 보상된 이전 변조 영상과 현재 변조 영상을 합성할 수도 있다. 시간적 합성부(270)의 일 동작례가 수학식 7로 표현될 수 있다. The temporal synthesizer 270 according to an embodiment may consider a motion between the previous image and the current image for temporal synthesis of the previous modulated image and the current modulated image. That is, the temporal synthesis unit 270 may determine a motion vector between the previous image and the current image, and synthesize the motion-compensated previous modulated image and the current modulated image based on the motion vector. An operation example of the temporal synthesis unit 270 may be represented by Equation 7.

Figure pat00017
Figure pat00017

현재 영상

Figure pat00018
에 대한 변조 영상은
Figure pat00019
, 이전 영상
Figure pat00020
에 대한 변조 영상은
Figure pat00021
이며, 이전 변조 영상에 대해 움직임 보상된 영상은
Figure pat00022
이다.
Figure pat00023
는 이전 변조 영상에 대한 가중치를 나타내며, 다양한 파라미터를 이용하여 변형될 수 있다. Current video
Figure pat00018
Modulated video for
Figure pat00019
, Previous video
Figure pat00020
Modulated video for
Figure pat00021
The motion compensated image for the previous modulated image is
Figure pat00022
to be.
Figure pat00023
Denotes a weight for the previous modulated image and may be modified using various parameters.

즉, 시간적 합성부(270)는, 움직임 보상된 이전 변조 영상

Figure pat00024
과 현재 변조 영상
Figure pat00025
의 가중합을 통해, 시간적 움직임을 고려한 최종 변조 영상
Figure pat00026
을 결정할 수 있다.That is, the temporal synthesizing unit 270 performs motion compensated previous modulated image.
Figure pat00024
And current modulation video
Figure pat00025
The final modulated image considering the temporal movement through the weighted sum of
Figure pat00026
Can be determined.

이로써 일 실시예에 따른 영상 질감 향상 장치(200)는, 과도한 영상 확대 또는 영상 열화를 통해 과도하게 평탄해진 영상에 대해, 새로운 고주파 성분을 추가하거나 주파수 대역별로 영상 성분을 분산시키도록 변조함으로써, 시청자에게 자연스러운 화질을 느끼게 하는 영상 질감을 복원할 수 있다. Thus, the image texture improving apparatus 200 according to an embodiment modulates the viewer to add a new high frequency component or to disperse the image component by frequency band for an image that is excessively flattened by excessive image enlargement or image degradation. You can restore the image texture that makes the image feel natural.

도 4 는 본 발명의 일 실시예에 따른 영상 질감 향상 방법의 흐름도를 도시한다.4 is a flowchart illustrating an image texture enhancement method according to an embodiment of the present invention.

단계 410에서, 비디오의 입력 영상이 저주파 성분 및 고주파 성분으로 분리된다. 예를 들어, 저역통과 필터링 또는 양방향 필터링을 통해, 입력 영상의 저주파 성분과 고주파 성분이 분리될 수 있다. In step 410, the input image of the video is separated into a low frequency component and a high frequency component. For example, the low frequency component and the high frequency component of the input image may be separated through low pass filtering or bidirectional filtering.

단계 420에서, 입력 영상의 저주파 성분이 디더링을 통해 블록 단위로 변조된다. 입력 영상의 저주파 블록들 중에서, 현재 저주파 블록과 주변 저주파 블록의 유사도가 비교되어, 현재 저주파 블록이 주변 저주파 블록과 유사하다면 현재 저주파 블록에 랜덤값이 추가될 수 있다. In operation 420, low frequency components of the input image are modulated in units of blocks through dithering. Among the low frequency blocks of the input image, the similarity between the current low frequency block and the neighboring low frequency block is compared, and if the current low frequency block is similar to the neighboring low frequency block, a random value may be added to the current low frequency block.

단계 430에서, 입력 영상의 고주파 성분이 샘플링을 통해 변조된다. 입력 영상의 픽셀별로, 현재 픽셀을 중심으로 소정 범위 내의 주변 픽셀들 중에서, 소정 위치의 픽셀들이 선택되고 선택된 픽셀들의 고주파 성분들이 합성됨으로써, 현재 고주파 성분에 대한 샘플링 값이 결정될 수 있다. 현재 픽셀과 이를 중심으로 하는 주변 픽셀들을 이용하는 고주파 성분의 샘플링 및 합성 방식은, 소정 크기의 샘플링 윈도우 및 공간적 FIR 필터 중 적어도 하나를 이용하여 구현될 수 있다.In step 430, high frequency components of the input image are modulated by sampling. For each pixel of the input image, pixels of a predetermined position are selected from among neighboring pixels within a predetermined range around the current pixel, and the high frequency components of the selected pixels are synthesized, whereby a sampling value for the current high frequency component may be determined. A sampling and synthesis method of a high frequency component using a current pixel and surrounding pixels around the same may be implemented using at least one of a sampling window having a predetermined size and a spatial FIR filter.

입력 영상의 픽셀별 고주파 성분에 대하여 샘플링을 통한 변조값이 결정되기 이전에, 고주파 성분에 대하여 디블러링 동작이 수행될 수 있다. 디블러링 동작을 통해 블러 성분이 감소되며 증폭된 고주파 성분에 대하여 샘플링 동작이 추가적으로 수행될 수 있다. Before the modulation value through sampling is determined for the high frequency component of each pixel of the input image, the debluring operation may be performed on the high frequency component. The blur component is reduced through the deblur operation, and the sampling operation may be additionally performed on the amplified high frequency component.

단계 440에서, 저주파 변조 성분 및 고주파 변조 성분이 합성되어 변조된 영상이 출력된다. In operation 440, a low frequency modulation component and a high frequency modulation component are synthesized to output a modulated image.

또한 일 실시예에 따른 영상 질감 향상 방법은, 시간 순서에 따라 현재 영상에 대하여 변조된 영상과 이전 영상에 대한 변조된 영상을 합성함으로써 현재 영상의 최종 변조 영상을 출력할 수 있다. 이 경우, 이전 변조 영상과 현재 변조 영상 간의 움직임을 고려하여, 움직임 보상된 이전 변조 영상이 현재 영상과 합성될 수 있다. In addition, the image texture enhancement method according to an embodiment may output the final modulated image of the current image by synthesizing the modulated image for the current image and the modulated image for the current image in chronological order. In this case, the motion compensated previous modulated image may be synthesized with the current image in consideration of the motion between the previous modulated image and the current modulated image.

이상, 이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 하지만 전술된 실시예들은 본 발명의 원리를 설명하기 위한 실시예일 뿐이므로, 본 발명의 원리가 구현되는 형태가 도 1 내지 4에서 개시된 형태에만 국한되는 것은 아니다. So far, the present invention has been described with reference to the preferred embodiments. However, since the above-described embodiments are merely examples for explaining the principles of the present invention, the embodiment of the present invention is not limited to the forms disclosed in FIGS. 1 to 4.

본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The block diagrams disclosed in the present invention may be interpreted by those skilled in the art as a conceptual representation of a circuit for implementing the principles of the present invention. Similarly, any flow chart, flow chart, state diagram, pseudocode, etc. may be substantially represented on a computer readable medium, such that the computer or processor may be executed by such a computer or processor whether or not it is explicitly shown. It will be appreciated by those skilled in the art to represent the process. Therefore, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer which operates the program using a computer-readable recording medium. The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.The functions of the various elements shown in the figures may be provided through the use of dedicated hardware as well as hardware capable of executing software in association with appropriate software. When provided by a processor, such functionality may be provided by a single dedicated processor, by a single shared processor, or by a plurality of individual processors, some of which may be shared. In addition, the explicit use of the term “processor” or “control unit” should not be construed as exclusively referring to hardware capable of executing software, and without limitation, digital signal processor (DSP) hardware, read-only for storing software. Memory (ROM), random access memory (RAM), and non-volatile storage.

본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다. In the claims of this specification, an element represented as a means for performing a specific function encompasses any way of performing a specific function, and the element may be a combination of circuit elements performing a specific function, or performing a specific function. It may include any form of software, including firmware, microcode, etc., coupled with suitable circuitry to carry out the software for.

본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.Reference herein to 'one embodiment' of the principles of the present invention and various modifications of this expression is that in connection with this embodiment certain features, structures, characteristics, etc., are included in at least one embodiment of the principles of the present invention. it means. Thus, the expression 'in one embodiment' and any other variation disclosed throughout this specification are not necessarily all referring to the same embodiment.

본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.In the present specification, in the case of at least one of A and B, the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B). As an additional example, for at least one of A, B, and C, only the selection of the first listed option (A), or the selection of the second listed option (B), or the third listed option (C ), Only the selection of the first and second listed options (A and B), only the selection of the second and third listed options (B and C), or the selection of all three options ( A, B, and C) may be encompassed. Even if more items are enumerated, it may be obviously extended to those skilled in the art.

본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
All embodiments and conditional examples disclosed throughout the specification are intended to help one of ordinary skill in the art to understand the principles and concepts of the present invention. It will be understood that modifications may be made without departing from the essential features of the invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (22)

영상 질감을 향상시키는 방법에 있어서,
입력 영상을 저주파 성분 및 고주파 성분으로 분리하는 단계;
상기 저주파 성분을 디더링을 통해 블록 단위로 변조하는 단계;
상기 고주파 성분을 샘플링을 통해 변조하는 단계; 및
상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.In the method of improving the image texture,
Separating the input image into low frequency components and high frequency components;
Modulating the low frequency component block by dithering;
Modulating the high frequency component through sampling; And
And synthesizing the modulated low frequency component and the modulated high frequency component. 제 1 항에 있어서, 상기 저주파 성분 변조 단계는,
입력 영상의 저주파 성분들 중에서, 현재 블록과 주변 블록의 유사도를 결정하는 단계; 및
상기 현재 블록과 주변 블록의 유사도에 기초하여, 상기 현재 블록에 랜덤값을 합성할지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 1, wherein the low frequency component modulation step,
Determining similarity between the current block and the neighboring block among low frequency components of the input image; And
And determining whether to synthesize a random value with the current block based on the similarity between the current block and a neighboring block. 제 2 항에 있어서, 상기 저주파 성분 변조 단계는,
상기 현재 블록의 평균값과 상기 현재 블록에 공간적으로 인접하는 주변 블록의 평균값을 비교하여 상기 현재 블록과 상기 주변 블록의 유사도를 결정하는 단계;
상기 현재 블록과 상기 주변 블록이 유사하다면, 상기 현재 블록에 랜덤값을 합성하는 단계; 및
상기 현재 블록과 상기 주변 블록이 유사하지 않다면, 상기 현재 저주파 성분들을 출력하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 2, wherein the low frequency component modulation step,
Determining a similarity degree between the current block and the neighboring block by comparing the average value of the current block with the average value of the neighboring block spatially adjacent to the current block;
Synthesizing a random value with the current block if the current block and the neighboring block are similar; And
And if the current block and the neighboring block are not similar, outputting the current low frequency components. 제 1 항에 있어서, 상기 고주파 성분 변조 단계는,
상기 고주파 성분의 픽셀들에 대하여, 현재 픽셀을 중심으로 소정 범위 내의 주변 픽셀들 중에서, 소정 위치의 픽셀들을 선택하여 합성하여 상기 현재 픽셀에 대한 샘플링 값을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 1, wherein the high frequency component modulation step,
And selecting pixels of a predetermined position from among neighboring pixels within a predetermined range with respect to the pixels of the high frequency component to determine a sampling value for the current pixel. How to improve texture. 제 4 항에 있어서, 상기 현재 픽셀 샘플링 값 결정 단계는,
상기 소정 범위 내의 주변 픽셀들 중에서 선택된 픽셀들에 대하여, 상기 소정 위치별 가중치를 이용하여 가중합하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 4, wherein the determining of the current pixel sampling value comprises:
And weighting the selected pixels among the pixels selected from the surrounding pixels within the predetermined range by using the weight for each predetermined position. 제 4 항에 있어서, 상기 현재 픽셀 샘플링 값 결정 단계는,
소정 크기의 샘플링 윈도우 및 공간적 FIR 필터(Finite Impulse Response Filter) 중 적어도 하나를 이용하여 상기 현재 픽셀에 대한 샘플링 값을 결정하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 4, wherein the determining of the current pixel sampling value comprises:
And determining a sampling value for the current pixel by using at least one of a sampling window having a predetermined size and a spatial FIR filter. 제 1 항에 있어서, 상기 고주파 성분 변조 단계는,
상기 고주파 성분에 대하여 디블러링 동작을 수행하는 단계; 및
상기 디블러링 동작을 통해 블러 성분이 감소된 고주파 성분에 대하여 샘플링 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 1, wherein the high frequency component modulation step,
Performing a deblur operation on the high frequency component; And
And performing a sampling operation on the high frequency component of which the blur component is reduced through the deblurring operation. 제 7 항에 있어서, 상기 디블러링 동작 수행 단계는,
현재 고주파 성분에 대하여 하나 이상의 대역통과 필터(Bandpass Filter)를 이용하여 하나 이상의 소정 대역 주파수 성분을 추출하는 단계; 및
상기 추출된 소정 대역 주파수 성분들을 가중합하여 상기 현재 고주파 성분에 합성하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 7, wherein performing the deblur operation comprises:
Extracting one or more predetermined band frequency components with respect to current high frequency components using at least one bandpass filter; And
And adding the extracted predetermined band frequency components to synthesize the current high frequency components. 제 1 항에 있어서, 상기 저주파 성분 및 고주파 성분 분리 단계는,
저역통과 필터(Lowpass Filter) 및 양방향 필터(Bilateral Filter) 중 적어도 하나를 이용하여, 상기 입력 영상의 저주파 성분과 고주파 성분을 분리하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 1, wherein the low frequency component and the high frequency component separation step,
And separating the low frequency component and the high frequency component of the input image using at least one of a lowpass filter and a bilateral filter. 제 1 항에 있어서, 상기 영상 질감 향상 방법은,
현재 영상에 대하여 상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하여 현재 변조 영상을 생성하는 단계; 및
이전 영상에 대한 변조 영상과 상기 현재 변조 영상을 합성하는 단계를 더 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 1, wherein the image texture enhancement method comprises:
Generating a current modulated image by synthesizing the modulated low frequency component and the modulated high frequency component with respect to a current image; And
And synthesizing the modulated image with respect to a previous image and the current modulated image. 제 2 항에 있어서, 상기 이전 변조 영상과 현재 입력 영상의 합성 단계는;
상기 이전 영상 및 상기 현재 영상 간의 움직임 벡터를 결정하는 단계; 및
상기 움직임 벡터에 기초하여 움직임 보상된 이전 변조 영상과 상기 현재 변조 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 질감 향상 방법.The method of claim 2, wherein the synthesizing of the previous modulated image and the current input image comprises: a;
Determining a motion vector between the previous image and the current image; And
And synthesizing the motion modulated previous modulated image and the current modulated image based on the motion vector. 영상 질감 향상 장치에 있어서,
입력 영상을 저주파 성분 및 고주파 성분으로 분리하는 주파수 분리부;
상기 저주파 성분을 디더링을 통해 블록 단위로 변조하는 저주파 변조부;
상기 고주파 성분을 샘플링을 통해 변조하는 고주파 변조부; 및
상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하는 주파수 합성부를 포함하는 것을 특징으로 하는 영상 질감 향상 장치.In the image texture enhancement device,
A frequency separator for separating the input image into low frequency and high frequency components;
A low frequency modulator for modulating the low frequency component in units of blocks through dithering;
A high frequency modulator for modulating the high frequency component through sampling; And
And a frequency synthesizer for synthesizing the modulated low frequency component and the modulated high frequency component. 제 12 항에 있어서, 상기 저주파 변조부는,
상기 입력 영상의 저주파 성분들 중에서, 현재 블록과 주변 블록의 유사도에 기초하여, 상기 현재 블록의 현재 저주파 성분들에 랜덤값을 합성함으로써 변조하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 12, wherein the low frequency modulator,
And modulating a low-frequency component of the input image by synthesizing a random value with current low-frequency components of the current block based on a similarity between the current block and a neighboring block. 제 13 항에 있어서, 상기 저주파 변조부는,
상기 저주파 성분의 입력 블록의 평균값을 결정하는 평균값 결정부;
랜덤값을 생성하는 랜덤값 생성부; 및
상기 저주파 성분의 현재 블록의 평균값과, 상기 현재 블록에 공간적으로 인접하는 주변 블록의 평균값을 비교하여 상기 현재 블록과 상기 주변 블록의 유사도를 결정하고, 상기 현재 블록과 주변 블록의 유사도에 기초하여, 상기 현재 블록과 상기 주변 블록이 유사하다면 상기 현재 블록에 랜덤값을 합성하고, 상기 현재 블록의 평균값과 상기 주변 블록의 평균값이 유사하지 않다면 상기 현재 블록을 출력하는 저주파 변조값 결정부를 포함하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 13, wherein the low frequency modulator,
An average value determiner which determines an average value of the input block of the low frequency component;
A random value generator for generating a random value; And
Comparing the average value of the current block of the low frequency component with the average value of the neighboring blocks spatially adjacent to the current block to determine the similarity between the current block and the neighboring block, and based on the similarity between the current block and the neighboring block, And a low frequency modulation value determination unit configured to synthesize a random value to the current block if the current block and the neighboring block are similar, and output the current block if the average value of the current block and the average value of the neighboring block are not similar to each other. Image texture enhancement device. 제 12 항에 있어서, 상기 고주파 변조부는,
상기 고주파 성분의 픽셀들에 대하여, 현재 픽셀을 중심으로 소정 범위 내의 주변 픽셀들 중에서, 소정 위치의 픽셀들을 선택하여 합성하여 상기 현재 픽셀에 대한 샘플링 값을 결정하는 샘플링 합성부를 포함하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 12, wherein the high frequency modulator,
And a sampling synthesis unit configured to determine a sampling value for the current pixel by selecting and synthesizing pixels of a predetermined position among pixels of the high frequency component from among neighboring pixels within a predetermined range around the current pixel. Image texture enhancement device. 제 15 항에 있어서, 상기 샘플링 합성부는,
상기 선택된 소정 위치의 픽셀들에 대하여, 상기 소정 위치별 가중치를 이용하여 가중합하여 상기 현재 픽셀에 대한 샘플링 값을 결정하고,
소정 크기의 샘플링 윈도우 또는 공간적 FIR 필터를 이용하여 상기 현재 픽셀에 대한 샘플링 값을 결정하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 15, wherein the sampling synthesis unit,
For the pixels of the selected predetermined position, the weighted sum is used to determine a sampling value for the current pixel by using the weight for each predetermined position.
And a sampling value for the current pixel is determined using a sampling window or a spatial FIR filter having a predetermined size. 제 12 항에 있어서, 상기 고주파 변조부는,
상기 고주파 성분에 대하여 디블러링 동작을 수행하는 디블러링 동작부를 포함하고,
상기 고주파 변조부는, 상기 디블러링 동작을 통해 블러 성분이 감소된 고주파 성분에 대하여 샘플링 동작을 수행하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 12, wherein the high frequency modulator,
A deblur operation unit configured to perform a deblur operation on the high frequency component,
And the high frequency modulator performs a sampling operation on a high frequency component of which a blur component is reduced through the deblurring operation. 제 17 항에 있어서, 상기 디블러링 동작부는,
현재 고주파 성분에 대하여 하나 이상의 대역통과 필터를 이용하여 하나 이상의 소정 대역 주파수 성분을 추출하고, 상기 추출된 소정 대역 주파수 성분들을 가중합하여 상기 현재 고주파 성분에 합성하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 17, wherein the deblur operation unit,
And extracting one or more predetermined band frequency components by using one or more bandpass filters with respect to current high frequency components, and weighting the extracted predetermined band frequency components to synthesize the current high frequency components. 제 12 항에 있어서, 상기 주파수 분리부는,
저역통과 필터 및 양방향 필터 중 적어도 하나를 이용하여, 상기 입력 영상의 저주파 성분과 고주파 성분을 분리하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 12, wherein the frequency separation unit,
And a low frequency component and a high frequency component of the input image using at least one of a low pass filter and a bidirectional filter. 제 12 항에 있어서, 상기 영상 질감 향상 장치는,
현재 영상에 대하여 상기 변조된 저주파 성분 및 상기 변조된 고주파 성분을 합성하여 현재 변조 영상을 생성하고, 이전 영상에 대한 변조 영상과 상기 현재 변조 영상을 합성하는 시간적 합성부를 더 포함하는 것을 특징으로 하는 영상 질감 향상 장치.The image texture enhancing apparatus of claim 12,
And synthesizing the modulated low frequency component and the modulated high frequency component with respect to the current image to generate a current modulated image, and further comprising a temporal synthesizer for synthesizing the modulated image with respect to the previous image and the current modulated image. Texture Enhancement Device. 제 20 항에 있어서, 상기 시간적 합성부는,
상기 이전 영상 및 상기 현재 영상 간의 움직임 벡터를 결정하여, 상기 움직임 벡터에 기초하여 움직임 보상된 이전 변조 영상과 상기 현재 변조 영상을 합성하는 것을 특징으로 하는 영상 질감 향상 장치.The method of claim 20, wherein the temporal synthesis unit,
And determining a motion vector between the previous image and the current image, and synthesizing the motion-modulated previous modulated image and the current modulated image based on the motion vector. 제 1 항 내지 제 11 항 중 어느 한 항의 영상 질감 향상 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for implementing the image texture improving method of any one of claims 1 to 11 with a computing processor.
KR1020110054643A 2010-07-13 2011-06-07 Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis KR101797673B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/181,824 US8953896B2 (en) 2010-07-13 2011-07-13 Method and apparatus for enhancing image quality using spatial modulation per band

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US36377910P 2010-07-13 2010-07-13
US61/363,779 2010-07-13

Publications (2)

Publication Number Publication Date
KR20120006926A true KR20120006926A (en) 2012-01-19
KR101797673B1 KR101797673B1 (en) 2017-12-13

Family

ID=45612478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110054643A KR101797673B1 (en) 2010-07-13 2011-06-07 Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis

Country Status (1)

Country Link
KR (1) KR101797673B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133699A (en) * 2015-05-13 2016-11-23 삼성전자주식회사 Image signal providing apparatus and image signal providing method
US9861333B2 (en) 2014-06-20 2018-01-09 Samsung Electronics Co., Ltd. X-ray imaging apparatus and control method for the same
US9886883B2 (en) 2015-06-26 2018-02-06 Samsung Display Co., Ltd. Display apparatus and a method of operating the same
EP3448023A4 (en) * 2016-04-22 2019-02-27 Sony Corporation Encoding device and encoding method, and decoding device and decoding method
KR20220017445A (en) * 2020-08-04 2022-02-11 주식회사 스마트비전글로벌 Composite image generation method, apparatus performing the same, and computer program for executing the same
KR20220047678A (en) * 2017-11-15 2022-04-18 다탕 모바일 커뮤니케이션즈 이큅먼트 코포레이션 리미티드 Synchronization method and apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230073871A (en) * 2021-11-19 2023-05-26 삼성전자주식회사 Image processing apparatus and operating method for the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307868A (en) * 1999-04-23 2000-11-02 Fuji Photo Film Co Ltd Method and device for image processing
JP4139760B2 (en) * 2003-10-10 2008-08-27 富士フイルム株式会社 Image processing method and apparatus, and image processing program
JP4941219B2 (en) * 2007-10-09 2012-05-30 ソニー株式会社 Noise suppression device, noise suppression method, noise suppression program, and imaging device
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8300980B2 (en) * 2008-03-18 2012-10-30 Sony Corporation System, method and computer program product for providing a high resolution texture within an image

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9861333B2 (en) 2014-06-20 2018-01-09 Samsung Electronics Co., Ltd. X-ray imaging apparatus and control method for the same
KR20160133699A (en) * 2015-05-13 2016-11-23 삼성전자주식회사 Image signal providing apparatus and image signal providing method
US9886883B2 (en) 2015-06-26 2018-02-06 Samsung Display Co., Ltd. Display apparatus and a method of operating the same
EP3448023A4 (en) * 2016-04-22 2019-02-27 Sony Corporation Encoding device and encoding method, and decoding device and decoding method
US10715804B2 (en) 2016-04-22 2020-07-14 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
US11259018B2 (en) 2016-04-22 2022-02-22 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
KR20220047678A (en) * 2017-11-15 2022-04-18 다탕 모바일 커뮤니케이션즈 이큅먼트 코포레이션 리미티드 Synchronization method and apparatus
KR20220017445A (en) * 2020-08-04 2022-02-11 주식회사 스마트비전글로벌 Composite image generation method, apparatus performing the same, and computer program for executing the same
KR20220017269A (en) * 2020-08-04 2022-02-11 주식회사 스마트비전글로벌 Composite image generation method, apparatus performing the same, and computer program for executing the same

Also Published As

Publication number Publication date
KR101797673B1 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
KR20120006926A (en) Method and apparatus for image quality enhancement using spatial modulation on a per-bandbasis
WO2009093673A1 (en) Apparatus, method and program for image processing
US20090245679A1 (en) Image processing apparatus
JP5132198B2 (en) Image processing apparatus, image processing method, and program
US8189947B2 (en) Image edge correction apparatus and method
US9922404B2 (en) Inpainting device and method using segmentation of reference region
KR20090091207A (en) Apparatus and methods for boosting dynamic range in digital images
US8571355B2 (en) Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
JPWO2015064672A1 (en) Image quality improvement device, image display device, image quality improvement method, and computer program
JP2019518359A (en) Low cost color extension module to extend image colors
US8953896B2 (en) Method and apparatus for enhancing image quality using spatial modulation per band
JP4847531B2 (en) Image processing apparatus, image processing program, and image processing method
KR20120138476A (en) Method and apparatus for generating superresolution image using prediction and stabilization of high-frequency information of image
US20150213581A1 (en) Method and apparatus for image quality enhancement using phase modulation of high frequency elements
US10929959B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP4658875B2 (en) Image processing device
KR101675117B1 (en) Method and apparatus for reconstructing high-resolution image by using multi-layer low-resolution image
KR102567490B1 (en) Method and apparatus for processing image and computer program product thereof
Kim et al. Content-aware image and video resizing based on frequency domain analysis
US9843703B2 (en) Image processing apparatus and method of controlling the same
JP2014006614A (en) Image processing device, image processing method, and program
JP5919086B2 (en) Image processing apparatus, control method therefor, and program
JP2016080950A (en) Image processing device, method for controlling the same, image display device, and computer program
JP6242196B2 (en) Image processing apparatus, image processing apparatus control method, and program
JP4098344B2 (en) Image processing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant