KR20220028891A - Electronic apparatus and the method thereof - Google Patents

Electronic apparatus and the method thereof Download PDF

Info

Publication number
KR20220028891A
KR20220028891A KR1020200110514A KR20200110514A KR20220028891A KR 20220028891 A KR20220028891 A KR 20220028891A KR 1020200110514 A KR1020200110514 A KR 1020200110514A KR 20200110514 A KR20200110514 A KR 20200110514A KR 20220028891 A KR20220028891 A KR 20220028891A
Authority
KR
South Korea
Prior art keywords
signal
frequency
image
electronic device
frequency component
Prior art date
Application number
KR1020200110514A
Other languages
Korean (ko)
Inventor
임형준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200110514A priority Critical patent/KR20220028891A/en
Priority to PCT/KR2021/008093 priority patent/WO2022045556A1/en
Publication of KR20220028891A publication Critical patent/KR20220028891A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/003
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

An object of the present invention is to provide an electronic device that provides better image quality when resolution of an image is changed, and a method for controlling the same. According to one embodiment of the present invention, an electronic device obtains a second signal by performing frequency filtering to pass a frequency component below a cutoff frequency defined on basis of the image quality degradation caused by sampling to a first signal, in order to perform sampling so that resolution of the image is changed. The electronic device may comprises a processer that performs sharpness enhancement processing for amplifying a frequency component of the second signal based on processing intensity identified corresponding to the magnitude of a frequency component above the cut-off frequency remaining in the second signal.

Description

전자장치 및 그 제어방법{ELECTRONIC APPARATUS AND THE METHOD THEREOF}Electronic device and its control method

본 개시는 영상의 해상도를 변경하는 전자장치 및 그 제어방법에 관한 것이다.The present disclosure relates to an electronic device for changing the resolution of an image and a method for controlling the same.

입력된 영상신호의 해상도를 원하는 해상도로 축소하는 경우, 영상 축소 과정에서 앨리어싱(Aliasing)이 발생할 수 있다. 앨리어싱은 영상을 축소하는 경우 발생하는 영상의 왜곡으로서, 해상도 축소에 의해 픽셀 수가 줄어들면서 입력 영상의 고주파성분이 저주파성분에 중첩되어 발생한다.When the resolution of the input image signal is reduced to a desired resolution, aliasing may occur in the image reduction process. Aliasing is image distortion that occurs when an image is reduced. As the number of pixels is reduced due to resolution reduction, a high-frequency component of an input image is overlapped with a low-frequency component.

앨리어싱을 해결하기 위한 방법 중 하나로, 예컨대, 저주파 통과 필터(LPF; Low Pass Filter)를 이용한 안티-앨리어싱(anti-aliasing)이 있다. 다만, LPF를 이용하여 저주파 성분을 필터링하는 경우, 필터의 크기(샘플 수)가 커짐에 따라 여러 픽셀데이터를 동시에 참조해야 때문에 메모리와 연산 로직을 필요로 하게 된다. 따라서, 필터의 크기가 커짐에 따라 메모리와 로직이 증가하므로 필터 크기를 일정 수준 이하로 제한할 수밖에 없는데, 이 경우 필터의 성능이 감소하게 된다. 즉, 제한된 필터 크기의 LPF를 사용하는 경우, 영상의 고주파성분을 충분히 제거할 수 없기 때문에 축소된 영상에서 앨리어싱이 발생하게 된다. 이렇게 축소된 영상에 대해서, 약한 고주파성분을 강화하는 선명도 강화(Detail Enhancement) 처리를 하게 되면, 앨리어싱이 선명도 강화 처리에 의해 증폭되는 문제점이 존재한다. As one of the methods for solving the aliasing, for example, there is anti-aliasing using a low pass filter (LPF). However, in the case of filtering the low-frequency component using the LPF, as the size (number of samples) of the filter increases, multiple pixel data must be simultaneously referenced, so memory and operation logic are required. Accordingly, as the size of the filter increases, memory and logic increase, and thus the size of the filter must be limited to a certain level or less. In this case, the performance of the filter decreases. That is, when an LPF having a limited filter size is used, aliasing occurs in the reduced image because high-frequency components of the image cannot be sufficiently removed. When a detail enhancement process for reinforcing a weak high-frequency component is performed on the reduced image, there is a problem in that aliasing is amplified by the sharpness enhancement process.

본 개시의 목적은 영상의 해상도를 변경하는 경우, 보다 나은 영상 화질을 제공하는 전자장치 및 그 제어방법을 제공하는 것이다.It is an object of the present disclosure to provide an electronic device that provides better image quality when the resolution of an image is changed, and a method for controlling the same.

본 발명의 일 실시예에 따른 전자장치에 있어서, 영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고, 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 프로세서를 포함할 수 있다.In the electronic device according to an embodiment of the present invention, in order to perform sampling to change the resolution of an image, frequency filtering for passing a frequency component equal to or less than a cut-off frequency defined based on the degradation of image quality due to the sampling to the first signal to obtain a second signal, and based on the processing intensity identified corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, a sharpness improvement process of amplifying the frequency component of the second signal It may include a processor that executes.

상기 프로세서는, 상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다.The processor may identify a magnitude of a frequency component equal to or greater than the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.

상기 프로세서는, 상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하고, 상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다.The processor performs full-band frequency filtering on the first signal to obtain a third signal, and a difference between the second signal and the third signal is used to determine the magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal can be identified.

상기 프로세서는, 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별할 수 있다.The processor may identify the processing intensity as the low processing intensity when a magnitude of a frequency component equal to or greater than the cut-off frequency remaining in the second signal is large.

상기 프로세서는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고, 상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행할 수 있다.The processor obtains a fourth signal by performing frequency filtering to pass a frequency component of a first frequency lower than a first frequency lower than the cut-off frequency in the first signal to obtain a fourth signal, and the second signal and the fourth signal in the second signal The sharpness improvement process may be performed by adding the signals obtained through the difference between them.

상기 프로세서는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고, 상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하고, 상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행할 수 있다.The processor obtains a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency, and a second frequency lower than the first frequency in the first signal A fifth signal is obtained by performing frequency filtering to pass the following frequency components, and the sharpness improvement processing is performed by adding a signal obtained through a difference between the fourth signal and the fifth signal to the second signal. can

본 발명의 일 실시예에 따른 전자장치에 있어서, 디스플레이를 더 포함하고, 상기 프로세서는, 상기 선명도 향상 처리가 수행된 영상을 상기 디스플레이에 표시할 수 있다.The electronic device according to an embodiment of the present invention may further include a display, wherein the processor may display the image on which the sharpness improvement process is performed on the display.

상기 프로세서는, 상기 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행할 수 있다.The processor may divide the image into a plurality of regions, and perform the sharpness improvement process for each of the plurality of divided regions.

본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.In the method of controlling an electronic device according to an embodiment of the present invention, in order to perform sampling so as to change the resolution of an image, a frequency component less than a cutoff frequency defined on the basis of the image quality deterioration due to the sampling is passed to the first signal. performing frequency filtering to obtain a second signal; and performing sharpness improvement processing for amplifying the frequency component of the second signal based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal.

상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함할 수 있다.The step of performing the sharpness improvement process may include identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.

상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하는 단계; 및 상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함할 수 있다.The step of performing the sharpness enhancement process may include: obtaining a third signal by performing full-band frequency filtering on the first signal; and identifying the magnitude of a frequency component equal to or greater than the cut-off frequency remaining in the second signal through a difference between the second signal and the third signal.

상기 선명도 향상 처리를 수행하는 단계는, 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별하는 단계를 포함할 수 있다.The performing of the sharpness improvement processing may include identifying the processing intensity as being low in the processing intensity when the magnitude of the frequency component above the cut-off frequency remaining in the second signal is large.

상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계; 및 상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.The step of performing the sharpness improvement process may include: obtaining a fourth signal by performing frequency filtering in the first signal to pass a frequency component having a frequency lower than a first frequency lower than the cut-off frequency; and performing the sharpness improvement process by adding a signal obtained through a difference between the second signal and the fourth signal to the second signal.

상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계; 상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하는 단계; 및 상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.The step of performing the sharpness improvement process may include: obtaining a fourth signal by performing frequency filtering in the first signal to pass a frequency component having a frequency lower than a first frequency lower than the cut-off frequency; obtaining a fifth signal by performing frequency filtering in the first signal to pass frequency components less than a second frequency lower than the first frequency; and performing the sharpness improvement process by adding a signal obtained through a difference between the fourth signal and the fifth signal to the second signal.

본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 상기 선명도 향상 처리가 수행된 영상을 디스플레이에 표시하는 단계를 더 포함할 수 있다.In the method of controlling an electronic device according to an embodiment of the present invention, the method may further include displaying the image on which the sharpness improvement process has been performed on a display.

상기 선명도 향상 처리를 수행하는 단계는, 상기 영상을 복수의 영역으로 분할하는 단계; 및 상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.The step of performing the sharpness enhancement process may include: dividing the image into a plurality of regions; and performing the sharpness enhancement process for each of the plurality of divided regions.

컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은, 영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.In the recording medium storing a computer program that is a computer-readable code and includes a code for performing a control method of an electronic device, the control method of the electronic device includes a first method to perform sampling so as to change the resolution of an image. obtaining a second signal by performing frequency filtering to pass a frequency component below a cut-off frequency defined on the basis of the degradation of the image quality due to the sampling; and performing sharpness improvement processing for amplifying the frequency component of the second signal based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal.

본 발명의 일 실시예에 따르면, 영상의 해상도를 변경하는 경우, 앨리어싱을 발생시키지 않고 선명도를 향상시킬 수 있다. 또한, 앨리어싱이 발생된 혹은 잔존하는 영역을 검출하고, 영역 별로 선명도 향상의 처리 강도를 서로 다르게 조절함으로써 보다 고품질의 영상을 출력할 수 있다.According to an embodiment of the present invention, when the resolution of an image is changed, sharpness may be improved without aliasing. In addition, a higher quality image may be output by detecting a region in which aliasing has occurred or remaining, and adjusting the intensity of sharpness enhancement processing differently for each region.

도 1은 본 발명의 관련기술을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 12는 출력된 영상들을 도시한 도면이다.
도 13은 외부장치로부터 해상도가 변경된 영상을 수신하는 전자장치를 도시한 도면이다.
1 is a view showing the related art of the present invention.
2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present invention.
3 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
4 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
5 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
6 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
7 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
8 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
9 is a diagram illustrating an operation of an electronic device according to another embodiment of the present invention.
10 is a diagram illustrating an operation of an electronic device according to another embodiment of the present invention.
11 is a diagram illustrating an operation of an electronic device according to another embodiment of the present invention.
12 is a diagram illustrating output images.
13 is a diagram illustrating an electronic device that receives an image whose resolution is changed from an external device.

이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numbers or symbols refer to components that perform substantially the same functions, and the size of each component in the drawings may be exaggerated for clarity and convenience of description. However, the technical spirit of the present invention and its core configuration and operation are not limited to the configuration or operation described in the following embodiments. In describing the present invention, if it is determined that a detailed description of a known technology or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.In an embodiment of the present invention, terms including an ordinal number such as first, second, etc. are used only for the purpose of distinguishing one element from another element, and the expression of the singular is plural, unless the context clearly dictates otherwise. includes the expression of In addition, in an embodiment of the present invention, terms such as 'consisting', 'comprising', 'having' and the like are one or more other features or numbers, steps, operations, components, parts, or the presence of combinations thereof. Or it should be understood that the possibility of addition is not precluded in advance. In addition, in an embodiment of the present invention, a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software, and is integrated into at least one module. and can be implemented. Further, in an embodiment of the present invention, at least one of the plurality of elements refers not only to all of the plurality of elements, but also each one or a combination thereof excluding the rest of the plurality of elements.

도 1은 본 발명의 관련기술을 도시한 도면이다.1 is a view showing the related art of the present invention.

도 1은 영상(10)과 영상(10)의 해상도를 변경한 영상(20, 30)을 도시하고 있다. 영상의 해상도를 변경하기 위한 방법 중 하나로, 예컨대, 입력 영상의 해상도와 출력 영상의 해상도의 비율에 따라 출력 픽셀들의 위치를 계산하고 변환할 수 있다.픽셀들의 위치만 변환한 영상(20)의 경우, 앞서 설명한 바와 같이 픽셀 수가 줄어들면서 영상(10)의 고주파성분이 저주파성분에 중첩된다. 이로 인해 영상의 왜곡이 그대로 드러나는 앨리어싱이 발생할 수 있다. 입력 영상(10)에는 없지만 출력 영상(20, 30)에서 나타나는 대각선 방향의 물결 무늬가 바로 앨리어싱이다. 앨리어싱은 영상에 있는 고주파 특성, 예컨대, 미세한 부분의 형태나 영상의 축소 비율 등에 따라 그 모습이 다르게 나타날 수 있다. 영상이 디테일하거나, 영상을 보다 작게 축소할수록 앨리어싱은 더욱 더 심해진다.1 shows an image 10 and images 20 and 30 in which the resolution of the image 10 is changed. As one of the methods for changing the resolution of the image, for example, the positions of the output pixels may be calculated and converted according to a ratio of the resolution of the input image to the resolution of the output image. In the case of the image 20 in which only the positions of the pixels are converted , as described above, as the number of pixels is reduced, the high-frequency component of the image 10 is superimposed on the low-frequency component. Due to this, aliasing in which image distortion is revealed as it is may occur. A wave pattern in the diagonal direction that is not present in the input image 10 but appears in the output images 20 and 30 is aliasing. Aliasing may appear differently depending on high-frequency characteristics of an image, for example, a shape of a minute part or a reduction ratio of an image. The more detail the image is, or the smaller the image is scaled down, the more severe the aliasing becomes.

앨리어싱과 같은 현상은 주로 고주파 성분에 의해 발생한다는 것에 기초하여, 차단주파수(fc, cut-off frequency, 혹은 통과주파수)이상의 고주파 성분을 제거하는(동일한 의미로, 차단주파수(fc) 이하의 저주파 성분을 통과시키는) 저주파 통과 필터(LPF)를 이용한 샘플링을 수행할 수 있다. Based on the fact that a phenomenon such as aliasing is mainly caused by high-frequency components, it removes high-frequency components above the cut-off frequency (fc, cut-off frequency, or pass frequency) (same meaning, low-frequency components below the cut-off frequency (fc)) Sampling using a low-pass filter (LPF) can be performed.

다만, LPF만을 이용하는 경우, 영상을 선명하게 하는 고주파 성분이 모두 제거되므로 영상이 흐릿하게 보일 수 있다. 따라서, 영상이 흐릿하게 보이는 것을 방지하기 위해 선명도 향상 처리(DE, Detail Enhancement)를 할 수 있다. However, when only the LPF is used, since all of the high-frequency components that sharpen the image are removed, the image may appear blurry. Accordingly, detail enhancement (DE) may be performed to prevent the image from appearing blurry.

그러나, 샘플링과 선명도 향상 처리 과정을 단순히 순차적으로 진행하는 경우 앨리어싱을 제거함에 있어서 효과적이지 못하다. 예컨대, 영상(10)의 해상도를 변경하여 영상(30)을 출력함에 있어서, 선명도 향상 처리를 먼저 수행하는 경우, 영상(10)에서 존재하던 고주파 성분을 증폭시켜 샘플링 시 앨리어싱이 과도하게 발생하므로, LPF를 이용하여 고주파 성분을 제거하여도 앨리어싱이 여전히 남아있을 수 있다. 선명도 향상 처리를 나중에 수행하는 경우, LPF를 이용하여 제거한 고주파 성분을(실제 LPF는 고주파 성분은 완전히 제거하지 못한다.) 증폭시키므로 앨리어싱이 다시 발생할 수 있다.However, when sampling and sharpness enhancement processing are simply sequentially performed, it is not effective in removing aliasing. For example, in the case of outputting the image 30 by changing the resolution of the image 10, when the sharpness improvement process is first performed, the high-frequency component existing in the image 10 is amplified to cause excessive aliasing during sampling, Even if the high-frequency component is removed using LPF, aliasing may still remain. If the sharpness improvement process is performed later, aliasing may occur again because high-frequency components removed using the LPF are amplified (actual LPF cannot completely remove the high-frequency components).

따라서, 이하의 실시예들에서는 이와 같은 문제점을 해결하기 위한 방안을 제시하도록 한다. Accordingly, in the following embodiments, a method for solving such a problem will be presented.

도 1에서 영상(20)보다 영상(30)에 앨리어싱이 적게 발생한 것으로 도시되었으나, 경우에 따라 영상(30)에 앨리어싱이 더 많이 발생할 수 있다. Although it is illustrated in FIG. 1 that less aliasing occurs in the image 30 than in the image 20 , more aliasing may occur in the image 30 in some cases.

도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 전자장치(100)는 인터페이스부(110)를 포함할 수 있다. 인터페이스부(110)는 유선 인터페이스부(111)를 포함할 수 있다. 유선 인터페이스부(111)는 지상파/위성방송 등 방송표준에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송표준에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(100)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부(111)는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 USB 포트 등과 같은 범용 데이터 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 광 전송표준에 따라 광케이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 외부 마이크로폰 또는 마이크로폰을 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 이더넷 등과 같은 네트워크 전송표준에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(111)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.As shown in FIG. 2 , the electronic device 100 may include an interface unit 110 . The interface unit 110 may include a wired interface unit 111 . The wired interface unit 111 includes a connector or port to which an antenna capable of receiving a broadcast signal according to a broadcasting standard such as terrestrial/satellite broadcasting can be connected, or a cable capable of receiving a broadcast signal according to a cable broadcasting standard can be connected. do. As another example, the electronic device 100 may have a built-in antenna capable of receiving a broadcast signal. Wired interface unit 111 is HDMI port, DisplayPort, DVI port, Thunderbolt, composite (composite) video, component (component) video, super video (super video), such as SCART, video and / or audio transmission standard according to It may include a connector or a port, and the like. The wired interface unit 111 may include a connector or port according to a universal data transmission standard such as a USB port. The wired interface unit 111 may include a connector or a port to which an optical cable can be connected according to an optical transmission standard. The wired interface unit 111 is connected to an external microphone or an external audio device having a microphone, and may include a connector or a port capable of receiving or inputting an audio signal from the audio device. The wired interface unit 111 is connected to an audio device such as a headset, earphone, or external speaker, and may include a connector or port capable of transmitting or outputting an audio signal to the audio device. The wired interface unit 111 may include a connector or port according to a network transmission standard such as Ethernet. For example, the wired interface unit 111 may be implemented as a LAN card connected to a router or a gateway by wire.

유선 인터페이스부(111)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(111)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다. The wired interface unit 111 is wired through the connector or port in a 1:1 or 1:N (N is a natural number) method with an external device such as a set-top box, an optical media player, or an external display device, speaker, server, etc. By being connected, a video/audio signal is received from the corresponding external device or a video/audio signal is transmitted to the corresponding external device. The wired interface unit 111 may include a connector or port for separately transmitting video/audio signals.

그리고, 본 실시예에 따르면 유선 인터페이스부(111)는 전자장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 전자장치(100)의 커넥터에 착탈될 수도 있다. Also, according to the present embodiment, the wired interface unit 111 is embedded in the electronic device 100 , but may be implemented in the form of a dongle or a module to be detachably attached to the connector of the electronic device 100 .

인터페이스부(110)는 무선 인터페이스부(112)를 포함할 수 있다. 무선 인터페이스부(112)는 전자장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(112)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다. 무선 인터페이스부(112)는 와이파이(Wi-Fi) 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현될 수 있다. 무선 인터페이스부(112)는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다. 무선 인터페이스부(112)는 적외선 통신표준에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 무선 인터페이스부(112)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 전자장치(100)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(112)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.The interface unit 110 may include a wireless interface unit 112 . The wireless interface unit 112 may be implemented in various ways corresponding to the implementation form of the electronic device 100 . For example, the wireless interface unit 112 is a communication method RF (radio frequency), Zigbee (Zigbee), Bluetooth (bluetooth), Wi-Fi (Wi-Fi), UWB (Ultra WideBand) and NFC (Near Field Communication), etc. Wireless communication can be used. The wireless interface unit 112 may be implemented as a wireless communication module that performs wireless communication with an AP according to a Wi-Fi method, or a wireless communication module that performs one-to-one direct wireless communication such as Bluetooth. The wireless interface unit 112 may transmit and receive data packets to and from the server by wirelessly communicating with the server on the network. The wireless interface unit 112 may include an IR transmitter and/or an IR receiver capable of transmitting and/or receiving an IR (Infrared) signal according to an infrared communication standard. The wireless interface unit 112 may receive or input a remote control signal from a remote control or other external device through an IR transmitter and/or an IR receiver, or transmit or output a remote control signal to another external device. As another example, the electronic device 100 may transmit/receive a remote control signal to and from the remote control or other external device through the wireless interface unit 112 of another method such as Wi-Fi or Bluetooth.

전자장치(100)는 인터페이스부(110)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다.When the video/audio signal received through the interface unit 110 is a broadcast signal, the electronic device 100 may further include a tuner for tuning the received broadcast signal for each channel.

전자장치(100)가 디스플레이 장치로 구현되는 경우, 디스플레이부(120)를 포함할 수 있다. 디스플레이부(120)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(120)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(120)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.When the electronic device 100 is implemented as a display device, the display unit 120 may be included. The display unit 120 includes a display panel capable of displaying an image on the screen. The display panel is provided with a light-receiving structure such as a liquid crystal type or a self-luminous structure such as an OLED type. The display unit 120 may further include additional components according to the structure of the display panel. For example, if the display panel is a liquid crystal type, the display unit 120 includes a liquid crystal display panel and a backlight unit for supplying light. and a panel driving substrate for driving the liquid crystal of the liquid crystal display panel.

전자장치(100)는 사용자입력부(130)를 포함할 수 있다. 사용자입력부(130)는 사용자의 입력을 수행하기 위해 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(130)는 전자장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예컨대, 전자장치(100)의 기계적 또는 전자적 버튼부, 전자장치(100)와 분리된 리모트 컨트롤러, 전자장치(100)와 연결된 외부기기에서의 입력부, 터치패드, 디스플레이부(120)에 설치된 터치스크린 등이 있다.The electronic device 100 may include a user input unit 130 . The user input unit 130 includes various types of input interface related circuits for performing user input. The user input unit 130 may be configured in various forms depending on the type of the electronic device 100 , for example, a mechanical or electronic button unit of the electronic device 100 , a remote controller separated from the electronic device 100 , and an electronic device. There is an input unit in an external device connected to the device 100 , a touch pad, and a touch screen installed on the display unit 120 .

전자장치(100)는 저장부(140)를 포함할 수 있다. 저장부(140)는 디지털화된 데이터를 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(180)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.The electronic device 100 may include a storage unit 140 . The storage unit 140 stores digitized data. The storage unit 140 has a non-volatile property that can preserve data regardless of whether or not power is provided, and data to be processed by the processor 180 is loaded and data is stored when power is not provided. This includes memory with volatile properties that cannot be used. Storage includes flash-memory, hard-disc drive (HDD), solid-state drive (SSD), read-only memory (ROM), etc., and memory includes buffer and random access memory (RAM). etc.

전자장치(100)는 마이크로폰(150)을 포함할 수 있다. 마이크로폰(150)은 사용자 음성을 비롯한 외부 환경의 소리를 수집한다. 마이크로폰(150)은 수집된 소리의 신호를 프로세서(180)에 전달한다. 전자장치(100)는 사용자 음성을 수집하는 마이크로폰(150)을 구비하거나, 또는 인터페이스부(110)를 통해 마이크로폰을 가진 리모트 컨트롤러, 스마트폰 등의 외부장치로부터 음성신호를 수신할 수 있다. 외부장치에 리모트 컨트롤러 어플리케이션을 설치하여 전자장치(100)를 제어하거나 음성 인식 등의 기능을 수행할 수도 있다. 이와 같은 어플리케이션이 설치된 외부장치의 경우, 사용자 음성을 수신할 수 있으며, 외부장치는 전자장치(100)와 Wi-Fi/BT 또는 적외선 등을 이용하여 데이터 송수신 및 제어가 가능한 바, 상기 통신 방식을 구현할 수 있는 복수의 인터페이스부(110)가 전자장치(100) 내에 존재할 수 있다.The electronic device 100 may include a microphone 150 . The microphone 150 collects sounds of the external environment including the user's voice. The microphone 150 transmits the collected sound signal to the processor 180 . The electronic device 100 may include a microphone 150 for collecting user voices or may receive a voice signal from an external device such as a remote controller or a smart phone having a microphone through the interface unit 110 . A remote controller application may be installed in an external device to control the electronic device 100 or perform functions such as voice recognition. In the case of an external device installed with such an application, a user's voice can be received, and the external device can transmit/receive and control data using the electronic device 100 and Wi-Fi/BT or infrared rays, etc. A plurality of interface units 110 that can be implemented may exist in the electronic device 100 .

전자장치(100)는 스피커(160)를 포함할 수 있다. 스피커(160)는 프로세서(180)에 의해 처리되는 오디오 데이터를 소리로 출력한다. 스피커(160)는 어느 한 오디오 채널의 오디오 데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오 채널의 오디오 데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다. 다른 실시예로서, 스피커(160)는 전자장치(100)와 분리되어 마련될 수 있으며, 이 경우 전자장치(100)는 오디오 데이터를 인터페이스부(110)를 통하여 스피커(160)로 전달할 수 있다.The electronic device 100 may include a speaker 160 . The speaker 160 outputs audio data processed by the processor 180 as sound. The speaker 160 may include a unit speaker provided to correspond to audio data of one audio channel, and may include a plurality of unit speakers to respectively correspond to audio data of a plurality of audio channels. As another embodiment, the speaker 160 may be provided separately from the electronic device 100 . In this case, the electronic device 100 may transmit audio data to the speaker 160 through the interface unit 110 .

전자장치(100)는 센서(170)를 포함할 수 있다. 센서(170)는, 전자장치(100)의 상태 또는 전자장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(180)로 전달할 수 있다. 센서(170)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다. The electronic device 100 may include a sensor 170 . The sensor 170 may detect a state of the electronic device 100 or a state around the electronic device 100 , and transmit the sensed information to the processor 180 . The sensor 170 includes a geomagnetic sensor, an acceleration sensor, a temperature/humidity sensor, an infrared sensor, a gyroscope sensor, a position sensor (eg, GPS), a barometric pressure sensor, a proximity sensor, and an RGB sensor ( illuminance sensor), but is not limited thereto. Since a function of each sensor can be intuitively inferred from the name of a person skilled in the art, a detailed description thereof will be omitted.

전자장치(100)는 프로세서(180)를 포함할 수 있다. 프로세서(180)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(180)는 전자장치(100)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.The electronic device 100 may include a processor 180 . The processor 180 includes one or more hardware processors implemented with a CPU, a chipset, a buffer, a circuit, etc. mounted on a printed circuit board, and may be implemented as a system on chip (SOC) depending on a design method. When the electronic device 100 is implemented as a display device, the processor 180 includes modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio digital signal processor (DSP), and an amplifier. Here, some or all of these modules may be implemented as SOC. For example, a module related to image processing such as a demultiplexer, a decoder, and a scaler may be implemented as an image processing SOC, and an audio DSP may be implemented as a chipset separate from the SOC.

프로세서(180)는 마이크로폰(150) 등에 의해 사용자 음성에 대한 음성신호를 획득하면, 음성신호를 음성데이터로 변환할 수 있다. 이 때, 음성데이터는 음성신호를 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정을 통해 얻어진 텍스트 데이터일 수 있다. 프로세서(180)는 음성데이터가 나타내는 커맨드를 식별하고, 식별된 커맨드에 따라서 동작을 수행한다. 음성데이터 처리 과정과, 커맨드 식별 및 수행 과정은, 전자장치(100)에서 모두 실행될 수도 있다. 그러나, 이 경우에 전자장치(100)에 필요한 시스템 부하 및 소요 저장용량이 상대적으로 커지게 되므로, 적어도 일부의 과정은 네트워크를 통해 전자장치(100)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행될 수 있다.When a voice signal for the user's voice is obtained by the microphone 150 or the like, the processor 180 may convert the voice signal into voice data. In this case, the voice data may be text data obtained through a speech-to-text (STT) process for converting a voice signal into text data. The processor 180 identifies a command indicated by the voice data and performs an operation according to the identified command. The voice data processing process and the command identification and execution process may all be executed in the electronic device 100 . However, in this case, since the system load and required storage capacity required for the electronic device 100 are relatively large, at least a part of the process is performed by at least one server communicatively connected to the electronic device 100 through a network. can be performed.

본 발명에 따른 프로세서(180)는 전자장치(100)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 소프트웨어의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 전자장치(100)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.The processor 180 according to the present invention may call at least one command among commands of software stored in a storage medium readable by a machine such as the electronic device 100 and execute it. This enables a device such as the electronic device 100 to be operated to perform at least one function according to the called at least one command. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term refers to cases in which data is semi-permanently stored in a storage medium and temporary storage. It does not distinguish between cases where

한편, 프로세서(180)는 영상의 해상도가 변경되도록 제1신호에 샘플링을 수행하기 위하여 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고, 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.On the other hand, the processor 180 performs frequency filtering to pass frequency components below the cutoff frequency defined based on the degradation of image quality due to the sampling in order to perform sampling on the first signal so that the resolution of the image is changed to change the second signal. Data analysis, processing, and At least a portion of the result information generation may be performed using at least one of machine learning, a neural network, and a deep learning algorithm as a rule-based or artificial intelligence algorithm.

프로세서(180)는 영상의 해상도가 변경되도록 제1신호에 샘플링을 수행하기 위하여, 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고, 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하기 위한 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.In order to perform sampling on the first signal so that the resolution of the image is changed, the processor 180 performs frequency filtering to pass frequency components below a defined cutoff frequency based on the degradation of image quality due to sampling to obtain a second signal and, based on the identified processing intensity corresponding to the size of the frequency component above the cutoff frequency remaining in the second signal, a pre-processing process for performing sharpness improvement processing for amplifying the frequency component of the second signal is performed to perform the artificial intelligence model It can be converted into a form suitable for use as an input of AI models can be created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. The artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.

추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다Inference prediction is a technology for logically reasoning and predicting by judging information. It is a technology that uses knowledge based reasoning, optimization prediction, preference-based planning, and recommendation includes

일 예로, 프로세서(180)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 저장부(140) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.For example, the processor 180 may perform the functions of the learning unit and the recognition unit together. The learning unit may perform a function of generating a learned neural network, and the recognition unit may perform a function of recognizing (or inferring, predicting, estimating, determining) data using the learned neural network. The learning unit may create or update the neural network. The learning unit may acquire learning data to generate a neural network. For example, the learning unit may acquire the learning data from the storage unit 140 or the outside. The training data may be data used for learning of the neural network, and the neural network may be trained by using the data obtained by performing the above-described operation as learning data.

학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.The learning unit may perform a preprocessing operation on the acquired training data before training the neural network using the training data, or may select data to be used for learning from among a plurality of training data. For example, the learning unit may process the learning data into a preset format, filter it, or add/remove noise to process the learning data into a form suitable for learning. The learner may generate a neural network set to perform the above-described operation by using the preprocessed learning data.

학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.The learned neural network network may be composed of a plurality of neural network networks (or layers). The nodes of the plurality of neural networks have weights, and the plurality of neural networks may be connected to each other so that an output value of one neural network is used as an input value of another neural network. Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and It can include models such as Deep Q-Networks.

한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 저장부(140) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.Meanwhile, the recognizer may acquire target data to perform the above-described operation. The target data may be acquired from the storage 140 or from the outside. The target data may be data to be recognized by the neural network. The recognizer may perform a preprocessing operation on the acquired target data before applying the target data to the learned neural network, or select data to be used for recognition from among a plurality of target data. For example, the recognition unit may process the target data into a preset format, filter it, or add/remove noise to process the target data into a form suitable for recognition. The recognizer may obtain an output value output from the neural network by applying the preprocessed target data to the neural network. The recognition unit may obtain a probability value or a reliability value together with the output value.

일 예로, 본 발명에 따른 전자장치(100)의 제어방법은 컴퓨터 프로그램 제품 (Computer Program Product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은, 앞서 설명한, 프로세서(180)에 의해 실행되는 소프트웨어의 명령어들을 포함할 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다. For example, the method for controlling the electronic device 100 according to the present invention may be provided by being included in a computer program product. The computer program product may include instructions for software executed by the processor 180 , as described above. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg, CD-ROM), or via an application store (eg, Play Store™) or between two user devices (eg, smartphones). It can be distributed directly, online (eg, downloaded or uploaded). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.

도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.3 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, 프로세서(180)는 제1신호에 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득할 수 있다(S310). 제1신호는 해상도가 변경되기 전의 원본 영상의 신호로써, 입력 영상의 신호일 수 있다. 또한, 이하 영상신호들은 경우에 따라 공간 영역(image domain) 혹은 주파수 영역(frequency domain)의 신호를 의미할 수 있다. 샘플링에 관한 보다 자세한 사항은 도 4 및 도 5에서 서술한다.According to an embodiment of the present invention, the processor 180 may obtain the second signal by performing frequency filtering of passing a frequency component equal to or less than a cut-off frequency defined on the basis of image quality degradation due to sampling to the first signal. (S310). The first signal is a signal of the original image before the resolution is changed, and may be a signal of the input image. In addition, the following image signals may refer to signals in an image domain or a frequency domain in some cases. More details on sampling will be described with reference to FIGS. 4 and 5 .

본 발명의 일 실시예에 따른 LPF의 차단주파수는 샘플링에 의한 화질 저하에 기초하여 정의된 것으로, 해상도를 축소하는 과정에서 발생한 앨리어싱을 줄이면서도, 영상의 선명함 정도를 유지할 수 있는 적정한 차단주파수를 의미할 수 있다.The cut-off frequency of the LPF according to an embodiment of the present invention is defined based on the deterioration of image quality due to sampling, and it means an appropriate cut-off frequency capable of maintaining the sharpness of the image while reducing the aliasing generated in the process of reducing the resolution. can do.

주파수 필터링을 수행하여 획득된 제2신호는 차단주파수 보다 높은 주파수성분이 제거된 상태라고 볼 수 있다. 다만, 실제 LPF는, 도 5나 도 6에 도시된 바와 같이, 차단주파수 이후의 주파수성분을 완전히 제거하지는 못하고 일부가 남아있을 수 있다. 그리고, LPF를 통해 앨리어싱이 일부 제거될 수 있으나, 고주파성분이 줄어들면서 영상의 선명도는 저하될 수 있다. The second signal obtained by performing the frequency filtering can be regarded as a state in which a frequency component higher than the cut-off frequency is removed. However, in the actual LPF, as shown in FIG. 5 or FIG. 6 , the frequency component after the cut-off frequency may not be completely removed and a part may remain. In addition, although aliasing may be partially removed through the LPF, the sharpness of an image may be deteriorated as a high frequency component is reduced.

프로세서(180)는 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행할 수 있다(S320).The processor 180 may perform sharpness improvement processing for amplifying the frequency component of the second signal based on the identified processing intensity corresponding to the magnitude of the frequency component greater than or equal to the cutoff frequency remaining in the second signal (S320).

선명도 향상 처리는 영상을 사용자에게 보다 선명한 화질로 제공하기 위해서 수행될 수 있다. 선명도 향상 처리 기술 중 하나로, 예컨대, 약한 고주파 신호를 증폭함으로써 물체의 경계를 뚜렷하게 하고 작은 디테일을 돋보이게 할 수 있다. 이 외에도 여러 영상들로부터 미리 학습된 필터를 사용하는 고주파를 생성하는 초해상도(super resolution) 기술 등이 있다.The sharpness improvement process may be performed to provide an image with a clearer image quality to the user. As one of the sharpness enhancement processing techniques, for example, by amplifying a weak high-frequency signal, it is possible to sharpen the boundary of an object and make small details stand out. In addition to this, there is a super resolution technology that generates a high frequency using a filter learned in advance from various images.

앞서 서술한 바와 같이, LPF를 이용하여 앨리어싱을 제거하고 난 뒤, 단순히 선명도 향상 처리를 수행하는 경우 제거된 앨리어싱이 다시 발생할 수 있다. As described above, when aliasing is removed using LPF and then sharpness enhancement processing is simply performed, the removed aliasing may occur again.

따라서, 본 발명의 일 실시예에 따르면, 프로세서(180)는 LPF를 이용하여 고주파 성분을 일부 제거하여 획득한 제2신호에서 잔존하는 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다. 식별된 주파수성분의 크기가 크다는 것은 앨리어싱이 많이 발생할 수 있다는 것을 의미한다. 따라서, 주파수성분의 크기를 식별하는 것은 앨리어싱의 양을 검출하는 것을 의미할 수도 있다. Accordingly, according to an embodiment of the present invention, the processor 180 may identify the magnitude of a frequency component greater than or equal to the cutoff frequency remaining in the second signal obtained by partially removing the high frequency component using the LPF. The large size of the identified frequency component means that a lot of aliasing may occur. Accordingly, identifying the magnitude of the frequency component may mean detecting the amount of aliasing.

프로세서(180)는 제1신호와 LPF를 통과한 제2신호 간의 차분을 통해 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다. The processor 180 may identify the magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal passing through the LPF.

프로세서(180)는 영상의 차단주파수 이상의 주파수성분의 크기에 대응하는 처리 강도를 식별할 수 있다. 본 발명의 일 실시예에 따르면, 처리 강도는 선명도 향상 처리를 어느 정도로 할 것인지 나타내는 수치이다. 예컨대, 처리 강도가 높다는 것은 선명도를 강하게 처리한다는 것을 의미하고, 즉, 차단주파수 이상의 주파수성분을 강하게 증폭시킨다는 의미이다. The processor 180 may identify a processing intensity corresponding to the magnitude of a frequency component equal to or greater than the cut-off frequency of the image. According to an embodiment of the present invention, the processing intensity is a numerical value indicating the degree to which the sharpness improvement processing is to be performed. For example, high processing intensity means that sharpness is processed strongly, that is, frequency components above the cut-off frequency are strongly amplified.

만약 신호에 잔존하는 차단주파수 이상의 주파수성분의 크기가 클 때, 처리 강도가 높으면, 신호의 고주파 성분이 증폭되어 앨리어싱이 다시 나타날 확률이 높다. If the magnitude of the frequency component above the cutoff frequency remaining in the signal is large and the processing intensity is high, the high frequency component of the signal is amplified and aliasing is highly likely to appear again.

프로세서(180)는 차단주파수 이상의 주파수성분의 크기와 처리 강도는 반비례의 관계를 가지도록 설정할 수 있다. 따라서, 프로세서(180)는 신호의 고주파성분의 크기에 대응하는 처리 강도를 식별하여, 선명도 향상 처리를 수행할 때 반영할 수 있다. 예컨대, 차단주파수 이상의 주파수성분의 크기가 크면, 처리 강도는 약하게 설정하거나, 선명도 처리를 하지 않을 수 있다. 반면에, 차단주파수 이상의 주파수성분의 크기가 작으면, 처리 강도를 비교적 강하게 하여 영상을 선명하게 할 수 있다.The processor 180 may set the magnitude of the frequency component above the cutoff frequency and the processing intensity to have an inverse relationship. Accordingly, the processor 180 may identify the processing intensity corresponding to the magnitude of the high-frequency component of the signal and reflect it when the sharpness improvement processing is performed. For example, if the magnitude of the frequency component equal to or greater than the cut-off frequency is large, the processing intensity may be set to be weak or the sharpness processing may not be performed. On the other hand, if the magnitude of the frequency component equal to or greater than the cutoff frequency is small, the image can be sharpened by relatively increasing the processing intensity.

본 발명의 일 실시예에 따르면 프로세서는, 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역별로 본 발명에 따른 해상도 변경을 적용할 수 있다.According to an embodiment of the present invention, the processor may divide an image into a plurality of regions and apply a resolution change according to the present invention to each of the plurality of divided regions.

본 발명의 일 실시예에 따르면, 영상의 해상도를 변경하는 경우, 발생되는 앨리어싱을 감소시키면서도 선명도를 향상시킬 수 있다. 또한, 앨리어싱이 발생된 혹은 잔존하는 영역을 검출하고, 영역 별로 선명도 향상의 처리 강도를 서로 다르게 조절함으로써 보다 고품질의 영상을 출력할 수 있다.According to an embodiment of the present invention, when the resolution of an image is changed, it is possible to improve sharpness while reducing aliasing that is generated. In addition, a higher quality image may be output by detecting a region in which aliasing has occurred or remaining, and adjusting the intensity of sharpness enhancement processing differently for each region.

도 4는, 앞선 도 3의 S310 단계와 관련하여, 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 4는 P개의 픽셀을 가진 입력 신호가 Q개(Q<P)의 픽셀을 가진 출력 신호로 샘플링이 수행되는 모습을 도시하고 있다. 4 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention in relation to step S310 of FIG. 3 above. 4 illustrates a state in which sampling is performed from an input signal having P pixels to an output signal having Q pixels (Q<P).

샘플링을 통해 샘플 간 거리는 1/P에서 1/Q로 늘어나게 되고, x번째 출력 신호 O(x)에 대응되는 입력 신호의 위치는 (P/Q)x가 된다. Through sampling, the distance between samples increases from 1/P to 1/Q, and the position of the input signal corresponding to the x-th output signal O(x) becomes (P/Q)x.

마찬가지로, 가로로 Win개, 세로로 Hin개의 픽셀을 갖는 2차원 영상을 WoutxHout크기의 출력 영상으로 축소하는 경우, 가로 방향의 샘플 간 거리는 1/Win에서 1/Wout로 늘어나게 되고, 세로 방향의 샘플 간 거리는 1/Hin에서 1/Hout로 바뀌게 된다. 따라서 출력 영상의 (x,y)번째 픽셀의 위치는 ((Win/Wout)x, (Hin/Hout)y)가 된다. 2차원 영상에 대한 축소 과정은 가로 및 세로 방향으로 각각 진행한다.Similarly, when a 2D image with W in horizontally and H in pixels is reduced to an output image of size W out x H out , the horizontal inter-sample distance increases from 1/W in to 1/W out . and the distance between samples in the vertical direction is changed from 1/H in to 1/H out . Therefore, the position of the (x,y)th pixel of the output image becomes ((W in /W out )x, (H in /H out )y). The reduction process for the 2D image is performed in the horizontal and vertical directions, respectively.

출력 영상의 각 픽셀들을 계산하기 위해서 LPF가 사용될 수 있다.The LPF may be used to calculate each pixel of the output image.

도 4에 도시된 바와 같이, x번째 출력 픽셀값(A(x))은 입력 신호의 (P/Q)x 위치 부근에 있는 입력 픽셀값들을 필터링(가중치 합)함으로써 얻어지게 된다. 이 과정을 수식으로 나타내면 다음과 같다.As shown in Fig. 4, the x-th output pixel value A(x) is obtained by filtering (weighted sum) the input pixel values in the vicinity of the (P/Q)x position of the input signal. This process is expressed as a formula as follows.

[수식 1][Formula 1]

Figure pat00001
Figure pat00001

수식 1에서 fc(n)은 저주파 통과 필터를 나타내며, N은 필터의 크기(필터를 이루는 샘플 수)를 나타낸다. 또한, 실수 x에 대한 기호 [x]는 x보다 작으면서 가장 큰 정수를 의미한다. In Equation 1, f c (n) represents the low-pass filter, and N represents the size of the filter (the number of samples constituting the filter). Also, the symbol [x] for the real number x means the largest integer smaller than x.

도 5는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 5는 차단주파수가

Figure pat00002
인 필터의 샘플 수(N)가 줄어들 때 각 필터링 결과(출력)가 서로 다르게 나타나는 모습을 도시한다. 도 4와 같이, 필터링을 위해서는 여러 입력 픽셀을 동시에 참조해야 때문에 입력 픽셀들을 저장하기 위한 메모리와 연산 로직을 필요로 하게 된다. 필터의 크기(N)가 커짐에 따라 메모리와 로직이 증가하므로 필터 크기를 일정 수준 이하로 제한하는 경우, 그에 따라 필터의 성능이 감소하게 된다. 5 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention. 5 shows the cutoff frequency
Figure pat00002
It shows how each filtering result (output) appears differently when the number of samples (N) of the phosphorus filter is reduced. As shown in FIG. 4 , since several input pixels must be simultaneously referenced for filtering, a memory and arithmetic logic for storing the input pixels are required. As the size of the filter (N) increases, memory and logic increase. Therefore, if the filter size is limited to a certain level or less, the performance of the filter decreases accordingly.

도 5의 우측 주파수 영역(frequency domain)의 모습을 보면, 필터의 샘플 수(N)가 50인 경우 차단주파수보다 높은 주파수 대역에서 주파수성분의 크기가 0에 가까운 값을 갖는 것을 볼 수 있다. 하지만 필터의 샘플 수(N)가 20인 필터는 차단주파수보다 높은 주파수 대역에서 주파수성분의 크기가 0외의 값을 갖는 것을 볼 수 있다. 나아가, 샘플 수가 10인 경우에는 아주 높은 고주파성분도 존재하는 것을 볼 수 있다. 즉, 필터의 크기가 줄어들수록 입력 영상의 잔존하는 고주파 성분이 늘어날 뿐만 아니라, 더 높은 주파수를 갖는 성분이 잔존하게 되는 것이다.Looking at the right frequency domain of FIG. 5 , when the number of samples (N) of the filter is 50, it can be seen that the magnitude of the frequency component has a value close to 0 in a frequency band higher than the cutoff frequency. However, it can be seen that, in a filter having a sample number (N) of 20, the magnitude of the frequency component has a value other than 0 in a frequency band higher than the cutoff frequency. Furthermore, when the number of samples is 10, it can be seen that a very high high-frequency component is also present. That is, as the size of the filter decreases, not only the remaining high-frequency components of the input image increase, but also the components having higher frequencies remain.

따라서, 제한된 크기의 필터를 사용하여 영상을 축소하게 되면, 선명도 강화 처리를 수행하게 되면 앨리어싱이 증폭될 가능성이 더 높다. 즉, 제한된 크기의 필터로는 앨리어싱을 완전히 방지하지 못하고, 이로 인해 발생되는 미세한 앨리어싱을 선명도 향상 과정이 증폭시킨다는 것이다.Therefore, when an image is reduced using a filter of a limited size, aliasing is more likely to be amplified when sharpness enhancement processing is performed. In other words, a filter with a limited size cannot completely prevent aliasing, and the sharpness improvement process amplifies the fine aliasing generated by this.

그러나 본 발명의 경우, 앞서 설명한 바와 같이, 앨리어싱의 양에 기초하여 식별된 처리 강도에 기초하여 선명도 강화 처리를 수행하므로, 제한된 필터 크기의 LPF를 사용하였을 경우 발생되는 앨리이어싱이 선명도 강화에 의해 증폭되는 것을 방지할 수 있다.However, in the present invention, as described above, since sharpness enhancement processing is performed based on the processing intensity identified based on the amount of aliasing, aliasing that occurs when an LPF with a limited filter size is used is reduced by sharpness enhancement. amplification can be prevented.

도 6은, 앞선 도 3의 S310 단계와 관련하여, 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 6은 차단주파수가 서로 다른 필터들의 공간 영역(image domain)과 주파수 영역(frequency domain)에서의 필터링 결과를 도시한다. 공간 영역에서 필터링(convolution)은 주파수 영역의 곱셈(element-wise multiplication)이기 때문에, 필터링에 의한 주파수 특성 변화는 주파수 영역에서의 필터링 결과를 통해 확인할 수 있다.6 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention in relation to step S310 of FIG. 3 above. 6 shows the filtering results in the image domain and the frequency domain of filters having different cutoff frequencies. Since convolution in the spatial domain is element-wise multiplication in the frequency domain, a change in frequency characteristics due to filtering can be confirmed through the filtering result in the frequency domain.

[수식 2] [Formula 2]

Figure pat00003
Figure pat00003

저주파 통과 필터는 수식 2와 같이 sinc함수로 나타낼 수 있다. 수식 2에서 x가 0인 경우, fc(0)=1로 정의한다. 수식 2에서 0에서 1사이의 값을 갖는 c는 전체 주파수 범위(0~π)중에서 필터링에 의해 통과되는 저주파 대역이 (0~cπ)가 되도록 하는 파라미터이다. 즉, fc(x)는 통과 주파수가 cπ인 저주파 통과 필터이다.The low-pass filter can be expressed as a sinc function as in Equation 2. In Equation 2, when x is 0, it is defined as f c (0)=1. In Equation 2, c, which has a value between 0 and 1, is a parameter that allows the low frequency band to be passed by filtering in the entire frequency range (0 to π) to be (0 to cπ). That is, f c (x) is a low-pass filter with a pass frequency of cπ.

도 6에 도시된 바와 같이 fc=1(x)는 모든 주파수 범위에 대해서 1에 가까운 값을 갖기 때문에 필터링에 의한 입력 영상의 주파수 변화는 거의 없다. 따라서, fc=1(x)를 사용하여 영상을 축소하게 되면 고주파의 손실 없이 영상을 축소할 수 없다. 반대로 1보다 작은 c값을 갖는 fc(x)를 사용하여 영상을 축소하게 되면 입력 영상의 고주파를 제거하면서 영상을 축소할 수 있게 된다.As shown in FIG. 6 , since f c=1 (x) has a value close to 1 in all frequency ranges, there is little change in the frequency of the input image due to filtering. Therefore, if the image is reduced using f c = 1 (x), the image cannot be reduced without loss of high frequency. Conversely, if the image is reduced using f c (x) having a c value less than 1, the image can be reduced while removing the high frequency of the input image.

앞서 설명하였듯이, 입력 영상의 고주파 신호는 앨리어싱을 유발하기 때문에, 이를 방지하기 위해서는 저주파 통과 필터링으로 고주파 성분을 제거해야 한다. 구체적으로, 입력 영상을 (P/Q)배로 축소하게 되면 입력 영상의 전체 주파수 범위(0~π)중 ((P/Q)π~π)범위의 고주파 성분을 전부 제거해야 앨리어싱을 방지할 수 있다. 즉, 영상을 앨리어싱 없이 (P/Q)배로 축소하기 위해 필요한 저주파 통과 필터는 fc=P/Q(x)이며, 이를 안티 앨리어싱 필터라고 한다.As described above, since the high-frequency signal of the input image causes aliasing, in order to prevent this, the high-frequency component must be removed by low-pass filtering. Specifically, when the input image is reduced by (P/Q) times, aliasing can be prevented only by removing all high-frequency components in the ((P/Q)π-π) range among the entire frequency range (0 to π) of the input image. there is. That is, the low-pass filter required to reduce an image by (P/Q) times without aliasing is f c=P/Q (x), which is called an anti-aliasing filter.

도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 7의 경우, 입력 영상(10)을 복수 개의 영역(11)으로 나눈 모습을 도시한다. 본 발명의 일 실시예에 따르면, 프로세서(180)는, 영상(10)을 복수의 영역(11)으로 분할하고, 분할된 복수의 영역별로 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링, 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하는 처리강도 식별, 식별된 처리강도에 기초한 선명도 향상 처리 중 적어도 하나를 각 영역별로 수행할 수 있다.7 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention. 7 illustrates a state in which the input image 10 is divided into a plurality of regions 11 . According to an embodiment of the present invention, the processor 180 divides the image 10 into a plurality of regions 11, and performs frequency filtering for passing frequency components below the cutoff frequency for each of the plurality of divided regions, and At least one of identification of processing intensity corresponding to the magnitude of a frequency component equal to or greater than the cut-off frequency and sharpness improvement processing based on the identified processing intensity may be performed for each region.

영역별로 발생한 앨리어싱의 양을 각각 검출하고, 이에 기초하여 처리 강도를 식별하여 선명도 향상 처리를 수행함으로써, 앨리어싱이 증폭되는 위험을 더욱 효과적으로 줄일 수 있다. 이와 같이 영역별로 동작을 수행할 수 있음은 명세서 전체에 걸쳐 설명되는 동작에 적용될 수 있다. By detecting the amount of aliasing generated for each region, and performing sharpness enhancement processing by identifying the processing intensity based on this, the risk of aliasing amplification can be more effectively reduced. As such, the ability to perform operations for each region may be applied to operations described throughout the specification.

도 8 내지 도 11은, 앞선 도 3에서 설명한 전자장치의 동작 흐름도와 관련하여, 본 발명에 기초한 전자장치의 동작 모습을 도시하고 있다. 8 to 11 show the operation of the electronic device based on the present invention in relation to the operation flowchart of the electronic device described with reference to FIG. 3 above.

도 8 내지 도 11에서는 공통적으로, 도 3의 S310과 관련하여, 프로세서(180)는 영상의 해상도(크기)가 P인 제1신호(I)에 샘플링을 수행하여 해상도가 Q인 신호로 출력하고자 한다. 영상 축소과정에서 발생한 앨리어싱을 완화하기 위해, 프로세서(180)는 제1신호(I)를 차단주파수가 (P/Q)π인 LPF를 이용하여 주파수 필터링을 수행하여 제2신호(A)를 획득할 수 있다. 8 to 11, in relation to S310 of FIG. 3, the processor 180 performs sampling on the first signal I having a resolution (size) of an image P to output a signal having a resolution of Q. do. In order to alleviate the aliasing generated during the image reduction process, the processor 180 performs frequency filtering on the first signal (I) using an LPF having a cutoff frequency of (P/Q)π to obtain a second signal (A). can do.

도 8의 경우, 도 3의 S320과 관련하여, 프로세서(180)는 제2신호(A)의 차단주파수(

Figure pat00004
) 이상의 주파수성분의 크기에 대응하는 처리 강도(W)를 식별할 수 있고(Aliasing estimation), 식별된 처리 강도(W)에 기초하여 선명도 처리(DE)를 수행할 수 있다. 따라서, 출력영상(O)은 제2신호(A)에 선명도 처리 강도(W)를 고려하여 출력될 수 있다(O=DE(A,W)). 예컨대, 프로세서(180)는 복수의 영역으로 분할하여 선명도 향상 처리를 수행하는 경우, 각 영역별로 측정된 선명도 처리 강도(W)에 기초하여 수행할 수 있다.In the case of FIG. 8, in relation to S320 of FIG. 3, the processor 180 determines the cut-off frequency (
Figure pat00004
), it is possible to identify the processing intensity (W) corresponding to the magnitude of the frequency component (Aliasing estimation), and perform sharpness processing (DE) based on the identified processing intensity (W). Accordingly, the output image O may be output in consideration of the sharpness processing intensity W in the second signal A (O=DE(A, W)). For example, when the processor 180 divides the region into a plurality of regions and performs the sharpness improvement process, the processor 180 may perform the sharpness improvement process based on the intensity of sharpness W measured for each region.

도 9 내지 도 11의 경우, 공통적으로, 프로세서(180)는 제1신호(I)에 차단주파수(

Figure pat00005
)를 가지는 전대역 주파수 필터링을 수행하여 제3신호(Z)를 획득할 수 있다. 그리고, 제2신호(A)와 제3신호(Z) 간의 차분을 통해 제2신호(A)에 잔존하는 차단주파수(
Figure pat00006
) 이상의 주파수성분의 크기를 식별할 수 있다(Aliasing estimation). 두 신호의 차이는 (P/Q)π이상의 고주파성분의 크기(양)를 의미한다. 따라서, 두 신호의 차이가 없거나 작은 영역은 앨리어싱이 발생되지 않거나 약하게 발생하는 영역이고, 프로세서(180)는 이 영역에 대해 큰 처리 강도(W)를 사용하여 선명도 향상 처리를 강하게 할 수 있다. 반면에, 두 신호의 차이가 큰 영역은 앨리어싱이 강하게 발생되는 영역이기 때문에 선명도 향상을 약하게 할 수 있다. 9 to 11 , in common, the processor 180 transmits the cut-off frequency (
Figure pat00005
), the third signal Z may be obtained by performing full-band frequency filtering. And, the cut-off frequency remaining in the second signal (A) through the difference between the second signal (A) and the third signal (Z) (
Figure pat00006
) or higher frequency components can be identified (Aliasing estimation). The difference between the two signals means the magnitude (amount) of the high-frequency component over (P/Q)π. Accordingly, a region in which there is no difference or a small difference between the two signals is a region in which aliasing does not occur or is weakly generated, and the processor 180 may use a large processing intensity W for this region to strengthen the sharpness enhancement process. On the other hand, since the region in which the difference between the two signals is large is the region in which the aliasing is strongly generated, the improvement of sharpness may be weakened.

이와 같이, 프로세서(180)는 식별된 주파수성분의 크기에 대응하는 처리 강도(W)를 식별할 수 있고, 식별된 처리 강도(W)에 기초하여 선명도 처리(DE)를 수행할 수 있다. In this way, the processor 180 may identify the processing intensity W corresponding to the size of the identified frequency component, and may perform the sharpness process DE based on the identified processing intensity W.

이 때, 선명도 처리(DE)를 수행할 주파수 영역에 대해서는 도 9 내지 도 11에서와 같이 별도로 설정하여 수행할 수 있다.In this case, the frequency domain in which the sharpness process DE is to be performed may be separately set and performed as in FIGS. 9 to 11 .

도 9의 경우, 제2신호(A)의 차단주파수(

Figure pat00007
) 이하의 주파수성분에 대해 선명도 향상 처리(DE)를 수행할 수 있다. 따라서, 출력영상(O)은 제2신호(A)에 선명도 향상 처리 강도(W)를 고려하여 출력될 수 있다 (O=DE(A,W)).9, the cut-off frequency of the second signal (A) (
Figure pat00007
), sharpness enhancement processing (DE) may be performed on the following frequency components. Accordingly, the output image O may be output in consideration of the sharpness enhancement processing intensity W of the second signal A (O=DE(A,W)).

도 10의 경우, 프로세서(180)는 제1신호(I)에서 차단주파수(

Figure pat00008
)보다 낮은 제1주파수(
Figure pat00009
,
Figure pat00010
)이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호(B)를 획득할 수 있다. 프로세서(180)는 제2신호(A)에 잔존하는 차단주파수(
Figure pat00011
) 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도(W)에 기초하여, 제2신호(A)에 제2신호(A)와 제4신호(B) 간의 차분을 통해 획득한 신호를 더함으로써 선명도 향상 처리를 수행할 수 있다.In the case of Figure 10, the processor 180 in the first signal (I) cut-off frequency (
Figure pat00008
) lower than the first frequency (
Figure pat00009
,
Figure pat00010
), the fourth signal (B) can be obtained by performing frequency filtering to pass the frequency components below. The processor 180 determines the cutoff frequency remaining in the second signal A (
Figure pat00011
) by adding the signal obtained through the difference between the second signal (A) and the fourth signal (B) to the second signal (A) on the basis of the processing intensity (W) identified corresponding to the magnitude of the above frequency component Sharpness enhancement processing may be performed.

상기 설명한 본 발명의 동작은 다음과 같은 수학식으로 나타낼 수 있다.The operation of the present invention described above can be expressed by the following equation.

[수식 3] [Equation 3]

Figure pat00012
Figure pat00012

수식 3에서 A와 B는 (P/Q)π, (P/Q)π보다 낮은 주파수를 차단주파수로 하는 저주파 통과 필터를 사용하여 축소된 신호이다. 즉, B는 A보다 흐릿한 영상이다. 본 발명은 A와 B의 차분으로부터 고주파 신호(A-B)를 추출하고 여기에 처리 강도(W)를 곱한 뒤 A에 더함으로써 출력 영상(O)을 생성한다. In Equation 3, A and B are signals reduced by using a low-pass filter whose cutoff frequency is a frequency lower than (P/Q)π and (P/Q)π. That is, B is a blurry image than A. The present invention generates an output image (O) by extracting a high-frequency signal (A-B) from the difference between A and B, multiplying it by a processing intensity (W), and adding it to A.

본 발명의 일 실시예에 따르면, 선명도 향상 처리를 수행하고자 하는 주파수 영역을 한정하여, 해당 영역에 선명도 향상처리를 수행할 수 있어, 앨리어싱의 증폭 위험을 효과적으로 줄일 수 있다. According to an embodiment of the present invention, it is possible to limit the frequency region in which the sharpness enhancement process is to be performed and perform the sharpness enhancement process in the corresponding region, thereby effectively reducing the risk of aliasing amplification.

도 11의 경우, 도 10 대비 하나의 저주파 통과 필터를 더 사용하는 것을 도시한다. 이 방법은 선명도 향상 처리에 사용되는 주파수의 범위를 보다 자유롭게 할 수 있다. 도 10의 방법은 증폭되는 주파수의 범위의 최저치는 임의로 정할 수 있는 반면, 최대치는 (Q/P)

Figure pat00013
로 고정되어 있다. 반면에 도 11의 방법은 저주파 필터를 하나 더 사용함으로써, 증폭되는 고주파의 최대치 또한 임의로 결정할 수 있다.In the case of FIG. 11 , it shows that one low-pass filter is further used compared to FIG. 10 . This method allows more freedom in the range of frequencies used for sharpness enhancement processing. In the method of FIG. 10, the minimum value of the amplified frequency range can be arbitrarily determined, while the maximum value is (Q/P)
Figure pat00013
is fixed with On the other hand, in the method of FIG. 11 , the maximum value of the amplified high frequency may also be arbitrarily determined by using one more low frequency filter.

프로세서(180)는 제1신호(I)에서 차단주파수 보다 낮은 제1주파수(

Figure pat00014
,
Figure pat00015
) 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호(B)를 획득하고, 제1신호(I)에서 제1주파수(
Figure pat00016
,
Figure pat00017
) 보다 낮은 제2주파수(
Figure pat00018
,
Figure pat00019
) 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호(C)를 획득할 수 있다. 프로세서(180)는 제2신호(A)에 잔존하는 차단주파수(
Figure pat00020
) 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도(W)에 기초하여, 제2신호(A)에 제4신호(B)와 제5신호(C) 간의 차분을 통해 획득한 신호를 더함으로써 선명도 향상 처리를 수행할 수 있다.The processor 180 is a first frequency (I) lower than the cut-off frequency in the first signal (I)
Figure pat00014
,
Figure pat00015
) to obtain a fourth signal (B) by performing frequency filtering to pass the following frequency components, and from the first signal (I) to the first frequency (
Figure pat00016
,
Figure pat00017
) lower second frequency (
Figure pat00018
,
Figure pat00019
), the fifth signal (C) may be obtained by performing frequency filtering to pass the following frequency components. The processor 180 determines the cutoff frequency remaining in the second signal A (
Figure pat00020
) by adding the signal obtained through the difference between the fourth signal (B) and the fifth signal (C) to the second signal (A) on the basis of the processing intensity (W) identified corresponding to the magnitude of the above frequency component Sharpness enhancement processing may be performed.

즉, 도 10 및 도 11에 개시된 실시예를 상기 수식 3에 대입하면, 각각 O=A+Wx(A-B), O=A+Wx(B-C) 가 될 수 있다.That is, if the embodiment disclosed in FIGS. 10 and 11 is substituted into Equation 3, O=A+Wx(A-B) and O=A+Wx(B-C) may be respectively obtained.

도 12는 출력된 영상들을 도시한 도면이다.12 is a diagram illustrating output images.

왼쪽 상단에 있는 영상은 픽셀 위치만을 변환하여 축소시킨 영상이며 오른쪽 상단은 샘플링과 선명도 강화 처리를 단순히 순차적으로 진행하여 축소시킨 영상이다. The image in the upper left is a reduced image by converting only pixel positions, and the image in the upper right is a reduced image by simply sequentially processing sampling and sharpness enhancement.

왼쪽 상단의 영상 대비 오른쪽 상단의 영상에서 많은 앨리어싱이 발생된 것을 볼 수 있다. It can be seen that a lot of aliasing occurs in the image in the upper right compared to the image in the upper left.

오른쪽 하단의 영상은 본 발명의 일 실시예에 따라, 앨리어싱의 양을 측정하고 이에 기초하여 선명도 강화 처리를 수행한 것으로, 상단의 영상과 비교하여 영상의 화질이 선명하면서도 앨리어싱이 발생하지 않은 것을 알 수 있다. The image in the lower right corner is an image obtained by measuring the amount of aliasing and performing sharpness enhancement processing based on it according to an embodiment of the present invention. can

본 발명의 일 실시예에 따르면, 왼쪽 하단의 영상과 같이 픽셀단위로 앨리어싱 양을 계산하고, 이를 블록단위로 합산함으로써 보다 안정적인 앨리어싱 발생 영역을 추정할 수 있다. According to an embodiment of the present invention, it is possible to estimate a more stable aliasing region by calculating the amount of aliasing in units of pixels as shown in the lower left image and summing them in units of blocks.

이상 설명한 바와 같이, 본 발명은 픽셀 단위, 혹은 영역별로 적용할 수 있음은 동일하다. As described above, it is the same that the present invention can be applied in units of pixels or regions.

도 13은 외부장치로부터 해상도가 변경된 영상을 수신하는 전자장치를 도시한 도면이다.13 is a diagram illustrating an electronic device that receives an image whose resolution is changed from an external device.

앞서 도 3의 S310, S320과 관련하여 서술된 일련의 프로세서의 동작은 외부장치, 예컨대, 서버나 클라우드 등에서 구현되어 해상도가 변경된 영상을 인터페이스(110)부를 통해 수신할 수 있다. 따라서, 본 도면에서는 도 3의 S310, S320의 동작이 서버(200)에서 구현되는 것을 기술한다. 용어에 대한 정의 등 앞서 설명한 것과 동일하게 적용되는 부분은 기술을 생략한다. The operation of a series of processors described above in relation to S310 and S320 of FIG. 3 may be implemented in an external device, for example, a server or a cloud, and the image with a changed resolution may be received through the interface 110 unit. Accordingly, in this figure, it is described that the operations of S310 and S320 of FIG. 3 are implemented in the server 200 . Descriptions of parts that are the same as those described above, such as definitions of terms, will be omitted.

본 도면에 도시된 서버(200)는 서버인터페이스부(210)와 서버프로세서(220)를 포함한다. The server 200 shown in this figure includes a server interface unit 210 and a server processor 220 .

본 발명의 일 실시예에 따르면, 먼저 서버인터페이스부(210)는 전자장치(100)의 인터페이스부(110)로부터 해상도를 변경할 영상을 수신한다. According to an embodiment of the present invention, first, the server interface unit 210 receives an image whose resolution is to be changed from the interface unit 110 of the electronic device 100 .

서버프로세서(220)는 수신한 영상의 제1신호에 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득할 수 있다. The server processor 220 may obtain the second signal by performing frequency filtering of passing a frequency component less than a cut-off frequency defined on the basis of the quality degradation due to sampling to the first signal of the received image.

서버프로세서(220)는 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행할 수 있다.The server processor 220 may perform sharpness improvement processing for amplifying the frequency component of the second signal based on the identified processing intensity corresponding to the magnitude of the frequency component greater than or equal to the cutoff frequency remaining in the second signal.

따라서, 본 발명의 일 실시예에 따르면, 서버프로세서(220)는 LPF를 이용하여 고주파 성분을 일부 제거하여 획득한 제2신호에서 잔존하는 차단주파수 이상의 주파수성분의 크기, 즉 앨리어싱의 양을 식별할 수 있다. 서버프로세서(220)는 제1신호와 LPF를 통과한 제2신호 간의 차분을 통해 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다. Accordingly, according to an embodiment of the present invention, the server processor 220 identifies the size of the frequency component above the cutoff frequency remaining in the second signal obtained by partially removing the high frequency component using the LPF, that is, the amount of aliasing. can The server processor 220 may identify the magnitude of the frequency component above the cut-off frequency remaining in the second signal through the difference between the first signal and the second signal passing through the LPF.

서버프로세서(220)는 영상의 차단주파수 이상의 주파수성분의 크기에 대응하는 처리 강도를 식별할 수 있다. The server processor 220 may identify a processing intensity corresponding to the magnitude of a frequency component equal to or greater than the cut-off frequency of the image.

서버프로세서(220)는 차단주파수 이상의 주파수성분의 크기와 처리 강도는 반비례의 관계를 가지도록 설정할 수 있다. 따라서, 서버프로세서(220)는 신호의 고주파성분의 크기에 대응하는 처리 강도를 식별하여, 선명도 향상 처리를 수행할 때 반영할 수 있다. The server processor 220 may set the magnitude of the frequency component above the cutoff frequency and the processing intensity to have an inverse relationship. Accordingly, the server processor 220 may identify the processing intensity corresponding to the magnitude of the high frequency component of the signal and reflect it when performing the sharpness improvement processing.

본 발명의 일 실시예에 따르면 서버프로세서(220)는, 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역별로 본 발명에 따른 해상도 변경을 적용할 수 있다.According to an embodiment of the present invention, the server processor 220 may divide an image into a plurality of regions and apply a resolution change according to the present invention to each of the plurality of divided regions.

본 발명의 일 실시예에 따르면, 서버를 이용하여 영상의 해상도를 변경하는 경우, 발생되는 앨리어싱을 감소 및 선명도를 향상시키는 효과를 유지하면서도 해상도 변경 처리 속도가 빨라질 수 있다. 이는 전자장치 내 구비되는 해상도 변경, 선명도 향상 처리를 픽셀별로 수행하는 LPF 혹은 이를 포함하는 회로를 물리적으로 많이 구비할 수 있기 때문이다.According to an embodiment of the present invention, when the resolution of an image is changed using a server, the resolution change processing speed can be increased while maintaining the effects of reducing aliasing and improving sharpness. This is because an LPF for performing resolution change and sharpness improvement processing provided in the electronic device for each pixel or a circuit including the same can be physically provided.

이 외에도, 상기한 동작은 동작 효율 등을 따져 설계 방식에 따라서는 시스템 내에서, 전자장치(100)와 서버(200)가 동작 단계를 분담하여 수행하도록 설계될 수 있다.In addition, the above-described operation may be designed so that the electronic device 100 and the server 200 share the operation steps in the system according to a design method in consideration of operation efficiency and the like.

100: 전자장치
110: 인터페이스부
120: 디스플레이부
130: 사용자입력부
140: 저장부
150: 마이크로폰
160: 스피커
170: 센서
180: 프로세서
100: electronic device
110: interface unit
120: display unit
130: user input unit
140: storage
150: microphone
160: speaker
170: sensor
180: processor

Claims (17)

전자장치에 있어서,
영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고,
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는
프로세서를 포함하는 전자장치.
In an electronic device,
In order to perform sampling so as to change the resolution of the image, frequency filtering is performed to pass frequency components below the cutoff frequency defined based on the degradation of image quality due to the sampling to the first signal to obtain a second signal,
Based on the processing intensity identified corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, performing sharpness improvement processing for amplifying the frequency component of the second signal
An electronic device comprising a processor.
제1항에 있어서,
상기 프로세서는,
상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 전자장치.
The method of claim 1,
The processor is
An electronic device for identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.
제1항에 있어서,
상기 프로세서는,
상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하고,
상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 전자장치.
According to claim 1,
The processor is
performing full-band frequency filtering on the first signal to obtain a third signal,
An electronic device for identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the second signal and the third signal.
제1항에 있어서,
상기 프로세서는,
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별하는 전자장치.
According to claim 1,
The processor is
The electronic device identifies the processing intensity as being low when the magnitude of the frequency component greater than or equal to the cut-off frequency remaining in the second signal is large.
제1항에 있어서,
상기 프로세서는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고,
상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 전자장치.
According to claim 1,
The processor is
To obtain a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency,
and a signal obtained through a difference between the second signal and the fourth signal is added to the second signal to perform the sharpness improvement process.
제1항에 있어서,
상기 프로세서는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고,
상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하고,
상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 전자장치.
The method of claim 1,
The processor is
To obtain a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency,
Obtaining a fifth signal by performing frequency filtering in the first signal to pass a frequency component of a second frequency or less lower than the first frequency;
and a signal obtained through a difference between the fourth signal and the fifth signal is added to the second signal to perform the sharpness improvement process.
제1항에 있어서,
디스플레이를 더 포함하고,
상기 프로세서는,
상기 선명도 향상 처리가 수행된 영상을 상기 디스플레이에 표시하는 전자장치.
The method of claim 1,
further comprising a display;
The processor is
An electronic device for displaying the image on which the sharpness enhancement process has been performed on the display.
제1항에 있어서,
상기 프로세서는,
상기 영상을 복수의 영역으로 분할하고,
상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행하는 전자장치.
The method of claim 1,
The processor is
dividing the image into a plurality of regions,
An electronic device that performs the sharpness improvement process for each of the plurality of divided regions.
전자장치의 제어방법에 있어서,
영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 전자장치의 제어방법.
In the control method of an electronic device,
obtaining a second signal by performing frequency filtering of passing a frequency component below a cut-off frequency defined based on the degradation of the image quality due to the sampling to the first signal in order to perform sampling to change the resolution of the image; and
Based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, it characterized in that it comprises the step of performing sharpness improvement processing for amplifying the frequency component of the second signal. Control method of electronic device.
제9항에 있어서,
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함하는 전자장치의 제어방법.
10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
and identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.
제9항에 있어서,
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하는 단계; 및
상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함하는 전자장치의 제어방법.
10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
obtaining a third signal by performing full-band frequency filtering on the first signal; and
and identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the second signal and the third signal.
제9항에 있어서,
상기 선명도 향상 처리를 수행하는 단계는,
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별하는 단계를 포함하는 전자장치의 제어방법.
10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
and identifying the processing intensity as having a low processing intensity when the magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal is large.
제9항에 있어서,
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계; 및
상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함하는 전자장치의 제어방법.
10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
obtaining a fourth signal by performing frequency filtering in the first signal to pass frequency components below a first frequency lower than the cut-off frequency; and
and performing the sharpness improvement process by adding a signal obtained through a difference between the second signal and the fourth signal to the second signal.
제9항에 있어서,
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계;
상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하는 단계; 및
상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함하는 전자장치의 제어방법.
10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
obtaining a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency;
obtaining a fifth signal by performing frequency filtering in the first signal to pass frequency components less than a second frequency lower than the first frequency; and
and performing the sharpness improvement process by adding a signal obtained through a difference between the fourth signal and the fifth signal to the second signal.
제9항에 있어서,
상기 선명도 향상 처리가 수행된 영상을 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 하는 전자장치의 제어방법.
10. The method of claim 9,
The method of controlling an electronic device, characterized in that it further comprises the step of displaying the image on which the sharpness enhancement processing has been performed on a display.
제9항에 있어서,
상기 선명도 향상 처리를 수행하는 단계는,
상기 영상을 복수의 영역으로 분할하는 단계; 및
상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행하는 단계를 포함하는 전자장치의 제어방법.
10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
dividing the image into a plurality of regions; and
and performing the sharpness enhancement process for each of the plurality of divided regions.
컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은,
영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
A computer-readable code, comprising: a computer program storing a code for performing a control method of an electronic device;
obtaining a second signal by performing frequency filtering of passing a frequency component below a cut-off frequency defined based on the degradation of the image quality due to the sampling to the first signal in order to perform sampling to change the resolution of the image; and
Based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, it characterized in that it comprises the step of performing sharpness improvement processing for amplifying the frequency component of the second signal. A recording medium on which a computer-readable program is recorded.
KR1020200110514A 2020-08-31 2020-08-31 Electronic apparatus and the method thereof KR20220028891A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200110514A KR20220028891A (en) 2020-08-31 2020-08-31 Electronic apparatus and the method thereof
PCT/KR2021/008093 WO2022045556A1 (en) 2020-08-31 2021-06-28 Electronic device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110514A KR20220028891A (en) 2020-08-31 2020-08-31 Electronic apparatus and the method thereof

Publications (1)

Publication Number Publication Date
KR20220028891A true KR20220028891A (en) 2022-03-08

Family

ID=80353500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110514A KR20220028891A (en) 2020-08-31 2020-08-31 Electronic apparatus and the method thereof

Country Status (2)

Country Link
KR (1) KR20220028891A (en)
WO (1) WO2022045556A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100477659B1 (en) * 2002-08-10 2005-03-22 삼성전자주식회사 Apparatus and method for detecting frequency characterization
KR20150093993A (en) * 2014-02-10 2015-08-19 한국전자통신연구원 Method and apparatus for image reconstruction using super-resolution
KR101651741B1 (en) * 2014-09-30 2016-08-26 한국전자통신연구원 High resolution image generation apparatus and method for each region of the sharpened image
KR20180097342A (en) * 2017-02-23 2018-08-31 한국전자통신연구원 Method and apparatus for sharpening super resolution image with minimum image artifacts
KR102155242B1 (en) * 2019-02-20 2020-09-11 숭실대학교산학협력단 Image restoration apparatus and method

Also Published As

Publication number Publication date
WO2022045556A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN107945163B (en) Image enhancement method and device
US10957093B2 (en) Scene-based foveated rendering of graphics content
CN108234882B (en) Image blurring method and mobile terminal
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
TWI826639B (en) Electronic device, image processor of electronic device and method for sharpen image
KR102661879B1 (en) Image processing apparatus and image processing method thereof
CN110781899A (en) Image processing method and electronic device
CN111971972A (en) Electronic device and control method of electronic device
CN110070551A (en) Rendering method, device and the electronic equipment of video image
JP2019532566A (en) Video processing apparatus and recording medium
KR20220061467A (en) Electronic device and Method for processing the audio signal thereof
CN110689478B (en) Image stylization processing method and device, electronic equipment and readable medium
CN103871035B (en) Image denoising method and device
KR102623148B1 (en) Electronic apparatus and controlling method thereof
KR20220028891A (en) Electronic apparatus and the method thereof
JP7387917B2 (en) Content-based image processing
CN110349109B (en) Fisheye distortion correction method and system and electronic equipment thereof
KR20220065370A (en) Electronice device and control method thereof
US20230126778A1 (en) Image processing apparatus and method for processing image thereby
KR20230060338A (en) Image processing apparatus and method for processing image thereby
KR102722495B1 (en) Electronice device and control method thereof
KR20210062485A (en) Electronic apparatus and control method thereof
EP4209989A1 (en) Device and method for generating image in which subject has been captured
KR20220012746A (en) Electronice device and control method thereof
KR20240115657A (en) Electronic apparatus and control method thereof