KR20220028891A - Electronic apparatus and the method thereof - Google Patents
Electronic apparatus and the method thereof Download PDFInfo
- Publication number
- KR20220028891A KR20220028891A KR1020200110514A KR20200110514A KR20220028891A KR 20220028891 A KR20220028891 A KR 20220028891A KR 1020200110514 A KR1020200110514 A KR 1020200110514A KR 20200110514 A KR20200110514 A KR 20200110514A KR 20220028891 A KR20220028891 A KR 20220028891A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- frequency
- image
- electronic device
- frequency component
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000001914 filtration Methods 0.000 claims abstract description 44
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 230000015556 catabolic process Effects 0.000 claims abstract description 10
- 238000006731 degradation reaction Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 45
- 230000006872 improvement Effects 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
Description
본 개시는 영상의 해상도를 변경하는 전자장치 및 그 제어방법에 관한 것이다.The present disclosure relates to an electronic device for changing the resolution of an image and a method for controlling the same.
입력된 영상신호의 해상도를 원하는 해상도로 축소하는 경우, 영상 축소 과정에서 앨리어싱(Aliasing)이 발생할 수 있다. 앨리어싱은 영상을 축소하는 경우 발생하는 영상의 왜곡으로서, 해상도 축소에 의해 픽셀 수가 줄어들면서 입력 영상의 고주파성분이 저주파성분에 중첩되어 발생한다.When the resolution of the input image signal is reduced to a desired resolution, aliasing may occur in the image reduction process. Aliasing is image distortion that occurs when an image is reduced. As the number of pixels is reduced due to resolution reduction, a high-frequency component of an input image is overlapped with a low-frequency component.
앨리어싱을 해결하기 위한 방법 중 하나로, 예컨대, 저주파 통과 필터(LPF; Low Pass Filter)를 이용한 안티-앨리어싱(anti-aliasing)이 있다. 다만, LPF를 이용하여 저주파 성분을 필터링하는 경우, 필터의 크기(샘플 수)가 커짐에 따라 여러 픽셀데이터를 동시에 참조해야 때문에 메모리와 연산 로직을 필요로 하게 된다. 따라서, 필터의 크기가 커짐에 따라 메모리와 로직이 증가하므로 필터 크기를 일정 수준 이하로 제한할 수밖에 없는데, 이 경우 필터의 성능이 감소하게 된다. 즉, 제한된 필터 크기의 LPF를 사용하는 경우, 영상의 고주파성분을 충분히 제거할 수 없기 때문에 축소된 영상에서 앨리어싱이 발생하게 된다. 이렇게 축소된 영상에 대해서, 약한 고주파성분을 강화하는 선명도 강화(Detail Enhancement) 처리를 하게 되면, 앨리어싱이 선명도 강화 처리에 의해 증폭되는 문제점이 존재한다. As one of the methods for solving the aliasing, for example, there is anti-aliasing using a low pass filter (LPF). However, in the case of filtering the low-frequency component using the LPF, as the size (number of samples) of the filter increases, multiple pixel data must be simultaneously referenced, so memory and operation logic are required. Accordingly, as the size of the filter increases, memory and logic increase, and thus the size of the filter must be limited to a certain level or less. In this case, the performance of the filter decreases. That is, when an LPF having a limited filter size is used, aliasing occurs in the reduced image because high-frequency components of the image cannot be sufficiently removed. When a detail enhancement process for reinforcing a weak high-frequency component is performed on the reduced image, there is a problem in that aliasing is amplified by the sharpness enhancement process.
본 개시의 목적은 영상의 해상도를 변경하는 경우, 보다 나은 영상 화질을 제공하는 전자장치 및 그 제어방법을 제공하는 것이다.It is an object of the present disclosure to provide an electronic device that provides better image quality when the resolution of an image is changed, and a method for controlling the same.
본 발명의 일 실시예에 따른 전자장치에 있어서, 영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고, 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 프로세서를 포함할 수 있다.In the electronic device according to an embodiment of the present invention, in order to perform sampling to change the resolution of an image, frequency filtering for passing a frequency component equal to or less than a cut-off frequency defined based on the degradation of image quality due to the sampling to the first signal to obtain a second signal, and based on the processing intensity identified corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, a sharpness improvement process of amplifying the frequency component of the second signal It may include a processor that executes.
상기 프로세서는, 상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다.The processor may identify a magnitude of a frequency component equal to or greater than the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.
상기 프로세서는, 상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하고, 상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다.The processor performs full-band frequency filtering on the first signal to obtain a third signal, and a difference between the second signal and the third signal is used to determine the magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal can be identified.
상기 프로세서는, 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별할 수 있다.The processor may identify the processing intensity as the low processing intensity when a magnitude of a frequency component equal to or greater than the cut-off frequency remaining in the second signal is large.
상기 프로세서는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고, 상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행할 수 있다.The processor obtains a fourth signal by performing frequency filtering to pass a frequency component of a first frequency lower than a first frequency lower than the cut-off frequency in the first signal to obtain a fourth signal, and the second signal and the fourth signal in the second signal The sharpness improvement process may be performed by adding the signals obtained through the difference between them.
상기 프로세서는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고, 상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하고, 상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행할 수 있다.The processor obtains a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency, and a second frequency lower than the first frequency in the first signal A fifth signal is obtained by performing frequency filtering to pass the following frequency components, and the sharpness improvement processing is performed by adding a signal obtained through a difference between the fourth signal and the fifth signal to the second signal. can
본 발명의 일 실시예에 따른 전자장치에 있어서, 디스플레이를 더 포함하고, 상기 프로세서는, 상기 선명도 향상 처리가 수행된 영상을 상기 디스플레이에 표시할 수 있다.The electronic device according to an embodiment of the present invention may further include a display, wherein the processor may display the image on which the sharpness improvement process is performed on the display.
상기 프로세서는, 상기 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행할 수 있다.The processor may divide the image into a plurality of regions, and perform the sharpness improvement process for each of the plurality of divided regions.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.In the method of controlling an electronic device according to an embodiment of the present invention, in order to perform sampling so as to change the resolution of an image, a frequency component less than a cutoff frequency defined on the basis of the image quality deterioration due to the sampling is passed to the first signal. performing frequency filtering to obtain a second signal; and performing sharpness improvement processing for amplifying the frequency component of the second signal based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal.
상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함할 수 있다.The step of performing the sharpness improvement process may include identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.
상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하는 단계; 및 상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함할 수 있다.The step of performing the sharpness enhancement process may include: obtaining a third signal by performing full-band frequency filtering on the first signal; and identifying the magnitude of a frequency component equal to or greater than the cut-off frequency remaining in the second signal through a difference between the second signal and the third signal.
상기 선명도 향상 처리를 수행하는 단계는, 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별하는 단계를 포함할 수 있다.The performing of the sharpness improvement processing may include identifying the processing intensity as being low in the processing intensity when the magnitude of the frequency component above the cut-off frequency remaining in the second signal is large.
상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계; 및 상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.The step of performing the sharpness improvement process may include: obtaining a fourth signal by performing frequency filtering in the first signal to pass a frequency component having a frequency lower than a first frequency lower than the cut-off frequency; and performing the sharpness improvement process by adding a signal obtained through a difference between the second signal and the fourth signal to the second signal.
상기 선명도 향상 처리를 수행하는 단계는, 상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계; 상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하는 단계; 및 상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.The step of performing the sharpness improvement process may include: obtaining a fourth signal by performing frequency filtering in the first signal to pass a frequency component having a frequency lower than a first frequency lower than the cut-off frequency; obtaining a fifth signal by performing frequency filtering in the first signal to pass frequency components less than a second frequency lower than the first frequency; and performing the sharpness improvement process by adding a signal obtained through a difference between the fourth signal and the fifth signal to the second signal.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 상기 선명도 향상 처리가 수행된 영상을 디스플레이에 표시하는 단계를 더 포함할 수 있다.In the method of controlling an electronic device according to an embodiment of the present invention, the method may further include displaying the image on which the sharpness improvement process has been performed on a display.
상기 선명도 향상 처리를 수행하는 단계는, 상기 영상을 복수의 영역으로 분할하는 단계; 및 상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.The step of performing the sharpness enhancement process may include: dividing the image into a plurality of regions; and performing the sharpness enhancement process for each of the plurality of divided regions.
컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은, 영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함할 수 있다.In the recording medium storing a computer program that is a computer-readable code and includes a code for performing a control method of an electronic device, the control method of the electronic device includes a first method to perform sampling so as to change the resolution of an image. obtaining a second signal by performing frequency filtering to pass a frequency component below a cut-off frequency defined on the basis of the degradation of the image quality due to the sampling; and performing sharpness improvement processing for amplifying the frequency component of the second signal based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal.
본 발명의 일 실시예에 따르면, 영상의 해상도를 변경하는 경우, 앨리어싱을 발생시키지 않고 선명도를 향상시킬 수 있다. 또한, 앨리어싱이 발생된 혹은 잔존하는 영역을 검출하고, 영역 별로 선명도 향상의 처리 강도를 서로 다르게 조절함으로써 보다 고품질의 영상을 출력할 수 있다.According to an embodiment of the present invention, when the resolution of an image is changed, sharpness may be improved without aliasing. In addition, a higher quality image may be output by detecting a region in which aliasing has occurred or remaining, and adjusting the intensity of sharpness enhancement processing differently for each region.
도 1은 본 발명의 관련기술을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 12는 출력된 영상들을 도시한 도면이다.
도 13은 외부장치로부터 해상도가 변경된 영상을 수신하는 전자장치를 도시한 도면이다.1 is a view showing the related art of the present invention.
2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present invention.
3 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
4 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
5 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
6 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
7 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
8 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
9 is a diagram illustrating an operation of an electronic device according to another embodiment of the present invention.
10 is a diagram illustrating an operation of an electronic device according to another embodiment of the present invention.
11 is a diagram illustrating an operation of an electronic device according to another embodiment of the present invention.
12 is a diagram illustrating output images.
13 is a diagram illustrating an electronic device that receives an image whose resolution is changed from an external device.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numbers or symbols refer to components that perform substantially the same functions, and the size of each component in the drawings may be exaggerated for clarity and convenience of description. However, the technical spirit of the present invention and its core configuration and operation are not limited to the configuration or operation described in the following embodiments. In describing the present invention, if it is determined that a detailed description of a known technology or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.In an embodiment of the present invention, terms including an ordinal number such as first, second, etc. are used only for the purpose of distinguishing one element from another element, and the expression of the singular is plural, unless the context clearly dictates otherwise. includes the expression of In addition, in an embodiment of the present invention, terms such as 'consisting', 'comprising', 'having' and the like are one or more other features or numbers, steps, operations, components, parts, or the presence of combinations thereof. Or it should be understood that the possibility of addition is not precluded in advance. In addition, in an embodiment of the present invention, a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software, and is integrated into at least one module. and can be implemented. Further, in an embodiment of the present invention, at least one of the plurality of elements refers not only to all of the plurality of elements, but also each one or a combination thereof excluding the rest of the plurality of elements.
도 1은 본 발명의 관련기술을 도시한 도면이다.1 is a view showing the related art of the present invention.
도 1은 영상(10)과 영상(10)의 해상도를 변경한 영상(20, 30)을 도시하고 있다. 영상의 해상도를 변경하기 위한 방법 중 하나로, 예컨대, 입력 영상의 해상도와 출력 영상의 해상도의 비율에 따라 출력 픽셀들의 위치를 계산하고 변환할 수 있다.픽셀들의 위치만 변환한 영상(20)의 경우, 앞서 설명한 바와 같이 픽셀 수가 줄어들면서 영상(10)의 고주파성분이 저주파성분에 중첩된다. 이로 인해 영상의 왜곡이 그대로 드러나는 앨리어싱이 발생할 수 있다. 입력 영상(10)에는 없지만 출력 영상(20, 30)에서 나타나는 대각선 방향의 물결 무늬가 바로 앨리어싱이다. 앨리어싱은 영상에 있는 고주파 특성, 예컨대, 미세한 부분의 형태나 영상의 축소 비율 등에 따라 그 모습이 다르게 나타날 수 있다. 영상이 디테일하거나, 영상을 보다 작게 축소할수록 앨리어싱은 더욱 더 심해진다.1 shows an
앨리어싱과 같은 현상은 주로 고주파 성분에 의해 발생한다는 것에 기초하여, 차단주파수(fc, cut-off frequency, 혹은 통과주파수)이상의 고주파 성분을 제거하는(동일한 의미로, 차단주파수(fc) 이하의 저주파 성분을 통과시키는) 저주파 통과 필터(LPF)를 이용한 샘플링을 수행할 수 있다. Based on the fact that a phenomenon such as aliasing is mainly caused by high-frequency components, it removes high-frequency components above the cut-off frequency (fc, cut-off frequency, or pass frequency) (same meaning, low-frequency components below the cut-off frequency (fc)) Sampling using a low-pass filter (LPF) can be performed.
다만, LPF만을 이용하는 경우, 영상을 선명하게 하는 고주파 성분이 모두 제거되므로 영상이 흐릿하게 보일 수 있다. 따라서, 영상이 흐릿하게 보이는 것을 방지하기 위해 선명도 향상 처리(DE, Detail Enhancement)를 할 수 있다. However, when only the LPF is used, since all of the high-frequency components that sharpen the image are removed, the image may appear blurry. Accordingly, detail enhancement (DE) may be performed to prevent the image from appearing blurry.
그러나, 샘플링과 선명도 향상 처리 과정을 단순히 순차적으로 진행하는 경우 앨리어싱을 제거함에 있어서 효과적이지 못하다. 예컨대, 영상(10)의 해상도를 변경하여 영상(30)을 출력함에 있어서, 선명도 향상 처리를 먼저 수행하는 경우, 영상(10)에서 존재하던 고주파 성분을 증폭시켜 샘플링 시 앨리어싱이 과도하게 발생하므로, LPF를 이용하여 고주파 성분을 제거하여도 앨리어싱이 여전히 남아있을 수 있다. 선명도 향상 처리를 나중에 수행하는 경우, LPF를 이용하여 제거한 고주파 성분을(실제 LPF는 고주파 성분은 완전히 제거하지 못한다.) 증폭시키므로 앨리어싱이 다시 발생할 수 있다.However, when sampling and sharpness enhancement processing are simply sequentially performed, it is not effective in removing aliasing. For example, in the case of outputting the
따라서, 이하의 실시예들에서는 이와 같은 문제점을 해결하기 위한 방안을 제시하도록 한다. Accordingly, in the following embodiments, a method for solving such a problem will be presented.
도 1에서 영상(20)보다 영상(30)에 앨리어싱이 적게 발생한 것으로 도시되었으나, 경우에 따라 영상(30)에 앨리어싱이 더 많이 발생할 수 있다. Although it is illustrated in FIG. 1 that less aliasing occurs in the
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 전자장치(100)는 인터페이스부(110)를 포함할 수 있다. 인터페이스부(110)는 유선 인터페이스부(111)를 포함할 수 있다. 유선 인터페이스부(111)는 지상파/위성방송 등 방송표준에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송표준에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(100)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부(111)는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 USB 포트 등과 같은 범용 데이터 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 광 전송표준에 따라 광케이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 외부 마이크로폰 또는 마이크로폰을 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 이더넷 등과 같은 네트워크 전송표준에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(111)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.As shown in FIG. 2 , the
유선 인터페이스부(111)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(111)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다. The
그리고, 본 실시예에 따르면 유선 인터페이스부(111)는 전자장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 전자장치(100)의 커넥터에 착탈될 수도 있다. Also, according to the present embodiment, the
인터페이스부(110)는 무선 인터페이스부(112)를 포함할 수 있다. 무선 인터페이스부(112)는 전자장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(112)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다. 무선 인터페이스부(112)는 와이파이(Wi-Fi) 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현될 수 있다. 무선 인터페이스부(112)는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다. 무선 인터페이스부(112)는 적외선 통신표준에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 무선 인터페이스부(112)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 전자장치(100)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(112)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.The
전자장치(100)는 인터페이스부(110)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다.When the video/audio signal received through the
전자장치(100)가 디스플레이 장치로 구현되는 경우, 디스플레이부(120)를 포함할 수 있다. 디스플레이부(120)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(120)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(120)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.When the
전자장치(100)는 사용자입력부(130)를 포함할 수 있다. 사용자입력부(130)는 사용자의 입력을 수행하기 위해 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(130)는 전자장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예컨대, 전자장치(100)의 기계적 또는 전자적 버튼부, 전자장치(100)와 분리된 리모트 컨트롤러, 전자장치(100)와 연결된 외부기기에서의 입력부, 터치패드, 디스플레이부(120)에 설치된 터치스크린 등이 있다.The
전자장치(100)는 저장부(140)를 포함할 수 있다. 저장부(140)는 디지털화된 데이터를 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(180)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.The
전자장치(100)는 마이크로폰(150)을 포함할 수 있다. 마이크로폰(150)은 사용자 음성을 비롯한 외부 환경의 소리를 수집한다. 마이크로폰(150)은 수집된 소리의 신호를 프로세서(180)에 전달한다. 전자장치(100)는 사용자 음성을 수집하는 마이크로폰(150)을 구비하거나, 또는 인터페이스부(110)를 통해 마이크로폰을 가진 리모트 컨트롤러, 스마트폰 등의 외부장치로부터 음성신호를 수신할 수 있다. 외부장치에 리모트 컨트롤러 어플리케이션을 설치하여 전자장치(100)를 제어하거나 음성 인식 등의 기능을 수행할 수도 있다. 이와 같은 어플리케이션이 설치된 외부장치의 경우, 사용자 음성을 수신할 수 있으며, 외부장치는 전자장치(100)와 Wi-Fi/BT 또는 적외선 등을 이용하여 데이터 송수신 및 제어가 가능한 바, 상기 통신 방식을 구현할 수 있는 복수의 인터페이스부(110)가 전자장치(100) 내에 존재할 수 있다.The
전자장치(100)는 스피커(160)를 포함할 수 있다. 스피커(160)는 프로세서(180)에 의해 처리되는 오디오 데이터를 소리로 출력한다. 스피커(160)는 어느 한 오디오 채널의 오디오 데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오 채널의 오디오 데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다. 다른 실시예로서, 스피커(160)는 전자장치(100)와 분리되어 마련될 수 있으며, 이 경우 전자장치(100)는 오디오 데이터를 인터페이스부(110)를 통하여 스피커(160)로 전달할 수 있다.The
전자장치(100)는 센서(170)를 포함할 수 있다. 센서(170)는, 전자장치(100)의 상태 또는 전자장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(180)로 전달할 수 있다. 센서(170)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다. The
전자장치(100)는 프로세서(180)를 포함할 수 있다. 프로세서(180)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(180)는 전자장치(100)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.The
프로세서(180)는 마이크로폰(150) 등에 의해 사용자 음성에 대한 음성신호를 획득하면, 음성신호를 음성데이터로 변환할 수 있다. 이 때, 음성데이터는 음성신호를 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정을 통해 얻어진 텍스트 데이터일 수 있다. 프로세서(180)는 음성데이터가 나타내는 커맨드를 식별하고, 식별된 커맨드에 따라서 동작을 수행한다. 음성데이터 처리 과정과, 커맨드 식별 및 수행 과정은, 전자장치(100)에서 모두 실행될 수도 있다. 그러나, 이 경우에 전자장치(100)에 필요한 시스템 부하 및 소요 저장용량이 상대적으로 커지게 되므로, 적어도 일부의 과정은 네트워크를 통해 전자장치(100)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행될 수 있다.When a voice signal for the user's voice is obtained by the
본 발명에 따른 프로세서(180)는 전자장치(100)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 소프트웨어의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 전자장치(100)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.The
한편, 프로세서(180)는 영상의 해상도가 변경되도록 제1신호에 샘플링을 수행하기 위하여 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고, 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.On the other hand, the
프로세서(180)는 영상의 해상도가 변경되도록 제1신호에 샘플링을 수행하기 위하여, 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고, 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하기 위한 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.In order to perform sampling on the first signal so that the resolution of the image is changed, the
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다Inference prediction is a technology for logically reasoning and predicting by judging information. It is a technology that uses knowledge based reasoning, optimization prediction, preference-based planning, and recommendation includes
일 예로, 프로세서(180)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 저장부(140) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.For example, the
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.The learning unit may perform a preprocessing operation on the acquired training data before training the neural network using the training data, or may select data to be used for learning from among a plurality of training data. For example, the learning unit may process the learning data into a preset format, filter it, or add/remove noise to process the learning data into a form suitable for learning. The learner may generate a neural network set to perform the above-described operation by using the preprocessed learning data.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.The learned neural network network may be composed of a plurality of neural network networks (or layers). The nodes of the plurality of neural networks have weights, and the plurality of neural networks may be connected to each other so that an output value of one neural network is used as an input value of another neural network. Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and It can include models such as Deep Q-Networks.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 저장부(140) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.Meanwhile, the recognizer may acquire target data to perform the above-described operation. The target data may be acquired from the
일 예로, 본 발명에 따른 전자장치(100)의 제어방법은 컴퓨터 프로그램 제품 (Computer Program Product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은, 앞서 설명한, 프로세서(180)에 의해 실행되는 소프트웨어의 명령어들을 포함할 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다. For example, the method for controlling the
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.3 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 프로세서(180)는 제1신호에 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득할 수 있다(S310). 제1신호는 해상도가 변경되기 전의 원본 영상의 신호로써, 입력 영상의 신호일 수 있다. 또한, 이하 영상신호들은 경우에 따라 공간 영역(image domain) 혹은 주파수 영역(frequency domain)의 신호를 의미할 수 있다. 샘플링에 관한 보다 자세한 사항은 도 4 및 도 5에서 서술한다.According to an embodiment of the present invention, the
본 발명의 일 실시예에 따른 LPF의 차단주파수는 샘플링에 의한 화질 저하에 기초하여 정의된 것으로, 해상도를 축소하는 과정에서 발생한 앨리어싱을 줄이면서도, 영상의 선명함 정도를 유지할 수 있는 적정한 차단주파수를 의미할 수 있다.The cut-off frequency of the LPF according to an embodiment of the present invention is defined based on the deterioration of image quality due to sampling, and it means an appropriate cut-off frequency capable of maintaining the sharpness of the image while reducing the aliasing generated in the process of reducing the resolution. can do.
주파수 필터링을 수행하여 획득된 제2신호는 차단주파수 보다 높은 주파수성분이 제거된 상태라고 볼 수 있다. 다만, 실제 LPF는, 도 5나 도 6에 도시된 바와 같이, 차단주파수 이후의 주파수성분을 완전히 제거하지는 못하고 일부가 남아있을 수 있다. 그리고, LPF를 통해 앨리어싱이 일부 제거될 수 있으나, 고주파성분이 줄어들면서 영상의 선명도는 저하될 수 있다. The second signal obtained by performing the frequency filtering can be regarded as a state in which a frequency component higher than the cut-off frequency is removed. However, in the actual LPF, as shown in FIG. 5 or FIG. 6 , the frequency component after the cut-off frequency may not be completely removed and a part may remain. In addition, although aliasing may be partially removed through the LPF, the sharpness of an image may be deteriorated as a high frequency component is reduced.
프로세서(180)는 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행할 수 있다(S320).The
선명도 향상 처리는 영상을 사용자에게 보다 선명한 화질로 제공하기 위해서 수행될 수 있다. 선명도 향상 처리 기술 중 하나로, 예컨대, 약한 고주파 신호를 증폭함으로써 물체의 경계를 뚜렷하게 하고 작은 디테일을 돋보이게 할 수 있다. 이 외에도 여러 영상들로부터 미리 학습된 필터를 사용하는 고주파를 생성하는 초해상도(super resolution) 기술 등이 있다.The sharpness improvement process may be performed to provide an image with a clearer image quality to the user. As one of the sharpness enhancement processing techniques, for example, by amplifying a weak high-frequency signal, it is possible to sharpen the boundary of an object and make small details stand out. In addition to this, there is a super resolution technology that generates a high frequency using a filter learned in advance from various images.
앞서 서술한 바와 같이, LPF를 이용하여 앨리어싱을 제거하고 난 뒤, 단순히 선명도 향상 처리를 수행하는 경우 제거된 앨리어싱이 다시 발생할 수 있다. As described above, when aliasing is removed using LPF and then sharpness enhancement processing is simply performed, the removed aliasing may occur again.
따라서, 본 발명의 일 실시예에 따르면, 프로세서(180)는 LPF를 이용하여 고주파 성분을 일부 제거하여 획득한 제2신호에서 잔존하는 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다. 식별된 주파수성분의 크기가 크다는 것은 앨리어싱이 많이 발생할 수 있다는 것을 의미한다. 따라서, 주파수성분의 크기를 식별하는 것은 앨리어싱의 양을 검출하는 것을 의미할 수도 있다. Accordingly, according to an embodiment of the present invention, the
프로세서(180)는 제1신호와 LPF를 통과한 제2신호 간의 차분을 통해 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다. The
프로세서(180)는 영상의 차단주파수 이상의 주파수성분의 크기에 대응하는 처리 강도를 식별할 수 있다. 본 발명의 일 실시예에 따르면, 처리 강도는 선명도 향상 처리를 어느 정도로 할 것인지 나타내는 수치이다. 예컨대, 처리 강도가 높다는 것은 선명도를 강하게 처리한다는 것을 의미하고, 즉, 차단주파수 이상의 주파수성분을 강하게 증폭시킨다는 의미이다. The
만약 신호에 잔존하는 차단주파수 이상의 주파수성분의 크기가 클 때, 처리 강도가 높으면, 신호의 고주파 성분이 증폭되어 앨리어싱이 다시 나타날 확률이 높다. If the magnitude of the frequency component above the cutoff frequency remaining in the signal is large and the processing intensity is high, the high frequency component of the signal is amplified and aliasing is highly likely to appear again.
프로세서(180)는 차단주파수 이상의 주파수성분의 크기와 처리 강도는 반비례의 관계를 가지도록 설정할 수 있다. 따라서, 프로세서(180)는 신호의 고주파성분의 크기에 대응하는 처리 강도를 식별하여, 선명도 향상 처리를 수행할 때 반영할 수 있다. 예컨대, 차단주파수 이상의 주파수성분의 크기가 크면, 처리 강도는 약하게 설정하거나, 선명도 처리를 하지 않을 수 있다. 반면에, 차단주파수 이상의 주파수성분의 크기가 작으면, 처리 강도를 비교적 강하게 하여 영상을 선명하게 할 수 있다.The
본 발명의 일 실시예에 따르면 프로세서는, 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역별로 본 발명에 따른 해상도 변경을 적용할 수 있다.According to an embodiment of the present invention, the processor may divide an image into a plurality of regions and apply a resolution change according to the present invention to each of the plurality of divided regions.
본 발명의 일 실시예에 따르면, 영상의 해상도를 변경하는 경우, 발생되는 앨리어싱을 감소시키면서도 선명도를 향상시킬 수 있다. 또한, 앨리어싱이 발생된 혹은 잔존하는 영역을 검출하고, 영역 별로 선명도 향상의 처리 강도를 서로 다르게 조절함으로써 보다 고품질의 영상을 출력할 수 있다.According to an embodiment of the present invention, when the resolution of an image is changed, it is possible to improve sharpness while reducing aliasing that is generated. In addition, a higher quality image may be output by detecting a region in which aliasing has occurred or remaining, and adjusting the intensity of sharpness enhancement processing differently for each region.
도 4는, 앞선 도 3의 S310 단계와 관련하여, 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 4는 P개의 픽셀을 가진 입력 신호가 Q개(Q<P)의 픽셀을 가진 출력 신호로 샘플링이 수행되는 모습을 도시하고 있다. 4 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention in relation to step S310 of FIG. 3 above. 4 illustrates a state in which sampling is performed from an input signal having P pixels to an output signal having Q pixels (Q<P).
샘플링을 통해 샘플 간 거리는 1/P에서 1/Q로 늘어나게 되고, x번째 출력 신호 O(x)에 대응되는 입력 신호의 위치는 (P/Q)x가 된다. Through sampling, the distance between samples increases from 1/P to 1/Q, and the position of the input signal corresponding to the x-th output signal O(x) becomes (P/Q)x.
마찬가지로, 가로로 Win개, 세로로 Hin개의 픽셀을 갖는 2차원 영상을 WoutxHout크기의 출력 영상으로 축소하는 경우, 가로 방향의 샘플 간 거리는 1/Win에서 1/Wout로 늘어나게 되고, 세로 방향의 샘플 간 거리는 1/Hin에서 1/Hout로 바뀌게 된다. 따라서 출력 영상의 (x,y)번째 픽셀의 위치는 ((Win/Wout)x, (Hin/Hout)y)가 된다. 2차원 영상에 대한 축소 과정은 가로 및 세로 방향으로 각각 진행한다.Similarly, when a 2D image with W in horizontally and H in pixels is reduced to an output image of size W out x H out , the horizontal inter-sample distance increases from 1/W in to 1/W out . and the distance between samples in the vertical direction is changed from 1/H in to 1/H out . Therefore, the position of the (x,y)th pixel of the output image becomes ((W in /W out )x, (H in /H out )y). The reduction process for the 2D image is performed in the horizontal and vertical directions, respectively.
출력 영상의 각 픽셀들을 계산하기 위해서 LPF가 사용될 수 있다.The LPF may be used to calculate each pixel of the output image.
도 4에 도시된 바와 같이, x번째 출력 픽셀값(A(x))은 입력 신호의 (P/Q)x 위치 부근에 있는 입력 픽셀값들을 필터링(가중치 합)함으로써 얻어지게 된다. 이 과정을 수식으로 나타내면 다음과 같다.As shown in Fig. 4, the x-th output pixel value A(x) is obtained by filtering (weighted sum) the input pixel values in the vicinity of the (P/Q)x position of the input signal. This process is expressed as a formula as follows.
[수식 1][Formula 1]
수식 1에서 fc(n)은 저주파 통과 필터를 나타내며, N은 필터의 크기(필터를 이루는 샘플 수)를 나타낸다. 또한, 실수 x에 대한 기호 [x]는 x보다 작으면서 가장 큰 정수를 의미한다. In
도 5는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 5는 차단주파수가 인 필터의 샘플 수(N)가 줄어들 때 각 필터링 결과(출력)가 서로 다르게 나타나는 모습을 도시한다. 도 4와 같이, 필터링을 위해서는 여러 입력 픽셀을 동시에 참조해야 때문에 입력 픽셀들을 저장하기 위한 메모리와 연산 로직을 필요로 하게 된다. 필터의 크기(N)가 커짐에 따라 메모리와 로직이 증가하므로 필터 크기를 일정 수준 이하로 제한하는 경우, 그에 따라 필터의 성능이 감소하게 된다. 5 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention. 5 shows the cutoff frequency It shows how each filtering result (output) appears differently when the number of samples (N) of the phosphorus filter is reduced. As shown in FIG. 4 , since several input pixels must be simultaneously referenced for filtering, a memory and arithmetic logic for storing the input pixels are required. As the size of the filter (N) increases, memory and logic increase. Therefore, if the filter size is limited to a certain level or less, the performance of the filter decreases accordingly.
도 5의 우측 주파수 영역(frequency domain)의 모습을 보면, 필터의 샘플 수(N)가 50인 경우 차단주파수보다 높은 주파수 대역에서 주파수성분의 크기가 0에 가까운 값을 갖는 것을 볼 수 있다. 하지만 필터의 샘플 수(N)가 20인 필터는 차단주파수보다 높은 주파수 대역에서 주파수성분의 크기가 0외의 값을 갖는 것을 볼 수 있다. 나아가, 샘플 수가 10인 경우에는 아주 높은 고주파성분도 존재하는 것을 볼 수 있다. 즉, 필터의 크기가 줄어들수록 입력 영상의 잔존하는 고주파 성분이 늘어날 뿐만 아니라, 더 높은 주파수를 갖는 성분이 잔존하게 되는 것이다.Looking at the right frequency domain of FIG. 5 , when the number of samples (N) of the filter is 50, it can be seen that the magnitude of the frequency component has a value close to 0 in a frequency band higher than the cutoff frequency. However, it can be seen that, in a filter having a sample number (N) of 20, the magnitude of the frequency component has a value other than 0 in a frequency band higher than the cutoff frequency. Furthermore, when the number of samples is 10, it can be seen that a very high high-frequency component is also present. That is, as the size of the filter decreases, not only the remaining high-frequency components of the input image increase, but also the components having higher frequencies remain.
따라서, 제한된 크기의 필터를 사용하여 영상을 축소하게 되면, 선명도 강화 처리를 수행하게 되면 앨리어싱이 증폭될 가능성이 더 높다. 즉, 제한된 크기의 필터로는 앨리어싱을 완전히 방지하지 못하고, 이로 인해 발생되는 미세한 앨리어싱을 선명도 향상 과정이 증폭시킨다는 것이다.Therefore, when an image is reduced using a filter of a limited size, aliasing is more likely to be amplified when sharpness enhancement processing is performed. In other words, a filter with a limited size cannot completely prevent aliasing, and the sharpness improvement process amplifies the fine aliasing generated by this.
그러나 본 발명의 경우, 앞서 설명한 바와 같이, 앨리어싱의 양에 기초하여 식별된 처리 강도에 기초하여 선명도 강화 처리를 수행하므로, 제한된 필터 크기의 LPF를 사용하였을 경우 발생되는 앨리이어싱이 선명도 강화에 의해 증폭되는 것을 방지할 수 있다.However, in the present invention, as described above, since sharpness enhancement processing is performed based on the processing intensity identified based on the amount of aliasing, aliasing that occurs when an LPF with a limited filter size is used is reduced by sharpness enhancement. amplification can be prevented.
도 6은, 앞선 도 3의 S310 단계와 관련하여, 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 6은 차단주파수가 서로 다른 필터들의 공간 영역(image domain)과 주파수 영역(frequency domain)에서의 필터링 결과를 도시한다. 공간 영역에서 필터링(convolution)은 주파수 영역의 곱셈(element-wise multiplication)이기 때문에, 필터링에 의한 주파수 특성 변화는 주파수 영역에서의 필터링 결과를 통해 확인할 수 있다.6 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention in relation to step S310 of FIG. 3 above. 6 shows the filtering results in the image domain and the frequency domain of filters having different cutoff frequencies. Since convolution in the spatial domain is element-wise multiplication in the frequency domain, a change in frequency characteristics due to filtering can be confirmed through the filtering result in the frequency domain.
[수식 2] [Formula 2]
저주파 통과 필터는 수식 2와 같이 sinc함수로 나타낼 수 있다. 수식 2에서 x가 0인 경우, fc(0)=1로 정의한다. 수식 2에서 0에서 1사이의 값을 갖는 c는 전체 주파수 범위(0~π)중에서 필터링에 의해 통과되는 저주파 대역이 (0~cπ)가 되도록 하는 파라미터이다. 즉, fc(x)는 통과 주파수가 cπ인 저주파 통과 필터이다.The low-pass filter can be expressed as a sinc function as in
도 6에 도시된 바와 같이 fc=1(x)는 모든 주파수 범위에 대해서 1에 가까운 값을 갖기 때문에 필터링에 의한 입력 영상의 주파수 변화는 거의 없다. 따라서, fc=1(x)를 사용하여 영상을 축소하게 되면 고주파의 손실 없이 영상을 축소할 수 없다. 반대로 1보다 작은 c값을 갖는 fc(x)를 사용하여 영상을 축소하게 되면 입력 영상의 고주파를 제거하면서 영상을 축소할 수 있게 된다.As shown in FIG. 6 , since f c=1 (x) has a value close to 1 in all frequency ranges, there is little change in the frequency of the input image due to filtering. Therefore, if the image is reduced using f c = 1 (x), the image cannot be reduced without loss of high frequency. Conversely, if the image is reduced using f c (x) having a c value less than 1, the image can be reduced while removing the high frequency of the input image.
앞서 설명하였듯이, 입력 영상의 고주파 신호는 앨리어싱을 유발하기 때문에, 이를 방지하기 위해서는 저주파 통과 필터링으로 고주파 성분을 제거해야 한다. 구체적으로, 입력 영상을 (P/Q)배로 축소하게 되면 입력 영상의 전체 주파수 범위(0~π)중 ((P/Q)π~π)범위의 고주파 성분을 전부 제거해야 앨리어싱을 방지할 수 있다. 즉, 영상을 앨리어싱 없이 (P/Q)배로 축소하기 위해 필요한 저주파 통과 필터는 fc=P/Q(x)이며, 이를 안티 앨리어싱 필터라고 한다.As described above, since the high-frequency signal of the input image causes aliasing, in order to prevent this, the high-frequency component must be removed by low-pass filtering. Specifically, when the input image is reduced by (P/Q) times, aliasing can be prevented only by removing all high-frequency components in the ((P/Q)π-π) range among the entire frequency range (0 to π) of the input image. there is. That is, the low-pass filter required to reduce an image by (P/Q) times without aliasing is f c=P/Q (x), which is called an anti-aliasing filter.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다. 도 7의 경우, 입력 영상(10)을 복수 개의 영역(11)으로 나눈 모습을 도시한다. 본 발명의 일 실시예에 따르면, 프로세서(180)는, 영상(10)을 복수의 영역(11)으로 분할하고, 분할된 복수의 영역별로 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링, 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하는 처리강도 식별, 식별된 처리강도에 기초한 선명도 향상 처리 중 적어도 하나를 각 영역별로 수행할 수 있다.7 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention. 7 illustrates a state in which the
영역별로 발생한 앨리어싱의 양을 각각 검출하고, 이에 기초하여 처리 강도를 식별하여 선명도 향상 처리를 수행함으로써, 앨리어싱이 증폭되는 위험을 더욱 효과적으로 줄일 수 있다. 이와 같이 영역별로 동작을 수행할 수 있음은 명세서 전체에 걸쳐 설명되는 동작에 적용될 수 있다. By detecting the amount of aliasing generated for each region, and performing sharpness enhancement processing by identifying the processing intensity based on this, the risk of aliasing amplification can be more effectively reduced. As such, the ability to perform operations for each region may be applied to operations described throughout the specification.
도 8 내지 도 11은, 앞선 도 3에서 설명한 전자장치의 동작 흐름도와 관련하여, 본 발명에 기초한 전자장치의 동작 모습을 도시하고 있다. 8 to 11 show the operation of the electronic device based on the present invention in relation to the operation flowchart of the electronic device described with reference to FIG. 3 above.
도 8 내지 도 11에서는 공통적으로, 도 3의 S310과 관련하여, 프로세서(180)는 영상의 해상도(크기)가 P인 제1신호(I)에 샘플링을 수행하여 해상도가 Q인 신호로 출력하고자 한다. 영상 축소과정에서 발생한 앨리어싱을 완화하기 위해, 프로세서(180)는 제1신호(I)를 차단주파수가 (P/Q)π인 LPF를 이용하여 주파수 필터링을 수행하여 제2신호(A)를 획득할 수 있다. 8 to 11, in relation to S310 of FIG. 3, the
도 8의 경우, 도 3의 S320과 관련하여, 프로세서(180)는 제2신호(A)의 차단주파수() 이상의 주파수성분의 크기에 대응하는 처리 강도(W)를 식별할 수 있고(Aliasing estimation), 식별된 처리 강도(W)에 기초하여 선명도 처리(DE)를 수행할 수 있다. 따라서, 출력영상(O)은 제2신호(A)에 선명도 처리 강도(W)를 고려하여 출력될 수 있다(O=DE(A,W)). 예컨대, 프로세서(180)는 복수의 영역으로 분할하여 선명도 향상 처리를 수행하는 경우, 각 영역별로 측정된 선명도 처리 강도(W)에 기초하여 수행할 수 있다.In the case of FIG. 8, in relation to S320 of FIG. 3, the
도 9 내지 도 11의 경우, 공통적으로, 프로세서(180)는 제1신호(I)에 차단주파수()를 가지는 전대역 주파수 필터링을 수행하여 제3신호(Z)를 획득할 수 있다. 그리고, 제2신호(A)와 제3신호(Z) 간의 차분을 통해 제2신호(A)에 잔존하는 차단주파수() 이상의 주파수성분의 크기를 식별할 수 있다(Aliasing estimation). 두 신호의 차이는 (P/Q)π이상의 고주파성분의 크기(양)를 의미한다. 따라서, 두 신호의 차이가 없거나 작은 영역은 앨리어싱이 발생되지 않거나 약하게 발생하는 영역이고, 프로세서(180)는 이 영역에 대해 큰 처리 강도(W)를 사용하여 선명도 향상 처리를 강하게 할 수 있다. 반면에, 두 신호의 차이가 큰 영역은 앨리어싱이 강하게 발생되는 영역이기 때문에 선명도 향상을 약하게 할 수 있다. 9 to 11 , in common, the
이와 같이, 프로세서(180)는 식별된 주파수성분의 크기에 대응하는 처리 강도(W)를 식별할 수 있고, 식별된 처리 강도(W)에 기초하여 선명도 처리(DE)를 수행할 수 있다. In this way, the
이 때, 선명도 처리(DE)를 수행할 주파수 영역에 대해서는 도 9 내지 도 11에서와 같이 별도로 설정하여 수행할 수 있다.In this case, the frequency domain in which the sharpness process DE is to be performed may be separately set and performed as in FIGS. 9 to 11 .
도 9의 경우, 제2신호(A)의 차단주파수() 이하의 주파수성분에 대해 선명도 향상 처리(DE)를 수행할 수 있다. 따라서, 출력영상(O)은 제2신호(A)에 선명도 향상 처리 강도(W)를 고려하여 출력될 수 있다 (O=DE(A,W)).9, the cut-off frequency of the second signal (A) ( ), sharpness enhancement processing (DE) may be performed on the following frequency components. Accordingly, the output image O may be output in consideration of the sharpness enhancement processing intensity W of the second signal A (O=DE(A,W)).
도 10의 경우, 프로세서(180)는 제1신호(I)에서 차단주파수()보다 낮은 제1주파수(,)이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호(B)를 획득할 수 있다. 프로세서(180)는 제2신호(A)에 잔존하는 차단주파수() 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도(W)에 기초하여, 제2신호(A)에 제2신호(A)와 제4신호(B) 간의 차분을 통해 획득한 신호를 더함으로써 선명도 향상 처리를 수행할 수 있다.In the case of Figure 10, the
상기 설명한 본 발명의 동작은 다음과 같은 수학식으로 나타낼 수 있다.The operation of the present invention described above can be expressed by the following equation.
[수식 3] [Equation 3]
수식 3에서 A와 B는 (P/Q)π, (P/Q)π보다 낮은 주파수를 차단주파수로 하는 저주파 통과 필터를 사용하여 축소된 신호이다. 즉, B는 A보다 흐릿한 영상이다. 본 발명은 A와 B의 차분으로부터 고주파 신호(A-B)를 추출하고 여기에 처리 강도(W)를 곱한 뒤 A에 더함으로써 출력 영상(O)을 생성한다. In Equation 3, A and B are signals reduced by using a low-pass filter whose cutoff frequency is a frequency lower than (P/Q)π and (P/Q)π. That is, B is a blurry image than A. The present invention generates an output image (O) by extracting a high-frequency signal (A-B) from the difference between A and B, multiplying it by a processing intensity (W), and adding it to A.
본 발명의 일 실시예에 따르면, 선명도 향상 처리를 수행하고자 하는 주파수 영역을 한정하여, 해당 영역에 선명도 향상처리를 수행할 수 있어, 앨리어싱의 증폭 위험을 효과적으로 줄일 수 있다. According to an embodiment of the present invention, it is possible to limit the frequency region in which the sharpness enhancement process is to be performed and perform the sharpness enhancement process in the corresponding region, thereby effectively reducing the risk of aliasing amplification.
도 11의 경우, 도 10 대비 하나의 저주파 통과 필터를 더 사용하는 것을 도시한다. 이 방법은 선명도 향상 처리에 사용되는 주파수의 범위를 보다 자유롭게 할 수 있다. 도 10의 방법은 증폭되는 주파수의 범위의 최저치는 임의로 정할 수 있는 반면, 최대치는 (Q/P) 로 고정되어 있다. 반면에 도 11의 방법은 저주파 필터를 하나 더 사용함으로써, 증폭되는 고주파의 최대치 또한 임의로 결정할 수 있다.In the case of FIG. 11 , it shows that one low-pass filter is further used compared to FIG. 10 . This method allows more freedom in the range of frequencies used for sharpness enhancement processing. In the method of FIG. 10, the minimum value of the amplified frequency range can be arbitrarily determined, while the maximum value is (Q/P) is fixed with On the other hand, in the method of FIG. 11 , the maximum value of the amplified high frequency may also be arbitrarily determined by using one more low frequency filter.
프로세서(180)는 제1신호(I)에서 차단주파수 보다 낮은 제1주파수(,) 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호(B)를 획득하고, 제1신호(I)에서 제1주파수(,) 보다 낮은 제2주파수(,) 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호(C)를 획득할 수 있다. 프로세서(180)는 제2신호(A)에 잔존하는 차단주파수() 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도(W)에 기초하여, 제2신호(A)에 제4신호(B)와 제5신호(C) 간의 차분을 통해 획득한 신호를 더함으로써 선명도 향상 처리를 수행할 수 있다.The
즉, 도 10 및 도 11에 개시된 실시예를 상기 수식 3에 대입하면, 각각 O=A+Wx(A-B), O=A+Wx(B-C) 가 될 수 있다.That is, if the embodiment disclosed in FIGS. 10 and 11 is substituted into Equation 3, O=A+Wx(A-B) and O=A+Wx(B-C) may be respectively obtained.
도 12는 출력된 영상들을 도시한 도면이다.12 is a diagram illustrating output images.
왼쪽 상단에 있는 영상은 픽셀 위치만을 변환하여 축소시킨 영상이며 오른쪽 상단은 샘플링과 선명도 강화 처리를 단순히 순차적으로 진행하여 축소시킨 영상이다. The image in the upper left is a reduced image by converting only pixel positions, and the image in the upper right is a reduced image by simply sequentially processing sampling and sharpness enhancement.
왼쪽 상단의 영상 대비 오른쪽 상단의 영상에서 많은 앨리어싱이 발생된 것을 볼 수 있다. It can be seen that a lot of aliasing occurs in the image in the upper right compared to the image in the upper left.
오른쪽 하단의 영상은 본 발명의 일 실시예에 따라, 앨리어싱의 양을 측정하고 이에 기초하여 선명도 강화 처리를 수행한 것으로, 상단의 영상과 비교하여 영상의 화질이 선명하면서도 앨리어싱이 발생하지 않은 것을 알 수 있다. The image in the lower right corner is an image obtained by measuring the amount of aliasing and performing sharpness enhancement processing based on it according to an embodiment of the present invention. can
본 발명의 일 실시예에 따르면, 왼쪽 하단의 영상과 같이 픽셀단위로 앨리어싱 양을 계산하고, 이를 블록단위로 합산함으로써 보다 안정적인 앨리어싱 발생 영역을 추정할 수 있다. According to an embodiment of the present invention, it is possible to estimate a more stable aliasing region by calculating the amount of aliasing in units of pixels as shown in the lower left image and summing them in units of blocks.
이상 설명한 바와 같이, 본 발명은 픽셀 단위, 혹은 영역별로 적용할 수 있음은 동일하다. As described above, it is the same that the present invention can be applied in units of pixels or regions.
도 13은 외부장치로부터 해상도가 변경된 영상을 수신하는 전자장치를 도시한 도면이다.13 is a diagram illustrating an electronic device that receives an image whose resolution is changed from an external device.
앞서 도 3의 S310, S320과 관련하여 서술된 일련의 프로세서의 동작은 외부장치, 예컨대, 서버나 클라우드 등에서 구현되어 해상도가 변경된 영상을 인터페이스(110)부를 통해 수신할 수 있다. 따라서, 본 도면에서는 도 3의 S310, S320의 동작이 서버(200)에서 구현되는 것을 기술한다. 용어에 대한 정의 등 앞서 설명한 것과 동일하게 적용되는 부분은 기술을 생략한다. The operation of a series of processors described above in relation to S310 and S320 of FIG. 3 may be implemented in an external device, for example, a server or a cloud, and the image with a changed resolution may be received through the
본 도면에 도시된 서버(200)는 서버인터페이스부(210)와 서버프로세서(220)를 포함한다. The
본 발명의 일 실시예에 따르면, 먼저 서버인터페이스부(210)는 전자장치(100)의 인터페이스부(110)로부터 해상도를 변경할 영상을 수신한다. According to an embodiment of the present invention, first, the
서버프로세서(220)는 수신한 영상의 제1신호에 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득할 수 있다. The
서버프로세서(220)는 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행할 수 있다.The
따라서, 본 발명의 일 실시예에 따르면, 서버프로세서(220)는 LPF를 이용하여 고주파 성분을 일부 제거하여 획득한 제2신호에서 잔존하는 차단주파수 이상의 주파수성분의 크기, 즉 앨리어싱의 양을 식별할 수 있다. 서버프로세서(220)는 제1신호와 LPF를 통과한 제2신호 간의 차분을 통해 제2신호에 잔존하는 차단주파수 이상의 주파수성분의 크기를 식별할 수 있다. Accordingly, according to an embodiment of the present invention, the
서버프로세서(220)는 영상의 차단주파수 이상의 주파수성분의 크기에 대응하는 처리 강도를 식별할 수 있다. The
서버프로세서(220)는 차단주파수 이상의 주파수성분의 크기와 처리 강도는 반비례의 관계를 가지도록 설정할 수 있다. 따라서, 서버프로세서(220)는 신호의 고주파성분의 크기에 대응하는 처리 강도를 식별하여, 선명도 향상 처리를 수행할 때 반영할 수 있다. The
본 발명의 일 실시예에 따르면 서버프로세서(220)는, 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역별로 본 발명에 따른 해상도 변경을 적용할 수 있다.According to an embodiment of the present invention, the
본 발명의 일 실시예에 따르면, 서버를 이용하여 영상의 해상도를 변경하는 경우, 발생되는 앨리어싱을 감소 및 선명도를 향상시키는 효과를 유지하면서도 해상도 변경 처리 속도가 빨라질 수 있다. 이는 전자장치 내 구비되는 해상도 변경, 선명도 향상 처리를 픽셀별로 수행하는 LPF 혹은 이를 포함하는 회로를 물리적으로 많이 구비할 수 있기 때문이다.According to an embodiment of the present invention, when the resolution of an image is changed using a server, the resolution change processing speed can be increased while maintaining the effects of reducing aliasing and improving sharpness. This is because an LPF for performing resolution change and sharpness improvement processing provided in the electronic device for each pixel or a circuit including the same can be physically provided.
이 외에도, 상기한 동작은 동작 효율 등을 따져 설계 방식에 따라서는 시스템 내에서, 전자장치(100)와 서버(200)가 동작 단계를 분담하여 수행하도록 설계될 수 있다.In addition, the above-described operation may be designed so that the
100: 전자장치
110: 인터페이스부
120: 디스플레이부
130: 사용자입력부
140: 저장부
150: 마이크로폰
160: 스피커
170: 센서
180: 프로세서100: electronic device
110: interface unit
120: display unit
130: user input unit
140: storage
150: microphone
160: speaker
170: sensor
180: processor
Claims (17)
영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하고,
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는
프로세서를 포함하는 전자장치.In an electronic device,
In order to perform sampling so as to change the resolution of the image, frequency filtering is performed to pass frequency components below the cutoff frequency defined based on the degradation of image quality due to the sampling to the first signal to obtain a second signal,
Based on the processing intensity identified corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, performing sharpness improvement processing for amplifying the frequency component of the second signal
An electronic device comprising a processor.
상기 프로세서는,
상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 전자장치.The method of claim 1,
The processor is
An electronic device for identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.
상기 프로세서는,
상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하고,
상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 전자장치.According to claim 1,
The processor is
performing full-band frequency filtering on the first signal to obtain a third signal,
An electronic device for identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the second signal and the third signal.
상기 프로세서는,
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별하는 전자장치.According to claim 1,
The processor is
The electronic device identifies the processing intensity as being low when the magnitude of the frequency component greater than or equal to the cut-off frequency remaining in the second signal is large.
상기 프로세서는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고,
상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 전자장치. According to claim 1,
The processor is
To obtain a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency,
and a signal obtained through a difference between the second signal and the fourth signal is added to the second signal to perform the sharpness improvement process.
상기 프로세서는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하고,
상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하고,
상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 전자장치. The method of claim 1,
The processor is
To obtain a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency,
Obtaining a fifth signal by performing frequency filtering in the first signal to pass a frequency component of a second frequency or less lower than the first frequency;
and a signal obtained through a difference between the fourth signal and the fifth signal is added to the second signal to perform the sharpness improvement process.
디스플레이를 더 포함하고,
상기 프로세서는,
상기 선명도 향상 처리가 수행된 영상을 상기 디스플레이에 표시하는 전자장치. The method of claim 1,
further comprising a display;
The processor is
An electronic device for displaying the image on which the sharpness enhancement process has been performed on the display.
상기 프로세서는,
상기 영상을 복수의 영역으로 분할하고,
상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행하는 전자장치. The method of claim 1,
The processor is
dividing the image into a plurality of regions,
An electronic device that performs the sharpness improvement process for each of the plurality of divided regions.
영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 전자장치의 제어방법.In the control method of an electronic device,
obtaining a second signal by performing frequency filtering of passing a frequency component below a cut-off frequency defined based on the degradation of the image quality due to the sampling to the first signal in order to perform sampling to change the resolution of the image; and
Based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, it characterized in that it comprises the step of performing sharpness improvement processing for amplifying the frequency component of the second signal. Control method of electronic device.
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호와 상기 제2신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함하는 전자장치의 제어방법.10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
and identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the first signal and the second signal.
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호에 전대역 주파수 필터링을 수행하여 제3신호를 획득하는 단계; 및
상기 제2신호와 상기 제3신호 간의 차분을 통해 상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기를 식별하는 단계를 포함하는 전자장치의 제어방법.10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
obtaining a third signal by performing full-band frequency filtering on the first signal; and
and identifying a magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal through a difference between the second signal and the third signal.
상기 선명도 향상 처리를 수행하는 단계는,
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기가 크면 상기 처리 강도는 낮은 것으로 상기 처리 강도를 식별하는 단계를 포함하는 전자장치의 제어방법.10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
and identifying the processing intensity as having a low processing intensity when the magnitude of a frequency component greater than or equal to the cut-off frequency remaining in the second signal is large.
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계; 및
상기 제2신호에 상기 제2신호와 상기 제4신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함하는 전자장치의 제어방법.10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
obtaining a fourth signal by performing frequency filtering in the first signal to pass frequency components below a first frequency lower than the cut-off frequency; and
and performing the sharpness improvement process by adding a signal obtained through a difference between the second signal and the fourth signal to the second signal.
상기 선명도 향상 처리를 수행하는 단계는,
상기 제1신호에서 상기 차단주파수 보다 낮은 제1주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제4신호를 획득하는 단계;
상기 제1신호에서 상기 제1주파수 보다 낮은 제2주파수 이하의 주파수 성분을 통과시키는 주파수 필터링을 수행하여 제5신호를 획득하는 단계; 및
상기 제2신호에 상기 제4신호와 상기 제5신호 간의 차분을 통해 획득한 신호를 더함으로써 상기 선명도 향상 처리를 수행하는 단계를 포함하는 전자장치의 제어방법.10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
obtaining a fourth signal by performing frequency filtering in the first signal to pass a frequency component less than a first frequency lower than the cut-off frequency;
obtaining a fifth signal by performing frequency filtering in the first signal to pass frequency components less than a second frequency lower than the first frequency; and
and performing the sharpness improvement process by adding a signal obtained through a difference between the fourth signal and the fifth signal to the second signal.
상기 선명도 향상 처리가 수행된 영상을 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 하는 전자장치의 제어방법. 10. The method of claim 9,
The method of controlling an electronic device, characterized in that it further comprises the step of displaying the image on which the sharpness enhancement processing has been performed on a display.
상기 선명도 향상 처리를 수행하는 단계는,
상기 영상을 복수의 영역으로 분할하는 단계; 및
상기 분할된 복수의 영역별로 상기 선명도 향상 처리를 수행하는 단계를 포함하는 전자장치의 제어방법. 10. The method of claim 9,
The step of performing the sharpness enhancement processing comprises:
dividing the image into a plurality of regions; and
and performing the sharpness enhancement process for each of the plurality of divided regions.
영상의 해상도가 변경되도록 샘플링을 수행하기 위하여 제1신호에 상기 샘플링에 의한 화질 저하에 기초하여 정의된 차단주파수 이하의 주파수성분을 통과시키는 주파수 필터링을 수행하여 제2신호를 획득하는 단계; 및
상기 제2신호에 잔존하는 상기 차단주파수 이상의 주파수성분의 크기에 대응하여 식별된 처리 강도에 기초하여, 상기 제2신호의 주파수성분을 증폭시키는 선명도 향상 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.A computer-readable code, comprising: a computer program storing a code for performing a control method of an electronic device;
obtaining a second signal by performing frequency filtering of passing a frequency component below a cut-off frequency defined based on the degradation of the image quality due to the sampling to the first signal in order to perform sampling to change the resolution of the image; and
Based on the identified processing intensity corresponding to the magnitude of the frequency component above the cut-off frequency remaining in the second signal, it characterized in that it comprises the step of performing sharpness improvement processing for amplifying the frequency component of the second signal. A recording medium on which a computer-readable program is recorded.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110514A KR20220028891A (en) | 2020-08-31 | 2020-08-31 | Electronic apparatus and the method thereof |
PCT/KR2021/008093 WO2022045556A1 (en) | 2020-08-31 | 2021-06-28 | Electronic device and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110514A KR20220028891A (en) | 2020-08-31 | 2020-08-31 | Electronic apparatus and the method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220028891A true KR20220028891A (en) | 2022-03-08 |
Family
ID=80353500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200110514A KR20220028891A (en) | 2020-08-31 | 2020-08-31 | Electronic apparatus and the method thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20220028891A (en) |
WO (1) | WO2022045556A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100477659B1 (en) * | 2002-08-10 | 2005-03-22 | 삼성전자주식회사 | Apparatus and method for detecting frequency characterization |
KR20150093993A (en) * | 2014-02-10 | 2015-08-19 | 한국전자통신연구원 | Method and apparatus for image reconstruction using super-resolution |
KR101651741B1 (en) * | 2014-09-30 | 2016-08-26 | 한국전자통신연구원 | High resolution image generation apparatus and method for each region of the sharpened image |
KR20180097342A (en) * | 2017-02-23 | 2018-08-31 | 한국전자통신연구원 | Method and apparatus for sharpening super resolution image with minimum image artifacts |
KR102155242B1 (en) * | 2019-02-20 | 2020-09-11 | 숭실대학교산학협력단 | Image restoration apparatus and method |
-
2020
- 2020-08-31 KR KR1020200110514A patent/KR20220028891A/en unknown
-
2021
- 2021-06-28 WO PCT/KR2021/008093 patent/WO2022045556A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022045556A1 (en) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107945163B (en) | Image enhancement method and device | |
US10957093B2 (en) | Scene-based foveated rendering of graphics content | |
CN108234882B (en) | Image blurring method and mobile terminal | |
US11490157B2 (en) | Method for controlling video enhancement, device, electronic device and storage medium | |
TWI826639B (en) | Electronic device, image processor of electronic device and method for sharpen image | |
KR102661879B1 (en) | Image processing apparatus and image processing method thereof | |
CN110781899A (en) | Image processing method and electronic device | |
CN111971972A (en) | Electronic device and control method of electronic device | |
CN110070551A (en) | Rendering method, device and the electronic equipment of video image | |
JP2019532566A (en) | Video processing apparatus and recording medium | |
KR20220061467A (en) | Electronic device and Method for processing the audio signal thereof | |
CN110689478B (en) | Image stylization processing method and device, electronic equipment and readable medium | |
CN103871035B (en) | Image denoising method and device | |
KR102623148B1 (en) | Electronic apparatus and controlling method thereof | |
KR20220028891A (en) | Electronic apparatus and the method thereof | |
JP7387917B2 (en) | Content-based image processing | |
CN110349109B (en) | Fisheye distortion correction method and system and electronic equipment thereof | |
KR20220065370A (en) | Electronice device and control method thereof | |
US20230126778A1 (en) | Image processing apparatus and method for processing image thereby | |
KR20230060338A (en) | Image processing apparatus and method for processing image thereby | |
KR102722495B1 (en) | Electronice device and control method thereof | |
KR20210062485A (en) | Electronic apparatus and control method thereof | |
EP4209989A1 (en) | Device and method for generating image in which subject has been captured | |
KR20220012746A (en) | Electronice device and control method thereof | |
KR20240115657A (en) | Electronic apparatus and control method thereof |