KR20230036409A - 이미지를 선명화하는 전자 장치 및 그 동작 방법 - Google Patents
이미지를 선명화하는 전자 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR20230036409A KR20230036409A KR1020210119214A KR20210119214A KR20230036409A KR 20230036409 A KR20230036409 A KR 20230036409A KR 1020210119214 A KR1020210119214 A KR 1020210119214A KR 20210119214 A KR20210119214 A KR 20210119214A KR 20230036409 A KR20230036409 A KR 20230036409A
- Authority
- KR
- South Korea
- Prior art keywords
- weights
- sharpening kernel
- sharpening
- kernel
- image
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000003190 augmentative effect Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 41
- 238000005070 sampling Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
이미지를 선명화하는 전자 장치 및 그 동작 방법이 제공된다. 전자 장치가 이미지를 선명화하는 방법은, 전자 장치의 카메라에 의해 생성되는 이미지를 획득하는 단계; 이미지의 선명도를 개선하기 위한 제1 선명화 커널을 획득하되, 제1 선명화 커널은, 이미지의 픽셀들에 대하여 적용될 복수의 가중치들을 포함하며, 이미지의 해상도보다 작은 해상도를 갖는 데이터인 것인, 단계; 제1 선명화 커널의 복수의 가중치들 중에서, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계; 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성하는 단계; 및 제2 선명화 커널을 이미지에 적용하여, 선명화 된 이미지를 획득하는 단계를 포함할 수 있다.
Description
선명화 커널을 이용하여 이미지를 선명화하는 전자 장치 및 그 동작 방법이 제공된다.
전자 장치에서 이미지 내 블러 제거를 위한 이미지 프로세싱 방법으로써, 점확산함수의 추정에 기초한 선명화 커널을 이용하여 이미지를 선명화하는 기술이 활용되고 있다. 전자 장치는 선명화 커널을 생성하고, 선명화 커널과 이미지의 컨볼루션 연산을 함으로써, 선명화 된 이미지를 생성하는 이미지 복원 기술을 제공할 수 있다.
전자 장치가 이미지 선명화를 위해 컨볼루션 연산을 수행하는 경우, 선명화 커널의 크기에 따라서, 이미지 복원에 필요한 연산량이 증가할 수 있다. 전자 장치가 이미지를 선명화하는 방법에 있어서, 선명화 커널을 경량화하여 감소된 연산량으로 이미지를 선명화 할 수 있는 방법을 제시하고자 한다.
개시된 실시예들은, 전술한 문제를 해결하기 위한 것으로서, 이미지를 선명화하는 전자 장치 및 그 동작 방법을 제공하기 위한 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 전자 장치가 이미지를 선명화 하는 방법을 제공할 수 있다. 상기 방법은, 전자 장치의 카메라에 의해 생성되는 이미지를 획득하는 단계; 이미지의 선명도를 개선하기 위한 제1 선명화 커널을 획득하되, 제1 선명화 커널은, 이미지의 픽셀들에 대하여 적용될 복수의 가중치들을 포함하며, 이미지의 해상도보다 작은 해상도를 갖는 데이터인 것인, 단계; 제1 선명화 커널의 복수의 가중치들 중에서, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계; 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성하는 단계; 및 제2 선명화 커널을 이미지에 적용하여, 선명화 된 이미지를 획득하는 단계를 포함할 수 있다.
또한, 본 개시의 제2 측면은, 이미지를 선명화하는 전자 장치를 제공할 수 있다. 상기 전자 장치는, 통신 인터페이스; 카메라 모듈; 하나 이상의 명령어들(instructions)을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 상기 카메라 모듈에 의해 생성되는 이미지를 획득하고, 상기 이미지의 선명도를 개선하기 위한 제1 선명화 커널을 획득하되, 상기 제1 선명화 커널은, 상기 이미지의 픽셀들에 대하여 적용될 복수의 가중치들을 포함하며, 상기 이미지의 해상도보다 작은 해상도를 갖는 데이터인 것이며, 상기 제1 선명화 커널의 상기 복수의 가중치들 중에서, 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하고, 상기 결정된 좌표들에 대응되는 상기 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성하고, 상기 제2 선명화 커널을 상기 이미지에 적용하여, 선명화 된 이미지를 획득할 수 있다.
또한, 본 개시의 제3 측면은, 제1 측면의 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 제공할 수 있다.
도 1은 일 실시예에 따른 전자 장치가 이미지를 선명화 하는 동작을 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 전자 장치가 이미지를 선명화 하는 방법을 설명하기 위한 흐름도이다.
도 3은 도 2 를 더 설명하기 위한 도면으로, 일 실시예에 따른 전자 장치가 제1 선명화 커널 및 제2 선명화 커널을 획득하는 방법을 개략적으로 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 전자 장치가 제1 선명화 커널을 이용하여 이미지를 선명화하는 경우, 컨볼루션 연산을 설명하기 위한 도면이다.
도 5a는 일 실시예에 따른 전자 장치가 획득한 제1 선명화 커널의 예시를 도시한 도면이다.
도 5b는 일 실시예에 따른 전자 장치가 획득한 제1 선명화 커널의 예시를 더 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 제1 선명화 커널의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정하는 방법을 설명하기 위한 도면이다.
도 7a는 도 6을 더 설명하기 위한 도면으로, 제1 선명화 커널의 절대값을 취한 것을 도시한 도면이다.
도 7b는 도 6을 더 설명하기 위한 도면으로, 고역 필터가 적용된 제1 선명화 커널의 절대값을 취한 것을 도시한 도면이다.
도 8a는 일 실시예에 따른 전자 장치가 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하여 경량화된 제2 선명화 커널을 생성하는 방법을 설명하기 위한 도면이다.
도 8b는 일 실시예에 따른 전자 장치가 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하여 경량화된 제2 선명화 커널을 생성하는 방법을 더 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 전자 장치가 제1 선명화 커널의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정하는 다른 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 전자 장치가 제1 선명화 커널을 보간하여 증강된 제1 선명화 커널을 생성하고, 제3 선명화 커널 및 제4 선명화 커널을 생성하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 전자 장치가 제3 선명화 커널과 제4 선명화 커널을 비교하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 전자 장치가 제3 선명화 커널과 제4 선명화 커널을 비교함으로써, 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들을 결정한 결과를 도시한 도면이다.
도 13은 일 실시예에 따른 전자 장치가 제2 선명화 커널과 이미지의 컨볼루션 연산을 수행하기 위해, 이미지에 보간을 수행하는 방법을 설명하기 위한 흐름도이다.
도 14는 도 13을 더 설명하기 위한 도면으로, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는 경우를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 전자 장치에서 수행되는 이미지 프로세싱 동작의 일부를 도시한 도면이다.
도 16은 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 17은 일 실시예에 따른 전자 장치의 다른 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 전자 장치가 이미지를 선명화 하는 방법을 설명하기 위한 흐름도이다.
도 3은 도 2 를 더 설명하기 위한 도면으로, 일 실시예에 따른 전자 장치가 제1 선명화 커널 및 제2 선명화 커널을 획득하는 방법을 개략적으로 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 전자 장치가 제1 선명화 커널을 이용하여 이미지를 선명화하는 경우, 컨볼루션 연산을 설명하기 위한 도면이다.
도 5a는 일 실시예에 따른 전자 장치가 획득한 제1 선명화 커널의 예시를 도시한 도면이다.
도 5b는 일 실시예에 따른 전자 장치가 획득한 제1 선명화 커널의 예시를 더 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 제1 선명화 커널의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정하는 방법을 설명하기 위한 도면이다.
도 7a는 도 6을 더 설명하기 위한 도면으로, 제1 선명화 커널의 절대값을 취한 것을 도시한 도면이다.
도 7b는 도 6을 더 설명하기 위한 도면으로, 고역 필터가 적용된 제1 선명화 커널의 절대값을 취한 것을 도시한 도면이다.
도 8a는 일 실시예에 따른 전자 장치가 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하여 경량화된 제2 선명화 커널을 생성하는 방법을 설명하기 위한 도면이다.
도 8b는 일 실시예에 따른 전자 장치가 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하여 경량화된 제2 선명화 커널을 생성하는 방법을 더 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 전자 장치가 제1 선명화 커널의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정하는 다른 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 전자 장치가 제1 선명화 커널을 보간하여 증강된 제1 선명화 커널을 생성하고, 제3 선명화 커널 및 제4 선명화 커널을 생성하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 전자 장치가 제3 선명화 커널과 제4 선명화 커널을 비교하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 전자 장치가 제3 선명화 커널과 제4 선명화 커널을 비교함으로써, 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들을 결정한 결과를 도시한 도면이다.
도 13은 일 실시예에 따른 전자 장치가 제2 선명화 커널과 이미지의 컨볼루션 연산을 수행하기 위해, 이미지에 보간을 수행하는 방법을 설명하기 위한 흐름도이다.
도 14는 도 13을 더 설명하기 위한 도면으로, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는 경우를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 전자 장치에서 수행되는 이미지 프로세싱 동작의 일부를 도시한 도면이다.
도 16은 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 17은 일 실시예에 따른 전자 장치의 다른 구성을 도시한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 전자 장치가 이미지를 선명화 하는 동작을 개략적으로 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(2000)는, 전자 장치의 카메라에 의해 생성되는 이미지를 획득할 수 있다.
일 실시예에서, 전자 장치(2000)의 카메라에 회절 광학 소자(Diffractive Optical Element; DOE) 등이 포함되는 경우, 전자 장치(2000)의 카메라에 의해 생성되는 이미지는 회절 광학 소자로 인해 흐림이 발생한 블러 이미지(110)일 수 있다. 일 실시예에 따른 전자 장치(2000)는 소정의 이미지 처리 단계들을 통해, 블러 이미지(110)를 복원하여 선명화된 이미지(140)를 획득할 수 있다.
일 실시예에서, 전자 장치(2000)는 블러 이미지(110)를 선명화하기 위해 선명화 커널을 생성할 수 있다. 개시된 실시예에서 선명화 커널이란, 블러 이미지에 적용되어 컨볼루션 연산을 수행함으로써 선명화된 이미지를 획득하기 위한 데이터를 말한다. 또한, 커널은 마스크 또는 필터로 지칭될 수 있다. 또한, 선명화 커널을 이용하여 선명화된 이미지를 획득하는 과정은 디컨볼루션으로 지칭될 수 있으므로, 선명화 커널은 디컨볼루션 커널로 지칭될 수 있다. 이하에서는 설명의 편의를 위하여, 선명화된 이미지를 획득하기 위한 데이터를 선명화 커널로 지칭하기로 한다. 구체적으로, 전자 장치(2000)는 블러 이미지(110)를 선명화하기 위한 제1 선명화 커널(120) 및 제2 선명화 커널(130)을 생성할 수 있다.
일 실시예에서, 전자 장치(2000)는 전자 장치(2000)의 카메라 모듈의 특성에 따른 점확산함수를 추정하고, 점확산함수에 기초하여 블러 이미지(110)를 선명화하기 위한 제1 선명화 커널(120)을 획득할 수 있다. 제1 선명화 커널(120)은 전자 장치(2000)의 카메라 모듈에 특성에 따라 상이한 해상도를 가질 수 있다. 예를 들어, 전자 장치(2000)의 카메라 모듈의 특성에 따른 점확산함수의 크기가 커지는 경우, 단일 픽셀의 주변 픽셀들에 대한 영향이 더 널리 퍼지므로, 이에 대응되는 제1 선명화 커널(120)의 크기가 더 커질 수 있다. 여기서 선명화 커널의 크기가 커진다 함은, 선명화 커널에 포함되는 가중치들의 개수가 증가함을 말한다.
전자 장치(2000)는 제1 선명화 커널(120)의 크기가 증가함에 따른 연산량을 감소시키기 위해, 제1 선명화 커널(120)을 경량화한 제2 선명화 커널(130)을 생성할 수 있다. 제2 선명화 커널(130)은 제1 선명화 커널(120) 내 가중치들 중에서 일부의 가중치들만을 선택함으로써 생성된 선명화 커널로, 제1 선명화 커널(120)보다 적은 개수의 가중치를 포함할 수 있다. 또한, 제2 선명화 커널(130)은, 제1 선명화 커널 내에서 가중치들을 균일한 밀도로 샘플링한 것이 아닌, 제1 선명화 커널(120) 내 가중치들 중에서 대표 값들로 결정된 가중치들을 선택함으로써 생성된 커널일 수 있다.
일 실시예에 따른 전자 장치(2000)는 제2 선명화 커널(130)을 생성하고, 제2 선명화 커널(130)을 블러 이미지(110)에 적용함으로써 이미지를 선명화하여, 선명화 된 이미지(140)를 획득할 수 있다.
도 2는 일 실시예에 따른 전자 장치가 이미지를 선명화 하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 일 실시예에 따른 전자 장치(2000)는 전자 장치(2000)의 카메라에 의해 생성되는 이미지를 획득한다.
일 실시예에서, 전자 장치(2000)의 카메라는 회절 광학 소자(Diffractive Optical Element; DOE)를 포함하는 카메라(예를 들어, 확장 깊이 필드(Extended Depth of Fields; EDoF) 카메라)를 포함할 수 있다. 이 경우, 전자 장치(2000)의 카메라에 의해 생성되는 이미지는, 회절 광학 소자로 인해 흐림이 발생하는, 블러 이미지일 수 있다. 회절 광학 소자로 인해 흐림이 발생하는 블러 이미지는, 소정의 이미지 처리 단계들을 통해 블러 이미지를 복원하여 선명화된 이미지를 획득할 수 있다. 전자 장치(2000)는 회절 광학 소자로 인해 흐림이 발생한 블러 이미지를 복원함으로써, 전경과 배경의 초점이 유지되며, 포커스 조정이 없더라도 확장된 심도를 갖는 선명화된 이미지를 획득할 수 있다.
단계 S220에서, 일 실시예에 따른 전자 장치(2000)는 이미지의 선명도를 개선하기 위한 제1 선명화 커널을 획득한다. 개시된 실시예에서 선명화 커널이란, 블러 이미지에 적용되어 컨볼루션 연산을 수행함으로써 선명화된 이미지를 획득하기 위한 데이터를 말한다. 또한, 커널은 마스크 또는 필터로 지칭될 수 있다. 또한, 선명화 커널을 이용하여 선명화된 이미지를 획득하는 과정은 디컨볼루션으로 지칭될 수 있으므로, 선명화 커널은 디컨볼루션 커널로 지칭될 수 있다. 이하에서는 설명의 편의를 위하여, 선명화된 이미지를 획득하기 위한 데이터를 선명화 커널로 지칭하기로 한다. 전자 장치(2000)는 점 입력이 광학계를 통과한 후의 출력을 나타내는 점확산함수(Point Spread Function; PSF)를 추정하고, 점확산함수에 기초하여, 블러 이미지의 복원이 가능한 제1 선명화 커널을 생성할 수 있다. 제1 선명화 커널에 대하여는, 도 3을 참조하여 후에 더 설명하기로 한다.
단계 S230에서, 일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널의 복수의 가중치들 중에서, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정한다.
일 실시예에서, 제1 선명화 커널의 대표 값들이란, 제1 선명화 커널에 포함되는 복수의 가중치들의 값들 중에서, 제1 선명화 커널의 모양의 특징점을 나타내는 값들일 수 있다. 예를 들어, 제1 선명화 커널의 대표 값은, 제1 선명화 커널 내의 극점 또는 안장점(saddle point)일 수 있다.
일 실시예에서, 제1 선명화 커널 내에서 결정되는 대표 값들은, 제1 선명화 커널 내에서 균일하지 않은 밀도로 결정될 수 있다. 예를 들어, 제1 선명화 커널의 대표 값들은, 제1 선명화 커널의 모양이 변화되는 특징점들을 반영하기 위해 제1 선명화 커널 내에서 곡률이 높은 부분일수록, 대표 값들의 밀도가 높게 결정될 수 있다.
일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널의 복수의 가중치들 중에서, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들을 결정할 수 있다. 또한, 전자 장치(2000)는 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다.
단계 S240에서, 일 실시예에 따른 전자 장치(2000)는 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성한다. 일 실시예에서, 제2 선명화 커널은 제1 선명화 커널과 동일한 해상도를 갖고, 선택된 일부의 가중치들을 제외한 나머지 값들은 0인 선명화 커널일 수 있다. 즉, 제2 선명화 커널은 제1 선명화 커널보다 유효 가중치의 개수가 적은, 경량화된 선명화 커널일 수 있다.
단계 S250에서, 일 실시예에 따른 전자 장치는 제2 선명화 커널을 이미지에 적용하여, 선명화 된 이미지를 획득한다.
일 실시예에서, 전자 장치(2000)가 단계 S210에서 획득한 이미지는 블러 이미지일 수 있다. 전자 장치(2000)는 제2 선명화 커널을 이용하여, 블러 이미지에 대하여 컨볼루션 연산을 수행함으로써 블러 이미지를 선명화 할 수 있다. 일 실시예에 따른 전자 장치(2000)는 블러 이미지를 선명화 할 때, 경량화된 선명화 커널인 제2 선명화 커널을 이용하여 블러 이미지를 선명화함으로써, 제1 선명화 커널을 이용하는 경우보다 연산량을 감소시킬 수 있다.
도 3은 도 2 를 더 설명하기 위한 도면으로, 일 실시예에 따른 전자 장치가 제1 선명화 커널 및 제2 선명화 커널을 획득하는 방법을 개략적으로 설명하기 위한 도면이다.
단계 S310에서, 일 실시예에 따른 전자 장치(2000)는 레퍼런스 이미지를 획득할 수 있다. 레퍼런스 이미지란, 전자 장치(2000)의 카메라 모듈의 포함되는 이미지 센서, 회절 광학 소자 등의 광학적 특성에 따라 점 확산 함수를 추정하기 위한 이미지일 수 있다. 예를 들어, 레퍼런스 이미지는 점 입력이 광학계를 통과한 후의 이미지를 획득할 수 있도록, 점 광원을 촬영한 이미지일 수 있으나, 이에 한정되는 것은 아니다.
단계 S320에서, 일 실시예에 따른 전자 장치(2000)는 레퍼런스 이미지에 기초하여 점확산함수(Point Spread Function; PSF)를 추정할 수 있다. 일 실시예에서, 전자 장치(2000)의 카메라 모듈의 이미지 센서, 이미지 센서, 렌즈(예를 들어, 회절 광학 소자)등이 상이함에 따라 점확산함수 또한 상이할 수 있다. 전자 장치(2000)는 전자 장치(2000)의 카메라 모듈을 이용하여 획득한 레퍼런스 이미지에 기초하여, 전자 장치(2000)의 카메라 모듈의 특성에 대응되는 점확산함수를 추정할 수 있다. 전자 장치(2000)가 점확산함수를 추정하는 방법은, 알려진 기술들이 적용될 수 있다. 이는 통상의 기술자에 의하여 명확하게 추론될 수 있으므로, 구체적인 설명을 생략하기로 한다.
단계 S330에서, 일 실시예에 따른 전자 장치(2000)는 점확산함수에 기초하여 제1 선명화 커널을 획득할 수 있다. 전자 장치(2000)는 주파수 도메인으로 변환한 점확산함수에 기초하여, 주파수 도메인의 제1 선명화 커널을 획득할 수 있다. 전자 장치(2000)가 획득한 주파수 도메인의 제1 선명화 커널은 예를 들어, 위너 필터(Wiener Filter)일 수 있으나, 이에 한정되는 것은 아니다.
단계 S340에서, 일 실시예에 따른 전자 장치(2000)는 주파수 도메인의 제1 선명화 커널을 공간 도메인으로 변환하여 공간 도메인의 제1 선명화 커널을 획득할 수 있다. 공간 도메인으로 변환된 제1 선명화 커널은, 소정의 해상도를 가질 수 있다. 예를 들어, 제1 선명화 커널이 M x N(M, N은 정수)의 해상도를 가질 수 있다. 이 경우, 제1 선명화 커널에 포함되는 복수개의 가중치들은 M x N개일 수 있다. 공간 도메인으로 변환된 제1 선명화 커널의 복수의 가중치들 각각은, 제1 선명화 커널과 블러 이미지의 컨볼루션 연산이 수행될 수 있도록 픽셀 격자에 대응될 수 있다. 전자 장치(2000)는 공간 도메인으로 변환된 제1 선명화 커널에 대응되는 공간 도메인 내에서, 제1 선명화 커널 내의 복수의 가중치들의 좌표 값들을 결정할 수 있다. 예를 들어, 전자 장치(2000)는 공간 도메인으로 변환된 제1 선명화 커널의 중심점에 대응하는 가중치의 좌표를 영점으로 결정할 수 있다. 단계 S310 내지 S340은, 도 2의 단계 S220에 대응될 수 있다.
단계 S350에서, 일 실시예에 따른 전자 장치(2000)는 공간 도메인으로 변환된 제1 선명화 커널에 대응되는 공간 도메인 내에서, 공간 도메인으로 변환된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 단계 S350은 도 2의 단계 S230에 대응될 수 있다.
단계 S360에서, 일 실시예에 따른 전자 장치(2000)는 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성할 수 있다. 단계 S360은 도 2의 단계 S240에 대응될 수 있다.
설명의 편의를 위하여, 본 개시의 이하의 설명들에서는 공간 도메인으로 변환된 제1 선명화 커널을 공간 도메인을 생략하고 제1 선명화 커널로 지칭하기로 한다.
도 4는 일 실시예에 따른 전자 장치가 제1 선명화 커널을 이용하여 이미지를 선명화하는 경우, 컨볼루션 연산을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 전자 장치(2000)가 도 3에서 전술한 방법들에 의해 획득한 제1 선명화 커널은, 전자 장치(2000)의 카메라 모듈의 특성에 따라 상이한 해상도를 가질 수 있다. 예를 들어, 전자 장치(2000)의 확장 깊이 필드(Extended Depth of Fields; EDoF) 카메라로 구성되는 경우, 전자 장치(2000)에 의해 생성된 이미지는 일반 카메라에 의해 생성된 이미지보다 블러 정도가 더 큰, 흐릿한 이미지일 수 있다. 즉, 전자 장치(2000)의 카메라 모듈의 특성에 따라, 전자 장치(2000)에서 추정되는 점확산함수가 상이할 수 있다. 점확산함수가 커지는 경우, 단일 픽셀의 이웃한 픽셀들로의 영향이 더 널리 퍼지므로, 이에 대응되는 제1 선명화 커널의 크기가 더 커질 수 있다.
예를 들어, 전자 장치(2000)가 획득한 제1 선명화 커널은, 7x7 사이즈의 제1 선명화 커널(410)일 수 있다. 전자 장치(2000)가 7x7 사이즈의 제1 선명화 커널(410)을 획득한 경우, 단일 픽셀에 대한 컨볼루션 연산의 곱셈 및 덧셈 연산 수는 49일 수 있다. 이 경우, 전자 장치(2000)가 7x7 사이즈의 제1 선명화 커널(410)을 이용하여 1280x720의 해상도를 갖는 이미지(430)을 선명화를 수행한다면, 전체 컨볼루션 연산의 곱셈 및 덧셈 연산 수는 45,158,400일 수 있다.
다른 예에서, 전자 장치(2000)가 획득한 제1 선명화 커널은, 전술한 예시인 7x7 사이즈의 제1 선명화 커널(410)보다 큰 해상도를 갖는, 13x13사이즈의 제1 선명화 커널(420)일 수 있다. 전자 장치(2000)가 13x13 사이즈의 제1 선명화 커널(420)을 획득한 경우, 단일 픽셀에 대한 컨볼루션 연산의 곱셈 및 덧셈 연산 수는 169일 수 있다. 이 경우, 전자 장치(2000)가 13x13 사이즈의 제1 선명화 커널(420)을 이용하여 1280x720의 해상도를 갖는 이미지(430)을 선명화를 수행한다면, 전체 컨볼루션 연산의 곱셈 및 덧셈 연산 수는 155,750,400일 수 있다.
일 실시예에 따른 전자 장치(2000)의 카메라 모듈의 특성에 따른 점확산함수가 커질수록, 전자 장치(2000)가 이미지를 선명화하기 위해 획득하는 제1 선명화 커널의 크기가 커지므로, 전자 장치(2000)가 이미지를 선명화하기 위한 연산량 또한 증가한다. 전자 장치(2000)는 제1 선명화 커널을 경량화한, 제2 선명화 커널을 생성하고, 경량화된 제2 선명화 커널을 이용하여 이미지를 선명화함으로써, 전자 장치(2000)가 이미지를 선명화하기 위한 연산량을 감소시킬 수 있다.
도 5a는 일 실시예에 따른 전자 장치가 획득한 제1 선명화 커널의 예시를 도시한 도면이다.
도 5a를 참조하면, 일 실시예에 따른 전자 장치(2000)는 전술한 실시예들에 따라 제1 선명화 커널을 획득할 수 있다. 전자 장치(2000)가 획득한 제1 선명화 커널(Kh)(510)은 13x13 사이즈를 갖는 행렬 구조일 수 있다. 제1 선명화 커널(510)은 복수의 가중치들을 포함할 수 있다. 예를 들어, 제1 선명화 커널(510)의 사이즈가 13x13이므로, 복수의 가중치들은 169개일 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널(510)에 대응되는 공간 도메인 내에서, 제1 선명화 커널 내의 복수의 가중치들의 좌표 값들을 결정할 수 있다. 예를 들어, 전자 장치(2000)는 제1 선명화 커널의 중심점에 대응하는 가중치 ‘0.742’의 좌표를 (0,0) 으로 결정할 수 있다.
일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널(510)의 복수의 가중치들 중에서, 제1 선명화 커널(510)의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다.
전자 장치(2000)는 제1 선명화 커널(510)의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널(510)의 대표 값들을 나타내는 일부의 가중치들을 제1 선명화 커널(510)의 복수의 가중치들 중에서 결정할 수 있다. 예를 들어, 전자 장치(2000)는 제1 선명화 커널(510)의 (0.0, 0.0), (-3.0, -2.0), (3.0, -2.0), (-3.0, 2.0), (3.0, 2.0)에 위치한 가중치들을 제1 선명화 커널(510)의 대표 값으로 결정하고, 제1 선명화 커널(510)의 좌표들인 (0.0, 0.0), (-3.0, -2.0), (3.0, -2.0), (-3.0, 2.0), (3.0, 2.0)을 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들로 결정할 수 있다. 이는, 도 6 내지 도 8b를 참조하여 후에 더 설명하기로 한다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널(510)의 대표 값들을 나타내는 일부의 가중치들을 제1 선명화 커널(510)의 복수의 가중치들 외의 다른 값들 중에서 결정할 수 있다. 예를 들어, 전자 장치(2000)는 제1 선명화 커널(510)의 복수의 가중치들에 대하여, 인접한 가중치들에 보간을 수행함으로써 새로운 가중치들을 포함하는 증강된 제1 선명화 커널을 생성할 수 있다. 전자 장치(2000)는 새로운 가중치들을 포함하는 증강된 제1 선명화 커널의 가중치들 중에서 대표 값들을 나타내는 일부의 가중치들을 결정할 수 있다. 이 경우, 결정된 좌표들은 (0.0, 0.0), (-2.5, -2.0), (2.5, -2.0), (-2.5, 2.0), (2.5, 2.0) 일 수 있다. 이는, 도 9 내지 도 12를 참조하여 후에 더 설명하기로 한다.
도 5b는 일 실시예에 따른 전자 장치가 획득한 제1 선명화 커널의 예시를 더 설명하기 위한 도면이다.
식별번호 520은 도 5a의 제1 선명화 커널(510)의 모양을 시각화한 결과를 도시한 것이다. 식별번호 520은 제1 선명화 커널(510)의 복수의 가중치 값들을 연속적인 값으로 나타낸 것일 수 있다. 도 5a의 제1 선명화 커널(510)은, 전자 장치(2000)가 제1 선명화 커널(510)과 블러 이미지의 컨볼루션 연산이 수행될 수 있도록 하기 위해 제1 선명화 커널(510)의 복수의 가중치 값들이 픽셀 격자에 대응되도록 가중치 값들을 이산화한 것이다. 따라서, 전자 장치(2000)는 제1 선명화 커널(510)의 복수의 가중치들에 대하여, 인접한 가중치들에 보간을 수행함으로써 식별번호 520과 같은, 새로운 가중치들을 포함하는 증강된 제1 선명화 커널을 생성할 수 있다.
식별번호 530은 도 5a의 제1 선명화 커널(510)의 복수의 가중치들의 값들을 시각화한 결과를 도시한 것이다. 식별번호 530에서, 하나의 가중치 마다 하나의 색이 대응되도록 색칠되었으며, 가중치의 값이 양의 방향으로 값이 클수록 밝은 색으로 도시되었다.
도 6은 일 실시예에 따른 전자 장치가 제1 선명화 커널의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정하는 방법을 설명하기 위한 도면이다.
단계 S610에서, 일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널에 고역 필터(High Pass Filter; HPF)를 적용할 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널을 획득할 수 있다. 이 경우, 제1 선명화 커널 내 존재하는 복수의 가중치들 중에서, 양의 가중치들의 합은 음의 가중치들의 합보다 1만큼 클 수 있다. 전자 장치(2000)는 제1 선명화 커널에 고역 필터를 적용하여 경계(edge) 영역이 강조된, 고역 필터가 적용된 제1 선명화 커널을 획득할 수 있다. 고역 필터의 예로는, 라플레시안 필터 등이 적용될 수 있으나, 이에 한정되는 것은 아니다.
단계 S620에서, 일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널의 절대값 및 고역 필터가 적용된 제1 선명화 커널에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들 및 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 전자 장치(2000)는 기설정된 조건들에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들을 결정하고, 결정된 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다.
제1 조건은 제1 선명화 커널에 절대값을 취하고, 가중치의 절대값이 가장 큰 N개의 가중치들 중에서, 제1 선명화 커널의 대표 값들을 결정하는 것이다. 이는, 대표 값들로 구성된 제2 선명화 커널을 이용하여 이미지에 대한 컨볼루션 연산의 결과에 대표 값들로 인한 영향을 최대화하기 위함이다.
제2 조건은 고역 필터가 적용된 제1 선명화 커널에 절대값을 취하고, 절대값이 가장 큰 M개의 가중치들 중에서, 제1 선명화 커널의 대표 값들을 결정하는 것이다. 이는, 제1 선명화 커널의 그래디언트 벡터의 급격한 변화로 특정되는 위치를 좌표로 결정하기 위함이며, 제1 선명화 커널의 모양의 특징을 반영하는 위치의 가중치들을 대표 값으로 결정하기 위함이다.
제3 조건은 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들 중에서, 최대 값은 제1 선명화 커널의 중심점에 위치하며, 중심점의 좌표를 (0,0)으로 결정하는 것이다.
제4 조건은 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들의 위치가 대칭적인 것이다. 또한, 중심점의 좌표 (0,0)을 기준으로, 각 사분면에는 동일한 개수의 가중치들이 대표 값으로 결정되어야 한다.
일 실시예에 따른 전자 장치(2000)는 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제1 선명화 커널의 일부의 가중치들만을 샘플링하여 경량화된, 제2 선명화 커널을 생성할 수 있다.
도 7a는 도 6을 더 설명하기 위한 도면으로, 제1 선명화 커널의 절대값을 취한 것을 도시한 도면이다.
도 7a를 설명함에 있어서, 도 5a의 13x13 사이즈의 제1 선명화 커널(510)을 예시로 설명하기로 한다. 도 7a를 참조하면, 일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널의 절대값(710)을 획득할 수 있다. 전자 장치(2000)는 제1 선명화 커널의 절대값(710)으로부터 제1 선명화 커널의 대표 값들의 제1 후보 가중치들을 식별할 수 있다(제1 조건). 예를 들어, 전자 장치(2000)는 가중치의 절대값이 가장 큰 순서로 N개의 대표 값들의 제1 후보 가중치들을 식별하고, N개의 제1 후보 가중치들 중에서, 제1 선명화 커널의 대표 값들을 결정할 수 있다. 도 7a에서, 색칠된 가중치들은 제1 선명화 커널의 대표 값들의 제1 후보 가중치들을 나타내며, 색칠된 색이 더 어두울수록 가중치의 절대값이 더 큼을 나타낸다. 가중치의 절대값이 더 클수록, 제1 선명화 커널의 대표 값을 결정할 때 더 높은 우선순위를 갖는 후보 가중치일 수 있다.
전자 장치(2000)는 제1 선명화 커널의 절대값(710) 및 고역 필터가 적용된 제1 선명화 커널의 절대값(720)에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들 및 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 고역 필터가 적용된 제1 선명화 커널의 절대값(720)은 도 7b를 참조하여 설명하기로 한다.
도 7b는 도 6을 더 설명하기 위한 도면으로, 고역 필터가 적용된 제1 선명화 커널의 절대값을 취한 것을 도시한 도면이다.
도 7b를 설명함에 있어서, 도 5a의 13x13 사이즈의 제1 선명화 커널(510)을 예시로 설명하기로 한다. 도 7b를 참조하면, 일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널(510)에 고역 필터를 적용할 수 있다. 고역 필터는 예를 들어, 라플레시안 필터(715)일 수 있다. 전자 장치(2000)는 라플레시안 필터(715)를 이용하여, 제1 선명화 커널(510)에 대한 컨볼루션 연산을 수행함으로써, 고역 필터가 적용된 제1 선명화 커널(ΔKh)을 획득할 수 있다. 일 실시예에 따른 전자 장치(2000)는 고역 필터가 적용된 제1 선명화 커널의 절대값(720)을 획득할 수 있다.
전자 장치(2000)는 고역 필터가 적용된 제1 선명화 커널의 절대값(720)으로부터 제1 선명화 커널의 대표 값들의 제2 후보 가중치들을 식별할 수 있다(제2 조건). 예를 들어, 전자 장치(2000)는 가중치의 절대값이 가장 큰 순서로 M개의 대표 값들의 제2 후보 가중치들을 식별하고, M개의 제2 후보 가중치들 중에서, 제1 선명화 커널의 대표 값들을 결정할 수 있다. 도 7b에서, 색칠된 가중치들은 제1 선명화 커널의 대표 값들의 제2 후보 가중치들을 나타내며, 색칠된 색이 더 어두울수록 가중치의 절대값이 더 큼을 나타낸다. 가중치의 절대값이 더 클수록, 제1 선명화 커널의 대표 값을 결정할 때 더 높은 우선순위를 갖는 후보 가중치일 수 있다.
전자 장치(2000)는 제1 선명화 커널의 절대값(710) 및 고역 필터가 적용된 제1 선명화 커널의 절대값(720)에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들 및 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 전자 장치(2000)는 제1 후보 가중치들 및 제2 후보 가중치들 중에서, 기설정된 나머지 조건들에 기초하여 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들을 결정하고, 결정된 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 예를 들어, 전자 장치(2000)는 제1 선명화 커널의 최대 값인 중심점의 좌표를 (0,0)으로 결정(제3 조건)하며, 중심점의 좌표 (0,0)을 기준으로, 각 사분면에는 동일한 개수의 가중치들이 대칭적인 위치에 대표 값으로 결정(제4 조건)되도록 할 수 있다.
도 8a는 일 실시예에 따른 전자 장치가 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하여 경량화된 제2 선명화 커널을 생성하는 방법을 설명하기 위한 도면이다.
도 8을 설명함에 있어서, 도 7a 및 도 7b에서 전술한 13x13 사이즈의 제1 선명화 커널을 예시로 설명하기로 한다.
일 실시예에 따른 전자 장치(2000)는, 전술한 기설정된 조건들에 기초하여 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들을 결정하고, 결정된 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 조건에 기초하여 제1 선명화 커널의 절대값으로부터, 제1 선명화 커널의 대표 값들의 제1 후보 가중치들을 식별할 수 있다. 또한, 전자 장치(2000)는 제2 조건에 기초하여 고역 필터가 적용된 제1 선명화 커널의 절대값으로부터, 제1 선명화 커널의 대표 값들의 제2 후보 가중치들을 식별할 수 있다.
전자 장치(2000)는 제1 조건에 기초하여 식별된 제1 후보 가중치들, 제2 조건에 기초하여 식별된 제2 후보 가중치들 중에서, 기설정된 나머지 조건들에 기초하여 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들을 결정하고, 결정된 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 예를 들어, 전자 장치(2000)는 제1 선명화 커널의 최대 값인 중심점의 좌표를 (0,0)으로 결정(제3 조건)하며, 중심점의 좌표 (0,0)을 기준으로, 각 사분면에는 동일한 개수의 가중치들이 대칭적인 위치에 대표 값으로 결정(제4 조건)되도록 할 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널에서 대표 값들을 샘플링할 샘플링 개수를 획득할 수 있다. 전자 장치(2000)는 샘플링 개수에 기초하여, 샘플링 개수만큼 제1 선명화 커널에서 대표 값들을 결정할 수 있다.
예를 들어, 샘플링 개수가 5인 경우, 전자 장치(2000)는 제1 선명화 커널에서 5개의 대표 값들을 결정할 수 있다. 이 경우, 5개의 대표 값들은 제1 후보 가중치들 및 제2 후보 가중치들 중에서 결정될 수 있다. 구체적으로, 전자 장치(2000)는 13x13 사이즈의 제1 선명화 커널에 대하여, 중심점의 좌표 (0,0)에 위치하고, 최대 값을 갖는 가중치 0.7423, 좌표 (-3.0, -2.0)에 위치하는 가중치 -0.186, 좌표 (3.0, -2.0)에 위치하는 가중치 -0.192, 좌표 (-3.0, 2.0)에 위치하는 가중치 -0.181, 좌표 (3.0, 2.0)에 위치하는 가중치 -0.186, 총 5개의 가중치들을 제1 선명화 커널의 대표 값으로 결정할 수 있다.
한편, 전술한 예시는, 제1 선명화 커널이 13x13 사이즈인 경우에 결정된 대표 값들 및 좌표들이다. 제1 선명화 커널의 사이즈는 이에 한정되지 않으며, 예를 들어, 7x7 사이즈일 수 있다. 이를, 도 8b를 참조하여 설명하기로 한다.
도 8b는 일 실시예에 따른 전자 장치가 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하여 경량화된 제2 선명화 커널을 생성하는 방법을 더 설명하기 위한 도면이다.
일 실시예에서, 전자 장치(2000)는 7x7 사이즈의 제1 선명화 커널에 대하여, 제1 선명화 커널의 사이즈를 유지하면서, 제1 선명화 커널의 복수의 가중치들에 대하여 인접한 가중치들에 보간을 수행함으로써 새로운 가중치들을 포함하는 증강된 제1 선명화 커널을 생성할 수 있다. 이 경우, 증강된 선명화 커널은 7x7 사이즈의 제1 선명화 커널과 사이즈는 동일하지만, 새로운 가중치(예를 들어, 좌표 (-1.5, 1)에 위치하는 가중치)를 포함할 수 있다. 전자 장치(2000)는 증강된 제1 선명화 커널에 대하여 전술한 실시예에 따라 제1 선명화 커널의 대표 값들 및 대표 값들의 좌표들을 결정할 수 있다. 구체적으로, 전자 장치(2000)는 7x7 사이즈의 제1 선명화 커널에 대하여, 중심점의 좌표 (0,0)에 위치하고, 최대 값을 갖는 가중치 0.7423, 좌표 (-1.5, -1.0)에 위치하는 가중치 -0.186, 좌표 (1.5, -1.0)에 위치하는 가중치 -0.192, 좌표 (-1.5, 1.0)에 위치하는 가중치 -0.181, 좌표 (1.5, 1.0)에 위치하는 가중치 -0.186, 총 5개의 가중치들을 제1 선명화 커널의 대표 값으로 결정할 수 있다.
일 실시예에서, 결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들 중 적어도 일부가 보간을 통해 생성된 새로운 가중치를 포함하는 경우, 새로운 가중치는 픽셀 격자에 대응되지 않으므로, 선명화 커널과 이미지의 컨볼루션 연산이 불가능할 수 있다. 일 실시예에 따른 전자 장치(2000)는 이미지의 픽셀들에 보간을 수행함으로써, 새로운 가중치들 중 일부에 대응되는 픽셀들을 생성하여, 컨볼루션 연산이 수행되도록 할 수 있다. 이는 도 13 내지 도 14을 참조하여 더 설명하기로 한다.
도 9는 일 실시예에 따른 전자 장치가 제1 선명화 커널의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정하는 다른 방법을 설명하기 위한 도면이다.
단계 S910에서, 일 실시예에 따른 전자 장치(2000)는 제1 선명화 커널의 복수의 가중치들에 대하여, 인접한 가중치들에 보간을 수행함으로써 새로운 가중치들을 포함하는 증강된 제1 선명화 커널을 획득할 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널의 인접한 가중치들에 보간을 수행함으로써, 새로운 가중치들을 생성할 수 있다. 전자 장치(2000)는 예를 들어, 선형 보간법(linear interpolation), 쌍선형 보간법(bilinear interpolation) 등을 사용하여, 인접한 가중치들의 사이에 존재 가능한 값을 예측한, 새로운 가중치들을 생성할 수 있다.
이하에서, 제1 선명화 커널에 대하여 새로운 가중치들이 보간된 커널을 증강된 제1 선명화 커널로 지칭하기로 한다.
일 실시예에서, 전자 장치(2000)는 보간 모듈을 이용하여 증강된 제1 선명화 커널을 생성할 수 있다. 샘플링된 데이터의 사이 값을 추정하는 하드웨어(예를 들어, 보간 회로) 모듈일 수 있다. 전자 장치(2000)는 보간 모듈을 이용하여, 증강된 제1 선명화 커널을 생성할 수 있다.
다른 실시예에서, 전자 장치(2000)의 보간 모듈은 보간 알고리즘을 이용한 소프트웨어로 구현되거나, 하드웨어와 소프트웨어의 결합으로 구현될 수도 있다.
단계 S920에서, 일 실시예에 따른 전자 장치(2000)는 증강된 제1 선명화 커널 내에서 일부의 가중치들을 선택한, 제3 선명화 커널을 획득할 수 있다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널에서 대표 값들을 샘플링할 샘플링 개수를 획득할 수 있다. 전자 장치(2000)는 샘플링 개수에 기초하여, 샘플링 개수만큼 제1 선명화 커널에서 일부의 가중치들을 선택할 수 있다. 예를 들어, 샘플링 개수가 5인 경우, 전자 장치(2000)는 증강된 제1 선명화 커널에서 5개의 가중치들을 선택할 수 있다. 전자 장치(2000)는 선택된 5개의 가중치들을 제외한 나머지 가중치들을 제거(예를 들어, 나머지 가중치들의 값들을 0으로 변경)한 제3 선명화 커널을 획득할 수 있다. 이 경우, 제1 선명화 커널 내에서 선택되는 일부의 가중치들은, 제1 선명화 커널 내에서 균일하지 않은 밀도로 선택될 수 있다.
일 실시예에서, 제3 선명화 커널은 복수개일 수 있다. 전자 장치(2000)는 복수개의 제3 선명화 커널들을 후술하는 실시예들에 따라 제4 선명화 커널과 비교하고, 비교 결과에 기초하여 제3 선명화 커널들 중에서 어느 하나를 선택할 수 있다. 선택된 제3 선명화 커널의 가중치들은, 제1 선명화 커널의 대표 값들을 나타내는 가중치들일 수 있다. 즉, 복수개의 제3 선명화 커널들 중 하나가 최종적으로 선택됨으로써, 제1 선명화 커널을 경량화한 결과인 제2 선명화 커널이 결정될 수 있다.
단계 S930에서, 일 실시예에 따른 전자 장치(2000)는 증강된 제1 선명화 커널 내에서 소정 간격마다 가중치들을 선택한, 제4 선명화 커널을 획득할 수 있다. 일 실시예에 따른 제4 선명화 커널은, 증강된 제1 선명화 커널 내에서 소정 간격마다 가중치들을 선택함으로써, 제1 선명화 커널 내에서 균일한 밀도로 가중치들을 선택함으로써 획득할 수 있다. 이 경우, 제4 선명화 커널 내 가중치들의 수는, 제3 선명화 커널 내 가중치들의 수보다 많을 수 있다.
단계 S940에서, 일 실시예에 따른 전자 장치(2000)는 제3 선명화 커널을 이미지에 적용한 결과와 제4 선명화 커널을 이미지에 적용한 결과를 비교한 것에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다.
전자 장치(2000)는 제3 선명화 커널을 이미지에 적용한 결과와 제4 선명화 커널을 이미지에 적용한 결과가 소정 수치 이상의 유사도를 가지도록, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 예를 들어, 전자 장치(2000)는 복수개의 제3 선명화 커널들을 이용하여 이미지를 선명화한 결과와, 제4 선명화 커널을 이용하여 이미지를 선명화한 결과를 비교할 수 있다. 전자 장치(2000)는 복수개의 제3 선명화 커널들 중에서, 제3 선명화 커널을 이미지에 적용하여 선명화한 결과와, 제4 선명화 커널을 이미지에 적용한 결과의 차이가 가장 작은 제3 선명화 커널의 가중치 값들을 제1 선명화 커널의 대표 값들로 결정할 수 있다. 이는, 도 11을 참조하여 후에 더 설명하기로 한다.
도 10은 일 실시예에 따른 전자 장치가 제1 선명화 커널을 보간하여 증강된 제1 선명화 커널을 생성하고, 제3 선명화 커널 및 제4 선명화 커널을 생성하는 동작을 설명하기 위한 도면이다.
도 10을 설명함에 있어서, 도 7a 및 도 7b에서 전술한 13x13 사이즈의 제1 선명화 커널을 보간하는 것을 예시로 설명하기로 한다.
일 실시예에서, 전자 장치(2000)는 제1 선명화 커널(1010)의 인접한 가중치들에 보간을 수행함으로써, 새로운 가중치들을 생성할 수 있다. 전자 장치(2000)는 예를 들어, 선형 보간법(linear interpolation), 쌍선형 보간법(bilinear interpolation) 등을 사용하여, 인접한 가중치들의 사이에 존재 가능한 값을 예측한, 새로운 가중치들을 생성함으로써, 증강된 제1 선명화 커널(1020)을 생성할 수 있다.
일 실시예에서, 전자 장치(2000)는 보간 모듈을 이용하여 증강된 제1 선명화 커널(1020)을 생성할 수 있다. 보간 모듈은 보간 알고리즘을 이용한 소프트웨어로 구현될 수 있다.
일 실시예에서, 전자 장치(2000)는 하드웨어 보간 모듈을 이용하여, 증강된 제1 선명화 커널(1020)을 생성할 수 있다. 또는, 전자 장치(2000)는 하드웨어와 소프트웨어의 결합으로 구현된 보간 모듈을 이용하여 증강된 제1 선명화 커널(1020)을 생성할 수 있다.
전자 장치(2000)가 하드웨어 또는 하드웨어와 소프트웨어의 결합으로 구현된 보간 모듈을 이용하여 증강된 제1 선명화 커널(1020)을 생성하는 경우, 증강된 제1 선명화 커널(1020)은 소프트웨어로 구현된 보간 모듈을 이용하여 보간하는 경우보다 더 많은 가중치들을 포함하는, 고해상도의 증강된 제1 선명화 커널(1020)일 수 있다.
일 실시예에 따른 전자 장치(2000)는 증강된 제1 선명화 커널 내에서 일부의 가중치들을 선택한, 제3 선명화 커널(1030)을 획득할 수 있다. 전자 장치(2000)는 제1 선명화 커널에서 대표 값들을 샘플링할 샘플링 개수를 획득할 수 있다. 전자 장치(2000)는 샘플링 개수에 기초하여, 샘플링 개수만큼 제1 선명화 커널에서 일부의 가중치들을 선택할 수 있다. 예를 들어, 샘플링 개수가 5인 경우, 전자 장치(2000)는 증강된 제1 선명화 커널에서 5개의 가중치들을 선택할 수 있다. 전자 장치(2000)는 선택된 5개의 가중치들을 제외한 나머지 가중치들을 제거(예를 들어, 나머지 가중치들의 값들을 0으로 변경)한 제3 선명화 커널을 획득할 수 있다. 이 경우, 제1 선명화 커널 내에서 선택되는 일부의 가중치들은, 제1 선명화 커널 내에서 균일하지 않은 밀도로 선택될 수 있다.
일 실시예에 따른 전자 장치(2000)는 증강된 제1 선명화 커널 내에서 소정 간격마다 가중치들을 선택한, 제4 선명화 커널을 획득할 수 있다. 일 실시예에 따른 제4 선명화 커널은, 증강된 제1 선명화 커널 내에서 소정 간격마다 가중치들을 선택함으로써, 제1 선명화 커널 내에서 균일한 밀도로 가중치들을 선택함으로써 획득할 수 있다. 이 경우, 제4 선명화 커널 내 가중치들의 수는, 제3 선명화 커널 내 가중치들의 수보다 많을 수 있다.
일 실시예에 따른 전자 장치(2000)는 제3 선명화 커널을 이미지에 적용한 결과와 제4 선명화 커널을 이미지에 적용한 결과를 비교할 수 있다. 이는 도 11을 참조하여 더 설명하기로 한다.
도 11은 일 실시예에 따른 전자 장치가 제3 선명화 커널과 제4 선명화 커널을 비교하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 전자 장치(2000)는 제3 선명화 커널(1110)을 이미지에 적용한 결과와 제4 선명화 커널(1120)을 이미지에 적용한 결과를 비교할 수 있다.
일 실시예에서, 전자 장치(2000)는 증강된 제1 선명화 커널에서 일부의 가중치들을 선택한 것인, 제3 선명화 커널(1110)을 이미지에 적용할 수 있다. 전자 장치(2000)는 제3 선명화 커널(1110)을 이용하여 선명화된 이미지(1130)를 획득할 수 있다. 전자 장치(2000)가 증강된 제1 선명화 커널의 서로 다른 위치에서 일부의 가중치들을 선택함에 따라 제3 선명화 커널(1110)은 복수개일 수 있다. 따라서, 제3 선명화 커널(1110)을 이용하여 선명화된 이미지(1130) 또한 복수개일 수 있다.
일 실시예에서, 전자 장치(2000)는 증강된 제1 선명화 커널에서 소정 간격마다 가중치들을 선택한 것인, 제4 선명화 커널(1120)을 이미지에 적용할 수 있다. 전자 장치(2000)는 제4 선명화 커널(1120)을 이용하여 선명화된 이미지(1140)를 획득할 수 있다.
일 실시예에서, 전자 장치(2000)는 제3 선명화 커널(1110)을 이용하여 선명화된 이미지(1130)와 제4 선명화 커널(1120)을 이용하여 선명화된 이미지(1140)를 비교할 수 있다. 전자 장치(2000)는 비교 결과에 기초하여, 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 이 경우, 아래의 수학식 1이 이용될 수 있다.
[수학식 1]
여기서, K는 제1 선명화 커널(또는, 증강된 제1 선명화 커널)에서 대표 값들을 샘플링할 샘플링 개수를 말한다. 예를 들어, K=5인 경우, 제1 선명화 커널의 가중치들 중에서 대표 값들을 5개 샘플링하며, 샘플링된 5개의 가중치들이 컨볼루션 연산의 요소들이 된다.
즉, 전자 장치(2000)는 수학식 1을 이용하여 제3 선명화 커널(1110)을 이용하여 선명화된 이미지(1130)와 제4 선명화 커널(1120)을 이용하여 선명화된 이미지(1140)의 차이를 계산하고, 이미지 간 차이가 가장 작도록 하는 가중치들의 좌표들을 계산할 수 있다. 전자 장치(2000)는 계산된 좌표들을 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들로 결정할 수 있다.
일 실시예에 따른 전자 장치(2000)는 결정된 가중치들의 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성할 수 있다. 제2 선명화 커널은 제1 선명화 커널과 동일한 해상도를 갖고, 선택된 일부의 가중치들을 제외한 나머지 값들은 0인 선명화 커널일 수 있다. 즉, 제2 선명화 커널은 제1 선명화 커널보다 유효 가중치의 개수가 적은, 경량화된 선명화 커널일 수 있다.
도 12는 일 실시예에 따른 전자 장치가 제3 선명화 커널과 제4 선명화 커널을 비교함으로써, 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들을 결정한 결과를 도시한 도면이다.
일 실시예에서, 전자 장치(2000)는 증강된 제1 선명화 커널(1210)으로부터 제3 선명화 커널 및 제4 선명화 커널을 생성하고, 제3 선명화 커널을 이용하여 선명화된 이미지와 제4 선명화 커널을 이용하여 선명화된 이미지를 비교한 결과에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들을 결정할 수 있다. 이에 대한 구체적인 방법은 도 11에 대한 설명에서 서술하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 샘플링 개수가 5이고, 제1 선명화 커널의 사이즈가 13x13인 경우, 전자 장치(2000)는 전술한 실시예들에 따라 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들을 결정할 수 있다. 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들은 (0.0, 0.0), (-2.5, -2.0), (2.5, -2.0), (-2.5, 2.0), (2.5, 2.0)일 수 있다. 전자 장치(2000)는 좌표들 (0.0, 0.0), (-2.5, -2.0), (2.5, -2.0), (-2.5, 2.0), (2.5, 2.0)에 대응하는 가중치들을 선택함으로써, 13x13 사이즈의 제1 선명화 커널을 경량화한 제2 선명화 커널(1220)을 획득할 수 있다.
일 실시예에서, 샘플링 개수가 5이고, 제1 선명화 커널의 사이즈가 7x7인 경우, 전자 장치(2000)는 전술한 실시예들에 따라 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들을 결정할 수 있다. 제1 선명화 커널의 대표 값들을 나타내는 가중치들에 대응되는 좌표들은 (0.0, 0.0), (-1.25, -1.0), (1.25, -1.0), (-1.25, 1.0), (1.25, 1.0)일 수 있다. 전자 장치(2000)는 좌표들 (0.0, 0.0), (-1.25, -1.0), (1.25, -1.0), (-1.25, 1.0), (1.25, 1.0)에 대응하는 가중치들을 선택함으로써, 7x7 사이즈의 제1 선명화 커널을 경량화한 제2 선명화 커널(1230)을 획득할 수 있다.
도 13은 일 실시예에 따른 전자 장치가 제2 선명화 커널과 이미지의 컨볼루션 연산을 수행하기 위해, 이미지에 보간을 수행하는 방법을 설명하기 위한 흐름도이다.
단계 S1310에서, 일 실시예에 따른 전자 장치(2000)는 결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는지 여부를 식별할 수 있다.
결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함된다고 함은, 전자 장치(2000)가 제1 선명화 커널을 보간하여 증강된 제1 선명화 커널을 생성함에 따라 새로운 가중치들이 생성되고, 제1 선명화 커널의 대표 값들 중 일부가 증강된 제1 선명화 커널의 새로운 가중치들 중에서 결정된 것을 말한다.
일 실시예에 따른 전자 장치(2000)는 결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들이 포함되지 않는 경우, 단계 S1315를 수행할 수 있다. 또한, 전자 장치(2000)는 결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는 경우, 단계 S1320을 수행할 수 있다.
단계 S1315에서, 일 실시예에 따른 전자 장치(2000)는 제2 선명화 커널을 이미지에 적용하여, 선명화 된 이미지를 획득할 수 있다. 단계 S1315는 도 2의 단계 S250에 대응될 수 있다.
단계 S1320에서, 일 실시예에 따른 전자 장치(2000)는 이미지의 픽셀들에 보간을 수행함으로써, 새로운 가중치들 중 일부에 대응되는 픽셀들을 생성할 수 있다. 일 실시예에서, 증강된 제1 선명화 커널의 새로운 가중치는 보간을 통해 생성된 것이므로, 픽셀 격자 위치에 대응되지 않는 위치(좌표)의 가중치이다. 전자 장치(2000)는 제1 선명화 커널의 대표 값들 중 일부가 증강된 제1 선명화 커널의 새로운 가중치들 중에서 결정된 경우, 이미지의 픽셀들을 보간하여 새로운 가중치와 컨볼루션 연산을 수행하기 위한 새로운 픽셀을 생성할 수 있다.
단계 S1330에서, 일 실시예에 따른 전자 장치(2000)는 제2 선명화 커널을 이미지의 픽셀들에 대한 보간을 통해 생성된 픽셀들을 포함하는 이미지에 적용하여, 선명화 된 이미지 획득할 수 있다. 이 경우, 제2 선명화 커널의 가중치에 대응되는 픽셀이 보간을 통해 생성되었으므로, 전자 장치(2000)는 제2 선명화 커널과 이미지의 컨볼루션 연산을 수행할 수 있다.
도 14는 도 13을 더 설명하기 위한 도면으로, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는 경우를 설명하기 위한 도면이다.
도 14를 설명함에 있어서, 제1 선명화 커널의 사이즈가 7x7인 경우를 예시로 설명하기로 한다.
도 14를 참조하면, 제1 선명화 커널(1410)은 7x7 사이즈로, 총 49개의 가중치들로 구성될 수 있다. 49개의 가중치들 각각은, 이미지의 픽셀들과 컨볼루션 연산이 가능하도록 이미지의 픽셀 격자 위치에 대응될 수 있다.
일 실시예에서, 전자 장치(2000)는 전술한 실시예들에 따라, 제1 선명화 커널(1410)의 대표 값들 및 대표 값들에 대응되는 좌표들을 결정할 수 있다.
예를 들어, 전자 장치(2000)가 제1 선명화 커널(1410)의 대표 값들에 대응되는 좌표들을 결정한 결과, 결정된 좌표들은 (0, 0), (-1.5, 1.0), (1.5, 1.0), (-1.5, -1.0), (1.5, -1.0)일 수 있다. 이 경우, 좌표 (0, 0)에 대응하는 가중치는 0.7423, 좌표 (-1.5, 1.0)에 대응하는 가중치는 -0.181, 좌표 (1.5, 1.0)에 대응하는 가중치는 -0.186, 좌표 (-1.5, -1.0)에 대응하는 가중치는 -0.186, 좌표 (1.5, -1.0)에 대응하는 가중치는 -0.192일 수 있다.
일 실시예에 따른 전자 장치(2000)는 결정된 좌표들에 대응되는 가중치들을 선택함으로써, 제2 선명화 커널(1420)을 생성할 수 있다.
제2 선명화 커널(1420)은, 제1 선명화 커널(1410)과 사이즈는 동일하지만, 제2 선명화 커널(1420) 내의 가중치들의 수는 제1 선명화 커널(1410) 내의 가중치들의 수보다 적을 수 있다. 또한, 제2 선명화 커널(1420) 내의 가중치들의 위치는, 제1 선명화 커널(1410) 내에서 소정 간격 마다 가중치들을 선택하여 균일한 밀도로 샘플링한 것이 아닌, 일 실시예에 따른 전자 장치(2000)가 전술한 실시예들에 따라 불균일 샘플링한 것일 수 있다.
일 실시예에서, 전자 장치(2000)는 제2 선명화 커널(1420)을 이미지에 적용하여, 선명화된 이미지를 획득할 수 있다. 전자 장치(2000)는 제2 선명화 커널(1420)을 이용하여 이미지에 대한 컨볼루션 연산을 수행함으로써, 이미지를 선명화 할 수 있다.
전자 장치(2000)가 제2 선명화 커널(1420)을 이용하여 이미지에 대한 컨볼루션 연산을 수행하는 경우, 전자 장치(2000)는 결정된 제1 선명화 커널(1410)의 대표 값들을 나타내는 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는지 여부를 식별할 수 있다. 즉, 전자 장치(2000)는 제2 선명화 커널(1420) 내 일부의 가중치들에 새로운 가중치들 중 하나 이상이 포함되는지 여부를 식별할 수 있다.
이 경우, 제2 선명화 커널(1420)내 가중치들(1422, 1424, 1426, 1428)은, 전자 장치(2000)가 제1 선명화 커널을 보간하여 증강된 제1 선명화 커널을 생성함에 따라 새로운 가중치들이 생성되고, 제1 선명화 커널의 대표 값들 중 일부가 증강된 제1 선명화 커널의 새로운 가중치들 중에서 결정된 것이다. 따라서, 가중치들(1422, 1424, 1426, 1428)은 보간을 통해 생성된 것이므로, 픽셀 격자 위치에 대응되지 않는 위치(좌표)의 가중치이다.
일 실시예에 따른 전자 장치(2000)는 가중치들(1422, 1424, 1426, 1428)과 이미지의 컨볼루션 연산이 수행될 수 있도록, 이미지의 픽셀들을 보간하여 새로운 픽셀을 생성할 수 있다. 이 경우, 제2 선명화 커널(1420)의 가중치들 (1422, 1424, 1426, 1428)에 대응되는 픽셀들이 보간을 통해 생성되었으므로, 전자 장치(2000)는 제2 선명화 커널(1420)과 이미지의 컨볼루션 연산을 수행함으로써, 이미지를 선명화할 수 있다.
도 15는 일 실시예에 따른 전자 장치에서 수행되는 이미지 프로세싱 동작의 일부를 도시한 도면이다.
일 실시예에 따른 전자 장치(2000)는 전술한 실시예들에 따라, 제1 선명화 커널 내 일부의 가중치들만을 불균일한 밀도로 샘플링하여 경량화된 제2 선명화 커널을 획득하고, 제2 선명화 커널 내 가중치들의 좌표를 획득할 수 있다.
일 실시예에 따른 전자 장치(2000)는 보간 모듈을 이용하여 이미지를 보간하여 새로운 픽셀들을 생성할 수 있다. 전자 장치(2000)는 보간 모듈을 이용하여 이미지에서 제2 선명화 커널 내 가중치들의 좌표에 대응되는 위치의 픽셀들을 생성할 수 있다.
전자 장치(2000)는 이미지와 제2 선명화 커널의 컨볼루션 연산을 수행할 수 있다. 이 경우, 제2 선명화 커널 내 가중치들의 위치는 제1 선명화 커널 내 일부의 가중치들만을 불균일한 밀도로 샘플링한 것이므로, 전자 장치(2000)가 수행하는 컨볼루션 연산은 불균일 컨볼루션(Non-uniform Convolution)일 수 있다.
일 실시예에 따른 전자 장치(2000)는 제2 선명화 커널을 이용하여 이미지에 대한 불균일 컨볼루션 연산을 수행함으로써, 이미지를 선명화 할 수 있다.
도 16은 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
일 실시예에 따른 전자 장치(2000)는 통신 인터페이스(2100), 카메라 모듈(2200), 보간 모듈(2300), 메모리(2400) 및 프로세서(2500)를 포함할 수 있다.
통신 인터페이스(2100)는 프로세서(2500)의 제어에 의해 서버 또는 다른 전자 장치들과 데이터 통신을 수행할 수 있다.
통신 인터페이스(2100)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 서버 또는 다른 전자 장치들과 데이터 통신을 수행할 수 있다.
일 실시예에 따른 통신 인터페이스(2100)는 제1 선명화 커널을 경량화한 제2 선명화 커널을 획득하기 위한 데이터를 외부 장치와 송수신할 수 있다. 예를 들어, 통신 인터페이스(2100)는 제1 선명화 커널을 서버로 전송하고, 서버로부터 제2 선명화 커널을 수신할 수 있다.
카메라 모듈(2200)은 프로세서(2400)의 제어에 의해 피사체를 촬영할 수 있다. 카메라 모듈(2200)은 예를 들어, 회절 광학 소자(Diffractive Optical Element; DOE)를 포함하는 확장 깊이 필드(Extended Depth of Fields; EDoF) 카메라를 포함할 수 있다. 이 경우, 카메라 모듈(2200)에 의해 흐림이 발생하는, 블러 이미지일 수 있다.
보간 모듈(2300)은 샘플링된 데이터의 사이 값을 추정하는 하드웨어(예를 들어, 보간 회로) 모듈일 수 있다. 보간 모듈(2300)은 제1 선명화 커널을 보간하여 새로운 가중치들을 생성함으로써 증강된 제1 선명화 커널을 생성하거나, 이미지를 보간하여 제2 선명화 커널의 가중치들에 대응되는 픽셀들을 생성할 수 있다.
메모리(2400)는 프로세서(2500)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 개시된 실시예들에서, 프로세서(2500)가 수행하는 동작들은 메모리(2400)에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.
메모리(2400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
일 실시 예에 따른 메모리(2400)는 이미지를 선명화하는데 이용될 수 있는 다양한 종류의 데이터를 저장할 수 있다. 예를 들어, 메모리(2400)에는 선명화 커널 생성 모듈(2410), 커널 경량화 모듈(2420), 이미지 복원 모듈(2430)이 저장될 수 있다.
프로세서(2500)는 전자 장치(2000)의 전반적인 동작들을 제어할 수 있다. 예를 들어, 프로세서(2500)는 메모리(2400)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행함으로써, 전자 장치(2000)가 이미지를 선명화하기 위한 전반적인 동작을 제어할 수 있다.
프로세서(2500)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), AP(Application Processor), 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시예에서, 프로세서(2500)는 선명화 커널 생성 모듈(2410)을 실행하여 제1 선명화 커널을 생성할 수 있다. 프로세서(2500)는 카메라 모듈(2200)을 제어하여 레퍼런스 이미지를 획득하고, 레퍼런스 이미지에 기초하여 점확산함수(Point Spread Function; PSF)를 추정할 수 있다. 프로세서(2500)는 점확산함수에 기초하여 제1 선명화 커널을 생성할 수 있다. 이는, 전술한 실시예들에서 이미 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 프로세서(2500)는 커널 경량화 모듈(2420)을 실행하여 제1 선명화 커널을 경량화한 제2 선명화 커널을 생성할 수 있다. 프로세서(2500)는 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들을 결정하고, 결정된 일부의 가중치들에 대응되는 좌표들을 결정할 수 있다. 프로세서(2500)는 결정된 좌표들에 대응되는 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성할 수 있다. 이는, 전술한 실시예들에서 이미 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 프로세서(2500)는 이미지 복원 모듈(2430)을 실행하여, 이미지를 선명화할 수 있다. 프로세서(2500)는 제2 선명화 커널과 이미지의 컨볼루션 연산을 수행함으로써, 선명화된 이미지를 획득할 수 있다. 이는, 전술한 실시예들에서 이미 설명하였으므로, 동일한 설명은 생략하기로 한다.
도 17은 일 실시예에 따른 전자 장치의 다른 구성을 도시한 블록도이다.
일 실시예에 따른 전자 장치(2000)는 통신 인터페이스(2100), 카메라 모듈(2200), 메모리(2400) 및 프로세서(2500)를 포함할 수 있다. 각각의 구성들은 도 16의 구성들에 대응되므로, 동일한 설명은 생략하기로 한다.
일 실시예에서, 보간 모듈(2440)은 보간 알고리즘을 이용한 소프트웨어로 구현될 수 있다. 예를 들어, 보간 모듈(2440)은 메모리(2400)에 저장될 수 있다.
프로세서(2500)는 보간 모듈(2440)을 실행하여 제1 선명화 커널을 보간하여 새로운 가중치들을 생성함으로써 증강된 제1 선명화 커널을 생성할 수 있다. 프로세서(2500)는 이미지를 보간하여 제2 선명화 커널의 가중치들에 대응되는 픽셀들을 생성할 수 있다.
한편, 도 16에 및 도 17에 도시된 전자 장치(2000)의 블록도는, 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 각 장치의 사양에 따라 통합, 추가 또는 생략될 수 있다. 즉 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 전자 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 컴퓨터 판독 가능 매체는, 비일시적(non-transitory) 기록매체의 형태로 제공될 수 있다. 여기서, 비일시적 기록매체는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 기록매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 개시된 실시예들에 따른 전자 장치의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
Claims (20)
- 전자 장치가 이미지를 선명화 하는 방법에 있어서,
상기 전자 장치의 카메라에 의해 생성되는 이미지를 획득하는 단계;
상기 이미지의 선명도를 개선하기 위한 제1 선명화 커널을 획득하되, 상기 제1 선명화 커널은, 상기 이미지의 픽셀들에 대하여 적용될 복수의 가중치들을 포함하며, 상기 이미지의 해상도보다 작은 해상도를 갖는 데이터인 것인, 단계;
상기 제1 선명화 커널의 상기 복수의 가중치들 중에서, 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계;
상기 결정된 좌표들에 대응되는 상기 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성하는 단계; 및
상기 제2 선명화 커널을 상기 이미지에 적용하여, 선명화 된 이미지를 획득하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 제1 선명화 커널을 획득하는 단계는,
상기 전자 장치의 카메라를 이용하여 점확산함수(Point Spread Function; PSF)를 계산하기 위한 레퍼런스 이미지를 획득하는 단계;
상기 레퍼런스 이미지에 기초하여 상기 점확산함수를 계산하는 단계;
상기 점확산함수에 기초하여, 상기 제1 선명화 커널을 획득하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 제1 선명화 커널의 대표 값들을 나타내는 상기 일부의 가중치들에 대응되는 좌표들을 결정하는 단계는,
상기 제1 선명화 커널의 중심점에 대응하는 가중치의 좌표를 영점으로 결정하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 방법은,
상기 제1 선명화 커널의 상기 복수의 가중치들에 대하여, 인접한 가중치들에 보간을 수행함으로써 새로운 가중치들을 포함하는 증강된 제1 선명화 커널을 획득하는 단계를 더 포함하는, 방법. - 제4항에 있어서,
상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계는,
상기 새로운 가중치들을 포함하는 상기 증강된 제1 선명화 커널의 가중치들 중에서 상기 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계를 포함하는, 방법. - 제5항에 있어서,
상기 방법은,
상기 증강된 제1 선명화 커널 내에서 일부의 가중치들을 선택한, 제3 선명화 커널을 획득하는 단계; 및
상기 증강된 제1 선명화 커널 내에서 소정 간격마다 가중치들을 선택한, 제4 선명화 커널을 획득하는 단계;
를 더 포함하고,
상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계는,
상기 제3 선명화 커널을 상기 이미지에 적용한 결과와 상기 제4 선명화 커널을 상기 이미지에 적용한 결과를 비교한 것에 기초하여, 상기 제1 선명화 커널의 대표 값들을 나타내는 상기 일부의 가중치들에 대응되는 좌표들을 결정하는 단계를 포함하는, 방법. - 제6항에 있어서,
상기 제4 선명화 커널 내의 가중치들의 수는, 상기 제3 선명화 커널 내의 가중치들의 수보다 큰 것인, 방법. - 제5항에 있어서,
상기 방법은,
상기 결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 상기 새로운 가중치들 중 하나 이상이 포함되는 경우, 상기 이미지의 픽셀들에 보간을 수행함으로써, 상기 새로운 가중치들 중 하나 이상에 대응되는 픽셀들을 생성하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계는,
상기 제1 선명화 커널에 고역 필터(High Pass Filter; HPF)를 적용하는 단계;
상기 제1 선명화 커널의 절대값 및 상기 고역 필터가 적용된 제1 선명화 커널의 절대값에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는 단계를 포함하는, 방법. - 제9항에 있어서,
상기 제2 선명화 커널의 상기 일부의 가중치들은, 상기 제2 선명화 커널의 중심점을 기준으로 대칭적인 위치의 가중치들이고,
상기 제2 선명화 커널의 상기 일부의 가중치들 중에서 최대 값은 상기 제2 선명화 커널의 중심점에 위치하는 것인, 방법. - 이미지를 선명화하는 전자 장치에 있어서,
통신 인터페이스;
카메라 모듈;
하나 이상의 명령어들(instructions)을 저장하는 메모리; 및
상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며,
상기 적어도 하나의 프로세서는,
상기 카메라 모듈에 의해 생성되는 이미지를 획득하고,
상기 이미지의 선명도를 개선하기 위한 제1 선명화 커널을 획득하되, 상기 제1 선명화 커널은, 상기 이미지의 픽셀들에 대하여 적용될 복수의 가중치들을 포함하며, 상기 이미지의 해상도보다 작은 해상도를 갖는 데이터인 것이며,
상기 제1 선명화 커널의 상기 복수의 가중치들 중에서, 상기 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하고,
상기 결정된 좌표들에 대응되는 상기 일부의 가중치들을 선택함으로써, 제2 선명화 커널을 생성하고,
상기 제2 선명화 커널을 상기 이미지에 적용하여, 선명화 된 이미지를 획득하는, 전자 장치. - 제11항에 있어서,
상기 적어도 하나의 프로세서는,
상기 전자 장치의 카메라를 이용하여 점확산함수(Point Spread Function; PSF)를 계산하기 위한 레퍼런스 이미지를 획득하고,
상기 레퍼런스 이미지에 기초하여 상기 점확산함수를 계산하고,
상기 점확산함수에 기초하여, 상기 제1 선명화 커널을 획득하는, 전자 장치. - 제11항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제1 선명화 커널의 중심점에 대응하는 가중치의 좌표를 영점으로 결정하는, 전자 장치. - 제11항에 있어서,
보간 모듈;
을 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 제1 선명화 커널의 상기 복수의 가중치들에 대하여, 상기 보간 모듈을 이용하여 인접한 가중치들에 보간을 수행함으로써 새로운 가중치들을 포함하는 증강된 제1 선명화 커널을 획득하는, 전자 장치. - 제14항에 있어서,
상기 적어도 하나의 프로세서는,
상기 새로운 가중치들을 포함하는 상기 증강된 제1 선명화 커널의 가중치들 중에서 상기 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는, 전자 장치. - 제15항에 있어서,
상기 적어도 하나의 프로세서는,
상기 증강된 제1 선명화 커널 내에서 일부의 가중치들을 선택한, 제3 선명화 커널을 획득하고,
상기 증강된 제1 선명화 커널 내에서 소정 간격마다 가중치들을 선택한, 제4 선명화 커널을 획득하고,
상기 제3 선명화 커널을 상기 이미지에 적용한 결과와 상기 제4 선명화 커널을 상기 이미지에 적용한 결과를 비교한 것에 기초하여, 상기 제1 선명화 커널의 대표 값들을 나타내는 상기 일부의 가중치들에 대응되는 좌표들을 결정하는, 전자 장치. - 제15항에 있어서,
상기 적어도 하나의 프로세서는,
상기 결정된 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 상기 새로운 가중치들 중 하나 이상이 포함되는 경우, 상기 보간 모듈을 이용하여 상기 이미지의 픽셀들에 보간을 수행함으로써, 상기 새로운 가중치들 중 하나 이상에 대응되는 픽셀들을 생성하는, 전자 장치. - 제11항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제1 선명화 커널에 고역 필터(High Pass Filter; HPF)를 적용하고,
상기 제1 선명화 커널의 절대값 및 상기 고역 필터가 적용된 제1 선명화 커널의 절대값에 기초하여, 제1 선명화 커널의 대표 값들을 나타내는 일부의 가중치들에 대응되는 좌표들을 결정하는, 전자 장치. - 제18항에 있어서,
상기 제2 선명화 커널의 상기 일부의 가중치들은, 상기 제2 선명화 커널의 중심점을 기준으로 대칭적인 위치의 가중치들이고,
상기 제2 선명화 커널의 상기 일부의 가중치들 중에서 최대 값은 상기 제2 선명화 커널의 중심점에 위치하는 것인, 전자 장치. - 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210119214A KR20230036409A (ko) | 2021-09-07 | 2021-09-07 | 이미지를 선명화하는 전자 장치 및 그 동작 방법 |
| PCT/KR2022/006038 WO2023038219A1 (ko) | 2021-09-07 | 2022-04-27 | 이미지를 선명화하는 전자 장치 및 그 동작 방법 |
| US17/748,723 US20230069998A1 (en) | 2021-09-07 | 2022-05-19 | Electronic device for sharpening image and operation method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210119214A KR20230036409A (ko) | 2021-09-07 | 2021-09-07 | 이미지를 선명화하는 전자 장치 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230036409A true KR20230036409A (ko) | 2023-03-14 |
Family
ID=85502795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210119214A KR20230036409A (ko) | 2021-09-07 | 2021-09-07 | 이미지를 선명화하는 전자 장치 및 그 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230036409A (ko) |
| WO (1) | WO2023038219A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306348B2 (en) * | 2007-04-24 | 2012-11-06 | DigitalOptics Corporation Europe Limited | Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal |
| US10282822B2 (en) * | 2016-12-01 | 2019-05-07 | Almalence Inc. | Digital correction of optical system aberrations |
| KR102614908B1 (ko) * | 2018-09-13 | 2023-12-18 | 삼성전자주식회사 | 이미지 복원 방법 및 장치 |
| KR102553146B1 (ko) * | 2018-09-13 | 2023-07-07 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
| EP3678088B1 (en) * | 2019-01-03 | 2023-08-09 | Samsung Electronics Co., Ltd. | Method and system of convolution in neural network with variable dilation rate |
-
2021
- 2021-09-07 KR KR1020210119214A patent/KR20230036409A/ko unknown
-
2022
- 2022-04-27 WO PCT/KR2022/006038 patent/WO2023038219A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023038219A1 (ko) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Galdran | Image dehazing by artificial multiple-exposure image fusion | |
| CN108765343B (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| Whyte et al. | Deblurring shaken and partially saturated images | |
| Srinivasan et al. | Light field blind motion deblurring | |
| Zhu et al. | Estimating spatially varying defocus blur from a single image | |
| US8705881B2 (en) | Motion deblurring for text images | |
| CN108205804B (zh) | 图像处理方法、装置及电子设备 | |
| US9142009B2 (en) | Patch-based, locally content-adaptive image and video sharpening | |
| CN111028170B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP2019016117A (ja) | 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム | |
| CN112967381B (zh) | 三维重建方法、设备和介质 | |
| JP2018508898A (ja) | デジタルズーム方法およびシステム | |
| KR101615479B1 (ko) | 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 | |
| KR101836238B1 (ko) | 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법 | |
| CN110572692A (zh) | 直播视频美颜方法和装置、计算机可读存储介质 | |
| KR20230036409A (ko) | 이미지를 선명화하는 전자 장치 및 그 동작 방법 | |
| JP6624061B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
| JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20230069998A1 (en) | Electronic device for sharpening image and operation method thereof | |
| KR101152525B1 (ko) | 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치 | |
| CN115496673A (zh) | 图像处理方法、图像处理装置、图像处理系统、以及存储介质 | |
| JP2014048714A (ja) | 画像処理装置及び画像処理方法 | |
| He et al. | Joint motion deblurring and superresolution from single blurry image | |
| KR20220001417A (ko) | 전자 장치 및 전자 장치의 제어 방법 |