KR20210088399A

KR20210088399A - 영상 표시 장치 및 방법

Info

Publication number: KR20210088399A
Application number: KR1020200044780A
Authority: KR
Inventors: 아난트 바이잘
Original assignee: 삼성전자주식회사
Priority date: 2020-01-06
Filing date: 2020-04-13
Publication date: 2021-07-14

Abstract

영상 표시 장치가 개시된다. 영상 표시 장치는 디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하고, 추정된 블러 레벨에 기반하여 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키고, 디스플레이는 해상도가 향상된 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력할 수 있다.

Description

영상 표시 장치 및 방법{Image processing apparatus and method thereof}

개시된 다양한 실시 예들은 영상 표시 장치 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 주파수 도메인에서 블러 이미지의 블러 레벨을 추정하고 이를 이용하여 공간 도메인에서 블러 이미지의 해상도를 향상시키는 영상 표시 장치 및 방법에 관한 것이다.

디스플레이 장치가 점점 대형화되고 기술이 발전하면서, 디스플레이 장치의 해상도는 계속 높아지고 있다. 이 때 해상도가 낮은 이미지를 해상도가 높은 디스플레이 장치에서 출력하기 위해서는 스케일러를 이용하여 이미지의 사이즈를 늘리게 된다. 스케일러는 보간에 기초하여 이미지의 해상도를 향상시키기 때문에 이미지의 고주파 영역에서 손실이 발생할 수 있고, 오브젝트의 경계 부분에서 블러(blur)가 발생할 수 있다. 블러는 영상의 디테일에 영향을 주어 화질의 열화를 일으킨다.

다양한 실시 예들은 주파수 도메인과 공간 도메인을 함께 이용하여, 블러 이미지에서의 블러를 효율적으로 제거하는 영상 표시 장치 및 방법을 제공하기 위한 것이다.

다양한 실시 예들은 주파수 도메인에서 이미지의 블러 레벨을 추정하는 영상 표시 장치 및 방법을 제공하기 위한 것이다.

다양한 실시 예들은 공간 도메인에서 추정된 블러 레벨을 이용하여 이미지에 적합한 모델 및 필터 중 하나 이상을 이용하여 블러 이미지의 해상도를 향상시키는 영상 표시 장치 및 방법을 제공하기 위한 것이다.

다양한 실시 예들은 이미지에 포함된 각각의 서브 영역 별로 블러 레벨을 추정하고 이를 이용하여 각 서브 영역 별로 해상도를 향상시키는 영상 표시 장치 및 방법을 제공하기 위한 것이다.

실시 예에 따른 영상 표시 장치는 디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하고, 상기 추정된 블러 레벨에 기반하여 상기 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키고, 상기 디스플레이는 상기 해상도가 향상된 상기 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력할 수 있다.

실시 예에서, 상기 프로세서는 공간 도메인에서 상기 제1 이미지를 상기 복수개의 서브 영역으로 분할하고, 상기 각 서브 영역을 주파수 도메인으로 변환하여 상기 각 서브 영역 별로 블러 레벨을 추정하고, 상기 추정된 블러 레벨에 기반하여 상기 하나 이상의 서브 영역을 식별하고, 상기 식별된 하나 이상의 서브 영역의 해상도를 상기 공간 도메인에서 향상시킬 수 있다.

실시 예에서, 상기 프로세서는 상기 추정된 블러 레벨이 임계치보다 크거나 같은 서브 영역을 상기 하나 이상의 서브 영역으로 식별할 수 있다.

실시 예에서, 상기 프로세서는 상기 각 서브 영역 별로 푸리에 변환을 수행하여 상기 주파수 도메인에서의 신호를 획득하고, 상기 주파수 도메인에서의 신호에 대한 파워 스펙트럼을 획득하고, 상기 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭의 기울기로부터 상기 각 서브 영역 별로 블러 레벨을 추정할 수 있다.

실시 예에서, 상기 프로세서는 상기 스펙트럴 엔벨롭의 상기 기울기가 소정 기준치보다 크게 변하기 시작하는 지점의 빈 인덱스로부터 상기 블러 레벨을 추정하고, 상기 빈 인덱스의 값이 클수록 상기 블러 레벨이 크다고 추정할 수 있다.

실시 예에서, 상기 프로세서는 상기 각 서브 영역 별로 추정된 블러 레벨에 기반하여 상기 하나 이상의 서브 영역 각각의 해상도를 독립적으로 향상시킬 수 있다.

실시 예에서, 상기 프로세서는 상기 서브 영역의 추정된 블러 레벨에 기초하여 복수의 이미지 복원 모델 중 하나를 선택하고, 상기 선택된 모델에 따라 상기 서브 영역의 해상도를 향상시킬 수 있다.

실시 예에서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 이미지 복원 모델을 적용할 횟수를 결정하고, 상기 서브 영역에 상기 이미지 복원 모델을 상기 결정된 횟수만큼 반복하여 적용함으로써 상기 서브 영역의 해상도를 향상시킬 수 있다.

실시 예에서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 뉴럴 네트워크의 하이퍼파라미터 값을 수정하고, 상기 수정된 하이퍼파라미터 값을 갖는 뉴럴 네트워크를 이용하여 상기 서브 영역의 해상도를 향상시킬 수 있다.

실시 예에서, 상기 하이퍼파라미터는 상기 뉴럴 네트워크의 필터 계수, 필터 사이즈, 커널 사이즈, 노드의 웨이트 값 중 적어도 하나를 포함할 수 있다.

실시 예에서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 필터를 설계하고, 상기 서브 영역에 상기 설계된 필터를 적용하여 상기 서브 영역의 해상도를 향상시킬 수 있다.

실시 예에서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 설계된 BPF로 상기 서브 영역을 필터링하여 소정 대역의 신호를 획득하고, 상기 획득한 소정 대역의 신호에 비선형 함수를 적용하여 하모닉스 신호를 생성하고, 상기 추정된 블러 레벨에 기초하여 설계된 HPF로 상기 하모닉스 신호를 필터링하여 상기 하모닉스 신호 중 고주파 대역 신호를 획득하고, 상기 획득한 고주파 대역에서의 신호와, 상기 고주파 대역 외의 대역에서의 상기 서브 영역의 신호로부터 상기 해상도가 향상된 서브 영역을 생성할 수 있다.

실시 예에 따른 영상 표시 방법은 제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하는 단계, 상기 추정된 블러 레벨에 기반하여 상기 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키는 단계 및 상기 해상도가 향상된 상기 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력하는 단계를 포함할 수 있다.

실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하는 단계, 상기 추정된 블러 레벨에 기반하여 상기 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키는 단계 및 상기 해상도가 향상된 상기 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력하는 단계를 포함하는 영상 표시 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

일 실시 예에 따른 영상 표시 장치 및 방법은, 주파수 도메인에서 이미지의 블러 레벨을 추정할 수 있다.

일 실시 예에 따른 영상 표시 장치 및 방법은, 추정된 블러 레벨에 기초하여 이미지에 적합한 모델 및 필터 중 하나 이상을 이용하여, 공간 도메인에서 이미지의 해상도를 향상시킬 수 있다.

일 실시 예에 따른 영상 표시 장치 및 방법은, 이미지에 포함된 각각의 서브 영역 별로 블러 레벨을 추정하고 이를 이용하여 각 서브 영역 별로 해상도를 향상시킬 수 있다.

도 1은 이미지 사이즈가 커질 때 이미지에 블러가 나타나는 것을 설명하기 위한 도면이다.
도 2는 실시 예에 따른 영상 표시 장치(200)의 내부 블록도이다.
도 3은 실시 예에 따른 프로세서(210)의 내부 블록도이다.
도 4는 실시 예에 따라 블러 레벨 추정부(211)가 이미지에 대하여 주파수 도메인에서 획득한 파워 스펙트럼을 도시한 도면이다.
도 5는 실시 예에 따라, 블러 레벨 추정부(211)가 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭을 도시한다.
도 6은 실시 예에 따라, 블러 레벨 추정부(211)가 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭을 도시한다.
도 7은 실시 예에 따른 영상 표시 장치(700)의 내부 블록도이다.
도 8은 실시 예에 따른 영상 표시 장치(800)의 내부 블록도이다.
도 9는 실시 예에 따라 이미지 복원을 수행하는 뉴럴 네트워크를 설명하기 위한 일 도면이다.
도 10은 실시 예에 따라 뉴럴 네트워크가 컨볼루션 레이어에서 컨볼루션 연산을 수행하는 과정을 단순화시켜 설명하기 위한 도면이다.
도 11은 실시 예에 따라 영상 표시 장치(1100)에 복수의 이미지들이 출력되는 것을 도시한다.
도 12는 실시 예에 따라 영상 표시 장치(1200)가 외부 장치(1210)에서 수신한 이미지를 출력하는 것을 도시한다.
도 13은 실시 예에 따른 영상 표시 방법을 도시한 순서도이다.
도 14는 실시 예에 따른 영상 표시 방법을 도시한 순서도이다.
도 15는 실시 예에 따라 블러 레벨을 추정하는 과정을 도시한 순서도이다.
도 16은 실시 예에 따라 블러 레벨을 이용하여 모델을 선택하는 것을 도시한 순서도이다.
도 17은 실시 예에 따라 블러 레벨을 이용하여 모델을 선택하는 것을 도시한 순서도이다.
도 18은 실시 예에 따라 블러 레벨을 이용하여 모델의 하이퍼파라미터를 수정하여 이미지의 해상도를 향상하는 것을 도시한 순서도이다.
도 19는 실시 예에 따라 추정된 블러 레벨을 이용하여 필터를 설계하고 이를 이용하여 이미지의 해상도를 향상시키는 것을 도시하는 순서도이다.
도 20은 실시 예에 따라 이미지에 포함된 서브 영역 별로 블러 레벨을 추정하는 것을 설명하기 위한 도면이다.
도 21은 실시 예에 따라 이미지에 포함된 복수의 서브 영역 별로 해상도를 향상시키는 것을 설명하기 위한 도면이다.
도 22는 실시 예에 따른 영상 표시 방법을 도시한 순서도이다.
도 23은 실시 예에 따른 영상 표시 방법을 도시한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.

또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.

본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

또한, 명세서에서 “사용자”라는 용어는 영상 표시 장치를 이용하여 영상 표시 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 이미지 사이즈가 커질 때 이미지에 블러가 나타나는 것을 설명하기 위한 도면이다. 디스플레이 패널(미도시)의 사이즈가 대형화되면서, 상대적으로 크기가 작은 영상 표시 장치(미도시)에서 출력되던 영상이 대형 디스플레이 패널에서 출력되는 경우가 있다. 예컨대, 영상 표시 장치가 HD(High Definition)나 Full HD의 출력 해상도를 갖고, 대형 디스플레이 패널이 Ultra HD나 8K Ultra HD 등의 고 해상도를 갖는 경우, 영상 표시 장치에서 출력되는 저 해상도의 이미지를 고 해상도의 대형 디스플레이 패널에서 출력하기 위해서 이미지를 확대하여 크기를 늘리게 된다. 이 경우 대형 디스플레이 패널에서 출력되는 이미지는 원래 이미지보다 선명도가 떨어지게 된다.

또한 영상 표시 장치가 복수의 이미지들을 출력하여, 그 중 하나를 사용자로부터 선택 받는 경우, 일반적으로 영상 표시 장치는 복수의 이미지들의 해상도를 조절하여 출력하지 않고, 수신한 그대로 이미지를 출력하는 경우가 많다. 예컨대, 영상 표시 장치가 컨텐츠 제공자(미도시)로부터 컨텐츠 선택 화면을 수신하고 이를 출력하는 경우, 영상 표시 장치는 컨텐츠 제공자가 제공하는 해당 컨텐츠의 썸네일(thumbnail) 등을 그대로 화면에 출력한다. 컨텐츠 제공자로부터 수신한 컨텐츠의 해상도가 디스플레이 패널의 출력 해상도와 같거나 차이가 적은 경우에는 문제가 없으나, 컨텐츠 제공자로부터 수신한 컨텐츠의 해상도와 디스플레이 패널의 출력 해상도 간 차이가 큰 경우, 디스플레이 패널에서 출력되는 컨텐츠는 선명하지 않고 흐릿하게 보이게 된다.

도 1을 참조하면, 원본 이미지(110)는 선명하고 오브젝트의 경계 부분이 정밀하게 표시되어 있다.

도 1에서, 제1 확대 이미지(120)는 원본 이미지(110)를 5배만큼 확대한 경우의 이미지이다. 원본 이미지(110)를 확대할 경우, 픽셀 수가 많아지게 되어 픽셀에 공백이 생기게 되므로 주변의 이미지로 픽셀 사이를 보간하여 확대된 이미지를 생성하게 된다. 이 때 확대된 이미지는 고주파 영역, 특히, 오브젝트의 엣지 부분에서 손실이 발생하여 흐릿해 보이는 블러(blur)가 나타난다. 도 1에서, 제1 확대 이미지(120)는 원본 이미지(110)보다 약간 흐릿해 보이는 것을 알 수 있다.

도 1에서, 제2 확대 이미지(130)는 원본 이미지(110)를 100배만큼 확대한 경우의 이미지이다. 제2 확대 이미지(130)는 원본 이미지(110) 및 제1 확대 이미지(120)와 비교했을 때, 오브젝트의 영역을 식별하지 못할 만큼 흐릿한 것을 알 수 있다.

도 2는 실시 예에 따른 영상 표시 장치(200)의 내부 블록도이다. 도 2를 참조하면, 영상 표시 장치(200)는 프로세서(210), 메모리(220) 및 디스플레이(230)를 포함할 수 있다.

실시 예에 따른 영상 표시 장치(200)는 이미지를 처리하여 출력할 수 있는 전자 장치일 수 있다. 영상 표시 장치(200)는 고정형 또는 이동형일 수 있다. 영상 표시 장치(200)는 디지털 TV로 구현될 수 있다. 영상 표시 장치(200)는 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV 등과 같이 다양한 형태의 TV로 구현될 수 있다. 이 외에도, 영상 표시 장치(200)는 이미지를 출력할 수 있는 데스크탑, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 디지털 카메라, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 캠코더, 네비게이션, 웨어러블 장치(wearable device), 스마트 와치(smart watch), 홈네트워크 시스템, 보안 시스템, 의료 장치 중 적어도 하나가 될 수 있으나, 이에 한정되는 것은 아니다.

실시 예에 따른 메모리(220)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(220)는 프로세서(210)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한 메모리(220)는 영상 표시 장치(200)로 입력되거나 영상 표시 장치(200)로부터 출력되는 데이터를 저장할 수 있다.

메모리(220)는 영상 표시 장치(200)로 입력되는 이미지의 해상도를 향상시키기 위한 각종 프로그램과 데이터를 저장할 수 있다. 메모리(220)는 영상 표시 장치(200)가 이미지 복원을 수행하기 위해 사용하는 필터나 모델 중 적어도 하나를 저장할 수 있다.

메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

실시 예에 따른 프로세서(210)는 영상 표시 장치(200)의 전반적인 동작을 제어한다. 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 영상 표시 장치(200)가 기능하도록 제어할 수 있다.

실시 예에서, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 이미지를 주파수 도메인으로 변환하고, 주파수 도메인에서 이미지의 블러 레벨을 추정할 수 있다. 공간 도메인에서는 이미지의 블러 레벨을 추정하는 것이 어려우므로, 실시 예에서, 프로세서(210)는 이미지를 주파수 도메인으로 변환하고 이미지의 파워 스펙트럼을 이용하여 규칙 기반으로 이미지의 블러 레벨을 추정할 수 있다.

실시 예에서 프로세서(210)는 출력할 이미지가 원래 이미지보다 몇 배만큼 업스케일링 된 이미지인지, 또는 해상도 값이 원본 이미지에 비하여 얼만큼 변했는지에 대해서 정보를 알지 못하는 경우에도, 블러 레벨을 추정하고 이를 이용하여 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 프로세서(210)는 추정된 이미지의 블러 레벨을 이용하여, 공간 도메인에서 이미지의 해상도를 조절할 수 있다. 공간 도메인이 아닌 주파수 도메인에서 이미지를 복원하는 경우, 필요한 리소스와 연산량이 커진다. 또한, 주파수 도메인에서는 신호가 진폭(amplitude)과 위상(phase)을 갖는 형태로 처리되기 때문에 신호 처리가 복잡하고 어려울 뿐 아니라, 주파수 도메인에서 이미지를 복원한 후에 이를 다시 공간 도메인으로 변환하는 과정에서 이미지의 퀄러티가 떨어질 수 있다. 따라서, 실시 예에서, 프로세서(210)는 이미지의 블러 레벨 추정은 주파수 도메인에서 수행하고, 추정된 블러 레벨을 이용하여 이미지를 복원하는 과정은 공간 도메인에서 수행할 수 있다.

실시 예에서, 프로세서(210)는 이미지를 복수개의 서브 영역으로 나누고, 각 서브 영역 별로 블러 레벨을 추정하여 서브 영역 별로 해상도를 조절할 수 있다.

실시 예에서, 프로세서(210)는 추정된 블러 레벨이 임계치보다 큰지 여부에 따라 이미지 해상도를 향상시킬 것인지 여부를 결정할 수 있다. 예컨대, 소정 이미지에 대해 추정된 블러 레벨이 소정 기준치보다 작은 경우, 프로세서(210)는 해당 이미지의 해상도를 향상하지 않고 이미지를 그대로 출력할 수 있다. 예컨대, 이미지가 디스플레이(230)의 출력 해상도에 맞는 해상도를 가지는 경우에도, 해당 이미지에 대해 이미지 복원 처리를 수행할 경우 복원된 이미지는 원래의 이미지보다 인위적으로 보일 수 있다. 따라서, 프로세서(210)는 추정된 블러 레벨에 기초하여, 블러 레벨이 소정 기준치 이상으로 높은 경우에만 해당 이미지에 대해 이미지 복원을 수행할 수 있다.

실시 예에서, 프로세서(210)는 이미지를 복수개의 서브 영역으로 나누고, 각 서브 영역 별로 블러 레벨을 추정한 경우, 각 서브 영역 별로 추정된 블러 레벨이 소정 기준치 이상인 서브 영역만 해상도를 조절할 수 있다. 프로세서(210)는 블러 레벨이 소정 기준치보다 작은 서브 영역에 대해서는 해상도 조절을 생략할 수 있다.

실시 예에서, 프로세서(210)는 추정된 블러 레벨을 이용하여 이미지 복원을 수행할 수 있다. 프로세서(210)는 추정된 블러 레벨에 기반하여, 이미지 복원에 적합한 필터나 모델을 선택하거나, 이미지 복원에 적합한 필터나 모델을 설계하거나, 또는 기 설계된 필터나 모델을 수정하여 사용할 수 있다. 이를 위해 프로세서(210)는 이미지 복원 모델의 하이퍼파라미터(hyperparameter) 값을 변경할 수 있다.

프로세서(210)는 추정된 블러 레벨에 따라 선택되거나 설계된 이미지 복원 모델이나 필터를 이용하거나, 또는 기 설계된 모델이나 필터의 하이퍼파라미터 값이 변경된 모델이나 필터를 이용하여 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 프로세서(210)가 이미지를 복수개의 서브 영역으로 나누고, 각 서브 영역 별로 블러 레벨을 추정한 경우, 각 서브 영역 별로 추정된 블러 레벨에 기반하여 각 서브 영역의 해상도를 향상시킬 수 있다. 프로세서(210)는 추정된 블러 레벨이 소정 기준치를 넘는 서브 영역들 각각을 그 서브 영역에 대해 추정된 블러 레벨에 기초하여 서로 독립적인 방법으로 각 서브 영역의 해상도를 향상시킬 수 있다.도 2에서, 디스플레이(230)는, 그림이나 사진과 같은 이미지나 비디오 신호, 텍스트 신호 등을 출력할 수 있다. 실시 예에서, 디스플레이(230)는 프로세서(210)가 이미지 복원을 수행하여 획득한, 해상도가 향상된 새 이미지를 사용자에게 출력할 수 있다. 디스플레이(230)는 프로세서(210)가 추정된 블러 레벨이 소정 기준치보다 낮아 이미지의 해상도를 향상시키지 않기로 결정한 이미지에 대해서는 해당 이미지를 그대로 사용자에게 출력할 수 있다.

실시 예에서, 프로세서(210)가 이미지를 복수개의 서브 영역으로 나누고, 각 서브 영역 별로 블러 레벨을 추정하여, 복수개의 서브 영역 중 일부 또는 전부에 대해 해상도를 조절한 경우, 프로세서(210)는 해상도가 조절된 서브 영역들이 포함된 새 이미지를 획득할 수 있다. 새 이미지에는 해상도가 조절된 하나 이상의 서브 영역들과, 해상도가 조절되지 않은 서브 영역들이 포함될 수 있다.

디스플레이(230)는 해상도가 조절된 하나 이상의 서브 영역들을 포함하는 새 이미지를 출력할 수 있다.

디스플레이(230)가 터치 스크린으로 구현되는 경우, 디스플레이(230)는 출력 장치 이외에 입력 장치로 사용될 수 있다.

디스플레이(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.

디스플레이(230)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이로 구현될 수 있다. 디스플레이(230)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 8K Ultra HD 또는 8K Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.

이와 같이, 실시 예에 의하면, 영상 표시 장치(200)는 해상도를 모르는 이미지에 대해서 블러 레벨을 추정하고, 추정된 블러 레벨을 기반으로 이미지의 해상도를 향상시킬 수 있다.

실시 예에 의하면, 영상 표시 장치(200)는 주파수 도메인에서 이미지의 블러 레벨을 추정하고, 공간 도메인에서 이미지의 블러 레벨에 맞는 모델이나 필터를 이용하여 이미지의 해상도를 향상시킬 수 있다.

도 3은 실시 예에 따른 프로세서(210)의 내부 블록도이다. 도 3을 참조하면, 프로세서(210)는 블러 레벨 추정부(211) 및 해상도 향상부(213)을 포함할 수 있다.

사람은 육안으로 공간 도메인에서 이미지가 선명한지 또는 이미지가 흐릿한지, 흐릿한 정도가 약한지 심한지 등을 식별할 수 있지만, 영상 표시 장치(200)는 공간 도메인에서 이미지의 블러 레벨을 추정하는 것이 어렵다. 즉, 영상 표시 장치(200)는, 이미지의 블러 레벨을 추정하기 위해서 비교하고 판단할 대상을 필요로 하다는 점에서 공간 도메인 상에서 이미지의 블러 레벨을 판단하는 것이 어렵다.

실시 예에서, 블러 레벨 추정부(211)는 이미지를 주파수 도메인으로 변환하고, 주파수 도메인에서 이미지의 블러 레벨을 추정할 수 있다. 이를 위해, 블러 레벨 추정부(211)는 이미지에 대해 FFT(Fast Fourier Transform)를 수행할 수 있다.

이미지는 연속(continuous)이 아닌 이산(discrete) 신호이고, 한정된 유한(finite) 구간에서 정의되는 신호이다. 이미지가 W x H 크기를 갖는 신호 f(x, y)라고 가정하면, 블러 레벨 추정부(211)는 이미지에 대해 이산 푸리에 변환(discrete Fourier transform)을 수행하여 F(u, v)를 획득할 수 있다. 이산 푸리에 변환은 이산 데이터에 대해 정의되는 푸리에 변환이다. 여기서 F(u, v)는 x축 방향으로 주파수 u, y축 방향으로 주파수 v인 주기 함수 성분의 계수이다. 블러 레벨 추정부(211)는 이미지에 대해 푸리에 변환을 수행하여 이미지를 다양한 2차원 정현파들의 합으로 분해하여 표현할 수 있다.

블러 레벨 추정부(211)는 푸리에 변환을 통해 얻은 F(u, v)로부터 파워 스펙트럼(power spectrum)을 획득할 수 있다. 블러 레벨 추정부(211)는 파워 스펙트럼을 이용하여 이미지의 블러 레벨을 추정할 수 있다.

이하, 블러 레벨 추정부(211)가 획득하는 파워 스펙트럼에 대해서 도 4를 참조하여 설명하기로 한다.

도 4는 실시 예에 따라 블러 레벨 추정부(211)가 이미지에 대하여 주파수 도메인에서 획득한 파워 스펙트럼을 도시한 도면이다. 도 4의 좌측에는 공간 도메인에서의 이미지가 도시되어 있고, 우측에는 각 이미지에 대응하는 파워 스펙트럼이 도시되어 있다.

도 4의 좌측에는 위부터 차례대로 원본 이미지(110), 제1 확대 이미지(120), 및 제2 확대 이미지(130)가 도시되어 있다. 도 1에서 설명한 바와 같이, 도 4에서 원본 이미지(110)는 선명하고 오브젝트의 경계 부분이 세밀하게 표시되어 있는 반면, 제1 확대 이미지(120)는 원본 이미지(110)를 5배만큼 확대한 이미지로, 오브젝트의 엣지 부분에서 손실이 발생하여 원본 이미지(110)보다 흐릿하다. 또한, 제2 확대 이미지(130)는 원본 이미지(110)를 100배만큼 확대한 경우의 이미지로, 오브젝트의 영역을 식별하지 못할 만큼 블러 레벨이 크다.

원본 이미지(110)를 W x H 크기를 갖는 신호 f(x, y)라고 할 때, 실시 예에 따른 블러 레벨 추정부(211)는 원본 이미지(110)에 대해 푸리에 변환을 수행하여 주파수 도메인의 신호 F(u, v)를 획득할 수 있다. 여기서, 여기서 F(u, v)는 복소수(complex number)로 실수부(Real)와 허수부(Imaginary)로 구성된다. 블러 레벨 추정부(211)는 복소수 F(u, v)의 크기 |F(u, v)|를 파워 스펙트럼으로 획득할 수 있다. F(u, v)에서, u = 0, ..., W-1, v = 0, ..., H-1 가 되므로, |F(u, v)|를 픽셀 값으로 잡으면 파워 스펙트럼을 원본 이미지와 동일한 크기의 이미지로 시각화할 수 있다.

파워 스펙트럼은 해당 주파수 성분이 원 이미지에 얼마나 강하게 포함되어 있는지를 나타낸다. 파워 스펙트럼은 저주파 영역은 매우 큰 값을 갖는 반면에 대부분의 다른 영역은 0에 가까운 값을 가지므로 파워 스펙트럼을 이미지로 표현할 때에는 스펙트럼에 log를 취하는 것이 일반적이다. 또한, 원래의 파워 스펙트럼 이미지는 모서리로 갈수록 값이 높아지기 때문에 스펙트럼의 형태를 파악하기 힘들기 때문에 원점이 중심(center)에 오도록 스펙트럼의 위치를 이동시킨(shift) 형태의 이미지를 파워 스펙트럼 이미지로 생성할 수 있다.

블러 레벨 추정부(211)는 도 4의 좌측 이미지 각각에 대해, 파워 스펙트럼을 획득할 수 있다. 도 4의 우측에 도시된 바와 같이 원본 이미지(110)에 대한 파워 스펙트럼(410)과, 제1 확대 이미지(120) 및 제2 확대 이미지(130)에 대응하는 파워 스펙트럼(420, 430)은 각각 서로 다른 형태의 파워 스펙트럼을 가지고 있음을 알 수 있다.

즉, 원본 이미지(110)의 파워 스펙트럼(410)은, 전체 이미지 영역에서 파워 값이 급변하지 않고 매끄럽게 채워져 있음을 알 수 있다. 이에 비하여, 제1 확대 이미지(120)와 제2 확대 이미지(130)의 파워 스펙트럼(420, 430)은 이미지가 흐리고 중심을 기준으로 특정 영역에서 파워 스펙트럼이 집중되어 있음을 알 수 있다. 또한, 도 4에서 제1 확대 이미지(120)의 파워 스펙트럼(420)에 비해 제2 확대 이미지(130)의 파워 스펙트럼(430)이 중심을 기준으로 파워 스펙트럼의 집중도가 더 크다는 것을 알 수 있다. 파워 스펙트럼의 집중도가 크다는 것은 이미지에 걸쳐 파워 값이 급변하는 것을 의미할 수 있다.

실시 예에서, 블러 레벨 추정부(211)는 파워 스펙트럼으로부터 스펙트럴 엔벨롭(spectral envelope)을 획득할 수 있다. 스펙트럴 엔벨롭에 대해서는 이하, 도 5 및 도 6을 참조하여 설명하기로 한다.

도 5는 실시 예에 따라, 블러 레벨 추정부(211)가 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭을 도시한다. 도 5를 참조하면, 좌측은 원본 이미지(110)의 파워 스펙트럼(410)과 제1 확대 이미지(120)의 파워 스펙트럼(420)을 각각 도시하고, 도 5의 우측 그래프는 파워 스펙트럼으로부터 획득한 파워 엔벨롭(510, 520)을 도시한다. 도 5의 우측 그래프의 x축은 빈 인덱스(bin index) 값, y축은 신호의 절대값을 정규화한 후, log를 취하여 획득한 주파수를 나타낸다.

실시 예에서, 블러 레벨 추정부(211)는 파워 스펙트럼의 중심을 지나는 행 또는 열, 또는 파워 스펙트럼의 중심에서 소정 거리 이내에 위치한 행 또는 열을 선택하고, 선택된 행 또는 열에 대해 스펙트럴 엔벨롭을 획득할 수 있다. 스펙트럴 엔벨롭은 파워 스펙트럼 값을 저주파로부터 고주파까지 연결한 선으로, 관심 영역의 주파수 특성을 표시한다.

실시 예에서, 블러 레벨 추정부(211)는 파워 스펙트럼에서 하나가 아닌, 복수 개의 행 및/또는 열을 선택하고, 선택된 행 및/또는 열에 대해 획득한 스펙트럴 엔벨롭들의 평균 값을 이용할 수도 있다.

도 5의 우측에 그려진 두 그래프 중 원본 스펙트럴 엔벨롭(510)은 원본 이미지(110)의 파워 스펙트럼(410)으로부터 획득한 그래프이고, 제1 스펙트럴 엔벨롭(520)은 제1 이미지(120)의 파워 스펙트럼(420)으로부터 획득한 그래프이다. 도 5에 도시된 바와 같이, 원본 스펙트럴 엔벨롭(510)과 제1 스펙트럴 엔벨롭(520)은 그래프의 기울기가 다르다. 즉, 원본 스펙트럴 엔벨롭(510) 그래프는 기울기가 완만한 반면, 제1 스펙트럴 엔벨롭(520)은 기울기가 평평한 구간과 급격히 변하는 구간을 포함하고 있음을 알 수 있다.

실시 예에서, 블러 레벨 추정부(211)는 제1 스펙트럴 엔벨롭(520)을 이용하여 제1 이미지(120)의 블러 레벨을 추정할 수 있다.

실시 예에서, 블러 레벨 추정부(211)는 통계적으로, 스펙트럴 엔벨롭의 기울기가 급격히 변하는 구간을 갖는 경우, 해당 이미지에 블러된 영역이 있다는 점에 착안하여, 스펙트럴 엔벨롭의 기울기를 이용하여 블러 레벨을 추정할 수 있다.

실시 예에서, 블러 레벨 추정부(211)는 제1 스펙트럴 엔벨롭(520)의 기울기가 급격히 변하는 지점의 빈 인덱스 값(521)을 획득하고, 획득한 빈 인덱스 값으로부터 제1 이미지(120)의 블러 레벨을 추정할 수 있다.

또는 블러 레벨 추정부(211)는 제1 스펙트럴 엔벨롭(520)의 기울기가 급격히 변하는 구간에서의 그래프의 기울기 값에 따라 제1 이미지(120)의 블러 레벨을 추정할 수 있다.

또는 블러 레벨 추정부(211)는 제1 스펙트럴 엔벨롭(520)의 기울기가 완만한 구간과 급격히 변하는 구간의 비율에 따라 블러 레벨을 추정할 수 있다.

이와 같이, 실시 예에서, 블러 레벨 추정부(211)는 스펙트럴 엔벨롭의 그래프 형태를 이용하여, 규칙 기반으로 이미지의 블러 레벨을 추정할 수 있다.

도 6은 실시 예에 따라, 블러 레벨 추정부(211)가 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭을 도시한다. 도 6을 참조하면, 좌측은 원본 이미지(110)의 파워 스펙트럼(410)과 제2 확대 이미지(130)의 파워 스펙트럼(430)을 각각 도시하고, 도 6의 우측 그래프는 파워 스펙트럼으로부터 획득한 파워 엔벨롭(510, 530)을 도시한다. 도 6의 우측 그래프 또한 x축은 빈 인덱스(bin index) 값, y축은 주파수를 나타낸다.

도 5에서와 마찬가지로, 블러 레벨 추정부(211)는 파워 스펙트럼의 중심 또는 중심 부근을 지나는 행 또는 열을 선택하고, 선택된 행 또는 열에 대해 스펙트럴 엔벨롭을 획득할 수 있다.

도 6의 우측에 도시된 그래프 중 하나는 원본 이미지(110)의 파워 스펙트럼(410)으로부터 획득한 원본 스펙트럴 엔벨롭(510)이고 또 하나는 제2 이미지(430)의 파워 스펙트럼(430)으로부터 획득한 제2 스펙트럴 엔벨롭(530)이다. 도 6에서 보듯이, 원본 스펙트럴 엔벨롭(510)의 그래프는 기울기가 완만한 반면, 제2 스펙트럴 엔벨롭(530)은 기울기가 평평한 구간과 급격히 변하는 구간을 포함하고 있음을 알 수 있다. 또한, 제2 스펙트럴 엔벨롭(530)은 원본 스펙트럴 엔벨롭(510)에 비하여 그래프의 기울기가 매우 가파르게 변하는 것을 알 수 있다.

실시 예에서, 블러 레벨 추정부(211)는 스펙트럴 엔벨롭의 기울기가 가파른 정도를 이용하여 이미지의 블러 레벨을 추정할 수 있다. 예컨대, 블러 레벨 추정부(211)는 도 5에서 도시한 제1 스펙트럴 엔벨롭(520)보다 도 6에 도시한 제2 스펙트럴 엔벨롭(530)의 기울기가 더 가파르게 변한다는 점에서, 스펙트럴 엔벨롭의 기울기의 가파른 정도가 클수록, 해당 이미지의 블러 레벨이 크다고 판단할 수 있다.

실시 예에서, 블러 레벨 추정부(211)는 스펙트럴 엔벨롭의 기울기가 급변하기 시작하는 지점의 빈 인덱스 값(531)을 획득하고, 획득한 빈 인덱스 값으로부터 블러 레벨을 추정할 수 있다. 예컨대, 블러 레벨 추정부(211)는 도 5에서 도시한 제1 스펙트럴 엔벨롭(520)의 기울기가 급격히 변하는 지점의 빈 인덱스 값(521)보다, 도 6에서 도시한 제2 스펙트럴 엔벨롭(530)의 기울기가 급격히 변하는 지점의 빈 인덱스 값(531)이 더 크다는 것을 이용하여, 스펙트럴 엔벨롭의 기울기가 급격히 변하기 시작하는 지점의 빈 인덱스 값이 클수록, 해당 이미지의 블러 레벨이 크다고 판단할 수 있다.

이와 같이, 블러 레벨 추정부(211)는 주파수 도메인에서 스펙트럴 엔벨롭을 이용하여 블러 레벨을 추정할 수 있다. 블러 레벨 추정부(211)는 스펙트럴 엔벨롭의 기울기 값이나, 기울기가 완만한 구간과 급격히 변하는 구간의 비율을 이용하거나, 또는 기울기가 급격히 변하기 시작하는 지점에서의 빈 인덱스 값 등을 이용하여 이미지의 블러 레벨을 추정할 수 있다.

이와 같이, 블러 레벨 추정부(211)는 주파수 도메인에서 규칙이나 통계를 기반으로 이미지의 블러 레벨을 계산한다는 점에서 적은 연산량을 가지고 빠른 속도로, 이미지의 블러 레벨을 추정할 수 있다.

다시, 도 3으로 돌아와서, 블러 레벨 추정부(211)는 추정된 블러 레벨을 해상도 향상부(213)로 보낼 수 있다. 해상도 향상부(213)는 블러 레벨 추정부(211)로부터 추정된 블러 레벨을 받고, 이를 이용하여 공간 도메인에서 이미지의 해상도를 향상시킬 수 있다.

주파수 도메인에서 이미지 복원을 수행하기 위해서는 많은 리소스를 필요로 한다. 또한, 주파수 도메인에서는 위상과 진폭을 가지는 정현파를 이용하여 신호 처리를 수행한다는 점에서 연산량이 많고 복잡할 뿐 아니라, 신호 처리 결과를 다시 공간 도메인으로 역변환하여야 한다는 문제가 있다. 따라서, 실시 예에서, 해상도 향상부(213)는 공간 도메인에서 이미지 복원을 수행할 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨을 이용하여 다양한 방법으로 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 다양한 이미지 복원 모델을 이용하여 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨을 이용하여 이미지 복원 모델을 몇 번 반복하여 이용할지를 결정할 수 있다. 해상도 향상부(213)는 결정한 횟수만큼 이미지 복원 모델을 반복하여 사용함으로써, 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 하나 이상의 뉴럴 네트워크(neural network)를 이용한 학습 모델을 이용하여, 이미지의 해상도를 향상시킬 수 있다. 뉴럴 네트워크는, 인공지능(Artificial Intelligence)에 기초하여 뉴럴 네트워크에 입력된 소정의 이미지의 해상도를 향상시키는 방법을 학습하는 알고리즘의 집합일 수 있다. 예를 들어, 뉴럴 네트워크는, 소정의 이미지를 입력 값으로 하는 지도 학습(supervised learning), 별다른 지도 없이 이미지를 복원하기 위해 필요한 데이터의 종류를 스스로 학습함으로써, 이미지를 복원하기 위한 패턴을 발견하는 비지도 학습(unsupervised learning)에 기초하여, 이미지의 해상도를 향상시킬 수 있다. 또한, 예를 들어, 뉴럴 네트워크는, 학습에 따라 복원된 이미지가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 이용하여, 이미지의 해상도를 향상시키는 방법을 학습할 수 있다.

또한, 뉴럴 네트워크는 인공 지능(AI) 기술에 따른 추론 및 예측을 위한 연산을 수행할 수 있다. 뉴럴 네트워크는 CNN(Convolution Neural Network), DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망등과 같은 CNN 기반 신경망을 이용할 수 있다. CNN 기반 신경망은 이미지에 포함되는 정보들끼리의 상관 관계가 지역적(local)인 경우, 특정 지역만을 비추는 필터의 개념을 도입하고 이 필터 내에서의 정보들을 컨볼루션(convolution)하여 새로운 특징 맵을 생성할 수 있다.

뉴럴 네트워크는 예컨대, 복수의 계층들을 통한 연산을 수행하는 딥 뉴럴 네트워크(DNN: Deep Neural Network)일 수 있다. 뉴럴 네트워크는 연산을 수행하는 내부의 계층(layer)의 개수에 따라서 계층의 개수가 복수일 경우, 즉 연산을 수행하는 뉴럴 네트워크의 심도(depth)가 증가하는 경우, 딥 뉴럴 네트워크(DNN)로 분류될 수 있다. 딥 뉴럴 네트워크(DNN) 연산은 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다.

해상도 향상부(213)는 뉴럴 네트워크를 통하여 이미지 복원을 위한 데이터 인식 모델을 구현하고, 구현된 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다.

실시 예에서, 해상도 향상부(213)가 이미지의 해상도를 향상시키기 위해 사용할 수 있는 이미지 복원 모델은 이미지 복원 방법 및 사용하는 뉴럴 네트워크의 종류, 학습 데이터의 종류 등에 따라 여러 모델로 나뉠 수 있다.

예컨대, 이미지 복원 모델은 DCNN을 이용하여, 원본 이미지와 원본 이미지를 절반으로 축소시킨 이미지를 대조해서 학습하는 방식으로 학습 데이터를 늘리고 학습 데이터에서 도출된 정보를 통해서 이미지를 다시 그리는 방식으로 이미지의 해상도를 향상할 수 있다.

예컨대, 이미지 복원 모델은 딥 뉴럴 네트워크를 통한 연산을 수행하여, 입력되는 이미지를 분석 또는 분류하여 이미지에 포함된 하나 이상의 객체나 이미지에 등장하는 배경 또는 장소 등을 인식하고 인식된 객체를 다양한 학습 데이터를 이용하여 복원하는 방식으로 이미지의 해상도를 향상시킬 수 있다.

예컨대, 이미지 복원 모델은 보간법(interpolation)에 딥러닝을 접목시킨 방식을 이용할 수 있다. 이미지 복원 모델은 이미지를 확대하는 경우 픽셀 사이의 공백에 존재하지 않는 데이터를 계산해 채우는 보간 알고리즘과, 수많은 데이터를 이용해 스스로 패턴을 학습하고 불분명한 상황에서 결과를 예측하는 딥러닝 네트워크를 함께 이용함으로써, 확대된 이미지의 픽셀 사이를 유추할 수 있는 변수 데이터를 획득하고, 획득한 변수 데이터로 픽셀 사이의 공백을 채워 이미지의 해상도를 향상시킬 수 있다.

예컨대, 이미지 복원 모델은 저해상도의 이미지를 분석한 뒤 이를 비슷한 고해상, 고화질의 이미지와 연결하는 뉴럴 네트워크와 이로부터 출력되는 이미지의 세부 사항을 추가하는 뉴럴 네트워크를 함께 이용하여 이미지를 복원할 수 있다. 즉, 뉴럴 네트워크는 엄청난 양의 고화질 이미지를 저해상도의 이미지로 해상도를 낮춘 뒤 이를 다시 고화질 이미지와 연결하는 방식으로 학습하고, 학습 데이터에 기반하여 입력 이미지로부터 새로운 고화질 이미지를 생성한 후, 생성된 이미지의 세부 사항을 추가해준다. 이를 위해 뉴럴 네트워크는 수많은 고화질 이미지를 학습하고 이를 클래스별로 분류하고 해당 클래스에 있는 이미지를 구성하고 있는 요소나 특징들을 학습하고, 스케일 업된 이미지가 입력되면 해당 이미지가 속해 있는 클래스에 대해 이미 알고 있는 특징을 살려 새 픽셀을 추가해서 최종 결과물을 획득할 수 있다.

전술한 것은 이미지 복원을 위해 사용될 수 있는 다양한 뉴럴 네트워크 모델의 예를 설명한 것으로, 실시 예에 의한 것일 뿐, 본 출원에서 사용할 수 있는 뉴럴 네트워크가 위 실시 예로 한정되는 것은 아니다.

실시 예에서, 해상도 향상부(213)는 이미지의 해상도를 향상시키기 위해 이용할 수 있는 복수의 뉴럴 네트워크 모델들 중, 추정된 블러 레벨에 맞는 뉴럴 네트워크를 선택할 수 있다. 예컨대, 전술한 바와 같이 다양한 이미지 복원 모델들이 있는 경우, 해상도 향상부(213)는 추정된 블러 레벨에 따라 복수의 이미지 복원 모델들 중 하나를 선택할 수 있다. 해상도 향상부(213)는 추정된 블러 레벨을 갖는 이미지로부터 가장 최적화된 이미지를 복원할 수 있는 뉴럴 네트워크를 선택하고, 선택한 이미지 복원 모델을 이용하여 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨에 따라 이미지 복원 모델을 적용할 횟수를 결정할 수 있다. 해상도 향상부(213)는 결정된 횟수만큼 해당 이미지에 대해 이미지 복원 모델을 적용하여 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨에 따라 이미지 복원 모델을 수정할 수 있다. 이미지 복원 모델을 수정한다는 것은 뉴럴 네트워크에서 사용되는 다양한 하이퍼파라미터 값들을 수정하는 것을 포함할 수 있다. 예컨대, 해상도 향상부(213)는 뉴럴 네트워크의 커널(kernel)의 크기를 변화시키거나, 또는 노드에 부여되는 가중치 값 등과 같이 뉴럴 네트워크 모델 구현에 사용되는 다양한 하이퍼파라미터 값들을 추정된 블러 레벨에 맞게 변화시킬 수 있다.

실시 예에서, 뉴럴 네트워크에서 사용되는 하이퍼파라미터는 뉴럴 네트워크 모델에서 결정되는 변수를 포함할 수 있다. 이러한 변수는 예측되거나, 데이터를 통해 결정되거나 학습될 수 있다.

실시 예에서, 뉴럴 네트워크에서 사용되는 하이퍼파라미터는 머신러닝 모델 외부에서 결정되거나 학습된 값을 포함할 수 있다. 예컨대, 하이퍼파라미터는 learning rate나 서포트 벡터 머신에서의 C, sigma 값, KNN에서의 K값 등과 같이 머신러닝 모델을 사용할 때 모델의 외부에서 결정되는 값들을 포함할 수 있다. 이러한 하이퍼파라미터들은 모델 구성에 따라 결정되는 필터 사이즈나 필터 계수, 커널 사이즈, 노드의 웨이트 값들을 포함할 수 있다.

해상도 향상부(213)는 블러 레벨에 맞게 하이퍼파라미터 값들을 설정하거나 변경할 수 있다. 하이퍼파라미터 값이 바뀌는 경우 다른 모델이 생성될 수 있다.예컨대, 해상도 향상부(213)는 알고리즘을 여러 번 수행하여 최적의 알고리즘 성능을 위한 하이퍼파라미터 값을 선택할 수 있다. 실시 예에서, 해상도 향상부(213)는 서로 다른 하이퍼파라미터 값들로 만들어진 모델 중에서 가장 성능이 높은 모델을 선택하여 이용할 수 있다.

해상도 향상부(213)는 하이퍼파라미터 값을 설정하거나 또는 기 설정된 값을 수정하고, 이러한 하이퍼파라미터를 갖는 이미지 복원 모델을 이용하여 이미지의 해상도를 최적으로 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨에 따라 이미지 복원을 수행할 필터를 설계할 수 있다. 예컨대, 해상도 향상부(213)는 블러 레벨에 따라 대역폭을 달리하는 BPF나 HPF 등을 설계하고, 설계된 필터를 이용하여 이미지에서 고주파 대역의 신호를 변경하는 방법을 이용하여 이미지의 해상도를 향상시킬 수 있다. 해상도 향상부(213)는 필터의 필터 사이즈나 필터 계수 등의 하이퍼파라미터 값을 설정하거나 변경하여 추정된 블러 레벨에 적합한 필터를 설계할 수 있다. 해상도 향상부(213)는 설계된 필터를 이용하여 이미지의 해상도를 향상시킬 수 있다. 필터 설계에 대해서는 도 19에 대한 설명에서 상세히 살펴보기로 한다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨이 낮은 경우, 예컨대, 이미지의 블러 정도가 소정 기준치 이하인 경우, 해당 이미지에 대해서는 해상도 향상을 생략할 수 있다. 이미지의 해상도가 높은 경우에도 해당 이미지에 대해 뉴럴 네트워크 모델을 적용하거나 필터링을 수행하는 경우, 그로부터 출력되는 이미지는 원래의 이미지보다 오히려 퀄러티가 낮고 인위적으로 보일 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨이 소정 기준치 이하인 경우에는 해당 이미지에 대한 후처리, 즉, 해상도 향상 과정을 생략하고, 바로 이미지를 디스플레이(230)를 통해 출력함으로써, 불필요한 연산이 수행되지 않도록 할 수 있다.

이와 같이, 실시 예에 따르면 해상도 향상부(213)는 추정된 블러 레벨에 따라 적합한 이미지 복원 모델을 선택하거나 또는 모델의 하이퍼파라미터 값을 변경할 수 있다. 실시 예에 따르면 해상도 향상부(213) 추정된 블러 레벨에 따라 적합한 필터를 선택하거나 또는 필터를 설계할 수 있다.

실시 예에 따르면 해상도 향상부(213)는 추정된 블러 레벨에 따라 선택되거나 설계된 모델이나 필터를 이용하여 이미지를 복원함으로써, 최적의 이미지를 생성할 수 있다.

도 7은 실시 예에 따른 영상 표시 장치(700)의 내부 블록도이다. 도 7을 참조하면, 영상 표시 장치(700)는 프로세서(710), 메모리(720), 디스플레이(730) 외에도 통신부(740) 및 뉴럴 네트워크 프로세서(750)를 포함할 수 있다.

도 7의 영상 표시 장치(700)에 포함된 메모리(710) 및 디스플레이(730)는 도 2의 영상 표시 장치(200)에 포함된 메모리(210) 및 디스플레이(230)와 수행하는 기능이 거의 동일하다. 따라서, 도 2에서 설명한 내용과 동일한 내용에 대한 설명은 생략한다.

도 7의 영상 표시 장치(700)는 통신부(740)를 포함할 수 있다. 통신부(740)는 유무선의 네트워크를 통하여 외부 장치(미도시)들과 통신할 수 있다. 통신부(740)는 프로세서(710)의 제어에 따라서 유무선의 네트워크를 통하여 연결되는 외부 장치와 신호를 송수신할 수 있다. 외부 장치는 통신부(740)와 데이터를 송수신하는 데이터를 처리하는 서버, 서버 시스템, 서버 기반의 장치 등을 포함할 수 있다.

통신부(740)는 적어도 하나의 통신 모듈을 포함할 수 있다. 통신 모듈은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 포함할 수 있다.

실시 예에서, 통신부(740)는 외부 장치로부터 이미지나 비디오 신호, 오디오 신호 등의 미디어 컨텐츠를 수신할 수 있다. 이때, 통신부(740)가 수신하는 이미지는 영상 표시 장치(700)가 출력할 수 있는 해상도보다 낮은 해상도를 갖는 이미지를 포함할 수 있다.

실시 예에서, 도 7의 영상 표시 장치(700)는 도 2의 영상 표시 장치(200)에 비하여 뉴럴 네트워크 프로세서(750)을 더 포함할 수 있다. 즉, 도 7의 영상 표시 장치(700)는 도 2의 영상 표시 장치(200)와 달리, 뉴럴 네트워크를 통하여 이미지 복원 연산을 수행하는 것을 프로세서(710)와는 별도의 프로세서인 뉴럴 네트워크 프로세서(750)를 통하여 수행할 수 있다.

실시 예에서, 프로세서(710)는 이미지를 주파수 도메인으로 변환하고, 주파수 도메인에서 블러 레벨을 추정할 수 있다. 프로세서(710)는 추정된 블러 레벨을 뉴럴 네트워크 프로세서(750)로 보낸다. 실시 예에서, 프로세서(710)는 추정된 블러 레벨이 소정 기준치 이하로 낮은 경우, 해당 이미지에 대해 추정된 블러 레벨을 뉴럴 네트워크 프로세서(750)로 보내지 않고, 해당 이미지를 이미지 처리 없이 디스플레이(730)을 통해 출력할 수 있다.

실시 예에서, 뉴럴 네트워크 프로세서(750)는 메모리(720)에 저장된, 또는 뉴럴 네트워크 프로세서(750) 내부 메모리(미도시)에 저장된 하나 이상의 인스트럭션을 실행하여 뉴럴 네트워크를 통한 이미지 복원 연산을 수행할 수 있다.

실시 예에서, 뉴럴 네트워크 프로세서(750)는 프로세서(710)로부터 수신한, 추정된 블러 레벨을 이용하여 이미지의 블러 정도를 파악하고, 이로부터 복수의 모델들 중 이미지의 블러에 맞는 최적의 모델을 선택할 수 있다. 또는 뉴럴 네트워크 프로세서(750)는 블러 레벨에 맞게 모델의 하이퍼파라미터 값을 수정할 수 있다.

뉴럴 네트워크 프로세서(750)는, 선택된 최적의 뉴럴 네트워크를 이용한 학습 모델을 이용하거나, 또는 하이퍼파라미터 값이 수정된 하나 이상의 뉴럴 네트워크를 이용한 학습 모델을 이용하여, 이미지의 해상도를 향상시킬 수 있다. 뉴럴 네트워크 프로세서(750)는 뉴럴 네트워크를 통하여 해상도 향상을 위한 데이터 인식 모델을 구현하고, 구현된 데이터 인식 모델을 학습 데이터를 이용하여 학습하고, 학습된 데이터 인식 모델을 이용하여, 입력되는 이미지를 분석 또는 분류할 수 있다. 뉴럴 네트워크 프로세서(750)는 딥 뉴럴 네트워크를 통한 연산을 수행하여, 이미지의 해상도를 향상시켜 최적의 이미지를 복원할 수 있다.

도 8은 실시 예에 따른 영상 표시 장치(800)의 내부 블록도이다. 도 8을 참조하면, 영상 표시 장치(800)는 프로세서(210), 메모리(220), 디스플레이(230) 외에 튜너부(810), 통신부(820), 감지부(830), 입/출력부(840), 비디오 처리부(850), 오디오 처리부(860), 오디오 출력부(870), 및 사용자 인터페이스(880)를 포함할 수 있다.

도 8의 영상 표시 장치(800)는 도 2의 영상 표시 장치(200)의 구성 요소를 포함할 수 있다. 따라서, 프로세서(210), 메모리(220) 및 디스플레이(230)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 생략한다.

튜너부(810)는 유선 또는 무선으로 수신되는 방송 컨텐츠 등을 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 영상 표시 장치(800)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 튜너부(810)를 통해 수신된 컨텐츠는 디코딩되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(210)의 제어에 의해 메모리(220)에 저장될 수 있다.

통신부(820)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함할 수 있다. 여기서, 적어도 하나의 통신 모듈은 방송 수신을 수행하는 튜너, 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA 등과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 뜻한다.

통신부(820)는 프로세서(210)의 제어에 의해 영상 표시 장치(800)를 외부 장치나 서버와 연결할 수 있다. 영상 표시 장치(800)는 통신부(820)를 통해 외부 장치나 서버 등으로부터 영상 표시 장치(800)가 필요로 하는 프로그램이나 어플리케이션(application)을 다운로드하거나 또는 웹 브라우징을 할 수 있다. 또한, 통신부(820)는 외부 장치로부터 컨텐츠를 수신할 수 있다.

통신부(820)는 영상 표시 장치(800)의 성능 및 구조에 대응하여 무선 랜(821), 블루투스(822), 및 유선 이더넷(Ethernet)(823) 중 하나를 포함할 수 있다. 또한, 통신부(820)는 무선랜(821), 블루투스(822), 및 유선 이더넷(Ethernet)(823)의 조합을 포함할 수 있다. 통신부(820)는 프로세서(210)의 제어에 의해 리모컨 등과 같은 제어 장치(미도시)를 통한 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다. 통신부(820)는 블루투스(822) 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 미도시), BLE(bluetooth low energy, 미도시)를 더 포함할 수 있다. 실시 예에 따라, 통신부(820)는 블루투스(822)나 BLE와 같은 근거리 통신을 통하여 외부 장치 등과 연결 신호를 송수신할 수도 있다.

감지부(830)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(831), 카메라부(832), 및 광 수신부(833)를 포함할 수 있다. 마이크(831)는 사용자의 발화(utterance)된 음성을 수신할 수 있고 수신된 음성을 전기 신호로 변환하여 프로세서(210)로 출력할 수 있다. 카메라부(832)는 센서(미도시) 및 렌즈(미도시)를 포함하고, 화면에 맺힌 이미지를 촬영할 수 있다. 광 수신부(833)는, 광 신호(제어 신호를 포함)를 수신할 수 있다. 광 수신부(833)는 리모컨이나 핸드폰 등과 같은 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(210)의 제어에 의해 제어 신호가 추출될 수 있다.

입/출력부(840)는 프로세서(210)의 제어에 의해 영상 표시 장치(800) 외부의 기기 등으로부터 비디오(예를 들어, 동영상 신호나 정지 영상 신호 등), 오디오(예를 들어, 음성 신호나, 음악 신호 등) 및 부가 정보, 예를 들어, 컨텐트에 대한 설명이나 컨텐트 타이틀, 컨텐트 저장 위치 등을 수신할 수 있다. 입/출력부(840)는 HDMI 포트(High-Definition Multimedia Interface port, 841), 컴포넌트 잭(component jack, 842), PC 포트(PC port, 843), 및 USB 포트(USB port, 844) 중 하나를 포함할 수 있다. 입/출력부(840)는 HDMI 포트(841), 컴포넌트 잭(842), PC 포트(843), 및 USB 포트(844)의 조합을 포함할 수 있다.

비디오 처리부(850)는, 디스플레이(830)에 의해 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.

디스플레이(230)는 방송국으로부터 수신하거나 외부 서버, 또는 외부 저장 매체 등으로부터 수신한 컨텐츠를 화면에 출력할 수 있다. 컨텐츠는 미디어 신호로, 비디오 신호, 이미지, 텍스트 신호 등을 포함할 수 있다. 또한 디스플레이(230)는HDMI 포트(841)를 통해 수신한 비디오 신호나 이미지를 화면에 표시할 수 있다. 디스플레이(230)가 터치 스크린으로 구현되는 경우, 디스플레이(230)는 출력 장치 이외에 입력 장치로 사용될 수 있다. 그리고, 영상 표시 장치(800)의 구현 형태에 따라, 영상 표시 장치(800)는 디스플레이(230)를 2개 이상 포함할 수 있다.

실시 예에서, 프로세서(210)는 이미지의 블러 레벨을 추정하고, 추정된 블러 레벨에 기초하여 이미지의 해상도를 향상시킬 수 있다. 프로세서(210)는 복수의 이미지 복원 모델 중 추정된 블러 레벨에 맞는 모델을 선택하고, 선택된 모델에 따라 이미지의 해상도를 향상시키거나, 모델의 하이퍼파라미터 값을 변경하고 변경된 하이퍼파라미터 값을 갖는 모델을 이용하여 이미지의 해상도를 향상시킬 수 있다. 또는 프로세서(210)는 블러 레벨에 따라 적절한 하이퍼파라미터 값을 갖는 필터를 설계하고, 설계된 필터를 이용하여 이미지의 해상도를 향상시킬 수 있다.

디스플레이(230)는 프로세서(210)에 의해 이미지 해상도가 향상된 이미지를 출력할 수 있다.

오디오 처리부(860)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(860)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.

오디오 출력부(870)는 프로세서(210)의 제어에 의해 튜너부(810)를 통해 수신된 컨텐트에 포함된 오디오, 통신부(820) 또는 입/출력부(840)를 통해 입력되는 오디오, 메모리(820)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(870)는 스피커(871), 헤드폰 출력 단자(872) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(873) 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(880)는 영상 표시 장치(800)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 인터페이스(880)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 영상 표시 장치(800)가 원격 제어 장치(remote controller)(미도시)에 의해서 조작되는 경우, 사용자 인터페이스(880)는 원격 제어 장치로부터 수신되는 제어 신호를 수신할 수도 있을 것이다.

도 9는 실시 예에 따라 이미지 복원을 수행하는 뉴럴 네트워크를 설명하기 위한 일 도면이다. 도 9는, 실시 예에서 이용되는 뉴럴 네트워크를 예시적으로 도시한다.

프로세서(210)는 CNN(Convolution Neural Network), DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등을 이용하여, 출력 데이터를 생성할 수 있다. DCNN, 및 캡스넷 또한 CNN 기반의 신경망일 수 있다.

CNN 기반 신경망은 이미지에 포함되는 정보들끼리의 상관 관계가 지역적(local)한 경우, 특정 지역만을 비추는 필터의 개념을 도입하고 이 필터 내에서의 정보들을 컨볼루션(convolution)하여 출력 데이터를 생성할 수 있다.

도 9는 CNN 기반의 신경망(900)을 도시한다. 구체적으로, 도 9는 복수개의 계층들을 포함하여 복수의 심도(depth)를 갖는 DCNN(Deep Convolution Neural Network)(900)을 도시한다. 프로세서(210)는 CNN 기반의 신경망(900)을 통하여 이미지의 해상도를 향상시켜 그 결과를 출력할 수 있다.

실시 예에서, CNN 기반의 신경망(900)의 입력층(input layer)(910)으로 이미지가 입력될 수 있다. CNN 기반의 신경망(900)은 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)이 번갈아 가면서 배치되며, 각 계층 필터(filter)의 심도(depth)는 왼쪽에서 오른쪽으로 갈수록 증가하게 된다. 또한, CNN 기반의 신경망(900)의 최종 단은 완전 연결 계층(fully connected layer)로 형성될 수 있다.

컨볼루션 계층(convolution layer)은 컨볼루션 연산에 따라서 생성되는 데이터들의 계층이며, 풀링 계층(pooling layer)은 서브 샘플링(subsampling) 또는 풀링이라는 연산을 통하여 데이터의 숫자 또는 크기를 줄이기 위한 계층이다. 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)을 통과하면서, 입력된 이미지의 특징을 나타내는 데이터들(예를 들어, feature map)이 생성된다. 그리고, 이러한 컨볼루션 계층 및 풀링 계층을 통과하여 생성된 데이터들을 완전 연결 계층(fully connected layer)으로 형성되는 숨겨진 계층(hidden layer)을 통하여 특징들로부터 인식되는 이미지에 대한 결과 데이터를 출력할 수 있다.

예를 들어, CNN 기반의 신경망(900)은 입력층(input layer)(910), 제1 컨볼루션 계층(convolution layer)(920), 제1 풀링 계층(pooling layer)(930), 제2 컨볼루션 계층(convolution layer)(940), 제2 풀링 계층(pooling layer)(950), 숨겨진 계층(hidden layer)(960) 및 출력 계층(output layer)(970)을 포함할 수 있다.

CNN 기반의 신경망(900)을 형성하는 복수개의 계층들 각각은 하나 이상의 노드(node, 미도시)를 포함할 수 있다. 예를 들어, 입력층(910)은 데이터를 수신하는 하나 이상의 노드들을 포함할 수 있다. 각각의 노드들은 대응되는 가중치 값을 가지고 있어서, CNN 기반의 신경망(900)은 입력된 신호와 가중치 값을 연산, 예를 들어, 곱하기 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.

실시 예에서, 영상 표시 장치(200)는 이미지의 블러 레벨을 참조하여 CNN 기반의 신경망(900)의 하이퍼파라미터 값을 변경할 수 있다. 예컨대, 영상 표시 장치(200)는 블러 레벨에 따라, 컨볼루션 계층 및 풀링 계층의 심도(depth)를 가변 시키거나 또는 숨겨진 계층(hidden layer)의 심도를 가변 시킬 수 있다. 컨볼루션 계층 및 풀링 계층의 심도(depth)가 깊어질수록 보다 정확한 출력 데이터가 획득될 수 있으나, 실시 예에서, 추정된 블러 레벨이 크지 않은 경우에도 컨볼루션 계층 및 풀링 계층의 심도가 깊은 경우, 출력되는 이미지가 원래의 이미지보다 부자연스러운 결과가 생길 수 있다. 따라서, 실시 예에서, 컨볼루션 계층이나 풀링 계층의 심도는 블러 레벨에 따라 결정될 수 있다.

실시 예에서, 영상 표시 장치(200)는 블러 레벨에 따라 복수 계층들에 포함된 노드들 중 하나 이상의 가중치 값을 수정할 수 있다. 또는 영상 표시 장치(200)는 블러 레벨에 따라 CNN 기반의 신경망(900)의 형태를 수정할 수 있다.

신경망(900)의 심도나 형태는 결과의 정확도, 결과의 신뢰도, 프로세서의 연산 처리 속도 및 용량 등을 고려하여 매우 다양하게 설계될 수 있다.

영상 표시 장치(200)는 블러 레벨에 기초하여 변경된 하이퍼파라미터 값을 갖는 CNN 기반의 신경망(900)을 이용하여 입력 이미지에 대해 컨볼루션 연산을 수행할 수 있다.

실시 예에서, 영상 표시 장치(200)는 CNN 기반의 신경망(900)과 관련된 다양한 하이퍼파라미터 값들 중 적어도 하나를 블러 레벨에 따라 설정할 수 있다.

이와 같이, 실시 예에 의하면, 영상 표시 장치(200)는 이미지의 블러 레벨을 참조하여 CNN 기반의 신경망(900)의 여러 하이퍼파라미터 값들 중 하나 이상을 조절하고, 조절된 하이퍼파라미터 값을 갖는 신경망을 이용하여 해상도가 향상된 이미지가 출력되도록 할 수 있다.

도 10은 실시 예에 따라 뉴럴 네트워크가 컨볼루션 레이어에서 컨볼루션 연산을 수행하는 과정을 단순화시켜 설명하기 위한 도면이다. 도 10을 참조하면, 컨볼루션 레이어의 입력 데이터(Input)(1000)는 8*8의 크기를 가지는 것으로 가정한다. 입력 데이터(1000)에 적용되는 커널의 크기는 3*3 (가로*세로)이며, 커널의 개수는 n인 것으로 가정한다.

도 10을 참조하면, 뉴럴 네트워크는 입력 데이터(1000)의 좌측 상단으로부터 우측 하단까지 커널(Kernal)(1010)을 적용하여, 입력 데이터의 특징을 추출하게 된다. 커널(1010)은 입력 데이터에 적용되는 필터 내지 행렬을 의미할 수 있다. 즉, 커널(1010)는 컨볼루션 연산의 대상이 되는 데이터를 이동시키는 픽셀의 개수를 의미할 수 있다.

예를 들어, 뉴럴 네트워크는 입력 데이터(1000)의 좌측 상단 3*3 영역(1001)에 포함되는 픽셀들에 커널(1010)을 적용하여 컨볼루션 연산을 수행할 수 있다. 뉴럴 네트워크는, 좌측 상단 3*3영역(1001)에 포함되는 픽셀 값들과 커널 (1010)에 포함되는 가중치 값들을 곱하여 합산함으로써, 좌측 상단 3*3 영역(1001)에 매핑되는 하나의 픽셀 값(1021)을 생성할 수 있다.

또한, 뉴럴 네트워크는 입력 데이터(1000)의 좌측 상단 3*3 영역(1001)에서 우측으로 한 픽셀 이동한 3*3 영역(1002)에 포함되는 픽셀 값들과 커널(1010)에 포함되는 가중치 값들을 곱하여 합산함으로써, 3*3 영역(1002)에 매핑되는 하나의 픽셀값(6022)을 생성할 수 있다.

동일한 방식으로, 뉴럴 네트워크는 입력 데이터(1000) 내에서 컨볼루션 연산의 대상을 좌측에서 우측으로, 상단에서 하단으로 한 픽셀씩 스캔하면서, 커널(1010)에 포함되는 가중치 값들을 곱하여 합산함으로써, 픽셀 값들을 생성할 수 있다. 이에 따라, 6*6의 특징 맵(Output)(1020)이 출력될 수 있다.

실시 예에서, 영상 표시 장치(200)는 이미지의 블러 레벨을 참조하여 커널(1010)의 사이즈를 조절할 수 있다. 커널 크기가 클수록 상대적으로 흐릿한 이미지에 필요한 세부 정보를 더 잘 구성할 수 있다. 그러나 상대적으로 블러 레벨이 낮은, 즉, 선명한 이미지에 큰 커널을 적용할 경우, 복원된 이미지기 인위적이고 불쾌하게 보일 수 있다. 실시 예에서, 영상 표시 장치(200)는 블러 레벨이 큰 경우 커널의 크기 또한 크게 만들고, 블러 레벨이 낮은 경우 커널의 크기를 작게 만들 수 있다.

컨볼루션 연산의 대상이 되는 데이터는 한 픽셀씩 이동하면서 스캔될 수도 있으나, 2개 픽셀 또는 그 이상의 픽셀 개수만큼 이동하면서 스캔될 수도 있다. 스캔 과정에서 입력 데이터가 이동하는 픽셀의 개수를 스트라이드(stride)라고 하며, 스트라이드의 크기에 따라 출력되는 특징 맵의 크기가 결정될 수 있다.

실시 예에서, 영상 표시 장치(200)는 이미지의 블러 레벨을 참조하여 스트라이드의 크기를 조절할 수 있다.

도 10을 참조하면, 입력 데이터(1000)는 8*8의 크기를 가지나, 출력 데이터(1020)는 6*6의 크기를 가지고 있어, 출력 데이터(1020)의 크기가 입력 데이터(1000)의 크기보다 작아진 것을 알 수 있다. 컨볼루션 뉴럴 네트워크는 여러 개의 컨볼루션 레이어들을 포함하며, 여러 개의 컨볼루션 레이어들을 통과하면서, 데이터의 크기가 계속해서 작아지게 된다. 이때, 특징이 충분하게 추출되기 전에 데이터의 크기가 작아지는 경우 입력 데이터의 특징이 유실될 수 있어, 이를 방지하기 위하여 패딩(padding)이 수행될 수도 있다.

도 10에서는 하나의 커널(1010)에 대한 컨볼루션 연산 결과만 도시하였지만, n개의 커널에 대해서 컨볼루션 연산을 수행하는 경우, n개의 특징 맵이 출력될 수 있다. 즉, 커널의 개수(n)에 따라, 출력 데이터의 채널의 개수가 결정되며, 이에 따라, 다음 레이어에서의 입력 데이터의 채널의 개수도 결정될 수 있다.

이와 같이, 실시 예에 따르면, 영상 표시 장치(200)는 추정된 블러 레벨을 참조하여 커널의 크기, 스트라이드 크기 등과 같이 뉴럴 네트워크의 여러 하이퍼파라미터 값들을 변화시키고, 하이퍼파라미터 값들이 수정된 뉴럴 네트워크를 이용하여 해상도가 최적으로 향상된 이미지를 생성할 수 있다.

도 11은 실시 예에 따라 영상 표시 장치(1100)에 복수의 이미지들이 출력되는 것을 도시한다. 도 11을 참조하면, 영상 표시 장치(1100)는 외부 서버(미도시) 등으로부터 컨텐츠를 수신하여 이를 화면에 출력할 수 있다. 예컨대, 도 11에서, 영상 표시 장치(1100)는 넷플릭스(Netflix)나 유튜브(Youtube)같은 외부 서버에서 컨텐츠를 수신하여 이를 출력할 수 있다. 이 때 외부 서버에서 수신한 이미지의 해상도가 영상 표시 장치(1100)의 해상도에 비해 낮은 경우가 있을 수 있다.

영상 표시 장치(1100)가 대형화 됨에 따라, 영상 표시 장치(1100)의 화면에 출력되는 이미지 또한 그 크기가 커지게 된다. 그러나 이미지의 해상도가 영상 표시 장치(1100)에서 출력할 수 있는 해상도보다 낮은 경우, 영상 표시 장치(1100)에서 출력되는 이미지는 선명도가 떨어진다.

영상 표시 장치(1100)가 외부 서버 등으로부터 통신망을 통해 수신한 이미지의 해상도를 안다면, 영상 표시 장치(1100)는 수신한 이미지의 해상도를 영상 표시 장치(1100)의 해상도에 맞게 보정하여 이미지를 출력할 수 있다. 그러나, 실시 예에서, 영상 표시 장치(1100)가 이미지의 해상도를 알지 못하는 경우, 영상 표시 장치(1100)는 이미지의 해상도를 추정하고, 이를 이용하여 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 영상 표시 장치(1100)는 출력하려는 이미지의 블러 레벨을 주파수 도메인에서 추정하고, 추정된 블러 레벨에 기초하여 이미지의 해상도를 조절할 수 있다. 영상 표시 장치(1100)는 추정된 블러 레벨에 따라 복수의 모델 중 하나를 선택하거나 또는 모델의 하이퍼파라미터 값을 변경하거나 또는 적절한 하이퍼파라미터를 갖는 필터를 설계하고, 선택된 모델이나, 하이퍼파라미터 값이 변경된 모델이나, 설계된 필터 등을 이용하여 이미지의 해상도를 향상시키고, 해상도가 향상된 이미지를 화면에 출력할 수 있다.

도 12는 실시 예에 따라 영상 표시 장치(1200)가 외부 장치(1210)에서 수신한 이미지를 출력하는 것을 도시한다. 도 12를 참조하면, 영상 표시 장치(1200)는 통신망을 통해 외부 장치(1210)와 유선 또는 무선으로 통신할 수 있다.

외부 장치(1210)는 이미지를 생성하거나 촬영하거나 편집할 수 있는 다양한 형태의 전자 기기일 수 있다.

실시 예에서, 외부 장치(1210)가 이동 단말기인 경우를 가정한다. 이동 단말기는 이동 단말기에 구비된 카메라 등으로 피사체를 촬영하여 이미지를 생성할 수 있다. 또는 이동 단말기는 이동 단말기에 구비된 어플리케이션 등을 통해 다른 이동 단말기나 또 다른 외부 장치 등으로부터 이미지를 수신하여 저장할 수 있다.

이동 단말기는 저장하고 있는 이미지를 통신망을 통해 영상 표시 장치(1200)에 전송할 수 있다. 영상 표시 장치(1200)는 이동 단말기로부터 수신한 이미지를 화면에 출력할 수 있다.

일반적으로 사람 눈은 이동 단말기에서 UHD급 이상의 해상도를 잘 구분하지 못한다. 또한 이동 단말기의 해상도가 높은 경우, 발열 문제나 배터리 문제, 속도 문제 등이 발생하여 램 용량이나 배터리 용량 등이 소모된다. 따라서, 이동 단말기로 촬영하거나 편집한 이미지가 이동 단말기보다 더 고해상도의 영상 표시 장치(1200)에서 출력되는 경우, 이미지가 흐릿하게 보일 수 있다.

실시 예에서, 영상 표시 장치(1200)는 이동 단말기 등으로부터 수신한 이미지의 해상도를 조절하여, 해상도가 향상된 이미지가 출력되도록 할 수 있다. 이를 위해, 영상 표시 장치(1200)는 이미지의 블러 레벨을 추정하고, 추정된 블러 레벨에 따라 이미지 복원을 수행할 수 있다.

영상 표시 장치(1200)는 이미지의 블러 레벨이 소정 기준 값보다 낮은 경우, 해당 이미지에 대한 해상도 향상 동작 수행을 생략하고 해당 이미지를 바로 출력할 수 있다.

영상 표시 장치(1200)는 이동 단말기로부터 수신한 이미지의 블러 레벨을 추정하고, 블러 레벨이 기준 값 이상으로 큰 경우, 해당 이미지에서 블러를 제거한 후, 이를 화면에 출력할 수 있다. 영상 표시 장치(1200)는 블러 레벨에 따라 복수의 이미지 복원 모델들 중 하나를 선택하거나, 또는 하나의 이미지 복원 모델을 소정 횟수 반복하여 사용하거나, 또는 모델의 하이퍼파라미터 값들을 변화시켜 하이퍼파라미터 값들이 변화된 모델을 이용하여 이미지 복원을 수행할 수 있다. 또는, 영상 표시 장치(1200)는 블러 레벨에 기초하여 적절한 하이퍼파라미터 값들을 갖는 필터를 설계하고, 설계된 필터를 이용하여 이미지의 해상도를 조절할 수 있다.

도 12에서와 같이, 영상 표시 장치(1200)는 이동 단말기로부터 수신한 저 해상도의 이미지를 영상 표시 장치(1200)의 해상도에 맞게 수정하고, 수정된 이미지를 화면에 출력할 수 있다.

도 13은 실시 예에 따른 영상 표시 방법을 도시한 순서도이다. 영상 표시 장치(200)는 이미지를 입력 받으면(단계 1310), 이미지를 주파수 도메인으로 변환할 수 있다(단계 1320). 영상 표시 장치(200)는 2-D FFT(Fast Fourier Transform)를 수행하여 이미지를 주파수 도메인 상의 신호로 변환할 수 있다. 영상 표시 장치(200)는 주파수 도메인에서의 신호에 대한 파워 스펙트럼을 획득하고, 파워 스펙트럼으로부터 스펙트럴 엔벨롭을 획득할 수 있다.

영상 표시 장치(200)는 스펙트럴 엔벨롭의 기울기 값이나, 스펙트럴 엔벨롭의 기울기가 급변하는 지점의 빈 인덱스 등을 이용하여 이미지의 블러 레벨을 추정할 수 있다(단계 1330).

영상 표시 장치(200)는 추정된 블러 레벨을 이용하여, 공간 도메인에서 입력된 이미지의 해상도를 향상시킬 수 있다(단계 1340).

이와 같이, 실시 예에 의하면, 영상 표시 장치(200)는 주파수 도메인에서 이미지의 블러 레벨을 추정하고, 추정된 블러 레벨을 이용하여 공간 도메인에서 이미지의 해상도를 향상시킬 수 있다.

도 14는 실시 예에 따른 영상 표시 방법을 도시한 순서도이다. 도 14를 참조하면, 영상 표시 장치(200)는 이미지를 입력 받고(단계 1410), 이미지를 주파수 도메인으로 변환할 수 있다(단계 1420). 영상 표시 장치(200)는 주파수 도메인에서 해당 이미지에 대한 블러 레벨을 추정하고(단계 1430), 추정된 블러 레벨이 소정 기준치 이상인지를 판단할 수 있다(단계 1440). 영상 표시 장치(200)는 추정된 블러 레벨이 소정 기준치 이상이 아닌 경우, 즉, 블러 정도가 낮은 경우 이미지에 대해 해상도 향상을 수행하지 않고 해당 이미지를 출력할 수 있다.

영상 표시 장치(200)는 추정된 블러 레벨이 소정 기준치 이상인 경우, 즉, 블러 정도가 일정한 기준치 이상으로 높아 이미지의 선명도가 떨어진다고 판단되면, 블러 레벨에 기초하여 이미지의 해상도를 향상시킬 수 있다(단계 1450).

이와 같이, 실시 예에 의하면, 영상 표시 장치(200)는 추정된 블러 레벨이 소정 기준치 이상인 경우에만 해당 이미지의 해상도를 향상시킴으로써, 블러 정도가 낮은 이미지에 대해 불필요한 연산을 수행하는 것을 막을 수 있다.

도 15는 실시 예에 따라 블러 레벨을 추정하는 과정을 도시한 순서도이다. 도 15를 참조하면, 영상 표시 장치(200)는 공간 도메인의 이미지를 푸리에 변환하여 주파수 도메인 상에서의 신호로 변환할 수 있다(단계 1510). 영상 표시 장치(200)는 푸리에 변환을 통해 획득한 신호로부터 파워 스펙트럼을 획득할 수 있다(단계 1520). 영상 표시 장치(200)는 푸리에 변환을 통해 획득한 신호에 대해 log 정규화를 수행하고, 원점이 중심에 오도록 스펙트럼의 위치를 이동하여 파워 스펙트럼을 획득할 수 있다.

영상 표시 장치(200)는 파워 스펙트럼으로부터 스펙트럴 엔벨롭을 획득할 수 있다(단계 1530). 영상 표시 장치(200)는 파워 스펙트럼의 중심 값 또는 그 부근의 행 또는 열을 이용하여 스펙트럴 엔벨롭을 획득할 수 있다.

영상 표시 장치(200)는 스펙트럴 엔벨롭의 기울기로부터 블러 레벨을 추정할 수 있다(단계 1540). 영상 표시 장치(200)는 스펙트럴 엔벨롭의 기울기가 급격히 변하는 구간이 있는 경우, 급격히 변하기 시작하는 지점의 빈 인덱스 값을 이용하여, 이미지의 블러 레벨을 추정할 수 있다. 또는 영상 표시 장치(200)는 스펙트럴 엔벨롭이 급격히 변하는 구간에서의 기울기 값을 이용하여 이미지의 블러 레벨을 추정할 수 있다. 또는 영상 표시 장치(200)는 스펙트럴 엔벨롭이 급격히 변하는 구간과 완만하게 변하는 구간 사이의 비율이나 퍼센테이즈 등을 이용하여 이미지의 블러 레벨을 추정할 수 있다.

도 16은 실시 예에 따라 블러 레벨을 이용하여 모델을 선택하는 것을 도시한 순서도이다.

영상 표시 장치(200)는 이미지에 대해 추정된 블러 레벨을 이용하여, 복수의 이미지 복원 모델들 중 하나 이상을 선택할 수 있다(단계 1610). 실시 예에서, 이미지 복원 모델은 하나 이상의 뉴럴 네트워크를 이용한 학습 모델일 수 있다. 실시 예에서, 영상 표시 장치(200)가 이미지의 해상도를 향상시키기 위해 사용할 수 있는 이미지 복원 모델은 이미지 복원 방법 및 사용하는 뉴럴 네트워크의 종류, 학습 데이터의 종류 등에 따라 여러 모델로 나뉠 수 있다.

예컨대, 이미지 복원 모델은 DCNN을 이용하여, 이미지를 대조해서 학습하는 방식으로 이미지를 다시 그려 이미지의 해상도를 향상시킬 수 있다. 또는, 이미지 복원 모델은 딥 뉴럴 네트워크를 통한 연산을 수행하여, 이미지에서 객체를 인식하고 이를 다양한 학습 데이터를 이용하여 복원하는 방식으로 이미지의 해상도를 향상시킬 수 있다. 또는, 이미지 복원 모델은 이미지를 확대했을 때 생기는 픽셀 사이의 공백을, 딥러닝 네트워크를 이용하여 유추한 변수 데이터로 채워 이미지의 해상도를 향상시킬 수 있다. 또는 이미지 복원 모델은 저해상도의 이미지를 고해상, 고화질의 이미지와 연결하여 출력 이미지의 세부 사항을 추가함으로써 이미지의 해상도를 향상시킬 수 있다.

실시 예에서, 영상 표시 장치(200)는 이미지의 해상도를 향상시키기 위해 이용할 수 있는 복수의 뉴럴 네트워크 모델들 중, 추정된 블러 레벨을 갖는 이미지로부터 가장 최적화된 이미지를 복원할 수 있는 뉴럴 네트워크를 선택하고, 선택한 이미지 복원 모델을 이용하여 이미지의 해상도를 향상시킬 수 있다(단계 1620).

도 17은 실시 예에 따라 블러 레벨을 이용하여 모델을 선택하는 것을 도시한 순서도이다.

영상 표시 장치(200)는 추정된 블러 레벨을 기반으로 모델을 적용할 횟수를 결정할 수 있다(단계 1710). 예컨대, 이미지에 대해 추정된 블러 레벨이 4인 경우를 가정한다. 이는 이미지가 4배만큼 확대되어 흐릿한 경우를 의미할 수 있다. 또한, 영상 표시 장치(200)가 사용하는 이미지 복원 모델이 2배씩 이미지의 해상도를 향상시킬 수 있는 모델이라고 가정한다. 이 경우, 영상 표시 장치(200)는 해당 모델을 적용할 횟수를 두 번이라고 결정할 수 있다.

영상 표시 장치(200)는 결정된 횟수만큼 이미지에 모델을 적용하여 이미지의 해상도를 향상시킬 수 있다(단계 1720). 즉 위 예에서, 영상 표시 장치(200)는 해당 모델에 이미지를 입력하고, 모델로부터 출력된 결과를 다시 해당 모델에 입력할 수 있다. 즉, 영상 표시 장치(200)는 해당 모델을 두 번 이용하여 이미지의 해상도를 4배만큼 향상시킬 수 있다.

도 18은 실시 예에 따라 블러 레벨을 이용하여 모델의 하이퍼파라미터를 수정하여 이미지의 해상도를 향상하는 것을 도시한 순서도이다.

도 18을 참조하면, 영상 표시 장치(200)는 추정된 블러 레벨을 기반으로 이미지 복원 모델의 하이퍼파라미터를 수정할 수 있다(단계 1810).

실시 예에서, 이미지 복원 모델이 뉴럴 네트워크인 경우, 영상 표시 장치(200)는 이미지의 블러 레벨을 참조하여 뉴럴 네트워크의 하이퍼파라미터 값을 변경할 수 있다. 예컨대, 영상 표시 장치(200)는 블러 레벨에 따라, 컨볼루션 계층 및 풀링 계층의 심도나 숨겨진 계층의 심도를 가변 시킬 수 있다. 또는 영상 표시 장치(200)는 블러 레벨에 따라 뉴럴 네트워크에서 복수 계층들에 포함된 노드들 중 하나 이상의 가중치 값을 수정할 수 있다. 또는 영상 표시 장치(200)는 블러 레벨에 따라 뉴럴 네트워크의 구조나 구성, 형태 등을 수정할 수 있다.

영상 표시 장치(200)는 전술한 다양한 하이퍼파라미터들 중 적어도 하나가 수정된 모델을 이용하여 이미지의 해상도를 향상시킬 수 있다(단계 1820).

도 19는 실시 예에 따라 추정된 블러 레벨을 이용하여 필터를 설계하고 이를 이용하여 이미지의 해상도를 향상시키는 것을 도시하는 순서도이다.

도 19를 참조하면, 영상 표시 장치(200)는 이미지가 입력되면(단계 1910), 입력된 이미지를 주파수 도메인의 신호로 변환할 수 있다(단계 1920). 영상 표시 장치(200)는 주파수 도메인으로 변환된 신호로부터, 이미지에 대한 블러 레벨을 추정할 수 있다(단계 1930).

영상 표시 장치(200)는 추정된 블러 레벨을 이용하여 공간 도메인에서 이미지의 해상도를 향상시킬 수 있다. 이미지에 블러가 있다는 것은, 이미지의 고주파 성분이 손실되었다는 것을 의미할 수 있다. 따라서, 영상 표시 장치(200)는 BPF를 이용하여 손실되지 않은 주파수 대역의 신호를 필터링할 수 있다. 이를 위해, 영상 표시 장치(200)는 추정된 블러 레벨에 따라 밴드 패스 필터(BPF, Band Pass Filter)를 설계할 수 있다(단계 1940). BPF는 특정 주파수 대역의 신호만 통과시키는 필터이다.

실시 예에서, 영상 표시 장치(200)는 추정된 블러 레벨에 따라 적절한 하이퍼파라미터 값들을 갖는 필터를 설계할 수 있다. 예컨대, 영상 표시 장치(200)는 추정된 블러 레벨에 따라 BPF의 대역폭(B), 중심 주파수(f0), 고역 차단 주파수(fH), 저역 차단 주파수(fL) 등과 같이 필터 설계에 필요한 하이퍼파라미터 값들을 결정하고, 이러한 하이퍼파라미터 값들을 갖는 필터를 설계할 수 있다. 영상 표시 장치(200)는 설계된 BPF로 이미지를 필터링하여 손실 없는 주파수 대역의 신호만을 획득할 수 있다(단계 1950).

영상 표시 장치(200)는 필터링된 신호로부터 하모닉스(Harmonics) 신호를 생성할 수 있다(단계 1960). 하모닉스 신호는 원천 주파수(fundamental frequency)의 배수 주파수 성분을 갖는 신호를 의미할 수 있다. 영상 표시 장치(200)는 필터링된 신호에 대해 비선형(nonlinear) 트랜지스터나 소자 등을 적용하여 하모닉스 신호를 생성할 수 있다(단계 1960). 이 때, 비선형 트랜지스터나 소자 등을 적용하여 생성되는 하모닉스 신호는 저주파 성분과 고주파 성분을 포함할 수 있다.

실시 예에서, 영상 표시 장치(200)는 추정된 블러 레벨에 따라 하이패스 필터(HPF, High Pass Filter)를 설계할 수 있다(단계 1970). HPF는 고주파 대역의 성분만을 통과시키고 저주파 대역의 성분은 차단하는 필터이다. 영상 표시 장치(200)는 추정된 블러 레벨에 따라, HPF의 차단 주파수(fc, cut-off frequency)를 설계할 수 있다.

영상 표시 장치(200)는 설계한 HPF를 이용하여, 하모닉스 신호 중 고주파 성분만을 필터링한다(단계 1980). 영상 표시 장치(200)는 고주파 대역의 하모닉스 신호를 손실된 고주파 성분 대신 이용하여, 이미지를 복원할 수 있다. 즉, 영상 표시 장치(200)는 HPF에 의해 필터링된 고주파 성분의 신호와, 원래의 입력 이미지 중 HPF에 의해 필터링 되지 않은 주파수 대역에서의 신호를 더하여, 손실된 고주파 성분이 복원된 이미지를 생성할 수 있다(단계 1990).

이와 같이, 실시 예에 따르면, 영상 표시 장치(200)는 추정된 블러 레벨에 기초하여 필터를 설계하고, 설계된 필터를 이용하여 이미지의 해상도를 향상시킬 수 있다.

도 20은 실시 예에 따라 이미지에 포함된 서브 영역 별로 블러 레벨을 추정하는 것을 설명하기 위한 도면이다.

영상 표시 장치(200)는 하나의 이미지 전체에 대해 블러 레벨을 추정하고, 추정된 블러 레벨에 기초하여 이미지 전체의 해상도를 향상시킬 수 있지만, 실시 예에서, 영상 표시 장치(200)는 이미지를 복수개의 서브 영역으로 나누고, 복수개의 서브 영역 각각에 대해 블러 레벨을 추정할 수 있다. 영상 표시 장치(200)는 각 블러 레벨에 따라 서브 영역 각각의 해상도를 서로 독립적으로 향상시킬 수 있다.

실시 예에서, 영상 표시 장치(200)는 도 2 내지 도 19에 대한 상세한 설명에서 기술한 방법을 동일하게 이용하여, 이미지 전체가 아닌, 각 서브 영역 별로 블러 레벨을 추정할 수 있다.

이를 위해, 영상 표시 장치(200)는 이미지(2000)를 복수개의 서브 영역으로 나눌 수 있다. 예컨대 도 20에서와 같이 영상 표시 장치(200)는 이미지(2000)를 20개의 서브 영역으로 나눌 수 있다.

하나의 서브 영역(2010)은 소정 개수의 픽셀들을 포함하는 영역일 수 있다. 서브 영역(2010)의 수나 사이즈는 사용자 또는 영상 표시 장치(200)에 의해 미리 설정되어 있을 수도 있고, 사용자 또는 영상 표시 장치(200)에 의해 이미지에 맞게 설정되거나 변경될 수 있다. 사용자 또는 영상 표시 장치(200)는 이미지 별로 서브 영역(2010)의 수나 서브 영역(2010)의 사이즈를 조절하여 이미지가 더 촘촘하게 나뉘도록 하거나 또는 반대로 더 굵직하게 나뉘도록 설정할 수 있다.

영상 표시 장치(200)는 복수개의 서브 영역(2010)으로 나뉜 이미지 각각에 대해 블러 레벨을 추정할 수 있다. 영상 표시 장치(200)는 추정된 각 서브 영역의 블러 레벨에 기반하여 블러 레벨이 소정 기준을 만족하는 서브 영역을 식별할 수 있다. 예컨대, 도 20에서 영상 표시 장치(200)는 20개의 서브 영역 중 블러 레벨이 소정 기준치 이상인 서브 영역(2015, 2020, 2025, 2030)을 식별할 수 있다. 영상 표시 장치(200)는 블러 레벨이 소정 기준치 이상인 서브 영역(2015, 2020, 2025, 2030)에 대해서만 해상도를 향상시킬 수 있다.

도 21은 실시 예에 따라 이미지에 포함된 복수의 서브 영역 별로 해상도를 향상시키는 것을 설명하기 위한 도면이다.

도 21을 참조하면, 영상 표시 장치(200)는 입력 이미지(2100)를 N개의 서브 영역으로 분할할 수 있다. 영상 표시 장치(200)는 N개의 서브 영역 SB1, SB2, SB3,…, SBk, SBk+1,…, SBn을 획득할 수 있다.

영상 표시 장치(200)에 포함된 블러 레벨 추정부(211)는 N개의 서브 영역 SB1, SB2, SB3,…, SBk, SBk+1,…, SBn 각각을 주파수 도메인으로 변환할 수 있다. 즉, 블러 레벨 추정부(211)는 N개의 서브 영역 SB1, SB2, SB3,…, SBk, SBk+1,…, SBn 각각에 대해 푸리에 변환을 수행하여 각 서브 영역 별로 주파수 도메인에서의 신호를 획득할 수 있다. 블러 레벨 추정부(211)는 주파수 도메인에서의 신호에 대한 파워 스펙트럼을 획득하고, 파워 스펙트럼으로부터 스펙트럴 엔벨롭을 획득할 수 있다. 블러 레벨 추정부(211)는 N개의 서브 영역 각각에 대해 획득된 스펙트럴 엔벨롭의 기울기로부터 각 서브 영역의 블러 레벨을 추정할 수 있다. 블러 레벨 추정부(211)는 스펙트럴 엔벨롭의 기울기가 소정 기준치보다 크게 변하기 시작하는 지점의 빈 인덱스 값을 이용하여 블러 레벨을 추정할 수 있다.

블러 레벨 추정부(211)는 N개의 서브 영역 각각에 대해 추정된 블러 레벨을 해상도 향상부(213)에 알려줄 수 있다. 해상도 향상부(213)는 N개의 서브 영역 각각에 대해 추정된 블러 레벨을 이용하여, 블러 레벨이 소정 기준치 이상인 M개(M은 N보다 작거나 같은 자연수)의 서브 영역을 식별할 수 있다.

또는 실시 예에서, 블러 레벨 추정부(211)가 N개의 서브 영역 중 블러 레벨이 소정 기준치 이상인 M개의 서브 영역을 식별하고, 식별된 M개의 서브 영역들 및 식별된 M개의 서브 영역 각각의 블러 레벨을 해상도 향상부(213)에 알려줄 수도 있다.

실시 예에서, 해상도 향상부(213)는 블러 레벨 추정부(211)로부터 받은 정보를 이용하여, 공간 도메인에서, 블러 레벨이 소정 기준치 이상인 M개의 서브 영역 SB3, SBk, SBk+1,…, SBm에 대해서만 해상도 향상을 수행할 수 있다. 해상도 향상부(213)는 블러 레벨이 소정 기준치보다 작은 N-M개의 서브 영역에 대해서는 해상도 향상 과정을 생략함으로써 블러 레벨이 높지 않은 서브 영역에 대해 불필요하게 해상도를 향상시키는 과정을 생략할 수 있다.

실시 예에서, 해상도 향상부(213)는 복수 개의 AI 모델들을 이용하여 M개의 서브 영역 각각의 해상도를 향상시킬 수 있다. 예컨대, 도 21에서, 해상도 향상부(213)는 AI 모델들(214, 215, 216) 각각을 이용하여 서브 영역 SB3, SBk, SBk+1 각각의 해상도를 서로 독립적으로 향상시킬 수 있다.

실시 예에서, 복수 개의 AI 모델들(214, 215, 216) 각각은 하나 또는 복수의 뉴럴 네트워크를 이용하여 각 서브 영역 SB3, SBk, SBk+1의 블러 레벨에 따라 해상도가 최적으로 향상된 결과를 출력할 수 있는 이미지 복원 모델일 수 있다.

이를 위해, 해상도 향상부(213)는 각 서브 영역의 추정된 블러 레벨에 따라 복수의 뉴럴 네트워크 모델들 중 각 서브 영역의 해상도를 최적으로 향상시킬 수 있는 이미지 복원 모델을 선택하거나 이러한 모델을 직접 설계할 수 있다.

실시 예에서, 해상도 향상부(213)는 M개의 서브 영역 중 서브 영역 SB3에 대해, 서브 영역 SB3의 추정된 블러 레벨을 이용하여, 해상도 향상을 위해 사용될 수 있는 복수개의 뉴럴 네트워크 중 서브 영역 SB3을 최적으로 복원할 수 있는 뉴럴 네트워크를 선택할 수 있다. 해상도 향상부(2130)는 선택한 뉴럴 네트워크에 기반한 AI 모델(214)을 이용하여 서브 영역의 해상도를 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 서브 영역 SB3의 해상도를 최적으로 향상시킬 수 있는, 이미지 복원 모델 적용 횟수를 결정할 수 있다. 해상도 향상부(213)는 결정된 횟수만큼 서브 영역 SB3에 대해 이미지 복원 모델을 반복하여 적용하여 서브 영역 SB3의 해상도를 최적으로 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨에 따라 뉴럴 네트워크에서 사용되는 다양한 하이퍼파라미터 값들을 수정할 수 있다. 해상도 향상부(213)는 서브 영역 SB3의 추정된 블러 레벨에 따라, 필터 사이즈나 필터 계수, 커널 사이즈, 노드의 웨이트 값들과 같은 다양한 하이퍼파라미터 값들 중 하나 이상을 수정하여 서브 영역 SB3에 적용할 최적의 성능을 가지는 모델을 위한 하이퍼파라미터 값을 선택할 수 있다. 해상도 향상부(213)는 이러한 하이퍼파라미터를 갖는 AI 모델(214)을 이용하여 서브 영역 SB3의 해상도를 최적으로 향상시킬 수 있다.

실시 예에서, 해상도 향상부(213)는 추정된 블러 레벨에 따라 이미지 복원을 수행할 필터를 설계할 수 있다. 해상도 향상부(213)는 서브 영역 SB3의 추정된 블러 레벨에 따라 대역폭을 달리하는 BPF나 HPF 등을 설계하고, 설계된 필터를 이용한 AI 모델(214)을 이용하여 서브 영역 SB3에서 고주파 대역의 신호를 변경하는 방법으로 서브 영역 SB3의 해상도를 향상시킬 수 있다.

해상도 향상부(213)는 전술한 다양한 방법을 이용하여, 서브 영역 SB3의 추정된 블러 레벨에 따라, 서브 영역 SB3의 해상도를 최적으로 향상시킬 수 있는 AI 모델(214)을 찾을 수 있다. 해상도 향상부(213)는 AI 모델(214)을 이용하여 서브 영역 SB3의 해상도를 최적으로 향상시킬 수 있다.

유사하게, 해상도 향상부(213)는 M개의 서브 영역 중, 서브 영역 SBk의 추정된 블러 레벨에 따라, 서브 영역 SBk의 해상도를 최적으로 향상시킬 수 있는 AI 모델(215)을 찾고, AI 모델(215)을 이용하여 서브 영역 SBk의 해상도를 최적으로 향상시킬 수 있다.

서브 영역 SBk의 해상도를 향상시키는 데 이용되는 AI 모델(215)은 서브 영역 SB3의 해상도를 향상시키는 데 이용되는 AI 모델(214)과 동일할 수도 있고 다를 수도 있다. 또한, 해상도 향상부(213)가 서브 영역 SB3와 서브 영역 SBk의 해상도를 향상시키는 데 이용하는 이미지 복원 모델이 동일한 경우라도, 각 이미지 복원 모델 AI 모델(214)와 AI 모델(215)에서 사용되는 하이퍼파라미터 값은 서로 다를 수 있다. 복수 개의 AI 모델들(214, 215, 216) 각각은 이미지 복원 방법 및 사용하는 뉴럴 네트워크의 종류, 학습 데이터의 종류 등에 따라 다양한 형태로 구현될 수 있다.

해상도 향상부(213)는 각각의 서브 영역 SB3, SBk, SBk+1에 대해 각 서브 영역 SB3, SBk, SBk+1의 블러 레벨에 따라 해상도가 최적으로 향상된 결과를 출력할 수 있는 이미지 복원 모델(214, 215, 216)을 이용하여 서브 영역 SB3, SBk, SBk+1 각각의 해상도를 최적으로 향상시킬 수 있다. 영상 표시 장치(200)는 해상도가 향상된 서브 영역 SB3’, SB’k, SB’k+1을 획득하고, 이들과 해상도 향상을 수행하지 않은 다른 서브 영역들을 함께 포함하는 출력 이미지(2200)를 생성할 수 있다. 출력 이미지(2200)는 입력 이미지(2100)와 마찬가지로 N개의 서브 영역 SB1, SB2, SB3’,…, SB’k, SB’k+1,…, SBn을 포함할 수 있다. 영상 표시 장치(200)는 출력 이미지(2200)을 출력할 수 있다.

이와 같이, 실시 예에 따르면, 영상 표시 장치(200)는 이미지를 복수개의 서브 영역으로 나누고, 각 서브 영역 별로 블러 레벨을 추정하고, 블러 레벨이 일정한 기준을 만족하는 서브 영역에 대해서만 해상도를 향상시킴으로써, 블러 레벨이 높지 않은 서브 영역에 대해 불필요하게 해상도를 향상시키는 과정을 생략할 수 있다.

또한, 실시 예에 따르면 해상도 향상부(213)는 각 서브 영역의 추정된 블러 레벨에 따라 각 서브 영역 별로 적합한 이미지 복원 모델을 이용하여 각 서브 영역의 해상도를 최적으로 향상시킬 수 있다.

도 22는 실시 예에 따른 영상 표시 방법을 도시한 순서도이다. 영상 표시 장치(200)는 이미지를 입력 받고(단계 2210), 이미지를 복수개의 서브 영역으로 분할할 수 있다(단계 2220). 영상 표시 장치(200)는 복수개의 서브 영역 각각을 주파수 도메인으로 변환할 수 있다(단계 2230).

영상 표시 장치(200)는 각 서브 영역 별로 주파수 도메인에서의 신호에 대한 파워 스펙트럼을 획득하고, 파워 스펙트럼으로부터 스펙트럴 엔벨롭을 획득할 수 있다. 영상 표시 장치(200)는 스펙트럴 엔벨롭의 기울기 값이나, 스펙트럴 엔벨롭의 기울기가 급변하는 지점의 빈 인덱스 등을 이용하여 각 서브 영역의 블러 레벨을 추정할 수 있다(단계 2240).

영상 표시 장치(200)는 각 서브 영역 별로 추정된 블러 레벨을 이용하여, 공간 도메인에서 각 서브 영역의 해상도를 향상시킬 수 있다(단계 2250).

영상 표시 장치(200)는 해상도가 향상된 서브 영역을 포함하는 새 이미지를 생성할 수 있다(단계 2260).

이와 같이, 실시 예에 의하면, 영상 표시 장치(200)는 주파수 도메인에서 각 서브 영역의 블러 레벨을 추정하고, 추정된 블러 레벨을 이용하여 공간 도메인에서 각 서브 영역의 해상도를 향상시킬 수 있다.

도 23은 실시 예에 따른 영상 표시 방법을 도시한 순서도이다. 도 23을 참조하면, 영상 표시 장치(200)는 이미지를 입력 받고(단계 2310), 이미지를 복수개의 서브 영역으로 분할할 수 있다(단계 2320). 영상 표시 장치(200)는 각 서브 영역을 주파수 도메인으로 변환할 수 있다(단계 2330). 영상 표시 장치(200)는 주파수 도메인에서 각 서브 영역에 대한 블러 레벨을 추정할 수 있다(단계 2340).

영상 표시 장치(200)는 각 서브 영역 별로, 추정된 블러 레벨이 소정 기준치 이상인지를 판단하고(단계 2350), 추정된 블러 레벨이 소정 기준치 이상인 서브 영역을 식별할 수 있다. 영상 표시 장치(200)는 서브 영역의 추정된 블러 정도가 낮은 경우, 그 서브 영역에 대해 해상도 향상을 수행하지 않을 수 있다.

영상 표시 장치(200)는 추정된 블러 레벨이 소정 기준치 이상인 경우, 즉, 블러 정도가 일정한 기준치 이상으로 높아 이미지의 선명도가 떨어지는 서브 영역에 대해 해상도를 향상시킬 수 있다(단계 2360). 영상 표시 장치(200)는 각 서브 영역 별로 추정된 블러 레벨에 기초하여, 각 서브 영역의 해상도를 독립적으로 향상시킬 수 있다.

영상 표시 장치(200)는 해상도가 향상된 서브 영역과, 해상도 조절을 하지 않은 서브 영역을 합쳐 새 이미지를 생성할 수 있다(단계 2370).

이와 같이, 실시 예에 의하면, 영상 표시 장치(200)는 추정된 블러 레벨이 소정 기준치 이상인 서브 영역만 해당 서브 영역의 해상도를 향상시킴으로써, 블러 정도가 낮은 서브 영역에 대해 불필요한 연산을 수행하는 것을 막을 수 있다.

일부 실시 예에 따른 영상 표시 장치 및 그 동작 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

또한, 전술한 본 개시의 실시 예에 따른 영상 표시 장치 및 그 동작 방법은 제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하고, 추정된 블러 레벨에 기반하여 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키고, 해상도가 향상된 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력하는 단계를 포함하는 영상 표시 방법을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

전술한 설명은 예시를 위한 것이며, 발명이 속하는 기술분야의 통상의 지식을 가진 자는 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

Claims

영상 표시 장치에 있어서,
디스플레이;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하고, 상기 추정된 블러 레벨에 기반하여 상기 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키고,
상기 디스플레이는 상기 해상도가 향상된 상기 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력하는 영상 표시 장치.
제1 항에 있어서, 상기 프로세서는 공간 도메인에서 상기 제1 이미지를 상기 복수개의 서브 영역으로 분할하고, 상기 각 서브 영역을 주파수 도메인으로 변환하여 상기 각 서브 영역 별로 블러 레벨을 추정하고, 상기 추정된 블러 레벨에 기반하여 상기 하나 이상의 서브 영역을 식별하고, 상기 식별된 하나 이상의 서브 영역의 해상도를 상기 공간 도메인에서 향상시키는, 영상 표시 장치.
제2 항에 있어서, 상기 프로세서는 상기 추정된 블러 레벨이 임계치보다 크거나 같은 서브 영역을 상기 하나 이상의 서브 영역으로 식별하는, 영상 표시 장치.
제2 항에 있어서, 상기 프로세서는 상기 각 서브 영역 별로 푸리에 변환을 수행하여 상기 주파수 도메인에서의 신호를 획득하고, 상기 주파수 도메인에서의 신호에 대한 파워 스펙트럼을 획득하고, 상기 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭의 기울기로부터 상기 각 서브 영역 별로 블러 레벨을 추정하는, 영상 표시 장치.
제4 항에 있어서, 상기 프로세서는 상기 스펙트럴 엔벨롭의 상기 기울기가 소정 기준치보다 크게 변하기 시작하는 지점의 빈 인덱스로부터 상기 블러 레벨을 추정하고, 상기 빈 인덱스의 값이 클수록 상기 블러 레벨이 크다고 추정하는, 영상 표시 장치.
제2 항에 있어서, 상기 프로세서는 상기 각 서브 영역 별로 추정된 블러 레벨에 기반하여 상기 하나 이상의 서브 영역 각각의 해상도를 독립적으로 향상시키는, 영상 표시 장치.
제6 항에 있어서, 상기 프로세서는 상기 서브 영역의 추정된 블러 레벨에 기초하여 복수의 이미지 복원 모델 중 하나를 선택하고, 상기 선택된 모델에 따라 상기 서브 영역의 해상도를 향상시키는, 영상 표시 장치.
제6 항에 있어서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 이미지 복원 모델을 적용할 횟수를 결정하고, 상기 서브 영역에 상기 이미지 복원 모델을 상기 결정된 횟수만큼 반복하여 적용함으로써 상기 서브 영역의 해상도를 향상시키는, 영상 표시 장치.
제6 항에 있어서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 뉴럴 네트워크의 하이퍼파라미터 값을 수정하고, 상기 수정된 하이퍼파라미터 값을 갖는 뉴럴 네트워크를 이용하여 상기 서브 영역의 해상도를 향상시키는, 영상 표시 장치.
제9 항에 있어서, 상기 하이퍼파라미터는 상기 뉴럴 네트워크의 필터 계수, 필터 사이즈, 커널 사이즈, 노드의 웨이트 값 중 적어도 하나를 포함하는, 영상 표시 장치.
제6 항에 있어서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 필터를 설계하고, 상기 서브 영역에 상기 설계된 필터를 적용하여 상기 서브 영역의 해상도를 향상시키는, 영상 표시 장치.
제11 항에 있어서, 상기 프로세서는 상기 추정된 블러 레벨에 기초하여 설계된 BPF로 상기 서브 영역을 필터링하여 소정 대역의 신호를 획득하고, 상기 획득한 소정 대역의 신호에 비선형 함수를 적용하여 하모닉스 신호를 생성하고, 상기 추정된 블러 레벨에 기초하여 설계된 HPF로 상기 하모닉스 신호를 필터링하여 상기 하모닉스 신호 중 고주파 대역 신호를 획득하고, 상기 획득한 고주파 대역에서의 신호와, 상기 고주파 대역 외의 대역에서의 상기 서브 영역의 신호로부터 상기 해상도가 향상된 서브 영역을 생성하는, 영상 표시 장치.
제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하는 단계;
상기 추정된 블러 레벨에 기반하여 상기 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키는 단계; 및
상기 해상도가 향상된 상기 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력하는 단계를 포함하는 영상 표시 방법.
제13 항에 있어서, 상기 블러 레벨을 추정하는 단계는
공간 도메인에서 상기 제1 이미지를 상기 복수개의 서브 영역으로 분할하는 단계; 및
상기 각 서브 영역을 주파수 도메인으로 변환하여 상기 각 서브 영역 별로 블러 레벨을 추정하는 단계를 포함하고,
상기 해상도를 향상시키는 단계는 상기 추정된 블러 레벨이 임계치보다 크거나 같은 서브 영역을 상기 하나 이상의 서브 영역으로 식별하는 단계; 및
상기 식별된 하나 이상의 서브 영역의 해상도를 상기 공간 도메인에서 향상시키는 단계를 포함하는, 영상 표시 방법.
제14 항에 있어서, 상기 블러 레벨을 추정하는 단계는 상기 각 서브 영역 별로 푸리에 변환을 수행하여 상기 주파수 도메인에서의 신호를 획득하는 단계;
상기 주파수 도메인에서의 신호에 대한 파워 스펙트럼을 획득하는 단계; 및
상기 파워 스펙트럼으로부터 획득한 스펙트럴 엔벨롭의 기울기가 소정 기준치보다 크게 변하기 시작하는 지점의 빈 인덱스를 획득하여 상기 획득한 빈 인덱스로부터 상기 블러 레벨을 추정하는 단계를 포함하고,
상기 획득한 빈 인덱스로부터 상기 블러 레벨을 추정하는 단계는 상기 빈 인덱스의 값이 클수록 상기 블러 레벨이 크다고 추정하는 단계를 포함하는, 영상 표시 방법.
제14 항에 있어서, 상기 해상도를 향상시키는 단계는 상기 각 서브 영역 별로 추정된 블러 레벨에 기반하여 상기 하나 이상의 서브 영역 각각의 해상도를 독립적으로 향상시키는 단계를 포함하는, 영상 표시 방법.
제16 항에 있어서, 상기 해상도를 향상시키는 단계는 상기 서브 영역의 추정된 블러 레벨에 기초하여 복수의 이미지 복원 모델 중 하나를 선택하는 단계; 및
상기 선택된 모델에 따라 상기 서브 영역의 해상도를 향상시키는 단계를 포함하는, 영상 표시 방법.
제16 항에 있어서, 상기 해상도를 향상시키는 단계는 상기 추정된 블러 레벨에 기초하여 이미지 복원 모델을 적용할 횟수를 결정하는 단계;
상기 서브 영역에 상기 이미지 복원 모델을 상기 결정된 횟수만큼 반복하여 적용함으로써 상기 서브 영역의 해상도를 향상시키는 단계를 포함하는, 영상 표시 방법.
제16 항에 있어서, 상기 해상도를 향상시키는 단계는 상기 추정된 블러 레벨에 기초하여 뉴럴 네트워크의 하이퍼파라미터 값을 수정하는 단계; 및
상기 수정된 하이퍼파라미터 값을 갖는 뉴럴 네트워크를 이용하여 상기 서브 영역의 해상도를 향상시키는 단계를 포함하는, 영상 표시 방법.
제19 항에 있어서, 상기 하이퍼파라미터는 상기 뉴럴 네트워크의 필터 계수, 필터 사이즈, 커널 사이즈, 노드의 웨이트 값 중 적어도 하나를 포함하는, 영상 표시 방법.
제16 항에 있어서, 상기 해상도를 향상시키는 단계는
상기 추정된 블러 레벨에 기초하여 필터를 설계하는 단계; 및
상기 서브 영역에 상기 설계된 필터를 적용하여 상기 서브 영역의 해상도를 향상시키는 단계를 포함하는, 영상 표시 방법.
제21 항에 있어서, 상기 추정된 블러 레벨에 기초하여 필터를 설계하는 단계는 상기 추정된 블러 레벨에 기초하여 설계된 BPF로 상기 서브 영역을 필터링하여 소정 대역의 신호를 획득하는 단계;
상기 획득한 소정 대역의 신호에 비선형 함수를 적용하여 하모닉스 신호를 생성하는 단계;
상기 추정된 블러 레벨에 기초하여 설계된 HPF로 상기 하모닉스 신호를 필터링하여 상기 하모닉스 신호 중 고주파 대역 신호를 획득하는 단계; 및
상기 획득한 고주파 대역에서의 신호와, 상기 고주파 대역 외의 대역에서의 상기 서브 영역의 신호로부터 상기 해상도가 향상된 서브 영역을 생성하는 단계를 포함하는, 영상 표시 방법.
제1 이미지에 포함된 복수개의 서브 영역 각각에 대해 블러 레벨을 추정하는 단계;
상기 추정된 블러 레벨에 기반하여 상기 복수개의 서브 영역 중 하나 이상의 서브 영역의 해상도를 향상시키는 단계; 및
상기 해상도가 향상된 상기 하나 이상의 서브 영역을 포함하는 제2 이미지를 출력하는 단계를 포함하는 영상 표시 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.