KR20220158525A

KR20220158525A - 전자 장치 및 그 영상 처리 방법

Info

Publication number: KR20220158525A
Application number: KR1020210066450A
Authority: KR
Inventors: 임형준
Original assignee: 삼성전자주식회사
Priority date: 2021-05-24
Filing date: 2021-05-24
Publication date: 2022-12-01
Also published as: WO2022250204A1

Abstract

전자 장치가 개시된다. 전자 장치는, 입력 영상이 저장된 메모리 및 입력 영상에 필터를 적용하여 입력 영상을 복수의 영역으로 식별하고, 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행하는 프로세서를 포함한다. 여기서, 제2 저주파 필터의 컷오프 주파수는 제1 저주파 필터의 컷오프 주파수보다 높을 수 있다.

Description

전자 장치 및 그 영상 처리 방법 { Electronic apparatus and image processing method thereof }

본 개시는 전자 장치 및 그 영상 처리 방법에 관한 것으로, 더욱 상세하게는 입력 영상을 다운 스케일링하는 전자 장치 및 그 영상 처리 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자 기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공 장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있다.

최근에는 고해상도 영상 서비스에 대한 요구가 크게 증가하고 있다. 이에 따라 방송사 등 컨텐츠 제공사에서 제공되는 영상이 점차 고화질이 되어가고 있다. 하지만, TV, 비디오 월 등과 같은 디스플레이는 다양한 해상도를 가지게 되면서 고해상도 영상을 다운 스케일링할 필요가 점차 증가하고 있다.

기존의 다운 스케일링 방법으로는 입력 영상에서 특정 픽셀 만을 추출하는 subsampling, bilateral interpolation, bicubic interpolation 등이 존재한다. 다만, 이들 방법의 경우 aliasing, 선명도 저하 등을 발생시킨다는 문제점이 있었다.

본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 입력 영상에서 영역 별로 패턴 유무를 검출하여 상이한 저주파 필터를 사용하여 영상을 다운 스케일링하는 전자 장치 및 그 영상 처리 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는 입력 영상이 저장된 메모리 및, 상기 입력 영상에 필터를 적용하여 상기 입력 영상을 복수의 영역으로 식별하고, 상기 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행하는 프로세서를 포함하며, 상기 제2 저주파 필터의 컷오프 주파수는 상기 제2 저주파 필터의 컷오프 주파수보다 높을 수 있다.

여기서, 상기 필터는, 제1 타입 패턴의 검출을 위한 제1 패턴 필터 및 제2 타입 패턴의 검출을 위한 제2 패턴 필터를 포함하며, 상기 프로세서는, 상기 입력 영상에 상기 제1 패턴 필터를 적용하여 획득된 제1 출력 값 및 상기 입력 영상에 상기 제2 패턴 필터를 적용하여 획득된 제2 출력 값에 기초하여 상기 입력 영상을 복수의 영역으로 식별할 수 있다.

또한, 상기 프로세서는, 상기 제1 출력 값 및 상기 제2 출력 값을 합산한 값에 기초하여 상기 입력 영상을 패턴 포함 확률이 임계치 이상인 상기 제1 영역 및 상기 패턴 포함 확률이 상기 임계치 미만인 상기 제2 영역으로 식별할 수 있다.

또한, 상기 프로세서는, 상기 제1 출력 값 및 상기 제2 출력 값에 기초하여 상기 입력 영상을 상기 제1 타입 패턴의 포함 확률이 임계치 이상인 제3 영역, 상기 제2 타입 패턴의 포함 확률이 상기 임계치 이상인 제4 영역 및 패턴 포함 확률이 상기 임계치 미만인 제5 영역으로 식별하고, 상기 제3 영역에 상기 제1 저주파 필터를 적용하고 상기 제5 영역에 상기 제2 저주파 필터를 적용하고 상기 제4 영역에 제3 저주파 필터를 적용하며, 상기 제3 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높고 상기 제2 저주파 필터의 컷오프 주파수보다 낮을 수 있다.

또한, 상기 제2 타입 패턴에 대응되는 패턴의 주기는 상기 제1 타입 패턴에 대응되는 패턴의 주기보다 클 수 있다.

또한, 상기 제1 저주파 필터의 컷오프 주파수 또는 상기 제2 저주파 필터의 컷오프 주파수 중 적어도 하나는, 상기 입력 영상에 대한 다운 스케일링 비율에 기초하여 결정될 수 있다.

또한, 상기 프로세서는, 상기 입력 영상에 상기 제1 저주파 필터를 적용하여 다운 스케일링된 제1 영상을 획득하고, 상기 입력 영상에 상기 제2 저주파 필터를 적용하여 다운 스케일링된 제2 영상을 획득하고, 상기 입력 영상에 패턴 검출을 위한 필터를 적용하여 상기 복수의 영역을 식별하기 위한 가중치를 획득하고, 상기 다운 스케일링된 제1 영상에 상기 획득된 가중치를 적용하고, 상기 다운 스케일링된 제2 영상에 상기 획득된 가중치에 기초하여 획득된 다른 가중치를 적용하여 상기 다운 스케일링된 영상을 획득할 수 있다.

또한, 상기 프로세서는, 상기 입력 영상에 복수의 타입 패턴 검출을 위한 복수의 필터를 적용하여 복수의 출력 값을 획득하고, 상기 복수의 출력 값을 합산한 후 노멀라이징하여 상기 가중치를 획득할 수 있다.

여기서, 상기 획득된 가중치 w는 0 ≤w ≤ 1 값을 가지며, 상기 다른 가중치는 1-w 로 산출될 수 있다.

또한, 상기 프로세서는, 상기 입력 영상에 상기 제1 저주파 필터를 적용하여 다운 스케일링된 제1 영상을 획득하고, 상기 입력 영상에 상기 제2 저주파 필터를 적용하여 다운 스케일링된 제2 영상을 획득하고, 상기 입력 영상에 제3 저주파 필터를 적용하여 다운 스케일링된 제3 영상을 획득하고, 상기 입력 영상에 패턴 검출을 위한 필터를 적용하여 상기 복수의 영역을 식별하기 위한 제1 가중치, 제2 가중치 및 제3 가중치를 획득하고, 상기 다운 스케일링된 제1 영상에 상기 제1 가중치를 적용하고, 상기 다운 스케일링된 제2 영상에 상기 제2 가중치를 적용하고, 상기 다운 스케일링된 제3 영상에 상기 제3 가중치를 적용하여 상기 다운 스케일링된 영상을 획득할 수 있다.

여기서, 상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치의 합은 1일 수 있다.

또한, 디스플레이를 더 포함하며, 상기 프로세서는, 다운 스케일링된 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.

또한, 상기 디스플레이는, 복수의 디스플레이 모듈로 구성될 수 있다.

한편, 본 개시의 일 실시 예에 따른 전자 장치의 영상 처리 방법은, 입력 영상에 필터를 적용하여 상기 입력 영상을 복수의 영역으로 식별하는 단계, 상기 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행하는 단계 및, 다운 스케일링된 영상을 디스플레이하는 단계를 포함하며, 상기 제2 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높을 수 있다.

여기서, 상기 필터는, 제1 타입 패턴의 검출을 위한 제1 패턴 필터 및 제2 타입 패턴의 검출을 위한 제2 패턴 필터를 포함하며, 상기 입력 영상을 복수의 영역으로 식별하는 단계는, 상기 입력 영상에 상기 제1 패턴 필터를 적용하여 획득된 제1 출력 값 및 상기 입력 영상에 상기 제2 패턴 필터를 적용하여 획득된 제2 출력 값에 기초하여 상기 입력 영상을 복수의 영역으로 식별할 수 있다.

또한, 상기 입력 영상을 복수의 영역으로 식별하는 단계는, 상기 제1 출력 값 및 상기 제2 출력 값을 합산한 값에 기초하여 상기 입력 영상을 패턴 포함 확률이 임계치 이상인 상기 제1 영역 및 상기 패턴 포함 확률이 상기 임계치 미만인 상기 제2 영역으로 식별할 수 있다.

또한, 상기 입력 영상을 복수의 영역으로 식별하는 단계는, 상기 제1 출력 값 및 상기 제2 출력 값에 기초하여 상기 입력 영상을 상기 제1 타입 패턴의 포함 확률이 임계치 이상인 제3 영역, 상기 제2 타입 패턴의 포함 확률이 상기 임계치 이상인 제4 영역 및 패턴 포함 확률이 상기 임계치 미만인 제5 영역으로 식별하고, 상기 제3 영역에 상기 제1 저주파 필터를 적용하고 상기 제5 영역에 상기 제2 저주파 필터를 적용하고 상기 제4 영역에 제3 저주파 필터를 적용하며, 상기 제3 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높고 상기 제2 저주파 필터의 컷오프 주파수보다 낮을 수 있다.

또한, 상기 제2 타입 패턴에 대응되는 패턴 주기는 상기 제1 타입 패턴에 대응되는 패턴 주기보다 클 수 있다.

또한, 상기 제1 저주파 필터의 컷오프 주파수 또는 상기 제2 저주파 필터의 주파수 중 적어도 하나는, 상기 입력 영상에 대한 다운 스케일링 비율에 기초하여 결정될 수 있다.

또한, 본 개시의 일 실시 예에 따른 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 입력 영상에 필터를 적용하여 상기 입력 영상을 복수의 영역으로 식별하는 단계, 상기 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행하는 단계를 포함하며, 상기 제2 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높을 수 있다.

본 개시의 다양한 실시 예에 따르면, 입력 영상에서 영역 별로 패턴 유무를 검출하여 상이한 저주파 필터를 사용하여 영상을 다운 스케일링할 수 있게 된다. 이에 따라 패턴 영역의 aliasing 을 방지하면서 나머지 영역이 블러되는 것을 방지할 수 있게 된다.

도 1a 내지 도 1d는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면들이다.
도 2a 내지 도 2c는 일 실시 예에 따라 영상 축소시 저주파 필터 이용 여부에 따른 출력 영상의 차이를 설명하기 위한 도면들이다.
도 3a 내지 도 3c는 일 실시 예에 따른 저주파 필터의 형태를 설명하기 위한 도면들이다.
도 4a 내지 도 4c는 필터의 크기가 줄어들 때 나타나는 필터의 변화를 나타내는 도면들이다.
도 5a 내지 도 5c는 작은 크기의 저주파 필터를 이용하는 경우 발생되는 문제를 설명하기 위한 도면들이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 7a 및 도 7b는 일 실시 예에 따라 저주파 필터를 적용하여 영상을 다운 스케일링하는 방법을 설명하기 위한 도면들이다.
도 8은 일 실시 예에 따른 패턴 검출 모듈의 동작을 설명하기 위한 도면이다.
도 9a 및 도 9b는 다른 실시 예에 따라 저주파 필터를 적용하여 영상을 다운 스케일링하는 방법을 설명하기 위한 도면들이다.
도 10a 내지 도 10c, 도 11a 내지 도 11c는 다양한 실시 예에 따른 패턴 필터의 구성을 설명하기 위한 도면들이다.
도 12는 일 실시 예에 따른 패턴 필터 적용 방법을 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 패턴 필터의 출력을 정규화하는 방법을 설명하기 위한 도면이다.
도 14a 내지 도 14d는 일 실시 예에 따른 패턴 검출 결과를 설명하기 위한 도면들이다.
도 15a 내지 도 15c는 일 실시 예에 따른 효과를 설명하기 위한 도면들이다.
도 16은 본 개시의 다른 실시 예에 따른 전자 장치의 일 구현 예를 나타내는 도면이다.
도 17은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 명세서에서 이용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　

본 개시의 실시 예에서 이용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 이용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 이용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 이용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

A 또는 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1a 내지 도 1d는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면들이다.

전자 장치(100)는 도 1a에 도시된 바와 같이 TV 로 구현될 수 있으나, 이에 한정되는 것은 아니며 set-top box, LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이, 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), 카메라, 캠코더, 프린터 등과 같이 영상 처리 및/또는 디스플레이 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.

전자 장치(100)는 다양한 압축 영상 또는 다양한 해상도의 영상을 수신할 수 있다. 예를 들어, 전자 장치(100)는 MPEG(Moving Picture Experts Group)(예를 들어, MP2, MP4, MP7 등), JPEG(joint photographic coding experts group), AVC(Advanced Video Coding), H.264, H.265, HEVC(High Efficiency Video Codec) 등으로 압축된 형태로 영상을 수신할 수 있다. 또는 전자 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, 4K UHD(Ultra HD), 8K UHD(Ultra HD)또는 그 이상의 해상도 영상 중 어느 하나의 영상을 수신할 수 있다.

일 예에 따라 전자 장치(100)가 8K UHD 해상도 영상을 수신하더라도 전자 장치(100)에 구비된 디스플레이가 8K UHD 해상도를 지원하지 못하는 경우 수신된 영상을 다운 스케일링해야 하는 경우가 있을 수 있다. 예를 들어, 전자 장치(100)가 복수의 디스플레이 모듈을 포함하는 비디오 월(video wall) 장치로 구현되는 경우 사용자는 원하는 개수의 디스플레이 모듈을 조합하여 4K UHD 또는 Full HD 디스플레이로 구현하는 경우가 있을 수 있다.

이 경우, 전자 장치(100)는 저주파 필터를 이용하여 수신된 영상을 다운 스케일링할 수 있다. 저주파 필터를 이용하는 이유는, 영상의 다운 스케일링(또는 영상 축소) 과정에서 발생되는 에일리어싱(aliasing)을 방지하기 위해서이다. aliasing은 미세한 디테일이 있는 영상을 과도하게 축소하는 경우 디테일이 왜곡되어 나타나는 현상이다. 예를 들어, 도 1b에 도시된 바와 같이 입력 영상(10)에 저주파 필터(20)를 적용하여 다운 스케일링된 영상(30)을 획득할 수 있다. 도 1b는 일 예에 따라 입력 영상(image)의 크기를 1/2로 다운 스케일링하는 과정을 나타낸 것으로, 입력 영상(10)에서 픽셀 영역들에 대해 저주파 필터(20)를 적용하여 획득된 출력 픽셀 값에 기초하여 출력 영상(30)을 획득한다. 다만, 입력 영상을 1/2, 1/3 또는 1/4과 같은 정수의 역수 비율로 다운 스케일링하는 게 아닌, 2/3 및 4/5와 같은 임의의 비율로 다운 스케일링하는 경우에도 주변 픽셀들을 이용하여 소수점 위치의 출력 픽셀 값을 획득할 수 있다.

도 1c는 저주파 필터를 이용하여 입력 영상(10)의 크기를 1/2로 다운 스케일링하는 과정을 1 차원으로 표현한 도면이다. 예를 들어, 가로로 W_in개, 세로로 H_in개의 픽셀을 갖는 2차원 영상을 W_outH_out크기의 출력 영상으로 다운 스케일링하는 경우, 가로 방향의 샘플 간 거리는 1/W_in에서 1/W_out로 늘어나게 되고, 세로 방향의 샘플 간 거리는 1/H_in에서 1/H_out로 변경된다. 이에 따라 출력 영상의 (x,y)번째 픽셀에 해당하는 입력 영상의 위치는 ((W_in/W_out)x, (H_in/H_out)y)가 된다.

도 1d는 저주파 필터링 과정을 나타내는 도면이다. 저주파 필터링은 다수의 입력값(a,b,c,d,e) 각각에 특정 가중치(필터 계수)를 곱한 뒤, 이들을 더한 값을 출력한다. 따라서, 저주파 필터링을 이용한 영상의 다운 스케일링 과정을 수식으로 나타내면 다음 수학식 1과 같다.

여기서, f_R은 저주파 필터를 나타내며, R은 0과 1사이의 값으로 영상이 다운 스케일링되는 비율을 나타낸다. 즉, 2차원 영상을 가로로 다운 스케일링하는 경우에 R=W_out/W_in이며, 세로로 다운 스케일링하는 경우에 R=H_out/H_in이다. N은 필터의 크기(필터를 이루는 샘플 수)를 나타낸다. 저주파 필터의 계수는 사전에 계산된 값으로 메모리에 LUT(look-up table)형태로 저장되거나 외부로부터 입력될 수 있다. 저주파 필터의 계수 합은 1이며, 소수점 구현이 어려운 하드웨어의 경우에는 도 1d에 도시된 바와 같이 정수 값을 대신 이용한 뒤, 추후 계수의 합으로 나누는 방법을 이용할 수 있다. 여기서, 기호 x는 x보다 작으면서 가장 큰 정수를 의미할 수 있다.

도 2a 내지 도 2c는 일 실시 예에 따라 저주파 필터 이용 여부에 따른 출력 영상의 차이를 설명하기 위한 도면들이다.

도 2a 내지 도 2c는 설명의 편의를 위하여 240x240개의 픽셀로 이루어진 입력 영상을 1/4의 배율로 다운 스케일링하는 경우로 상정하였다. 도 2a는 입력 이미지를 나타내고, 도 2b는 저주파 필터를 이용하지 않는 경우, 도 2c는 저주파 필터를 이용한 경우를 나타낸다.

도 2b에 도시된 바와 같이 저주파 필터를 이용하지 않고 영상을 다운 스케일링한 경우 대각선 방향의 물결 무늬 즉, aliasing이 발생되지만, 도 2c에 도시된 바와 같이 저주파 필터를 이용하여 영상을 다운 스케일링한 경우 aliasing이 발생되지 않는 것을 확인할 수 있다. aliasing은 입력 영상의 디테일 형태와 영상의 다운 스케일링 비율에 따라 상이한 형태로 나타날 수 있다. 일반적으로, 입력 영상에 디테일이 보다 미세할수록 또는 영상을 보다 작게 축소할수록 aliasing은 더욱 더 심해질 수 있다. aliasing을 방지하기 위해서는 저주파 필터로 입력 영상의 고주파 성분을 제거해야 한다. 구체적으로, 입력 영상을 R 배로 축소하게 되면 (0<R<1) 입력 영상의 전체 주파수 범위 (0~π) 중 (0~Rπ) 범위의 저주파 만을 유지(또는 통과)시키고, (Rπ~π)범위의 고주파 성분을 전부 제거해야 한다. 이러한 저주파 필터를 cut-off 주파수가 Rπ인 저주파 필터라고 하며, aliasing을 방지하기 때문에 anti-aliasing 필터라고도 불린다. 가장 보편적으로 이용되는 저주파 필터는 sinc 함수이다. 하기 수학식 2는 cut-off 주파수가 Rπ인 sinc 함수의 정의를 나타낸다.

여기서, x가 0인 경우 f_R(0)=1로 정의될 수 있다.

도 3a 내지 도 3c는 일 실시 예에 따른 저주파 필터의 형태를 설명하기 위한 도면들이다.

도 3a 내지 도 3c 각각은 cut-off 주파수가 π/2, π/3 및 π/4인 저주파 필터의 공간 영역(image domain) 및 주파수 영역(frequency domain)에서의 형상을 나타낸다. 공간 영역에서의 각 필터는 cut-off 주파수가 작을수록 즉, 영상을 보다 작게 축소해야 할수록, 넓게 퍼진 형태를 띠고 있어 영상을 더욱 흐릿하게(blur) 함을 알 수 있다. 또한, 주파수 영역에서의 각 필터는 cut-off 주파수보다 낮은 주파수 영역에 대해서는 1에 가까운 값을 갖고, cut-off 주파수 높은 주파수 영역에 대해서는 0에 가까운 값을 갖는 것을 확인할 수 있다.

한편, 저주파 필터를 이용하기 위해서는 여러 입력 픽셀을 동시에 이용해야 하기 때문에 입력 픽셀들을 저장하기 위한 메모리와 연산 로직을 필요로 하게 된다. 하지만, 필터의 크기(N)가 커짐에 따라 메모리와 로직이 증가하므로, 비용 절감을 위해 필터 크기를 작게 하는데 그로 인해 필터의 성능이 감소하게 된다. 즉, 저주파 필터를 이용하는 경우 저주파 필터 크기 즉, 필터의 파라미터 수가 작아지면서 문제가 발생할 수 있다.

도 4a 내지 도 4c는 필터의 크기가 줄어들 때 나타나는 필터의 변화를 나타내는 도면들이다. 예를 들어, 도 3a 내지 도 3c에서는 필터의 크기가 100인 경우를, 도 4a 내지 도 4c는 필터의 크기가 10인 경우의 저주파 필터를 나타낼 수 있다. 주파수 영역의 형상을 비교하면, 필터의 크기가 작아짐에 따라 cut-off 주파수 1에서 0으로의 천천히 변하는 것을 볼 수 있다. 이러한 주파수 특성은 저주파 필터가 cut-off 주파수보다 높은 영역을 모두 제거하지 못함을 의미한다.

도 5a 내지 도 5c는 작은 크기의 저주파 필터를 이용하는 경우 발생되는 문제를 설명하기 위한 도면들이다.

도 5a는 입력 영상을, 도 5b 및 도 5c는 크기가 12인 저주파 필터를 이용하여 입력 영상을 1/3으로 다운 스케일링한 영상을 나타낸다.

도 5b는 앞서 설명한 이론에 따라 cut-off 주파수가 π/3인 저주파 필터를 이용한 결과이다. 이 경우 건물의 지붕 부분에서 입력 영상과 다른 형태의 고주파 왜곡 즉, aliasing이 발생되는 것을 볼 수 있다. 이는 지붕 부분과 같이 일정한 패턴이 반복되는 영역은 고주파가 많이 존재하며, 이러한 패턴 영역에 작은 크기의 저주파를 이용하게 되면 고주파가 충분히 제거되지 않아 aliasing이 발생하게 되는 것이다.

도 5c는 도 5b와 같은 문제를 해결하기 위해 cut-off 주파수가 π/4인, 즉 이론적으로 요구되는 cut-off 주파수보다 낮은 저주파 필터를 이용한 결과이다. 이 경우 도 5b와 비교하여 지붕(패턴 영역)에서의 aliasing은 상대적으로 발생되지 않지만 패턴이 아닌 영역에서의 선명도는 상대적으로 저하되는 것을 확인할 수 있다. 이는 cut-off 주파수보다 낮은 대역의 주파수 성분을 제거하였기에 즉, 필요 이상으로 고주파를 제거하였기에 영상이 흐릿해진 것이다. 즉, 제한된 리소스(메모리 크기)에 따라 저주파 필터의 크기를 작게 할 경우, 반복되는 패턴이 있는 영상에서는 aliasing 왜곡이 발생할 수 있고, 이에 따라 보다 낮은 대역폭의 저주파 필터를 이용할 경우에는 패턴 영역의 aliasing을 방지할 수 있지만 다른 영역의 디테일이 손실된다는 문제가 있게 된다.

이에 따라 이하에서는 영상의 영역 별로 패턴 유무를 검출하여 영역 별로 상이한 저주파 필터를 적용함으로써, 영상의 디테일을 최대한 유지시키면서 aliasing을 방지할 수 있는 다양한 실시 예에 대해 설명하도록 한다.

도 6은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.

도 6에 따르면, 전자 장치(100)는 디스플레이(110), 메모리(120) 및 프로세서(130)를 포함한다.

디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), PDP(Plasma Display Panel), QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(160) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다. 프로세서(130)는 본 개시의 다양한 실시 예에 따라 처리된 출력 영상을 출력하도록 디스플레이(110)를 제어할 수 있다.

메모리(120)는 프로세서(130)와 전기적으로 연결되며, 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

일 예에 따라 메모리(120)는 전자 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.

다른 예에 따라 메모리(120)는 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 수신된 영상, 즉 입력 영상을 저장할 수 있다. 여기서, 영상은 디지털 동영상이 될 수 있으나 이에 한정되는 것은 아니다.

또 다른 예에 따라, 메모리(120)는 화질 처리에 필요한 다양한 정보, 예를 들어 Noise Reduction, Detail Enhancement, Tone Mapping, Contrast Enhancement, Color Enhancement 또는 Frame rate Conversion 중 적어도 하나를 수행하기 위한 정보, 알고리즘, 화질 파라미터 등을 저장할 수 있다. 또한, 메모리(120)는 영상 처리에 의해 생성된 최종 출력 영상을 저장할 수도 있다.

일 실시 예에 따르면, 메모리(120)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(120)는 상이한 타입의 데이터를 각각 저장하거나, 상이한 단계에서 생성되는 데이터를 각각 저장하는 복수의 메모리를 포함하도록 구현될 수도 있다.

상술한 실시 예에서는 다양한 데이터가 프로세서(130)의 외부 메모리(120)에 저장되는 것으로 설명하였으나, 상술한 데이터 중 적어도 일부는 전자 장치(100) 또는 프로세서(130) 중 적어도 하나의 구현 예에 따라 프로세서(130) 내부 메모리에 저장될 수도 있다.

프로세서(130)는 메모리(120)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.

일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

또한, 일 실시 예에 따른 인공 지능 모델을 실행하기 위한 프로세서(130)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서과 소프트웨어의 조합을 통해 구현될 수 있다. 프로세서(130)는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(130)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 지능 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(130)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.

프로세서(130)는 입력 영상을 영상 처리하여 출력 영상을 획득한다. 여기서, 입력 영상 또는 출력 영상은 정지 영상, 복수의 연속된 정지 영상(또는 프레임), 또는 비디오를 포함할 수 있다. 영상 처리는 영상 개선(image enhancement), 영상 복원(image restoration), 영상 변환(image transformation), 영상 분석(image analysis), 영상 인식(image understanding) 또는 영상 압축(image compression), 스케일링(scaling) 중 적어도 하나를 포함하는 디지털 영상 처리가 될 수 있다. 일 예에 따라 전자 장치(100)가 복수의 디스플레이 모듈를 포함하는 비디오 월(video wall) 디스플레이를 포함하도록 구현되는 경우 본 개시의 다양한 실시 예에 따른 동작은 입력된 영상을 처리하는 마스터 디스플레이 모듈에 포함된 메인 프로세서(또는 메인 프로세서를 포함하는 영상 처리 장치)에 의해 수행될 수 있다. 이 경우, 프로세서(130)는 획득된 출력 영상을 복수의 디스플레이 모듈 각각에서 디스플레이될 영상 영역으로 구분하고, 각 영상 영역에 대응되는 영상을 대응되는 디스플레이 모듈로 전송할 수 있다. 예를 들어, 복수의 디스플레이 모듈이 데이지 체인(daisy chain) 통신 방식으로 연결된 경우 해당 통신 방식으로 각 영상 영역에 대응되는 영상을 전송할 수 있다.

특히, 프로세서(130)는 4K, 8K 와 같은 고해상도 영상이 입력된 경우, 필요에 따라 입력 영상을 다운 스케일링하여 출력 영상을 획득할 수 있다. 예를 들어, 프로세서(130)는 입력 영상의 해상도가 디스플레이(110)의 해상도보다 높은 경우 입력 영상을 다운 스케일링할 수 있다. 일 예에 따라 입력 영상에 대한 다운 스케일링 전에 다양한 전처리가 수행될 수 있으나, 이하에서는 설명의 편의를 위하여 입력 영상과 전처리된 영상을 구분하지 않고, 입력 영상이라고 명명하도록 한다. 일 예에 따라 영상 처리를 수행하는 프로세서 및 출력 영상의 디스플레이를 제어하는 프로세서는 별개의 프로세서로 구현될 수 있다. 다만, 별개의 프로세서로 구현되더라도 반드시 별도의 칩으로 구현되는 것은 아니며 원 칩으로 구현될 수 있음은 물론이다.

한편, 이하에서는 설명의 편의를 위하여 입력 영상에서 복수의 영상 영역을 식별하고, 복수의 영상 영역에 상이한 저주파 필터를 적용하여 입력 영상을 다운 스케일링하는 것으로 설명하도록 한다. 하지만, 구현 예에 따라 영상 영역 식별 및 다운 스케일링은 병렬적으로 수행되거나, 어느 하나가 다른 하나에 먼저 수행될 수 있음은 물론이다. 여기서, 영상 영역은 영상의 한 부분을 지칭하는 용어로써 적어도 하나의 픽셀 블록 또는 픽셀 블록들의 집합을 의미할 수 있다. 또한, 픽셀 블록(pixel block)은 적어도 하나의 픽셀을 포함하는 인접한 픽셀들의 집합을 의미할 수 있다.

본 개시의 일 실시 예에 따르면, 프로세서(130)는 입력 영상에 패턴 검출을 위한 필터(이하 패턴 필터라 함)를 적용하여 입력 영상을 복수의 영역으로 식별할 수 있다. 여기서, 식별된 복수의 영역은 패턴을 포함하는 영역(또는 패턴 포함 확률이 높은 영역) 및 패턴을 포함하지 않는 영역(또는 패턴 포함 확률이 낮은 영역)으로 구분될 수 있다. 여기서, 패턴이란 반복되는 형상의 규칙성 또는 무늬를 의미하며, 예를 들어, 스트라이프 패턴, 체크 패턴, 도트 패턴 등이 이에 해당될 수 있다.

이어서, 프로세서(130)는 식별된 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링된 영상을 획득할 수 있다. 여기서, 제2 저주파 필터의 컷오프 주파수는 제1 저주파 필터의 컷오프 주파수보다 높을 수 있다. 또한, 제1 저주파 필터의 컷오프 주파수 또는 제2 저주파 필터의 컷오프 주파수 중 적어도 하나는 입력 영상에 대한 다운 스케일링 비율에 기초하여 결정될 수 있다. 예를 들어, 입력 영상을 1/n 비율로 다운 스케일링하는 경우 제1 저주파 필터의 컷오프 주파수 또는 제2 저주파 필터의 컷오프 주파수를 전체 주파수 대역의 1/n에 대응되는 주파수로 결정할 수 있다. 여기서, 컷오프 주파수는 신호 처리 필터에서 통과되어야 하는 부분의 주파수 대역과 차단되거나 감쇠가 필요한 주파수 대역의 경계 기준이 되는 주파수를 의미하는 것으로, 저주파 필터는 컷오프 주파수 미만(또는 이하)의 주파수는 통과시키고 컷오프 주파수 이상(또는 초과)의 주파수를 제거할 수 있다.

입력 영상에 저주파 필터를 적용한다 함은, 입력 영상에 저주파 필터를 컨벌루션하는 것을 의미할 수 있다. 컨벌루션은 가중치를 갖는 필터를 이용한 영상 처리 기법으로, 입력 영상의 픽셀 값과 필터에 포함된 대응되는 가중치(또는 계수)를 각각 곱한 후 그 합을 획득하는 기법을 의미한다. 여기서, 필터를 마스크, 윈도우 또는 커널 이라고도 한다. 즉, 라플라시안 필터에 포함된 수치들이 가중치(대응되는 픽셀들을 얼마나 이용할 것인지를 나타내는 수치)가 될 수 있다. 다운 스케일링 방식으로는 subsampling, bilateral interpolation, bicubic interpolation 을 포함한 다양한 종래의 방식이 이용될 수 있다.

일 예에 따라 프로세서(130)는 입력 영상에 패턴 필터를 적용하여 입력 영상을 패턴 포함 확률이 임계치 이상인 영역 및 패턴 포함 확률이 임계치 미만인 영역을 포함하는 복수의 영역으로 식별할 수 있다.

일 예에 따라 패턴 필터는 복수의 타입 패턴 각각을 검출하기 위한 복수의 패턴 필터를 포함할 수 있다. 예를 들어, 패턴 필터는 제1 타입 패턴의 검출을 위한 제1 패턴 필터 및 제2 타입 패턴의 검출을 위한 제2 패턴 필터를 포함할 수 있다. 여기서, 패턴 타입은 패턴 주기를 기준으로 구분될 수 있다. 여기서, 패턴 주기는 몇 픽셀 간격으로 패턴이 반복되는지를 의미할 수 있다. 예를 들어, 제2 타입 패턴에 대응되는 패턴 주기는 제1 타입 패턴에 대응되는 패턴 주기보다 클 수 있다. 일 예로, 스트라이프 패턴의 경우 패턴에 포함된 패턴 라인의 두께(또는 폭)을 기준으로 구분될 수 있다. 예를 들어, 제2 타입 패턴에 포함된 패턴 라인의 두께(또는 폭)는 제1 타입 패턴에 포함된 패턴 라인의 두께보다 클 수 있다. 다만, 이에 한정되는 것은 아니며, 패턴 타입은 패턴 방향, 패턴 크기, 패턴 형상 등을 기준으로 구분되는 것도 가능하다.

구체적으로, 프로세서(130)는 입력 영상에 제1 패턴 필터를 적용하여 획득된 제1 출력 값 및 입력 영상에 제2 패턴 필터를 적용하여 획득된 제2 출력 값에 기초하여 입력 영상을 복수의 영역으로 식별할 수 있다.

일 예에 따라, 프로세서(130)는 제1 출력 값 및 제2 출력 값을 합산한 값에 기초하여 입력 영상을 패턴 포함 확률이 임계치 이상인 제1 영역 및 패턴 포함 확률이 임계치 미만인 제2 영역으로 식별할 수 있다. 이 경우, 제1 출력 값 및 제2 출력 값을 합산한 값은 입력 영상에 제1 패턴 또는 제2 패턴 중 적어도 하나가 포함된 경우 높은 값을 가질 수 있다. 예를 들어, 노멀라이징을 통해 합산 값이 0에서 1 사이의 값으로 나타내어지는 경우 입력 영상에 제1 패턴 또는 제2 패턴 중 적어도 하나가 포함된 경우 1에 가까운 값을 가지게 된다.

이 경우, 프로세서(130)는 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 영상을 다운 스케일링할 수 있다. 즉, 패턴 포함 확률이 높은 제1 영역에는 낮은 cut-off 주파수를 가지는 제1 주파수 필터를 적용하고, 패턴 포함 확률이 낮은 제2 영역에는 높은 cut-off 주파수를 가지는 제2 주파수 필터를 적용할 수 있다. 이에 따라 패턴 영역의 aliasing을 방지하면서 나머지 영역이 블러되는 것을 방지할 수 있게 된다.

다른 예에 따라 프로세서(130)는 제1 출력 값 및 제2 출력 값에 기초하여 입력 영상을 제1 타입 패턴의 포함 확률이 임계치 이상인 제3 영역, 제2 타입 패턴의 포함 확률이 임계치 이상인 제4 영역 및 패턴 포함 확률이 임계치 미만인 제5 영역으로 식별할 수 있다.

이 경우, 프로세서(130)는 제3 영역에 제1 저주파 필터를 적용하고 제5 영역에 제2 저주파 필터를 적용하고 제4 영역에 제3 저주파 필터를 적용하여 영상을 다운 스케일링할 수 있다. 여기서, 제3 저주파 필터의 컷오프 주파수는 제1 저주파 필터의 컷오프 주파수보다 높고 제2 저주파 필터의 컷오프 주파수보다 낮을 수 있다. 즉, 제1 타입 패턴 포함 확률이 높은 제3 영역에는 낮은 cut-off 주파수를 가지는 제1 주파수 필터를 적용하고, 제2 타입 패턴 포함 확률이 높은 제4 영역에는 제1 주파수 필터보다는 높지만 제2 주파수 필터보다는 낮은 cut-off 주파수를 가지는 제3 주파수 필터를 적용하고, 패턴 포함 확률이 낮은 제5 영역에는 높은 cut-off 주파수를 가지는 제2 주파수 필터를 적용할 수 있다. 이에 따라 각 패턴 영역의 특성에 맞는 저주파 필터를 적용하여 패턴 영역의 aliasing을 방지하면서 나머지 영역이 블러되는 것을 방지할 수 있게 된다.

한편, 상술한 실시 예에서는 설명의 편의를 위하여 영역을 구분하고 구분된 각 영역에 대응되는 저주파 필터를 적용하여 입력 영상을 다운 스케일링하는 것으로 설명하였으나, 실시 예에 따라 입력 영상을 복수의 저주파 필터 각각에 기초하여 필터링한 후 필터링된 복수의 영상에 대응되는 가중치를 적용한 후 가중치가 적용된 복수의 영상에 포함된 대응되는 픽셀 값을 더하여 다운 스케일링된 영상을 획득하는 것도 가능하다. 이 경우, 영역을 구분하여 구분된 각 영역에 대응되는 저주파 필터를 적용하여 영상 처리하는 것과 동일한 효과가 발생될 수 있다.

구체적으로, 프로세서(130)는 입력 영상에 제1 저주파 필터를 적용하여 다운 스케일링된 제1 영상을 획득하고, 입력 영상에 제2 저주파 필터를 적용하여 다운 스케일링된 제2 영상을 획득할 수 있다. 또한, 프로세서(130)는 입력 영상에 패턴 검출을 위한 필터를 적용하여 복수의 영역을 식별하기 위한 제1 가중치를 획득하고, 다운 스케일링된 제1 영상에 획득된 제1 가중치를 적용하고, 다운 스케일링된 제2 영상에 제1 가중치에 기초하여 획득된 제2 가중치를 적용하여 다운 스케일링된 영상을 획득할 수 있다. 특히, 프로세서(130)는 제1 가중치가 적용된 제1 영상 및 제2 가중치가 적용된 제2 영상의 대응되는 픽셀 값을 합산하여 다운 스케일링된 영상을 획득할 수 있다. 여기서, 제2 가중치는 제1 가중치가 0에서 1사이의 값을 가질 때 "1 - 가중치"로서 획득될 수 있다.

이 경우, 프로세서(130)는 입력 영상에 복수의 타입 패턴 검출을 위한 복수의 필터를 적용하여 복수의 출력 값을 획득하고, 복수의 출력 값을 합산한 후 노멀라이징하여 제1 가중치를 획득할 수 있다. 이에 따라 입력 영상에 포함된 패턴의 타입과 관계없이 패턴 포함 여부를 식별할 수 있게 된다.

도 7a 및 도 7b는 일 실시 예에 따라 저주파 필터를 적용하여 영상을 다운 스케일링하는 방법을 설명하기 위한 도면들이다.

도 7a는 저주파 필터 적용 방법을 이차원적으로 도시한 것이며, 도 7b는 1차원 신호 및 수식을 이용하여 나타낸 것이다.

도 7a 및 도 7b에 도시된 바와 같이 프로세서(130)는 입력 영상(10)의 픽셀 영역(11)에 상이한 저주파 필터, 예를 들어 제1 저주파 필터(711) 및 제2 저주파 필터(712)를 각각 적용하여 제1 출력 값 및 제2 출력 값을 획득할 수 있다. 여기서, 제1 저주파 필터(711) 및 제2 저주파 필터(712)는 상이한 필터 계수를 가지며 특히, cut-off 주파수가 상이한 필터일 수 있다.

또한, 프로세서(130)는 패턴 검출 모듈(730)을 통해 해당 픽셀 영역(11)에 패턴 필터를 적용하여 제3 출력 값을 획득할 수 있다. 여기서, 제3 출력 값은 해당 픽셀 영역(11)이 패턴을 포함할 확률을 나타내는 가중치(w)가 될 수 있고 가중치는 노멀라이징을 통해 0≤w<1 값을 가질 수 있다.

이어서, 전자 장치(100)는 제1 저주파 필터(711)를 적용하여 획득된 출력 픽셀 값(O_A)에 가중치 w를 곱하고, 제2 저주파 필터(711)를 적용하여 획득된 출력 픽셀 값(O_B)에 1-w를 곱하여 출력 픽셀 값(740)을 획득할 수 있다. 즉, 프로세서(130)는 두 저주파 필터(711, 712)의 출력 픽셀 값(O_A, O_B)에 대해서 패턴 검출 모듈(730)을 통해 획득된 패턴 강도를 가중치로 이용한 가중치 합으로 출력 영상의 픽셀 값을 획득할 수 있다. 이를 수학식으로 표현하면 하기 수학식 3과 같이 나타내어질 수 있다.

여기서, O_A와 O_B는 각각 제1 저주파 필터(711) 및 제2 저주파 필터(712)를 적용하여 획득된 픽셀 값이다. 제1 저주파 필터(711)의 cut-off 주파수는 F_A고 제2 저주파 필터(712)의 cut-off 주파수는 F_B이다. F_A와 F_B는 앞서 설명한 cut-off 주파수 Rπ에 가까운 값을 갖되, F_A는 F_B보다 작다(F_A<F_B). 따라서, O_A는 O_B보다 흐릿한 영상일 수 있다.

일 실시 예에 따르면 수학식 3과 같이 O_A및 O_B의 가중치 합으로 출력 영상을 생성할 수 있다. 여기서 가중치 w는 패턴 검출 모듈(730)에서 산출된 0과 1의 사이의 값이며, 영상의 각 픽셀마다 다른 값을 가질 수 있다.

도 8은 일 실시 예에 따른 패턴 검출 모듈의 동작을 설명하기 위한 도면이다.

일 실시 예에 따른 패턴 검출 모듈(730)은 적어도 하나의 소프트웨어 또는 하드웨어 또는 이들의 조합으로 구현 가능하다. 패턴 검출 모듈(730)은 복수의 패턴 필터(731) 및 정규화 모듈(732)을 포함할 수 있다. 여기서, 복수의 패턴 필터는 서로 다른 타입의 패턴을 검출하기 위한 필터들을 포함할 수 있다. 서로 다른 타입의 패턴이란 패턴 주기가 상이한 것을 의미할 수 있다. 다만, 이에 한정되는 것은 아니며, 패턴의 방향, 길이 등이 상이한 경우도 포함될 수 있다.

정규화 모듈(732)은 복수의 패턴 필터(731)의 출력 값을 합산한 값을 노멀라이징하여 출력할 수 있다. 일 예에 따라 출력 픽셀이 패턴 영역이라 판단한 경우에 w가 1에 가깝도록 출력되며, 그렇지 않을 경우에는 0에 가깝도록 출력될 수 있다.

프로세서(130)는 패턴 검출 모듈(730)로부터 출력되는 w 값을 제1 저주파 필터(711)를 적용하여 획득된 제1 영상 즉, 제1 픽셀 값(O_A)에 적용하고, 1-w 값을 제2 저주파 필터(712)를 적용하여 획득된 제2 영상 즉, 제2 픽셀 값(O_B)에 적용하고 가중치가 적용된 영상, 즉 픽셀 값에 기초하여 다운 스케일링된 출력 영상을 획득할 수 있다. 여기서, 제1 저주파 필터(711)는 상대적으로 낮은 cut-off 주파수를 가지고, 제2 저주파 필터(712)는 상대적으로 높은 cut-off 주파수를 가질 수 있다. 결과적으로 각 픽셀에 대해 패턴 영역이라고 판단된 영역에는 낮은 cut-off 주파수를 갖는 제1 저주파 필터(711)가 적용되고, 그렇지 않은 경우에는 높은 cut-off 주파수를 갖는 제2 저주파 필터(712)를 적용될 수 있게 된다.

도 9a 및 도 9b는 다른 실시 예에 따라 저주파 필터를 적용하여 영상을 다운 스케일링하는 방법을 설명하기 위한 도면들이다.

도 7a, 도 7b 및 도 8에서는 패턴 검출 모듈(730)이 각 패턴 필터의 출력 값을 합산하여 패턴 유무 만을 검출하는 것으로 설명하였다. 다만, 다른 실시 예에 따르면, 패턴 유무 뿐 아니라 패턴 타입까지 검출하고 각 패턴 타입에 대해 상이한 저주파 필터를 적용하는 것도 가능하다.

예를 들어, 도 9a에 도시된 바와 같이 패턴 검출 모듈은 입력 영상의 픽셀 영역에 상이한 타입의 패턴을 검출하는 복수의 패턴 타입 필터를 적용하여 픽셀 영역에 포함된 패턴의 타입을 식별할 수 있다. 즉, 각 패턴 타입 필터에 대한 출력 값을 노멀라이징하여 각 패턴 타입에 대응되는 가중치(w1, w2, w3, ..., wn)을 획득할 수 있다.

이 경우, 도 7b에 도시된 바와 같이 두 개의 저주파 필터(711, 712) 만을 적용하는 것이 아니라, 도 9b에 도시된 바와 같이 세 개 이상의 저주파 필터(711, 712, 713, ...)를 적용하여 영상을 다운 스케일링할 수 있다. 예를 들어, 세 개의 저주파 필터를 적용하는 경우 프로세서(130)는 패턴 검출 모듈(730)로부터 출력되는 w1 값을 제1 저주파 필터(711)를 적용하여 획득된 제1 픽셀 값(O_A)에 적용하고, w2 값을 제3 저주파 필터(713)를 적용하여 획득된 제3 픽셀 값(Oc)에 적용하고 w0 값을 제2 저주파 필터(712)를 적용하여 획득된 제2 픽셀 값(O_B)에 적용하여, 픽셀 값들을 가중합 할 수 있다. 여기서, w1, w2, w0의 합은 1이 될 수 있고, w0 = max(0, 1-w1-w2)로 산출될 수 있다. 이에 따라 각 패턴의 타입 별로 대응되는 저주파 필터가 적용되어 다운스케일링된 출력 영상을 획득할 수 있게 된다.

도 10a 내지 도 10c, 도 11a 내지 도 11c는 다양한 실시 예에 따른 패턴 필터의 구성을 설명하기 위한 도면들이다.

도 10a 내지 도 10c는 1차원 패턴 필터를 도시한 것이며, 도 11a 내지 도 11c는 2차원 패턴 필터를 도시한 것이다. 도 10a 내지 도 10c, 도 11a 내지 도 11c에 도시된 패턴 필터의 동작은 저주파 필터의 동작과 동일하지만, 필터의 계수가 저주파 필터와는 달리 반복되는 형태일 수 있다.

다양한 실시 예에 따라 도 10a 내지 도 10c에 도시된 1차원 패턴 필터를 여러 방향으로 적용하여 패턴을 검출하거나, 도 11a 내지 도 11c에 도시된 n*n의 형태의 2차원 패턴 필터를 적용하여 두 방향(예를 들어, 가로 방향 및 세로 방향) 패턴을 검출할 수도 있다. 예를 들어, 도 12에 도시된 바와 같이 1차원 필터를 가로, 세로 및 대각선 방향으로 적용하여 출력 값 v1, v2, v3를 획득하고, 획득된 출력 값들을 더하여 최종 확률 값 v을 획득할 수 있다.

도 10a에 도시된 바와 같이 1차 패턴 필터 (1^st-order pattern filter)는 1과 -1이 주기적으로 반복되는 형태로, 패턴 주기가 1 픽셀인 패턴 영역을 검출하기 위한 필터이다. 도 10b에 도시된 바와 같이 2차 패턴 필터 (2^nd-order pattern filter)는 패턴 주기가 2 픽셀인 패턴 영역을 검출하기 위한 필터이다. 동일한 원리로 도 10c에 도시된 바와 같이 3차 필터 혹은 그 이상의 N차 필터까지 다수의 패턴 필터를 정의될 수 있다.

패턴 필터의 출력은 입력 영상의 픽셀 구성이 패턴 필터와 비슷한 형태를 띨 경우에 높은 값을 그렇지 않을 경우에는 낮은 값을 가질 수 있다. 따라서 상이한 타입의 패턴을 검출하는 복수의 패턴 필터를 이용함으로서 다양한 타입의 패턴 영역을 동시에 검출할 수 있다.

정규화(normalization) 모듈(732)은 복수의 패턴 필터의 출력 값을 합한 후, 이를 입력 픽셀의 분산(variance) 등을 이용하여 0과 1사이의 값으로 변경하는 기능을 한다. 그 과정에서 도 13과 같은 선형 함수가 이용될 수 있다.

도 14a 내지 도 14d는 일 실시 예에 따른 패턴 검출 결과를 설명하기 위한 도면들이다.

도 14a는 입력 영상의 일 예를 도시한 것으로 입력 영상은 도시된 바와 같이 검은색 바탕에 1 픽셀, 2 픽셀 그리고 3 픽셀 주기의 패턴을 갖고 있는 영상일 수 있다.

도 14b는 상측부터 차례대로 도 14a에 도시된 입력 영상에 1차 패턴 필터, 2차 패턴 필터 및 3차 패턴 필터를 각각 적용한 패턴 검출 결과를 나타낸다.

도 14b에 도시된 바와 같이 1차 패턴 필터를 적용한 결과는 1 픽셀 주기의 패턴이 있는 영역에서 높은 값을 갖는 것을 확인할 수 있다. 마찬가지로 2차 패턴 필터 및 3차 패턴 필터를 적용한 결과는 각각 2 픽셀 주기의 패턴 및 3 픽셀 주기의 패턴이 있는 영역에서 높은 값을 갖는 것을 확인할 수 있다.

도 14c는 최종 패턴 검출 결과를 나타내는 것으로, 입력 영상에 있는 모든 패턴 영역에 대해서 높은 값을 갖는 것을 확인할 수 있다.

도 14d는 도 5a에 도시된 입력 영상에 대한 패턴 검출 결과를 나타낸다. 도 14d에 도시된 바와 같이 패턴 검출 결과는 입력 영상에서 패턴이 있는 지붕 영역에서 주로 높은 값을 갖고 그 외의 영역에서는 작은 값을 갖는 것을 확인할 수 있다.

이 후, 프로세서(130)는 상술한 실시 예에 따라 획득된 다운 스케일링된 영상을 디스플레이하도록 디스플레이(110)를 제어할 수 있다.

한편, 본 개시의 다른 실시 예에 따르면, 전자 장치(100)는 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망) 즉, 학습 네트워크 모델을 이용하여 패턴 영역에 대응되는 가중치를 획득할 수도 있다. 학습 네트워크 모델은 입력 영상에 대해 연속적인 합성 곱 연산을 통하여 사용자가 원하는 출력 데이터를 얻을 수 있도록 설계되고, 수 많은 영상을 학습하는 시스템 형태로 구현될 수 있다. 예를 들어, 학습 네트워크 모델은 영상이 입력되면, 패턴 포함 여부와 관련된 가중치를 출력하도록 학습될 수 있다. 다른 예로, 학습 네트워크 모델은 영상이 입력되면, 패턴 타입 별 포함 여부와 관련된 가중치를 출력하도록 학습될 수 있다. 예를 들어, 학습 네트워크 모델은 CNN(Convolutuional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short Term Memory Network), GRU(Gated Recurrent Units) 또는 GAN(Generative Adversarial Networks) 중 적어도 하나의 DNN(Deep Neural Network) 모델로 구현될 수 있다.

상술한 실시 예에서는 본 개시의 일 실시 예에 따른 스케일링 처리에 대해서만 설명하였지만, 디코딩, 인핸스 처리(예를 들어, 잡음 제거 처리, 샤프닝(sharpening), 텍스처 처리) 등 다른 영상 처리가 추가적으로 수행될 수 있음은 물론이다. 또한, 구현 예에 따라 본 개시의 일 실시 예에 따른 스케일링 처리 외에 추가적인 스케일링 처리가 수행될 수도 있다.

도 15a 내지 도 15c는 일 실시 예에 따른 효과를 설명하기 위한 도면들이다.

도 15a는 도 5a에 도시된 바와 같은 입력 영상을 'Ground truth' 방법으로 1/3배 다운 스케일링한 영상이다. 여기서, 'Ground truth' 방법은 저주파 필터를 이용하되 필터의 크기를 충분히 크게 한 방법이다. 'Ground truth' 결과를 보면 지붕 영역에서 aliasing이 발생되지 않고 다른 영역의 디테일도 손실되지 않은 것을 확인할 수 있다.

도 15b는 도 5a에 도시된 바와 같은 입력 영상을 패턴 영역을 검출하지 않고 크기가 작은 저주파 필터를 이용하여 1/3배 다운 스케일링한 영상이다.

도 15c는 도 5a에 도시된 바와 같은 입력 영상을 본 개시에 따라 패턴 영역을 검출하고 그 결과에 따라 크기가 작은 저주파 필터를 이용하여 1/3배 다운 스케일링한 영상이다. 도 15b에서는 크기가 작은 저주파 필터를 이용함에 따라 옥상 부분에서 aliasing이 발생하였지만, 도 15c와 같이 본 개시를 적용하는 경우 크기가 작은 저주파 필터를 이용하였더라도 옥상 부분의 aliasing은 나타나지 않으며 다른 부분에 대한 디테일 또한 손상되지 않았음을 확인할 수 있다.

즉, 본 개시에 따르면 크기가 작은 저주파 필터를 이용하더라도 패턴 영역에 대한 aliasing 없이 영상을 다운 스케일링할 수 있다. 구체적으로, 패턴 영역을 검출하고 패턴 영역에 대해서는 낮은 주파수 대역을 통과하고 일반 영역은 높은 주파수 대역을 통과함으로써, 패턴 영역의 aliasing을 방지함과 동시에 일반 영역의 선명도는 높게 유지할 수 있게 된다.

도 16은 본 개시의 다른 실시 예에 따른 전자 장치의 일 구현 예를 나타내는 도면이다.

도 16에 따르면, 전자 장치(100')는 디스플레이(110), 메모리(120), 프로세서(130), 입력부(140), 출력부(150) 및 사용자 인터페이스(160)를 포함한다. 도 10에 도시된 구성 중 도 6에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

일 실시 예에 따르면, 메모리(120)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(120)는 제1 내지 제3 메모리를 포함하도록 구현될 수 있다.

제1 메모리는 입력부(110)를 통해 입력된 영상 중 적어도 일부를 저장할 수 있다. 특히, 제1 메모리는 입력된 영상 프레임 중 적어도 일부 영역을 저장할 수 있다. 이 경우 적어도 일부 영역은 일 실시 예에 따른 영상 처리를 수행하기에 필요한 영역이 될 수 있다. 일 실시 예에 따라, 제1 메모리는 N 라인 메모리로 구현될 수 있다. 예를 들어, N 라인 메모리는 세로 방향으로 17 라인 상당의 용량을 가지는 메모리가 될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 1080p(1,920×1,080의 해상도)의 Full HD 영상이 입력되는 경우 Full HD 영상에서 17 라인의 영상 영역 만이 제1 메모리에 저장된다. 이와 같이 제1 메모리는 N 라인 메모리로 구현되고, 입력된 영상 프레임 중 일부 영역 만이 영상 처리를 위해 저장되는 이유는 하드웨어적 한계에 따라 제1 메모리의 메모리 용량이 제한적이기 때문이다.

제2 메모리는 저주파 필터 정보 또는 패턴 필터 정보 중 적어도 하나를 저장하기 위한 메모리로, 다양한 실시 예에 따라 다양한 사이즈의 메모리로 구현될 수 있다.

제3 메모리는 저주파 필터를 적용하여 다운 스케일링된 출력 영상이 저장되는 메모리로, 다양한 실시 예에 따라 다양한 사이즈의 메모리로 구현될 수 있다. 제3 메모리는 입력 영상의 크기와 같거나 큰 사이즈로 구현될 수 있다. 다른 실시 예에 따라 제1 메모리의 사이즈에 대응되는 영상 단위로 영상을 출력하거나, 픽셀 라인 단위로 출력하는 등의 경우에는 해당 영상 저장을 위한 적절한 사이즈로 구현될 수도 있다. 다만, 제1 메모리 또는 제2 메모리에 출력 영상이 오버라이트되거나, 출력 영상이 저장되지 않고 바로 디스플레이되는 형태로 구현되는 경우 등에는, 제3 메모리는 필요하지 않을 수 있다.

입력부(140)는 다양한 타입의 컨텐츠를 입력받는다. 예를 들어 입력부(140)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 SD(Standard Definition), HD(High Definition), Full HD 또는 Ultra HD 영상 중 어느 하나의 디지털 영상 신호가 될 수 있으나 이에 한정되는 것은 아니다.

출력부(150)는 음향 신호를 출력한다. 예를 들어, 출력부(150)는 프로세서(130)에서 처리된 디지털 음향 신호를 아날로그 음향 신호로 변환하고 증폭하여 출력할 수 있다. 예를 들어, 출력부(150)는 적어도 하나의 채널을 출력할 수 있는, 적어도 하나의 스피커 유닛, D/A 컨버터, 오디오 앰프(audio amplifier) 등을 포함할 수 있다. 일 예에 따라 출력부(150)는 다양한 멀티 채널 음향 신호를 출력하도록 구현될 수 있다. 이 경우, 프로세서(130)는 입력 영상의 인핸스 처리에 대응되도록 입력된 음향 신호를 인핸스 처리하여 출력하도록 출력부(150)를 제어할 수 있다. 예를 들어, 프로세서(130)는 입력된 2채널 음향 신호를 가상의 멀티 채널(예를 들어, 5.1 채널) 음향 신호로 변환하거나, 전자 장치(100')가 놓인 위치를 인식해 공간에 최적화된 입체 음향 신호로 처리하거나, 입력 영상의 타입(예를 들어 컨텐츠 장르)에 따라 최적화된 음향 신호를 제공할 수 있다.

사용자 인터페이스(160)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린, 리모콘 송수신부 등으로 구현될 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 와이파이 통신 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.

전자 장치 (100')는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다. 튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다. 복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다. 일 실시 예에 따라 튜너를 통해 수신된 입력 영상은 복조부(미도시)를 통해 처리된 후, 본 개시의 일 실시 예에 따른 섀도우 처리를 위해 프로세서(130)로 제공될 수 있다.

도 17은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

도 17에 도시된 영상 처리 방법에 따르면, 입력 영상에 패턴 검출을 위한 필터를 적용하여 입력 영상을 복수의 영역으로 식별한다(S1710).

이어서, 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행한다(S1720). 여기서, 제2 저주파 필터의 컷오프 주파수는 제1 저주파 필터의 컷오프 주파수보다 높을 수 있다. 또한, 제1 저주파 필터의 컷오프 주파수 또는 제2 저주파 필터의 컷오프 주파수 중 적어도 하나는, 입력 영상에 대한 다운 스케일링 비율에 기초하여 결정될 수 있다.

여기서, 패턴 검출을 위한 필터는, 제1 타입 패턴의 검출을 위한 제1 패턴 필터 및 제2 타입 패턴의 검출을 위한 제2 패턴 필터를 포함할 수 있다. 이 경우, S1710 단계는, 입력 영상에 제1 패턴 필터를 적용하여 획득된 제1 출력 값 및 입력 영상에 제2 패턴 필터를 적용하여 획득된 제2 출력 값에 기초하여 입력 영상을 복수의 영역으로 식별할 수 있다. 여기서, 제2 타입 패턴에 대응되는 패턴 주기는 제1 타입 패턴에 대응되는 패턴 주기보다 클 수 있다.

또한, S1710 단계는, 제1 출력 값 및 제2 출력 값을 합산한 값에 기초하여 입력 영상을 패턴 포함 확률이 임계치 이상인 제1 영역 및 패턴 포함 확률이 임계치 미만인 제2 영역으로 식별할 수 있다.

또한, S1710 단계는, 제1 출력 값 및 제2 출력 값에 기초하여 입력 영상을 제1 타입 패턴의 포함 확률이 임계치 이상인 제3 영역, 제2 타입 패턴의 포함 확률이 임계치 이상인 제4 영역 및 패턴 포함 확률이 임계치 미만인 제5 영역으로 식별하고, 제3 영역에 제1 저주파 필터를 적용하고 제5 영역에 제2 저주파 필터를 적용하고 제4 영역에 제3 저주파 필터를 적용할 수 있다. 여기서, 제3 저주파 필터의 컷오프 주파수는 제1 저주파 필터의 컷오프 주파수보다 높고 제2 저주파 필터의 컷오프 주파수보다 낮을 수 있다.

또한, S1720 단계는, 입력 영상에 제1 저주파 필터를 적용하여 다운 스케일링된 제1 영상을 획득하고 입력 영상에 제2 저주파 필터를 적용하여 다운 스케일링된 제2 영상을 획득하는 단계, 입력 영상에 패턴 검출을 위한 필터를 적용하여 복수의 영역을 식별하기 위한 가중치를 획득하는 단계 및, 다운 스케일링된 제1 영상에 획득된 가중치를 적용하고, 다운 스케일링된 제2 영상에 획득된 가중치에 기초하여 획득된 다른 가중치를 적용하여 다운 스케일링된 영상을 획득하는 단계를 포함할 수 있다.

또한, 가중치를 획득하는 단계는, 입력 영상에 복수의 타입 패턴 검출을 위한 복수의 필터를 적용하여 복수의 출력 값을 획득하고, 복수의 출력 값을 합산한 후 노멀라이징하여 가중치를 획득할 수 있다.

상술한 다양한 실시 예들에 따르면, 입력 영상에서 영역 별로 패턴 유무를 검출하여 상이한 저주파 필터를 사용하여 영상을 다운 스케일링할 수 있게 된다. 이에 따라 패턴 영역의 aliasing 을 방지하면서 나머지 영역이 블러되는 것을 방지할 수 있게 된다.

본 개시의 다양한 실시 예들은 전자 장치 뿐 아니라, 셋탑 박스와 같은 영상 수신 장치, TV와 같은 디스플레이 장치 등 영상 처리가 가능한 모든 전자 장치에 적용될 수 있음은 물론이다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들은 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망) 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 전자 장치 110: 디스플레이
120: 메모리 130: 프로세서
140: 입력부 150: 출력부
160: 사용자 인터페이스

Claims

입력 영상이 저장된 메모리; 및
상기 입력 영상에 필터를 적용하여 상기 입력 영상을 복수의 영역으로 식별하고,
상기 복수의 영역 중 제1 영상 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링(downscaling)을 수행하는 프로세서;를 포함하며,
상기 제2 저주파 필터의 컷오프(cut-off) 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높은, 전자 장치.
제1항에 있어서,
상기 필터는,
제1 타입 패턴의 검출을 위한 제1 패턴 필터 및 제2 타입 패턴의 검출을 위한 제2 패턴 필터를 포함하며,
상기 프로세서는,
상기 입력 영상에 상기 제1 패턴 필터를 적용하여 획득된 제1 출력 값 및 상기 입력 영상에 상기 제2 패턴 필터를 적용하여 획득된 제2 출력 값에 기초하여 상기 입력 영상을 복수의 영역으로 식별하는, 전자 장치.
제2항에 있어서,
상기 프로세서는,
상기 제1 출력 값 및 상기 제2 출력 값을 합산한 값에 기초하여 상기 입력 영상을 패턴 포함 확률이 임계치 이상인 상기 제1 영역 및 상기 패턴 포함 확률이 상기 임계치 미만인 상기 제2 영역으로 식별하는, 전자 장치.
제2항에 있어서,
상기 프로세서는,
상기 제1 출력 값 및 상기 제2 출력 값에 기초하여 상기 입력 영상을 상기 제1 타입 패턴의 포함 확률이 임계치 이상인 제3 영역, 상기 제2 타입 패턴의 포함 확률이 상기 임계치 이상인 제4 영역 및 패턴 포함 확률이 상기 임계치 미만인 제5 영역으로 식별하고,
상기 제3 영역에 상기 제1 저주파 필터를 적용하고 상기 제5 영역에 상기 제2 저주파 필터를 적용하고 상기 제4 영역에 제3 임계 주파수 이상의 고주파 성분을 제거하는 제3 저주파 필터를 적용하며,
상기 제3 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높고 상기 제2 저주파 필터의 컷오프 주파수보다 낮은, 전자 장치.
제2항에 있어서,
상기 제2 타입 패턴에 대응되는 패턴의 주기는 상기 제1 타입 패턴에 대응되는 패턴 주기보다 큰, 전자 장치.
제1항에 있어서,
상기 제1 저주파 필터의 컷오프 주파수 또는 상기 제2 저주파 필터의 컷오프 주파수 중 적어도 하나는, 상기 입력 영상에 대한 다운 스케일링 비율에 기초하여 결정되는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 입력 영상에 상기 제1 저주파 필터를 적용하여 다운 스케일링된 제1 영상을 획득하고,
상기 입력 영상에 상기 제2 저주파 필터를 적용하여 다운 스케일링된 제2 영상을 획득하고,
상기 입력 영상에 패턴 검출을 위한 필터를 적용하여 상기 복수의 영역을 식별하기 위한 가중치를 획득하고,
상기 다운 스케일링된 제1 영상에 상기 획득된 가중치를 적용하고 상기 다운 스케일링된 제2 영상에 상기 획득된 가중치에 기초하여 획득된 다른 가중치를 적용하여 상기 다운 스케일링된 영상을 획득하는, 전자 장치.
제7항에 있어서,
상기 프로세서는,
상기 입력 영상에 복수의 타입 패턴 검출을 위한 복수의 필터를 적용하여 복수의 출력 값을 획득하고,
상기 복수의 출력 값을 합산한 후 노멀라이징하여 상기 가중치를 획득하는, 전자 장치.
제7항에 있어서,
상기 획득된 가중치 w는 0 ≤w ≤ 1 값을 가지며,
상기 다른 가중치는 1-w 로 산출되는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 입력 영상에 상기 제1 저주파 필터를 적용하여 다운 스케일링된 제1 영상을 획득하고,
상기 입력 영상에 상기 제2 저주파 필터를 적용하여 다운 스케일링된 제2 영상을 획득하고,
상기 입력 영상에 제3 저주파 필터를 적용하여 다운 스케일링된 제3 영상을 획득하고,
상기 입력 영상에 패턴 검출을 위한 필터를 적용하여 상기 복수의 영역을 식별하기 위한 제1 가중치, 제2 가중치 및 제3 가중치를 획득하고,
상기 다운 스케일링된 제1 영상에 상기 제1 가중치를 적용하고 상기 다운 스케일링된 제2 영상에 상기 제2 가중치를 적용하고 상기 다운 스케일링된 제3 영상에 상기 제3 가중치를 적용하여 상기 다운 스케일링된 영상을 획득하는, 전자 장치.
제10항에 있어서,
상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치의 합은 1인, 전자 장치.
제1항에 있어서,
디스플레이;를 더 포함하며,
상기 프로세서는,
다운 스케일링된 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
제12항에 있어서,
상기 디스플레이는,
복수의 디스플레이 모듈로 구성된, 전자 장치.
전자 장치의 영상 처리 방법에 있어서,
입력 영상에 필터를 적용하여 상기 입력 영상을 복수의 영역으로 식별하는 단계;
상기 복수의 영상 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행하는 단계; 및
다운 스케일링된 영상을 디스플레이하는 단계;를 포함하며,
상기 제2 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높은, 영상 처리 방법.
제14항에 있어서,
상기 필터는,
제1 타입 패턴의 검출을 위한 제1 패턴 필터 및 제2 타입 패턴의 검출을 위한 제2 패턴 필터를 포함하며,
상기 입력 영상을 복수의 영역으로 식별하는 단계는,
상기 입력 영상에 상기 제1 패턴 필터를 적용하여 획득된 제1 출력 값 및 상기 입력 영상에 상기 제2 패턴 필터를 적용하여 획득된 제2 출력 값에 기초하여 상기 입력 영상을 복수의 영역으로 식별하는, 영상 처리 방법.
제15항에 있어서,
상기 입력 영상을 복수의 영역으로 식별하는 단계는,
상기 제1 출력 값 및 상기 제2 출력 값을 합산한 값에 기초하여 상기 입력 영상을 패턴 포함 확률이 임계치 이상인 상기 제1 영역 및 상기 패턴 포함 확률이 상기 임계치 미만인 상기 제2 영역으로 식별하는, 영상 처리 방법.
제15항에 있어서,
상기 입력 영상을 복수의 영역으로 식별하는 단계는,
상기 제1 출력 값 및 상기 제2 출력 값에 기초하여 상기 입력 영상을 상기 제1 타입 패턴의 포함 확률이 임계치 이상인 제4 영역, 상기 제2 타입 패턴의 포함 확률이 상기 임계치 이상인 제4 영역 및 패턴 포함 확률이 상기 임계치 미만인 제5 영역으로 식별하고,
상기 제3 영역에 상기 제1 저주파 필터를 적용하고 상기 제5 영역에 상기 제2 저주파 필터를 적용하고 상기 제4 영역에 제3 저주파 필터를 적용하며,
상기 제3 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높고 상기 제2 저주파 필터의 컷오프 주파수보다 낮은, 영상 처리 방법.
제15항에 있어서,
상기 제2 타입 패턴에 대응되는 패턴 주기는 상기 제1 타입 패턴에 대응되는 패턴 주기보다 큰, 영상 처리 방법.
제14항에 있어서,
상기 제1 저주파 필터의 컷오프 주파수 또는 상기 제2 저주파 필터의 컷오프주파수 중 적어도 하나는,
상기 입력 영상에 대한 다운 스케일링 비율에 기초하여 결정되는, 영상 처리 방법.
전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
상기 동작은,
입력 영상에 필터를 적용하여 상기 입력 영상을 복수의 영역으로 식별하는 단계; 및
상기 복수의 영역 중 제1 영역에 제1 저주파 필터를 적용하고 제2 영역에 제2 저주파 필터를 적용하여 다운 스케일링을 수행하는 단계;를 포함하며,
상기 제2 저주파 필터의 컷오프 주파수는 상기 제1 저주파 필터의 컷오프 주파수보다 높은, 비일시적 컴퓨터 판독 가능 매체.