KR102449250B1 - 영상을 다운스케일링하는 방법 및 장치 - Google Patents

영상을 다운스케일링하는 방법 및 장치 Download PDF

Info

Publication number
KR102449250B1
KR102449250B1 KR1020200013738A KR20200013738A KR102449250B1 KR 102449250 B1 KR102449250 B1 KR 102449250B1 KR 1020200013738 A KR1020200013738 A KR 1020200013738A KR 20200013738 A KR20200013738 A KR 20200013738A KR 102449250 B1 KR102449250 B1 KR 102449250B1
Authority
KR
South Korea
Prior art keywords
pixel
interpolation
pixels
source
downscaling
Prior art date
Application number
KR1020200013738A
Other languages
English (en)
Other versions
KR20210099867A (ko
Inventor
박두복
김동규
이태미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200013738A priority Critical patent/KR102449250B1/ko
Priority to PCT/KR2021/001488 priority patent/WO2021158039A1/ko
Publication of KR20210099867A publication Critical patent/KR20210099867A/ko
Application granted granted Critical
Publication of KR102449250B1 publication Critical patent/KR102449250B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

본 개시는 영상을 다운스케일링하는 방법에 관한 것이다. 본 개시의 실시예에 따르면, 영상을 다운스케일링하는 방법은 영상의 소스 픽셀의 가로 및 세로 방향으로 2차 미분 필터를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하는 단계, 소스 픽셀의 픽셀 값, 윤곽선 정보 및 다운스케일링 배율에 기초하여 복수의 가로 방향 보간 픽셀의 픽셀 값 및 복수의 세로 방향 보간 픽셀의 픽셀 값을 결정하는 단계, 복수의 가로 방향 보간 픽셀의 픽셀 값, 복수의 세로 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 복수의 보간 픽셀의 픽셀 값을 결정하는 단계, 소스 픽셀, 복수의 가로 방향 보간 픽셀, 복수의 세로 방향 보간 픽셀 및 복수의 보간 픽셀에 적응적 필터를 적용하여 중심 보간 픽셀의 픽셀 값을 결정하는 단계 및 영상을 중심 보간 픽셀로 구성된 영상으로 다운스케일링하는 단계를 포함할 수 있다.

Description

영상을 다운스케일링하는 방법 및 장치{METHOD AND APPARATUS FOR DOWNSCALING IMAGE}
본 개시는 영상을 다운스케일링하기 위한 방법 및 장치에 관한 것이다.
디스플레이 장치는 영상을 표시하는 디스플레이 패널을 구비하여 방송신호 또는 다양한 포맷의 영상 신호/영상 데이터에 기초하여 영상을 표시할 수 있는 장치로서, TV 또는 모니터 등으로 구현된다. 최근 기술이 발전함에 따라, 디스플레이 장치 화면의 크기가 다양해지고 디스플레이 장치에서 재생되는 영상의 해상도 또한 다양해지고 있다. 따라서, 비 정수 배율로 영상의 해상도를 변형하여 사용자에게 제공할 필요가 있다. 특히, 원본 영상의 해상도가 현재 디스플레이 장치의 해상도 보다 큰 경우 사용자에게 원본 영상과 동일한 레벨의 선명도를 갖는 영상을 제공하기 위해 영상을 비 정수 배율로 다운스케일링할 필요가 있다.
영상의 비 정수 배율 다운스케일링은 정수 픽셀을 보간(interpolation)하여 서브-픽셀(또는 보간 픽셀)을 생성함으로써 달성될 수 있다. 기존에 비 정수 배율로 영상을 다운스케일링 하는 기술에는 Bilinear, Bicubic, Lanczos 보간 필터링 등이 있지만, 기존 기술은 픽셀을 보간 할 때, 주변 영역의 특징을 반영하지 못하거나 에일리어싱(aliasing) 및 왜곡 등의 문제가 발생한다. 따라서, 주변 영역의 특징을 반영하면서 에일리어싱 및 왜곡 등의 문제 없이 영상을 비 정수 배율로 다운스케일링 하기 위한 요구가 증대되고 있다.
따라서 본 개시의 목적은 윤곽선 정보에 기초하여 원본 영상의 픽셀을 보간하고 원본 영상의 픽셀과 보간 픽셀에 적응적 필터를 적용함으로써 원본 영상과 동일한 레벨의 선명도를 갖는 다운스케일링된 영상을 사용자에게 제공하는 것이다.
상술한 해결하고자 하는 과제를 달성하기 위한 기술적 수단으로서, 영상을 다운스케일링하는 방법은, 상기 영상의 소스 픽셀의 가로 및 세로 방향으로 2차 미분 필터(derivative filter)를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하는 단계, 상기 소스 픽셀의 픽셀 값, 상기 윤곽선 정보 및 다운스케일링 배율에 기초하여 복수의 가로 방향 보간 픽셀의 픽셀 값 및 복수의 세로 방향 보간 픽셀의 픽셀 값을 결정하는 단계, 상기 복수의 가로 방향 보간 픽셀의 픽셀 값, 상기 복수의 세로 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 복수의 보간 픽셀의 픽셀 값을 결정하는 단계, 상기 소스 픽셀, 상기 복수의 가로 방향 보간 픽셀, 상기 복수의 세로 방향 보간 픽셀 및 상기 복수의 보간 픽셀에 적응적 필터를 적용하여 중심 보간 픽셀의 픽셀 값을 결정하는 단계 및 상기 영상을 상기 중심 보간 픽셀로 구성된 영상으로 다운스케일링하는 단계를 포함할 수 있다.
본 개시의 실시예들에 따르면 윤곽선 정보에 기초하여 원본 영상의 픽셀을 보간하고 원본 영상의 픽셀과 보간 픽셀에 적응적 필터를 적용함으로써 원본 영상과 동일한 레벨의 선명도를 갖는 다운스케일링된 영상을 사용자에게 제공할 수 있는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 장치를 나타낸 블록도이다.
도 2는 본 개시의 일 실시예에 따른 2차 미분 필터를 적용하여 소스 픽셀의 윤곽선 정보를 추출하는 예를 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 영상을 다운스케일링하는 과정을 나타낸 흐름도이다.
도 4a는 본 개시의 일 실시예에 따른 보간 픽셀을 생성하는 예를 나타낸 도면이다.
도 4b는 본 개시의 일 실시예에 따른 보간 픽셀이 생성된 예를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 영상을 다운스케일링하는 과정을 나타낸 흐름도이다.
도 6a는 본 개시의 일 실시예에 따른 보간 픽셀을 생성하는 예를 나타낸 도면이다.
도 6b는 본 개시의 일 실시예에 따른 보간 픽셀을 생성하는 예를 나타낸 도면이다.
도 6c는 본 개시의 일 실시예에 따른 보간 픽셀이 생성된 예를 나타낸 도면이다.
이하, 본 개시의 다양한 실시예가 첨부 도면을 참조하여 더 상세히 설명된다. 그러나, 본 개시는 많은 다른 형태로 구현될 수 있으며, 이하의 설명에서 제시되는 임의의 특정 구조 또는 기능에 한정되는 것으로 해석되어서는 안된다. 대조적으로, 이 실시예들은 본 개시의 설명을 상세하고 완전하게 하기 위해 제공된다. 본 개시의 설명에 따르면, 본 개시의 범위는 본 실시 예가 독립적으로 또는 다른 임의의 실시예와 함께 구현되는지 여부에 관계없이 본 명세서에 개시된 본 개시의 임의의 실시예를 포함함이 당업자에게 자명할 것이다. 예를 들어, 본 명세서에 개시된 방법 및 장치는 본 명세서에서 개시된 임의의 실시예를 사용함으로써 실제로 구현될 수 있다. 또한, 본 개시의 임의의 실시예는 첨부된 청구항들에 제시된 하나 이상의 엘리먼트들을 사용하여 구현될 수 있음을 이해해야 한다.
그리고 도면에서 본 개시의 실시예들을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
"예시적인"이라는 단어는 본 명세서에서 "예시 또는 예증으로서 사용된"의 의미로 사용된다. 본 명세서에서 "예시적인"것으로 설명된 임의의 실시예는 반드시 바람직한 것으로서 해석되거나 다른 실시예들보다 이점을 갖는 것으로 해석되어서는 안된다.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시예를 설명한다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 장치(100)를 나타낸 블록도이다. 디스플레이 장치(100)는 윤곽선 정보 추출부(110), 보간부(120) 및 다운스케일링부(130)를 포함할 수 있다.
본 개시에서는 동작의 명확성을 위해 디스플레이 장치(100) 내의 엘리먼트가 각각의 동작을 수행하는 것으로 설명되어 있으나, 윤곽선 정보 추출부(110), 보간부(120) 및 다운스케일링부(130)는 모두 적어도 하나의 프로세서에 의해 구현될 수 있다.
윤곽선 정보 추출부(110)는 입력 영상으로부터 영상의 윤곽선 정보를 추출할 수 있다. 입력 영상은 2차원 격자에 의해 정의될 수 있고, 여기서 격자의 각 요소는 픽셀로 지칭될 수 있다. 또한, 본 개시에서 입력 영상의 픽셀은 소스 픽셀로 지칭될 수도 있다. 따라서, 윤곽선 정보 추출부(110)는 2차원 소스 픽셀의 픽셀 정보로부터 각 소스 픽셀의 윤곽선 정보를 추출할 수 있다.
디지털 영상에서 각 소스 픽셀에 휘도 값이 할당될 수 있다. 따라서, 픽셀 값은 휘도 값일 수 있으며, 예를 들어, 8-비트 영상에서 픽셀 값은 0 내지 255일 수 있고 12-비트 영상에서 픽셀 값은 0 내지 4095 중 하나의 값일 수 있다. 또한, 어두운 픽셀은 낮은 픽셀 값을 갖는 반면, 밝은 픽셀은 높은 픽셀 값을 가질 수 있다.
본 개시에서 윤곽선 정보라 함은 현재 소스 픽셀의 인접 소스 픽셀에 대한 픽셀 값 변화량일 수 있다. 또한, 윤곽선 정보를 추출함에 따라 객체의 라인 또는 경계의 식별이 가능해질 수 있다. 따라서, 윤곽선 정보 추출부(110)는 어두운 영역과 밝은 영역을 구별하기 위해 윤곽선 정보를 추출할 수 있다. 예를 들어, 윤곽선 정보 추출부(110)는 현재 소스 픽셀이 인접 소스 픽셀보다 밝은 경우 양수 값인 윤곽선 정보를 추출할 수 있다. 또한, 현재 소스 픽셀의 밝기 레벨이 증가할수록 추출되는 윤곽선 정보의 값 또한 함께 증가할 수 있다. 윤곽선 정보를 추출하는 방법은 도 2를 통해 상세히 설명된다.
보간부(120)는 적어도 하나의 패치 내에 존재하는 복수의 소스 픽셀을 보간하여 복수의 서브-픽셀(또는 보간 픽셀)을 생성할 수 있다. 본 개시에서 보간이라 함은 소스 픽셀 사이에 새로운 서브-픽셀(또는 보간 픽셀)을 추가하는 과정을 의미할 수 있다. 본 개시의 일 실시예에 따르면 보간부(120)는 소스 픽셀의 픽셀 값, 윤곽선 정보 및 다운스케일링 배율에 기초하여 복수의 가로 방향 보간 픽셀의 픽셀 값 및 복수의 세로 방향 보간 픽셀의 픽셀 값을 결정할 수 있다. 또한, 본 개시의 일 실시예에 따르면 보간부(120)는 복수의 가로 방향 보간 픽셀의 픽셀 값, 상기 복수의 세로 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 복수의 보간 픽셀의 픽셀 값을 결정할 수 있다. 소스 픽셀을 보간하는 방법은 도 3 내지 도 6b를 통해 상세히 설명된다.
다운스케일링부(130)는 영상의 적어도 하나의 패치를 다운스케일링 할 수 있다. 본 개시에서, 다운스케일링은 복수의 픽셀로 구성된 패치를 하나의 픽셀로 구성된 패치로 줄이는 것과 같이, 패치의 크기를 줄이는 동작을 의미할 수 있다. 예를 들어, 다운스케일링부(130)는 소스 픽셀, 복수의 가로 방향 보간 픽셀, 복수의 세로 방향 보간 픽셀 및 복수의 보간 픽셀에 적응적 필터를 적용하여 중심 보간 픽셀의 픽셀 값을 결정함으로써, 영상을 중심 보간 픽셀로 구성된 영상으로 다운스케일링 할 수 있다.
본 개시의 일 실시예에 따르면, 윤곽선 정보 추출부(110), 보간부(120) 및 다운스케일링부(130) 각각은 입력 영상 정보로부터 2차 미분 필터, 다운스케일링 배율 및 적응적 필터에 대한 정보를 획득할 수 있다. 또한, 2차 미분 필터, 다운스케일링 배율 및 적응적 필터에 대한 정보는 메모리(도시되지 않음)에 저장되어 필요한 경우 윤곽선 정보 추출부(110), 보간부(120) 및 다운스케일링부(130)로 전송될 수도 있다. 이 경우, 메모리(미도시)는 디스플레이 장치(100)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable Rom)로 구비될 수 있다. 즉, 메모리는 플래쉬메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다.
다운스케일링부(130)에 의해 영상이 다운스케일링되면 디스플레이 장치(100)는 다운스케일링된 영상을 출력하게 된다.
도 2는 본 개시의 일 실시예에 따른 2차 미분 필터를 적용하여 소스 픽셀의 윤곽선 정보를 추출하는 예를 나타내는 도면이다.
본 개시의 일 실시예에 따르면, 윤곽선 정보 추출부(110)는 입력 영상으로부터 영상의 윤곽선 정보를 추출할 수 있다. 이 경우, 윤곽선 정보 추출부(110)는 가로 방향으로 픽셀 값의 변화가 상당한 경우 가로 방향에 대한 높은 값의 윤곽선 정보를 추출할 수 있다. 이와 유사하게, 윤곽선 정보 추출부(110)는 세로 방향으로 픽셀 값의 변화가 상당한 경우 세로 방향에 대한 높은 값의 윤곽선 정보를 추출할 수 있다. 윤곽선 정보를 추출하는 방법으로는 픽셀 값 분포 함수의 1차 미분(derivative) (즉, 기울기) 또는 2차 미분을 이용하는 것이다. 여기서, 픽셀 분포의 1차 미분 함수를 도출하는 필터는 1차 미분 필터로 지칭되고 픽셀 분포의 2차 미분 함수를 도출하는 필터는 2차 미분 필터로 지칭될 수 있다. 1차 미분 필터를 이용하여 윤곽선 정보를 추출하는 경우, 국소 방향 최대값(local directional maxima)을 찾기위해 1차 미분 필터의 계수를 결정할 수 있다. 이 경우, 1차 미분 필터로부터 얻어진 윤곽선 정보는 윤곽선 정보가 추출된 픽셀의 위치 및 윤곽선 정보의 방향성 (또는 엣지의 각도라고도 함) 둘 다를 포함할 수 있다. 그러나, 윤곽선 정보를 추출함에 있어 1차 미분 필터에 의존하는 것은 몇 가지 문제점이 있다. 구체적으로, 1차 미분 필터를 이용함으로 인해 객체의 윤곽선이 넓어지는 경향이 있다. 넓은 윤곽선은 후속 소프트웨어에서의 복잡도를 증가시키고, 영상 내의 객체를 식별하려고 시도할 때 픽셀을 검출하기 위한 연산량을 증가시키게 된다. 따라서, 본 개시에서는 2차 미분 필터를 이용하여 윤곽선 정보를 추출하고 추출된 윤곽선 정보에 기초하여 영상을 다운스케일링하는 과정을 설명하도록 한다.
본 개시의 일 실시예에 따르면, 윤곽선 정보를 추출하기 위해 영상의 픽셀 값 분포 함수에 대해 2차 미분 필터를 적용할 수 있다. 또한, 1차 미분 함수를 다시 미분함으로써 2차 미분 함수와 동일한 결과가 도출되므로 1차 미분 필터를 2회 적용함으로써 2차 미분 필터와 동일한 효과를 얻을 수도 있다.
픽셀에 2차 미분 필터를 적용함으로써 가로 방향으로 픽셀 값의 천이(영 교차)에 대한 2차 미분 분포 함수를 도출할 수 있고, 이로 인해, 픽셀의 가로 방향 (또는 x-축 방향)에 대한 윤곽선 정보를 추출할 수 있다. 다음으로, 픽셀에 2차 미분 필터를 적용함으로써 세로 방향으로 픽셀 값의 천이(영 교차)에 대한 2차 미분 분포 함수를 도출하여 세로 방향 (또는 y-축 방향)에 대한 윤곽선 정보를, 대각선 방향으로 픽셀 값의 천이(영 교차)에 대한 2차 미분 분포 함수를 도출하여 대각선 방향에 대한 윤곽선 정보를 추출할 수 있다. 본 개시에서는 가로 방향에 대해 윤곽선 정보를 추출한 이후 세로 방향 및 대각선 방향에 대해 윤곽선 정보를 추출하는 것으로 개시하였으나 이에 제한적인 것은 아니다. 즉, 윤곽선 정보를 추출하는 방향의 선후는 정해진 것이 아니며 병렬적으로 수행될 수도 있다.
디지털 영상에서는 데이터가 일정 간격으로 흩어져 나열되어 있으므로 수학적 의미의 미분 연산은 할 수 없게 된다. 이 때문에 영상 처리에 용이하도록 커널(kernel) 혹은 마스크라고 하는 행렬을 이용하여 인접 픽셀끼리의 차를 취하는 연산을 수행하고, 이로 인해 미분 연산에 근사화한 동작이 수행될 수 있다.
본 개시의 2차 미분 필터는 커널(210, 230)을 이용하여 소스 픽셀의 윤곽선 정보를 추출할 수 있다. 이 때, 윤곽선 정보를 추출할 현재 소스 픽셀과 현재 소스 픽셀에 인접한 소스 픽셀에 커널(210, 230)이 이용될 수 있다. 여기서, 현재 소스 픽셀에는 커널(210, 230)의 중심 값(220, 240)이 반영될 수 있다. 커널(210)을 이용하여 현재 픽셀의 세로 방향에 대한 윤곽선 정보를 추출하는 일 예시는 다음과 같다:
Figure 112020012123364-pat00001
Figure 112020012123364-pat00002
Figure 112020012123364-pat00003
위 행렬간의 계산을 통해 결정된 행렬식 내의 모든 값의 합은 510이 된다. 따라서, 2차 미분 필터는 현재 소스 픽셀의 윤곽선 정보가 510임을 결정할 수 있다. 이 경우, 윤곽선 정보가 양수라는 것은 현재 소스 픽셀이 세로 방향으로 보면 인접 소스 픽셀 보다 높은 레벨의 픽셀 값을 가짐을 의미하며 510이라는 값은 다른 값(예를 들어, 255)과 대응하는 윤곽선 정보를 갖는 소스 픽셀보다 상대적으로 현재 소스 픽셀의 픽셀 값 변화량이 크다는 것을 의미할 수 있다.
본 개시에서는 커널(210)을 이용하여 세로 방향의 윤곽선 정보를 추출 하는 것으로 설명하였으나 이에 제한적인 것은 아니다. 따라서, 세로 방향의 윤곽선 정보를 추출하기 위해 커널(230)을 이용할 수 있으며 가로 및 대각선 방향의 윤곽선 정보를 추출하기 위해 커널(210, 230)을 이용할 수 있다.
본 개시의 일 실시예에 따르면, 2차 미분 필터는 커널(210, 230)과 같이, 현재 소스 픽셀에 가장 큰 값인 중심 값(220, 240)이 반영되는 가우시한 형태의 커널을 가질 수 있다. 또한, 2차 미분 필터는 커널(210, 230)과 같이, 모든 커널 값의 합이 0인 커널을 가질 수 있다.
2차 미분 필터의 적용하여 소스 픽셀의 윤곽선 정보가 추출되면 윤곽선 정보 추출부(110)는 추출된 윤곽선 정보를 보간부(120)로 전송하고 보간부(120)는 소스 픽셀을 보간할 수 있다.
도 3은 본 개시의 일 실시예에 따른 영상을 다운스케일링하는 과정을 나타낸 흐름도이다.
본 개시의 일 실시예에 따르면, 영상의 다운스케일링은 패치 단위로 수행될 수 있다. 본 개시에서 패치는 복수의 소스 픽셀을 포함하며 하나의 패치 내의 모든 보간 픽셀은 동일한 다운스케일링 배율에 기초하여 결정될 수 있다. 예를 들어, 하나의 패치에서는 동일한 가로 방향 다운스케일링 배율에 기초하여 복수의 가로 방향 보간 픽셀이 결정되고 동일한 세로 방향 다운스케일링 배율에 기초하여 복수의 세로 방향 보간 픽셀이 결정될 수 있다. 다운스케일링 배율은 패치마다 서로 상이할 수 있으며, 소스 픽셀은 서로 다른 패치에 중복적으로 포함될 수 있다. 따라서, 서로 다른 패치는 필요한 경우 동일한 소스 픽셀을 포함할 수도 있다.
이하에서는 영상을 다운스케일링 함에 있어, 하나의 패치를 전제로 복수의 소스 픽셀을 하나의 보간 픽셀로 다운스케일링하는 방법을 설명한다.
다시 도 3을 참조하면 단계 S310에서, 디스플레이 장치(100)는 2차 미분 필터에 의해 소스 픽셀의 윤곽선 정보를 추출할 수 있다.
윤곽선 정보라 함은 현재 소스 픽셀의 인접 소스 픽셀에 대한 픽셀 값 변화량일 수 있으며, 하나의 패치에 포함되는 모든 소스 픽셀과 대응하는 윤곽선 정보가 추출될 수 있다. 여기서 윤곽선 정보는 가로 방향과 세로 방향에 대한 윤곽선 정보를 포함할 수 있다. 윤곽선 정보가 추출되는 방법에 대하여는 도 2에서 설명하였으므로 자세한 설명은 생략한다.
소스 픽셀의 윤곽선 정보가 추출되면 단계 S320에서, 디스플레이 장치(100)는 복수의 가로 방향 보간 픽셀의 픽셀 값 및 복수의 세로 방향 보간 픽셀의 픽셀 값을 결정하여 소스 픽셀을 보간할 수 있다.
다음으로 단계 S330에서, 디스플레이 장치(100)는 복수의 보간 픽셀의 픽셀 값을 결정하여 소스 픽셀을 보간할 수 있다.
도 4a는 본 개시의 일 실시예에 따른 보간 픽셀을 생성하는 예를 나타낸 도면이다. 단계 S320 및 단계 S330의 소스 픽셀을 보간하는 방법에 대하여는 도 4a을 참조하여 설명한다. 또한, 도 4a에서는 설명의 편의를 위해 4개의 소스 픽셀(410a, 410b, 410c, 410d)에 대하여 2개의 가로 방향 보간 픽셀(420a, 420b)의 픽셀 값과 2개의 세로 방향 보간 픽셀(430a, 430b)값이 결정되고 최종적으로 보간 픽셀(440)의 픽셀 값이 결정되는 과정을 설명한다.
가로 방향 보간 픽셀(420a, 420b)과 세로 방향 보간 픽셀(430a, 430b)은 아래 수학식 (1)에 의해 픽셀 값이 결정될 수 있다.
Figure 112020012123364-pat00004
수학식 (1)
본 개시에서 아래 첨자 i, j는 픽셀의 위치를 구분하기 위한 인덱스일 수 있다. 따라서, (i, j)가 x, y 좌표상의 좌표값과 정확히 대응되는 개념은 아닐 수 있다.
도 4a와 수학식 (1)의 mij는 소스 픽셀의 픽셀 값 (예를 들어, 휘도 값)을 의미할 수 있다. 예를 들어, m11은 소스 픽셀(410a)의 픽셀 값을 의미할 수 있다. △xxij는 소스 픽셀의 윤곽선 정보를 의미할 수 있다. 구체적으로, △xxij는 소스 픽셀의 가로 방향의 픽셀 값 변화량을 의미할 수 있다. 예를 들어, △xx11는 소스 픽셀(410a)에 인접한 다른 소스 픽셀에 대한 소스 픽셀(410a)의 가로 방향의 픽셀 값 변화량과 대응될 수 있다. 또한, △yyij도 소스 픽셀의 윤곽선 정보를 의미할 수 있다. 구체적으로, △yyij는 소스 픽셀의 세로 방향의 픽셀 값 변화량을 의미할 수 있다. 예를 들어, △yy11는 소스 픽셀(410a)에 인접한 다른 소스 픽셀에 대한 소스 픽셀(410a)의 세로 방향의 픽셀 값 변화량과 대응될 수 있다.
도 4a와 수학식 (1)의 kx는 다운스케일링 배율 중 가로 방향 다운스케일링 배율이고 ky는 다운스케일링 배율 중 세로 방향 다운스케일링 배율일 수 있다. 이 경우, kx 및 ky는 모두 0에서 1 사이의 양의 실수이며 동일한 패치에서는 모든 보간 픽셀을 결정함에 있어서 값이 일정하게 유지될 수 있다.
△Exij는 가로 방향 보간 픽셀의 픽셀 값 변화량을 의미할 수 있으며 Exij는 가로 방향 보간 픽셀의 픽셀 값을 의미할 수 있다. 예를 들어, Ex11은 가로 방향 보간 픽셀(420a)의 픽셀 값일 수 있다.
또한, 수학식 (1)을 통해 알 수 있듯이 가로 방향 보간 픽셀의 픽셀 값은 가로 방향 보간 픽셀의 좌측 소스 픽셀의 윤곽선 정보, 좌측 소스 픽셀의 픽셀 값, 가로 방향 보간 픽셀의 우측 소스 픽셀의 윤곽선 정보, 우측 소스 픽셀의 픽셀 값 및 가로 방향 다운스케일링 배율에 기초하여 결정될 수 있다. 예를 들어, 가로 방향 보간 픽셀(420a)의 픽셀 값은 가로 방향 보간 픽셀(420a)의 좌측에 위치한 소스 픽셀(410a)의 픽셀 값 m11과 윤곽선 정보 △xx11, 가로 방향 보간 픽셀(420a)의 우측에 위치한 소스 픽셀(410b) 의 픽셀 값 m12과 윤곽선 정보 △xx12 및 가로 방향 다운스케일링 배율 kx의 연산을 통해 결정될 수 있다.
또한, 가로 방향 보간 픽셀(420a)과 유사하게, 가로 방향 보간 픽셀(420b)의 픽셀 값은 가로 방향 보간 픽셀(420a)의 좌측에 위치한 소스 픽셀(410c)의 픽셀 값 m21과 윤곽선 정보 △xx21, 가로 방향 보간 픽셀(420b)의 우측에 위치한 소스 픽셀(410d) 의 픽셀 값 m22과 윤곽선 정보 △xx22 및 가로 방향 다운스케일링 배율 kx의 연산을 통해 결정될 수 있다.
△Eyij는 세로 방향 보간 픽셀의 픽셀 값 변화량을 의미할 수 있으며 Eyj는 세로 방향 보간 픽셀의 픽셀 값을 의미할 수 있다. 예를 들어, Ey11은 세로 방향 보간 픽셀(430a)의 픽셀 값일 수 있다.
또한, 수학식 (1)을 통해 알 수 있듯이 세로 방향 보간 픽셀의 픽셀 값은 세로 방향 보간 픽셀의 상측 소스 픽셀의 윤곽선 정보, 상측 소스 픽셀의 픽셀 값, 세로 방향 보간 픽셀의 하측 소스 픽셀의 윤곽선 정보, 하측 소스 픽셀의 픽셀 값 및 세로 방향 다운스케일링 배율에 기초하여 결정될 수 있다. 예를 들어, 세로 방향 보간 픽셀(430a)의 픽셀 값은 세로 방향 보간 픽셀(430a)의 상측에 위치한 소스 픽셀(410a)의 픽셀 값 m11과 윤곽선 정보 △yy11, 세로 방향 보간 픽셀(430a)의 하측에 위치한 소스 픽셀(410c) 의 픽셀 값 m21과 윤곽선 정보 △yy12 및 세로 방향 다운스케일링 배율 ky의 연산을 통해 결정될 수 있다.
또한, 세로 방향 보간 픽셀(430a)과 유사하게, 세로 방향 보간 픽셀(430b)의 픽셀 값은 세로 방향 보간 픽셀(430b)의 상측에 위치한 소스 픽셀(410b)의 픽셀 값 m12과 윤곽선 정보 △yy12, 세로 방향 보간 픽셀(430b)의 하측에 위치한 소스 픽셀(410d) 의 픽셀 값 m22과 윤곽선 정보 △yy22 및 세로 방향 다운스케일링 배율 ky의 연산을 통해 결정될 수 있다.
가로 방향 보간 픽셀(420a, 420b)의 픽셀 값과 세로 방향 보간 픽셀(430a, 430b)의 픽셀 값이 결정되면 보간 픽셀(440)의 픽셀 값이 결정될 수 있다.
본 개시의 일 실시예에 따르면, 보간 픽셀(440)의 픽셀 값은 수학식 (2)에 의해 결정될 수 있다.
Figure 112020012123364-pat00005
수학식 (2)
도 4a와 수학식 (2)의 Eij는 인덱스 (i, j)와 대응하는 위치에 존재하는 보간 픽셀의 픽셀 값일 수 있다. 예를 들어, E11은 보간 픽셀(440)의 픽셀 값과 대응될 수 있다.
수학식 (2)의 W1은 세로 방향 보간 픽셀(430a)의 보간 픽셀(440)에 대한 가중치 값과 대응되며, W2는 세로 방향 보간 픽셀(430b)의 보간 픽셀(440)에 대한 가중치, W3은 가로 방향 보간 픽셀(420a)의 보간 픽셀(440)에 대한 가중치, W4는 가로 방향 보간 픽셀(420b)의 보간 픽셀(440)에 대한 가중치와 대응될 수 있다. 이 경우, 각 가중치는 보간 픽셀(440)의 인접 보간 픽셀(420a, 420b, 430a, 430b)에 대한 거리의 비와 대응될 수 있다. 따라서, W1은 가로 다운스케일링 배율 kx와 대응되고, W3은 세로 다운스케일링 배율 ky와 대응될 수 있다.
상기 수학식 (2)를 통해 알 수 있듯이, 보간 픽셀의 픽셀 값은 복수의 가로 방향 보간 픽셀의 픽셀 값, 복수의 세로 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 결정될 수 있다. 구체적으로, 보간 픽셀의 픽셀 값은 보간 픽셀의 상측 가로 방향 보간 픽셀의 픽셀 값, 하측 가로 방향 보간 픽셀의 픽셀 값, 좌측 세로 방향 보간 픽셀의 픽셀 값, 우측 세로 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 결정될 수 있다. 예를 들어, 보간 픽셀(440)의 픽셀 값은 가로 방향 보간 픽셀(420a, 420b)의 픽셀 값 Ex11, Ex21, 세로 방향 보간 픽셀(430a, 430b)의 픽셀 값 Ey11, Ey21 및 가중치 W1, W2, W3, W4의 연산을 통해 결정될 수 있다.
도 4a에서는 설명의 편의를 위해 4개의 소스 픽셀(410a, 410b, 410c, 410d)에 대하여 2개의 가로 방향 보간 픽셀(420a, 420b)과 2개의 세로 방향 보간 픽셀(430a, 430b)이 결정되고 최종적으로 보간 픽셀(440)이 결정되는 과정을 설명하였다. 그러나, 본 개시의 다운스케일링은 패치 단위로 수행될 수 있다. 또한, 본 개시에서 보간 전 패치는 4x4 픽셀로 구성된 소스 픽셀을 포함할 수 있다. 따라서, 보간 과정을 거친 후의 패치(또는 확장 패치)는 7x7 픽셀로 구성될 수 있으나 이에 제한적인 아니다. 구체적으로, 보간 전 패치는 n x n 픽셀로 구성될 수 있으며 보간 후의 패치는 (2n-1) x (2n-1) 픽셀로 구성될 수 있다.
도 4b는 본 개시의 일 실시예에 따른 보간 픽셀이 생성된 예를 나타낸 도면이다.
보 4b의 확장 패치(460)는 보간 과정을 거친 후의 패치로서, 확장 패치(460)는 복수의 소스 픽셀, 복수의 가로 방향 보간 픽셀, 복수의 세로 방향 보간 픽셀 및 복수의 보간 픽셀을 포함할 수 있다. 구체적으로, 도 4b를 통해 알 수 있듯이, 보간 과정을 거친 후의 확장 패치(460)는 7x7 픽셀로 구성될 수 있으며, 16개의 소스 픽셀, 12개의 가로 방향 보간 픽셀, 12개의 세로 방향 보간 픽셀 및 9개의 보간 픽셀을 포함할 수 있다. 이 경우, 도 4b의 각 가로 방향 보간 픽셀, 세로 방향 보간 픽셀 및 소스 픽셀을 보간 하는 방법은 모두 도 4a를 참조하여 설명한 소스 픽셀을 보간하는 방법을 통해 수행될 수 있다.
복수의 보간 픽셀의 픽셀 값이 결정되면, 디스플레이 장치(100)는 최종적으로 적응적 필터를 적용하여 중심 보간 픽셀(460)의 픽셀 값을 결정하고 확장 패치(460)를 중심 보간 픽셀(460)로 다운스케일링 하여 영상을 다운스케일링 할 수 있다. 본 개시에서, 중심 보간 픽셀(460)은 확장 패치(460) 내의 복수의 보간 픽셀 중 기하학적으로 가운데에 위치한 픽셀일 수 있다. 따라서, 중심 보간 픽셀(460)의 위치는 픽셀 값 E22를 갖는 보간 픽셀의 위치와 동일할 수 있다.
이하, 적응적 필터를 적용하여 중심 보간 픽셀(460)의 픽셀 값을 결정하는 방법에 대하여 설명한다.
다시 도 3을 참조하면, 단계 S320 및 S330에서 복수의 보간 픽셀의 픽셀 값이 결정되면, 단계 S340에서, 디스플레이 장치(100)는 적응적 필터를 적용하여 중심 보간 픽셀(460)의 픽셀 값이 결정할 수 있다.
본 개시에서 적응적 필터가 적용된다는 것은 픽셀에 필터가 적용됨으로써 픽셀 간의 유클리드 거리(Euclidean Distance), 픽셀의 영상 내에서의 위치, 픽셀 값 및 픽셀 값의 분산(variance)을 고려하여 특정 픽셀의 픽셀 값을 결정함을 의미할 수 있다. 또한, 적응적 필터가 적용된다는 것은 수학적으로 컨벌루션 연산이 수행됨을 의미할 수 있다.
적응적 필터는 수학식 (3)에 따라 필터링을 수행할 수 있다:
Figure 112020012123364-pat00006
수학식 (3)
F(x, y)는 적응적 필터의 수학적 표현이고 G(x, y)는 가우시안 필터의 수학적 표현이며, H(x, y) 레인지(range) 필터의 수학적 표현일 수 있다. 수학식 (3)에서 알 수 있듯이, 본 개시의 적응적 필터 F(x, y)는 가우시안 필터 G(x, y)와 레인지필터 H(x, y)의 컨벌루션 연산을 통해 도출될 수 있다. 또한, 본 개시에서 가우시안 필터 G(x, y)는 가우시안 형태의 양방향 필터(bilateral filter)일 수 있다. 양방향 필터는 윤곽선 근처에서 발생하는 FIR(Finite Impulse Response) 필터 에러를 감소시키고 윤곽선 정보를 보존하기 위한 목적의 필터이다.
가우시안 필터 G(x, y)와 레인지 필터 H(x, y)의 x 및 y는 특정 픽셀의 영상 내에서의 좌표와 대응될 수 있다. 또한, 가우시안 필터 G(x, y)는 공간 분산(space variance)을 의미하는 파라미터 g를 포함하고 레인지 필터 H(x, y)는 범위 분산(range variance)를 의미하는 파라미터 r를 포함할 수 있다.
구체적으로, 파라미터 g는 확장 패치(460) 내의 중심에 위치한 픽셀과 가까운 거리에 있는 픽셀들에게 가우시안 함수로 높은 가중치를 주는 것을 의미하는 파라미터일 수 있다. 여기서, 중심에 위치한 픽셀은 기하학적으로 정확한 중앙에 위치한 픽셀을 의미하는 것이 아니며 보간 픽셀들 중에서 가운데 인덱스를 갖는 보간 픽셀을 의미할 수 있다. 따라서, 도 4b를 참조하면 픽셀 값 E22를 갖는 보간 픽셀이 파라미터 g, 파라미터 r를 결정하기 위한 중심에 위치한 픽셀일 수 있다. 파라미터 r는 현재 픽셀과 중심에 위치한 픽셀 분산의 차이와 대응되는 파라미터일 수 있다. 따라서, 현재 픽셀과 중심에 위치한 픽셀의 픽셀 값이 비슷할수록 현재 픽셀에 높은 가중치가 부여될 수 있다.
또한, 수학식 (3)의 I(x, y)는 (x, y) 좌표에 위치한 픽셀의 픽셀 값이며 C는 중심에 위치한 픽셀의 픽셀 값일 수 있다. 따라서, C는 E22와 대응될 수 있다.
본 개시의 일 실시예에 따르면, 중심 보간 픽셀(470)의 픽셀 값은 확장 패치(460) 내의 모든 픽셀에 적응적 필터를 적용하여 결정될 수 있다. 구체적으로, 중심 보간 픽셀(470)의 픽셀 값은 확장 패치(460) 내의 모든 소스 픽셀, 가로 방향 보간 픽셀, 세로 방향 보간 픽셀 및 보간 픽셀에 적응적 필터를 적용하여 결정될 수 있다.
따라서, 중심 보간 픽셀(470)의 픽셀 값은 확장 패치(460) 내의 모든 소스 픽셀의 픽셀 값, 가로 방향 보간 픽셀의 픽셀 값, 세로 방향 보간 픽셀의 픽셀 값 및 보간 픽셀의 픽셀 값과 적응적 필터 F(x, y)의 컨벌루션 연산을 통해 결정될 수 있다.
중심 보간 픽셀(470)의 픽셀 값이 결정되면, 단계 S350에서 디스플레이 장치(100)는 영상을 중심 보간 픽셀로 구성된 영상으로 다운스케일링할 수 있다. 구체적으로, 디스플레이 장치(100)는 확장 패치(460)를 중심 보간 픽셀(460)로 다운스케일링 함으로써 영상을 다운스케일링할 수 있다. 입력 영상을 다운스케일링하기 위해 복수의 확장 패치가 생성될 수 있으며 복수의 확장 패치는 서로 일부가 중첩될 수 있으므로 디스플레이 장치(100)는 비 정수 배율로 다운스케일링된 영상을 획득할 수 있다.
도 5는 본 개시의 일 실시예에 따른 영상을 다운스케일링하는 과정을 나타낸 흐름도이다.
본 개시의 일 실시예에 따르면, 중심 보간 픽셀의 픽셀 값을 결정하기 위해 가로 방향 방향 보간 픽셀과 세로 방향 보간 픽셀뿐만이 아닌, 대각선 방향 보간 픽셀을 더 고려할 수 있다.
먼저 단계 S510에서, 디스플레이 장치(100)는 2차 미분 필터에 의해 소스 픽셀의 윤곽선 정보를 추출할 수 있다. 여기서 윤곽선 정보는 가로 방향과 세로 방향에 대한 윤곽선 정보에 더하여 대각선 방향에 대한 윤곽선 정보를 포함할 수 있다. 윤곽선 정보를 추출하는 방법에 대하여는 도 2에서 설명하였으므로 자세한 설명은 생략한다.
소스 픽셀의 윤곽선 정보가 추출되면 단계 S520에서, 디스플레이 장치(100)는 복수의 가로 방향 보간 픽셀의 픽셀 값, 복수의 세로 방향 보간 픽셀 및 복수의 대각선 방향 보간 픽셀의 픽셀 값을 결정하여 소스 픽셀을 보간할 수 있다.
다음으로, 단계 S530에서, 디스플레이 장치(100)는 복수의 보간 픽셀의 픽셀 값을 결정하여 소스 픽셀을 보간할 수 있다.
도 6a는 본 개시의 일 실시예에 따른 보간 픽셀을 생성하는 예를 나타낸 도면이다. 단계 S520 및 단계 S530의 소스 픽셀을 보간하는 방법에 대하여는 도 6a을 참조하여 설명한다. 또한, 도 6a에서는 설명의 편의를 위해 4개의 소스 픽셀(410a, 410b, 410c, 410d)에 대하여 2개의 가로 방향 보간 픽셀(420a, 420b)의 픽셀 값, 2개의 세로 방향 보간 픽셀(430a, 430b)의 픽셀 값 및 2개의 대각선 방향 보간 픽셀(610a, 610b)의 픽셀 값이 결정되고 최종적으로 보간 픽셀(620)의 픽셀 값이 결정되는 과정을 설명한다.
가로 방향 보간 픽셀(420a, 420b)의 픽셀 값과 세로 방향 보간 픽셀(430a, 430b)의 픽셀 값을 결정하는 방법에 대하여는 도 3에서 설명하였으므로 자세한 설명은 생략한다.
대각선 방향 보간 픽셀(610a, 610b)은 아래 수학식 (4)에 의해 픽셀 값이 결정될 수 있다.
Figure 112020012123364-pat00007
수학식 (4)
도 6a와 수학식 (4)의 mij는 소스 픽셀의 픽셀 값을 의미할 수 있다. 또한, △xyij 및 △yxij는 소스 픽셀의 윤곽선 정보를 의미할 수 있다. 구체적으로, △xyij는 소스 픽셀의 음의 기울기를 갖는 대각선 방향으로의 픽셀 값 변화량을 의미할 수 있다. 본 개시에서 음의 기울기는 갖는 대각선 방향이라는 것은 2개의 소스 픽셀 사이에 하나의 대각선 방향 보간 픽셀이 생성되어 추가되는 경우, 상기 2개의 소스 픽셀이 이루는 각도가 음수인 것을 의미할 수 있다. 예를 들어, △xy11는 소스 픽셀(410a)에 인접한 다른 소스 픽셀에 대한 소스 픽셀(410a)의 대각선 방향의 픽셀 값 변화량과 대응될 수 있다. 여기서, 대각선 방향 보간 픽셀(610a)은 소스 픽셀(410a)과 소스 픽셀(410d) 사이에 생성되고 소스 픽셀(410a)과 소스 픽셀(410d)이 이루는 각도는 음의 기울기를 가질 수 있다. △yxij는 소스 픽셀의 양의 기울기를 갖는 대각선 방향으로의 픽셀 값 변화량을 의미할 수 있다. 본 개시에서 양의 기울기는 갖는 대각선 방향이라는 것은 2개의 소스 픽셀 사이에 하나의 대각선 방향 보간 픽셀이 생성되어 추가되는 경우, 상기 2개의 소스 픽셀이 이루는 각도가 양수인 것을 의미할 수 있다. 예를 들어, △yx11는 소스 픽셀(410b)에 인접한 다른 소스 픽셀에 대한 소스 픽셀(410b)의 대각선 방향의 픽셀 값 변화량과 대응될 수 있다. 여기서, 대각선 방향 보간 픽셀(610b)은 소스 픽셀(410b)과 소스 픽셀(410c) 사이에 생성되고 소스 픽셀(410b)과 소스 픽셀(410c)이 이루는 각도는 양의 기울기를 가질 수 있다.
도 6a와 수학식 (4)의 kx는 다운스케일링 배율 중 가로 방향 다운스케일링 배율이고 ky는 다운스케일링 배율 중 세로 방향 다운스케일링 배율일 수 있다. 이 경우, kx 및 ky는 모두 0에서 1 사이의 양의 실수이며 동일한 패치에서는 모든 보간 픽셀을 결정함에 있어서 값이 일정하게 유지될 수 있다.
△Exyij는 음의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값 변화량을 의미할 수 있으며 Exyij는 음의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값을 의미할 수 있다. 예를 들어, Exy11은 대각선 방향 보간 픽셀(610a)의 픽셀 값일 수 있다.
또한, 수학식 (4)를 통해 알 수 있듯이 음의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값은 음의 기울기를 갖는 대각선 방향 보간 픽셀의 좌-상측 소스 픽셀의 윤곽선 정보, 좌-상측 소스 픽셀의 픽셀 값, 음의 기울기를 갖는 대각선 방향 보간 픽셀의 우-하측 소스 픽셀의 윤곽선 정보, 우-하측 소스 픽셀의 픽셀 값, 가로 방향 다운스케일링 배율 및 세로 방향 다운스케일링 배율에 기초하여 결정될 수 있다. 예를 들어, 대각선 방향 보간 픽셀(610a)의 픽셀 값은 대각선 방향 보간 픽셀(610a)의 좌-상측 소스 픽셀(410a)의 픽셀 값 m11과 윤곽선 정보 △xy11, 대각선 방향 보간 픽셀(610a)의 우-하측 소스 픽셀(410d)의 픽셀 값 m22과 윤곽선 정보 △xy22, 가로 방향 다운스케일링 배율 kx 및 세로 방향 다운스케일링 배율 ky의 연산을 통해 결정될 수 있다.
△Eyxij는 양의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값 변화량을 의미할 수 있으며 Eyxij는 양의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값을 의미할 수 있다. 예를 들어, Eyx11은 대각선 방향 보간 픽셀(610b)의 픽셀 값일 수 있다.
또한, 음의 기울기를 갖는 대각선 방향 보간 픽셀과 유사하게, 양의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값은 양의 기울기를 갖는 대각선 방향 보간 픽셀의 우-상측 소스 픽셀의 윤곽선 정보, 우-상측 소스 픽셀의 픽셀 값, 양의 기울기를 갖는 대각선 방향 보간 픽셀의 좌-하측 소스 픽셀의 윤곽선 정보, 좌-하측 소스 픽셀의 픽셀 값, 가로 방향 다운스케일링 배율 및 세로 방향 다운스케일링 배율에 기초하여 결정될 수 있다. 예를 들어, 수학식 (4)를 통해 알 수 있듯이, 대각선 방향 보간 픽셀(610b)의 픽셀 값은 대각선 방향 보간 픽셀(610b)의 우-상측 소스 픽셀(410b)의 픽셀 값 m12과 윤곽선 정보 △yx12, 대각선 방향 보간 픽셀(610b)의 좌-하측 소스 픽셀(410c)의 픽셀 값 m21과 윤곽선 정보 △yx21, 가로 방향 다운스케일링 배율 kx 및 세로 방향 다운스케일링 배율 ky의 연산을 통해 결정될 수 있다.
도 6b는 본 개시의 일 실시예에 따른 보간 픽셀을 생성하는 예를 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 대각선 방향 보간 픽셀을 더 고려하는 경우, 보간 픽셀(620)의 픽셀 값은 수학식 (5)에 의해 결정될 수 있다.
Figure 112020012123364-pat00008
수학식 (5)
도 6b와 수학식 (5)의 Eij는 인덱스 (i, j)와 대응하는 위치에 존재하는 보간 픽셀의 픽셀 값일 수 있다. 예를 들어, E11은 보간 픽셀(640)의 픽셀 값과 대응될 수 있다.
수학식 (5)의 W1은 세로 방향 보간 픽셀(430a)의 보간 픽셀(620)에 대한 가중치 값과 대응되며, W2는 세로 방향 보간 픽셀(430b)의 보간 픽셀(620)에 대한 가중치, W3은 가로 방향 보간 픽셀(420a)의 보간 픽셀(620)에 대한 가중치, W4는 가로 방향 보간 픽셀(620b)의 보간 픽셀(440)에 대한 가중치와 대응될 수 있다. 이 경우, 각 가중치는 보간 픽셀(440)의 인접 보간 픽셀(420a, 420b, 430a, 430b)에 대한 거리의 비와 대응될 수 있다. 따라서, W1은 가로 다운스케일링 배율 kx와 대응되고, W3은 세로 다운스케일링 배율 ky와 대응될 수 있다. 또한, W5는 대각선 방향 보간 픽셀(610a)의 보간 픽셀(440)에 대한 가중치와 대응되고 W6는 대각선 방향 보간 픽셀(610b)의 보간 픽셀(440)에 대한 가중치와 대응될 수 있다. 이 경우, W5와 W6 값은 피타고라스 정리에 의해 결정될 수 있다.
상기 수학식 (5)를 통해 알 수 있듯이, 대각선 방향 보간 픽셀을 더 고려하는 경우, 보간 픽셀의 픽셀 값은 복수의 가로 방향 보간 픽셀의 픽셀 값, 복수의 세로 방향 보간 픽셀의 픽셀, 복수의 대각선 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 결정될 수 있다. 구체적으로, 보간 픽셀의 픽셀 값은 보간 픽셀의 상측 가로 방향 보간 픽셀의 픽셀 값, 하측 가로 방향 보간 픽셀의 픽셀 값, 좌측 세로 방향 보간 픽셀의 픽셀 값, 우측 세로 방향 보간 픽셀의 픽셀 값, 음의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값, 양의 기울기를 갖는 대각선 방향 보간 픽셀의 픽셀 값 및 가중치에 기초하여 결정될 수 있다. 예를 들어, 보간 픽셀(620)의 픽셀 값은 가로 방향 보간 픽셀(420a, 420b)의 픽셀 값 Ex11, Ex21, 세로 방향 보간 픽셀(430a, 430b)의 픽셀 값 Ey11, Ey12, 대각선 방향 보간 픽셀(610a, 610b)의 픽셀 값 Exy11, Eyx11 및 가중치 W1, W2, W3, W4, W5, W6의 연산을 통해 결정될 수 있다.
도 6c는 본 개시의 일 실시예에 따른 보간 픽셀이 생성된 예를 나타낸 도면이다.
도 4b와 유사하게, 단계 S520 및 단계 S530 단계를 거친 후 4x4 픽셀로 구성된 패치는 확장 패치(630)로 확장 될 수 있다. 확장 패치(630)는 보간 과정을 거친 후의 패치로서, 복수의 소스 픽셀, 복수의 가로 방향 보간 픽셀, 복수의 세로 방향 보간 픽셀, 복수의 대각선 방향 보간 픽셀 및 복수의 보간 픽셀을 포함할 수 있다. 이 경우, 도 6cb의 각 가로 방향 보간 픽셀, 세로 방향 보간 픽셀 대각선 방향 보간 픽셀 및 소스 픽셀을 보간 하는 방법은 모두 도 5, 도 6a 및 도 6b를 참조하여 설명한 소스 픽셀을 보간하는 방법을 통해 수행될 수 있다.
복수의 보간 픽셀의 픽셀 값이 결정되면, 디스플레이 장치(100)는 최종적으로 적응적 필터를 적용하여 중심 보간 픽셀(640)의 픽셀 값을 결정하고 확장 패치(630)를 중심 보간 픽셀(640)로 다운스케일링 하여 영상을 다운스케일링 할 수 있다. 본 개시에서, 중심 보간 픽셀(660)은 확장 패치(630) 내의 복수의 보간 픽셀 중 기하학적으로 가운데에 위치한 픽셀일 수 있다. 따라서, 중심 보간 픽셀(640)의 위치는 픽셀 값 E22를 갖는 보간 픽셀의 위치와 동일할 수 있다.
다시 도 5를 참조하면, 단계 S520 및 S530에서 복수의 보간 픽셀의 픽셀 값이 결정되면, 디스플레이 장치(100)는 단계 S540에서 적응적 필터를 적용하여 중심 보간 픽셀(640)의 픽셀 값을 결정할 수 있다.
본 개시의 일 실시예에 따르면, 중심 보간 픽셀(640)의 픽셀 값은 확장 패치(630) 내의, 대각선 방향 보간 픽셀을 제외한, 모든 픽셀에 적응적 필터를 적용하여 결정될 수 있다. 구체적으로, 중심 보간 픽셀(640)의 픽셀 값은 확장 패치(630) 내의 모든 소스 픽셀, 가로 방향 보간 픽셀, 세로 방향 보간 픽셀 및 보간 픽셀에 적응적 필터를 적용하여 결정될 수 있다. 적응적 필터를 적용하여 중심 보간 픽셀의 픽셀 값을 결정하는 방법에 관하여는 도 3을 통해 설명하였으므로 자세한 설명은 생략한다.
중심 보간 픽셀(640)의 픽셀 값이 결정되면, 단계 S550에서 디스플레이 장치(100)는 영상을 중심 보간 픽셀로 구성된 영상으로 다운스케일링할 수 있다. 구체적으로, 디스플레이 장치(100)는 확장 패치(630)를 중심 보간 픽셀(640)로 다운스케일링 함으로써 영상을 다운스케일링할 수 있다. 입력 영상을 다운스케일링하기 위해 복수의 확장 패치가 생성될 수 있으며 복수의 확장 패치는 서로 일부가 중첩될 수 있으므로 디스플레이 장치(100)는 비 정수 배율로 다운스케일링된 영상을 획득할 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예를 들어, 디스플레이 장치(100) 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (20)

  1. 영상을 다운스케일링하는 방법에 있어서,
    상기 영상의 소스 픽셀에 대해 가로 방향 및 세로 방향으로 2차 미분 필터를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하는 단계;
    상기 소스 픽셀의 픽셀 값, 상기 윤곽선 정보 및 다운스케일링 배율에 기초하여 가로 방향의 복수의 제 1 보간 픽셀의 픽셀 값 및 세로 방향의 복수의 제 2 보간 픽셀의 픽셀 값을 결정하는 단계;
    상기 복수의 제 1 보간 픽셀의 픽셀 값, 상기 복수의 제 2 보간 픽셀의 픽셀 값, 제 3 보간 픽셀과 상기 복수의 제 1 보간 픽셀 사이의 거리에 대응하는 제 1 가중치, 및 상기 제 3 보간 픽셀과 상기 복수의 제 2 보간 픽셀 사이의 거리에 대응하는 제 2 가중치에 기초하여 상기 제 3 보간 픽셀의 픽셀 값을 결정하는 단계;
    상기 소스 픽셀, 상기 복수의 제 1 보간 픽셀, 상기 복수의 제 2 보간 픽셀 및 상기 제 3 보간 픽셀에 적응적 필터를 적용하여 제 4 보간 픽셀의 픽셀 값을 결정하는 단계; 및
    상기 영상을 상기 제 4 보간 픽셀로 구성된 영상으로 다운스케일링하는 단계를 포함하는, 영상을 다운스케일링하는 방법.
  2. 제 1 항에 있어서,
    상기 윤곽선 정보는 현재 소스 픽셀의 인접 소스 픽셀에 대한 픽셀 값 변화량인, 영상을 다운스케일링하는 방법.
  3. 제 1 항에 있어서,
    각각의 제 1 보간 픽셀의 픽셀 값은 좌측 소스 픽셀의 윤곽선 정보, 상기 좌측 소스 픽셀의 픽셀 값, 우측 소스 픽셀의 윤곽선 정보, 상기 우측 소스 픽셀의 픽셀 값 및 가로 방향의 다운스케일링 배율에 기초하여 결정되는, 영상을 다운스케일링하는 방법.
  4. 제 1 항에 있어서,
    각각의 제 2 보간 픽셀의 픽셀 값은 상측 소스 픽셀의 윤곽선 정보, 상기 상측 소스 픽셀의 픽셀 값, 하측 소스 픽셀의 윤곽선 정보, 상기 하측 소스 픽셀의 픽셀 값 및 세로 방향의 다운스케일링 배율에 기초하여 결정되는, 영상을 다운스케일링하는 방법.
  5. 제 1 항에 있어서,
    상기 제 3 보간 픽셀의 픽셀 값은 상기 제 3 보간 픽셀의 상측에 위치하는 제 1 보간 픽셀의 픽셀 값, 상기 제 3 보간 픽셀의 하측에 위치하는 제 1 보간 픽셀의 픽셀 값, 상기 제 3 보간 픽셀의 좌측에 위치하는 제 2 보간 픽셀의 픽셀 값, 상기 제 3 보간 픽셀의 우측에 위치하는 제 2 보간 픽셀의 픽셀 값, 상기 제 1 가중치 및 상기 제 2 가중치에 기초하여 결정되는, 영상을 다운스케일링하는 방법.
  6. 제 1 항에 있어서,
    상기 2차 미분 필터는 가우시안 형태의 커널을 가지며 상기 가우시안 형태의 커널의 값들의 합은 0인, 영상을 다운스케일링하는 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 소스 픽셀의 윤곽선 정보를 추출하는 단계는,
    상기 소스 픽셀에 대해 대각선 방향으로 상기 2차 미분 필터를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하는 단계를 포함하며,
    상기 복수의 제 1 보간 픽셀의 픽셀 값과 상기 복수의 제 2 보간 픽셀의 픽셀 값을 결정하는 단계는,
    상기 소스 픽셀의 픽셀 값, 상기 윤곽선 정보, 가로 방향의 다운스케일링 배율 및 세로 방향의 다운스케일링 배율에 기초하여 대각선 방향의 복수의 제 5 보간 픽셀의 픽셀 값을 결정하는 단계를 포함하며,
    상기 제 3 보간 픽셀의 픽셀 값을 결정하는 단계는,
    상기 복수의 제 1 보간 픽셀의 픽셀 값, 상기 복수의 제 2 보간 픽셀의 픽셀 값, 상기 복수의 제 5 보간 픽셀의 픽셀 값, 상기 제 1 가중치, 상기 제 2 가중치, 및 상기 제 3 보간 픽셀과 상기 복수의 제 5 보간 픽셀 사이의 거리에 대응하는 제 3 가중치에 기초하여 상기 제 3 보간 픽셀의 픽셀 값을 결정하는 단계를 포함하는, 영상을 다운스케일링하는 방법.
  9. 제 8 항에 있어서,
    상기 복수의 제 5 보간 픽셀의 픽셀 값 중 제 1 대각선 방향의 제 5 보간 픽셀의 픽셀 값은 상기 제 1 대각선 방향의 제 5 보간 픽셀의 좌-상측 소스 픽셀의 윤곽선 정보, 상기 좌-상측 소스 픽셀의 픽셀 값, 상기 제 1 대각선 방향의 제 5 보간 픽셀의 우-하측 소스 픽셀의 윤곽선 정보, 상기 우-하측 소스 픽셀의 픽셀 값, 상기 가로 방향의 다운스케일링 배율 및 상기 세로 방향의 다운스케일링 배율에 기초하여 결정되며,
    상기 복수의 제 5 보간 픽셀의 픽셀 값 중 제 2 대각선 방향의 제 5 보간 픽셀의 픽셀 값은 상기 제 2 대각선 방향의 제 5 보간 픽셀의 우-상측 소스 픽셀의 윤곽선 정보, 상기 우-상측 소스 픽셀의 픽셀 값, 상기 제 2 대각선 방향의 제 5 보간 픽셀의 좌-하측 소스 픽셀의 윤곽선 정보, 상기 좌-하측 소스 픽셀의 픽셀 값, 상기 가로 방향의 다운스케일링 배율 및 상기 세로 방향의 다운스케일링 배율에 기초하여 결정되는, 영상을 다운스케일링하는 방법.
  10. 삭제
  11. 제 1 항에 있어서,
    상기 적응적 필터는 양방향 필터(bilateral filter)와 레인지 필터(range filter)의 컨벌루션 연산을 통해 결정되는, 영상을 다운스케일링하는 방법.
  12. 제 1 항에 있어서,
    상기 제 4 보간 픽셀은 상기 복수의 제 1 보간 픽셀, 상기 복수의 제 2 보간 픽셀 및 상기 제 3 보간 픽셀 중 기하학적으로 중심에 위치한 픽셀이며,
    상기 다운스케일링하는 단계는, 상기 소스 픽셀, 상기 복수의 제 1 보간 픽셀, 상기 복수의 제 2 보간 픽셀 및 상기 제 3 보간 픽셀로 구성된7x7 패치를 상기 제 4 보간 픽셀로 구성된 하나의 픽셀로 다운스케일링하는 단계를 포함하는, 영상을 다운스케일링하는 방법.
  13. 영상을 다운스케일링하는 디스플레이 장치에 있어서,
    상기 영상의 소스 픽셀에 대해 가로 방향 및 세로 방향으로 2차 미분 필터를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하는 윤곽선 정보 추출부;
    상기 소스 픽셀의 픽셀 값, 상기 윤곽선 정보 및 다운스케일링 배율에 기초하여 가로 방향의 복수의 제 1 보간 픽셀의 픽셀 값 및 세로 방향의 복수의 제 2 보간 픽셀의 픽셀 값을 결정하고,
    상기 복수의 제 1 보간 픽셀의 픽셀 값, 상기 복수의 제 2 보간 픽셀의 픽셀 값, 제 3 보간 픽셀과 상기 복수의 제 1 보간 픽셀 사이의 거리에 대응하는 제 1 가중치, 및 상기 제 3 보간 픽셀과 상기 복수의 제 2 보간 픽셀 사이의 거리에 대응하는 제 2 가중치에 기초하여 상기 제 3 보간 픽셀의 픽셀 값을 결정하는, 보간부; 및
    상기 소스 픽셀, 상기 복수의 제 1 보간 픽셀, 상기 복수의 제 2 보간 픽셀 및 상기 제 3 보간 픽셀에 적응적 필터를 적용하여 제 4 보간 픽셀의 픽셀 값을 결정하고, 상기 영상을 상기 제 4 보간 픽셀로 구성된 영상으로 다운스케일링하는 다운스케일링부 포함하는, 영상을 다운스케일링하는 디스플레이 장치.
  14. 제 13 항에 있어서,
    상기 윤곽선 정보는 현재 소스 픽셀의 인접 소스 픽셀에 대한 픽셀 값 변화량인, 영상을 다운스케일링하는 디스플레이 장치.
  15. 제 13 항에 있어서,
    상기 보간부는,
    각각의 제 1 보간 픽셀의 픽셀 값을, 좌측 소스 픽셀의 윤곽선 정보, 상기 좌측 소스 픽셀의 픽셀 값, 우측 소스 픽셀의 윤곽선 정보, 상기 우측 소스 픽셀의 픽셀 값 및 가로 방향의 다운스케일링 배율에 기초하여 결정하고,
    각각의 제 2 보간 픽셀의 픽셀 값을, 상측 소스 픽셀의 윤곽선 정보, 상기 상측 소스 픽셀의 픽셀 값, 하측 소스 픽셀의 윤곽선 정보, 상기 하측 소스 픽셀의 픽셀 값 및 세로 방향의 다운스케일링 배율에 기초하여 결정하며,
    상기 제 3 보간 픽셀의 픽셀 값을, 상기 제 3 보간 픽셀의 상측에 위치하는 제 1 보간 픽셀의 픽셀 값, 상기 제 3 보간 픽셀의 하측에 위치하는 제 1 보간 픽셀의 픽셀 값, 상기 제 3 보간 픽셀의 좌측에 위치하는 제 2 보간 픽셀의 픽셀 값, 상기 제 3 보간 픽셀의 우측에 위치하는 제 2 보간 픽셀의 픽셀 값, 상기 제 1 가중치 및 상기 제 2 가중치에 기초하여 결정하는, 영상을 다운스케일링하는 디스플레이 장치.
  16. 제 13 항에 있어서,
    상기 2차 미분 필터는 가우시안 형태의 커널을 가지며 상기 가우시안 형태의 커널의 값들의 합은 0인, 영상을 다운스케일링하는 디스플레이 장치.
  17. 삭제
  18. 제 13 항에 있어서,
    상기 윤곽선 정보 추출부는, 상기 소스 픽셀에 대해 대각선 방향으로 상기 2차 미분 필터를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하고,
    상기 보간부는, 상기 소스 픽셀의 픽셀 값, 상기 윤곽선 정보, 가로 방향의 다운스케일링 배율 및 세로 방향의 다운스케일링 배율에 기초하여 대각선 방향의 복수의 제 5 보간 픽셀의 픽셀 값을 결정하고, 상기 복수의 제 1 보간 픽셀의 픽셀 값, 상기 복수의 제 2 보간 픽셀의 픽셀 값, 상기 복수의 제 5 보간 픽셀의 픽셀 값, 상기 제 1 가중치, 상기 제 2 가중치, 및 상기 제 3 보간 픽셀과 상기 복수의 제 5 보간 픽셀 사이의 거리에 대응하는 제 3 가중치에 기초하여 상기 제 3 보간 픽셀의 픽셀 값을 결정하는, 영상을 다운스케일링하는 디스플레이 장치.
  19. 제 18 항에 있어서,
    상기 보간부는,
    상기 복수의 제 5 보간 픽셀의 픽셀 값 중 제 1 대각선 방향의 제 5 보간 픽셀의 픽셀 값을, 상기 제 1 대각선 방향의 제 5 보간 픽셀의 좌-상측 소스 픽셀의 윤곽선 정보, 상기 좌-상측 소스 픽셀의 픽셀 값, 상기 제 1 대각선 방향의 제 5 보간 픽셀의 우-하측 소스 픽셀의 윤곽선 정보, 상기 우-하측 소스 픽셀의 픽셀 값, 상기 가로 방향의 다운스케일링 배율 및 상기 세로 방향의 다운스케일링 배율에 기초하여 결정하고,
    상기 복수의 제 5 보간 픽셀의 픽셀 값 중 제 2 대각선 방향의 제 5 보간 픽셀의 픽셀 값을, 상기 제 2 대각선 방향의 제 5 보간 픽셀의 우-상측 소스 픽셀의 윤곽선 정보, 상기 우-상측 소스 픽셀의 픽셀 값, 상기 제 2 대각선 방향의 제 5 보간 픽셀의 좌-하측 소스 픽셀의 윤곽선 정보, 상기 좌-하측 소스 픽셀의 픽셀 값, 상기 가로 방향의 다운스케일링 배율 및 상기 세로 방향의 다운스케일링 배율에 기초하여 결정하는, 영상을 다운스케일링하는 디스플레이 장치.
  20. 영상을 다운스케일링하는 명령어들이 저장된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 디스플레이 장치로 하여금:
    상기 영상의 소스 픽셀에 대해 가로 방향 및 세로 방향으로 2차 미분 필터를 적용하여 상기 소스 픽셀의 윤곽선 정보를 추출하는 동작;
    상기 소스 픽셀의 픽셀 값, 상기 윤곽선 정보 및 다운스케일링 배율에 기초하여 가로 방향의 복수의 제 1 보간 픽셀의 픽셀 값 및 세로 방향의 복수의 제 2 보간 픽셀의 픽셀 값을 결정하는 동작;
    상기 복수의 제 1 보간 픽셀의 픽셀 값, 상기 복수의 제 2 보간 픽셀의 픽셀 값, 제 3 보간 픽셀과 상기 복수의 제 1 보간 픽셀 사이의 거리에 대응하는 제 1 가중치, 및 상기 제 3 보간 픽셀과 상기 복수의 제 2 보간 픽셀 사이의 거리에 대응하는 제 2 가중치에 기초하여 상기 제 3 보간 픽셀의 픽셀 값을 결정하는 동작;
    상기 소스 픽셀, 상기 복수의 제 1 보간 픽셀, 상기 복수의 제 2 보간 픽셀 및 상기 제 3 보간 픽셀에 적응적 필터를 적용하여 제 4 보간 픽셀의 픽셀 값을 결정하는 동작; 및
    상기 영상을 상기 제 4 보간 픽셀로 구성된 영상으로 다운스케일링하는 동작을 수행하도록 하기 위한, 명령어들이 저장된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020200013738A 2020-02-05 2020-02-05 영상을 다운스케일링하는 방법 및 장치 KR102449250B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200013738A KR102449250B1 (ko) 2020-02-05 2020-02-05 영상을 다운스케일링하는 방법 및 장치
PCT/KR2021/001488 WO2021158039A1 (ko) 2020-02-05 2021-02-04 영상을 다운스케일링하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200013738A KR102449250B1 (ko) 2020-02-05 2020-02-05 영상을 다운스케일링하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210099867A KR20210099867A (ko) 2021-08-13
KR102449250B1 true KR102449250B1 (ko) 2022-09-29

Family

ID=77200272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200013738A KR102449250B1 (ko) 2020-02-05 2020-02-05 영상을 다운스케일링하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102449250B1 (ko)
WO (1) WO2021158039A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126967A1 (en) 2004-12-14 2006-06-15 Li-Huan Jen Image scaler and method of the same
JP2014085892A (ja) 2012-10-24 2014-05-12 Sharp Corp 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022618A (ko) * 2003-08-29 2005-03-08 삼성전자주식회사 업다운 스케일링 영상 신호 처리 장치
KR101544914B1 (ko) * 2009-02-12 2015-08-17 삼성전자주식회사 보간 픽셀을 생성하는 방법
KR101506396B1 (ko) * 2013-09-13 2015-03-26 조선대학교산학협력단 영상 보간 시스템 및 그 영상 보간 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126967A1 (en) 2004-12-14 2006-06-15 Li-Huan Jen Image scaler and method of the same
JP2014085892A (ja) 2012-10-24 2014-05-12 Sharp Corp 画像処理装置

Also Published As

Publication number Publication date
WO2021158039A1 (ko) 2021-08-12
KR20210099867A (ko) 2021-08-13

Similar Documents

Publication Publication Date Title
KR20160064953A (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP2015192198A (ja) 映像表示装置および映像表示システム
CN110415237B (zh) 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质
JP2005122361A (ja) 画像処理装置及び方法、コンピュータプログラム、記録媒体
CN114615480B (zh) 投影画面调整方法、装置、设备、存储介质和程序产品
US9563937B2 (en) High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
WO2021161513A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
US20180101979A1 (en) Image processing apparatus and image processing method
WO2013089261A1 (ja) 画像処理システム及び画像処理方法
JP2019121053A (ja) 画像処理装置及び画像処理方法
CN114648458A (zh) 鱼眼图像矫正方法、装置、电子设备及存储介质
US8472756B2 (en) Method for producing high resolution image
CN110415196A (zh) 图像校正方法、装置、电子设备及可读存储介质
KR102449250B1 (ko) 영상을 다운스케일링하는 방법 및 장치
KR101836238B1 (ko) 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
US11812008B2 (en) VR image processing method and device, VR glasses, and readable storage medium
CN111314687B (zh) 一种vr影像处理方法、装置、vr眼镜及可读存储介质
JP7385416B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN105094614B (zh) 图像显示方法及装置
JP5478200B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN112237002A (zh) 图像处理方法和设备
JP2010193154A (ja) 画像処理装置および画像処理方法
US11043015B2 (en) Generating reflections within images
EP3059662A1 (en) A method for interacting with volumetric images by gestures and a system for interacting with volumetric images by gestures
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant