KR20200034352A - 영상 업스케일링 방법 및 장치 - Google Patents

영상 업스케일링 방법 및 장치 Download PDF

Info

Publication number
KR20200034352A
KR20200034352A KR1020180114053A KR20180114053A KR20200034352A KR 20200034352 A KR20200034352 A KR 20200034352A KR 1020180114053 A KR1020180114053 A KR 1020180114053A KR 20180114053 A KR20180114053 A KR 20180114053A KR 20200034352 A KR20200034352 A KR 20200034352A
Authority
KR
South Korea
Prior art keywords
value
filter
convolution filter
equation
image
Prior art date
Application number
KR1020180114053A
Other languages
English (en)
Other versions
KR102550327B1 (ko
Inventor
이상린
이호철
강석주
장정우
강건우
Original Assignee
엘지디스플레이 주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사, 서강대학교산학협력단 filed Critical 엘지디스플레이 주식회사
Priority to KR1020180114053A priority Critical patent/KR102550327B1/ko
Publication of KR20200034352A publication Critical patent/KR20200034352A/ko
Application granted granted Critical
Publication of KR102550327B1 publication Critical patent/KR102550327B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 원본 영상을 업스케일링하여 원본 영상보다 높은 해상도를 갖는 영상을 생성하는 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 영상 업스케일링 방법은, 원본 영상에 대한 특징 맵을 생성하는 단계, 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하는 단계, 상기 컨볼루션 필터의 크기 값 및 상기 스트라이드 값에 기초하여 상기 컨볼루션 필터를 생성하는 단계, 상기 원본 영상의 특징 맵 및 상기 컨볼루션 필터에 기초하여 업스케일링된 영상을 생성하는 단계를 포함한다.

Description

영상 업스케일링 방법 및 장치{METHOD AND APPARATUS FOR UPSCALING VIDEO}
본 발명은 원본 영상을 업스케일링하여 원본 영상보다 높은 해상도를 갖는 영상을 생성하는 방법 및 장치에 관한 것이다.
정보화 사회가 발전함에 따라 화상을 표시하기 위한 표시 장치에 대한 요구가 다양한 형태로 증가하고 있으며, 근래에는 액정 표시 장치(Liquid Crystal Display, LCD), 플라즈마 표시 장치(Plasma Display Panel, PDP), 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 표시 장치와 같은 여러 가지 표시 장치가 활용되고 있다.최근에는 표시 장치가 적용되는 분야나 스펙에 따라서 다양한 해상도를 갖는 표시 장치가 출시되고 있다.
한편, 표시 장치를 통해서 표시되는 영상 또한 다양한 해상도를 갖는다. 표시 장치를 통해서 표시되는 원본 영상의 해상도가 표시 장치의 해상도보다 높을 경우에는 표시 장치의 해상도에 따라서 영상이 표시되기 때문에 사용자가 영상을 시청하는데 큰 문제가 없다. 그러나 원본 영상의 해상도가 표시 장치의 해상도보다 낮을 경우, 영상이 흐릿하게 표시되는 품질 저하 현상이 발생하여 영상을 시청하는 사용자가 불편함을 느끼게 된다.
이처럼 원본 영상의 해상도가 표시 장치의 해상도보다 낮을 경우 발생하는 문제를 해결하기 위해서, 원본 영상의 해상도를 높이는 업스케일링 기술이 적용된다.
본 발명은 원본 영상의 해상도를 높이는 업스케일링 수행 시 요구되는 연산량 및 연산시간을 단축시킬 수 있는 영상 업스케일링 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 따른 영상 업스케일링 방법은, 원본 영상에 대한 특징 맵을 생성하는 단계, 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하는 단계, 상기 컨볼루션 필터의 크기 값 및 상기 스트라이드 값에 기초하여 상기 컨볼루션 필터를 생성하는 단계, 상기 원본 영상의 특징 맵 및 상기 컨볼루션 필터에 기초하여 업스케일링된 영상을 생성하는 단계를 포함한다.
본 발명의 일 실시예에서, 상기 컨볼루션 필터의 크기 값을 결정하는 단계는 하기 [수학식 1]에 따라서 크기 판단 값을 계산하는 단계 및 상기 크기 판단 값을 미리 설정된 기준 값과 비교하여 상기 컨볼루션 필터의 크기 값을 결정하는 단계를 포함한다.
[수학식 1]
Figure pat00001
또한 본 발명의 일 실시예에서, 상기 크기 판단 값이 상기 기준 값 미만이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 2]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 3]에 따라서 계산된다.
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
또한 본 발명의 일 실시예에서, 상기 컨볼루션 필터는 상기 스트라이드 값의 제곱에 해당하는 값과 동일한 수만큼 생성된다.
또한 본 발명의 일 실시예에서, 상기 컨볼루션 필터를 생성하는 단계는 상기 디컨볼루션 필터의 크기 값, 상기 스트라이드 값, 출력 윈도우의 좌표 값에 기초하여 상대 위치 값을 계산하는 단계, 상기 상대 위치 값, 상기 스트라이드 값, 상기 컨볼루션 필터의 좌표 값에 기초하여 가중치 선택 값을 계산하는 단계 및 상기 가중치 선택 값에 기초하여 상기 디컨볼루션 필터의 필터 값을 상기 컨볼루션 필터의 필터 값과 매핑시키는 단계를 포함한다.
또한 본 발명의 일 실시예에서, 상기 크기 판단 값이 상기 기준 값 미만이면 상기 상대 위치 값은 하기 [수학식 4]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 상대 위치 값은 하기 [수학식 5]에 따라서 계산된다.
[수학식 4]
Figure pat00004
[수학식 5]
Figure pat00005
또한 본 발명의 일 실시예에서, 상기 가중치 선택 값은 하기 [수학식 7]에 따라서 계산된다.
[수학식 7]
Figure pat00006
또한 본 발명의 일 실시예에서, 상기 업스케일링된 영상을 생성하는 단계는 출력 윈도우를 상기 스트라이드 값만큼 이동시키면서, 상기 원본 영상의 특징 맵과 상기 컨볼루션 필터의 연산 결과를 상기 출력 영상에 매핑하여 상기 업스케일링된 영상을 생성하는 단계를 포함한다.
또한 본 발명의 일 실시예에 따른 영상 업스케일링 장치는, 원본 영상에 대한 특징 맵을 생성하는 특징 맵 생성부, 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하고, 상기 컨볼루션 필터의 크기 값 및 상기 스트라이드 값에 기초하여 상기 컨볼루션 필터를 생성하는 컨볼루션 필터 생성부, 상기 원본 영상의 특징 맵 및 상기 컨볼루션 필터에 기초하여 업스케일링된 영상을 생성하는 업스케일링부를 포함한다.
본 발명의 일 실시예에서, 상기 컨볼루션 필터 생성부는 하기 [수학식 1]에 따라서 크기 판단 값을 계산하고, 상기 크기 판단 값을 미리 설정된 기준 값과 비교하여 상기 컨볼루션 필터의 크기 값을 결정한다.
[수학식 1]
Figure pat00007
또한 본 발명의 일 실시예에서, 상기 크기 판단 값이 상기 기준 값 미만이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 2]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 3]에 따라서 계산된다.
[수학식 2]
Figure pat00008
[수학식 3]
Figure pat00009
또한 본 발명의 일 실시예에서, 상기 컨볼루션 필터는 상기 스트라이드 값의 제곱에 해당하는 값과 동일한 수만큼 생성된다.
또한 본 발명의 일 실시예에서, 상기 컨볼루션 필터 생성부는 상기 디컨볼루션 필터의 크기 값, 상기 스트라이드 값, 출력 윈도우의 좌표 값에 기초하여 상대 위치 값을 계산하고, 상기 상대 위치 값, 상기 스트라이드 값, 상기 컨볼루션 필터의 좌표 값에 기초하여 가중치 선택 값을 계산하고, 상기 가중치 선택 값에 기초하여 상기 디컨볼루션 필터의 필터 값을 상기 컨볼루션 필터의 필터 값과 매핑시킨다.
또한 본 발명의 일 실시예에서, 상기 크기 판단 값이 상기 기준 값 미만이면 상기 상대 위치 값은 하기 [수학식 4]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 상대 위치 값은 하기 [수학식 5]에 따라서 계산된다.
[수학식 4]
Figure pat00010
[수학식 5]
Figure pat00011
또한 본 발명의 일 실시예에서, 상기 가중치 선택 값은 하기 [수학식 7]에 따라서 계산된다.
[수학식 7]
Figure pat00012
또한 본 발명의 일 실시예에서, 상기 업스케일링부는 출력 윈도우를 상기 스트라이드 값만큼 이동시키면서, 상기 원본 영상의 특징 맵과 상기 컨볼루션 필터의 연산 결과를 상기 출력 영상에 매핑하여 상기 업스케일링된 영상을 생성한다.
본 발명에 따르면 원본 영상의 해상도를 높이는 업스케일링 수행 시 요구되는 연산량 및 연산시간을 단축시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 영상 업스케일링 장치의 구성을 나타낸다.
도 2는 본 발명의 실시예에서 영상 업스케일링 장치에 의해서 업스케일링되는 원본 영상의 특징 맵을 나타낸다.
도 3은 본 발명의 제1 내지 제4 실시예에서 영상 업스케일링에 사용되는 디컨볼루션 필터를 나타낸다.
도 4 내지 도 7은 본 발명의 제1 실시예에서 도 3의 디컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
도 8은 본 발명의 제2 실시예에서 영상 업스케일링에 사용되는 컨볼루션 필터를 나타낸다.
도 9 내지 도 12는 본 발명의 제2 실시예에서 도 8의 컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
도 13 내지 16은 본 발명의 제3 실시예에서 도 3의 디컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
도 17은 본 발명의 제4 실시예에서 영상 업스케일링에 사용되는 컨볼루션 필터를 나타낸다.
도 18 내지 도 21는 본 발명의 제4 실시예에서 도 17의 컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
도 22는 본 발명의 일 실시예에 따른 영상 업스케일링 방법을 나타내는 흐름도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 따른 영상 업스케일링 장치의 구성을 나타낸다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 업스케일링 장치(1)는 외부 장치(미도시)로부터 전송되거나 저장부(16)에 저장된 원본 영상을 업스케일링하여 업스케일링된 영상을 생성한다. 본 발명에서 '업스케일링'은 원본 영상의 해상도를 증가시키는 것을 의미하며, '업스케일링된 영상'은 원본 영상을 업스케일링한 결과 생성되는 영상을 의미한다.
표시 장치(100)는 영상 업스케일링 장치(1)로부터 제공되는 업스케일링된 영상을 표시한다. 표시 장치(100)는 임의의 표시 장치, 예컨대 액정 표시 장치(LCD), 플라즈마 표시 장치(PDP), 유기 발광 다이오드(OLED) 표시 장치일 수 있으며, 이에 한정되지 않는다.
또한 표시 장치(100)는 모니터나 텔레비전과 같은 평판형 표시 장치일 수도 있고, 헤드 마운트 장치나 3-D 입체 안경과 같이 입체 영상을 표시하는 장치일 수도 있으며, 이에 한정되지 않는다. 표시 장치(100)가 헤드 마운트 장치나 3-D 입체 안경일 경우, 영상 업스케일링 장치(1)는 좌안 원본 영상 및 우안 원본 영상을 각각 업스케일링하여 표시 장치(100)에 제공할 수 있다.
다시 도면을 참조하면, 본 발명의 일 실시예에 따른 영상 업스케일링 장치(1)는 특징 맵 생성부(10), 컨볼루션 필터 생성부(12), 업스케일링부(14), 저장부(16)를 포함한다.
특징 맵 생성부(10)는 외부 장치(미도시)로부터 전송되거나 저장부(16)에 저장된 원본 영상에 대한 특징 맵(feature map)을 생성한다. 본 발명에서는 컨볼루션 신경망(Convolution Neural Network)를 이용하여 원본 영상을 업스케일링한다. 특징 맵 생성부(10)는 컨볼루션 신경망을 이용하여 입력된 원본 영상의 특징 맵을 생성할 수 있다.
여기서 특징 맵은 원본 영상에서 의미 있는 정보, 예컨대 원본 영상의 밝기(luminance), 색(color), 텍스쳐(texture), 모션(motion), 방향성(orientation)과 같은 특징을 나타내는 맵을 의미한다. 예를 들어, 입력된 영상이 RGB색 채널을 갖는 경우, 특징 맵 생성부(10)는 입력 영상을 그레이스케일(grayscale) 변환하여 밝기 및 윤곽 정보를 강조하는 특징맵을 생성할 수 있다.
특징 맵 생성부(10)는 원본 영상의 특징에 대응되는 하나 이상의 컨볼루션 레이어를 기초로, 컨볼루션 신경망에서 사용되는 알려진 다양한 방법을 이용하여 원본 영상의 특징 맵을 생성할 수 있다.
컨볼루션 필터 생성부(12)는 디컨볼루션 필터 및 컨볼루션 필터 중 적어도 하나를 이용하여 원본 영상의 특징 맵을 업스케일링하여 업스케일링된 영상을 생성할 수 있다.
본 발명의 일 실시예에서, 컨볼루션 필터 생성부(12)는 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하고, 결정된 컨볼루션 필터의 크기 값 및 스트라이드 값에 기초하여 컨볼루션 필터를 생성한다.
여기서 컨볼루션 필터 생성부(12)에 의해서 참조되는 디컨볼루션 필터는 저장부(16)에 저장될 수 있다. 또한 본 발명에서, 스트라이드 값은 원본 영상의 업스케일링 비율을 의미한다. 예를 들어 스트라이드 값이 2일 경우, 3×3 매트릭스 형태의 원본 영상은 2배의 해상도를 갖는 6×6 매트릭스 형태의 영상으로 업스케일링된다. 컨볼루션 필터 생성부(12)가 컨볼루션 필터를 생성하는 방법은 후술하는 실시예들을 통해 보다 상세히 설명된다.
업스케일링부(14)는 특징 맵 생성부(10)에 의해 생성되는 원본 영상의 특징 맵 및 컨볼루션 필터 생성부(12)에 의해서 생성되는 컨볼루션 필터에 기초하여 원본 영상을 업스케일링하여 업스케일링된 영상을 생성한다. 업스케일링된 영상은 표시 장치(100)로 공급된다.
저장부(16)는 원본 영상이나 디컨볼루션 필터와 같은 각종 데이터를 저장할 수 있다. 실시예에 따라서 영상 업스케일링 장치(1)는 저장부(16)를 포함하지 않으며, 영상 업스케일링 장치(1)의 외부에 저장부(16)가 구비될 수도 있다.
이하에서는 도면을 참조하여 다양한 실시예를 기초로 본 발명에 따른 영상 업스케일링 장치(1)가 원본 영상을 업스케일링하여 업스케일링된 영상을 생성하는 방법이 구체적으로 설명된다.
도 2는 본 발명의 실시예에서 영상 업스케일링 장치에 의해서 업스케일링되는 원본 영상의 특징 맵을 나타낸다. 이하에서 설명되는 제1 내지 제4 실시예에서, 영상 업스케일링 장치(1)의 특징 맵 생성부(10)는 3×3의 해상도, 즉 9개의 픽셀을 갖는 매트릭스 형태의 원본 영상을 기초로 도 2에 도시된 바와 같은 3×3 매트릭스 형태의 특징 맵(20)을 생성한 것으로 가정한다. 참고로 원본 영상의 해상도와 원본 영상을 기초로 생성되는 특징 맵의 해상도는 서로 동일할 수도 있고, 서로 다를 수도 있다.
도 2에 도시된 특징 맵(20)을 구성하는 9개의 픽셀에 기록된 각각의 값은 특징 맵 생성부(10)에 의해서 추출된 각 픽셀의 특징(예컨대, 각 픽셀의 휘도 또는 색)을 나타내는 특징 값이다. 도 2에는 설명의 편의를 위하여 모든 픽셀의 특징 값이 1로 도시되어 있으나, 특징 값은 각 픽셀 별로 다르게 기록될 수 있다.
이하에서는 특징 맵(20) 또는 후술하는 필터나 출력 영상의 각 픽셀의 위치를 좌표 값(x 좌표 값, y 좌표 값)으로 나타낸다. 예를 들어 도 2에 도시된 각각의 픽셀의 위치는 (0, 0), (0, 1), (0, 2), (1, 0), (1, 1), (1, 2), (2, 0), (2, 1), (2, 2)로 나타낼 수 있다.
도 3은 본 발명의 제1 내지 제4 실시예에서 영상 업스케일링에 사용되는 디컨볼루션 필터를 나타낸다.
도 3에 도시된 디컨볼루션 필터(22)는 5×5의 해상도를 가지며, 각각의 위치에는 필터 값(1, 2, 3, 4, 5)이 매핑되어 있다. 이 디컨볼루션 필터(22)의 크기 값(KD)은 5로 정의된다.
이하에서는 도 3에 도시된 바와 같이 5×5의 해상도를 갖는 디컨볼루션 필터(22) 및 도 2에 도시된 원본 영상의 특징 맵(20)을 기초로 업스케일링 장치(1)가 업스케일링된 영상을 생성하는 다양한 실시예를 설명한다.
참고로 제1 실시예 및 제2 실시예는 미리 설정된 스트라이드 값이 2일 때 디컨볼루션 연산 및 컨볼루션 연산을 각각 이용하여 업스케일링된 영상을 생성하는 실시예이고, 제3 실시예 및 제4 실시예는 미리 설정된 스트라이드 값이 3일 때 디컨볼루션 연산 및 컨볼루션 연산을 각각 이용하여 업스케일링된 영상을 생성하는 실시예이다.
<제1 실시예 >
먼저 스트라이드 값이 2로 설정된 상태에서 도 3의 디컨볼루션 필터(22)를 이용하여 도 2의 특징 맵(20)을 업스케일링하는 제1 실시예를 설명한다.
도 4 내지 도 7은 본 발명의 제1 실시예에서 도 3의 디컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
제1 실시예에서, 업스케일링 장치(1)의 업스케일링부(14)는 도 4 내지 도 7에 도시된 바와 같이 원본 영상의 해상도의 2배에 해당하는 해상도, 즉 6×6의 해상도를 갖는 출력 영상(26)을 생성한다.
출력 영상(26)을 생성하기 위하여, 업스케일링부(14)는 도 3의 디컨볼루션 필터(22)의 크기와 동일한 5×5의 크기를 갖는 출력 윈도우(24)를 이동시키면서 출력 영상(26)의 각 픽셀 값을 계산하고 기록한다. 출력 윈도우(24)가 이동할 때마다 출력 윈도우(24)의 위치에 따른 특징 맵(20)과 디컨볼루션 필터(22) 간의 연산 결과가 출력 영상(26)의 각 픽셀에 누적되어 기록된다.
출력 윈도우(24)가 이동할 때, 도 4 내지 도 7에 음영으로 표시된 바와 같이 출력 영상(26)에 미리 설정된 각각의 연산 지점, 즉, 출력 영상(26)의 좌표 (0, 0), (0, 2), (0, 4), (2, 0), (2, 2), (2, 4), (4, 0), (4, 2), (4, 4)에 위치한 픽셀이 출력 윈도우(24)의 중심점이 된다. 이 연산 지점들은 각각 특징 맵(20)의 좌표, 즉 (0, 0), (0, 1), (0, 2), (1, 0), (1, 1), (1, 2), (2, 0), (2, 1), (2, 2)와 1:1로 대응된다.
도 4는 특징 맵(20)의 좌표 (0, 0)과 대응되는 디컨볼루션 연산 결과가 출력 영상(26)에 기록되는 과정을 나타낸다. 이 때 특징 맵(20)의 좌표 (0, 0)과 대응되는 출력 영상(26)의 연산 지점인 (0, 0)이 출력 윈도우(24)의 중심점이 된다.
업스케일링부(14)는 특징 맵(20)의 좌표 (0, 0)의 특징 값(1)을 디컨볼루션 필터(22)의 각 픽셀에 기록된 필터 값과 각각 곱한다. 이 실시예에서, 특징 맵(20)의 모든 특징 값이 1이므로, 업스케일링부(14)의 연산에 따른 결과는 디컨볼루션 필터(22)와 항상 동일하다. 그러나 특징 맵(20)의 특징 값이 각각 다르게 설정되면 그에 따른 특징 맵(20)의 각 좌표의 특징 값과 디컨볼루션 필터(22)의 연산 결과도 달라진다.
업스케일링부(14)는 이 연산 결과 중 도 4의 출력 윈도우(24)와 출력 영상(26)이 겹쳐지는 지점들의 연산 결과를 출력 영상(26)에 기록한다. 이에 따라서 도 4와 같이 출력 영상(26)의 좌표 (0, 0), (0, 1), (0, 2), (1, 0), (1. 1), (1, 2), (2, 0), (2, 1), (2, 2)에 각각 연산 결과가 기록된다.
도면에는 도시되지 않았으나, 업스케일링부(14)는 이어서 특징 맵(20)의 좌표 (1, 0)의 특징 값을 기초로 디컨볼루션 필터(22)와 디컨볼루션 연산을 수행하고, 출력 영상(26)의 연산 지점인 (2, 0)을 출력 윈도우(24)의 중심점으로 하여 연산 결과를 출력 영상(26)에 기록한다. 이에 따라서 출력 영상(26)의 좌표 (0, 0), (0, 1), (0, 2), (1, 0), (1. 1), (1, 2), (2, 0), (2, 1), (2, 2)에는 이전 연산의 결과에 현재 연산 결과가 더해진 값이 각각 기록되고, 출력 영상(26)의 좌표 (3, 0), (3, 1), (3, 2), (4, 0), (4, 1), (4, 2)에는 현재 연산 결과가 새로 기록된다.
다음으로 업스케일링부(14)는 도 5와 같이 특징 맵의 좌표 (2, 0)과 대응되는 출력 영상(26)의 연산 지점인 (4, 0)을 출력 윈도우(24)의 중심점으로 한 연산 결과를 출력 영상(26)에 기록한다. 이에 따라서 출력 영상(26)의 좌표 (2, 0), (2, 1), (2, 2), (3, 0), (3, 1), (3, 2), (4, 0), (4, 1), (4, 2)에는 이전 연산의 결과에 현재 연산 결과가 더해진 값이 각각 기록되고, 출력 영상(26)의 좌표 (5, 0), (5, 1), (5, 2)에는 새로운 연산 결과 값(4)이 각각 기록된다.
업스케일링부(14)는 이와 같은 방식으로 출력 윈도우(24)의 중심점을 출력 영상(26)의 좌표 (0, 2), (2, 2), (4, 2), (0, 4), (2, 4), (4, 4)로 각각 이동시키면서 출력 영상(26)의 각 픽셀에 특징 맵(20)과 디컨볼루션 필터(22)의 연산 결과를 누적하여 기록한다.
도 6에는 출력 윈도우(24)의 중심점이 출력 영상(26)의 좌표 (0, 4)일 때의 연산 결과에 따른 출력 영상(26)의 픽셀 값이 도시되어 있으며, 도 7에는 출력 윈도우(24)의 중심점이 출력 영상(26)의 좌표 (4, 4)일 때의 연산 결과에 따른 출력 영상(26)의 픽셀 값이 도시되어 있다.
이와 같은 연산에 의하여, 업스케일링부(14)는 도 7에 도시된 바와 같은 출력 영상(36)을 생성한다.
<제2 실시예 >
다음으로, 스트라이드 값이 2로 설정된 상태에서 도 8의 컨볼루션 필터(30)를 이용하여 도 2의 특징 맵(20)을 업스케일링하는 제2 실시예를 설명한다.
도 8은 본 발명의 제2 실시예에서 영상 업스케일링에 사용되는 컨볼루션 필터를 나타낸다.
특징 맵 생성부(10)에 의해서 도 2와 같은 원본 영상의 특징 맵(20)이 생성되면, 컨볼루션 필터 생성부(12)는 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 생성하고자 하는 컨볼루션 필터의 크기 값을 결정한다. 컨볼루션 필터 생성부(12)는 하기 [수학식 1]에 따라서 '크기 판단 값'을 계산하고, 계산된 크기 판단 값에 따라서 컨볼루션 필터의 크기 값을 계산한다.
Figure pat00013
[수학식 1]에서,
Figure pat00014
는 바닥 함수를 나타내는 기호이고, KD는 미리 설정된 디컨볼루션 필터의 크기 값을 나타내고, SD는 스트라이드 값을 나타낸다. 예를 들어 미리 설정된 디컨볼루션 필터가 4×4 매트릭스로 구성될 경우, 이 디컨볼루션 필터의 크기 값은 4로 정의된다. 또한 3×3 해상도를 갖는 원본 영상이 6×6 해상도, 즉 2배의 해상도를 갖는 영상으로 업스케일링될 경우, 스트라이드 값은 2로 정의된다.
제2 실시예에서, 디컨볼루션 필터(22)의 크기 값(KD)은 5이고, 스트라이드 값(SD)은 2이다. 이를 [수학식 1]에 대입하면 크기 판단 값은 0으로 산출된다.
컨볼루션 필터 생성부(12)는 [수학식 1]에 따라 계산된 크기 판단 값을 미리 설정된 기준 값, 예컨대, 0.5와 비교한다. 산출된 크기 판단 값(0)이 기준 값(0.5) 미만이므로, 컨볼루션 필터 생성부(12)는 하기 [수학식 2]에 따라서 컨볼루션 필터의 크기 값(KC)을 계산한다.
Figure pat00015
디컨볼루션 필터(22)의 크기 값(KD) 5 및 스트라이드 값(SD) 2를 [수학식 2]에 대입하면, 컨볼루션 필터의 크기 값(KC)은 3으로 결정된다.
컨볼루션 필터의 크기 값(KC)이 결정되면, 컨볼루션 필터 생성부(12)는 스트라이드 값(SD)의 제곱에 해당하는 수만큼 컨볼루션 필터를 생성한다. 도 8에는 컨볼루션 필터 생성부(12)에 의해서 생성되는, 스트라이드 값(SD) 2의 제곱인 4와 동일한 4개의 컨볼루션 필터(30), 즉 제1 컨볼루션 필터(301) 내지 제4 컨볼루션 필터(304)가 도시되어 있다. 이 때 각각의 컨볼루션 필터(301 내지 304)는 앞서 결정된 컨볼루션 필터의 크기 값(KC)인 3과 대응되도록 3×3 매트릭스 형태로 각각 생성된다.
제2 실시예에서, 도 8에 도시된 4개의 컨볼루션 필터(301 내지 304)는 각각 도 9 내지 도 12에 도시되며 후술할 출력 윈도우(36)의 좌표와 대응된다. 즉, 제1 컨볼루션 필터(301)는 출력 윈도우(36)의 좌표 (0, 0)과 대응되고, 제2 컨볼루션 필터(302)는 출력 윈도우(36)의 좌표 (1, 0)과 대응된다. 또한 제3 컨볼루션 필터(303)는 출력 윈도우(36)의 좌표 (0, 1)과 대응되고, 제4 컨볼루션 필터(304)는 출력 윈도우(36)의 좌표 (1, 1)과 대응된다.
제1 컨볼루션 필터(301) 내지 제4 컨볼루션 필터(304)가 생성되면, 컨볼루션 필터 생성부(12)는 아래와 같은 방법으로 각각의 컨볼루션 필터(301 내지 304)의 픽셀에 배치될 필터 값들을 결정한다.
컨볼루션 필터 생성부(12)는 먼저 디컨볼루션 필터(22)의 크기 값(KD), 스트라이드 값(SD), 그리고 각 컨볼루션 필터(301 내지 304)와 대응되는 출력 윈도우(36)의 좌표 값(xi, yi)에 기초하여 상대 위치 값(xr, yr)을 계산한다.
이 때 컨볼루션 필터 생성부(12)는 앞서 [수학식 1]에 따라서 계산된 크기 판단 값과 기준 값의 비교 결과에 따라서 상대 위치 값(xr, yr)을 계산한다. 제2 실시예와 같이 계산된 크기 판단 값(0)이 기준 값(0,5)보다 작을 경우, 컨볼루션 필터 생성부(12)는 하기 [수학식 3]에 따라서 상대 위치 값(xr, yr)을 계산한다.
Figure pat00016
[수학식 3]에서, xr, yr은 각각 상대 위치 값을 나타내고, xi, yi는 각 컨볼루션 필터(301 내지 304)와 대응되는 출력 윈도우(36)의 좌표 값을 나타낸다.
예를 들어 제1 컨볼루션 필터(301)의 좌표 (0, 0)에 위치한 픽셀의 필터 값을 계산하고자 할 경우, 컨볼루션 필터 생성부(12)는 디컨볼루션 필터(22)의 크기 값(KD)인 5, 스트라이드 값(SD)인 2, 그리고 제1 컨볼루션 필터(301)와 대응되는 출력 윈도우(36)의 좌표 값인 (xi, yi)=(0, 0)을 각각 [수학식 3]에 대입하여 상대 위치 값 (xr, yr)=(6, 6)을 얻을 수 있다.
상대 위치 값이 계산되면, 컨볼루션 필터 생성부(12)는 앞서 계산된 상대 위치 값(xr, yr), 스트라이드 값(SD), 그리고 필터 값을 계산하고자 하는 컨볼루션 필터의 좌표 값(xo, yo)에 기초하여 하기 [수학식 4]와 같이 가중치 선택 값(xd, yd)을 계산한다.
Figure pat00017
[수학식 4]에서, xd, yd는 각각 가중치 선택 값을 나타내고, xo, yo는 필터 값을 계산하고자 하는 컨볼루션 필터의 좌표 값을 나타낸다.
예를 들어 제1 컨볼루션 필터(301)의 좌표 (0, 0)에 위치한 픽셀의 필터 값을 계산하고자 할 경우, 컨볼루션 필터 생성부(12)는 앞서 계산된 상대 위치 값 (xr, yr)=(6, 6), 스트라이드 값(SD)인 2, 그리고 필터 값을 구하고자 하는 제1 컨볼루션 필터(301)의 좌표 값 (xo, yo)=(0, 0)을 각각 [수학식 4]에 대입하여 가중치 선택 값 (xd, yd)=(4, 4)을 얻을 수 있다.
컨볼루션 필터 생성부(12)는 이와 같이 획득되는 가중치 선택 값(xd, yd)에 기초하여 디컨볼루션 필터(22)의 필터 값을 컨볼루션 필터(30)의 필터 값과 매핑시킨다.
예를 들어 컨볼루션 필터 생성부(12)는 앞서 획득된 가중치 선택 값 (xd, yd)=(4, 4)을 참조하여, 디컨볼루션 필터(22)의 좌표 (4, 4)에 대응되는 필터 값인 5를 제1 컨볼루션 필터(301)의 좌표 (0, 0)의 필터 값으로 매핑시킨다. 이 결과 제1 컨볼루션 필터(301)의 좌표 (0, 0)의 필터 값은 도 8에 도시된 바와 같이 5로 결정된다.
컨볼루션 필터 생성부(12)는 이와 같은 방식으로 도 8에 도시된 각 컨볼루션 필터(301 내지 304)의 각 좌표에 대응되는 필터 값을 모두 결정할 수 있다.
컨볼루션 필터 생성부(12)에 의해서 도 8과 같이 컨볼루션 필터(30)의 생성이 완료되면, 업스케일링부(14)는 생성된 컨볼루션 필터(30)를 이용하여 원본 영상을 업스케일링한다.
도 9 내지 도 12는 본 발명의 제2 실시예에서 도 8의 컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
제2 실시예에서, 업스케일링부(14)는 도 9 내지 도 12에 도시된 바와 같이 원본 영상의 해상도의 2배에 해당하는 해상도, 즉 6×6의 해상도를 갖는 출력 영상(26)을 생성한다.
출력 영상(26)을 생성하기 위하여, 업스케일링부(14)는 스트라이드 값(SD)인 2에 대응되는 해상도인 2×2 매트릭스 형태의 출력 윈도우(36)를 이동시키면서 출력 영상(26)의 각 픽셀 값을 계산하고 기록한다. 출력 윈도우(36)가 이동할 때마다 출력 윈도우(36)의 위치에 따른 특징 맵(20)과 컨볼루션 필터(30) 간의 연산 결과가 출력 영상(26)의 각 픽셀에 기록된다.
출력 윈도우(36)가 이동할 때, 도 9 내지 도 12에 음영으로 표시된 바와 같이 출력 영상(26)에 미리 설정된 각각의 연산 지점, 즉, 출력 영상(26)의 좌표 (0, 0), (0, 2), (0, 4), (2, 0), (2, 2), (2, 4), (4, 0), (4, 2), (4, 4)에 위치한 픽셀이 출력 윈도우(36)의 기준점, 즉 출력 윈도우(36)의 좌표 (0. 0)과 대응된다.
도 9를 참조하면, 업스케일링부(14)는 먼저 출력 윈도우(36)의 좌표 (0. 0)을 출력 영상(26)의 연산 지점인 좌표 (0, 0)과 일치하도록 출력 윈도우(36)의 위치를 설정한다. 업스케일링부(14)는 출력 윈도우(36)의 각 좌표에 대응되는 컨볼루션 필터(301 내지 304)를 선택하고, 선택된 컨볼루션 필터(30)를 도 9와 같이 특징 맵(20)과 대응시킨다.
이 때 컨볼루션 필터(30)의 중심은 특징 맵(20)의 (0, 0) 좌표와 일치한다. 이하에서 설명되는 바와 같이, 출력 윈도우(36)의 기준점이 이동할 때마다 출력 윈도우(36)의 이동 방향과 동일한 방향으로 컨볼루션 필터(30)의 중심도 이동한다.
업스케일링부(14)는 도 9와 같이 각각의 컨볼루션 필터(30)를 특징 맵(20)과 대응시켜 컨볼루션 연산을 수행하고, 연산 결과를 출력 윈도우(36)와 대응되는 출력 영상(26)의 각 픽셀에 기록한다.
예를 들어 출력 윈도우(36)의 좌표 (0, 0)과 대응되는 출력 영상(26)의 좌표 (0, 0) 픽셀에 기록될 값을 구하고자 할 경우, 업스케일링부(14)는 출력 윈도우(36)의 좌표 (0, 0)과 대응되는 제1 컨볼루션 필터(301)을 선택하여 도 9와 같이 특징 맵(20)과 대응시킨다. 이에 따라서 제1 컨볼루션 필터(301)의 좌표 (1, 1), (2, 1), (1, 2), (2, 2)에 기록된 필터 값(3, 1, 3, 1)과 특징 맵(20)의 좌표 (0, 0), (1, 0), (0, 1), (1, 1)에 기록된 값(1, 1, 1, 1)이 각각 서로 곱해진다. 이러한 연산의 결과 값인 3, 1, 3, 1을 모두 더한 값인 8이 출력 윈도우(36)의 좌표 (0, 0)과 대응되는 출력 영상(26)의 좌표 (0, 0) 픽셀에 도 9와 같이 기록된다.
이와 동일한 방식으로, 출력 영상(26)의 좌표 (1, 0), (0, 1), (1, 1)에 기록될 값들(12, 8, 12)이 각각 계산되어 출력 영상(26)에 기록된다.
업스케일링부(14)는 위와 같은 방법에 따라서 출력 윈도우(36)를 이동시키면서 출력 영상(26)의 각 픽셀에 기록될 값들을 계산하고 기록한다. 즉, 업스케일링부(14)는 출력 윈도우(36)의 기준점(0, 0)이 출력 영상(26)에 미리 설정된 각각의 연산 지점, 즉, 출력 영상(26)의 좌표 (0, 2), (0, 4), (2, 0), (2, 2), (2, 4), (4, 0), (4, 2), (4, 4)과 각각 일치하도록 출력 윈도우(36)를 이동시키면서, 출력 윈도우(36)와 대응되는 출력 영상(26)의 각 픽셀에 기록될 값들을 계산 및 기록한다.
예컨대 도 10에는 출력 윈도우(36)의 기준점이 출력 영상(26)의 좌표 (4, 0)과 일치하도록 이동되었을 때 업스케일링부(14)가 출력 영상(26)의 좌표 (4, 0), (5, 0), (4, 1), (5, 1)에 위치한 픽셀에 기록될 값들을 계산한 결과가 도시된다. 이 때 업스케일링부(14)는 컨볼루션 필터(30)의 중심이 특징 맵(20)의 좌표 (2, 0)와 일치하도록 컨볼루션 필터(30)를 특징 맵(20)과 대응시킨다.
또한 도 11에는 출력 윈도우(36)의 기준점이 출력 영상(26)의 좌표 (0, 4)와 일치하도록 이동되었을 때 업스케일링부(14)가 출력 영상(26)의 좌표 (0, 4), (1, 4), (0, 5), (1, 5)에 위치한 픽셀에 기록될 값들을 계산한 결과가 도시된다. 이 때 업스케일링부(14)는 컨볼루션 필터(30)의 중심이 특징 맵(20)의 좌표 (0, 2)와 일치하도록 컨볼루션 필터(30)를 특징 맵(20)과 대응시킨다.
또한 도 12에는 출력 윈도우(36)의 기준점이 출력 영상(26)의 좌표 (4, 4)와 일치하도록 이동되었을 때 업스케일링부(14)가 출력 영상(26)의 좌표 (4, 4), (5, 4), (4, 5), (5, 5)에 위치한 픽셀에 기록될 값들을 계산한 결과가 도시된다. 이 때 업스케일링부(14)는 컨볼루션 필터(30)의 중심이 특징 맵(20)의 좌표 (2, 2)와 일치하도록 컨볼루션 필터(30)를 특징 맵(20)과 대응시킨다.
이와 같은 연산에 의하여, 업스케일링부(14)는 도 12에 도시된 바와 같은 출력 영상(36)을 생성한다.
<제3 실시예 >
다음으로, 스트라이드 값이 3으로 설정된 상태에서 도 3의 디컨볼루션 필터(22)를 이용하여 도 2의 특징 맵(20)을 업스케일링하는 제3 실시예를 설명한다.
도 13 내지 16은 본 발명의 제3 실시예에서 도 3의 디컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
제3 실시예에서, 업스케일링 장치(1)의 업스케일링부(14)는 도 4 내지 도 7에 도시된 바와 같이 원본 영상의 해상도의 3배에 해당하는 해상도, 즉 9×9의 해상도를 갖는 출력 영상(46)을 생성한다.
출력 영상(46)을 생성하기 위하여, 업스케일링부(14)는 도 3의 디컨볼루션 필터(22)의 크기와 동일한 5×5의 크기를 갖는 출력 윈도우(44)를 이동시키면서 출력 영상(46)의 각 픽셀 값을 계산하고 기록한다. 출력 윈도우(44)가 이동할 때마다 출력 윈도우(44)의 위치에 따른 특징 맵(20)과 디컨볼루션 필터(22) 간의 연산 결과가 출력 영상(26)의 각 픽셀에 누적되어 기록된다.
출력 윈도우(44)가 이동할 때, 도 13 내지 16에 음영으로 표시된 바와 같이 출력 영상(46)에 미리 설정된 각각의 연산 지점, 즉, 출력 영상(46)의 좌표 (0, 0), (0, 3), (0, 6), (3, 0), (3, 3), (3, 6), (6, 0), (6, 3), (6, 6)에 위치한 픽셀이 출력 윈도우(44)의 중심점이 된다. 이 연산 지점들은 각각 특징 맵(20)의 좌표, 즉 (0, 0), (0, 1), (0, 2), (1, 0), (1, 1), (1, 2), (2, 0), (2, 1), (2, 2)와 1:1로 대응된다.
도 13은 특징 맵(20)의 좌표 (0, 0)과 대응되는 디컨볼루션 연산 결과가 출력 영상(46)에 기록되는 과정을 나타낸다. 이 때 특징 맵(20)의 좌표 (0, 0)과 대응되는 출력 영상(46)의 연산 지점인 (0, 0)이 출력 윈도우(44)의 중심점이 된다.
업스케일링부(14)는 특징 맵(20)의 좌표 (0, 0)의 특징 값(1)을 디컨볼루션 필터(22)의 각 픽셀에 기록된 필터 값과 각각 곱한다. 이 실시예에서, 특징 맵(20)의 모든 특징 값이 1이므로, 업스케일링부(14)의 연산에 따른 결과는 디컨볼루션 필터(22)와 항상 동일하다. 그러나 특징 맵(20)의 특징 값이 각각 다르게 설정되면 그에 따른 특징 맵(20)의 각 좌표의 특징 값과 디컨볼루션 필터(22)의 연산 결과도 달라진다.
업스케일링부(14)는 이 연산 결과 중 도 13의 출력 윈도우(44)와 출력 영상(46)이 겹쳐지는 지점들의 연산 결과를 출력 영상(26)에 기록한다. 이에 따라서 도 4와 같이 출력 영상(26)의 좌표 (0, 0), (0, 1), (0, 2), (1, 0), (1. 1), (1, 2), (2, 0), (2, 1), (2, 2)에 각각 연산 결과가 기록된다.
도면에는 도시되지 않았으나, 업스케일링부(14)는 이어서 특징 맵(20)의 좌표 (1, 0)의 특징 값을 기초로 디컨볼루션 필터(22)와 디컨볼루션 연산을 수행하고, 출력 영상(46)의 연산 지점인 (3, 0)을 출력 윈도우(44)의 중심점으로 하여 연산 결과를 출력 영상(46)에 기록한다. 이에 따라서 출력 영상(46)의 좌표 (1, 0), (1, 1), (1, 2), (2, 0), (2. 1), (2, 2)에는 이전 연산의 결과에 현재 연산 결과가 더해진 값이 각각 기록되고, 출력 영상(46)의 좌표 (3, 0), (3, 1), (3, 2), (4, 0), (4, 1), (4, 2), (5, 0), (5, 1), (5, 2)에는 현재 연산 결과가 새로 기록된다.
업스케일링부(14)는 이와 같은 방식으로 출력 윈도우(44)의 중심점을 출력 영상(46)의 좌표 (6, 0), (0, 3), (3, 3), (6, 3), (0, 6), (3, 6), (6, 6)으로 각각 이동시키면서 출력 영상(46)의 각 픽셀에 특징 맵(20)과 디컨볼루션 필터(22)의 연산 결과를 누적하여 기록한다.
도 14에는 출력 윈도우(44)의 중심점이 출력 영상(46)의 좌표 (6, 0)일 때의 연산 결과에 따른 출력 영상(46)의 픽셀 값이 도시되어 있으며, 도 15에는 출력 윈도우(44)의 중심점이 출력 영상(46)의 좌표 (0, 6)일 때의 연산 결과에 따른 출력 영상(26)의 픽셀 값이 도시되어 있다. 또한 도 16에는 출력 윈도우(44)의 중심점이 출력 영상(46)의 좌표 (6, 6)일 때의 연산 결과에 따른 출력 영상(46)의 픽셀 값이 도시되어 있다.
이와 같은 연산에 의하여, 업스케일링부(14)는 도 16에 도시된 바와 같은 출력 영상(46)을 생성한다.
<제4 실시예 >
다음으로, 스트라이드 값이 3으로 설정된 상태에서 도 17의 컨볼루션 필터(50)를 이용하여 도 2의 특징 맵(20)을 업스케일링하는 제4 실시예를 설명한다.
도 17은 본 발명의 제4 실시예에서 영상 업스케일링에 사용되는 컨볼루션 필터를 나타낸다.
앞서 제2 실시예에서 설명된 바와 같이, 특징 맵 생성부(10)에 의해서 도 2와 같은 원본 영상의 특징 맵(20)이 생성되면, 컨볼루션 필터 생성부(12)는 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 생성하고자 하는 컨볼루션 필터의 크기 값을 결정한다. 컨볼루션 필터 생성부(12)는 [수학식 1]에 따라서 '크기 판단 값'을 계산하고, 계산된 크기 판단 값에 따라서 컨볼루션 필터의 크기 값을 계산한다.
제4 실시예에서, 디컨볼루션 필터(22)의 크기 값(KD)은 5이고, 스트라이드 값(SD)은 3이다. 이를 [수학식 1]에 대입하면 크기 판단 값은 1로 산출된다.
컨볼루션 필터 생성부(12)는 [수학식 1]에 따라 계산된 크기 판단 값을 미리 설정된 기준 값, 예컨대, 0.5와 비교한다. 산출된 크기 판단 값(1)이 기준 값(0.5) 이상이므로, 컨볼루션 필터 생성부(12)는 하기 [수학식 5]에 따라서 컨볼루션 필터의 크기 값(KC)을 계산한다.
Figure pat00018
[수학식 5]에서,
Figure pat00019
는 천장 함수를 나타내는 기호이다.
디컨볼루션 필터(22)의 크기 값(KD) 5 및 스트라이드 값(SD) 3을 [수학식 5]에 대입하면, 컨볼루션 필터의 크기 값(KC)은 2로 결정된다.
컨볼루션 필터의 크기 값(KC)이 결정되면, 컨볼루션 필터 생성부(12)는 스트라이드 값(SD)의 제곱에 해당하는 수만큼 컨볼루션 필터를 생성한다. 도 17에는 컨볼루션 필터 생성부(12)에 의해서 생성되는, 스트라이드 값(SD) 3의 제곱인 9와 동일한 9개의 컨볼루션 필터(50), 즉 제1 컨볼루션 필터(501) 내지 제9 컨볼루션 필터(509)가 도시되어 있다. 이 때 각각의 컨볼루션 필터(501 내지 509)는 앞서 결정된 컨볼루션 필터의 크기 값(KC)인 2와 대응되도록 2×2 매트릭스 형태로 각각 생성된다.
제4 실시예에서, 도 17에 도시된 9의 컨볼루션 필터(501 내지 509)는 각각 도 18 내지 도 21에 도시되며 후술할 출력 윈도우(56)의 좌표와 대응된다. 즉, 제1 컨볼루션 필터(501)는 출력 윈도우(56)의 좌표 (0, 0)과 대응되고, 제3 컨볼루션 필터(503)는 출력 윈도우(56)의 좌표 (2, 0)와 대응된다. 또한 제5 컨볼루션 필터(505)는 출력 윈도우(56)의 좌표 (1, 1)과 대응되고, 제8 컨볼루션 필터(508)는 출력 윈도우(56)의 좌표 (1, 2)과 대응된다.
제1 컨볼루션 필터(501) 내지 제9 컨볼루션 필터(509)가 생성되면, 컨볼루션 필터 생성부(12)는 아래와 같은 방법으로 각각의 컨볼루션 필터(501 내지 509)의 픽셀에 배치될 필터 값들을 결정한다.
컨볼루션 필터 생성부(12)는 먼저 디컨볼루션 필터(22)의 크기 값(KD), 스트라이드 값(SD), 그리고 각 컨볼루션 필터(501 내지 509)와 대응되는 출력 윈도우(56)의 좌표 값(xi, yi)에 기초하여 상대 위치 값(xr, yr)을 계산한다.
이 때 컨볼루션 필터 생성부(12)는 앞서 [수학식 1]에 따라서 계산된 크기 판단 값과 기준 값의 비교 결과에 따라서 상대 위치 값(xr, yr)을 계산한다. 제4 실시예와 같이 계산된 크기 판단 값(1)이 기준 값(0,5) 이상일 경우, 컨볼루션 필터 생성부(12)는 하기 [수학식 6]에 따라서 상대 위치 값(xr, yr)을 계산한다.
Figure pat00020
[수학식 6]에서, xr, yr은 각각 상대 위치 값을 나타내고, xi, yi는 각 컨볼루션 필터(501 내지 509)와 대응되는 출력 윈도우(56)의 좌표 값을 나타낸다.
예를 들어 제1 컨볼루션 필터(501)의 좌표 (0, 0)에 위치한 픽셀의 필터 값을 계산하고자 할 경우, 컨볼루션 필터 생성부(12)는 디컨볼루션 필터(22)의 크기 값(KD)인 5, 스트라이드 값(SD)인 3, 그리고 제1 컨볼루션 필터(501)와 대응되는 출력 윈도우(56)의 좌표 값인 (xi, yi)=(0, 0)을 각각 [수학식 6]에 대입하여 상대 위치 값 (xr, yr)=(5, 5)을 얻을 수 있다.
상대 위치 값이 계산되면, 컨볼루션 필터 생성부(12)는 앞서 계산된 상대 위치 값(xr, yr), 스트라이드 값(SD), 그리고 필터 값을 계산하고자 하는 컨볼루션 필터의 좌표 값(xo, yo)에 기초하여 [수학식 4]와 같이 가중치 선택 값(xd, yd)을 계산한다.
예를 들어 제1 컨볼루션 필터(301)의 좌표 (0, 0)에 위치한 픽셀의 필터 값을 계산하고자 할 경우, 컨볼루션 필터 생성부(12)는 앞서 계산된 상대 위치 값 (xr, yr)=(5, 5), 스트라이드 값(SD)인 3, 그리고 필터 값을 구하고자 하는 제1 컨볼루션 필터(501)의 좌표 값 (xo, yo)=(0, 0)을 각각 [수학식 4]에 대입하여 가중치 선택 값 (xd, yd)=(2, 2)을 얻을 수 있다.
컨볼루션 필터 생성부(12)는 이와 같이 획득되는 가중치 선택 값(xd, yd)에 기초하여 디컨볼루션 필터(22)의 필터 값을 컨볼루션 필터(30)의 필터 값과 매핑시킨다.
예를 들어 컨볼루션 필터 생성부(12)는 앞서 획득된 가중치 선택 값 (xd, yd)=(2, 2)을 참조하여, 디컨볼루션 필터(22)의 좌표 (2, 2)에 대응되는 필터 값인 3을 제1 컨볼루션 필터(501)의 좌표 (0, 0)의 필터 값으로 매핑시킨다. 이 결과 제1 컨볼루션 필터(501)의 좌표 (0, 0)의 필터 값은 도 17에 도시된 바와 같이 3으로 결정된다.
컨볼루션 필터 생성부(12)는 이와 같은 방식으로 도 17에 도시된 각 컨볼루션 필터(501 내지 509)의 각 좌표에 대응되는 필터 값을 모두 결정할 수 있다.
컨볼루션 필터 생성부(12)에 의해서 도 17과 같이 컨볼루션 필터(50)의 생성이 완료되면, 업스케일링부(14)는 생성된 컨볼루션 필터(50)를 이용하여 원본 영상을 업스케일링한다.
도 18 내지 도 21는 본 발명의 제4 실시예에서 도 17의 컨볼루션 필터를 사용하여 원본 영상을 업스케일링하는 과정을 나타낸다.
제4 실시예에서, 업스케일링부(14)는 도 18 내지 도 21에 도시된 바와 같이 원본 영상의 해상도의 3배에 해당하는 해상도, 즉 9×9의 해상도를 갖는 출력 영상(56)을 생성한다.
출력 영상(46)을 생성하기 위하여, 업스케일링부(14)는 스트라이드 값(SD)인 3에 대응되는 해상도인 3×3 매트릭스 형태의 출력 윈도우(56)를 이동시키면서 출력 영상(46)의 각 픽셀 값을 계산하고 기록한다. 출력 윈도우(56)를 이동시키면서 출력 영상(46)의 각 픽셀 값을 계산하고 기록한다. 출력 윈도우(56)가 이동할 때마다 출력 윈도우(56)의 위치에 따른 특징 맵(20)과 컨볼루션 필터(30) 간의 연산 결과가 출력 영상(46)의 각 픽셀에 기록된다.
즉, 출력 영상(46)의 좌표 (0, 0), (0, 3), (0, 6), (3, 0), (3, 3), (3, 6), (6, 0), (6, 3), (6, 6)에 위치한 픽셀이 출력 윈도우(44)의 중심점이 된다. 이 연산 지점들은 각각 특징 맵(20)의 좌표, 즉 (0, 0), (0, 1), (0, 2), (1, 0), (1, 1), (1, 2), (2, 0), (2, 1), (2, 2)와 1:1로 대응된다.
출력 윈도우(56)가 이동할 때, 도 18 내지 도 21에 음영으로 표시된 바와 같이 출력 영상(46)에 미리 설정된 각각의 연산 지점, 즉, 출력 영상(46)의 좌표 (0, 0), (0, 3), (0, 6), (3, 0), (3, 3), (3, 6), (6, 0), (6, 3), (6, 6)에 위치한 픽셀이 출력 윈도우(56)의 중심점이 된다. 이 연산 지점들은 각각 특징 맵(20)의 좌표, 즉 (0, 0), (0, 1), (0, 2), (1, 0), (1, 1), (1, 2), (2, 0), (2, 1), (2, 2)와 1:1로 대응된다.
도 18을 참조하면, 업스케일링부(14)는 먼저 출력 윈도우(56)의 좌표 (0. 0)을 출력 영상(46)의 연산 지점인 좌표 (0, 0)과 일치하도록 출력 윈도우(46)의 위치를 설정한다. 업스케일링부(14)는 출력 윈도우(46)의 각 좌표에 대응되는 컨볼루션 필터(501 내지 509)를 선택하고, 선택된 컨볼루션 필터(50)를 도 9와 같이 특징 맵(20)과 대응시킨다.
이 때 컨볼루션 필터(50)의 기준점은 특징 맵(20)의 (0, 0) 좌표와 일치한다. 이하에서 설명되는 바와 같이, 출력 윈도우(56)의 기준점이 이동할 때마다 출력 윈도우(56)의 이동 방향과 동일한 방향으로 컨볼루션 필터(50)의 기준점도 이동한다.
업스케일링부(14)는 도 9와 같이 각각의 컨볼루션 필터(30)를 특징 맵(20)과 대응시켜 컨볼루션 연산을 수행하고, 연산 결과를 출력 윈도우(56)와 대응되는 출력 영상(46)의 각 픽셀에 기록한다.
예를 들어 출력 윈도우(56)의 좌표 (0, 0)과 대응되는 출력 영상(46)의 좌표 (0, 0) 픽셀에 기록될 값을 구하고자 할 경우, 업스케일링부(14)는 출력 윈도우(56)의 좌표 (0, 0)과 대응되는 제1 컨볼루션 필터(501)을 선택하여 도 18과 같이 특징 맵(20)과 대응시킨다. 이에 따라서 제1 컨볼루션 필터(501)의 좌표 (1, 1), (2, 1), (1, 2), (2, 2)에 기록된 필터 값(3, 0, 0, 0)과 특징 맵(20)의 좌표 (0, 0), (1, 0), (0, 1), (1, 1)에 기록된 값(1, 1, 1, 1)이 각각 서로 곱해진다. 이러한 연산의 결과 값인 3, 0, 0, 0을 모두 더한 값인 3이 출력 윈도우(36)의 좌표 (0, 0)과 대응되는 출력 영상(46)의 좌표 (0, 0) 픽셀에 도 9와 같이 기록된다.
이와 동일한 방식으로, 출력 영상(46)의 좌표 (1, 0), (2, 0), (0, 1), (1, 1), (2, 1), (0, 2), (1, 2), (2, 2)에 기록될 값들(5, 7, 6, 10, 14, 6, 10, 14)이 각각 계산되어 출력 영상(46)에 기록된다.
업스케일링부(14)는 위와 같은 방법에 따라서 출력 윈도우(56)를 이동시키면서 출력 영상(46)의 각 픽셀에 기록될 값들을 계산하고 기록한다. 즉, 업스케일링부(14)는 출력 윈도우(56)의 기준점(0, 0)이 출력 영상(46)에 미리 설정된 각각의 연산 지점, 즉, 출력 영상(46)의 좌표 (3, 0), (6, 0), (0, 3), (3, 3), (6, 3), (0, 6), (3, 6), (6, 6)과 각각 일치하도록 출력 윈도우(56)를 이동시키면서, 출력 윈도우(56)와 대응되는 출력 영상(46)의 각 픽셀에 기록될 값들을 계산 및 기록한다.
예컨대 도 19에는 출력 윈도우(56)의 기준점이 출력 영상(46)의 좌표 (6, 0)과 일치하도록 이동되었을 때 업스케일링부(14)가 출력 영상(46)의 좌표 (6, 0), (7, 0), (8, 0), (6, 1), (7, 1), (8, 1), (6, 2), (7, 2), (8, 2)에 위치한 픽셀에 기록될 값들을 계산한 결과가 도시된다. 이 때 업스케일링부(14)는 컨볼루션 필터(50)의 기준점이 특징 맵(20)의 좌표 (2, 0)와 일치하도록 컨볼루션 필터(50)를 특징 맵(20)과 대응시킨다.
또한 도 20에는 출력 윈도우(56)의 기준점이 출력 영상(46)의 좌표 (0, 6)과 일치하도록 이동되었을 때 업스케일링부(14)가 출력 영상(46)의 좌표 (0, 6), (1, 6), (2, 6), (0, 7), (1, 7), (2, 7), (0, 8), (1, 8), (2, 8)에 위치한 픽셀에 기록될 값들을 계산한 결과가 도시된다. 이 때 업스케일링부(14)는 컨볼루션 필터(50)의 기준점이 특징 맵(20)의 좌표 (0, 2)와 일치하도록 컨볼루션 필터(50)를 특징 맵(20)과 대응시킨다.
또한 도 21에는 출력 윈도우(56)의 기준점이 출력 영상(46)의 좌표 (6, 6)과 일치하도록 이동되었을 때 업스케일링부(14)가 출력 영상(46)의 좌표 (6, 6), (7, 6), (8, 6), (6, 7), (7, 7), (8, 7), (6, 8), (7, 8), (8, 8)에 위치한 픽셀에 기록될 값들을 계산한 결과가 도시된다. 이 때 업스케일링부(14)는 컨볼루션 필터(50)의 중심이 특징 맵(20)의 좌표 (2, 2)와 일치하도록 컨볼루션 필터(50)를 특징 맵(20)과 대응시킨다.
이와 같은 연산에 의하여, 업스케일링부(14)는 도 22에 도시된 바와 같은 출력 영상(36)을 생성한다.
도 22는 본 발명의 일 실시예에 따른 영상 업스케일링 방법을 나타내는 흐름도이다.
본 발명의 일 실시예에 따른 영상 업스케일링 장치(1)의 특징 맵 생성부(10)는 먼저 원본 영상에 대한 특징 맵을 생성한다(S82).
이어서 영상 업스케일링 장치(1)의 컨볼루션 필터 생성부(12)는 미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하고(S84), 결정된 컨볼루션 필터의 크기 값 및 스트라이드 값에 기초하여 컨볼루션 필터를 생성한다(S86).
본 발명의 일 실시예에서, 컨볼루션 필터의 크기 값을 결정하는 단계(S84)는 [수학식 1]에 따라서 크기 판단 값을 계산하는 단계 및 계산된 크기 판단 값을 미리 설정된 기준 값과 비교하여 컨볼루션 필터의 크기 값을 결정하는 단계를 포함한다.
또한 본 발명의 일 실시예에서, 컨볼루션 필터 생성부(12)에 의해 계산된 크기 판단 값이 기준 값 미만이면 컨볼루션 필터의 크기 값(KC)은 [수학식 2]에 따라서 계산되고, 크기 판단 값이 기준 값 이상이면 컨볼루션 필터의 크기 값(KC)은 [수학식 5]에 따라서 계산된다.
또한 본 발명의 일 실시예에서, 컨볼루션 필터를 생성하는 단계(S86)는 디컨볼루션 필터의 크기 값, 스트라이드 값, 출력 윈도우의 좌표 값에 기초하여 상대 위치 값을 계산하는 단계, 상대 위치 값, 스트라이드 값, 컨볼루션 필터의 좌표 값에 기초하여 가중치 선택 값을 계산하는 단계 및 가중치 선택 값에 기초하여 디컨볼루션 필터의 필터 값을 컨볼루션 필터의 필터 값과 매핑시키는 단계를 포함한다.
본 발명의 일 실시예에서, 컨볼루션 필터 생성부(12)에 의해 계산된 크기 판단 값이 기준 값 미만이면 상대 위치 값은 [수학식 3]에 따라서 계산되고, 크기 판단 값이 기준 값 이상이면 상대 위치 값은 [수학식 6]에 따라서 계산된다. 또한 가중치 선택 값은 [수학식 4]에 따라서 계산된다.
마지막으로, 업스케일링부(14)는 원본 영상의 특징 맵 및 컨볼루션 필터에 기초하여 업스케일링된 영상을 생성한다(S88).
본 발명의 일 실시예에서, 업스케일링된 영상을 생성하는 단계(S88)는 출력 윈도우를 스트라이드 값만큼 이동시키면서, 원본 영상의 특징 맵과 컨볼루션 필터의 연산 결과를 출력 영상에 매핑하여 업스케일링된 영상을 생성하는 단계를 포함한다.
도 7 및 도 12의 비교를 통해 알 수 있듯이, 제1 실시예에 의해서 생성되는 출력 영상(36)은 제2 실시예에 의해서 생성되는 출력 영상(36)과 서로 동일하다. 마찬가지로, 도 16에 도시된 제3 실시예에 의해서 생성되는 출력 영상(46)은 도 21에 도시된 제4 실시예에 의해서 생성되는 출력 영상(46)과 동일하다.
제1 실시예 및 제3 실시예에 따른 원본 영상의 업스케일링 방법과 제2 실시예 및 제4 실시예에 따른 원본 영상의 업스케일링 방법을 서로 비교하면, 제2 실시예 및 제4 실시예와 같이 다수의 컨볼루션 필터(30)를 사용하여 업스케일링을 수행하는 것이 제1 실시예 및 제3 실시예와 같이 디컨볼루션 필터(22)를 사용하는 것보다 연산량 및 연산 속도 면에서 유리하다.
제1 실시예 및 제3 실시예와 같이 디컨볼루션 필터(22)를 사용할 경우, 출력 윈도우가 이동할 때마다 특징 맵(20)의 1개 픽셀 값과 디컨볼루션 필터(22)의 필터 값 각각에 대한 연산이 수행되어야 하므로, 출력 윈도우가 이동할 때마다 디컨볼루션 필터(22)의 필터 값의 개수와 동일한 25회의 연산이 이루어진다.
뿐만 아니라 제1 실시예 및 제3 실시예에 따르면 출력 윈도우가 이동할 때마다 출력 영상에 기록된 이전의 연산 결과를 현재 연산 결과와 합산하는 연산이 별도로 수행되어야 한다.
그러나 제2 실시예 및 제4 실시예에 따르면, 출력 윈도우가 이동할 때마다 다수의 컨볼루션 필터 각각과 특징 맵(20) 간의 연산이 이루어지는데, 각각의 컨볼루션 필터와 특징 맵(20)의 연산은 업스케일링부(14)에 의해서 병렬적으로 처리될 수 있다. 따라서 제2 실시예 및 제4 실시예에서는 출력 윈도우가 이동할 때마다 컨볼루션 필터 1개의 픽셀 수와 동일한 9회의 연산이 이루어진다.
또한 제2 실시예 및 제4 실시예에서는 출력 윈도우가 이동할 때마다 다수의 컨볼루션 필터 각각과 특징 맵(20) 간의 연산만이 이루어지며, 제1 실시예 및 제3 실시예와 같이 이전 연산 결과와 현재 연산 결과를 합산하는 연산은 수행되지 않는다.
따라서, 제2 실시예 및 제4 실시예와 같이 다수의 컨볼루션 필터를 이용하여 원본 영상의 업스케일링을 수행하면 제1 실시예 및 제3 실시예와 같이 디컨볼루션 필터를 이용할 때보다 연산량이 줄어들고 연산 속도가 빨라지는 장점이 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (16)

  1. 원본 영상에 대한 특징 맵을 생성하는 단계;
    미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하는 단계;
    상기 컨볼루션 필터의 크기 값 및 상기 스트라이드 값에 기초하여 상기 컨볼루션 필터를 생성하는 단계; 및
    상기 원본 영상의 특징 맵 및 상기 컨볼루션 필터에 기초하여 업스케일링된 영상을 생성하는 단계를 포함하는
    영상 업스케일링 방법.
  2. 제1항에 있어서,
    상기 컨볼루션 필터의 크기 값을 결정하는 단계는
    하기 [수학식 1]에 따라서 크기 판단 값을 계산하는 단계; 및
    상기 크기 판단 값을 미리 설정된 기준 값과 비교하여 상기 컨볼루션 필터의 크기 값을 결정하는 단계를 포함하는
    영상 업스케일링 방법.

    [수학식 1]
    Figure pat00021

  3. 제2항에 있어서,
    상기 크기 판단 값이 상기 기준 값 미만이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 2]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 3]에 따라서 계산되는
    영상 업스케일링 방법.

    [수학식 2]
    Figure pat00022


    [수학식 3]
    Figure pat00023

  4. 제1항에 있어서,
    상기 컨볼루션 필터는
    상기 스트라이드 값의 제곱에 해당하는 값과 동일한 수만큼 생성되는
    영상 업스케일링 방법.
  5. 제2항에 있어서,
    상기 컨볼루션 필터를 생성하는 단계는
    상기 디컨볼루션 필터의 크기 값, 상기 스트라이드 값, 출력 윈도우의 좌표 값에 기초하여 상대 위치 값을 계산하는 단계;
    상기 상대 위치 값, 상기 스트라이드 값, 상기 컨볼루션 필터의 좌표 값에 기초하여 가중치 선택 값을 계산하는 단계; 및
    상기 가중치 선택 값에 기초하여 상기 디컨볼루션 필터의 필터 값을 상기 컨볼루션 필터의 필터 값과 매핑시키는 단계를 포함하는
    영상 업스케일링 방법.
  6. 제5항에 있어서,
    상기 크기 판단 값이 상기 기준 값 미만이면 상기 상대 위치 값은 하기 [수학식 4]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 상대 위치 값은 하기 [수학식 5]에 따라서 계산되는
    영상 업스케일링 방법.

    [수학식 4]
    Figure pat00024


    [수학식 5]
    Figure pat00025

  7. 제5항에 있어서,
    상기 가중치 선택 값은 하기 [수학식 7]에 따라서 계산되는
    영상 업스케일링 방법.

    [수학식 7]
    Figure pat00026

  8. 제1항에 있어서,
    상기 업스케일링된 영상을 생성하는 단계는
    출력 윈도우를 상기 스트라이드 값만큼 이동시키면서, 상기 원본 영상의 특징 맵과 상기 컨볼루션 필터의 연산 결과를 상기 출력 영상에 매핑하여 상기 업스케일링된 영상을 생성하는 단계를 포함하는
    영상 업스케일링 방법.
  9. 원본 영상에 대한 특징 맵을 생성하는 특징 맵 생성부;
    미리 설정된 디컨볼루션 필터의 크기 값 및 미리 설정된 스트라이드 값에 기초하여 컨볼루션 필터의 크기 값을 결정하고, 상기 컨볼루션 필터의 크기 값 및 상기 스트라이드 값에 기초하여 상기 컨볼루션 필터를 생성하는 컨볼루션 필터 생성부;
    상기 원본 영상의 특징 맵 및 상기 컨볼루션 필터에 기초하여 업스케일링된 영상을 생성하는 업스케일링부를 포함하는
    영상 업스케일링 장치.
  10. 제9항에 있어서,
    상기 컨볼루션 필터 생성부는
    하기 [수학식 1]에 따라서 크기 판단 값을 계산하고, 상기 크기 판단 값을 미리 설정된 기준 값과 비교하여 상기 컨볼루션 필터의 크기 값을 결정하는
    영상 업스케일링 장치.

    [수학식 1]
    Figure pat00027

  11. 제10항에 있어서,
    상기 크기 판단 값이 상기 기준 값 미만이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 2]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 컨볼루션 필터의 크기 값(KC)은 하기 [수학식 3]에 따라서 계산되는
    영상 업스케일링 장치.

    [수학식 2]
    Figure pat00028


    [수학식 3]
    Figure pat00029

  12. 제9항에 있어서,
    상기 컨볼루션 필터는
    상기 스트라이드 값의 제곱에 해당하는 값과 동일한 수만큼 생성되는
    영상 업스케일링 장치.
  13. 제10항에 있어서,
    상기 컨볼루션 필터 생성부는
    상기 디컨볼루션 필터의 크기 값, 상기 스트라이드 값, 출력 윈도우의 좌표 값에 기초하여 상대 위치 값을 계산하고, 상기 상대 위치 값, 상기 스트라이드 값, 상기 컨볼루션 필터의 좌표 값에 기초하여 가중치 선택 값을 계산하고, 상기 가중치 선택 값에 기초하여 상기 디컨볼루션 필터의 필터 값을 상기 컨볼루션 필터의 필터 값과 매핑시키는
    영상 업스케일링 장치.
  14. 제13항에 있어서,
    상기 크기 판단 값이 상기 기준 값 미만이면 상기 상대 위치 값은 하기 [수학식 4]에 따라서 계산되고, 상기 크기 판단 값이 상기 기준 값 이상이면 상기 상대 위치 값은 하기 [수학식 5]에 따라서 계산되는
    영상 업스케일링 장치.

    [수학식 4]
    Figure pat00030


    [수학식 5]
    Figure pat00031

  15. 제13항에 있어서,
    상기 가중치 선택 값은 하기 [수학식 7]에 따라서 계산되는
    영상 업스케일링 장치.

    [수학식 7]
    Figure pat00032

  16. 제9항에 있어서,
    상기 업스케일링부는
    출력 윈도우를 상기 스트라이드 값만큼 이동시키면서, 상기 원본 영상의 특징 맵과 상기 컨볼루션 필터의 연산 결과를 상기 출력 영상에 매핑하여 상기 업스케일링된 영상을 생성하는
    영상 업스케일링 장치.
KR1020180114053A 2018-09-21 2018-09-21 영상 업스케일링 방법 및 장치 KR102550327B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180114053A KR102550327B1 (ko) 2018-09-21 2018-09-21 영상 업스케일링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180114053A KR102550327B1 (ko) 2018-09-21 2018-09-21 영상 업스케일링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200034352A true KR20200034352A (ko) 2020-03-31
KR102550327B1 KR102550327B1 (ko) 2023-06-30

Family

ID=70002572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180114053A KR102550327B1 (ko) 2018-09-21 2018-09-21 영상 업스케일링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102550327B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022245046A1 (ko) * 2021-05-21 2022-11-24 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018170393A2 (en) * 2017-03-17 2018-09-20 Portland State University Frame interpolation via adaptive convolution and adaptive separable convolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018170393A2 (en) * 2017-03-17 2018-09-20 Portland State University Frame interpolation via adaptive convolution and adaptive separable convolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Vincent Dumoulin et al., "A guide to convolution arithmetic for deep learning", arXiv:1603.07285, (2018.01.11.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022245046A1 (ko) * 2021-05-21 2022-11-24 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102550327B1 (ko) 2023-06-30

Similar Documents

Publication Publication Date Title
US10951875B2 (en) Display processing circuitry
TWI656520B (zh) 使用串列面板的超高解析度顯示
US6677939B2 (en) Stereoscopic image processing apparatus and method, stereoscopic vision parameter setting apparatus and method and computer program storage medium information processing method and apparatus
CN104469341B (zh) 显示装置及其控制方法
RU2692432C2 (ru) Способ и устройство для формирования трехмерного изображения
JP5366547B2 (ja) 立体視表示装置
JP6060329B2 (ja) ３ｄディスプレイ装置で３次元映像を視覚化する方法および３ｄディスプレイ装置
EP2329313A2 (en) Improvements in and relating to electronic visual displays
US8031191B2 (en) Apparatus and method for generating rendering data of images
CN111970503B (zh) 二维图像的三维化方法、装置、设备及计算机可读存储介质
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP2021517390A (ja) 画素値対画素マッピングによる画像ディスプレイの制御
JP2014134731A (ja) 表示装置、画像処理装置、画像処理方法、および電子機器
JP5058689B2 (ja) 質感映像表示装置
US8797383B2 (en) Method for stereoscopic illustration
WO2022263923A1 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
JPWO2013073007A1 (ja) 立体画像表示装置、画像処理装置および画像処理方法
US11170678B2 (en) Display apparatus and method incorporating gaze-based modulation of pixel values
KR102550327B1 (ko) 영상 업스케일링 방법 및 장치
WO2023231700A1 (zh) 一种显示装置的驱动方法、装置及显示设备
TWI788794B (zh) 多視像風格轉換之系統和方法
CN108989798A (zh) 显示装置串扰度值的确定方法、装置、设备及存储介质
US20200021796A1 (en) Stereo weaving for head-tracked autostereoscopic displays
CN106055293A (zh) 用于显示图像的方法、装置和系统
US11816817B2 (en) Method and apparatus for processing an image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant