KR20100033712A

KR20100033712A - 영역 구분을 이용한 영상 보간 장치 및 그 방법

Info

Publication number: KR20100033712A
Application number: KR1020080092708A
Authority: KR
Inventors: 임일순
Original assignee: 삼성전자주식회사
Priority date: 2008-09-22
Filing date: 2008-09-22
Publication date: 2010-03-31
Also published as: JP2012506646A; WO2010032912A2; WO2010032912A3; US8340473B2; KR101527409B1; EP2327056A2; EP2327056A4; US20100074558A1; JP5485277B2

Abstract

영역 구분을 이용한 영상 보간 장치 및 그 방법을 개시한다. 영상 보간 장치는 에지(edge) 부근의 화질 열화를 개선하기 위해 입력 영상의 그레디언트(gradient) 값에 대한 thinning 처리를 거친 후 에지 여부를 판단하고 영상의 보간방향에 따른 영역 분할 및 픽셀 대체를 통해 최적의 지역 정보를 이용하여 영상의 해상도를 변환할 수 있다.

해상도 변환 기술, 선형 필터링, 그레디언트(gradient) 값, thinning 처리, 보간방향, 영역 분할, 픽셀 대체

Description

영역 구분을 이용한 영상 보간 장치 및 그 방법{APPARATUS AND METHOD FOR INTERPOLATING IMAGE USING REGION SEGMENTATION}

본 발명의 실시예들은 영상의 해상도 변환을 위한 영상 보간 기법에 관한 것으로서, 특히 입력 영상의 지역 정보를 효과적으로 사용하여 자연스러운 고해상도의 영상을 생성하는 기술과 관련된 것이다.

최근 다양한 해상도를 가지는 디스플레이 장치가 출시되면서 입력 영상의 해상도를 디스플레이 장치에서 제공하는 해상도에 맞게 변환하는 과정이 필수적이다.

저해상도의 영상을 고해상도로 변환하는 해상도 변환 기술은 크게 복원 기반 방법(reconstruction based method), 선형 필터링 기술을 이용한 방법, 비선형 필터링 기술을 이용한 방법으로 나눌 수 있다.

저해상도의 영상을 고해상도 영상으로 변환하는 경우, 에지 부근에서 많은 화질 열화가 발생할 수 있다. 대표적인 화질 열화로는 해상도 변환 결과 영상의 에지 부근에서 톱니 모양의 패턴이 발생하는 지그재그 현상(jaggedness), 해상도 변환으로 인한 선명도 저하를 발생하는 블러링(blurring) 현상, 그리고 필터 특성 의 저하로 인한 에지 근방의 중첩 현상(aliasing) 등이 있다. 결국, 에지 부근에서의 처리가 해상도 변경에서 가장 중요한 역할을 수행한다.

따라서, 기존 해상도 변환 기술의 한계를 극복하고 저해상도의 영상을 고해상도의 영상으로 변환함에 있어 보다 자연스러운 영상 복원과 함께 에지 부근에서의 정교한 처리를 통해 화질 개선을 위한 기술 연구가 지속적으로 필요하다.

본 발명의 일실시예에 따른 영상 보간 장치는 입력 영상에 대하여 각 픽셀의 그레디언트(gradient) 값을 산출하는 그레디언트 산출부, 상기 그레디언트 값을 이용하여 상기 픽셀이 에지(edge)에 해당하는 픽셀인지 여부를 판단하는 에지 판단부, 보간 영역 내에 에지에 해당하는 픽셀이 존재할 경우 상기 보간 영역 내에서 보간할 픽셀의 위치에 따라 보간방향을 판단하는 보간방향 판단부, 상기 보간방향에 따라 상기 보간할 픽셀을 기준으로 상기 보간 영역을 분할한 후 상기 보간 영역 내 픽셀의 픽셀값을 대체하는 픽셀 대체부 및 상기 대체된 픽셀값을 이용하여 상기 보간할 픽셀에 대한 보간을 실행하는 보간 실행부를 포함할 수 있다.

이때, 상기 에지 판단부는 상기 픽셀에 대하여 수평방향의 그레디언트 값과 수직방향의 그레디언트 값의 비교 결과를 기초로 상기 픽셀이 에지 인지 여부를 판단할 수 있다.

또한, 상기 픽셀 대체부는 상기 보간방향이 대각방향일 경우 상기 보간할 픽셀을 기준으로 상기 보간 영역을 사분면으로 분할하는 대각방향 영역 분할부와, 상기 사분면 각각에 포함된 픽셀을 에지 여부에 따라 참여 픽셀과 비참여 픽셀을 분류한 후, 상기 참여 픽셀의 픽셀값을 이용하여 상기 비참여 픽셀의 픽셀값을 대체하는 대각방향 픽셀 대체부를 포함할 수 있다.

또한, 상기 픽셀 대체부는 상기 보간방향이 수직방향일 경우 상기 보간할 픽셀을 기준으로 수직방향으로 상기 보간 영역의 일부를 분할하는 수직방향 영역 분할부와, 상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 수직방향 픽셀 대체부를 포함할 수 있다.

또한, 상기 픽셀 대체부는 상기 보간방향이 수평방향일 경우 상기 보간할 픽셀을 기준으로 수평방향으로 상기 보간 영역의 일부를 분할하는 수평방향 영역 분할부와, 상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 수평방향 픽셀 대체부를 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 영상 보간 방법은 입력 영상에 대하여 각 픽셀의 그레디언트(gradient) 값을 산출하는 단계, 상기 그레디언트 값을 이용하여 상기 픽셀이 에지(edge)에 해당하는 픽셀인지 여부를 판단하는 단계, 보간 영역 내에 에지에 해당하는 픽셀이 존재할 경우 상기 보간 영역 내에서 보간할 픽셀의 위치에 따라 보간방향을 판단하는 단계, 상기 보간방향에 따라 상기 보간할 픽셀을 기준으로 상기 보간 영역을 분할한 후 상기 보간 영역 내 픽셀의 픽셀값을 대체하는 단계 및 상기 대체된 픽셀값을 이용하여 상기 보간할 픽셀에 대한 보간을 실행하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 입력 영상의 에지 부근에서 발생하는 열화 현상을 배제할 수 있는 새로운 선형 필터링 기술을 제공함으로써 에지 주변의 영상이 보다 선명하고 자연스럽게 복원될 수 있다.

본 발명의 일실시예에 따르면, 보간방향에 따라 최적의 지역 정보를 효율적으로 이용하여 영상의 해상도를 높이고 실시간 처리에 매우 적합한 영상 보간 기법 을 제공함으로써 고화질의 영상이 제공될 수 있다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

도 1은 본 발명의 일실시예에 따른 영상 보간 장치를 나타낸 도면이다.

도 1을 참조하면, 영상 보간 장치는 그레디언트 산출부(101)와, 에지 판단부(102)와, 보간방향 판단부(103)와, 픽셀 대체부(104)와, 보간 실행부(105)로 구성될 수 있다.

그레디언트 산출부(101)는 입력 영상에 대하여 각 픽셀의 그레디언트 값(G)을 산출한다.

도 2는 그레디언트 산출부(101)의 일례를 나타낸 도면이다.

도 2를 참조하면, 그레디언트 산출부(101)는 각 픽셀의 그레디언트 값(G)을 산출하기 위하여 그레디언트 필터(201)를 사용할 수 있다. 이 때, 그레디언트 필터(201)로 sobel filter가 사용될 수 있다.

일례로, 그레디언트 산출부(101)는 그레디언트 필터(201)를 통해 수평방향의 그레디언트 값(Gx)과 수직방향의 그레디언트 값(Gy)을 산출한 후, 산출된 수평방향의 그레디언트 값(Gx)과 수직방향의 그레디언트 값(Gy)의 절대치의 합으로 해당 픽셀의 그레디언트 값(G)을 산출할 수 있다.

그레디언트 값(G)은 수학식 1과 같이 정의할 수 있다.

G = |Gx| + |Gy|

에지 판단부(102)는 각 픽셀의 그레디언트 값(G)을 이용하여 해당 픽셀이 에지(edge)에 해당하는지 여부를 판단할 수 있다. 에지 판단부(102)는 각 픽셀의 그레디언트 값(G)에 대하여 thinning 처리를 거친 후 에지 여부를 판단할 수 있다.

에지 판단부(102)는 각 픽셀에 대하여 수평방향의 그레디언트 값(Gx)과 수직방향의 그레디언트 값(Gy)의 비교 결과에 기초하여 해당 픽셀이 에지인지 여부를 판단할 수 있다.

에지 판단부(102)는 픽셀의 그레디언트 값(G)이 미리 정해진 임계치(threshold)(T) 이상이고 동시에 적어도 하나의 다른 조건을 만족할 경우 에지로 판단하는 반면, 한 가지 조건이라도 만족하지 못할 경우 에지가 아닌 것(넌-에지)(non-edge)으로 판단한다.

일례로, 에지 판단부(102)는 픽셀의 그레디언트 값(G)이 임계치(T) 이상이면서(제1조건) 수평방향의 그레디언트 값(Gx)이 수직방향의 그레디언트 값(Gy)보다 클 경우(제2조건)에는 수평방향의 그레디언트 값(Gx)이 해당 픽셀에 이웃하는 왼쪽 픽셀과 오른쪽 픽셀의 그레디언트 값보다 커야(제3조건) 해당 픽셀을 에지로 판단할 수 있다. 이때, 에지 판단부(102)는 수평방향의 그레디언트 값(Gx)이 왼쪽 픽셀과 오른쪽 픽셀 각각의 수평방향의 그레디언트 값보다 미리 정해진 설정치(V) 이상 클 경우에(제4조건) 해당 픽셀을 에지로 판단할 수 있다.

한편, 에지 판단부(102)는 픽셀의 그레디언트 값(G)이 임계치(T) 이상이면 서(제1조건) 수직방향의 그레디언트 값(Gy)이 수평방향의 그레디언트 값(Gx)보다 클 경우(제5조건)에는 수직방향의 그레디언트 값(Gy)이 해당 픽셀에 이웃하는 위쪽 픽셀과 아래쪽 픽셀의 그레디언트 값보다 커야(제6조건) 해당 픽셀을 에지로 판단할 수 있다. 이때, 에지 판단부(102)는 수직방향의 그레디언트 값(Gy)이 위쪽 픽셀과 아래쪽 픽셀 각각의 수직방향의 그레디언트 값보다 설정치(V) 이상 클 경우에(제7조건) 해당 픽셀을 에지로 판단할 수 있다.

즉, 에지 판단부(102)는 상기 제1조건을 만족하면서 동시에 상기 제2조건 내지 제4조건을 모두 만족하거나 상기 제5조건과 제7조건을 모두 만족할 경우에 해당 픽셀을 최종적으로 에지로 판단할 수 있다.

이와 같이, 에지 판단부(102)는 픽셀의 그레디언트 값을 통해 바로 에지 여부를 판단하지 않고, 수평방향의 그레디언트 값과 수직 방향의 그레디언트 값을 함께 고려한 thinning 처리를 통해 두꺼운 에지의 발생을 제거할 수 있다. 결국, 에지의 thining처리를 통해 에지 부근에서 발생할 수 있는 열화 현상이 최소화 될 수 있다.

보간방향 판단부(103)는 보간할 보간 영역(window) 내에 에지에 해당하는 픽셀의 존재 여부를 판단할 수 있으며 보간 영역에 에지가 존재할 경우 보간 영역 내에서 보간하고자 하는 픽셀(이하, '보간 픽셀'이라 칭함)의 위치에 따라 보간방향을 판단할 수 있다.

도 3을 참조하면, 보간방향 판단부(103)는 보간 영역(301) 내에 존재하는 모든 픽셀의 에지 여부를 판단하고 보간 영역(301)에 에지에 해당하는 픽셀이 존재 할 경우 보간 픽셀의 위치를 고려하여 보간방향을 판단할 수 있다. 이때, 보간방향 판단부(103)는 보간 픽셀의 위치에 따라 대각방향, 수직방향, 수평방향으로 구분하여 보간방향을 판단할 수 있다.

픽셀 대체부(104)는 보간방향에 따라 보간 픽셀을 기준으로 보간 영역을 분할한 후 보간 영역 내에서 주변 픽셀의 픽셀값을 이용하여 각 픽셀의 픽셀값을 대체할 수 있다.

도 4는 픽셀 대체부(104)의 일례를 나타낸 블록도이다.

도 4를 참조하면, 픽셀 대체부(104)는 대각방향의 보간방향에 대하여 대각방향 영역 분할부(401) 및 대각방향 픽셀 대체부(402)로 구성하며, 수직방향의 보간방향에 대하여 수직방향 영역 분할부(403) 및 수직방향 픽셀 대체부(404)로 구성하고, 수평방향의 보간방향에 대하여 수평방향 영역 분할부(405) 및 수평방향 픽셀 대체부(406)로 구성할 수 있다.

도 5는 대각방향 영역 분할부(401)의 동작을 설명하기 위한 도면이고, 도 6은 대각방향 픽셀 대체부(402)의 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 대각방향 영역 분할부(401)는 보간 픽셀을 기준으로 보간 영역을 사분면으로 분할할 수 있다.

도 6을 참조하면, 대각방향 픽셀 대체부(402)는 사분면 각각에 포함된 픽셀의 에지 여부에 따라 참여 픽셀과 비참여 픽셀로 분류한 후 참여 픽셀의 픽셀값을 이용하여 비참여 픽셀의 픽셀값을 대체할 수 있다. 이 때, 픽셀값은 해당 픽셀의 밝기값을 의미할 수 있다.

대각방향 픽셀 대체부(402)는 각 사분면에서 보간 픽셀과 인접한 순으로 픽셀의 에지 여부를 판단하여 참여 픽셀과 비참여 픽셀로 분류할 수 있다.

예를 들어, 대각방향 픽셀 대체부(402)는 1사분면의 영역에 (i, j+1), (i, j+2), (i-1, j+1), (i-1, j+2)의 픽셀이 존재할 경우 보간 픽셀과 가장 인접한 (i, j+1)의 픽셀부터 에지 여부를 판단하고 이어 (i, j+2), (i-1, j+1), (i-1, j+2)의 순서로 픽셀의 에지 여부를 판단할 수 있다. 이때, (i, j+1)을 제외한 나머지 픽셀의 에지 여부 판단 순서는 변경될 수 있다.

그리고, 대각방향 픽셀 대체부(402)는 (i, j+1)의 픽셀이 에지에 해당할 경우 이하 모든 픽셀 즉, (i, j+1), (i, j+2), (i-1, j+1), (i-1, j+2)의 픽셀값을 비우고 해당 픽셀들을 비참여 픽셀로 분류한다. 한편, (i, j+1)의 픽셀이 에지가 아닐 경우 대각방향 픽셀 대체부(402)는 (i, j+1)의 픽셀을 참여 픽셀로 분류한 후 (i, j+2)의 픽셀로 이동하여 (i, j+2) 픽셀의 에지 여부를 판단한다. 이때, (i, j+2)의 픽셀이 에지가 아닐 경우에는 대각방향 픽셀 대체부(402)는 (i, j+2)의 픽셀을 참여 픽셀로 분류하고, 에지에 해당할 경우에는 대각방향 픽셀 대체부(402)는 (i, j+2)의 픽셀의 픽셀값을 비우고 비참여 픽셀로 분류한다. 다음, (i-1, j+1)로 이동하여 해당 픽셀이 에지가 아닐 경우 대각방향 픽셀 대체부(402)는 (i-1, j+1)의 픽셀을 참여 픽셀로 분류하고, 에지에 해당할 경우 대각방향 픽셀 대체부(402)는 (i-1, j+1)의 픽셀의 픽셀값을 비우고 비참여 픽셀로 분류한다. 다음, (i-1, j+2)로 이동하여 해당 픽셀이 에지가 아닐 경우 대각방향 픽셀 대체부(402)는 (i-1, j+2)의 픽셀을 참여 픽셀로 분류하고 에지에 해당할 경우 대각방향 픽셀 대체 부(402)는 (i-1, j+2)의 픽셀의 픽셀값을 비우고 비참여 픽셀로 분류한다.

이 때, 픽셀의 픽셀값을 비운다는 의미는 픽셀값을 다른 값으로 대체하기 위해 임시적으로 픽셀값을 지운다는 것을 의미한다.

이와 같은 과정을 2사분면, 3사분면, 4사분면에서 독립적으로 수행하여 보간 영역에 포함된 모든 픽셀을 참여 픽셀과 비참여 픽셀로 분류할 수 있다.

대각방향 픽셀 대체부(402)는 보간 영역 내 픽셀을 참여 픽셀과 비참여 픽셀로 분류한 후, 참여 픽셀의 픽셀값을 이용하여 픽셀값을 비운 비참여 픽셀의 새로운 픽셀값을 산출할 수 있다. 예를 들어, 대각방향 픽셀 대체부(402)는 참여 픽셀의 평균 픽셀값을 산출한 후 산출된 평균 픽셀값을 모든 비참여 픽셀에 대한 픽셀값으로 대체할 수 있다.

도 7은 수직방향 영역 분할부(403)의 동작을 설명하기 위한 도면이고, 도 8은 수직방향 픽셀 대체부(404)의 동작을 설명하기 위한 도면이다.

도 7을 참조하면, 수직방향 영역 분할부(403)는 보간 픽셀을 기준으로 수직방향으로 상기 보간 영역의 일부를 분할할 수 있다. 수직방향 영역 분할부(403)는 보간방향이 수직방향일 경우 보간 영역 내에 포함된 픽셀 중 보간 픽셀을 기준으로 수직선 상에 위치하는 픽셀을 이용할 수 있다.

수직방향 픽셀 대체부(404)는 분할된 보간 영역에 포함된 픽셀의 픽셀값을 해당 영역 내 주변 픽셀의 픽셀값을 이용하여 대체할 수 있다. 수직방향 픽셀 대체부(404)는 해당 영역 내 픽셀의 에지 여부에 따른 수직 배치 형태를 판단한 후 판단된 수직 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 해당 영역 내 픽셀의 픽셀값을 대체할 수 있다.

도 7과 같이 4*4 구조의 보간 영역을 이용할 경우 수직방향 영역 분할부(403)는 보간 영역에서 보간 픽셀을 기준으로 수직방향에 위치하는 4개의 픽셀을 포함한 영역을 분할할 수 있다.

도 8을 참조하면, 분할된 보간 영역에 포함된 픽셀의 에지 여부에 따라 픽셀의 수직 배치 형태를 6가지 경우의 수로 분류할 수 있다.

수직방향 픽셀 대체부(404)는 수직 배치 형태 별로 미리 정의된 픽셀 대체식을 이용하여 분할된 보간 영역 내 픽셀의 픽셀값을 대체할 수 있다.

이때, 분할된 보간 영역 내 픽셀의 수직 배치 형태가 도 8의 ① 경우에 해당할 경우 그 픽셀 대체식은 수학식 2와 같이 정의할 수 있다. 수학식 2에 의하면, (i-1, j)와 (i+2, j)의 픽셀값은 (i, j)의 픽셀값과 (i+1, j)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수직 배치 형태가 도 8의 ② 경우에 해당할 경우 그 픽셀 대체식은 수학식 3과 같이 정의할 수 있다. 수학식 3에 의하면, (i-1, j)와 (i+2, j)의 픽셀값은 (i, j)의 픽셀값과 (i+1, j)의 픽셀값의 평균 으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수직 배치 형태가 도 8의 ③ 경우에 해당할 경우 그 픽셀 대체식은 수학식 4와 같이 정의할 수 있다. 수학식 4에 의하면, (i-1, j)와 (i, j)의 픽셀값은 (i+1, j)의 픽셀값과 (i+2, j)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수직 배치 형태가 도 8의 ④ 경우에 해당할 경우 그 픽셀 대체식은 수학식 5와 같이 정의할 수 있다. 수학식 5에 의하면, (i-1, j), (i, j)와 (i+2, j)의 픽셀값은 (i+1, j)의 픽셀값으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수직 배치 형태가 도 8의 ⑤ 경우에 해당할 경우 그 픽셀 대체식은 수학식 6과 같이 정의할 수 있다. 수학식 6에 의하면, (i+1, j)와 (i+2, j)의 픽셀값은 (i-1, j)의 픽셀값과 (i, j)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수직 배치 형태가 도 8의 ⑥ 경우에 해당할 경우 그 픽셀 대체식은 수학식 7과 같이 정의할 수 있다. 수학식 7에 의하면, (i-1, j), (i+1, j)와 (i+2, j)의 픽셀값은 (i, j)의 픽셀값으로 대체할 수 있다.

도 9는 수평방향 영역 분할부(405)의 동작을 설명하기 위한 도면이고, 도 10은 수평방향 픽셀 대체부(406)의 동작을 설명하기 위한 도면이다.

도 9을 참조하면, 수평방향 영역 분할부(405)는 보간 픽셀을 기준으로 수평방향으로 상기 보간 영역의 일부를 분할할 수 있다. 수평방향 영역 분할부(405)는 보간방향이 수평방향일 경우 보간 영역 내에 포함된 픽셀 중 보간 픽셀을 기준으로 수평선 상에 위치하는 픽셀을 이용할 수 있다.

수평방향 픽셀 대체부(406)는 분할된 보간 영역에 포함된 픽셀의 픽셀값을 해당 영역 내 주변 픽셀의 픽셀값을 이용하여 대체할 수 있다. 수평방향 픽셀 대체부(406)는 해당 영역 내 픽셀의 에지 여부에 따른 수평 배치 형태를 판단한 후 판단된 수평 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 해당 영역 내 픽셀의 픽셀값을 대체할 수 있다.

도 9와 같이 4*4 구조의 보간 영역을 이용할 경우 수평방향 영역 분할부(405)는 보간 영역에서 보간 픽셀을 기준으로 수평방향에 위치하는 4개의 픽셀을 포함한 영역을 분할할 수 있다.

도 10을 참조하면, 분할된 보간 영역에 포함된 픽셀의 에지 여부에 따라 픽셀의 수평 배치 형태를 6가지 경우의 수로 분류할 수 있다.

수평방향 픽셀 대체부(406)는 수평 배치 형태 별로 미리 정의된 픽셀 대체식을 이용하여 분할된 보간 영역 내 픽셀의 픽셀값을 대체할 수 있다.

이때, 분할된 보간 영역 내 픽셀의 수평 배치 형태가 도 10의 ① 경우에 해당할 경우 그 픽셀 대체식은 수학식 8과 같이 정의할 수 있다. 수학식 8에 의하 면, (i, j-1)와 (i, j+2)의 픽셀값은 (i, j)의 픽셀값과 (i, j+1)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수평 배치 형태가 도 10의 ② 경우에 해당할 경우 그 픽셀 대체식은 수학식 9와 같이 정의할 수 있다. 수학식 9에 의하면, (i, j-1)와 (i, j+2)의 픽셀값은 (i, j)의 픽셀값과 (i, j+1)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수평 배치 형태가 도 10의 ③ 경우에 해당할 경우 그 픽셀 대체식은 수학식 10과 같이 정의할 수 있다. 수학식 10에 의하면, (i, j-1)와 (i, j)의 픽셀값은 (i, j+1)의 픽셀값과 (i, j+2)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수평 배치 형태가 도 10의 ④ 경우에 해당할 경우 그 픽셀 대체식은 수학식 11과 같이 정의할 수 있다. 수학식 11에 의하면, (i, j-1), (i, j)와 (i, j+2)의 픽셀값은 (i, j+1)의 픽셀값으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수평 배치 형태가 도 10의 ⑤ 경우에 해당할 경우 그 픽셀 대체식은 수학식 12와 같이 정의할 수 있다. 수학식 12에 의하면, (i, j+1)와 (i, j+2)의 픽셀값은 (i, j-1)의 픽셀값과 (i, j)의 픽셀값의 평균으로 대체할 수 있다.

또한, 분할된 보간 영역 내 픽셀의 수평 배치 형태가 도 10의 ⑥ 경우에 해 당할 경우 그 픽셀 대체식은 수학식 13과 같이 정의할 수 있다. 수학식 13에 의하면, (i, j-1), (i, j+1)와 (i, j+2)의 픽셀값은 (i, j)의 픽셀값으로 대체할 수 있다.

픽셀 대체부(104)는 보간방향에 따라 보간 영역을 분할하여 보간 영역 내 픽셀의 픽셀값을 대체함으로써 보간 영역에 존재하는 픽셀 가운데 보간에 사용할 수 없는 픽셀을 분리하고 보간시 분리된 픽셀의 픽셀값을 배제할 수 있다. 즉, 픽셀 대체부(104)는 보간 픽셀이 차지하는 물체와 전혀 관계없는 픽셀을 제거할 수 있어 블러링(blurring)으로 인한 화질 저하를 개선할 수 있다.

보간 실행부(105)는 보간방향에 따라 영역 분할 및 픽셀 대체 과정이 완료되면 대체된 픽셀값을 이용하여 보간 픽셀에 대한 보간을 실행할 수 있다. 보간 실행부(105)는 픽셀 대체부(104)에서 영역 분할을 통해 분류한 보간에 참여하는 픽셀값 즉, 주변 픽셀의 에지 여부에 따라서 대체된 픽셀 값을 이용하여 보간을 실행할 수 있다.

도 11은 본 발명의 일실시예에 따른 영상 보간 방법을 나타낸 동작 흐름도이다.

본 발명의 일실시예에 따른 영상 보간 방법에 있어서 저해상도의 입력영상 을 고해상도로 보간하는 과정은 다음과 같은 과정을 포함할 수 있다.

본 발명의 일실시예에 따른 영상 보간 방법은 입력 영상에 대하여 각 픽셀의 그레디언트 값(G)을 산출한다(S1101).

이때, 각 픽셀의 그레디언트 값(G)을 산출하는 단계(S1101)는 해당 픽셀에 대하여 수평방향의 그레디언트 값(Gx)과 수직방향의 그레디언트 값(Gy)을 산출한 후 산출된 수평방향의 그레디언트 값(Gx)과 수직방향의 그레디언트 값(Gy)의 절대치의 합으로 해당 픽셀의 그레디언트 값(G)을 산출할 수 있다.

또한, 본 발명의 일실시예에 따른 영상 보간 방법은 각 픽셀의 그레디언트 값(G)을 이용하여 에지 여부 판단을 실행한다(S1102).

이때, 각 픽셀의 에지 여부를 판단하는 단계(S1102)는 해당 픽셀의 그레디언트 값(G)에 대하여 thinning 처리를 거친 후 에지 여부를 판단할 수 있다.

각 픽셀의 에지 여부를 판단하는 단계(S1102)는 다음과 같은 과정을 포함할 수 있다.

도 12를 참조하면, 각 픽셀의 에지 여부를 판단하는 단계(S1102)는 제1조건(S1201), 제2조건(S1202), 제3조건(S1203) 및 제4조건(S1204)을 동시에 만족할 경우 해당 픽셀을 에지로 판단한다(S1205).

일례로, 제1조건(S1201)은 해당 픽셀(i,j)의 그레디언트 값(G)이 임계치(T) 이상이어야 한다는 조건이다. 제2조건(S1202)은 수평방향의 그레디언트 값(Gx(i,j))이 수직방향의 그레디언트 값(Gy(i,j)) 이상이어야 한다는 조건이다. 그리고, 제3조건(S1203)은 수평방향의 그레디언트 값(Gx(i,j))이 해당 픽셀에 이웃 하는 왼쪽 픽셀((i,j-1)의 수평방향의 그레디언트 값(Gx(i,j-1)) 및 오른쪽 픽셀(i,j+1)의 수평방향의 그레디언트 값(Gx(i,j+1)) 이상이어야 한다는 조건이다. 또한, 제4조건(S1204)은 왼쪽 픽셀(i,j-1)의 수평방향의 그레디언트 값(Gx(i,j-1))과 오른쪽 픽셀(i,j+1)의 수평방향의 그레디언트 값(Gx(i,j+1)) 둘 중 큰 값과 해당 픽셀(i,j)의 수평방향의 그레디언트 값(Gx(i,j)) 간 차이 값의 절대치가 설정치(V) 이상이어야 한다는 조건이다.

또한, 각 픽셀의 에지 여부를 판단하는 단계(S1102)는 제1조건(S1201), 제5조건(S1206), 제6조건(S1207) 및 제7조건(S1208)을 동시에 만족할 경우 해당 픽셀을 에지로 판단한다(S1205).

일례로, 제5조건(S1206)은 수직방향의 그레디언트 값(Gy(i,j))이 수평방향의 그레디언트 값(Gx(i,j)) 이상이어야 한다는 조건이다. 제6조건(S1207)은 수직방향의 그레디언트 값(Gy(i,j))이 해당 픽셀에 이웃하는 위쪽 픽셀((i-1,j)의 수직방향의 그레디언트 값(Gy(i-1,j)) 및 아래쪽 픽셀(i+1,j)의 수직방향의 그레디언트 값(Gy(i+1,j)) 이상이어야 한다는 조건이다. 그리고, 제7조건(S1208)은 위쪽 픽셀(i-1,j)의 수직방향의 그레디언트 값(Gy(i-1,j))과 아래쪽 픽셀(i+1,j)의 수직방향의 그레디언트 값(Gy(i+1,j)) 둘 중 큰 값과 해당 픽셀(i,j)의 수직방향의 그레디언트 값(Gy(i,j)) 간 차이 값의 절대치가 설정치(V) 이상이어야 한다는 조건이다.

또한, 각 픽셀의 에지 여부를 판단하는 단계(S1102)는 제1조건 내지 제4조건(S1201~S1204) 및 제5조건 내지 제7조건(S1206~S1208) 중 어느 하나의 조건이라 도 만족하지 못할 경우 해당 픽셀을 넌-에지(non-edge)로 판단한다(S1209).

따라서, 각 픽셀의 에지 여부를 판단하는 단계(S1102)는 해당 픽셀의 그레디언트 값(G)이 미리 정해진 임계치(T) 이상이면서 동시에 다른 조건을 모두 만족할 경우 에지로 판단하는 반면, 그 중 한 가지 조건이라도 만족하지 못할 경우 넌-에지로 판단한다.

다시 도 11에서, 본 발명의 일실시예에 따른 영상 보간 방법은 보간 영역 내에 에지에 해당하는 픽셀의 존재 여부를 판단한 후(S1103) 보간 영역에 에지가 존재할 경우 보간 영역 내에서 보간 픽셀의 위치에 따라 보간방향을 판단한다(S1104).

이때, 보간 픽셀의 보간방향을 판단하는 단계(S1104)는 보간 픽셀의 위치에 따라 대각방향, 수직방향, 수평방향으로 구분할 수 있다.

또한, 본 발명의 일실시예에 따른 영상 보간 방법은 보간방향이 대각방향일 경우 대각방향에 대한 영역 분할 및 픽셀 대체를 수행한다(S1105).

대각방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1105)는 다음과 같은 과정을 포함할 수 있다.

도 13을 참조하면, 대각방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1105)는 보간 픽셀을 기준으로 보간 영역을 사분면으로 분할한다(S1301).

또한, 대각방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1105)는 사분면 각각에 포함한 픽셀의 에지 여부에 따라 참여 픽셀과 비참여 픽셀로 분류한다(S1302). 이때, 참여 픽셀과 비참여 픽셀로 분류하는 단계(S1302)는 내 개의 사 분면에서 독립적으로 수행하며 보간 픽셀과 인접한 순으로 각 사분면에 포함된 픽셀의 에지 여부를 판단하여 참여 픽셀과 비참여 픽셀로 분류할 수 있다.

또한, 대각방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1105)는 참여 픽셀의 픽셀값을 이용하여 비참여 픽셀의 픽셀값을 대체할 수 있다. 이때, 비참여 픽셀의 픽셀값을 대체하는 단계는 보간 영역 내 모든 참여 픽셀의 평균 픽셀값을 산출한 후(S1303) 산출된 평균 픽셀값을 모든 비참여 픽셀에 대한 픽셀값으로 대체한다(S1304).

다시 도 11에서, 본 발명의 일실시예에 따른 영상 보간 방법은 보간방향이 수직방향일 경우 수직방향에 대한 영역 분할 및 픽셀 대체를 수행한다(S1106).

수직방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1106)는 다음과 같은 과정을 포함할 수 있다.

도 14를 참조하면, 수직방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1106)는 보간 픽셀을 기준으로 수직방향으로 보간 영역의 일부를 분할한다(S1401). 이때, 보간 영역의 일부를 분할하는 단계(S1401)는 보간 영역 내에 포함된 픽셀 중 보간 픽셀을 기준으로 수직선 상에 위치하는 픽셀을 포함하는 영역을 분할할 수 있다.

또한, 수직방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1106)는 분할된 보간 영역에 포함된 픽셀의 픽셀값을 해당 영역 내 주변 픽셀의 픽셀값을 이용하여 대체한다(S1402). 이때, 수평방향에 대한 픽셀 대체를 수행하는 단계(S1402)는 해당 영역 내 픽셀의 에지 여부에 따른 수직 배치 형태를 판단한 후 판단된 수직 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 해당 영역 내 픽셀의 픽셀값을 대체할 수 있다.

다시 도 11에서, 본 발명의 일실시예에 따른 영상 보간 방법은 보간방향이 수평방향일 경우 수평방향에 대한 영역 분할 및 픽셀 대체를 수행한다(S1107).

수평방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1107)는 다음과 같은 과정을 포함할 수 있다.

도 15를 참조하면, 수평방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1107)는 보간 픽셀을 기준으로 수평방향으로 보간 영역의 일부를 분할한다(S1501). 이때, 보간 영역의 일부를 분할하는 단계(S1501)는 보간 영역 내에 포함된 픽셀 중 보간 픽셀을 기준으로 수평선 상에 위치하는 픽셀을 포함하는 영역을 분할할 수 있다.

또한, 수평방향에 대한 영역 분할 및 픽셀 대체를 수행하는 단계(S1107)는 분할된 보간 영역에 포함된 픽셀의 픽셀값을 해당 영역 내 주변 픽셀의 픽셀값을 이용하여 대체한다(S1502). 이때, 수평방향에 대한 픽셀 대체를 수행하는 단계(S1502)는 해당 영역 내 픽셀의 에지 여부에 따른 수평 배치 형태를 판단한 후 판단된 수평 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 해당 영역 내 픽셀의 픽셀값을 대체할 수 있다.

다시 도 11에서, 본 발명의 일실시예에 따른 영상 보간 방법은 보간방향에 따라 영역 분할 및 픽셀 대체 과정이 완료되면 대체된 픽셀값을 이용하여 보간 픽셀에 대한 보간을 실행한다(S1108).

따라서, 영상 보간 방법은 thinning 처리를 통해 두꺼운 에지의 발생을 제거하고, 보간방향에 따른 영역 분할 및 픽셀 대체 과정을 통해 에지에 따라 분리된 영역을 정교하게 처리함으로써, 보다 선명한 고해상도의 영상을 제공할 수 있다.

본 발명의 실시예에 따른 영상 보간 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명의 일실시예에 따른 영상 보간 장치는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예에 따른 영상 보간 장치는 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 일실시예에 따른 영상 보간 장치는 앞서 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 2는 도 1에 도시한 그레디언트 산출부의 일례를 나타낸 도면이다.

도 3은 도 1에 도시한 픽셀 대체부의 동작을 설명하기 위한 도면이다.

도 4는 도 1에 도시한 픽셀 대체부의 일례를 나타낸 블록도이다.

도 5는 도 4에 도시한 대각방향 영역 분할부의 동작을 설명하기 위한 도면이다.

도 6은 도 4에 도시한 대각방향 픽셀 대체부의 동작을 설명하기 위한 도면이다.

도 7은 도 4에 도시한 수직방향 영역 분할부의 동작을 설명하기 위한 도면이다.

도 8은 도 4에 도시한 수직방향 픽셀 대체부의 동작을 설명하기 위한 도면이다.

도 9는 도 4에 도시한 수평방향 영역 분할부의 동작을 설명하기 위한 도면이다.

도 10은 도 4에 도시한 수평방향 픽셀 대체부의 동작을 설명하기 위한 도면이다.

도 12는 도 11에 도시한 픽셀의 에지 여부를 판단하는 과정을 나타낸 동작 흐름도이다.

도 13은 도 11에 도시한 대각방향에 대한 영역 분할 및 픽셀 대체 과정을 나타낸 동작 흐름도이다.

도 14는 도 11에 도시한 수직방향에 대한 영역 분할 및 픽셀 대체 과정을 나타낸 동작 흐름도이다.

도 15는 도 11에 도시한 수평방향에 대한 영역 분할 및 픽셀 대체 과정을 나타낸 동작 흐름도이다.

Claims

입력 영상에 대하여 각 픽셀의 그레디언트(gradient) 값을 산출하는 그레디언트 산출부;

상기 그레디언트 값을 이용하여 상기 픽셀이 에지(edge)에 해당하는 픽셀인지 여부를 판단하는 에지 판단부;

보간 영역 내에 에지에 해당하는 픽셀이 존재할 경우 상기 보간 영역 내에서 보간할 픽셀의 위치에 따라 보간방향을 판단하는 보간방향 판단부;

상기 보간방향에 따라 상기 보간할 픽셀을 기준으로 상기 보간 영역을 분할한 후 상기 보간 영역 내 픽셀의 픽셀값을 대체하는 픽셀 대체부; 및,

상기 대체된 픽셀값을 이용하여 상기 보간할 픽셀에 대한 보간을 실행하는 보간 실행부

를 포함하는 영상 보간 장치.
제1항에 있어서,

상기 그레디언트 산출부는,

상기 픽셀에 대하여 수평방향의 그레디언트 값과 수직방향의 그레디언트 값을 이용하여 상기 픽셀의 그레디언트 값을 산출하는, 영상 보간 장치.
제1항에 있어서,

상기 에지 판단부는,

상기 픽셀에 대하여 수평방향의 그레디언트 값과 수직방향의 그레디언트 값의 비교 결과를 기초로 상기 픽셀이 에지인지 여부를 판단하는, 영상 보간 장치.
제1항에 있어서,

상기 픽셀 대체부는,

상기 보간방향이 대각방향일 경우 상기 보간할 픽셀을 기준으로 상기 보간 영역을 사분면으로 분할하는 대각방향 영역 분할부와,

상기 사분면 각각에 포함된 픽셀을 에지 여부에 따라 참여 픽셀과 비참여 픽셀을 분류한 후, 상기 참여 픽셀의 픽셀값을 이용하여 상기 비참여 픽셀의 픽셀값을 대체하는 대각방향 픽셀 대체부를 포함하는, 영상 보간 장치.
제4항에 있어서,

상기 대각방향 픽셀 대체부는,

상기 보간할 픽셀과 인접한 순으로 상기 사분면 각각에 포함된 픽셀의 에지 여부를 판단하여 상기 참여 픽셀과 비참여 픽셀로 분류하는, 영상 보간 장치.
제1항에 있어서,

상기 픽셀 대체부는,

상기 보간방향이 수직방향일 경우 상기 보간할 픽셀을 기준으로 수직방향으 로 상기 보간 영역의 일부를 분할하는 수직방향 영역 분할부와,

상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 수직방향 픽셀 대체부를 포함하는, 영상 보간 장치.
제6항에 있어서,

상기 수직방향 픽셀 대체부는,

상기 보간 영역에 포함된 픽셀에 따른 수직 배치 형태를 판단한 후 상기 수직 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 상기 보간 영역 내 픽셀의 픽셀값을 대체하는, 영상 보간 장치.
제1항에 있어서,

상기 픽셀 대체부는,

상기 보간방향이 수평방향일 경우 상기 보간할 픽셀을 기준으로 수평방향으로 상기 보간 영역의 일부를 분할하는 수평방향 영역 분할부와,

상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 수평방향 픽셀 대체부를 포함하는, 영상 보간 장치.
제8항에 있어서,

상기 수평방향 픽셀 대체부는,

상기 보간 영역에 포함된 픽셀에 따른 수평 배치 형태를 판단한 후 상기 수 평 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 상기 보간 영역 내 픽셀의 픽셀값을 대체하는, 영상 보간 장치.
입력 영상에 대하여 각 픽셀의 그레디언트(gradient) 값을 산출하는 단계;

상기 그레디언트 값을 이용하여 상기 픽셀이 에지(edge)에 해당하는 픽셀인지 여부를 판단하는 단계;

보간 영역 내에 에지에 해당하는 픽셀이 존재할 경우 상기 보간 영역 내에서 보간할 픽셀의 위치에 따라 보간방향을 판단하는 단계;

상기 보간방향에 따라 상기 보간할 픽셀을 기준으로 상기 보간 영역을 분할한 후 상기 보간 영역 내 픽셀의 픽셀값을 대체하는 단계; 및,

상기 대체된 픽셀값을 이용하여 상기 보간할 픽셀에 대한 보간을 실행하는 단계

를 포함하는 영상 보간 방법.
제10항에 있어서,

상기 그레디언트 값을 산출하는 단계는,

상기 픽셀에 대하여 수평방향의 그레디언트 값과 수직방향의 그레디언트 값을 이용하여 상기 픽셀의 그레디언트 값을 산출하는, 영상 보간 방법.
제10항에 있어서,

상기 픽셀이 에지(edge)에 해당하는 픽셀인지 여부를 판단하는 단계는,

상기 픽셀에 대하여 수평방향의 그레디언트 값과 수직방향의 그레디언트 값의 비교 결과를 기초로 상기 픽셀이 에지인지 여부를 판단하는, 영상 보간 방법.
제10항에 있어서,

상기 보간 영역 내 픽셀의 픽셀값을 대체하는 단계는,

상기 보간방향이 대각방향일 경우 상기 보간할 픽셀을 기준으로 상기 보간 영역을 사분면으로 분할하는 단계와,

상기 사분면 각각에 포함된 픽셀을 에지 여부에 따라 참여 픽셀과 비참여 픽셀을 분류한 후, 상기 참여 픽셀의 픽셀값을 이용하여 상기 비참여 픽셀의 픽셀값을 대체하는 단계를 포함하는, 영상 보간 방법.
제13항에 있어서,

상기 참여 픽셀과 비참여 픽셀을 분류하는 단계는,

상기 보간할 픽셀과 인접한 순으로 상기 사분면 각각에 포함된 픽셀의 에지 여부를 판단하여 상기 참여 픽셀과 비참여 픽셀로 분류하는, 영상 보간 방법.
제10항에 있어서,

상기 보간 영역 내 픽셀의 픽셀값을 대체하는 단계는,

상기 보간방향이 수직방향일 경우 상기 보간할 픽셀을 기준으로 수직방향으 로 상기 보간 영역의 일부를 분할하는 단계와,

상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 단계를 포함하는, 영상 보간 방법.
제15항에 있어서,

상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 단계는,

상기 보간 영역에 포함된 픽셀에 따른 수직 배치 형태를 판단한 후 상기 수직 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 상기 보간 영역 내 픽셀의 픽셀값을 대체하는, 영상 보간 방법.
제10항에 있어서,

상기 보간 영역 내 픽셀의 픽셀값을 대체하는 단계는,

상기 보간방향이 수평방향일 경우 상기 보간할 픽셀을 기준으로 수평방향으로 상기 보간 영역의 일부를 분할하는 단계와,

상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 단계를 포함하는, 영상 보간 방법.
제17항에 있어서,

상기 분할된 보간 영역 내 픽셀의 픽셀값을 주변 픽셀의 픽셀값을 이용하여 대체하는 단계는,

상기 보간 영역에 포함된 픽셀에 따른 수평 배치 형태를 판단한 후 상기 수평 배치 형태에 대하여 미리 정의된 픽셀 대체식을 이용하여 상기 보간 영역 내 픽셀의 픽셀값을 대체하는, 영상 보간 방법.
제10항 내지 제18항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.