KR102440284B1 - 영상 처리 장치, 영상 처리 방법, 및 프로그램 - Google Patents

영상 처리 장치, 영상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR102440284B1
KR102440284B1 KR1020150111153A KR20150111153A KR102440284B1 KR 102440284 B1 KR102440284 B1 KR 102440284B1 KR 1020150111153 A KR1020150111153 A KR 1020150111153A KR 20150111153 A KR20150111153 A KR 20150111153A KR 102440284 B1 KR102440284 B1 KR 102440284B1
Authority
KR
South Korea
Prior art keywords
pixel
edge direction
interest
edge
image data
Prior art date
Application number
KR1020150111153A
Other languages
English (en)
Other versions
KR20160064953A (ko
Inventor
켄지 스즈키
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20160064953A publication Critical patent/KR20160064953A/ko
Application granted granted Critical
Publication of KR102440284B1 publication Critical patent/KR102440284B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling

Abstract

영상 처리 장치는 주목 화소를 포함하는 제1 블록 내의 화소와 상기 제1 블록에 대해 엣지 방향에 위치하는 복수의 제2 블록들 내의 화소 사이의 상관 값이 기초하여 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 엣지 방향 판정부, 상기 주목 화소에 대응하는 주목 화소 엣지 방향 및 상기 주목 화소 엣지 방향의 신뢰도와 상기 주목 화소 엣지 방향에 위치하는 복수의 탭 화소 각각에 대응하는 탭화소 엣지 방향 및 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 주목 화소에 대응하는 필터 계수를 산출하는 필터 계수 산출부, 및 상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터에 대해 필터 처리를 실시함으로써 출력 영상 데이터를 생성하는 필터처리부를 포함한다.

Description

영상 처리 장치, 영상 처리 방법, 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM}
본 발명은 영상 처리 장치, 영상 처리 방법, 및 프로그램에 관한 것이다.
표시 장치에 대한 고해상도화(즉, 고정밀화)의 요구는 보다 높아지고 있다. 또한, FHD:Full High Definition(1920x1080) 보다 해상도가 높은 UHD:Ultra High Definition(3840x2160)의 영상이 표시되는 표시 장치도 개발되고 있다.
표시 장치의 해상도가 높아짐에 따라, 기존의 저 해상도의 영상을 고해상도의 표시 장치에 표시시키기 위해, 저 해상도의 영상에 대해 확대 처리를 실시한다. 따라서, 저해상도의 영상의 해상도를 높이는 영상 처리 장치(이른바, 업스케일러)가 개발되고 있다.
JP 2005-332130 A
저해상도의 영상을 단순 확대 처리를 실시하면, 사선 방향으로 향한 영상의 엣지에서 재기(jaggy)가 단순히 확대될 수 있다. 따라서, 확대 후의 영상에 재기가 표시될 수 있다. 저해상도의 영상을 고해상도의 영상으로 확대하는 경우에는, 단순한 확대 처리에만 한정되지 않고, 예를 들어, 대상으로 되는 영상에 대해 평활화 처리 등의 영상 처리(보간 처리)가 실시될 수 있다.
예를 들어, 특허 문헌 1에서는 재기를 저감하는 영상 처리 방법에 대해 개시하고 있다. 특허 문헌 1 에서는 영상 중의 휘도 기울기로부터 영상의 엣지 방향을 검출하고, 검출된 엣지 방향에 따라 필터 처리를 실시함으로써 재기를 저감하고 있다.
그러나, 대상으로 되는 영상에 대해 영상 처리를 실시하는 경우에는 당해 영상 처리에 있어서 오 보간이 발생하고, 영상 처리 전의 영상 중에는 존재하지 않는 허상(아티팩트)이 영상 처리 후의 영상 중에 표면화하는 경우가 있다.
여기서, 본 발명은 상기 문제를 감안하여 이루어진 것이고, 본 발명의 목적으로 하는 것은 오 보간의 발생을 억제하고, 또한, 영상 데이터 중의 재기를 보다 바람직한 형태로 저감하는 것이 가능한 영상 처리 장치, 영상 처리 방법, 및 프로그램을 제공하는 것에 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는 입력 영상 데이터가 인가되는 각 화소를 주목 화소로서, 상기 주목 화소를 포함하는 제1 블록 내의 화소와, 상기 제1 블록에 대해 미리 결정된 엣지 방향들의 후보에 기초하는 방향에 위치하는 복수의 제 2 블록들 내의 화소 사이의 상관 값에 기초하여 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 엣지 방향 판정부, 상기 주목 화소에 대응하는 주목 화소 엣지 방향 및 상기 주목 화소 엣지 방향의 신뢰도와, 상기 주목 화소를 기준으로서 상기 주목 화소 엣지 방향에 위치하는 복수의 탭 화소 각각에 대응하는 탭 화소 엣지 방향 및 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 주목 화소에 대응하는 필터 계수를 산출하는 필터 계수 산출부, 및 상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터에 대해, 필터 처리를 실시함으로써, 출력 영상 데이터를 생성하는 필터 처리부를 포함할 수 있다.
상기 엣지 방향들의 후보마다 상기 제1 블록 및 복수의 상기 제2 블록들 각각은 복수의 화소를 포함하도록 미리 설정되고, 상기 엣지 방향 판정부는 상기 제 1 블록과, 복수의 상기 제 2 블록들의 각각 사이에서, 당해 제 1 블록 내의 화소와 기 설정된 상기 제 2 블록들 내의 화소 사이의 화소 값의 차이를 산출하고, 산출된 상기 차이에 기초하여 상기 상관 값을 산출할 수 있다.
상기 엣지 방향 판정부는 상기 제 1 블록과, 복수의 상기 제 2 블록 각각 사이에서 산출된 상기 차이의 평균에 기초하여 상기 상관 값을 산출할 수 있다.
상기 엣지 방향 판정부는 상기 엣지 방향들의 후보 중 산출된 상기 상관 값이 최소로 되는 후보를 상기 엣지 방향으로 판정할 수 있다.
상기 엣지 방향 판정부는 상기 엣지 방향으로서 판정한 상기 후보에 대응하는 상기 상관 값에 기초하여 상기 신뢰도를 산출할 수 있다.
상기 엣지 방향 판정부는 상기 주목 화소 엣지 방향과, 상기 주목 화소를 기준으로 한 소정의 범위 내에 포함되는 주변 화소에 대응하는 주변 화소 엣지 방향에 따른 제 1 가중치와, 상기 주목 화소와 상기 주변 화소 사이의 거리에 따른 제 2 가중치에 기초하여 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도를 보정할 수 있다.
상기 필터 계수 산출부는 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향과, 상기 탭 화소에 대응하는 상기 탭 화소 엣지 방향에 기초하여 제 3 가중치를 산출하고, 산출한 상기 제 3 가중치와, 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도와, 상기 탭 화소에 대응하는 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 필터 계수를 산출할 수 있다.
상기 필터 계수 산출부는 상기 주목 화소를 기준으로서, 서로 다른 방향에 위치하는 제 1 탭 화소 및 제 2 탭 화소 각각에 대하여, 상기 제 3 가중치를 산출하고, 상기 제 1 탭 화소 및 상기 제 2 탭 화소 각각에 대응하는 상기 제 3 가중치 및 상기 탭 화소 엣지 방향의 신뢰도와, 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도에 기초하여 상기 필터 계수를 산출할 수 있다.
상기 필터 계수 산출부는 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도를 relT라 하고, 상기 제 1 탭 화소에 대응하는 대응하는 상기 탭 화소 엣지 방향의 신뢰도 및 상기 제 3 가중치를 relL 및 weiL이라 하며, 상기 제 2 탭 화소에 대응하는 상기 탭 화소 엣지 방향의 신뢰도 및 상기 제 3 가중치를 relR 및 weiR이라 한 경우에, 상기 필터 계수로서, 제 1 필터 계수(bT), 제 2 필터 계수(bL), 및 제 3 필터 계수(bR)를 이하에 나타내는 계산식에 기초하여 산출할 수 있다.
Figure 112015076419704-pat00001
상기 필터 처리부는 상기 주목 화소의 화소 값(YT)과, 상기 제 1 탭 화소의 화소 값(YL)과, 상기 제 2 탭 화소의 화소 값(YR)과, 상기 제 1 필터 계수(bT)와, 상기 제 2 필터 계수(bL)와, 상기 제 3 필터 계수(bR)에 기초하여 상기 주목 화소에 대응하는 출력 영상 데이터 중의 출력 화소의 화소 값(Yout)를 이하에 나타내는 계산식에 기초하여 산출할 수 있다.
Figure 112015076419704-pat00002
상기 엣지 방향 판정부는 상기 제 1 블록 내의 화소의 휘도 성분과, 상기 제 2 블록 내의 화소의 휘도 성분 사이의 상기 상관 값에 기초하여 상기 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하고, 상기 필터 처리부는 상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터의 휘도 성분에 대하여, 상기 필터 처리를 실시할 수 있다.
상기 입력 영상 데이터에 대해, 엣지를 강조하기 위한 엣지 강조 처리를 실시하는 엣지 강조 처리부를 더 포함할 수 있다.
상기 필터 처리부는 상기 엣지 강조 처리부에 의해 상기 엣지 강조 처리가 실시된 상기 입력 영상 데이터에 대해, 상기 필터 처리를 실시할 수 있다.
상기 엣지 강조 처리부는 상기 필터 처리부에 의해 상기 필터 처리가 실시된 상기 입력 영상 데이터에 대해, 상기 엣지 강조 처리를 실시할 수 있다.
상기 엣지 강조 처리부는 상기 입력 영상 데이터의 휘도 성분에 대하여, 상기 엣지 강조 처리를 실시할 수 있다.
제 1 해상도를 갖는 제 1 영상 데이터에 확대 처리를 실시하여 상기 제1 영상 데이터를 상기 제 1 해상도 보다 높은 제 2 해상도를 갖는 제 2 영상 데이터로 변환하고, 상기 제 2 영상 데이터를 상기 입력 영상 데이터로서 출력하는 확대 처리부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은 입력 영상 데이터가 인가되는 각 화소를 주목 화소로서, 상기 주목 화소를 포함하는 제1 블록 내의 화소와 상기 제1 블록에 대해 미리 결정된 엣지 바향들의 후보에 기초하는 방향에 위치하는 복수의 제2 블록들 내의 화소 사이의 상관 값이 기초하여 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 단계, 상기 주목 화소에 대응하는 주목 화소 엣지 방향 및 상기 주목 화소 엣지 방향의 신뢰도와, 상기 주목 화소를 기준으로서 상기 주목 화소 엣지 방향에 위치하는 복수의 탭 화소 각각에 대응하는 탭 화소 엣지 방향 및 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 주목 화소에 대응하는 필터 계수를 산출하는 단계 및 상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터에 대해, 필터 처리를 실시함으로써, 출력 영상 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 프로 그램은 컴퓨터에 입력 영상 데이터가 인가되는 각 화소를 주목 화소로서, 상기 주목 화소를 포함하는 제 1 블록 내의 화소와, 상기 제 1 블록에 대해 미리 결정된 엣지 방향들의 후보에 기초하는 방향에 위치하는 복수의 제 2 블록들 내의 화소 사이의 상관 값에 기초하여 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 단계, 상기 주목 화소에 대응하는 주목 화소 엣지 방향 및 상기 주목 화소 엣지 방향의 신뢰도와, 상기 주목 화소를 기준으로서 상기 주목 화소 엣지 방향에 위치하는 복수의 탭 화소 각각에 대응하는 탭 화소 엣지 방향 및 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 주목 화소에 대응하는 필터 계수를 산출하는 단계, 및 상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터에 대해, 필터 처리를 실시함으로써, 출력 영상 데이터를 생성 하는 단계를 실행시킬 수 있다.
이상 설명한 바와 같이 본 발명에 의하면, 오 보간의 발생을 억제하고, 또한, 영상 데이터 중의 재기를 보다 바람직한 형태로 저감하는 것이 가능한 영상 처리 장치, 영상 처리 방법, 및 프로그램이 제공된다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 2a 내지 도 2b는 재기를 저감하기 위한 영상 처리의 일 예에 대하여 설명하기 위한 설명도이다.
도 3은 재기를 저감하기 위한 영상 처리의 일 예에 대하여 설명하기 위한 설명도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 5는 입력 영상 데이터에 대한 확대 처리의 일 예에 대하여 설명하기 위한 설명도이다.
도 6은 본 발명의 일 실시예에 따른 엣지 방향 판정부의 블록도이다.
도 7은 엣지 방향의 후보의 일 예를 나타내고 있다.
도 8은 엣지 방향의 판정과, 엣지 방향의 신뢰도의 산출에 따른 처리의 상세에 대하여 설명하기 위한 설명도이다.
도 9는 엣지 방향의 후보 마다의 주목 블록 및 참조 블록의 설정의 일 예를 나타낸 도면이다.
도 10은 주목 화소에 대응하는 엣지 방향의 신뢰도를 보정하는 처리의 상세에 대하여 설명하기 위한 설명도이다.
도 11은 엣지 방향 신뢰도 필터의 처리에 기초하는 엣지 방향의 차이와, 엣지 방향의 차이에 기초하는 가중치 사이의 관계의 일 예를 나타내고 있다.
도 12는 필터 계수를 산출하기 위한 처리의 일 예에 대하여 설명하기 위한 설명도이다.
도 13은 필터 계수 산출부의 처리에 기초하는 엣지 방향의 차이와, 엣지 방향의 차이에 기초하는 가중치 사이의 관계의 일 예를 나타내고 있다.
도 14는 엣지 방향의 후보 마다의 탭 화소의 설정의 일 예를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 16은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다..
도 17은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써, 중복 설명을 생략한다.
<1. 개요>
본 발명의 일 실시예에 따른 영상 처리 장치에 대해 도 1 내지 도 3을 통해 개략적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다. 도 1을 참조하면, 영상 처리 장치(10)는 입력 영상 데이터를 수신하여 입력 영상 데이터에 대해 확대 처리를 실시한 출력 영상 데이터를 출력할 수 있다. 예를 들어, 영상 처리 장치(10)는 FHD의 입력 영상 데이터를 받아서 UHD의 출력 영상 데이터를 생성하여 출력할 수 있다. 이때, 영상 처리 장치(10)는 입력 영상 데이터에 대해, 이른바 바이리니어(Bilinear)법이나, 바이큐빅(Bicubic)법 등의 보간 처리에 기초하는 확대 처리를 실시하는 동시에 재기를 저감하기 위한 영상 처리를 실시하여 화질을 향상시킬 수 있다.
도 2a 내지 도 2c는 재기를 저감하기 위한 영상 처리의 일 예에 대하여 설명하기 위한 설명도이다. 도 2a 내지 도 2c에서는 화소들이 표시하는 영상의 엣지가 사선 방향으로 연장된 것을 도시하였다. 사선 방향은 화소가 배열된 방향과 상이한 방향으로 연장된 방향을 의미한다. 화소가 제1 방향 및 상기 제1 방향과 수직한 제2 방향을 따라 매트릭스 형태로 배열될 때, 사선 방향은 제1 방향 및 제2 방향을 제외한 방향으로 연장되는 방향을 의미한다.
도 2a는 입력 영상 데이터가 확대 처리가 실시되기 전의 영상 데이터를 나타낸다. 도 2b는 입력 영상 데이터에 대해, 확대 처리가 실시된 후의 확대 영상 데이터를 나타낸다. 도 2c는 확대 영상 데이터에 대해 재기를 저감하기 위한 영상 처리가 실시된 필터 처리 후의 영상 데이터를 나타낸다.
도 2b에 도시된 바와 같이, 입력 영상 데이터에 대해 확대 처리만 실시하는 경우, 사선 방향으로 연장된 영상의 엣지의 재기가 단순히 확대된다. 따라서, 확대 영상 데이터 중에 엣지의 재기가 표면화될 수 있다.
재기가 단순히 확대되는 것을 방지하기 위해 영상 처리 장치(10)는 엣지 방향(v11)을 검출하고, 검출된 엣지 방향(v11)을 향하여 평활화 처리가 실시되도록 2 차원 필터의 계수를 조정하여 재기를 저감하는 보간 처리를 실시할 수 있다.
한편, 재기를 저감하기 위한 영상 처리(예를 들어, 필터 처리)가 실시됨으로써, 영상 처리 전의 영상 데이터 중에는 존재하지 않는 허상(아티팩트)이 영상 처리 후의 영상 데이터 중에 표면화하는 경우가 있다.
도 3a 내지 도 3c은 재기를 저감하기 위한 영상 처리의 일 예에 대하여 설명하기 위한 설명도이다. 도 3a 내지 도 3c은 당해 영상 처리에 의해, 영상 처리 후의 영상 데이터 중에 아티팩트가 표면화한 경우의 일 예를 나타낸다. 도 3에 도시된 영상은 서로 다른 사선 방향으로 연장된 2 개의 엣지들이다. 2 개의 엣지들은 서로 교차할 수 있다. 도 3a 내지 도 3c에 있어서, 입력 영상 데이터, 확대 영상 데이터, 및 필터 처리 후의 영상 데이터는 도 2a 내지 도 2c에 나타내는 예와 동일하다.
도 3a 내지 도 3c에 나타내는 예에 있어서는 영상 처리 장치(10)는 화면의 표시되는 영상의 엣지들 각각의 방향을 검출한다. 본 실시예에서는 영상 처리 장치(10)는 제1 엣지 방향(v21) 및 제2 엣지 방향(v23)을 검출할 수 있다. 영상 처리 장치(10)는 2차원 필터의 계수를 조정하여, 제1 엣지 방향(v21) 및 제2 엣지 방향(v23) 각각을 향하여 평활화 처리가 실시되도록 할 수 있다. 따라서, 영상 처리 장치(10)는 영상의 엣지에 표현되는 재기를 저감하는 보간 처리를 실시할 수 있다. 이때, 도 3a 내지 도 3c에 나타내는 예에서는, 복수의 엣지가 교차하는 제1 부분(v13)에 있어서 오 보간이 발생할 수 있다. 그 결과, 제2 엣지 방향(v23)을 따라 연장된 영상의 엣지가 끊어져 표시될 수 있다. 이와 같은 아티팩트는 필터 처리의 정도가 주변 화소와의 휘도 차에 따라 상이하기 때문에 발생될 수 있다. 예컨대, 주변 화소와의 사이의 휘도 차가 보다 높은 제1 엣지 방향(v21)으로 연장된 엣지에 대한 필터 처리가 제2 엣지 방향(v23)으로 연장된 엣지에 대한 필터 처리 보다 강하게 작용함으로써 발생할 수 있다.
본 실시 형태에 따른 영상 처리 장치(10)는 상기 문제를 감안하여 이루어진 것이다. 영상 처리 장치(10)는 복수의 엣지가 교차하는 부분에서 오 보간의 발생을 억제하고, 재기를 저감하기 위한 영상 처리를 실시하는 것이 가능한 구조를 제공하는 것에 있다. 이후에는, 본 실시 형태에 따른 영상 처리 장치(10)에 대해서 상세하게 설명한다.
<2. 기능 구성>
먼저, 도 4를 참조하여, 본 실시 형태에 따른 영상 처리 장치(10)의 기능 구성의 일 예에 대하여 설명한다. 도 4는 본 발명의 실시 형태에 따른 영상 처리 장치(10)의 기능 구성의 일 예를 나타낸 블록도이다.
도 4에 나타내는 바와 같이, 본 실시 형태에 따른 영상 처리 장치(10)는 확대 처리부(110), 엣지 방향 판정부(120), 필터 계수 산출부(130), 및 필터 처리부(140)를 포함한다.
확대 처리부(110)는 입력 영상 데이터에 대해 보간 처리에 기초하여 확대 처리를 실시할 수 있다. 확대 처리부(110)는 바이리니어(Bilinear) 법이나, 바이큐빅(Bicubic)법 등의 보간 처리를 이용하여 입력 영상 데이터를 확대 처리 할 수 있다. 따라서, 확대 처리부(110)는 입력 영상 데이터를 입력 영상 데이터보다 해상도가 높은 확대 영상 데이터로 변환한다.
여기서, 도 5를 참조하면, 바이리니어법에 기초하여 입력 영상 데이터를 확대하는 경우에 있어서, 확대 후의 화소 값의 산출 방법의 일 예에 대하여 설명한다. 도 5는 확대 처리부(110)에 의한 입력 영상 데이터에 대한 확대 처리의 일 예에 대하여 설명하기 위한 설명도이고, 입력 영상 데이터를 4 배의 해상도의 영상 데이터로 확대하는 경우의 일 예에 대하여 나타내고 있다. 도 5에 있어서, 입력 영상 데이터 중 참조 부호(E)로 나타낸 화소는 처리 대상으로 되는 주목 화소에 해당한다. 또한, 입력 영상 데이터 중에 있어서 참조 부호(A~D, F~I)로 나타낸 화소는 주변 화소(A~D, F~I)에 해당한다. 주변 화소(A~D, F~I)는 주목 화소(E)에 대해 보간 처리를 실시하는 때에 화소 값이 참조될 수 있다. 또한, 확대 영상 데이터 중에 있어서 참조 부호(E1~E4)로 나타낸 화소는 입력 영상 데이터 중의 주목 화소(E)에 대해 확대 처리를 실시한 후의 화소에 해당한다.
바이리니어 법에 기초하여 입력 영상 데이터를 확대하는 경우에는, 확대 영상 데이터 중의 화소(E1~E4)의 각각의 화소 값(IE1~IE4)은 입력 영상 데이터 중의 화소(A~I)의 각각의 화소 값(IA~II)와, 이하에 (식 1)로서 나타낸 계산식에 기초하여 산출된다.
[수학식 1]
Figure 112015076419704-pat00003
… (식 1)
상기에 나타내는 예에서는, 입력 영상 데이터를 4 배의 해상도의 확대 영상 데이터로 확대하는 경우를 예로 설명하였으나, 확대 시의 배율은 4 배에 한정되지 않는다. 또한, 입력 영상 데이터의 해상도를 확대할 수 있으면, 그 방법은 상기에 설명한 바이리니어 법이나, 바이큐빅 법 등의 보간 처리에 기초하는 확대 처리에 한정되지 않는다.
이상과 같이 하여, 확대 처리부(110)는 입력 영상 데이터 보다 해상도가 높은 확대 영상 데이터를 생성한다. 확대 처리부(110)는 생성한 확대 영상 데이터를 엣지 방향 판정부(120) 및 필터 처리부(140)로 출력한다.
엣지 방향 판정부(120)에 대해서 설명한다. 도 6은 본 발명의 일 실시예에 따른 엣지 방향 판정부(120)의 블록도이다. 도 6에 나타내는 바와 같이, 엣지 방향 판정부(120)는 엣지 방향 신뢰도 산출부(121) 및 엣지 방향 신뢰도 필터(123)를 포함한다.
엣지 방향 신뢰도 산출부(121)는 입력으로서 확대 영상 데이터를 확대 처리부(110)로부터 수신한다. 엣지 방향 신뢰도 산출부(121)는 취득한 확대 영상 데이터의 각 화소를 순차 주목 화소로서, 주목 화소의 화소 값과, 당해 주목 화소의 주변에 위치하는 주변 화소의 화소 값과에 기초하여 당해 주목 화소를 포함하는 엣지의 엣지 방향을 판정하고, 당해 엣지 방향의 신뢰도를 산출한다. 이하에, 엣지 방향 신뢰도 산출부(121)에 의한 처리의 내용에 대하여, 구체적인 예를 예를 들어 보다 상세하게 설명한다.
엣지 방향 신뢰도 산출부(121)는 미리 결정된 엣지 방향의 후보 중에서, 대상으로 되는 주목 화소를 포함하는 엣지의 엣지 방향을 특정한다. 예를 들어, 도 7은 엣지 방향의 후보의 일 예를 나타내고 있다. 도 7에 나타내는 바와 같이, 영상 처리 장치(10)에는 엣지 방향의 후보로서, 90 도~ - 72 도의 사이에서 12 방향의 후보가 설정될 수 있다. 또한, 도 7에 나타내는 엣지 방향의 후보는 어디까지나 일 예이고, 각 후보의 설정이나, 당해 후보의 수가 반드시 도 7에 나타내는 예에는 한정되지 않는다.
이어서, 도 8 및 도 9를 참조하여, 엣지 방향 신뢰도 산출부(121)가 대상으로 되는 주목 화소를 포함하는 엣지 방향을 판정하고, 당해 엣지 방향의 신뢰도를 산출하는 처리의 상세에 대하여 설명한다. 도 8 및 도 9는 엣지 방향 신뢰도 산출부(121)에 의한 엣지 방향의 판정과 당해 엣지 방향의 신뢰도의 산출에 따른 처리의 상세에 대하여 설명하기 위한 설명도이다.
엣지 방향 신뢰도 산출부(121)는 도 7에 나타낸 엣지 방향의 후보 각각에 대하여, 주목 화소와 당해 후보마다 미리 결정된 주변 화소의 각 화소 사이에 있어서 화소 값의 상관 값을 산출한다. 예를 들어, 도 8은 각 후보 중 63 도의 방향을 나타내는 후보에 대해서 상관 값을 산출하는 경우의 일 예에 대하여 나타내고 있다. 이하에서는, 엣지 방향 신뢰도 산출부(121)에 의한 처리의 내용을 보다 쉽게 설명하기 위해, 주목 화소의 좌표를 (0,0)으로 하고, 주변 화소의 좌표를 주목 화소에 대한 상대 위치에 기초하여 규정한다. 또한, 좌표(i,j)의 화소의 화소 값(휘도)을 Y(i,j)라 기재한다. 구체적인 일 예로서, 주목 화소(0,0)의 화소 값은 Y(0,0)로 된다.
본 실시 형태에 따른 영상 처리 장치(10)에서는 엣지 방향의 후보마다, 주목 화소를 포함하는 1 이상의 화소에 의해 구성되는 주목 블록과 당해 주목 블록의 주변에 위치하는 복수의 참조 블록이 미리 설정되어 있다. 도 8에 나타내는 예에서는, 참조 부호(b10)가 주목 블록에 상당하고, 참조 부호(b11a, b11b, b12a, 및 b12b)가 참조 블록에 상당한다.
또한, 주목 블록 및 참조 블록은 주목 화소를 기준으로서, 대상으로 되는 후보가 나타내는 엣지 방향으로 연신하는 엣지 상에 위치하는 화소를 포함하도록, 당해 후보마다 미리 설정되어 있다.
예를 들어, 도 8에 나타내는 예에서는, 주목 화소를 (0,0)이라 한 경우에, 당해 주목 화소(0,0)를 기준으로서, 63 도의 방향으로 연신하는 엣지 상에 위치하는 화소를 포함하도록, 주목 블록(b10)과, 참조 블록(b11a, b11b, b12a, 및 b12b)이 설정되어 있다.
구체적으로는, 참조 부호((1,0), (2,0))로 나타낸 주변 화소는 주목 화소(0,0)에 대해, 63 도의 방향에 위치하고 있다. 이때, 참조 블록(b11a)은 당해 주변 화소(1, 0)를 포함하도록 설정되어 있다. 마찬가지로, 참조 블록(b12a)은 당해 주변 화소(2, 0)를 포함하도록 설정되어 있다.
또한, 참조 부호((-1,0), (-2,0))로 나타낸 주변 화소는 주목 화소(0,0)를 기준으로서, 주변 화소((1,0), (2,0))와는 반대 측에 위치하고 있다. 이때, 참조 블록(b11b)는 당해 주변 화소(-1, 0)를 포함하도록 설정되어 있다. 마찬가지로, 참조 블록(b12b)은 당해 주변 화소(-2, 0)를 포함하도록 설정되어 있다.
또한, 도 8에 나타내는 예에서는, 주목 블록(b10)은 주목 화소(0,0)를 기준으로서, 상하 방향으로 1 화소 분씩 연장하도록 설정되어 있다. 즉, 주목 블록(b10)은 주목 화소(0,0)와, 당해 주목 화소(0,0)의 상하에 인접하는 주변 화소((0,1) 및 (0,-1))를 포함한다. 마찬가지로, 참조 블록(b11a 및 b12a)은 각각 주변 화소((1,0), (2,0))를 기준으로서, 상하 방향으로 1 화소 분씩 연장하도록 설정되어 있다. 또한, 참조 블록(b11b 및 b12b)는 각각 주변 화소((-1,0), (-2,0))를 기준으로서, 상하 방향으로 1 화소 분씩 연장하도록 설정되어 있다.
또한, 이후의 설명에서는, 주목 블록(b10)을 기준으로서, 대상으로 되는 후보가 나타내는 엣지 방향을 따라 한쪽 측에 설정된 참조 블록의 수를, 「블록 수」라 칭하는 경우가 있다. 구체적인 일 예로서, 도 8에 나타내는 예에서는, 주목 블록(b10)을 기준으로서, 오른쪽 상측 방향에 2 개의 참조 블록(b11a 및 b12a)이 존재한다. 그러므로, 도 8에 나타내는 예에서는, 블록 수는 2 일 수 있다.
또한, 주목 블록 및 참조 블록 각각의 화소의 중 후보로 되는 엣지 방향으로 연신하는 엣지 상에 위치하는 화소를 기준으로서, 상하 방향 또는 좌우 방향으로 연신하는 화소 수를 「블록 길이」라 칭하는 경우가 있다. 구체적인 일 예로서, 도 8에 나타내는 예에서는, 주목 블록(b10)은 주목 화소(0,0)를 기준으로 상하 방향으로 1 화소 분씩 연장하도록 설정되어 있다. 마찬가지로, 참조 블록(b11a)은 주변 화소(1,0)를 기준으로 상하 방향으로 1 화소 분씩 연장하도록 설정되어 있다. 그러므로, 도 8에 나타내는 예에서 블록 길이는 1 일 수 있다.
엣지 방향 신뢰도 산출부(121)는 엣지 방향의 후보마다 미리 설정된 주목 블록 중의 화소와 당해 주목 블록 내의 화소와 기 설정된 각 참조 블록 내의 화소 사이의 상관 값을 산출한다. 여기서, 화소(i,j)에 있어서 화소 값(휘도)을 Y(i,j)라 하고, 블록 수를 w라 하며, 블록 길이를 ld라 한 경우에, 엣지 방향의 후보 마다(즉, 각도 마다)의 상관 값(cor(d))은 이하에 나타내는 (식 2)에 기초하여 산출된다.
[수학식 2]
Figure 112015076419704-pat00004
… (식 2)
이와 같이, 엣지 방향 신뢰도 산출부(121)는 주목 블록 내의 화소와, 당해 주목 블록 내의 화소에 미리 관련 지어진 각 참조 블록 내의 화소 사이의 휘도 차이를 산출한다. 엣지 방향 신뢰도 산출부(121)는 산출된 휘도 값의 차이의 평균에 기초하여 상관 값(cor(d))을 산출한다.
도 9는 엣지 방향의 후보마다(즉, 각도 마다)의 주목 블록과, 각 참조 블록과의 설정의 일 예를 나타낸다. 도 9에는, 블록 수(w) = 2, 블록 길이(ld) = 1인 경우에 있어서, 엣지 방향의 후보마다의 주목 블록과 각 참조 블록과의 설정의 일 예가 나타내고 있다.
도 9에서는, 엣지 방향의 각 후보 중, 45 도 및 - 45 도의 방향을 나타내는 후보에 대하여는 2 가지의 경우에 대해 도시하고 있다. 이와 같이, 주목 블록과 각 참조 블록과의 설정으로서 복수로 설정이 가능한 후보에 대하여는 엣지 방향 신뢰도 산출부(121)는 각 설정에 대해서 상관 값(cor(d))을 산출하고, 산출된 상관 값(cor(d)) 중 보다 값이 작은 것을 채용할 수 있다.
또한, 엣지 방향의 각 후보 중 0 도 및 90 도의 방향을 나타내는 후보에 대하여는 다른 후보에 비해 참조 블록이 주목 블록과 인접하여 위치한다. 그 결과, 상관 값(cor(d))이 다른 각도 후보보다 작을 수 있다. 엣지 방향 신뢰도 산출부(121)는 엣지 방향의 후보마다 산출된 상관 값(cor(d))에 대해, 당해 후보 마다의 주목 블록과 참조 블록 사이의 위치 관계(예를 들어, 거리)에 따라서, 가중치 부여를 행할 수도 있다.
도 8 및 도 9에 나타낸 주목 블록 및 참조 블록의 블록 형상은 어디까지나 일 예이고, 반드시, 동 형상에 한정하는 것은 아니다. 또한, 블록 수 및 블록 길이의 설정에 대해서도, 도 8 및 도 9에 나타내는 예에 한정되지 않고, 운용에 따라서 적절하게 변경될 수도 있다. 또한, 엣지 방향의 후보마다 블록 수 및 블록 길이로서 다른 값이 설정될 수도 있다.
엣지 방향 신뢰도 산출부(121)는 엣지 방향의 후보마다(즉, 각도마다) 상관 값(cor(d))을 산출하고, 산출된 상관 값(cor(d))이 최소로 되는 엣지 방향의 후보(즉, 각도)를 특정한다. 즉, 상관 값(cor(d))이 최소로 되는 엣지 방향의 후보(dir)는 이하에 나타내는 (식 3)으로 나타내진다.
[수학식 3]
Figure 112015076419704-pat00005
… (식 3)
상관 값(cor(d))의 최소 값(이후에는, 「최소 상관 값」이라 칭하는 경우가 있다)를 corMin이라 한 경우에, 최소 상관 값(corMin)은 이하에 나타내는 (식 4)로 나타내진다.
[수학식 4]
Figure 112015076419704-pat00006
… (식 4)
그리고, 엣지 방향 신뢰도 산출부(121)는 산출한 최소 상관 값(corMin)에 기초하여, 상관 값(cor(d))이 최소로 되는 엣지 방향의 후보(dir)를 주목 화소(0,0)에 대응하는 엣지 방향으로 한 경우에 있어서, 당해 엣지 방향의 신뢰도(rel)를 산출한다. 엣지 방향의 신뢰도(rel)는 이하에 (식 5)로서 나타낸 계산식에 기초하여 산출된다.
[수학식 5]
Figure 112015076419704-pat00007
… (식 5)
이상과 같이 하여, 엣지 방향 신뢰도 산출부(121)는 취득한 확대 영상 데이터의 각 화소를 순차 주목 화소로서, 당해 주목 화소마다, 엣지 방향을 판정하고, 당해 엣지 방향의 신뢰도를 산출한다. 그리고, 엣지 방향 신뢰도 산출부(121)는 확대 영상 데이터 중의 화소마다, 판정한 엣지 방향과 산출한 당해 엣지 방향의 신뢰도를 엣지 방향 신뢰도 필터(123)로 출력한다.
엣지 방향 신뢰도 필터(123)는 확대 영상 데이터 중의 화소마다, 판정된 엣지 방향과 산출된 당해 엣지 방향의 신뢰도를 엣지 방향 신뢰도 산출부(121)로부터 수신한다. 엣지 방향 신뢰도 필터(123)는 주목 화소와 주변 화소 사이의 위치 관계에 기초하여 당해 주목 화소에 대응하는 엣지 방향의 신뢰도를 보정한다. 이하에, 엣지 방향 신뢰도 필터(123)에 의한 처리의 내용에 대하여, 구체적인 예를 들어 보다 상세하게 설명한다.
도 10은 주목 화소에 대응하는 엣지 방향의 신뢰도를 보정하는 처리의 상세에 대하여 설명하기 위한 설명도이고, 주목 화소 및 주변 화소 각각에 대응하는 엣지 방향 및 당해 엣지 방향의 신뢰도의 일 예를 나타내고 있다. 도 10에서는, 주목 화소를 기준으로서, 5x5의 윈도우에 기초하여 주변 화소를 규정한 경우, 주목 화소 및 주변 화소 각각에 대응하는 엣지 방향 및 당해 엣지 방향의 신뢰도의 일 예를 나타내고 있다. 또한, 이후의 설명에서는, 엣지 방향 신뢰도 필터(123)에 의한 처리의 내용을 이해하기 쉽게 하기 위해, 주목 화소의 좌표를 (0,0)이라 하고, 주변 화소의 좌표를 주목 화소에 대한 상대 위치에 기초하여 규정하는 것으로 한다. 또한, 좌표(i,j)의 화소에 대응하는 엣지 방향을 dir(i,j)로 기재하고, 당해 엣지 방향의 신뢰도를 rel(i,j)로 기재하는 경우가 있다. 구체적인 일 예로서, 주목 화소(0,0)에 대응하는 엣지 방향은 dir(0,0)으로 되고, 엣지 방향(dir(0,0))의 신뢰도는 rel(0,0)로 된다.
엣지 방향 신뢰도 필터(123)는 주목 화소에 대응하는 엣지 방향과, 주변 화소에 대응하는 엣지 방향 사이의 차이를 주변 화소마다 산출한다. 여기서, 주목 화소(0,0)에 대응하는 엣지 방향을 dir(0,0), 주변 화소(x,y)에 대응하는 엣지 방향을 dir(x,y)라 한 경우에, 주변 화소(x,y)에 대응하는 엣지 방향의 차이(deltaDir(x,y))는 이하에 나타내는 (식 6)에 기초하여 산출된다.
[수학식 6]
Figure 112015076419704-pat00008
…(식 6)
엣지 방향 신뢰도 필터(123)는 주변 화소(x,y)에 대해서 산출한 엣지 방향의 차이(deltaDir(x,y))에 기초하여, 당해 주변 화소(x,y)에 대응하는 엣지 방향의 차이에 기초하는 가중치(weiD(x,y))를 산출한다. 엣지 방향의 차이에 기초하는 가중치(weiD(x,y))는 이하에 나타내는 (식 7)에 기초하여 산출된다. 또한, (식 7)에 있어서, alphaD는 미리 설정된 계수를 나타내고 있다.
[수학식 7]
Figure 112015076419704-pat00009
… (식 7)
또한, 이후의 설명에서는, 엣지 방향의 차이(deltaDir(x,y))를 모든 주변 화소에 대해 일반화하는 경우에는, 단지 「deltaDir」로 기재하는 경우가 있다. 마찬가지로, 엣지 방향의 차이에 기초하는 가중치(weiD(x,y))를 모든 주변 화소에 대해 일반화하는 경우에는, 단지 「weiD」로 기재하는 경우가 있다.
도 11에, 상기에 나타낸 (식 7)에 기초하는, 엣지 방향의 차이(deltaDir)와, 당해 엣지 방향의 차이에 기초하는 가중치(weiD) 사이의 관계의 일 예를 나타낸다. 도 11에 있어서, 횡축은 엣지 방향의 차이(deltaDir)를 나타내고 있다. 또한, 종축은 엣지 방향의 차이에 기초하는 가중치(weiD)를 나타내고 있다.
또한, 엣지 방향 신뢰도 필터(123)는 주목 화소와 주변 화소 사이의 거리에 따른 가중치를 주변 화소마다 산출한다. 여기서, 주변 화소(x,y)에 대응하는, 주목 화소(0,0)와 당해 주변 화소(x,y) 사이의 거리에 따른 가중치(weiG(x,y))는 이하에 나타내는 (식 8)에 기초하여 산출된다. 또한, (식 8)에 있어서, sigmaG는 미리 설정된 계수를 나타내고 있다.
[수학식 8]
Figure 112015076419704-pat00010
… (식 8)
이상과 같이 하여, 엣지 방향 신뢰도 필터(123)는 주변 화소마다 가중치(weiD(x,y) 및 weiG(x,y))를 산출한다. 그리고, 엣지 방향 신뢰도 필터(123)는 주변 화소마다 산출한 가중치(weiD(x,y) 및 weiG(x,y))에 기초하여 주목 화소(0,0)에 대응하는 엣지 방향의 신뢰도(rel(0,0))를 보정한다. 여기서, 주목 화소(0,0)에 대응하는 보정 후의 신뢰도(relFlt(0,0))는 이하에 나타내는 (식 9)에 기초하여 산출된다.
[수학식9]
Figure 112015076419704-pat00011
… (식 9)
이상과 같이 하여, 엣지 방향 신뢰도 필터(123)는 확대 영상 데이터 중의 각 주목 화소마다 엣지 방향의 신뢰도를 보정한다. 그리고, 엣지 방향 신뢰도 필터(123)는 확대 영상 데이터 중의 화소마다, 당해 화소에 대응하는 엣지 방향과 보정 후의 당해 엣지 방향의 신뢰도를 필터 계수 산출부(130)로 출력한다.도 4에 나타내는 필터 계수 산출부(130)에 대해서 설명한다. 필터 계수 산출부(130)는 필터 계수 산출부(130)로부터 확대 영상 데이터의 각 화소마다 판별된 엣지 방향 및 엣지 방향의 신뢰도를 수신한다. 필터 계수 산출부(130)는 취득한 화소마다의 엣지 방향 및 당해 엣지 방향의 신뢰도에 기초하여 필터 계수를 당해 화소마다 산출한다. 이하에, 필터 계수 산출부(130)에 의한 필터 계수의 산출에 따른 처리의 상세에 대하여 설명한다.
필터 계수 산출부(130)는 확대 영상 데이터 중의 각 화소를 순차 주목 화소로서, 당해 주목 화소에 대응하는 엣지 방향에 기초하여, 당해 주목 화소와, 당해 주목 화소의 주변 화소로부터 복수의 탭 화소를 특정한다.
본 실시 형태에 따른 영상 처리 장치(10)에서는, 엣지 방향의 후보마다, 주목 화소를 기준으로서, 복수의 탭 화소의 상대적인 위치 관계가 미리 결정되어 있을 수 있다. 예를 들어, 도 12는 필터 계수 산출부(130)가 필터 계수를 산출하기 위한 처리의 일 예에 대하여 설명하기 위한 설명도이고, 엣지 방향의 각 후보 중, 63 도의 방향을 나타내는 후보에 대해서 필터 계수를 산출하는 경우의 일 예에 대하여 나타내고 있다.
도 12에 나타내는 예에서는, 주목 화소(p10)가 복수의 탭 화소의 중의 일부에 해당한다. 또한, 이후의 설명에서는, 당해 탭 화소(p10)를 「탭(T)」이라 칭할 수 있다. 또한, 주변 화소(p11a, p11b)가 복수의 탭 화소의 중의 일부에 해당한다. 또한, 이후의 설명에서는, 탭 화소(p11a)를 「탭(L)」이라 칭하고, 탭 화소(p11b)를 「탭(R)」이라 칭하는 경우가 있다.
예를 들어, 도 12에 나타내는 예에서는, 주목 화소(p10)을 기준으로서, 63 도의 방향으로 연신하는 엣지 상에 위치하는 탭 화소(p11a 및 P11b)가 탭(L) 및 탭(R)으로서 설정되어 있다.
또한, 탭(T), 탭(L), 및 탭(R)의 각각에 대응하는 탭 화소는 주목 화소를 기준으로서, 대상으로 되는 후보가 나타내는 엣지 방향으로 연신하는 엣지 상에 위치하도록 당해 후보 마다 미리 설정되어 있다. 또한, 도 12에 나타내는 예에서는, 탭(L) 및 탭(R)로서, 탭(T)(즉, 주목 화소(p10))에 대해, 엣지 방향에 위치하는 화소의 중, 당해 탭(T)의 가장 가깝게 위치하는 화소가 설정되어 있다. 또한, 도 12 에 나타내는 바와 같이, 탭(L)(탭 화소(p11a)) 및 탭(R)(탭 화소(p11b))은 탭(T)(주목 화소(p10))을 기준으로서, 서로 다른 방향에 위치하도록 설정되어 있다.
이상과 같이 하여, 필터 계수 산출부(130)는 주목 화소에 대응하는 복수의 탭 화소를 특정하면, 당해 복수의 탭 화소(즉, 탭(T), 탭(L), 및 탭(R)) 각각에 대응하는 엣지 방향 및 당해 엣지 방향의 신뢰도에 기초하여 당해 주목 화소에 대응하는 필터 계수를 산출한다.
구체적으로는, 먼저, 필터 계수 산출부(130)는 탭(T)에 대응하는 엣지 방향과, 탭(L) 및 탭(R)의 각각에 대응하는 엣지 방향 사이의 차이를 산출한다. 예를 들어, 탭(T)에 대응하는 엣지 방향을 dirT라 하고, 탭(L)에 대응하는 엣지 방향을 dirL이라 한 경우에, 탭(T)와 탭(L) 사이에 있어서 엣지 방향의 차이(deltaDirL)는 이하에 나타내는 (식 10a)로 나타내진다.
[수학식10a]
Figure 112020081978616-pat00041
… (식 10a)
마찬가지로, 탭(T)에 대응하는 엣지 방향을 dirT이라 하고, 탭(R)에 대응하는 엣지 방향을 dirR이라 한 경우에, 탭(T)와 탭(R) 사이에 있어서 엣지 방향의 차이(deltaDirR)는 이하에 나타내는 (식 10b)로 나타내진다.
[수학식10b]
Figure 112020081978616-pat00042
… (식 10b)
이어서, 필터 계수 산출부(130)는 산출한 탭(T)와 탭(L) 사이에 있어서 엣지 방향의 차이(deltaDirL)에 기초하여 가중치(weiL)를 이하에 나타내는 (식 11a)에 기초하여 산출한다. 또한, (식 11a)에 있어서, alpha는 미리 설정된 계수를 나타내고 있다.
[수학식 11a]
Figure 112015076419704-pat00014
… (식 11a)
마찬가지로, 필터 계수 산출부(130)는 산출한 탭(T)와 탭(R) 사이에 있어서 엣지 방향의 차이(deltaDirR)에 기초하여 가중치(weiR)를 이하에 나타내는 (식 11b)에 기초하여 산출한다. 또한, (식 11b)에 있어서, 계수(alpha)는 (식 11a)에 있어서 계수(alpha)와 동일하다.
[수학식 11b]
Figure 112015076419704-pat00015
… (식 11b)
도 13에 상기에 나타낸 (식 11a) 및 (식 11b)에 기초하는, 엣지 방향의 차이(deltaDirL)와, 당해 엣지 방향의 차이에 기초하는 가중치(weiL) 사이의 관계나, 엣지 방향의 차이(deltaDirR)와, 당해 엣지 방향의 차이에 기초하는 가중치(weiR) 사이의 관계의 일 예를 나타낸다. 도 13에 있어서, 횡축은 엣지 방향의 차이(deltaDir*)를 나타내고 있다. 또한, 종축은 엣지 방향의 차이에 기초하는 가중치(wei*)를 나타내고 있다. 또한, 도 13 중에 있어서 엣지 방향의 차이(deltaDir*)는 deltaDirL 및 deltaDirR에 상당하고, 가중치(wei*)는 weiL 및 weiR에 상당한다. 즉, 도 13에 나타내는 그래프에서는 횡축이 deltaDirL인 경우에는, 종축은 weiL로 된다. 마찬가지로, 횡축이 deltaDirR인 경우에는, 종축은 weiR로 된다.
그리고, 필터 계수 산출부(130)는 탭(T), 탭(L), 및 탭(R)의 각각에 대응하는 엣지 방향의 신뢰도와, 탭(L) 및 탭(R)에 대응하여 산출한 가중치(weiL 및 weiR)에 기초하여 필터 계수(bT, bL, 및 bR)를 산출한다. 여기서, 탭(T), 탭(L), 및 탭(R)에 대응하는 엣지 방향의 신뢰도를 각각, relT, relL, 및 relR로 하면, 필터 계수(bT, bL, 및 bR)는 이하에 나타내는 (식 12)에 기초하여 산출된다.
[수학식 12]
Figure 112015076419704-pat00016
… (식 12)
또한, 도 14에, 엣지 방향의 후보 마다(즉, 각도 마다) 의 탭(T), 탭(L), 및 탭(R)의 설정의 일 예를 나타낸다. 도 14에는, 탭 수를 3으로 한 경우에 있어서, 탭(T), 탭(L), 및 탭(R)의 설정의 일 예가 나타내고 있다.
또한, 엣지 후보 중, 0 도 및 90 도를 나타내는 후보에 대하여는, 재기가 발생하지 않기 때문에, 필터 계수(bL, bR)를 0으로 설정하여, 후단의 필터 처리부(140)에 의한 필터 처리를 억제할 수 있다. 또한, 엣지 후보 중, 45 도 및 -45 도를 나타내는 후보의 경우 재기가 발생될 확률이 낮다. 따라서, 45 도 및 -45 도 를 나타내는 후보에 대해서도 0 도 및 90 도를 나타내는 후보와 마찬가지로, 필터 계수(bL, bR)를 0으로 설정 함으로써, 후단의 필터 처리부(140)에 의한 필터 처리를 억제할 수 있다.
또한, 본 실시예에서는, 탭 수를 3으로한 경우를 예로서 설명하였으나, 이에 한정되는 것은 아니다. 예컨대, 탭 수는 3 이상의 홀수 값일 수 있다. 이상과 같이 하여, 필터 계수 산출부(130)는 확대 영상 데이터 중의 화소마다, 필터 계수(bT, bL, 및 bR)를 산출한다. 그리고, 필터 계수 산출부(130)는 확대 영상 데이터 중의 화소마다, 산출한 필터 계수(bT, bL, 및 bR)를 필터 처리부(140)로 출력한다. 필터 계수 산출부(130)는 확대 영상 데이터 중의 화소마다, 당해 화소에 대응하는 엣지 방향에 기초하여 특정한 복수의 탭 화소(특히, 탭(L) 및 탭(R))를 나타내는 정보를 필터 처리부(140)로 보낼 수 있다. 이에 의해, 필터 처리부(140)는 확대 영상 데이터 중의 화소마다 특정된 탭 화소의 위치를 인식하는 것이 가능하게 된다.
필터 처리부(140)는 확대 처리부(110)로부터 출력된 확대 영상 데이터에 대해 재기를 저감하기 위한 필터 처리를 실시할 수 있다.
필터 처리부(140)는 확대 처리부(110)로부터 확대 영상 데이터를 수신한다. 또한, 필터 처리부(140)는 필터 계수 산출부(130)로부터 당해 확대 영상 데이터의 화소마다 산출된 필터 계수(bT, bL, 및 bR)를 수신한다. 또한, 필터 처리부(140)는 확대 영상 데이터 중의 화소마다, 당해 화소에 대응하는 엣지 방향에 기초하여 특정된 복수의 탭 화소를 나타내는 정보를 취득할 수 있다.
필터 처리부(140)는 취득한 확대 영상 데이터 중의 각 화소에 대해, 당해 화소에 대응하는 필터 계수(bT, bL, 및 bR)에 기초하여 필터 처리를 실시한다. 여기서, 처리 대상으로 되는 화소의 화소 값(휘도)을 YT라 하고, 당해 화소의 엣지 방향에 기초하는 탭(L) 및 탭(R) 각각의 화소 값(휘도)를 YL 및 YR라 하면, 취득한 필터 계수(bT, bL, 및 bR)에 기초하여 필터 처리 후의 화소 값(Yout)은 이하에 나타내는 (식 13)으로 나타내진다.
[수학식 13]
Figure 112015076419704-pat00017
… (식 13)
이상과 같이 하여, 필터 처리부(140)는 확대 영상 데이터의 각 화소에 대해 필터 처리를 실시함으로써, 출력 영상 데이터를 생성하여 출력한다.
또한, 상기에 설명한 예에서는, 확대 처리부(110)의 후단에, 엣지 방향 판정부(120), 필터 계수 산출부(130), 및 필터 처리부(140)를 마련하는 예에 대하여 설명하였으나, 반드시 동 구성에 한정하는 것은 아니다. 구체적인 일 예로서, 확대 처리부(110)의 전단에, 엣지 방향 판정부(120), 필터 계수 산출부(130), 및 필터 처리부(140)를 마련할 수도 있다.
이상, 도 4 내지 도 14를 참조하여, 본 실시 형태에 따른 영상 처리 장치(10)의 기능 구성의 일 예에 대하여 설명하였다.
또한, 상술한 일련의 동작은 표시 장치(10)의 각 구성을 동작시키는 장치의 CPU를 기능시키기 위한 프로그램에 의해 구성할 수 있다. 이 프로그램은 그 장치에 인스톨된 OS(Operating System)를 통하여 실행되도록 구성할 수 있다. 또한, 이 프로그램은 상술한 처리를 실행하는 구성이 포함되는 장치가 읽기 가능하면, 기억되는 위치에 한정되지 않는다. 예를 들어, 장치의 외부로부터 접속되는 기록 매체에 프로그램이 저장될 수도 있다. 이 경우에는 프로그램이 저장된 기록 매체를 장치에 접속함으로써, 그 장치의 CPU에 당해 프로그램을 실행시키도록 구성하면 된다.
<3. 변형예>
이어서, 본 실시 형태에 따른 영상 처리 장치(10)의 변형예에 대해서 설명한다.
[3.1. 변형예 1]
먼저, 도 15를 참조하여, 변형예 1에 따른 영상 처리 장치에 대해서 설명한다. 도 15는 변형예 1에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다. 또한, 본 설명에서는, 변형예 1에 따른 영상 처리 장치(20)에 대해서, 전술한 실시 형태에 따른 영상 처리 장치(10)와 다른 부분에 초점을 맞추어 설명하고, 영상 처리 장치(10)와 동일한 부분에 대한 설명은 생략한다.
도 15에 나타내는 바와 같이, 변형예 1에 따른 영상 처리 장치(20)는 RGB-YCbCr 변환부(150)와, YCbCr-RGB 변환부(160)를 더 포함한다. RGB-YCbCr 변환부(150)는 영상 데이터 중의 각 화소의 RGB 성분을 휘도 성분(Y)과 색차 성분(CbCr)으로 변환할 수 있다. RGB-YCbCr 변환부(150)는 확대 처리부(110)로부터 확대 영상 데이터를 수신하고, 확대 영상 데이터 중의 각 화소의 RGB 성분을 휘도 성분(Y)와, 색차 성분(CbCr)으로 변환한다. RGB-YCbCr 변환부(150)는 화소마다의 휘도 성분(Y)을 엣지 방향 판정부(120) 및 필터 처리부(140)로 출력하고, 색차 성분(CbCr)을 YCbCr-RGB 변환부(160)로 출력한다.
엣지 방향 판정부(120)는 휘도 성분(Y)을 이용하여 엣지 방향을 판정하고, 엣지 방향의 신뢰도를 산출할 수 있다. 필터 계수 산출부(130)는 엣지 방향 및 엣지 방향의 신뢰도에 기초하여 필터 계수를 산출할 수 있다.
또한, 필터 처리부(140)는 필터 계수에 기초하여 각 화소의 휘도 성분(Y)에 대해 재기를 저감하기 위한 필터 처리를 실시한다. 그리고, 필터 처리부(140)는 필터 처리가 실시된 휘도 성분을 YCbCr-RGB 변환부(160)로 출력한다.
YCbCr-RGB 변환부(160)는 확대 영상 데이터 중의 화소마다의 색차 성분(CbCr)을 RGB-YCbCr 변환부(150)로부터 수신한다. 또한, YCbCr-RGB 변환부(160)는 필터 처리부(140)로부터 재기를 저감하기 위한 필터 처리가 실시된 휘도 성분을 수신한다. YCbCr-RGB 변환부(160)는 입력 영상 데이터 중의 화소마다 취득한, 색차 성분(CbCr)과, 엣지 강조 처리가 실시된 휘도 성분을 RGB 성분으로 변환함으로써, 출력 영상 데이터를 생성하여 출력한다.
이상, 도 15를 참조하여 변형예 1에 따른 영상 처리 장치(20)에 대해서 설명하였다. 이상, 변형예 1로서 설명한 바와 같이, 본 실시 형태에 따른 영상 처리 장치는 휘도 성분(Y)만을 대상으로서, 엣지 방향의 판정 및 당해 엣지 방향의 신뢰도의 산출과, 필터 계수의 산출과, 당해 필터 계수에 기초하는 필터 처리를 실행하도록 구성될 수도 있다.
[3.2. 변형예 2]
이어서, 변형예 2에 따른 영상 처리 장치에 대해서 설명한다. 본 실시 형태에 따른 영상 처리 장치(30)는 필터 처리부(140)에 의한 필터 처리에 의해, 확대 영상 데이터 중의 재기가 저감된다. 필터 처리부(140)에 의한 필터 처리에 의해, 엣지 근방에 있어서 화소 사이의 화소 값의 변화가 작게 되고, 당해 엣지가 무뎌지는 경향이 있다. 여기서, 변형예 2로서, 확대 영상 데이터 중의 엣지를 강조하는 처리를 추가한 경우의 영상 처리 장치의 구성의 일 예에 대하여 설명한다.
도 16은 변형예 2에 따른 영상 처리 장치의 기능 구성의 일 예를 나타낸 블록도이다. 도 16에 나타내는 바와 같이, 영상 처리 장치(30)는 전술한 변형예 1에 따른 영상 처리 장치(20)와 동일하게 휘도 성분(Y)을 이용하여 엣지 방향의 판정, 엣지 방향의 신뢰도의 산출, 필터 계수의 산출 및 필터 계수에 기초하는 필터 처리를 실행할 수 있다. 본 실시예에 따른 영상 처리 장치(30)는 엣지 강조 처리부(170)를 더 포함할 수 있다. 본 설명에서는, 도 16에 나타낸 변형예 2에 따른 영상 처리 장치(30)에 대해서, 전술한 변형예 1에 따른 영상 처리 장치(20)와 다른 부분에 초점을 맞추어 설명하고, 당해 영상 처리 장치(20)와 동일한 부분에 대한 설명은 생략한다.
엣지 강조 처리부(170)는 입력된 영상 데이터에 대해 엣지를 강조하기 위한 필터 처리를 실시한다. 상기 필터 처리의 예로는 라플라시안 필터 등과 같은 방법을 예로 들 수 있으나 이에 한정되는 것은 아니다. 엣지 강조 처리부(170)는 필터 처리 후의 영상 데이터를 출력할 수 있다. 도 16에 나타내는 예에서는, 엣지 강조 처리부(170)는 필터 처리부(140)에 의해, 재기를 저감하기 위한 필터 처리가 실시된 확대 영상 데이터의 휘도 성분(Y)에 대해 엣지를 강조하기 위한 필터 처리를 실시할 수 있다.
영상 처리 장치(30)는 필터 처리부(140)에 의한 필터 처리에 의해 둔해진 엣지를 엣지 강조 처리부(170)에 의한 필터 처리에 의해 강조한다. 그 결과, 엣지가 선명하게 표현된 출력 영상 데이터를 출력할 수 있다.
또한, 일반적으로는, 영상 데이터에 대해 엣지를 강조하기 위한 필터 처리가 실시되면, 당해 영상 데이터 중의 아티팩트도 보다 강조될 수 있다. 그러나, 본 실시 형태의 변형예 2에 따른 영상 처리 장치(30)에서는 엣지가 교차하는 부분에서의 오 보간을 억제하는 것이 가능하다. 따라서, 오 보간에 따른 엣지가 도중에 절단되는 아티팩트의 발생이 억제될 수 있다. 이어서, 도 17을 참조하여, 변형예 2에 따른 영상 처리 장치의 다른 일 실시 형태에 대해서 설명한다. 도 17은 변형예 2에 따른 영상 처리 장치의 기능 구성의 다른 일 예에 대하여 나타낸 블록도이다. 도 16에 나타내는 영상 처리 장치(30)에서는, 필터 처리부(140)의 후단에 엣지 강조 처리부(170)가 마련되어 있다. 이와 달리 도 17에 나타내는 영상 처리 장치(40)에서는, 필터 처리부(140)의 전단에 엣지 강조 처리부(170)가 마련될 수 있다.
영상 처리 장치(40)의 엣지 강조 처리부(170)는 RGB-YCbCr 변환부(150)로부터 출력되는 확대 영상 데이터의 휘도 성분(Y)에 대해 엣지를 강조하기 위한 필터 처리를 실시한다. 그리고, 엣지 강조 처리부(170)는 엣지를 강조하기 위한 필터 처리가 실시된 확대 영상 데이터의 휘도 성분을 필터 처리부(140)로 출력한다.
필터 처리부(140)는 엣지를 강조하기 위한 필터 처리를 실시된 확대 영상 데이터의 휘도 성분(Y)에 대해 재기를 저감하기 위한 필터 처리를 실시한다.
영상 처리 장치(40)는 엣지 강조 처리부(170)에 의해 확대 영상 데이터 중의 엣지가 사전에 강조된다. 따라서, 필터 처리부(140)에 의한 필터 처리가 실시되어도 선명한 엣지가 유지된 출력 영상 데이터가 출력될 수 있다.
엣지 강조 처리부(170)에 의해 엣지가 강조된 후에, 필터 처리부(140)에 의한 필터 처리가 실시되기 때문에, 엣지가 교차하는 부분에서 아티팩트의 발생이 보다 감소될 수 있다.
도 15에 나타낸 변형예 1에 따른 영상 처리 장치(20)에 대해, 엣지 강조 처리부(170)를 추가하는 예에 대하여 설명하였으나, 반드시 동 구성에 한정되지 않는다. 본 발명의 다른 실시예에서는, 도 4에 나타낸 영상 처리 장치(10)에 대해, 엣지 강조 처리부(170)를 추가하는 구성으로도 할 수 있다. 또한, 이 경우에 대하여도 마찬가지로, 필터 처리부(140)의 전단 혹은 후단에, 엣지 강조 처리부(170)를 마련하는 구성으로 하면 된다.
이상, 도 16 및 도 17을 참조하여, 변형예 2에 따른 영상 처리 장치(30 및 40)에 대해서 설명하였다. 이상, 변형예 2로서 설명한 바와 같이, 본 실시 형태에 따른 영상 처리 장치는 확대 영상 데이터에 대해 엣지를 강조하기 위한 필터 처리를 실시하기 위한 구성(즉, 엣지 강조 처리부(170))가 마련되어 있어도 좋다.
<4. 정리>
이상 설명한 바와 같이, 본 실시 형태에 따른 영상 처리 장치(10)는 확대 영상 데이터의 각 화소를 순차 주목 화소로서, 주목 화소와 당해 주목 화소의 주변 화소와의 각각의 화소 값(휘도)에 기초하여 당해 주목 화소에 대응하는 엣지 방향과 당해 엣지 방향의 신뢰도를 산출한다. 그리고, 영상 처리 장치(10)는 확대 영상 데이터의 화소마다 산출된 엣지 방향 및 신뢰도에 기초하여 당해 화소마다 필터 계수를 산출하고, 당해 필터 계수에 기초하여 확대 영상 데이터에 대해 필터 처리를 실시한다.
특히, 본 실시 형태에 따른 영상 처리 장치(10)는 도 10을 참조하여 설명한 바와 같이, 주목 화소에 대응하는 엣지 방향과, 주변 화소에 대응하는 엣지 방향에 기초하여 당해 주목 화소에 대응하는 엣지 방향의 신뢰도를 보정한다.
이와 같은 구성에 의해, 도 3 에 나타내는 바와 같이, 서로 다른 방향으로 연신하는 엣지가 교차하는 개소의 화소에 있어서는, 도 2에 나타내는 바와 같이 어느 한쪽 만을 향하여 엣지가 연신하는 개소의 화소에 비해, 엣지 방향의 신뢰도가 낮아지고, 필터 계수가 작아진다. 즉, 본 실시 형태에 따른 영상 처리 장치(10)에서는, 엣지가 교차하는 개소의 화소에서는 어느 한쪽만을 향하여 엣지가 연신하는 개소의 화소에 비해 필터 처리의 영향이 약하게 된다.
그러므로, 본 실시 형태에 따른 영상 처리 장치(10)에 의하면, 도 3 에 나타내는 바와 같은, 복수의 엣지가 교차하는 개소(v13)에 있어서 오 보간이 억제되고, 당해 오 보간에 따른, 엣지가 도중 절단되는 아티팩트의 발생을 억제하는 것이 가능하게 된다. 즉, 본 실시 형태에 따른 영상 처리 장치(10)에 의하면, 복수의 엣지가 교차하는 개소(v13)에 있어서 오 보간의 발생을 억제하고, 또한, 영상 데이터 중의 재기를 보다 바람직한 형태로 저감하는 것이 가능하게 된다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명하였으나, 본 발명은 이러한 예에 한정되지 않는다. 본 발명의 속하는 기술의 분야에 있어서 통상의 지식을 갖는 자이면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서, 각 종의 변경예 또는 수정예에 착안하여 얻는 것은 명확하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 해석된다.
10, 20, 30, 40: 영상 처리 장치 110: 확대 처리부
120: 엣지 방향 판정부 121: 엣지 방향 신뢰도 산출부
123: 엣지 방향 신뢰도 필터 130: 필터 계수 산출부
140: 필터 처리부 150: RGB-YCbCr 변환부
160: YCbCr-RGB 변환부

Claims (18)

  1. 입력 영상 데이터가 인가되는 각 화소를 주목 화소로서, 상기 주목 화소를 포함하는 제1 블록 내의 화소와, 상기 제1 블록에 대해 미리 결정된 엣지 방향들의 후보에 기초하는 방향에 위치하는 복수의 제2 블록들 내의 화소 사이의 상관 값에 기초하여 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 엣지 방향 판정부;
    상기 주목 화소에 대응하는 주목 화소 엣지 방향 및 상기 주목 화소 엣지 방향의 신뢰도와, 상기 주목 화소를 기준으로서 상기 주목 화소 엣지 방향에 위치하는 복수의 탭 화소 각각에 대응하는 탭 화소 엣지 방향 및 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 주목 화소에 대응하는 필터 계수를 산출하는 필터 계수 산출부; 및
    상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터에 대해, 필터 처리를 실시함으로써, 출력 영상 데이터를 생성하는 필터 처리부를 포함하고,
    상기 엣지 방향 판정부는 상기 주목 화소 엣지 방향과, 상기 주목 화소를 기준으로 한 소정의 범위 내에 포함되는 주변 화소에 대응하는 주변 화소 엣지 방향에 따른 제 1 가중치와, 상기 주목 화소와 상기 주변 화소 사이의 거리에 따른 제 2 가중치에 기초하여 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도를 보정하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 엣지 방향들의 후보마다 상기 제1 블록 및 복수의 상기 제2 블록들 각각은 복수의 화소를 포함하도록 미리 설정되고,
    상기 엣지 방향 판정부는 상기 제1 블록과, 복수의 상기 제2 블록들의 각각 사이에서, 당해 제1 블록 내의 화소와 기 설정된 상기 제2 블록들 내의 화소 사이의 화소 값의 차이를 산출하고, 산출된 상기 차이에 기초하여 상기 상관 값을 산출하는 영상 처리 장치.
  3. 제 2 항에 있어서,
    상기 엣지 방향 판정부는 상기 제1 블록과, 복수의 상기 제2 블록 각각 사이에서 산출된 상기 차이의 평균에 기초하여 상기 상관 값을 산출하는 영상 처리 장치.
  4. 제 2 항에 있어서,
    상기 엣지 방향 판정부는 상기 엣지 방향들의 후보 중 산출된 상기 상관 값이 최소로 되는 후보를 상기 엣지 방향으로 판정하는 영상 처리 장치.
  5. 제 4 항에 있어서,
    상기 엣지 방향 판정부는 상기 엣지 방향으로서 판정한 상기 후보에 대응하는 상기 상관 값에 기초하여 상기 신뢰도를 산출하는 영상 처리 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 필터 계수 산출부는,
    상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향과, 상기 탭 화소에 대응하는 상기 탭 화소 엣지 방향에 기초하여 제 3 가중치를 산출하고,
    산출한 상기 제 3 가중치와, 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도와, 상기 탭 화소에 대응하는 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 필터 계수를 산출하는 영상 처리 장치.
  8. 제 7 항에 있어서,
    상기 필터 계수 산출부는,
    상기 주목 화소를 기준으로서, 서로 다른 방향에 위치하는 제 1 탭 화소 및 제 2 탭 화소 각각에 대하여, 상기 제 3 가중치를 산출하고,
    상기 제 1 탭 화소 및 상기 제 2 탭 화소 각각에 대응하는 상기 제 3 가중치 및 상기 탭 화소 엣지 방향의 신뢰도와, 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도에 기초하여 상기 필터 계수를 산출하는 영상 처리 장치.
  9. 제 8 항에 있어서,
    상기 필터 계수 산출부는 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도를 relT라 하고, 상기 제 1 탭 화소에 대응하는 대응하는 상기 탭 화소 엣지 방향의 신뢰도 및 상기 제 3 가중치를 relL 및 weiL이라 하며, 상기 제 2 탭 화소에 대응하는 상기 탭 화소 엣지 방향의 신뢰도 및 상기 제 3 가중치를 relR 및 weiR이라 한 경우에, 상기 필터 계수로서, 제 1 필터 계수(bT), 제 2 필터 계수(bL), 및 제 3 필터 계수(bR)를 이하에 나타내는 계산식에 기초하여 산출하는 영상 처리 장치.
    Figure 112015076419704-pat00018
  10. 제 9 항에 있어서,
    상기 필터 처리부는 상기 주목 화소의 화소 값(YT)과, 상기 제 1 탭 화소의 화소 값(YL)과, 상기 제 2 탭 화소의 화소 값(YR)과, 상기 제 1 필터 계수(bT)와, 상기 제 2 필터 계수(bL)와, 상기 제 3 필터 계수(bR)에 기초하여 상기 주목 화소에 대응하는 출력 영상 데이터 중의 출력 화소의 화소 값(Yout)를 이하에 나타내는 계산식에 기초하여 산출하는 영상 처리 장치.

    Figure 112015076419704-pat00019
  11. 제 1 항에 있어서,
    상기 엣지 방향 판정부는 상기 제 1 블록 내의 화소의 휘도 성분과, 상기 제 2 블록 내의 화소의 휘도 성분 사이의 상기 상관 값에 기초하여 상기 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하고,
    상기 필터 처리부는 상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터의 휘도 성분에 대하여, 상기 필터 처리를 실시하는 것을 특징으로 하는 영상 처리 장치.
  12. 제 1 항에 있어서,
    상기 입력 영상 데이터에 대해, 엣지를 강조하기 위한 엣지 강조 처리를 실시하는 엣지 강조 처리부를 더 포함하는 영상 처리 장치.
  13. 제 12 항에 있어서,
    상기 필터 처리부는 상기 엣지 강조 처리부에 의해 상기 엣지 강조 처리가 실시된 상기 입력 영상 데이터에 대해, 상기 필터 처리를 실시하는 영상 처리 장치.
  14. 제 12 항에 있어서,
    상기 엣지 강조 처리부는 상기 필터 처리부에 의해 상기 필터 처리가 실시된 상기 입력 영상 데이터에 대해, 상기 엣지 강조 처리를 실시하는 영상 처리 장치.
  15. 제 12 항에 있어서,
    상기 엣지 강조 처리부는 상기 입력 영상 데이터의 휘도 성분에 대하여, 상기 엣지 강조 처리를 실시하는 영상 처리 장치.
  16. 제 1 항에 있어서,
    제 1 해상도를 갖는 제1 영상 데이터에 확대 처리를 실시하여 상기 제1 영상 데이터를 상기 제 1 해상도 보다 높은 제 2 해상도를 갖는 제 2 영상 데이터로 변환하고, 상기 제 2 영상 데이터를 상기 입력 영상 데이터로서 출력하는 확대 처리부를 더 포함하는 영상 처리 장치.
  17. 입력 영상 데이터가 인가되는 각 화소를 주목 화소로서, 상기 주목 화소를 포함하는 제1 블록 내의 화소와 상기 제1 블록에 대해 미리 결정된 엣지 바향들의 후보에 기초하는 방향에 위치하는 복수의 제2 블록들 내의 화소 사이의 상관 값이 기초하여 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 단계;
    상기 주목 화소에 대응하는 주목 화소 엣지 방향 및 상기 주목 화소 엣지 방향의 신뢰도와, 상기 주목 화소를 기준으로서 상기 주목 화소 엣지 방향에 위치하는 복수의 탭 화소 각각에 대응하는 탭 화소 엣지 방향 및 상기 탭 화소 엣지 방향의 신뢰도에 기초하여 상기 주목 화소에 대응하는 필터 계수를 산출하는 단계; 및
    상기 주목 화소마다 산출된 상기 필터 계수에 기초하여 상기 입력 영상 데이터에 대해, 필터 처리를 실시함으로써, 출력 영상 데이터를 생성하는 단계를 포함하고,
    상기 엣지 방향을 판정하고, 상기 엣지 방향의 신뢰도를 산출하는 단계는 상기 주목 화소 엣지 방향과, 상기 주목 화소를 기준으로 한 소정의 범위 내에 포함되는 주변 화소에 대응하는 주변 화소 엣지 방향에 따른 제 1 가중치와, 상기 주목 화소와 상기 주변 화소 사이의 거리에 따른 제 2 가중치에 기초하여 상기 주목 화소에 대응하는 상기 주목 화소 엣지 방향의 신뢰도를 보정하는 단계를 포함하는 영상 처리 방법.
  18. 삭제
KR1020150111153A 2014-11-27 2015-08-06 영상 처리 장치, 영상 처리 방법, 및 프로그램 KR102440284B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-240236 2014-11-27
JP2014240236A JP6473608B2 (ja) 2014-11-27 2014-11-27 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20160064953A KR20160064953A (ko) 2016-06-08
KR102440284B1 true KR102440284B1 (ko) 2022-09-07

Family

ID=56079469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111153A KR102440284B1 (ko) 2014-11-27 2015-08-06 영상 처리 장치, 영상 처리 방법, 및 프로그램

Country Status (3)

Country Link
US (1) US9679357B2 (ko)
JP (1) JP6473608B2 (ko)
KR (1) KR102440284B1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US20170256036A1 (en) * 2016-03-03 2017-09-07 Lytro, Inc. Automatic microlens array artifact correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
CN109993693B (zh) * 2017-12-29 2023-04-25 澜至电子科技（成都）有限公司 用于对图像进行插值的方法和装置
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
KR102661879B1 (ko) 2019-04-05 2024-04-29 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111652818B (zh) * 2020-05-29 2023-09-29 浙江大华技术股份有限公司 一种基于金字塔的图像滤波方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008251A1 (en) * 2003-05-17 2005-01-13 Stmicroelectronics Asia Pacific Pte Ltd. Edge enhancement process and system
JP4487179B2 (ja) * 2004-03-16 2010-06-23 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110459B2 (en) 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
JP3829985B2 (ja) 2002-10-31 2006-10-04 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4534594B2 (ja) 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4517872B2 (ja) * 2005-02-10 2010-08-04 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2008054267A (ja) 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
KR20080040292A (ko) * 2006-11-02 2008-05-08 엘지전자 주식회사 디인터레이싱을 위한 보간 방법
US8428382B2 (en) * 2007-02-16 2013-04-23 Kao Corporation Hair image display method and display apparatus
US8081256B2 (en) * 2007-03-20 2011-12-20 Samsung Electronics Co., Ltd. Method and system for edge directed deinterlacing in video image processing
JP2008252449A (ja) 2007-03-30 2008-10-16 Toshiba Corp 画像伸張装置、映像表示装置および画像伸張方法
CN101952854B (zh) * 2008-04-21 2012-10-24 夏普株式会社 图像处理装置、显示装置、图像处理方法、程序和记录介质
JP5322824B2 (ja) 2009-07-28 2013-10-23 キヤノン株式会社 解像度変換装置および解像度変換方法
JP5388780B2 (ja) 2009-09-28 2014-01-15 京セラ株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2009301583A (ja) 2009-09-28 2009-12-24 Seiko Epson Corp 画像処理装置、画像処理方法、並びに画像処理プログラム
JP6012230B2 (ja) * 2012-04-06 2016-10-25 キヤノン株式会社 エッジ方向判定装置、エッジ方向判定装置の制御方法、及び、画像処理装置
US9558535B2 (en) * 2012-08-07 2017-01-31 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, and image display device
JP5995704B2 (ja) * 2012-12-21 2016-09-21 三菱電機株式会社 画像処理装置及び画像処理方法並びにプログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008251A1 (en) * 2003-05-17 2005-01-13 Stmicroelectronics Asia Pacific Pte Ltd. Edge enhancement process and system
JP4487179B2 (ja) * 2004-03-16 2010-06-23 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
JP2016103095A (ja) 2016-06-02
KR20160064953A (ko) 2016-06-08
US20160155215A1 (en) 2016-06-02
JP6473608B2 (ja) 2019-02-20
US9679357B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
KR102440284B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
US9076234B2 (en) Super-resolution method and apparatus for video image
US8175417B2 (en) Apparatus, method, and computer-readable recording medium for pixel interpolation
JP5700968B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
WO2014102876A1 (ja) 画像処理装置、および、画像処理方法
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP2017174311A (ja) エッジ検出装置およびエッジ検出方法
JP4868249B2 (ja) 映像信号処理装置
US20120038785A1 (en) Method for producing high resolution image
JP2017076240A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
JP2006344002A (ja) 画像処理装置、エッジ検出装置、画像処理方法、エッジ検出方法及びそのプログラム
JP2013125422A (ja) 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置
JP5928465B2 (ja) 劣化復元システム、劣化復元方法およびプログラム
JP2010193154A (ja) 画像処理装置および画像処理方法
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP2015106318A (ja) 画像処理装置および画像処理方法
JP2010157877A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US20120154429A1 (en) Apparatus and method for smoothed aliasing on a two-dimensional plane
WO2016024375A1 (ja) 画像処理装置及び画像処理方法
US10861131B2 (en) Image magnifying apparatus
WO2023026441A1 (ja) 領域補正装置、領域補正方法、及びプログラム
JP6654798B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5018198B2 (ja) 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant