KR20130124537A

KR20130124537A - 화상 처리 방법, 화상 처리 장치, 영상 부호화／복호 방법, 영상 부호화／복호 장치 및 그 프로그램

Info

Publication number: KR20130124537A
Application number: KR1020137021110A
Authority: KR
Inventors: 마사아키 마츠무라; 세이시 다카무라; 아츠시 시미즈; 히로히사 조자와
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2011-03-09
Filing date: 2012-03-07
Publication date: 2013-11-14
Also published as: CN103404148B; EP2670142B1; KR101546894B1; US20130343470A1; ES2583129T3; EP2670142A1; BR112013022553A2; WO2012121269A1; US9363515B2; CA2828930A1; CA2828930C; TWI491253B; RU2013140540A; TW201304532A; JP2012191310A; RU2565499C2; JP5291133B2; CN103404148A; EP2670142A4

Abstract

부호화 효율의 저하를 억제하면서 디노이즈 필터의 연산량을 줄인다. 화상 처리 장치에서 엣지 방향 검출부는, 디노이즈 대상 화상을 이용하여 엣지 방향을 산출한다. 탐색 형상 설정부는, 산출된 엣지 방향을 탐색 형상의 제한에 이용하는 지표로 하고, 엣지 방향과 직교되는 방향의 탐색점의 수가 상기 엣지 방향을 따르는 탐색점의 수보다 적은 탐색 형상을 설정한다. 필터 실행부는, 대상 화소의 템플릿과 탐색 형상 내의 각 탐색점의 템플릿과의 템플릿 유사도에 따른 가중과 해당 탐색점에서의 화소치의 가중합에 의해 대상 화소의 노이즈를 제거할 때 템플릿 매칭을, 설정된 탐색 형상 내의 각 탐색점에 대해서만 행하여 대상 화소의 노이즈를 제거하는 처리를 실행한다.

Description

화상 처리 방법, 화상 처리 장치, 영상 부호화／복호 방법, 영상 부호화／복호 장치 및 그 프로그램{Image processing method, image processing device, video encoding／decoding method, video encoding／decoding device, and programs therefor}

본 발명은, 화상 촬영시의 노이즈나 열화 화상의 열화를 줄이는 화상 처리 기술에 관한 것이다.

본원은 2011년 3월 9일에 일본에 출원된 일본특허출원 2011-051443호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

본 명세서에서 사용되고 있는 각 어구를 이하와 같이 정의한다.

·「탐색 형상」： 템플릿 매칭의 대상으로 하는 해당 화소 주변의 각 탐색점의 집합체, 또 그 집합체가 만드는 형상.

·「템플릿 형상」： 템플릿 매칭시에 해당 화소와 각 탐색점의 유사도를 계산할 때에 이용하는 화소군, 또 그 화소군이 만드는 형상. 해당 화소 주변의 화소군과 각 탐색점 주변의 화소군에서 같은 형상을 이용하여 상대 위치 관계가 같은 위치끼리의 화소치를 비교한다.

화상 처리 분야에서 화상 촬영시의 노이즈나 열화 화상의 열화를 줄이는 수법으로서 다양한 디노이즈 필터가 제안되고 있다. 그 중에서도 Non-local means법에 의한 디노이즈 필터(비특허문헌 1 참조)는, 높은 디노이즈 효과를 발휘한다고 알려져 있다. Non-local means법에 의한 디노이즈 필터를, 이하 NLM 필터라고 한다.

도 26은, NLM 필터의 설명도이다. 도 26에서, 정사각형의 1매스가 탐색점이며, 이러한 탐색점의 집합체가 탐색 형상이다. P₀는 디노이즈 대상 화소, P_s는 탐색처에서의 탐색점의 화소이다. T₀ 및 T_s는 템플릿 형상으로서, 비교원(元)의 템플릿 형상 T₀와 탐색처의 템플릿 형상 T_s의 형상은 동일하다.

NLM 필터에서는, 비교원과 탐색처의 각 템플릿 형상 T₀, T_s 내의 대응하는 각 화소끼리 비교하여 템플릿 유사도를 산출한다. 템플릿 유사도의 계산에는, 일반적으로 SSD(Sum of Square Difference)나 SAD(Sum of Absolute Difference)가 이용된다.

도 27은, NLM 필터 실행부의 입출력을 도시한 도면이다. NLM 필터 실행부(1000)는, 기본적으로는 디노이즈 대상 화상, 탐색 형상, 템플릿 형상, 디노이즈 계수의 4가지 정보를 입력하여 디노이즈 후의 결과 화상을 생성한다. 디노이즈 계수는, 노이즈가 부여되기 전의 원화상이 있는 경우에는 분산을 대표치로서 부여하는데, 원화상이 없는 경우에는 사용자가 적당한 값을 설정한다.

NLM 필터 실행부(1000)는, 다음과 같이 각 화소에 대해 디노이즈 후의 화소치를 산출한다. 이하에서는, 템플릿 유사도의 계산에 SSD를 이용한 예를 설명하기로 한다.

(1) 가중값 합계의 변수 SW를 0, 화소치 합계의 변수 SP를 0으로 초기화한다.

(2) 탐색 형상 내의 모든 각 탐색점에 대해 이하의 처리를 반복한다.

(2-1) 템플릿 유사도로서 SSD를 산출한다.

(2-2) 가중값 W=exp(-SSD/디노이즈 계수)

(2-3) 가중값 합계 SW=가중값 합계 SW＋가중값 W

(2-4) 화소치 합계 SP=화소치 합계 SP＋가중값 W×(탐색점의 화소치)

(3) 탐색 형상 내의 모든 탐색점에 대해 (2)의 처리를 끝냈다면, 디노이즈 대상 화소의 디노이즈 후의 화소치를 다음 식에 의해 구한다.

(디노이즈 후의 화소치)=화소치 합계 SP/가중값 합계 SW

NLM 필터 실행부(1000)는, 입력되는 디노이즈 계수, 탐색 형상, 템플릿 형상으로서 단일의 값이 주어진 경우에는, 디노이즈 대상 화상의 모든 화소에 대해 단일의 값이나 형상으로 디노이즈 처리를 하고, 화소마다 대응되는 데이터군이 주어진 경우에는 대응점마다 값이나 형상을 전환하여 디노이즈 처리를 행한다.

또 "MPEG(Moｖing Picture Experts group)"나 "VCEG(Video Coding Experts group)"에서 현재 국제 표준화 활동이 이루어지는 차세대 영상 부호화 표준 방식의 "High Efficiency Video Coding"의 모형(Test Model)인 "HM"에는, 부호화 왜곡을 제거하기 위해 디블로킹 필터에 의한 디노이즈 필터가 탑재되어 있다(비특허문헌 2 참조).

비특허문헌 1: A.Buades, B.Coll, and J.M.Morel, "A non-local algorithm for image denoising", Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp.60-65, June, 2005. 비특허문헌 2: Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm,gary J. Sullivan, "WD1: Working Draft 1 of High-Efficiency Video Coding", ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting: Guangzhou, CN, 7-15 October, 2010.

전술한 바와 같이 차세대 영상 부호화 표준 방식의 "High Efficiency Video Coding"의 "HM"에는, 부호화 왜곡을 제거하기 위해 디블로킹 필터에 의한 디노이즈 필터가 탑재되어 있는데, 상기 NLM 필터를 HM에 도입하면 종래의 디블로킹 필터보다 부호화 효율을 높일 수 있다고 생각된다.

그러나 NLM 필터는 연산량이 팽대하기 때문에 복호 장치에서 NLM 필터를 모든 화소에 대해서 계산하면, 복호에 필요한 계산 시간이 크게 증가할 우려가 있다.

전술한 것처럼, 디노이즈 대상 화소 하나하나에 대해 임의의 탐색 형상 내의 각 탐색점에 대해, 임의의 템플릿 형상으로 템플릿 매칭을 행하여 템플릿 유사도를 계산한다. 따라서, 예를 들면 템플릿 형상이 N×N 블록, 탐색 형상이 M×M이라고 가정하면, 1화소의 디노이즈 계산을 행하기 위해 N²×M² 오더의 연산량이 필요하게 된다. 따라서, NLM 필터를 복호 장치 등에서 이용하기 위해서는, 이 연산량을 줄이는 기술이 필요해진다.

본 발명은, 이상의 과제를 해결하기 위해 부호화 효율의 저하를 억제하면서 디노이즈 필터의 연산량을 줄이는 기술을 제공하는 것을 목적으로 한다. 아울러 여기서 부호화 효율로서는, 예를 들면 화질과 부호량으로 계산되는 국제적인 평가 방법 중 하나인 BD-rate를 이용한다.

본 발명은, 상기 과제를 해결하기 위해 디노이즈 대상 화상에서의 디노이즈의 대상 화소에 대한 비교원이 되는 템플릿과, 상기 디노이즈 대상 화상에서의 탐색 형상 내의 탐색처가 되는 각 탐색점에 대한 템플릿과의 템플릿 매칭을 행하여 템플릿 유사도에 따른 가중과 해당 탐색점에서의 화소치의 가중합에 의해 상기 대상 화소의 노이즈를 제거하는 화상 처리에서, 이하의 처리를 실행한다.

(1) 상기 디노이즈 대상 화상을 이용하여 엣지 방향을 산출한다.

(2) 산출된 상기 엣지 방향을, 상기 탐색 형상의 제한에 이용하는 지표로 하고, 상기 엣지 방향과 직교되는 방향의 상기 탐색점의 수가 상기 엣지 방향을 따르는 상기 탐색점의 수보다 적은 탐색 형상을 설정한다.

(3) 상기 템플릿 매칭을, 설정된 상기 탐색 형상 내의 각 탐색점에 대해서만 행하여 상기 대상 화소의 상기 노이즈를 제거하는 처리를 실행한다.

또 본 발명은, 상기 화상 처리를 영상 부호화 또는 복호에서의 루프 필터(종래의 디블로킹 필터에 상당함)에 적용한다.

또한 본 발명에서는, 상기 화상 처리를, 영상 부호화 또는 복호에서의 루프 필터에 적용할 때 상기 처리(1)∼(3)에 추가하여 이하의 처리를 실행하도록 해도 좋다.

(4) 복호 화상을 이용하여 상기 대상 화소와 상기 대상 화소의 주변 화소와의 괴리도를 산출한다.

(5) 상기 괴리도를, 상기 템플릿의 템플릿 형상의 제한에 이용하는 지표로 하고, 상기 괴리도가 상기 복호 화상 내의 괴리도 최대치와 비교하여 낮을수록 상기 템플릿 형상이 작아지도록 상기 템플릿 형상을 제한하는 처리를 실행한다.

또 나아가 이하의 (6)의 처리를 더 추가해도 좋다.

(6) 처리(5)에서 제한한 템플릿 형상에서 과잉 할당된 영역을 검출하여, 템플릿 형상의 재설정에 의해 템플릿 형상을 더 제한한다.

이상과 같이, 처리(1)에서는 디노이즈 대상 화상에서의 엣지 방향을 검출하고, 처리(2)에서는 처리(1)의 엣지 방향을 따르는 방향의 탐색점은 담보하여 엣지 방향과 수직인 방향의 탐색점을 줄이도록 디노이즈 대상 화상에서의 화소마다 탐색 형상을 제한한다. 이로써 디노이즈 필터의 연산량을 줄일 수 있다.

또 이상의 화상 처리를 영상 부호화/복호 처리와 조합하여 루프 필터에 적용함으로써 부호화 효율의 저하를 억제한 루프 필터의 연산량을 줄일 수 있게 된다. 또한 상기 처리(4),(5)에 의해, 종래에는 화면 전체에 대해 고정치로 일의적으로 주어진 템플릿 형상에 대해 화소마다 템플릿 형상을 제한하는 처리를 도입하여 템플릿 매칭에서의 연산량을 줄일 수 있다. 또 나아가 처리(6)을 실행하면 연산량을 더욱 줄일 수 있다.

본 발명의 효과로서 이하를 들 수 있다.

1. 디노이즈 필터의 연산량을 줄임

본 발명에 의하면, 탐색 형상을 제한하여 템플릿 매칭 대상의 탐색점 수를 줄임으로써 템플릿 매칭의 계산 횟수가 감소하여 연산량을 줄일 수 있게 된다.

2. 영상 부호화/복호를 조합했을 때에 실현할 수 있는 디노이즈 필터의 연산량을 줄임

또 본 발명에 의하면, 영상 부호화/복호에서의 루프 필터에 적용함으로써 부호화 효율의 저하를 억제한 연산량의 줄임을 실현할 수 있다.

또한 템플릿 형상을 제한하여 템플릿내 화소끼리의 비교 계산을 행하는 화소수를 줄이는 처리를 도입하면, 화소끼리의 비교 계산 횟수가 감소하여 연산량을 줄일 수 있다. 즉, 탐색 영역을 제한하는 수법과 템플릿 형상을 제한하는 수법을 조합하면, 각 탐색점에서 템플릿 매칭을 행하기 위해 제한된 탐색 형상 내에서 더 제한된 템플릿 형상의 계산이 이루어져 연산량을 상승적으로 줄일 수 있다.

도 1은, 본 발명의 제1 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다.
도 2는, 제1 실시형태의 화상 처리 장치의 처리 흐름도이다.
도 3은, 탐색 형상의 줄임에 의한 디노이즈 필터의 연산량 삭감을 설명하는 도면이다.
도 4는, 본 발명의 제2 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다.
도 5는, 제2 실시형태의 화상 처리 장치의 처리 흐름도이다.
도 6은, 본 발명의 제3 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다.
도 7a는, 엣지 방향 검출 방법의 예에서의 소벨 오퍼레이터를 설명하는 도면이다.
도 7b는, 엣지 방향 검출 방법의 예에서의 방향을 따른 번호를 설명하는 도면이다.
도 7c는, 엣지 방향 검출 방법의 예에서의 번호의 할당 방법을 설명하는 도면이다.
도 8은, 엣지 방향 번호에 따른 탐색 형상의 설정예를 도시한 도면이다.
도 9a는, 래디언각에 따른 탐색 형상의 설정예를 도시한 도면이다.
도 9b는, 래디언각에 따른 탐색 형상의 설정예를 도시한 도면이다.
도 10은, 본 발명의 제5 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다.
도 11은, 제5 실시형태의 화상 처리 장치의 처리 흐름도이다.
도 12는, 템플릿 형상 설정부에 의한 템플릿 형상 제한의 예를 설명하는 도면이다.
도 13은, 본 발명의 제6 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다.
도 14는, 제6 실시형태의 화상 처리 장치의 처리 흐름도이다.
도 15a는, 괴리도 검출 방법의 예를 설명하는 도면이다.
도 15b는, 괴리도 검출 방법의 예를 설명하는 도면이다.
도 16은, 괴리도의 히스토그램과 문턱값/영역 설정의 관계를 도시한 도면이다.
도 17a는, 적분비에 따른 샘플링수 설정의 예를 설명하는 도면이다.
도 17b는, 적분비에 따른 샘플링수 설정의 예를 설명하는 도면이다.
도 18a는, 템플릿 형상의 재설정 방법의 예에서의 계산 대상 영역을 설명하는 도면이다.
도 18b는, 템플릿 형상의 재설정 방법의 예에서의 블록 노이즈의 특징을 설명하는 도면이다.
도 18c는, 템플릿 형상의 재설정 방법의 예에서의 네 귀퉁이의 설정을 설명하는 도면이다.
도 19는, 본 발명의 실시형태를 적용한 영상 부호화 장치의 구성예를 도시한 도면이다.
도 20은, 영상 부호화 장치의 처리 흐름도이다.
도 21은, 영상 부호화 장치의 처리 흐름도이다.
도 22는, 본 발명의 실시형태를 적용한 영상 복호 장치의 구성예를 도시한 도면이다.
도 23은, 영상 복호 장치의 처리 흐름도이다.
도 24는, 영상 복호 장치의 처리 흐름도이다.
도 25는, 본 발명의 실시형태를 소프트웨어 프로그램을 이용하여 실시하는 경우의 시스템의 구성예를 도시한 도면이다.
도 26은, NLM 필터의 설명도이다.
도 27은, NLM 필터 실행부의 입출력을 도시한 도면이다.

이하, 도면을 이용하여 본 발명의 실시형태를 설명하기로 한다.

〔제1 실시형태〕

도 1은, 본 발명의 제1 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다. 화상 처리 장치(10)는 엣지 방향 검출부(102), 탐색 형상 설정부(103), NLM 필터 실행부(104)로 이루어진 디노이즈 필터 처리부(101)를 구비한다.

이 화상 처리 장치(10)에서는, 디노이즈 필터 처리부(101)는 디노이즈 계수, 탐색 형상, 템플릿 형상, 디노이즈 대상 화상의 4가지 정보를 입력하여 필터 후의 노이즈가 제거된 화상을 출력한다.

엣지 방향 검출부(102)는, 디노이즈 대상 화상의 엣지 방향을 검출하여 디노이즈 대상 화상에서의 각 화소에 대응된 엣지 방향군을 출력한다. 엣지 방향의 예로서는, 방향마다 번호가 붙여진 번호군이나 각도군 등을 들 수 있다.

탐색 형상 설정부(103)는, 탐색 형상을 입력하고, 입력한 탐색 형상을 최대 형상으로 하여 디노이즈 대상 화상에서의 각 화소에 대응된 탐색 형상군을 출력한다. 화소별 탐색 형상군은, 엣지 방향을 따르는 방향의 탐색점 수를 담보하여 엣지 방향과 수직인 방향의 탐색점을 줄인 형상으로 한다.

NLM 필터 실행부(104)는, 디노이즈 대상 화상, 디노이즈 계수, 템플릿 형상, 및 탐색 형상 설정부(103)가 설정한 화소별 탐색 형상군을 입력하여 디노이즈 후의 화상을 출력한다. 이 NLM 필터 실행부(104)가 실시하는 처리는, 비특허문헌 1에 나타나 있는 종래의 NLM 필터의 처리와 같다.

도 2는, 도 1에 도시한 화상 처리 장치(10)의 처리 흐름도이다. 우선 단계 S101에서는, 디노이즈 필터 처리부(101)가 외부로부터의 입력에 의해 디노이즈 계수, 디노이즈 대상 화상, 탐색 형상, 템플릿 형상의 각 정보를 취득한다.

단계 S102에서는, 엣지 방향 검출부(102)가 디노이즈 대상 화상의 엣지 방향을 검출하여 엣지 방향군을 출력한다. 다음으로 단계 S103에서는, 탐색 형상 설정부(103)가 엣지 방향 검출부(102)에 의해 검출한 엣지 방향을 따라 입력된 탐색 형상을 제한하여 화소별 탐색 형상군을 출력한다. 출력하는 탐색 형상군의 탐색 형상은 입력된 탐색 형상을 최대로 하며 그보다 작은 탐색 형상이다. 마지막으로 단계 S104에서는, NLM 필터 실행부(104)가 설정된 정보에 따라 NLM 필터를 실행하여 필터 후의 결과 화상을 출력한다.

도 3은, 탐색 형상의 줄임에 의해 디노이즈 필터의 연산량이 줄어드는 것을 설명하는 도면이다. 도 3에서, P₀는 디노이즈 대상 화소, E는 검출된 엣지 방향, Q₀는 줄임 전의 탐색 형상(최대 범위), Q₁은 줄임 후의 탐색 형상을 나타낸다.

종래, 예를 들면 도 3(A)와 같이, 탐색 형상(Q₀)는 화면 전체에 대해 고정치로 일의적으로 주어져 있다. 이에 반해 본 실시형태에서는, 엣지 방향 검출부(102)에 의해 디노이즈 대상 화상에서의 엣지 방향(E)을 검출하고 탐색 형상 설정부(103)에 의해 도 3(B)에 도시한 바와 같이 엣지 방향(E)을 따르는 방향의 탐색점을 담보하여 엣지 방향(E)과 수직인 방향의 탐색점을 줄인 탐색 형상(Q₁)을 설정함으로써 화소마다 탐색 형상을 제한하는 처리를 도입한다.

아울러 템플릿 매칭에서는, 디노이즈 대상 화소(P₀)는 계산 대상에서 제외한다. 이것은 템플릿 유사도의 지표인 SSD나 SAD는 반드시 0이 되어, 도 27에서 설명한 NLM 필터 처리시에 가중값으로서 반드시 W=1.0이 출력되기 때문이다. 따라서 줄임 전의 탐색 형상(Q₀)에 대한 템플릿 매칭의 횟수는 48회인데 반해, 줄임 후의 탐색 형상(Q₁)에 대한 템플릿 매칭의 횟수는 24회가 되어 연산량이 약 50% 감소하게 된다.

〔제2 실시형태〕

도 4는, 본 발명의 제2 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다. 화상 처리 장치(11)는, 엣지 방향 검출부(112), 탐색 형상 설정부(113), NLM 필터 실행부(114)로 이루어진 디노이즈 필터 처리부(111)를 구비함과 동시에 디노이즈 계수 산출부(115)를 구비한다.

이 화상 처리 장치(11)는, 노이즈가 부여되기 전의 원화상을 입력하여 디노이즈 계수를 산출하는 디노이즈 계수 산출부(115)가 구비되어 있는 점이, 제1 실시형태에 관한 화상 처리 장치(10)와 다르다. 디노이즈 필터 처리부(111)의 구성은 제1 실시형태의 디노이즈 필터 처리부(101)의 구성과 동일하다.

도 5는, 도 4에 도시한 화상 처리 장치(11)의 처리 흐름도이다. 우선 단계 S111에서는, 화상 처리 장치(11)가 외부로부터의 입력에 의해 원화상, 디노이즈 대상 화상, 탐색 형상, 템플릿 형상의 각 정보를 취득한다.

단계 S112에서는, 디노이즈 계수 산출부(115)가, 입력한 원화상과 디노이즈 대상 화상의 분산으로부터 디노이즈 계수를 산출하고, 산출한 디노이즈 계수를 NLM 필터 실행부(114)에 통지한다. 단계 S113에서는, 엣지 방향 검출부(112)가, 디노이즈 대상 화상의 엣지 방향을 검출하여 엣지 방향군을 출력한다. 다음으로 단계 S114에서는, 탐색 형상 설정부(113)가, 엣지 방향 검출부(112)에 의해 검출한 엣지 방향을 따라 입력된 탐색 형상을 제한하고 화소별 탐색 형상군을 출력한다. 출력하는 탐색 형상군의 탐색 형상은 입력된 탐색 형상을 최대로 하며 그보다 작은 탐색 형상이다. 마지막으로 단계 S115에서는, NLM 필터 실행부(114)가 설정된 정보에 따라 NLM 필터를 실행하여 필터 후의 결과 화상을 출력한다.

〔제3 실시형태〕

도 6은, 본 발명의 제3 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다. 화상 처리 장치(12)는, 엣지 방향 검출부(122), 탐색 형상 설정부(123), NLM 필터 실행부(124), 탐색 형상 기억부(125), 템플릿 형상 기억부(126)로 이루어진 디노이즈 필터 처리부(121)를 구비한다.

이 화상 처리 장치(12)는 디노이즈 계수 및 디노이즈 대상 화상만을 입력하고, 탐색 형상 및 템플릿 형상에서는 디노이즈 필터 처리부(121)가 보유하고 있는 고정치를 이용하는 점이, 상술한 제1 실시형태에 관한 화상 처리 장치(10)와 다르다.

즉, 디노이즈 필터 처리부(121)는, 탐색 형상 및 템플릿 형상을 외부에서 입력하는 대신에 탐색 형상 기억부(125), 템플릿 형상 기억부(126)에 각각 기억하고 있는 고정의 탐색 형상, 템플릿 형상을 이용한다. 엣지 방향 검출부(122), 탐색 형상 설정부(123), NLM 필터 실행부(124)의 구성은 제1 실시형태에서 설명한 것과 동일하다.

〔제4 실시형태〕

전술한 제3 실시형태에서는, 탐색 형상 및 템플릿 형상 모두를 디노이즈 필터 처리부(121)가 고정치로서 보유하고 있는데, 탐색 형상 및 템플릿 형상 중 한쪽만을 고정치로서 보유하고, 다른 쪽을 외부로부터의 입력으로서 가변으로 하는 실시도 가능하다. 또 제3 실시형태에서, 또한 제2 실시형태와 같이 디노이즈 계수 산출부를 마련하여 디노이즈 계수를 원화상으로부터 산출하는 실시형태를 채용할 수도 있다. 기본적인 처리의 흐름은 제1 실시형태, 제2 실시형태에서 설명한 예와 동일하므로 그 상세한 처리의 설명은 생략하기로 한다.

〔엣지 방향 검출 방법의 예 1〕

엣지 방향 검출부(102, 112, 122)에서의 엣지 방향 검출 방법의 예 중 하나로서, 복호 화상에 대해 소벨 필터를 적용함으로써 엣지 방향을 검출하여 방향마다 할당한 번호를 출력하는 예를 든다.

도 7a∼도 7c는, 그 엣지 방향 검출 방법의 예(소벨 필터와 방향을 따른 번호)를 설명하는 도면이다. 주변 화소에 대해 도 7a에 도시한 소벨 오퍼레이터를 적용하고 검출한 엣지 방향을 따라 도 7b에 도시한 바와 같이 번호 VecIndex(0∼10)를 할당한다. 이때 문턱값 Th를 하나 설정하여 x축, y축 각각의 성분(dx, dy)의 절대치 합이 문턱값 Th 미만이면 해당 화소에는 강한 엣지가 존재하지 않는 것으로 하여 VecIndex에 0번을 할당하고 번호를 엣지 방향군으로서 출력한다.

도 7c는, 그 번호를 할당하는 알고리즘을 도시한다.

·｜dx｜＋｜dy｜＜Th라면, VecIndex=0으로 한다.

·상기에 해당하지 않고 dy=0이라면, VecIndex=6으로 한다.

·상기에 해당하지 않고 dx/dy＜-8.0이라면, VecIndex=6으로 한다.

·상기에 해당하지 않고 dx/dy＜-2.0이라면, VecIndex=7로 한다.

·상기에 해당하지 않고 dx/dy＜-1.0이라면, VecIndex=8로 한다.

·상기에 해당하지 않고 dx/dy＜-0.5이면, VecIndex=9로 한다.

·상기에 해당하지 않고 dx/dy＜-0.125이면, VecIndex=10으로 한다.

·상기에 해당하지 않고 dx/dy＜0.125이면, VecIndex=1로 한다.

·상기에 해당하지 않고 dx/dy＜0.5이면, VecIndex=2로 한다.

·상기에 해당하지 않고 dx/dy＜1.0이라면, VecIndex=3으로 한다.

·상기에 해당하지 않고 dx/dy＜2.0이라면, VecIndex=4로 한다.

·상기에 해당하지 않고 dx/dy＜8.0이라면, VecIndex=5로 한다.

·상기의 어느 것에도 해당하지 않는 경우, VecIndex=6으로 한다.

DCT(이산 코사인 변환)에 의한 모스키토 노이즈나 촬상시 노이즈의 영향을 줄이기 위해, 또 연산량을 줄이기 위해 입력으로 하는 디노이즈 대상 화상에 대해 등배 화상이 아닌, 종횡 1/N로 축소한 화상에 대한 소벨 필터의 적용도 효과적이다.

1/N로 축소한 화상에 대해 소벨 필터를 적용한 경우 산출한 소벨 필터의 출력 결과는, 축소시에 사용한 복수의 화소군의 대표치로서 취급한다.

〔탐색 형상 설정 방법의 예 1〕

탐색 형상 설정부(103, 113, 123)에서의 탐색 형상 설정 방법의 예 중 하나로서, 도 7b∼도 7c에서 설명한 엣지 방향 번호 VecIndex의 엣지 방향군을 이용하여 장치로부터 주어지는 기준 탐색 형상이 5×5 블록의 모든 점을 대상으로 하는 경우의 탐색 형상 줄임 방법의 예를 설명하기로 한다.

탐색 형상 설정부(103, 113, 123)는, 엣지 방향 검출부(102, 112, 122)로부터 수취되는 엣지 방향군을 따라 도 8에 도시한 탐색점을 설정한다. 도 8의 5×5 블록에서, 해칭으로 나타낸 부분이 줄임 후의 탐색 형상이 된다.

이와 같이 하는 이유는 이하와 같다. NLM 필터의 계산 수법으로서 템플릿 매칭으로 템플릿 유사도의 지표가 되는 SSD나 SAD를 산출하고 그 지표에 대해 exponential 게인의 가중을 설정하는 구조를 취한다. 따라서 현저한 엣지 주변에서는, 엣지를 따르는 방향으로 샘플링을 행하면 효과적으로 유사도가 높은 위치를 찾아낼 수 있다. 한편 엣지로부터 멀어지면 유사도가 크게 떨어지기 때문에 가중은 작은 값이 되어 가중합 계산시의 영향력이 작다. 따라서 엣지를 따르는 방향으로 샘플링을 집중시킴으로써 디노이즈 효과의 악화를 억제하면서 연산량을 억제할 수 있다.

아울러 도 8의 예에서는, 5×5 블록의 중심 위치에서는 템플릿 유사도의 지표로서 취급하는 SSD/SAD는 반드시 제로가 되기 때문에 이 점은 계산 대상에서 제외된다. 그러므로 5×5 블록의 모든 점을 탐색점으로 한 경우에 합계 24점이 계산 대상이 되는데 반해, VecIndex=0에서는 1/3, 그 이외에서는 5/12의 연산량이 된다. 모든 VecIndex가 균등하게 출현한 경우, 이론치로는 2/5보다 약간 상회하게 된다.

〔시뮬레이션 결과〕

상기 엣지 방향 검출 방법의 예 1 및 탐색 형상 설정 방법의 예 1에 기재된 수법을 이용하여 종횡 1/2 화상을 대상으로 하여 2×2 블록마다 엣지 방향을 산출하고 하기의 설정으로 시뮬레이션을 실시한 결과는 다음과 같았다. 아울러 디노이즈 계수는 NLM 필터를 여러 번 반복하여 PSNR(Peak Signal-to-Noise Ratio)을 최대가 되도록 반복 계산을 행한 최선의 값이다.

디노이즈 대상 화상에는, 하기의 각 시퀀스의 휘도 신호에 대해 ＋5∼-5까지의 랜덤 노이즈를 더해 필터 후의 PSNR-Y와 처리 시간의 각 평균치로 평가를 행하였다.

＜시뮬레이션 조건＞

·시퀀스： BasketballDrive, BQTerrace , Cactus, ParkScene

　　　　　　(Full-HD：1920×1080)

·대상 프레임： 선두 각 10 프레임

·탐색 형상： 5×5 블록

·템플릿 형상： 3×3 블록

＜NLM 필터에 필요한 평균 처리 시간＞

표 1로부터, 종횡 1/2 화상을 대상으로 한 엣지 방향 검출과 2×2 블록마다 발생하는 방향 적용에 의한 조건 분기의 영향에 의한 지연이 발생하는데, PSNR을 크게 낮추지 않고 필터 전체의 소요 시간은 평균 약 45%까지 줄어들 수 있다는 것을 알 수 있다. 그 중에는 엣지 방향으로 집중적으로 샘플링하는 편이 평균적으로 PSNR이 높아지게 되는 시퀀스도 보인다.

〔엣지 방향 검출 방법의 예 2〕

엣지 방향 검출부(102, 112, 122)에서의 엣지 방향 검출 방법의 다른 예로서 디노이즈 대상 화상에 대해 소벨 필터를 적용함으로써 엣지 방향을 검출하여 래디언각(Radian)을 출력하는 예를 든다. 주변 화소에 대해 전술한 도 7a에 도시한 소벨 오퍼레이터를 적용하여 x축, y축 각각의 성분(dx, dy)으로부터 arctan(-π/2∼π/2)를 이용하여 래디언각을 계산한다. 이때 dx, dy의 절대치 합이 문턱값 Th 미만이면 arctan(-π/2∼π/2)의 출력 범위 이외의 값(EXatan：예를 들면 100 등)을 설정한다.

즉, 래디언각(Radian)을 다음과 같이 정한다.

·｜dx｜＋｜dy｜＜Th인 경우, Radian=EXatan로 한다.

·상기에 해당하지 않고 dy=0이라면, Radian=π/2로 한다.

·다른 경우, Radian=arctan(dx/dy)로 한다.

〔탐색 형상 설정 방법의 예 2〕

탐색 형상 설정부(103 ,113, 123)에서의 탐색 형상 설정 방법의 다른 예로서 엣지 방향 검출 방법의 예 2에서 설명한 래디언각으로 주어지는 엣지 방향군을 이용하여 장치로부터 주어지는 탐색 형상이 N×N 블록의 모든 점을 대상으로 하는 경우의 탐색 형상을 줄이는 방법의 예를 설명하기로 한다.

도 9a∼도 9b는, 래디언각에 따른 탐색 형상의 설정예를 도시한 도면이다. 탐색 형상 설정부(103, 113, 123)는, 엣지 방향 검출부(102, 112, 122)로부터 수취되는 래디언각에 따라 도 9a∼도 9b에 도시한 원 또는 타원 내의 탐색점을 탐색 형상으로서 설정한다.

래디언각(Radian)이 EXatan인 경우, 도 9a에 도시한 바와 같이 설정 형상의 직경이 (N-1)인 원 내의 탐색점을 탐색 형상으로서 설정한다.

또 래디언각(Radian)이 EXatan 이외인 경우, 도 9b에 도시한 바와 같이 설정 형상의 장경(長徑)이 (N×2^1/2), 단경(短涇)이 (N×2^-1/2)이 되는 타원 내의 탐색점을 탐색 형상으로서 설정한다.

〔제5 실시형태〕

도 10은, 본 발명의 제5 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다. 화상 처리 장치(13)는, 엣지 방향 검출부(132), 탐색 형상 설정부(133), NLM 필터 실행부(134), 탐색 형상 기억부(135), 템플릿 형상 기억부(136), 디노이즈 계수 설정부(137), 괴리도 검출부(138), 템플릿 형상 설정부(139)로 이루어진 디노이즈 필터 처리부(131)를 구비한다.

제5 실시형태는, 영상 부호화 장치 또는 영상 복호 장치에서의 루프 필터로서 이용하는 화상 처리 장치(13)의 예를 나타내고 있다. 디노이즈 필터 처리부(131)에서의 엣지 방향 검출부(132), 탐색 형상 설정부(133), NLM 필터 실행부(134), 탐색 형상 기억부(135), 템플릿 형상 기억부(136)의 기본적인 기능은 전술한 제1∼제4 실시형태와 동일하다.

디노이즈 계수 설정부(137)는, 외부에서 주어지는 기준이 되는 디노이즈 계수와 부호화 정보를 이용하여 디노이즈 대상 화상의 각 화소 위치에 대응되는 디노이즈 계수를 생성한다. 일반적으로 중∼저 레이트에서는, 예측 처리 단위의 PredictionUnit나 변환 처리 단위의 TransformUnit의 각 유닛 경계에서 블록 노이즈가 눈에 띄기 시작하므로 부호화 정보를 이용하여 이들 경계 근방의 화소 위치에서의 디노이즈 계수를 블록 내부의 디노이즈 계수보다 높게 설정한다.

괴리도 검출부(138)와 템플릿 형상 설정부(139)는, 화소마다 템플릿 형상을 제한하는 처리를 도입하기 위해 마련되어 있다. 종래의 NLM 필터에서는, 템플릿 형상에 대해서는 일반적으로 화면 전체에 대해 고정치로 주어졌다. 이에 반해 본 실시형태에서는, NLM 필터 실행부(134)에 의한 NLM 필터의 사전 처리로서 괴리도 검출부(138)에 의해 디노이즈 대상 화상의 각 화소에 대해 주변 화소와의 괴리도를 검출하고, 템플릿 형상 설정부(139)에 의해 괴리도 검출부(138)가 검출한 괴리도를 다단계로 분류하여 괴리도의 강∼약에 따라 해당 화소의 템플릿 형상(대∼소)을 각각 설정한다.

도 11은, 도 10에 도시한 화상 처리 장치(13)의 처리 흐름도이다. 우선 단계 S131에서는, 디노이즈 필터 처리부(131)가, 외부로부터의 입력에 의해 디노이즈 계수, 디노이즈 대상 화상, 부호화 정보를 취득한다.

단계 S132에서는, 디노이즈 계수 설정부(137)가, 입력한 기준이 되는 디노이즈 계수와 부호화 정보로부터 디노이즈 대상 화상의 각 화소 위치에 대응되는 디노이즈 계수를 설정한다.

다음으로 단계 S133에서는, 엣지 방향 검출부(132)가, 디노이즈 대상 화상의 엣지 방향을 검출하여 엣지 방향군을 출력한다. 단계 S134에서는, 탐색 형상 설정부(133)가, 엣지 방향 검출부(132)에 의해 검출한 엣지 방향을 따라 탐색 형상 기억부(135)로부터 입력된 탐색 형상을 제한하고 화소별 탐색 형상군을 설정한다. 설정하는 탐색 형상군의 탐색 형상은, 입력된 탐색 형상을 최대로 하며 그것보다 작은 탐색 형상이다.

단계 S135에서는, 괴리도 검출부(138)가, 디노이즈 대상 화상을 입력으로 하여 대상 화소와 주변 화소와의 괴리도를 계산하여 각 화소에 대응된 괴리도군을 출력한다. 단계 S136에서는, 템플릿 형상 설정부(139)가, 괴리도군과 템플릿 형상 기억부(136)에 기억된 소정의 템플릿 형상을 이용하여 각 화소에 대응된 제한된 템플릿 형상을 설정하여 출력한다. 템플릿 형상을 제한할 때에는 입력한 템플릿 형상을 최대 형상으로 하여 괴리도가 낮을수록 템플릿 형상이 작아지도록 제한을 적용한다.

마지막으로 단계 S137에서는, NLM 필터 실행부(134)가, 설정된 정보에 따라 NLM 필터를 실행하여 필터 후의 결과 화상을 출력한다.

도 12는, 템플릿 형상 설정부(139)에 의한 템플릿 형상 제한의 예를 설명하는 도면이다. 예를 들면, 외부에서 지정된 템플릿 형상이 도 12(A)에 도시한 바와 같이 5×5의 블록이라고 하자. 이 템플릿 형상을, 괴리도에 따라 예를 들면 도 12(B)에 도시한 바와 같이 제한한다. 템플릿 유사도로서 SSD를 이용할 경우, 원의 템플릿 형상에서는 가산 24회, 감산 25회, 승산 25회의 연산이 필요한 데 반해, 도 12(B)에 도시한 바와 같이 템플릿 형상을 제한함으로써 가산 12회, 감산 13회, 승산 13회의 연산으로 끝나게 되어 연산량이 약 50% 줄어들게 된다.

디노이즈 필터 처리부(131)에 의한 처리는 부호화에 의한 노이즈의 제거가 목적이며, 일반적인 화상 처리와 같이 화면 전체에 동일하게 노이즈가 걸린 노이즈를 제거하는 상정은 행하지 않는다. 부호화에 의한 노이즈(부호화 왜곡)는, 크게 이하의 종류로 분류할 수 있다.

1.평활화에 의한 모양의 소실

2.DCT에 의한 엣지 주변의 모스키토 노이즈

3.PredictionUnit나 TransformUnit의 각 Unit 경계에 생기는 블록 노이즈

이 중, 평활화에 의해 손실된 모양의 복원은 매우 어렵기 때문에 본 실시형태에서는 대상으로 하지 않는다. 이러한 화소치에 변화가 없는 평활화된 영역에 대해 NLM 필터를 적용하면, 계산 전후로 화소 신호는 거의 변화하지 않지만, 연산량은 필요하게 된다. 본 실시형태에서는, 주변 화소와의 괴리도를 계산함으로써 이와 같이 평활화된 영역에도 할당되어 있던 연산량을 줄인다.

〔제6 실시형태〕

도 13은, 본 발명의 제6 실시형태에 관한 화상 처리 장치의 구성예를 도시한 도면이다. 화상 처리 장치(14)는, 엣지 방향 검출부(142), 탐색 형상 설정부(143), NLM 필터 실행부(144), 탐색 형상 기억부(145), 템플릿 형상 기억부(146), 디노이즈 계수 설정부(147), 괴리도 검출부(148), 템플릿 형상 설정부(149) 및 템플릿 형상 재설정부(1410)로 이루어진 디노이즈 필터 처리부(141)를 구비한다.

이 화상 처리 장치(14)는, 템플릿 형상 재설정부(1410)가 구비되어 있는 점이 제5 실시형태에서의 화상 처리 장치(13)와 다르다. 템플릿 형상 재설정부(1410)는, 엣지 방향군과 괴리도군, 부호화 정보를 참조하여 템플릿 형상 설정부(149)에서 과잉 할당된 템플릿 형상을 더 제한하기 위한 재설정을 한다. 구체적으로는, PredictionUnit나 TransformUnit의 각 Unit 경계에 발생하기 쉬운 블록 노이즈 주변에 과잉 할당되기 쉬운 템플릿 형상을 더 제한한다.

도 14는, 도 13에 도시한 화상 처리 장치(14)의 처리 흐름도이다. 단계 S141에서 S146까지의 처리는, 도 11에서 설명한 단계 S131에서 S136까지의 처리와 동일하다. 단계 S147에서는, 템플릿 형상 재설정부(1410)가, 부호화 정보와 엣지 정보를 이용하여 템플릿 형상의 재설정을 행하고 단계 S146에서 설정한 템플릿 형상의 과잉 할당을 줄인다. 마지막으로 단계 S148에서는, NLM 필터 실행부(144)가 설정된 정보에 따라 NLM 필터를 실행하여 필터 후의 결과 화상을 출력한다.

〔괴리도 검출 방법의 예〕

괴리도 검출부(138, 148)에서의 괴리도 검출 방법의 일례를 설명하기로 한다. 도 15a∼도 15b는, 괴리도 검출 방법의 예를 설명하는 도면이다. 도 15a에 도시한 화소(z)를 디노이즈의 대상 화소로 하고, 그 주변 화소에 대해 a∼x의 번호를 부여한 경우에 대해 설명하기로 한다. 여기에서는, 해당 화소(z)와 주변 화소(a∼x)와의 차분 절대치에 거리에 의한 감쇠를 고려한 계수를 승산한 가중합을 괴리도의 지표(DiffIntensity)로서 이용한다. 즉, DiffIntensity는, 다음 식에 의해 산출된다.

DiffIntensity=A(｜h-z｜＋｜l-z｜＋｜m-z｜＋｜q-z｜)

　　　　　　＋B(｜g-z｜＋｜i-z｜＋｜p-z｜＋｜r-z｜)

　　　　　　＋C(｜c-z｜＋｜k-z｜＋｜n-z｜＋｜ｖ-z｜)

　　　　　　＋D(｜b-z｜＋｜d-z｜＋｜f-z｜＋｜j-z｜＋

　　　　　　　｜o-z｜＋｜s-z｜＋｜u-z｜＋｜w-z｜)

　　　　　　＋E(｜a-z｜＋｜e-z｜＋｜t-z｜＋｜x-z｜)

식 중의 A∼E는, 해당 화소와 주변 화소와의 거리에 따라 미리 정해진 계수이며 임의로 설정된다. 이러한 계수 A∼E의 설정에는, 예를 들면, 거리에 따른 가우스 분포 등을 적용할 수 있다. 아울러 A∼E도 모든 점을 대상으로 할 필요는 없으며, 예를 들면 D를 0으로 설정하면 필터 연산량을 줄일 수 있다.

괴리도 검출부(138, 148)는, 모든 DiffIntensity의 산출을 끝내면 괴리도군을 하위의 템플릿 형상 설정부(139, 149)에 출력한다.

그 밖에 괴리도의 산출에, 라플라시안 필터의 절대치나 SSD(Sum of Square Difference), 분산 등의 적용도 생각할 수 있다.

또한 연산량을 줄이기 위해 복호 화상에 대해 임의 사이즈의 N×N 블록 각각에 대해 여러 점의 샘플링점을 계산 대상으로서 설정하여 해당 화소 위치에서의 괴리도의 대표치로서 이용하는 수법도 생각할 수 있다.

도 15b는, 샘플링수 솎아내기의 예를 도시한다. 이 예에서는, 2×2블록 분할에서 좌상, 우하의 화소를 계산 대상으로 한다. 이 예의 괴리도를 DiffIntensity₂ _×2로 나타내면, DiffIntensity₂ _×2는 다음 식에 의해 산출된다.

DiffIntensity₂ _×2=(A의 화소 위치에서의 DiffIntensity

＋D의 화소 위치에서의 DiffIntensity)/2

A∼D의 화소 위치에서의 괴리도의 참조 요구가 있는 경우, 상기 DiffIntensity_2×2를 대표치로서 이용한다. 이 예에서는 괴리도 계산에 필요한 연산량은 약 반이 된다.

〔템플릿 형상 설정 방법의 예 1〕

템플릿 형상 설정부(139, 149)에서의 템플릿 형상 설정 방법의 예 중 하나로서, 괴리도 검출부(138, 148)가 산출한 괴리도군을 이용하여 장치로부터 주어지는 기준이 되는 템플릿 형상이 3×3 블록의 모든 점을 대상으로 하는 경우의 템플릿 형상 줄임의 예를 든다.

도 16은, 괴리도의 히스토그램과 문턱값/영역 설정의 관계를 도시한 도면이다. 자연 화상을 대상으로 할 때 괴리도군의 히스토그램은 값이 낮은 쪽으로 치우치고 괴리도가 강해짐에 따라 출현 빈도는 낮아진다. 또 양자화 파라미터의 값이 커짐에 따라 히스토그램은 괴리도 작음 쪽으로 치우치는 특성을 가진다.

템플릿 형상 설정부(139, 149)는, 입력한 괴리도군의 히스토그램을 작성하여 히스토그램의 면적비가 균일해지도록 4분할하여 각각의 영역α∼δ의 템플릿 형상 Tmp_Shape를 이하와 같이 설정한다. 영역α,β의 경계값을 Thα, 영역β,γ의 경계값을 Thβ, 영역γ,δ의 경계값을 Thγ로 한다.

(1) 괴리도가 문턱값 Thα보다 작은 경우

　　Tmp_Shape=None(요소수 0)으로 한다.

　　Tmp_Shape가 None인 경우, 템플릿 매칭은 하지 않는다.

(2) 괴리도가 문턱값 Thα 이상이고 Thβ 미만인 경우

　　Tmp_Shape=Point(요소수 1)로 한다.

　　Tmp_Shape가 Point인 경우, 대상 화소와 탐색점의 화소에 대한 SSD만을 산출한다.

(3) 괴리도가 문턱값 Thβ이상이고 Thγ미만인 경우

　　Tmp_Shape=Cross(요소수 5)로 한다.

　　Tmp_Shape가 Cross인 경우, 대상 화소에 상하 좌우의 4화소를 더한 5화소의 템플릿 형상으로 매칭을 행한다.

(4) 괴리도가 문턱값 Thγ이상인 경우

　　Tmp_Shape=Block₃ _×3(요소수 9)으로 한다.

　　Tmp_Shape가 Block₃ _×3인 경우, 3×3 블록의 템플릿 형상의 모든 점에서 매칭을 행한다.

본 수법의 도입에 의해 모든 탐색점에 대해 3×3 블록의 템플릿 형상의 모든 점에서 매칭을 행하는 수법과 비교하여 각각 연산량은 이하와 같다.

영역α：연산량　0

　영역β：연산량　1/9

영역γ：연산량　5/9

영역δ：연산량　1

영역이 화면 전체의 1/4씩을 차지하기 때문에 합계 연산량은 5/12가 되고, 이론치에서는 약 1/2보다 약간 하회하는 정도까지 연산량을 줄일 수 있게 된다.

이와 같이 괴리도의 크기에 의해 템플릿 형상을 결정하는 것은, 이하의 이유에 의한다. 괴리도는 강한 엣지 주변에서 강한 신호가 나타나기 쉬워 계속해서 약한 엣지나 DCT에 의한 모스키토 노이즈, 촬상시의 노이즈 등이 소∼중 정도의 신호로서 나타난다. NLM 필터는, 엣지 주변에서 특히 효과를 발휘하는 특성을 갖기 때문에, 본 실시형태에서는 괴리도가 큰 영역(영역δ)에 대해 대형 템플릿 형상을 할당함으로써 디노이즈 효과의 악화를 억제한다.

〔템플릿 형상 설정 방법의 예 2〕

템플릿 형상 설정부(139, 149)에서의 템플릿 형상 설정 방법의 다른 예로서 괴리도 검출부(138, 148)가 산출한 괴리도군을 이용하여 장치로부터 주어지는 기준이 되는 템플릿 형상이 N×N 블록의 모든 점을 대상으로 하는 경우의 템플릿 형상 줄임의 예를 든다.

도 17a∼도 17b는, 적분비에 따른 샘플링수 설정의 예를 설명하는 도면이다. 템플릿 형상 설정부(139, 149)는, 괴리도군의 히스토그램을 작성하여 히스토그램상의 디노이즈의 대상 화소의 괴리도를 Th_Intensity로 하여 괴리도의 분포를 나타내는 함수 f(DiffIntensity)(도 17b)의 적분치의 비율로 템플릿 형상을 설정한다.

즉, 도 17a에 도시한 바와 같이 기준이 되는 템플릿 형상이 N×N 블록으로서 주어졌을 때, 템플릿 형상 줄임 후 템플릿 형상의 설정 형상을 원으로 하고 그 직경을 다음과 같이 정한다.

　설정 형상(직경)

　=N×[{f(DiffIntensity)의 0에서 Th_Intensity까지의 적분치｝

　　　÷｛f(DiffIntensity)의 0에서 최대치 Max까지의 적분치｝]

이로써 괴리도가 작은 경우에는 작은 템플릿 형상, 괴리도가 큰 경우에는 큰 템플릿 형상을 이용하여 효과적인 템플릿 매칭을 행할 수 있다.

〔템플릿 형상 재설정 방법의 예〕

템플릿 형상 재설정부(1410)에서의 템플릿 형상 재설정 방법의 예 중 하나로서, 도 16에 도시한 템플릿 형상 설정부(149)가 설정한 템플릿 형상을, 도 15b에 도시한 괴리도 검출부(148)가 출력한 괴리도군, 도 7b∼도 7c에 도시한 엣지 방향군 및 부호화 정보를 이용하여 재설정하고 템플릿 형상의 크기를 더 줄이는 예를 설명하기로 한다.

도 18a∼도 18c는, 템플릿 형상의 재설정 방법을 설명하는 도면이다. 우선, 부호화 정보로부터 DCT 등 변환 처리의 단위인 TransformUnit의 Unit 사이즈를 취득하여, 도 18a에 도시한 바와 같이 각 Unit 외연의 근방 N 화소를 설정 대상의 영역으로 설정한다. 그 이외의 영역은, 전술한 템플릿 형상 설정부(149)의 설정 결과를 그대로 이용하기로 한다.

도 18b에 도시한 바와 같이 엣지 방향군을 이용한 경우, 현저한 블록 노이즈의 Unit 외연 상하 부분에서는 VecIndex는 1에, Unit 외연 좌우 부분에서는 VecIndex는 6에 치우치는 경향이 있으며, 이 경계 부분의 괴리도는 높은 값이 검출된다. 또 블록 노이즈가 현저하게 나타나는 높은 양자화 파라미터 영역에서는, TransformUnit 내부는 비교적 평탄한 영역이 나타나기 쉽다는 경향이 있다.

즉, 양자화 파라미터(QP)가 높은 중∼저 레이트 영역에서, 도 18a에서의 설정 대상의 영역에서 도 18b에 도시한 특징을 충족할 경우 블록 노이즈가 발생할 가능성이 높다. 이들 VecIndex가 1 혹은 6에 치우치는 블록 경계의 화소 위치에 대해서는 대형 템플릿 형상으로 계산해도, 소형 템플릿 형상으로 계산해도 결과는 거의 변하지 않다. 그러나 블록 경계에서 현저한 엣지가 검출된 경우에는 대형 템플릿 형상이 설정되기 때문에 비효율적이다. 따라서 템플릿 형상 재설정부(1410)에 의해 템플릿 형상의 재검토를 행함으로써 비효율적이라는 문제의 해결을 도모한다.

구체적인 해결 수법으로서는, 예를 들면 이하의 수법을 들 수 있다. 양자화 파라미터(QP)에 대한 소정의 문턱값 Th1_QP, Th2_QP(단, Th1_QP＜Th2_QP)와, 괴리도 DiffIntensity에 대한 소정의 문턱값 Th1_Diff, Th2_Diff(단, Th1_Diff＜Th2_Diff)를 이용하여 화소 위치마다 이하와 같은 설정을 행한다. 이와 같이 하면 디노이즈 효과의 악화를 억제하면서 연산량을 줄일 수 있다. 단, Th1_Diff, Th2_Diff는 각각 양자화 파라미터(QP)에 따라 변동될 수 있다.

하기의 조건을 충족할 경우, 후술하는 재설정 분기의 알고리즘에 의해 템플릿 형상 Tmp_Shape를 설정한다.

[조건 1] ： Unit 외연 상하 부분의 설정 대상 영역에서의 화소 위치에서, 대상 화소 위치의 VecIndex가 1(횡방향의 엣지) 혹은 0(평탄한 영역), 또한 Unit 내측 방향으로 인접한 화소 위치의 VecIndex가 0(평탄한 영역)인 경우.

[조건 2] ： 또는 Unit 외연 좌우 부분의 설정 대상 영역에서의 화소 위치에서, 대상 화소 위치의 VecIndex가 6(세로 방향의 엣지) 혹은 0(평탄한 영역), 또한 Unit 내측 방향으로 인접한 화소 위치의 VecIndex가 0(평탄한 영역)인 경우.

「재설정 분기의 알고리즘」의 예

(1) 양자화 파라미터(QP)＞문턱값 Th2_QP이며,

　　또한 템플릿 형상 Tmp_Shape가 Block₃ _×3또는 Cross이고,

　　또한 괴리도 DiffIntensity＞문턱값 Th1_Diff인 경우,

　　Tmp_Shape를 Point(요소수 1)로 재설정함.

(2) 상기 이외에 양자화 파라미터(QP)＞문턱값 Th1_QP이며,

　　또한 템플릿 형상 Tmp_Shape가 Block₃ _×3이고,

　　또한 괴리도 DiffIntensity＞문턱값 Th2_Diff인 경우,

　　Tmp_Shape를 Point(요소수 1)로 재설정함.

(3) 상기 이외에 양자화 파라미터(QP)＞문턱값 Th1_QP이고,

　　또한 템플릿 형상 Tmp_Shape가 Block₃ _×3이며,

　　또한 괴리도 DiffIntensity＞문턱값 Th1_Diff인 경우,

Tmp_Shape를 Cross(요소수 5)로 재설정함.

(4) 상기 이외에 양자화 파라미터(QP)＞문턱값 Th1_QP이고,

　　또한 템플릿 형상 Tmp_Shape가 Cross이며,

　　또한 괴리도 DiffIntensity＞Th1_Diff인 경우,

　　Tmp_Shape를 Point(요소수 1)로 재설정함.

(5) 상기 (1)∼(4) 이외인 경우, Tmp_Shape를 재설정하지 않고 종료함.

도 18c에서의 네 귀퉁이의 영역 E, F, G, H는, 블록 노이즈에 의해 생성되는 VecIndex로 예측되지 않기 때문에 각각 이하의 조건을 충족할 경우에 영역내 모든 화소 위치에 대해 전술한 (1)∼(5)의 재설정 분기에 의한 템플릿 형상을 재설정한다.

·영역 E： 바로 오른쪽에 인접한 영역 A의 화소군 혹은 바로 밑에 인접한 영역 C의 화소군에 상기 조건을 충족하는 화소가 있다.

·영역 F： 바로 왼쪽에 인접한 영역 A의 화소군 혹은 바로 밑에 인접한 영역 D의 화소군에 상기 조건을 충족하는 화소가 있다.

·영역 G： 바로 오른쪽에 인접한 영역 B의 화소군 혹은 바로 위쪽에 인접한 영역 C의 화소군에 상기 조건을 충족하는 화소가 있다.

·영역 H： 바로 왼쪽에 인접한 영역 B의 화소군 혹은 바로 위쪽에 인접한 영역 D의 화소군에 상기 조건을 충족하는 화소가 있다.

본 실시형태에서는, 블록 경계의 화소군에 대해 연산량을 줄이는 예를 나타냈으나, 반대로 블록 내부의 화소군에 대해서는 모두 Tmp_Shape=None을 설정하고 그 부분에 대해서는 템플릿 매칭을 행하지 않고 블록 경계에만 디노이즈 필터를 적용함으로써 연산량을 크게 줄이는 실시도 가능하다.

아울러 제5 실시형태, 제6 실시형태에서는, 기준이 되는 탐색 형상 및 템플릿 형상을 디노이즈 필터 처리부(131, 141)가 고정치로 갖는 예를 설명하였으나, 이들 중 어느 한쪽 또는 모두를 외부에서 부여하는 실시도 가능하다.

〔영상 부호화 장치에 대한 적용예〕

도 19는, 본 발명의 실시형태를 적용한 영상 부호화 장치의 구성예를 도시한 도면이다. 제1 실시형태∼제6 실시형태로서 설명한 디노이즈 필터 처리부(101∼141)는, 도 19에 도시한 영상 부호화 장치에서의 루프 필터인 디노이즈 필터 처리부(313)로서 이용할 수 있다. 이로써 종래의 일반적인 디블로킹 필터를 이용한 경우에 비해 부호화 효율을 높일 수 있다. 또 복호 화상의 디노이즈를 위해 종래의 NLM 필터를 그대로 이용한 경우에 비해 연산량을 대폭으로 줄일 수 있다. 아울러 도 19에서는, 기준이 되는 탐색 형상 및 템플릿 형상 모두를 디노이즈 필터 처리부(131, 141)가 고정치로서 갖는 예이다. 또 디노이즈 계수는 원화상과 비교하여 부호화 효율이 최적인 디노이즈 계수를 결정하여 비트 스트림에 디노이즈 계수 오버헤드로서 부호화하는 예를 나타낸다. 탐색 형상 및 템플릿 형상 중 어느 한쪽 또는 모두를 사용자가 설정하는 등 외부에서 부여할 경우, 이들 형상을 복호 장치에 전송할 필요가 있기 때문에 상기 디노이즈 계수와 마찬가지로 오버헤드로서 이들 형상을 부호화함으로써 외부로부터의 설정을 실현할 수 있는데, 본 부호화 장치에 대한 적용예 및 복호 장치에 대한 적용예에서는 이러한 설명은 생략하기로 한다.

이하, 도 19에 도시한 영상 부호화 장치에 대해 설명하기로 한다. 원화상 기억부(301)는, 부호화 대상이 되는 입력 시퀀스의 전(全)화상의 기억부로서, 차례대로 각 프레임의 부호화 대상 화상을 출력한다.

블록 사이즈 결정부(302)는, 소정의 CodingUnit을 어느 블록 사이즈로 분할하여 부호화를 실행할지를 결정하여 대상 블록과 블록 사이즈를 출력한다. 예측 사이즈 결정부(303)는, 대상 블록의 화소치를 예측하는 블록의 예측 사이즈를 결정하여 대상 블록과 예측 사이즈를 출력한다. 예측 수법 결정부(304)는, 대상 블록의 화소치 예측을 행한 후에 화면내 예측/프레임간 예측의 각 수법 중 가장 부호화 효율이 높은 수법을 결정하여 그 수법을 이용했을 때의 예측 블록과 예측 정보를 출력한다. 예측 사이즈 결정부(303)에서 출력된 대상 블록은 예측 블록과의 차분치가 계산되어 차분 블록이 된다.

변환 사이즈 결정부(305)는, 차분 블록을 분할하는 변환 사이즈를 결정하여 분할한 변환 사이즈별 차분 블록과 변환 사이즈를 출력한다. 이산 코사인 변환부(306)에서는, 차분 블록에 대해 이산 코사인 변환을 적용하여 DCT 계수를 출력한다. 양자화부(307)에서는, DCT 계수에 대해 양자화를 행하여 양자화 후 DCT 계수를 출력한다.

역양자화부(308)에서는, 양자화 후 DCT 계수에 대해 역양자화를 행하여 DCT 계수로 되돌린다. 역이산 코사인 변환부(309)에서는, DCT 계수에 대해 역이산 코사인 변환을 적용하여 복호 차분 블록을 출력한다. 복호 차분 블록은 예측 블록과 가산 합성되어 부분 복호 화상이 된다. 복호 화상 기억부(310)는, 부분 복호 화상을 격납하고 복호 장치측에서도 참조 가능한 화상을 격납해 두는 기억부이다. 화면내 예측부(311)는, 복호 화상 기억부(310)에 격납되어 있는 부분 복호 화상을 참조하여 예측 블록과 예측 정보를 출력한다.

디노이즈 계수 결정부(312)는, 복호 화상과 원화상을 참조하여 부호화 효율이 최적이 되는 디노이즈 계수를 결정하고 디노이즈 계수를 출력한다. 디노이즈 필터 처리부(313)는, 복호 화상을 참조하여 전술한 제1∼제6 실시형태 등에서 설명한 부호화 왜곡을 줄이기 위한 필터 처리를 행하여 필터 후 복호 화상을 생성한다.

ALF(Adaptive Loop Filter) 처리부(314)에서는, 필터 후 복호 화상에 대해 원화상에 가깝도록 필터 처리를 행하여 ALF 후 복호 화상과 ALF 계수를 출력한다. 프레임 버퍼(315)는, ALF 후 복호 화상을 격납해 두는 기억부이다. 프레임간 예측부(316)는, 프레임 버퍼(315)를 참조하여 예측 블록과 예측 정보를 출력한다.

시퀀스 정보 부호화부(317)는, 영상의 종횡 화소수 등 입력 시퀀스 고유의 정보를 부호화한 후 비트 스트림 기억부(325)에 대해 시퀀스 정보 오버헤드를 출력한다. 블록 사이즈 부호화부(318)는, 블록 사이즈 결정부(302)로부터 블록 사이즈를 수취하여 부호화 후 블록 사이즈 오버헤드를 출력한다. 예측 사이즈 부호화부(319)는, 예측 사이즈 결정부(303)로부터 예측 사이즈를 수취하여 부호화 후 예측 사이즈 오버헤드를 출력한다. 예측 정보 부호화부(320)는, 예측 수법 결정부(304)로부터 예측 정보를 수취하여 부호화 후 예측 정보 오버헤드를 출력한다.

변환 사이즈 부호화부(321)는, 변환 사이즈 결정부(305)로부터 변환 사이즈를 수취하여 부호화 후 변환 사이즈 오버헤드를 출력한다. 양자화 후 DCT 계수 부호화부(322)는, 양자화부(307)로부터 양자화 후 DCT 계수를 수취하여 부호화 후 DCT 오버헤드를 출력한다. 디노이즈 계수 부호화부(323)는, 디노이즈 계수 결정부(312)에서 결정된 디노이즈 계수를 수취하여 부호화 후 디노이즈 계수 오버헤드를 출력한다. ALF 계수 부호화부(324)는, ALF 계수를 수취하여 부호화 후 ALF 오버헤드를 출력한다. 비트 스트림 기억부(325)는, 각 오버헤드를 격납해 두는 기억부로서, 시퀀스 전체의 부호화가 종료되면 부호화 결과의 비트 스트림을 출력한다.

부호화 정보 기억부(326)는, 복호 장치측에서도 참조 가능한 부호화 정보를 격납해 두는 기억부이다. 이 부호화 정보 기억부(326)가 기억하는 부호화 정보는, 디노이즈 필터 처리부(313)나 그 외의 각 부로부터 참조되어 사용된다.

〔영상 부호화 장치의 처리 흐름〕

도 20 및 도 21은, 도 19에 도시한 영상 부호화 장치의 처리 흐름도를 도시한다. 영상 부호화 장치는 이하의 처리를 행한다.

·우선 단계 S301에서, 입력 시퀀스를 원화상 기억부(301)에 격납한다.

·다음으로 단계 S302에서, 시퀀스 정보를 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S303에서, 부호화 대상의 모든 프레임에 대한 단계 S318까지의 루프 처리를 행한다.

·다음으로 단계 S304에서, 부호화 대상 화상의 모든 CodingUnit(CU)에 대한 단계 S314까지의 루프 처리를 행한다.

·다음으로 단계 S305에서, 블록 사이즈를 결정하고 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S306에서, 예측 사이즈를 결정하고 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S307에서, 화면내/프레임간 예측의 각 예측 블록 중 가장 부호화 효율이 높은 수법과 대상 블록의 차분치를 계산한다.

·다음으로 단계 S308에서, 예측 정보를 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S309에서, 변환 사이즈를 결정하고 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S310에서, 이산 코사인 변환(DCT)을 행한다.

·다음으로 단계 S311에서, 양자화를 행하여 양자화 후 DCT 계수를 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S312에서, 역양자화와 역이산 코사인 변환을 행한다.

·다음으로 단계 S313에서, 단계 S307에서 적용된 예측 블록과 역변환 후의 복호 차분 블록을 가산 합성한다.

·다음으로 단계 S314에서, 복호 화상 기억부(310)에 가산 합성한 부분 복호 화상을 격납한다.

·부호화 대상 화상의 모든 CU에 대한 루프 처리가 종료되면, 단계 S315에서, 복호 화상과 원화상을 이용하여 부호화 효율이 최적이 되는 디노이즈 계수를 산출한다.

·다음으로 단계 S316에서, 복호 화상에 대해 산출한 디노이즈 계수를 이용하여 본 수법을 이용한 디노이즈 필터의 처리를 실행하고 디노이즈 계수를 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S317에서, ALF(Adaptive Loop Filter)를 실행하고 ALF 계수를 부호화하여 비트 스트림 기억부(325)에 격납한다.

·다음으로 단계 S318에서, ALF 후 복호 화상을 프레임 버퍼(315)에 격납한다.

·부호화 대상의 모든 프레임에 대한 루프 처리가 종료되면, 단계 S319에서, 비트 스트림을 출력하여 처리를 종료한다.

〔영상 복호 장치에 대한 적용예〕

도 22는, 본 발명의 실시형태를 적용한 영상 복호 장치의 구성예를 도시한 도면이다. 제1∼제6 실시형태로서 설명한 디노이즈 필터 처리부(101∼141)는, 도 22에 도시한 영상 복호 장치에서의 루프 필터인 디노이즈 필터 처리부(415)로서 이용할 수 있다. 이로써 종래의 NLM 필터를 그대로 이용한 경우보다 연산량을 대폭으로 줄일 수 있다.

이하, 도 22에 도시한 영상 복호 장치에 대해 설명하기로 한다. 비트 스트림 기억부(401)는, 입력 비트 스트림의 기억부로서, 필요에 따라 각 오버헤드 정보를 출력한다. 시퀀스 정보 복호부(402)는, 시퀀스 정보 오버헤드를 받아 영상의 종횡 화소수 등 시퀀스 고유의 정보를 복호한다.

블록 사이즈 복호부(403)는, 블록 사이즈 오버헤드를 받아 소정의 CodingUnit이 어느 블록 사이즈로 분할되어 부호화되는지를 나타내는 정보를 복호한다. 예측 사이즈 복호부(404)는, 예측 사이즈 오버헤드를 받아 영상 부호화 장치에서 적용된 예측 사이즈를 출력한다.

예측 정보 복호부(405)는, 예측 정보 오버헤드를 받아 예측 정보를 출력한다. 변환 사이즈 복호부(406)는, 변환 사이즈 오버헤드를 받아 영상 부호화 장치에서 적용된 변환 사이즈를 출력한다. 양자화 후 DCT 계수 복호부(407)는, 변환 사이즈와 DCT 오버헤드를 받아 양자화 후 DCT 계수를 출력한다. 디노이즈 계수 부호화부(408)는, 디노이즈 계수 오버헤드를 받아 디노이즈 계수를 출력한다. ALF 계수 복호부(409)는, ALF 오버헤드를 받아 ALF 계수를 출력한다.

역양자화부(410)는, 양자화 후 DCT 계수에 대해 역양자화를 행하여 DCT 계수로 되돌린다. 역이산 코사인 변환부(411)는, DCT 계수에 대해 역이산 코사인 변환을 적용하여 복호 차분 신호를 출력한다. 예측 블록 생성부(412)는, 예측 정보와 부분 복호 화상, 참조 프레임을 받아 예측 블록을 생성한다. 부분 복호 화상 생성부(413)는, 예측 블록과 복호 차분 신호의 가산 합성을 행하여 부분 복호 화상을 생성한다. 복호 화상 기억부(414)는, 부분 복호 화상을 격납해 두는 기억부이다.

디노이즈 필터 처리부(415)는, 복호 화상을 참조하여 전술한 제1∼제6 실시형태 등에서 설명한 부호화 왜곡을 줄이기 위한 필터 처리를 행하여 필터 후 복호 화상을 생성한다.

ALF 처리부(416)에서는, ALF 계수를 수취하여 필터 후 복호 화상에 대해 원화상에 접근하도록 필터 처리를 행하여 ALF 후 복호 화상을 출력한다. 아울러 이 ALF 후 복호 화상이 복호시에서의 최종 복호 화상이 된다. 프레임 버퍼(417)는, ALF 후 복호 화상을 격납해 두는 기억부이다. 부호화 정보 기억부(418)는, 부호화 정보를 격납해 두는 기억부로서, 이 부호화 정보 기억부(418)가 기억하는 부호화 정보는, 디노이즈 필터 처리부(415)나 그 외의 각 부로부터 참조되어 사용된다.

〔영상 복호 장치의 처리 흐름〕

도 23 및 도 24는, 도 22에 도시한 영상 복호 장치의 처리 흐름도를 도시한다. 영상 복호 장치는, 이하의 처리를 행한다.

·우선 단계 S401에서, 입력 비트 스트림을 비트 스트림 기억부(401)에 격납한다.

·다음으로 단계 S402에서, 시퀀스 정보를 복호한다.

·다음으로 단계 S403에서, 복호 대상의 모든 프레임에 대한 단계 S414까지의 루프 처리를 행한다.

·다음으로 단계 S404에서, 복호 대상 화상의 모든 CodingUnit(CU)에 대한 단계 S411까지의 루프 처리를 행한다.

·다음으로 단계 S405에서, 블록 사이즈를 복호한다.

·다음으로 단계 S406에서, 예측 사이즈를 복호한다.

·다음으로 단계 S407에서, 예측 정보를 복호하여 예측 블록을 생성한다.

·다음으로 단계 S408에서, 변환 사이즈를 복호한다.

·다음으로 단계 S409에서, 양자화 후 DCT 계수를 복호한다.

·다음으로 단계 S410에서, 역양자화와 역이산 코사인 변환을 행한다.

·다음으로 단계 S411에서, 단계 S407의 예측 블록과 단계 S410의 결과를 이용하여 복호 블록을 생성하여 복호 화상 기억부(414)에 격납한다.

·복호 대상 화상의 모든 CU에 대한 루프 처리가 종료되면, 단계 S412에서, 디노이즈 계수를 복호하여 부분 복호 화상에 대해 본 수법을 이용한 디노이즈 필터의 처리를 실행한다.

·다음으로 단계 S413에서, ALF 계수를 복호하여 ALF 처리를 실행한다.

·다음으로 단계 S414에서, ALF 후 복호 화상을 프레임 버퍼(417)에 격납한다.

·복호 대상의 모든 프레임에 대한 루프 처리가 종료되면, 단계 S415에서, 프레임 버퍼(417)의 각 프레임을 프레임 번호순으로 출력하여 출력 시퀀스를 생성하여 처리를 종료한다.

〔연산량 줄임 효과〕

차세대 영상 부호화 표준 방식에 종래의 NLM 필터(Non-local means법에 의한 디노이즈 필터)를 편입시킨 수법과 비교하여 본 수법에 의한 디노이즈 필터를 적용한 경우, 표준적인 영상의 부호화시에 PSNR의 악화를 억제하면서 상기 필터에 필요한 연산량을 약 50∼75% 정도 줄일 수 있다는 것을 확인할 수 있었다.

[소프트웨어 프로그램을 이용한 경우의 구성예]

이상의 화상 처리, 영상 부호화, 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며 그 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하는 것도, 네트워크를 통해 제공하는 것도 가능하다.

도 25는, 본 발명의 실시형태를 컴퓨터와 소프트웨어 프로그램을 이용하여 실시하는 경우의 시스템의 구성예를 도시한다.

본 시스템은, 프로그램을 실행하는 CPU(Central Processing Unit)(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 격납되는 RAM(Random Access Memory) 등의 메모리(51)와, 디노이즈 대상의 화상 신호, 부호화 대상의 영상 신호, 또는 복호 화상의 영상 신호를 기억하는 영상 신호 기억부(52)와, 본 발명의 실시형태에서 설명한 처리를 CPU(50)에 실행시키기 위한 프로그램이 격납된 프로그램 기억장치(53)와, 부호화 결과의 비트 스트림 또는 복호 대상의 비트 스트림을 기억하는 부호화 스트림 기억부(54)가 버스로 접속된 구성으로 되어 있다.

프로그램 기억장치(53)는, 본 발명의 실시형태를 이용하여 화상 신호의 노이즈를 제거하기 위한 화상 처리 프로그램(531), 본 발명의 실시형태를 이용하여 영상 신호를 부호화하기 위한 영상 부호화 프로그램(532), 본 발명의 실시형태를 이용하여 부호화 비트 스트림을 복호하기 위한 영상 복호 프로그램(533) 중 어느 하나를 격납하고 있다. 프로그램 기억장치(53)는, 이들 프로그램 모두를 격납할 필요는 없다.

본 시스템이 화상 신호의 노이즈 제거에 이용될 경우, 화상 처리 프로그램(531)이 메모리(51)에 로드되고, CPU(50)는, 메모리(51)에 로드된 화상 처리 프로그램(531)의 명령을 순서대로 페치하여 실행하고, 영상 신호 기억부(52)에 격납되어 있는 영상 신호의 화상을 입력하여 본 발명의 실시형태에서 설명한 수법에 의해 노이즈를 제거하고 영상 신호 기억부(52)에 격납한다.

또 본 시스템이 영상 부호화 장치로서 이용될 경우, 영상 부호화 프로그램(532)이 메모리(51)에 로드되고, CPU(50)는, 메모리(51)에 로드된 영상 부호화 프로그램(532)의 명령을 순서대로 페치하여 실행하고, 영상 신호 기억부(52)에 격납되어 있는 영상 신호를 본 발명의 실시형태에서 설명한 수법에 의해 부호화하여 부호화 결과의 비트 스트림을 부호화 스트림 기억부(54)에 격납한다. 또는 네트워크 어댑터 등의 인터페이스를 통해 비트 스트림을 외부 장치에 출력해도 좋다.

또 본 시스템이 영상 복호 장치로서 이용될 경우, 영상 복호 프로그램(533)이 메모리(51)에 로드되고, CPU(50)는, 메모리(51)에 로드된 영상 복호 프로그램(533)의 명령을 순서대로 페치하여 실행하고, 부호화 스트림 기억부(54)에 격납되어 있는 비트 스트림을 본 발명의 실시형태에서 설명한 수법에 의해 복호하여 복호 결과의 영상 신호를 영상 신호 기억부(52)에 격납한다. 또는 외부의 재생 장치에 복호 결과의 영상 신호를 출력한다.

특히 본 발명의 실시형태는, 영상 부호화 프로그램(532), 영상 복호 프로그램(533)에서의 루프 필터 처리에 이용되고, 이 루프 필터 처리의 프로그램 부분은 영상 부호화 프로그램(532), 영상 복호 프로그램(533)으로 공통화할 수도 있다.

이상, 본 발명의 실시형태에 대해 도면을 참조하여 상술하였으나, 구체적인 구성은 이들 실시형태로 한정되지 않으며 본 발명의 요지를 벗어나지 않는 범위의 설계 등(구성의 부가, 생략, 치환 및 기타 변경)도 포함된다. 본 발명은 전술한 설명에 의해 한정되지 않으며 첨부한 청구범위에 의해서만 한정된다.

본 발명은, 예를 들면 화상 촬영시의 노이즈나 열화 화상의 열화를 줄이기 위해 이용 가능하다. 본 발명에 의하면, 부호화 효율의 저하를 억제하면서 디노이즈 필터의 연산량을 줄일 수 있다.

10, 11, 12, 13, 14 화상 처리 장치
101, 111, 121, 131, 141 디노이즈 필터 처리부
102, 112, 122, 132, 142 엣지 방향 검출부
103, 113, 123, 133, 143 탐색 형상 설정부
104, 114, 124, 134, 144　NLM 필터 실행부
115　디노이즈 계수 산출부
125, 135, 145 탐색 형상 기억부
126, 136, 146 템플릿 형상 기억부
137, 147 디노이즈 계수 설정부
138, 148 괴리도 검출부
139, 149 템플릿 형상 설정부
1410 템플릿 형상 재설정부

Claims

디노이즈 대상 화상에서의 디노이즈의 대상 화소에 대한 비교원이 되는 템플릿과, 상기 디노이즈 대상 화상에서의 탐색 형상내의 탐색처가 되는 각 탐색점에 대한 템플릿과의 템플릿 매칭을 행하여 템플릿 유사도에 따른 가중과 해당 탐색점에서의 화소치의 가중합에 의해 상기 대상 화소의 노이즈를 제거하는 화상 처리 방법으로서,
상기 디노이즈 대상 화상을 이용하여 엣지 방향을 산출하는 단계;
산출된 상기 엣지 방향을 상기 탐색 형상의 제한에 이용하는 지표로 하고, 상기 엣지 방향과 직교되는 방향의 상기 탐색점의 수가 상기 엣지 방향을 따르는 상기 탐색점의 수보다 적은 탐색 형상을 설정하는 단계; 및
상기 템플릿 매칭을, 설정된 상기 탐색 형상 내의 각 탐색점에 대해서만 행하여 상기 대상 화소의 상기 노이즈를 제거하는 처리를 실행하는 단계;
를 구비한, 화상 처리 방법.
디노이즈 대상 화상에서의 디노이즈의 대상 화소에 대한 비교원이 되는 템플릿과, 상기 디노이즈 대상 화상에서의 탐색 형상 내의 탐색처가 되는 각 탐색점에 대한 템플릿과의 템플릿 매칭을 행하여 템플릿 유사도에 따른 가중과 해당 탐색점에서의 화소치의 가중합에 의해 상기 대상 화소의 노이즈를 제거하는 화상 처리 장치로서,
상기 디노이즈 대상 화상을 이용하여 엣지 방향을 산출하는 엣지 방향 검출부;
산출된 상기 엣지 방향을, 상기 탐색 형상의 제한에 이용하는 지표로 하고, 상기 엣지 방향과 직교되는 방향의 상기 탐색점의 수가 상기 엣지 방향을 따르는 상기 탐색점의 수보다 적은 탐색 형상을 설정하는 탐색 형상 설정부; 및
상기 템플릿 매칭을, 설정된 상기 탐색 형상 내의 각 탐색점에 대해서만 행하여 상기 대상 화소의 상기 노이즈를 제거하는 처리를 실행하는 필터 실행부;
를 구비한, 화상 처리 장치.
루프 필터를 이용하여 영상을 부호화 또는 복호하는 영상 부호화/복호 방법으로서,
상기 루프 필터는, 복호 화상에서의 디노이즈의 대상 화소에 대한 비교원이 되는 템플릿과, 상기 복호 화상에서의 탐색 형상 내의 탐색처가 되는 각 탐색점에 대한 템플릿과의 템플릿 매칭을 행하여 템플릿 유사도에 따른 가중과 해당 탐색점에서의 화소치의 가중합에 의해 상기 대상 화소의 노이즈를 제거하는 화상 처리 방법을 이용하여 상기 복호 화상의 노이즈를 제거하는 필터이고,
상기 복호 화상을 이용하여 엣지 방향을 산출하는 단계;
산출된 상기 엣지 방향을, 상기 탐색 형상의 제한에 이용하는 지표로 하고, 상기 엣지 방향과 직교되는 방향의 상기 탐색점의 수가 상기 엣지 방향을 따르는 상기 탐색점의 수보다 적은 탐색 형상을 설정하는 단계; 및
상기 템플릿 매칭을, 설정된 상기 탐색 형상 내의 각 탐색점에 대해서만 행하여 상기 대상 화소의 상기 노이즈를 제거하는 처리를 실행하는 단계;
를 실행하는, 영상 부호화/복호 방법.
청구항 3에 기재된 영상 부호화/복호 방법에서,
상기 루프 필터는 또한
상기 복호 화상을 이용하여 상기 대상 화소와 상기 대상 화소의 주변 화소와의 괴리도를 산출하는 단계; 및
상기 괴리도를, 상기 템플릿의 템플릿 형상의 제한에 이용하는 지표로 하고, 상기 괴리도가 상기 복호 화상 내의 괴리도 최대치와 비교하여 낮을수록 상기 템플릿 형상이 작아지도록 상기 템플릿 형상을 제한하는 단계;
를 실행하는, 영상 부호화/복호 방법.
루프 필터를 이용하여 영상을 부호화 또는 복호하는 영상 부호화/복호 장치로서,
상기 루프 필터는, 복호 화상에서의 디노이즈의 대상 화소에 대한 비교원이 되는 템플릿과, 상기 복호 화상에서의 탐색 형상 내의 탐색처가 되는 각 탐색점에 대한 템플릿과의 템플릿 매칭을 행하여 템플릿 유사도에 따른 가중과 해당 탐색점에서의 화소치의 가중합에 의해 상기 대상 화소의 노이즈를 제거하는 화상 처리 장치를 이용하여 상기 복호 화상의 노이즈를 제거하는 필터이고,
상기 복호 화상을 이용하여 엣지 방향을 산출하는 엣지 방향 검출부;
산출된 상기 엣지 방향을, 상기 탐색 형상의 제한에 이용하는 지표로 하고, 상기 엣지 방향과 직교되는 방향의 상기 탐색점의 수가 상기 엣지 방향을 따르는 상기 탐색점의 수보다 적은 탐색 형상을 설정하는 탐색 형상 설정부; 및
상기 템플릿 매칭을, 설정된 상기 탐색 형상 내의 각 탐색점에 대해서만 행하여 상기 대상 화소의 상기 노이즈를 제거하는 처리를 실행하는 필터 실행부;
를 구비한, 영상 부호화/복호 장치.
청구항 5에 기재된 영상 부호화/복호 장치에서,
상기 루프 필터는 또한,
상기 복호 화상을 이용하여 상기 대상 화소와 상기 대상 화소의 주변 화소와의 괴리도를 산출하는 괴리도 검출부; 및
상기 괴리도를, 상기 템플릿의 템플릿 형상의 제한에 이용하는 지표로 하고, 상기 괴리도가 상기 복호 화상 내의 괴리도 최대치와 비교하여 낮을수록 상기 템플릿 형상이 작아지도록 상기 템플릿 형상을 제한하는 템플릿 형상 설정부;
를 구비한, 영상 부호화/복호 장치.
청구항 1의 화상 처리 방법을 컴퓨터에 실행시키기 위한 화상 처리 프로그램.
청구항 3 또는 청구항 4에 기재된 영상 부호화/복호 방법을 컴퓨터에 실행시키기 위한 영상 부호화/복호 프로그램.