KR20040101895A - 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및학습 방법, 및 기록 매체 - Google Patents

Abstract

본 발명은, 화상을, 보다 화질이 좋은 화상에 변환할 수 있도록 하는 데이터 변환 장치 및 학습 장치에 관한 것이다. 클래스탭 생성 회로(2)와 예측탭 생성 회로(3)는, HD 화상의 주목 화소를 클래스 분류하는 데 이용하는 클래스탭과, 주목 화소를 구하는 데 이용하는 예측탭을, SD 화상으로부터 생성하고, 클래스 분류 회로(4)는, 클래스탭에 기초하여, 주목 화소를 클래스 분류한다. 계수 RAM(5)는, 학습의 교사가 되는 교사 화소와, 학습의 생도가 되는 생도 화소를 이용하여, 그 교사 화소와 생도 화소에 대하여, 생도 화소로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 교사 화소와 생도 화소와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 주목 화소의 클래스의 탭 계수를 취득하고, 예측 연산 회로(6)는, 그 탭 계수와, 예측탭을 이용하여, 주목 화소를 구한다. 본 발명은, 텔레비전 수상기에 적용할 수 있다.

Description

데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체{DATA CONVERTING APPARATUS, DATA CONVERTING METHOD, LEARNING APPARATUS, LEANING METHOD, AND RECORDING MEDIUM}

본건 출원인은, 예를 들면, 화상의 화질 등의 향상 기타 화상의 변환을 행하는 데이터 변환 처리로서, 클래스 분류 적응 처리를, 먼저 제안하고 있다.

클래스 분류 적응 처리는, 클래스 분류 처리와 적응 처리로 이루어지고, 클래스 분류 처리에 의해서, 데이터를, 그 성질에 기초하여 클래스 분류하고, 각 클래스마다 적응 처리를 실시하는 것이고, 적응 처리란, 이하와 같은 방법의 처리이다.

즉, 적응 처리에서는, 예를 들면, 저화질 또는 표준 화질의 화상(이하, 적절하게, SD(Standard Definition) 화상이라 함) 데이터가, 소정의 탭 계수를 이용하여 맵핑(사상)됨으로써, 고화질의 화상(이하, 적절하게, HD(High Definition) 화상이라 함) 데이터로 변환된다.

현재, 이 탭 계수를 이용한 맵핑 방법으로서, 예를 들면, 선형 1차 결합 모델을 채용하도록 하면, HD 화상 데이터를 구성하는 화소(이하, 적절하게, HD 화소라 함)(의 화소값) y는, SD 화상 데이터를 구성하는 화소(이하, 적절하게, SD 화소라 함)으로부터, HD 화소를 예측하기 위한 예측탭으로서 추출되는 복수의 SD 화소와, 탭 계수를 이용하여, 다음의 선형 1차식(선형 결합)에 의해서 구해진다.

단, 수학식 1에 있어서, x_n은, HD 화소 y 에 대한 예측탭을 구성하는, n 번째의 SD 화상 데이터의 화소(이하, 적절하게, SD 화소라 함)의 화소값을 나타내고, w_n은, n 번째의 SD 화소(의 화소값)와 승산되는 n 번째의 탭 계수를 나타낸다. 또, 수학식 1에서는, 예측탭이, N개의 SD 화소 x₁, x₂, ···x_N으로 구성되는 것으로 하고 있다.

여기서, HD 화소의 화소값 y는, 수학식 1에 나타낸 선형 1차식이 아니라, 2차 이상의 고차의 식에 의해서 구하도록 하는 것도 가능하다.

현재, 제k 샘플의 HD 화소의 화소값의 실제값을 y_k로 나타냄과 함께, 수학식1에 의해서 얻어지는 그 실제값 y_k의 예측치를 y_k'로 나타내면, 그 예측 오차 e_k는, 다음 수학식으로 나타내어진다.

수학식 2의 예측치 y_k'는, 수학식 1에 의해서 구해지기 때문에, 수학식 2의 y_k'를, 수학식 1에 의해서 치환하면, 다음 수학식이 얻어진다.

단, 수학식 3에 있어서, x_n,k은, 제k 샘플의 HD 화소에 대한 예측탭을 구성하는 n 번째의 SD 화소를 나타낸다.

수학식 3의 예측 오차 e_k를 0으로 하는 탭 계수 w_n이, HD 화소를 예측하는 데 최적의 것이 되지만, 모든 HD 화소에 대하여, 그와 같은 탭 계수 w_n을 구하는 것은, 일반적으로는 곤란하다.

그래서, 탭 계수 w_n이 최적인 것을 나타내는 규범으로서, 예를 들면, 최소 제곱법을 채용하도록 하면, 최적의 탭 계수 w_n은, 통계적인 오차로서의, 예를 들면, 다음 수학식으로 나타내어지는 제곱 오차의 총합 E를 최소로 함으로써 구할 수 있다.

단, 수학식 4에 있어서, K는, HD 화소 y_k와, 그 HD 화소 y_k에 대한 예측탭을 구성하는 SD 화소 x_1,k, x_2,k, ···, x_N,k과의 세트의 샘플 수를 나타낸다.

수학식 4의 제곱 오차의 총합 E를 최소(극소)로 하는 탭 계수 w_n은, 그 총합 E를 탭 계수 w_n으로 편미분한 것을 0으로 하는 것으로서, 따라서, 다음 수학식을 만족시킬 필요가 있다.

그래서, 상술한 수학식 3을 탭 계수 w_n으로 편미분하면, 다음 수학식이 얻어진다.

수학식 5와 수학식 6으로부터, 다음 수학식이 얻어진다.

수학식 7의 e_k에, 수학식 3을 대입함으로써, 수학식 7은, 수학식 8에 나타내는 정규 방정식으로 나타낼 수 있다.

수학식 8의 정규 방정식은, HD 화소 y_k와 SD 화소 x_n,k의 세트를, 어느 정도의 수만 준비함으로써, 구해야되는 탭 계수 w_n의 수와 동일한 수만큼 설치할 수 있고, 따라서, 수학식 8을 푸는 것에 의해(단, 수학식 8을 풀기 위해서는, 수학식 8에 있어서, 탭 계수 w_n에 관한 좌변의 행렬이 정칙일 필요가 있다), 최적의 탭 계수 w_n을 구할 수 있다. 또, 수학식 8을 푸는 데 있어서는, 예를 들면, 소인법(Gauss-Jordan의 소거법) 등을 채용하는 것이 가능하다.

이상과 같이, 다수의 HD 화소 y₁, y₂, ···, y_K를, 탭 계수의 학습의 교사가 되는 교사 데이터로 함과 함께, 각 HD 화소 y_k에 대한 예측탭을 구성하는 SD 화소 x_1,k, x_2,k, ···, x_N,k을, 탭 계수의 학습의 생도가 되는 생도 데이터로 하여, 수학식 8을 푸는 것에 의해, 최적의 탭 계수 w_n을 구하는 학습을 행하여 두고, 또한, 그 탭 계수 w_n을 이용하여, 수학식 1에 의해, SD 화상 데이터를, HD 화상 데이터에 맵핑(변환)하는 것이 적응 처리이다.

또, 적응 처리는, SD 화상에는 포함되어 있지 않지만, HD 화상에 포함되는 성분이 재현되는 점에서, 예를 들면, 단순한 보간 처리 등과는 다르다. 즉, 적응 처리에서는, 수학식 1 만을 보는 한에 있어서는, 소위 보간 필터를 이용한 보간 처리와 동일하지만, 그 보간 필터의 탭 계수에 상당하는 탭 계수 w_n이, 교사 데이터로서의 HD 화상 데이터와 생도 데이터로서의 SD 화상 데이터를 이용한 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 이 때문에, 적응 처리는, 말하자면 화상의 창조(해상도 상상(想像)) 작용이 있는 처리라고 할 수 있다.

여기서, 탭 계수 w_n의 학습에서는, 교사 데이터 y와 생도 데이터 x의 조합으로서, 어떠한 것을 채용할까에 따라서, 각종의 변환을 행하는 탭 계수 w_n을 구할 수 있다.

즉, 예를 들면, 교사 데이터 y로서, HD 화상 데이터를 채용함과 함께, 생도 데이터 x로서, 그 HD 화상 데이터에 노이즈나 불선명을 부가한 SD 화상 데이터를채용한 경우에는, 화상을, 그 노이즈나 불선명을 제거한 화상으로 변환하는 탭 계수 w_n을 얻을 수 있다. 또한, 예를 들면, 교사 데이터 y로서, HD 화상 데이터를 채용함과 함께, 생도 데이터 x로서, 그 HD 화상 데이터의 해상도를 열화시킨 SD 화상 데이터를 채용한 경우에는, 화상을, 그 해상도를 향상시킨 화상으로 변환하는 탭 계수 w_n을 얻을 수 있다. 또한, 예를 들면, 교사 데이터 y로서, 화상 데이터를 채용함과 함께, 생도 데이터 x로서, 그 화상 데이터를 DCT(Discrete Cosine Transform) 변환한 DCT 계수를 채용한 경우에는, DCT 계수를 화상 데이터로 변환하는 탭 계수 w_n을 얻을 수 있다.

상술한 바와 같이, 클래스 분류 적응 처리에 있어서는, 수학식 4의 제곱 오차의 총합을 최소로 하는 탭 계수 w_n이 클래스마다 구해지고, 그 탭 계수 w_n을 이용하여, 수학식 1이 연산됨으로써, SD 화상이, 고화질의 HD 화상으로 변환된다. 즉, 탭 계수 w_n과, SD 화상으로부터 생성되는 예측탭 x_n을 이용하여, 수학식 1이 연산됨으로써, HD 화상을 구성하는 HD 화소가 구해진다.

이 때문에, 예를 들면, 예측탭의 다이내믹 레인지가 작은 경우에는, 예측탭의 다이내믹 레인지가 큰 경우에 비교하여, 예측탭 x_n의 값(예측탭을 구성하는 SD 화소 x_n의 화소값)의 변동의 영향을 받기 쉬웠다.

즉, 예를 들면, 현재, 설명을 간단히 하기 위해서, 예측탭이, 도 1A에 도시한 바와 같이, 2개의 SD 화소(의 화소값) x₁과 x₂로 구성되고, HD 화소(의 화소값)y가, 수학식 1에 대응하는 다음 수학식으로 구해지는 것으로 한다.

또한, 예측탭의 다이내믹 레인지는, 그 예측탭을 구성하는 최대값으로부터 최소값을 감산한 것이 되므로, 도 1A의 예측탭의 다이내믹 레인지 D는, 다음 수학식으로 나타내어진다.

이 경우, 수학식 9의 HD 화소 y는, 수학식 10으로부터, 다음 수학식으로 나타내어진다.

한편, 도 1B에 도시한 바와 같이, 도 1A의 예측탭을 구성하는 SD 화소 x₁과 x₂중의, 예를 들면, SD 화소 x₂가, △x₂만큼 변동한 SD 화소를 x₂'로 나타내는 것으로 하면, SD 화소 x₁과 x₂'로 구성되는 예측탭에 따르면, 다음 수학식에 의해서, HD 화소 y'가 구해진다.

또한, 도 1B의 예측탭의 다이내믹 레인지 D'는, 다음 수학식으로 나타내어진다.

이 경우, 수학식 12의 HD 화소 y'는, 수학식 13으로부터, 다음 수학식으로 나타내어진다.

그런데, SD 화소 x₂'는, SD 화소 x₂로부터, △x₂만큼 변동한 것이므로, 다음 수학식으로 나타낼 수 있다.

수학식 15로부터, 수학식 13의 다이내믹 레인지 D'는, 다음 수학식으로 나타낼 수 있다.

수학식 16을, 수학식 14에 대입함으로써, HD 화소 y'는, 다음 수학식에 의해서 구할 수 있다.

따라서, 도 1A의 예측탭을 구성하는 SD 화소 x₂△x₂만큼 변동한 경우, 구해지는 HD 화소는, 수학식 11로 나타내어지는 y로부터, 수학식 17로 나타내어지는 y'로 변동하게 된다.

현재, 예측탭이 변동함으로써, 구해지는 HD 화소가, 변동 전의 예측탭으로부터 구해지는 HD 화소에 대하여, 얼마만큼 변동하는가를 나타내는 값을, 변동율 R 이라 하면, 이 변동율 R은, 예를 들면, 다음 수학식으로 나타낼 수 있다.

수학식 18에, 수학식 11과 수학식 17을 대입함으로써, 변동율 R은, 다음 수학식으로 구해진다.

수학식 19에 따르면, 변동율 R은, 예측탭의 다이내믹 레인지 D가 클수록 작고, 반대로, 예측탭의 다이내믹 레인지 D가 작을수록 커진다.

이것은, 예측탭의 다이내믹 레인지 D가 큰 경우에는, 예측탭의 변동이, 구해지는 HD 화소에 거의 영향을 끼치지 않지만, 반대로, 예측탭의 다이내믹 레인지 D가 작은 경우에는, 예측탭의 변동이, 구해지는 HD 화소에 크게 영향을 끼치는 것을 의미한다.

따라서, 예측탭의 다이내믹 레인지가 큰 경우에는, 예측탭이 변동해도, 그 큰 다이내믹 레인지에 따른, 말하자면 마스킹의 효과(이하, 적절하게, DR 마스킹 효과라 함)(큰 다이내믹 레인지에 의해서, 예측탭의 변동에 대한 HD 화소에의 영향이 마스크되는 효과)에 의해서, 구해지는 HD 화소에의 영향이 억제되지만, 예측탭의 다이내믹 레인지가 작은 경우에는, 상술한 DR 마스킹 효과가 거의 기능하지 않고, 예측탭의 변동은, 구해지는 HD 화소에 큰 변동을 제공한다.

이 때문에, 다이내믹 레인지가 큰 예측탭이 구성되는 경우와, 다이내믹 레인지가 작은 예측탭이 구성되는 경우에서, 구해지는 HD 화상의 화질에 차가 발생하는 경우가 있어, 사용자에게 위화감을 느끼게 할 우려가 있었다.

또한, DR 마스킹 효과를 일으킬 정도에 의해, 클래스 분류 적응 처리에 의해서 얻어지는 HD 화상의 화질에 대한 영향이 변화한다. 따라서, DR 마스킹 효과를일으키는 정도를, 사용자가 조정하는 것이 가능하게 되면, 사용자는, 자신의 기호에 따른 화질의 화상을 얻는 것이 가능하게 된다.

본 발명은, 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 프로그램 및 기록 매체에 관한 것으로, 특히, 예를 들면, 화상 데이터를, 보다 고화질의 화상 데이터로 변환하는 것 등을 할 수 있도록 하는 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 프로그램 및 기록 매체에 관한 것이다.

도 1A는 예측탭의 변동에 대한 예측치의 변동을 설명하기 위한 도면.

도 1B는 예측탭의 변동에 대한 예측치의 변동을 설명하기 위한 도면.

도 2는 본 발명을 적용한 화상 처리 장치의 제1 실시 형태의 구성예를 도시하는 블록도.

도 3은 화상 처리 장치의 처리를 설명하는 흐름도.

도 4는 본 발명을 적용한 학습 장치의 제1 실시 형태의 구성예를 도시하는 블록도.

도 5는 가산 회로(67)의 구성예를 도시하는 블록도.

도 6은 가중 부여 특성의 예를 도시하는 도면.

도 7은 학습 장치의 처리를 설명하는 흐름도.

도 8은 본 발명을 적용한 화상 처리 장치의 제2 실시 형태의 구성예를 도시하는 블록도.

도 9는 화상 처리 장치의 처리를 설명하는 흐름도.

도 10은 본 발명을 적용한 학습 장치의 제2 실시 형태의 구성예를 도시하는 블록도.

도 11은 학습 장치의 처리를 설명하는 흐름도.

도 12는 본 발명을 적용한 화상 처리 장치의 제3 실시 형태의 구성예를 도시하는 블록도.

도 13은 화상 처리 장치의 처리를 설명하는 흐름도.

도 14는 본 발명을 적용한 학습 장치의 제3 실시 형태의 구성예를 도시하는 블록도.

도 15는 학습 장치의 처리를 설명하는 흐름도.

도 16은 본 발명을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도.

본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 예를 들면, 화상 데이터를, 보다 고화질의 화상 데이터로 변환할 수 있도록 하고, 또한, 그 화질의 조정을 사용자가 가능하게 할 수 있도록 하는 것이다.

본 발명의 데이터 변환 장치는, 주목하고 있는 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 제1 데이터로부터 생성하는 클래스탭 생성 수단과, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 수단과, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 데이터로부터 생성하는 예측탭 생성 수단과, 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터와, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터를 이용하고, 제2 학습용 데이터와 제1 학습용 데이터에 대하여, 제1 학습용 데이터로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 수단과, 주목 데이터의 클래스의 탭 계수와, 예측탭을 이용하여, 주목 데이터를 구하는 연산 수단을 포함하는 것을 특징으로 한다.

본 발명의 데이터 변환 방법은, 주목하고 있는 제2 데이터인 주목 데이터를1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 제1 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 데이터로부터 생성하는 예측 탭 생성 단계와, 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터와, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터를 이용하고, 제2 학습용 데이터와 제1 학습용 데이터에 대하여, 제1 학습용 데이터로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 단계와, 주목 데이터의 클래스의 탭 계수와, 예측탭을 이용하여, 주목 데이터를 구하는 연산 단계를 구비하는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 주목하고 있는 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 제1 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 데이터로부터 생성하는 예측탭 생성 단계와, 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터와, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터를 이용하고, 제2 학습용 데이터와 제1 학습용 데이터에 대하여, 제1 학습용 데이터로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 단계와, 주목 데이터의 클래스의 탭 계수와, 예측탭을 이용하여, 주목 데이터를 구하는 연산 단계를 구비하는 것을 특징으로 한다.

본 발명의 제1 기록 매체는, 주목하고 있는 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 제1 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 데이터로부터 생성하는 예측탭 생성 단계와, 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터와, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터를 이용하고, 제2 학습용 데이터와 제1 학습용 데이터에 대하여, 제1 학습용 데이터로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 단계와, 주목 데이터의 클래스의 탭 계수와, 예측탭을 이용하여, 주목 데이터를 구하는 연산 단계를 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.

본 발명의 제1 학습 장치는, 탭 계수의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 수단과, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 수단과, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 수단과, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 탭 계수를 구하는 학습 수단과, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 수단과, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 수단에 있어서의 가중 부여를 제어하는 가중 부여 제어 수단을 포함하는 것을 특징으로 한다.

본 발명의 제1 학습 방법은, 탭 계수의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 탭 계수를 구하는 학습단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 탭 계수의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 탭 계수를 구하는 학습 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 것을 특징으로 한다.

본 발명의 제2 기록 매체는, 탭 계수의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 탭 계수를 구하는 학습 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.

본 발명의 제2 학습 장치는, 계수종 데이터의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 수단과, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 수단과, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 수단과, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 계수종 데이터를 구하는 학습 수단과, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는액티비티 검출 수단과, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 수단에 있어서의 가중 부여를 제어하는 가중 부여 제어 수단을 포함하는 것을 특징으로 한다.

본 발명의 제2 학습 방법은, 계수종 데이터의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 계수종 데이터를 구하는 학습 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 것을 특징으로 한다.

본 발명의 제3 프로그램은, 계수종 데이터의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 생도 데이터로부터 생성하는 예측탭 생성 단계와, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 계수종 데이터를 구하는 학습 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 것을 특징으로 한다.

본 발명의 제3 기록 매체는, 계수종 데이터의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와, 클래스탭에 기초하여, 주목 데이터를 클래스 분류하는 클래스 분류 단계와, 주목 데이터를 구하는 데 이용하는 예측탭을, 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 계수종 데이터를 구하는 학습 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와, 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.

본 발명의 데이터 변환 장치 및 데이터 변환 방법, 및 제1 프로그램 및 제1 기록 매체에 있어서는, 주목하고 있는 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭과, 주목 데이터를 구하는 데 이용하는 예측탭이, 제1 데이터로부터 생성되고, 클래스탭에 기초하여, 주목 데이터가 클래스 분류된다. 또한, 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터와, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터를 이용하여, 제2 학습용 데이터와 제1 학습용 데이터에 대하여, 제1 학습용 데이터로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 주목 데이터의 클래스의 탭 계수가 취득되고, 그 탭 계수와, 예측탭을 이용하여, 주목 데이터가 구해진다.

본 발명의 제1 학습 장치 및 제1 학습 방법, 및 제2 프로그램 및 제2 기록 매체에 있어서는, 탭 계수의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭과, 주목 데이터를 구하는 데 이용하는 예측탭이, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성되고, 클래스탭에 기초하여, 주목 데이터가 클래스 분류된다. 또한, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 탭 계수가 구해진다. 한편, 주목 데이터에 대하여 얻어진 예측탭의 액티비티가 구해지고, 그 액티비티에 기초하여, 주목 데이터와 예측탭에 대한 가중 부여가 제어된다.

본 발명의 제2 학습 장치 및 제2 학습 방법, 및 제3 프로그램 및 제3 기록 매체에 있어서는, 계수종 데이터의 학습에 이용하기 위한, 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭과, 주목 데이터를 구하는 데 이용하는 예측탭이, 학습에 이용하기 위한, 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성되고, 클래스탭에 기초하여, 주목 데이터가 클래스 분류된다. 또한, 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 제2 학습용 데이터와 제1 학습용 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써, 1 이상의 클래스마다의 계수종 데이터가 구해진다. 한편, 주목 데이터에 대하여 얻어진 예측탭의 액티비티가 구해지고, 그 액티비티에 기초하여, 주목 데이터와 예측탭에 대한 가중 부여가 제어된다.

도 2는, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성예를 도시하고 있다.

이 화상 처리 장치에서는, 예를 들면, 불선명 SD 화상이 입력되고, 그 SD 화상에 대하여, 클래스 분류 적응 처리가 실시되는 것에 의해, SD 화상의 불선명도에 관계없이, 그 불선명이 충분히 개선된 HD 화상(불선명 개선 화상)이 출력되도록 되어 있다.

즉, 이 화상 처리 장치는, 프레임 메모리(1), 클래스탭 생성 회로(2), 예측탭 생성 회로(3), 클래스 분류 회로(4), 계수 RAM(Random Access Memory)(5), 및 예측 연산 회로(6)로 구성되고, 거기에는, 불선명의 개선을 행하는 대상이 되는 SD 화상이 입력된다.

프레임 메모리(1)는, 화상 처리 장치에 입력되는 SD 화상을, 예를 들면, 프레임(또는 필드) 단위로 일시 기억한다. 또, 본 실시의 형태에서는, 프레임 메모리(1)는, 복수 프레임의 SD 화상을, 뱅크 전환에 의해 기억할 수 있도록 되어 있고, 이에 따라, 화상 처리 장치에 입력되는 SD 화상이 동화상이더라도, 그 처리를 실시간으로 행할 수 있도록 되어 있다.

클래스탭 생성 회로(2)는, 클래스 분류 적응 처리에 의해 구하고자 하는 HD 화소(여기서는, SD 화소로부터 불선명을 완전하게 배제한, 불선명이 없는 이상적인 HD 화소)를, 주목 화소로 하고, 그 주목 화소에 대한 클래스 분류에 이용하는 클래스탭을, 프레임 메모리(1)에 기억된 SD 화상으로부터 생성하고, 클래스 분류 회로(4)로 출력한다. 즉, 클래스탭 생성 회로(2)는, 예를 들면, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 SD 화소를, 프레임 메모리(1)에 기억된 SD 화상으로부터 추출하는 것에 의해 클래스탭으로 하고, 클래스 분류 회로(4)로 출력한다.

예측탭 생성 회로(3)는, 예측 연산 회로(6)에 있어서 주목 화소(의 예측치)를 구하는 데 이용하는 예측탭을, 프레임 메모리(1)에 기억된 SD 화상으로부터 생성하여, 예측 연산 회로(6)에 공급한다. 즉, 클래스탭 생성 회로(2)는, 예를 들면, 주목 화소의 위치로부터 공간적 또는 시간적으로 가까운 위치에 있는 복수의 SD 화소를, 프레임 메모리(1)에 기억된 SD 화상으로부터 추출하는 것에 의해 예측탭으로 하고, 예측 연산 회로(6)에 공급한다.

또, 여기서는, SD 화소 그 자체에 의해서, 예측탭이나 클래스탭(이하, 적절하게, 양방 포함시켜, 단순히, 탭이라 함)을 구성하도록 했지만, 탭은, 기타, 예를 들면, SD 화상으로부터, 그 움직임 벡터 등 검출하고, 그 움직임 벡터를 포함해서 구성하는 것이 가능하다.

또한, 예측탭으로 하는 SD 화소와, 클래스탭으로 하는 SD 화소는, 동일하여도 되고, 동일하지 않아도 된다. 즉, 예측탭과 클래스탭은, 각각 독립적으로 구성(생성)하는 것이 가능하다.

클래스 분류 회로(4)는, 클래스탭 생성 회로(2)로부터의 클래스탭에 기초하여, 주목 화소를 클래스 분류하고, 그 결과 얻어지는 주목 화소의 클래스에 대응하는 클래스 코드를, 계수 RAM(5)에 대하여, 어드레스로서 제공한다. 즉, 클래스 분류 회로(4)는, 클래스탭 생성 회로(2)로부터의 클래스탭을, 예를 들면, 1 비트 ADRC(Adaptive Dynamic Range Coding) 처리하고, 그 결과 얻어지는 ADRC 코드를, 클래스 코드로서, 계수 RAM(5)로 출력한다.

여기서, K 비트 ADRC 처리에 있어서는, 클래스탭을 구성하는 SD 화소의 화소값의 최대값 MAX와 최소값 MIN이 검출되고, DR=MAX-MIN을, 국소적인 다이내믹 레인지로 하고, 이 다이내믹 레인지 DR에 기초하여, 클래스탭을 구성하는 SD 화소가 K 비트로 재양자화된다. 즉, 클래스탭을 구성하는 각 SD 화소의 화소값으로부터, 최소값 MIN이 감산되고, 그 감산치가 DR/2^K로 제산(양자화)된다. 따라서, 클래스탭이, 1 비트 ADRC 처리된 경우에는, 그 클래스탭을 구성하는 각 SD 화소의 화소값은 1 비트가 되게 된다. 그리고, 이 경우, 이상과 같이하여 얻어지는, 클래스탭을 구성하는 각 SD 화소에 대한 1 비트의 화소값을, 소정의 순서로 배열한 비트 열이, ADRC 코드로서 출력된다. 또, 클래스 분류는, 기타, 예를 들면, 클래스탭을 구성하는 SD 화소를, 벡터의 콤포넌트라고 간주하고, 그 벡터를 벡터 양자화하는 것 등에 의해서 행하는 것도 가능하다. 또한, 클래스 분류로서는, 1클래스의 클래스 분류를 행하는 것도 가능하다. 이 경우, 클래스 분류 회로(4)는, 어떠한 클래스탭이 공급되더라도, 고정의 클래스 코드를 출력하는 것이 된다.

계수 RAM(5)는, 학습의 교사가 되는 HD 화상 데이터인 교사 데이터와, 학습의 생도가 되는 SD 화상 데이터인 생도 데이터를 이용하여, 그 교사 데이터와 생도데이터에 대하여, 생도 데이터로부터 생성되는 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 교사 데이터와 생도 데이터와의 관계를, 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수를 기억하고 있다. 그리고, 계수 RAM(5)는, 클래스 분류 회로(4)로부터 클래스 코드가 공급되면, 그 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독함으로써, 주목 화소의 클래스의 탭 계수를 취득하고, 예측 연산 회로(6)에 공급한다. 또, 탭 계수의 학습 방법에 대한 상세는, 후술한다.

예측 연산 회로(6)는, 계수 RAM(5)로부터 공급되는, 주목 화소의 클래스에 대한 탭 계수 w₁, w₂, ···와, 예측탭 생성 회로(3)로부터의 예측탭(을 구성하는 각 SD 화소의 화소값) x₁, x₂, ···를 이용하여, 수학식 1에 나타낸 연산을 행함으로써, 주목 화소 y(의 예측치)를 구하고, 이것을, 불선명을 개선한 HD 화소의 화소값으로서 출력한다.

다음으로, 도 3의 흐름도를 참조하여, 도 2의 화상 처리 장치가 행하는, SD 화상을 HD 화상으로 변환하는 화상 변환 처리에 대하여 설명한다.

프레임 메모리(1)에는, 화상 변환 처리의 대상으로서의 SD 화상(동화상)이, 프레임 단위로 순차 공급되고, 프레임 메모리(1)에서는, 그와 같이 프레임 단위로 공급되는 SD 화상이 순차 기억되어 간다.

그리고, 단계 S1에 있어서, 클래스탭 생성 회로(2)는, 아직 구해지지 않은 HD 화소 중의 1개를 주목 화소로서 선택하고, 단계 S2로 진행한다.

단계 S2에서는, 클래스탭 생성 회로(2)와 예측탭 생성 회로(3)가, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 SD 화소를, 프레임 메모리(1)에 기억된 SD 화상으로부터 추출함으로써, 클래스탭과 예측탭을 각각 생성하고, 클래스 분류 회로(4)와 예측 연산 회로(6)에 각각 공급한다.

그리고, 단계 S3으로 진행하여, 클래스 분류 회로(4)는, 클래스탭 생성 회로(2)로부터 공급되는 클래스탭에 기초하여, 주목 화소에 대하여 클래스 분류를 행하고, 그 결과 얻어지는 주목 화소의 클래스를 나타내는 클래스 코드를, 계수 RAM(5)에 대하여, 어드레스로서 출력하고, 단계 S4로 진행한다. 단계 S4에서는, 계수 RAM(5)는, 클래스 분류 회로(4)로부터의 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독하고, 이에 따라, 주목 화소의 클래스의 탭 계수를 취득하고, 예측 연산 회로(6)에 공급한다.

그 후, 단계 S4로 진행하여, 예측 연산 회로(6)는, 예측탭 생성 회로(3)로부터의 예측탭과, 계수 RAM(5)로부터의 탭 계수를 이용하여, 수학식 1에 나타낸 연산을 행하여, 주목 화소인 HD 화소 y(의 예측치)를 구하고, 단계 S6으로 진행한다.

여기서, 예측 연산 회로(6)는, 1 프레임 분의 HD 화소가 구해질 때까지, 단계 S5에서 얻어진 HD 화소를 기억하고 있고, 1 프레임 분의 HD 화소가 구해지면, 그 HD 화소로 구성되는 1 프레임의 HD 화상을 출력한다.

단계 S6에서는, 클래스탭 생성 회로(2)가, 또한, 주목 화소로 하고 있지 않은 HD 화소가 존재하는지의 여부를 판정하여, 존재한다고 판정한 경우, 단계 S1에 되돌아가, 이하, 마찬가지의 처리를 반복한다.

또한, 단계 S6에 있어서, 주목 화소로 하고 있지 않은 HD 화소가 존재하지 않는다고 판정된 경우, 처리를 종료한다.

다음으로, 도 3은, 도 2의 계수 RAM(5)에 기억시키는 클래스마다의 탭 계수를 구하는 학습을 행하는 학습 장치의 일 실시 형태의 구성예를 도시하고 있다.

학습용 데이터베이스(61)에는, 탭 계수의 학습용의 화상 데이터로서의, 예를 들면 HD 화상 데이터가 기억되어 있다.

학습쌍 생성 회로(62)는, 학습용 데이터베이스(61)에 기억된 학습용의 화상 데이터로부터, 탭 계수의 학습에 이용되는 교사 데이터와 생도 데이터의 세트인 학습쌍 데이터를 생성하여, 학습쌍 데이터베이스(63)에 공급한다.

즉, 학습쌍 생성 회로(62)는, 학습용 데이터베이스(61)에 기억된 학습용의 화상 데이터를 판독하여, 그 학습용의 화상 데이터인 HD 화상 데이터를, 예를 들면, 그대로 교사 데이터로 한다. 여기서, 도 2의 화상 처리 장치에서 얻어지는 HD 화상은, 도 3의 학습 장치에서 교사 데이터로서 이용되는 HD 화상 데이터의 화질에 대응한 것이 된다.

또한, 학습쌍 생성 회로(62)는, 교사 데이터로서의 HD 화상 데이터의 화질을 열화시킴으로써, 즉, 예를 들면, 교사 데이터로서의 HD 화상 데이터의 화소를 추출하고, 또한, LPF(Low Pass Filter)로 필터링하는 것 등에 의해, 그 교사 데이터로서의 HD 화상 데이터로부터 추출한 SD 화상 데이터인 생도 데이터를 생성한다. 여기서, 생도 데이터로서의 SD 화상 데이터는, 도 2의 화상 처리 장치로 처리 대상이 되는 SD 화상 데이터에 대응한 화질의 것으로 할 필요가 있다.

학습쌍 생성 회로(62)는, 상술된 바와 같이 하여, 교사 데이터와, 그 교사 데이터에 대응하는 생도 데이터(교사 데이터로부터 생성된 생도 데이터)를 생성하면, 그 교사 데이터와 생도 데이터의 세트를, 학습쌍 데이터로서, 학습쌍 데이터베이스(63)에 공급한다.

학습쌍 데이터베이스(63)는, 학습쌍 생성 회로(62)로부터의 학습쌍 데이터를 일시 기억한다.

클래스탭 생성 회로(64)와 예측탭 생성 회로(65)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의 생도 데이터로서의 SD 화상을 구성하는 SD 화소를 이용하여, 주목 화소로 되어있는 교사 데이터로서의 HD 화소에 대하여, 도 2의 클래스탭 생성 회로(2) 또는 예측탭 생성 회로(3)에 있어서의 경우와 동일한 탭 구조의 클래스탭과 예측탭을 각각 생성하고, 클래스 분류 회로(66)와 가산 회로(67)에 각각 공급한다.

클래스 분류 회로(66)는, 도 2의 클래스 분류 회로(4)와 같이 구성되고, 클래스탭 생성 회로(64)로부터의 클래스탭에 기초하여, 주목 화소를 클래스 분류하고, 주목 화소의 클래스를 나타내는 클래스 코드를, 가산 회로(67)에 공급한다.

가산 회로(67) 및 탭 계수 연산 회로(68)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의, 주목 화소로 되어있는 교사 데이터와, 예측탭 생성 회로(65)로부터 공급되는 예측탭에 대하여, 가중 제어 회로(71)로부터의 제어에 따른 가중 부여를 행하면서, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터로서의 교사 데이터와 생도 데이터와의 관계를, 클래스 분류 회로(66)로부터 공급되는클래스마다 학습함으로써, 클래스마다의 탭 계수를 구한다.

즉, 가산 회로(67)는, 클래스 분류 회로(66)가 출력하는 클래스 코드마다, 예측탭 생성 회로(65)로부터 공급되는 예측탭과, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의, 주목 화소로 되어있는 HD 화소를 대상으로 한, 수학식 8의 가산을 행한다.

구체적으로는, 가산 회로(67)는, 클래스 분류 회로(66)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측탭을 구성하는 SD 화소 x_n,k을 이용하여, 수학식 8의 좌변의 행렬에 있어서의 SD 화소끼리의 승산(x_n,kx_n',k)과, 서메이션(Σ)에 상당하는 연산을 행한다.

또한, 가산 회로(67)는, 역시, 클래스 분류 회로(66)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측탭을 구성하는 SD 화소 x_n,k과 주목 화소로 되어있는 교사 데이터인 HD 화소 y_k를 이용하여, 수학식 8의 우변의 벡터에 있어서의 SD 화소 x_n,k및 주목 화소 y_k의 승산(x_n,ky_k)과, 서메이션(Σ)에 상당하는 연산을 행한다.

단, 가산 회로(67)는, 예측탭과 주목 화소를 대상으로 한, 수학식 8의 가산을 행할 때에, 그 예측탭과 주목 화소에 대하여, 가중 제어 회로(71)로부터의 제어에 따른 가중 부여를 행한다. 따라서, 현재, 제k 샘플의 주목 화소 y_k와, 그 주목 화소 y_k에 대하여 생성된 예측탭 x_n,k에 대한 가중을 h_k로 나타내는 것으로 하면,가산 회로(67)는, 수학식 8의 좌변의 행렬과 우변의 벡터의 각 콤포넌트에 가중 h_k를 승산한 수학식 20의 가산을 행한다.

즉, 가산 회로(67)는, 클래스 분류 회로(66)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측탭을 구성하는 SD 화소 x_n,k을 이용하여, 수학식 20의 좌변의 행렬에 있어서의 SD 화소끼리의 승산(x_n,kx_n',k)과, 가중 h_k에 의한 가중 부여(x_n,kx_n',kh_k)을 행하고, 또한, 서메이션(Σ)에 상당하는 연산을 행한다.

또한, 가산 회로(67)는, 역시, 클래스 분류 회로(66)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 예측탭을 구성하는 SD 화소 x_n,k과 주목 화소로 되어있는 교사 데이터인 HD 화소 y_k를 이용하여, 수학식 20의 우변의 벡터에 있어서의 SD 화소 x_n,k및 주목 화소 y_k의 승산(x_n,ky_k)과, 가중 h_k에 의한 가중 부여(x_n,ky_kh_k)를 행하고, 또한, 서메이션(Σ)에 상당하는 연산을 행한다.

여기서, 도 5는, 도 4의 가산 회로(67)의 구성예를 도시하고 있다.

가산 회로(81)에는, 예측탭 생성 회로(65)로부터, 새로운 주목 화소 y_k+1의 예측탭 x_n,k+1가 공급됨과 함께, 가중 제어 회로(70)로부터, 새로운 주목 화소 y_k+1와 예측탭 x_n,k+1에 대한 가중 h_k+1을 나타내는 가중 정보가 공급된다. 또한, 메모리(83)는, 전회, 주목 화소 y_k가 된 교사 데이터에 대하여 구해진 수학식 20에 있어서의 좌변의 행렬의 콤포넌트(Σx_n,kx_n',kh_k)을 기억하고 있다. 그리고, 메모리(83)에는, 클래스 분류 회로(66)가 출력하는, 새로운 주목 화소 y_k+1의 클래스 코드가 공급되도록 되어 있고, 메모리(83)는, 그 클래스 코드에 대응하는, 수학식 20에 있어서의 좌변의 행렬의 콤포넌트(Σx_n,kx_n',kh_k)을 판독하여, 가산 회로(81)에 공급한다.

가산 회로(81)는, 새로운 주목 화소 y_k+1의 예측탭 x_n,k+1과 가중 h_k+1를 이용하여, 수학식 20에 있어서의 좌변의 행렬의 콤포넌트 x_n,k+1x_n',k+1h_ku를 계산하여, 메모리(83)로부터 공급되는, 대응하는 콤포넌트 Σx_n,kx_n',kh_k에 가산함으로써, 새로운 콤포넌트 Σx_n,k+1x_n',k+1h_k+1를 구한다. 그리고, 가산 회로(81)는, 그 새로운 콤포넌트 Σx_n,k+1x_n',k+1h_k+1를, 메모리(83)에 공급하여, 전회까지 구해져 있는 콤포넌트 Σx_n,kx_n',kh_k에 덮어쓰기하는 형태로 기억시킨다.

한편, 가산 회로(82)에도, 예측탭 생성 회로(65)로부터, 새로운 주목 화소 y_k+1의 예측탭 x_n,k+1가 공급됨과 함께, 가중 제어 회로(70)로부터, 새로운 주목 화소y_k+1와 예측탭 x_n,k+1에 대한 가중 h_k+1를 나타내는 가중 정보가 공급된다. 또한, 메모리(84)는, 전회, 주목 화소 y_k가 된 교사 데이터에 대하여 구해진 수학식 20에 있어서의 우변의 벡터의 콤포넌트 Σx_n,ky_kh_k을 기억하고 있다. 그리고, 메모리(84)에도, 클래스 분류 회로(66)가 출력하는, 새로운 주목 화소 y_k+1의 클래스 코드가 공급되도록 되어 있고, 메모리(84)는, 그 클래스 코드에 대응하는, 수학식 20에 있어서의 우변의 벡터의 콤포넌트 Σx_n,ky_kh_k을 판독하여, 가산 회로(82)에 공급한다.

가산 회로(82)는, 학습쌍 데이터베이스(63)로부터, 새로운 주목 화소 y_k+1을 판독하고, 그 새로운 주목 화소 y_k+1, 예측탭 x_n,k+1, 및 가중 h_k+1를 이용하여, 수학식 20에 있어서의 우변의 벡터의 콤포넌트 x_n,k+1y_k+1h_k+1을 계산한다. 또한, 가산 회로(82)는, 그 콤포넌트 x_n,k+1y_k+1h_k+1을, 메모리(84)로부터 공급되는, 대응하는 콤포넌트 Σx_n,ky_kh_k에 가산함으로써, 새로운 콤포넌트 Σx_n,k+1y_k+1h_k+1을 구한다. 그리고, 가산 회로(82)는, 그 새로운 콤포넌트 Σx_n,k+1y_k+1h_k+1를, 메모리(84)에 공급하여, 전회까지 구해져 있었던 콤포넌트 Σx_n,ky_kh_k에 덮어쓰기하는 형태로 기억시킨다.

도 4에 되돌아가, 가산 회로(67)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의 교사 데이터 전부를 주목 화소로 하여, 상술한 가산을 행함으로써, 각 클래스에 대하여, 수학식 20에 도시한 정규 방정식을 세우면, 그 정규방정식(도 5의 메모리(83)에 기억된 수학식 20의 좌변의 행렬의 콤포넌트와, 메모리(84)에 기억된 수학식 20의 우변의 벡터의 콤포넌트)를, 탭 계수 연산 회로(68)에 공급한다.

탭 계수 연산 회로(68)는, 가산 회로(67)로부터, 각 클래스에 대한 수학식 20의 정규 방정식을 수신하고, 그 정규 방정식을 푸는 것에 의해, 클래스마다의 탭 계수를 구하여 출력한다.

탭 계수 메모리(69)는, 탭 계수 연산 회로(68)가 출력하는 클래스마다의 탭 계수를 기억한다.

DR(다이내믹 레인지) 검출 회로(70)는, 예측탭 생성 회로(65)가 출력하는, 주목 화소의 예측탭의 액티비티를 나타내는 값으로서, 예를 들면, 그 다이내믹 레인지를 검출하여, 가중 제어 회로(71)에 공급한다. 즉, DR 검출 회로(70)는, 예측탭을 구성하는 SD 화소 중의 최대값으로부터 최소값을 감산하고, 그 감산치를, 다이내믹 레인지로서, 가중 제어 회로(71)에 공급한다.

가중 제어 회로(71)는, DR 검출 회로(70)로부터 공급되는 예측탭의 액티비티로서의 다이내믹 레인지에 기초하여, 주목 화소와 그 예측탭에 대한, 상술한 가산 회로(67)에 있어서의 가중 부여를 제어한다.

즉, 가중 제어 회로(71)는, 액티비티와, 가중 h를 대응시킨, 소정의 가중 부여 특성을 기억하고 있다. 그리고, 가중 제어 회로(71)는, 그 가중 부여 특성에 따라, DR 검출 회로(70)로부터 공급되는 예측탭의 다이내믹 레인지에 대응하는 가중 h를 구하고, 그 가중 h에 의해서, 주목 화소와 예측탭에 대한 가중 부여를 행하는 것을 지시하는 가중 정보를, 가산 회로(67)에 공급한다.

여기서, 도 6에, 가중 부여 특성의 예를 도시한다.

도 6에 있어서는, 횡축이 예측탭의 다이내믹 레인지를 나타내고, 종축이 가중을 나타낸다. 또, 도 6에서는, SD 화소가 8 비트로 나타내어지는 것으로 하고 있고, 따라서, 다이내믹 레인지는, 0 내지 255의 범위의 정수 값을 취한다.

도 6에 있어서는, 도 6A 내지 도 6F의 6개의 가중 부여 특성을 도시하고 있다. 도 6A 내지 도 6C의 가중 부여 특성은, 어느 것이나, 단계 함수형의 가중으로 되어 있고, 다이내믹 레인지가 0 내지 127인 경우의 가중이 1보다 크고, 다이내믹 레인지가 128 내지 255인 경우의 가중이 1로 되어 있다. 단, 도 6A의 가중 부여 특성은, 다이내믹 레인지가 0 내지 127인 경우의 가중과, 다이내믹 레인지가 128 내지 255인 경우의 가중과의 차가 대(大)로 되어 있고, 도 6B의 가중 부여 특성은, 다이내믹 레인지가 0 내지 127인 경우의 가중과, 다이내믹 레인지가 128 내지 255인 경우의 가중과의 차가 중(中)으로 되어 있다. 또한, 도 6B의 가중 부여 특성은, 다이내믹 레인지가 0 내지 127인 경우의 가중과, 다이내믹 레인지가 128 내지 255인 경우의 가중과의 차가 소(小)로 되어 있다.

또한, 도 6D 내지 도 6F의 가중 부여 특성은, 다이내믹 레인지가 작을수록, 가중이 1보다 큰 값이 되고, 다이내믹 레인지가 크게 될수록, 가중이 1에 근접하게 되어 있다. 단, 도 6D의 가중 부여 특성은, 다이내믹 레인지가 커질수록, 가중이, 지수함수적으로 작아지게 되어 있다. 또한, 도 6E의 가중 부여 특성은, 가중이, 다이내믹 레인지에 비례하여 작아지게 되어 있다. 또한, 도 6F의 가중 부여 특성은, 가중이, 다이내믹 레인지가 작은 경우에는, 서서히 변화하지만, 다이내믹 레인지가 큰 경우에는, 급격하게 변화하도록 되어 있다.

또, 가중 제어 회로(71)에 기억시키는 가중 부여 특성은, 도 6에 도시한 것에 한정되는 것이 아니다.

또한, 도 6에 도시한 가중 부여 특성은, 어느 것이나, 다이내믹 레인지가 작은 경우의 가중이, 다이내믹 레인지가 큰 경우의 가중보다도 크게 되어 있는데, 이것은, 다음과 같은 이유에 의한다.

즉, 상술한 바와 같이, 예측탭의 다이내믹 레인지가 큰 경우에는, DR 마스킹 효과에 의해서, 예측탭의 변동에 따른, 구해지는 HD 화소에의 영향이 억제되지만, 예측탭의 다이내믹 레인지가 작은 경우에는, DR 마스킹 효과가 거의 기능하지 않고, 예측탭의 변동은, 구해지는 HD 화소에 큰 변동을 제공한다.

따라서, 예측탭의 다이내믹 레인지가 작은 경우에는, 예측탭의 다이내믹 레인지가 큰 경우에 비교하여, 수학식 1로 구해지는 HD 화소 y의 예측치의 예측 정밀도를 높게 할 필요가 있다. 즉, 예측탭의 다이내믹 레인지가 작은 경우에는, 예측탭의 다이내믹 레인지가 큰 경우에 비교하여, 수학식 3으로 나타내어지는 예측 오차 e_k가 작아지도록, 수학식 1의 예측탭 w_n의 학습을 행할 필요가 있다. 이것은, 예측탭의 다이내믹 레인지가 작은 경우에는, 예측탭의 다이내믹 레인지가 큰 경우보다도 큰 가중 부여를 행하여, 학습을 행함으로써 실현할 수 있다. 이 때문에, 가중 제어 회로(71)에 기억된 가중 부여 특성은, 다이내믹 레인지가 작은 경우의가중이, 다이내믹 레인지가 큰 경우의 가중보다도 크게 되도록 되어 있다.

다음으로, 도 7의 흐름도를 참조하여, 도 3의 학습 장치에서 행해지는, 클래스마다의 탭 계수를 구하는 학습 처리에 대하여 설명한다.

우선 처음에, 단계 S21에 있어서, 학습쌍 생성 회로(62)는, 학습용 데이터베이스(61)로부터 학습용의 화상 데이터를 판독하고, 교사 데이터와 생도 데이터를 생성한다. 또한, 단계 S21에서는, 학습쌍 생성 회로(62)는, 그 교사 데이터와 생도 데이터를 세트로 함으로써 학습쌍 데이터를 생성하여, 학습쌍 데이터베이스(63)에 공급하고 기억시킨다.

그리고, 단계 S22로 진행하여, 클래스탭 생성 회로(64)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의 교사 데이터로서의 HD 화소의 중에서, 아직 주목 화소로 하고 있지 않은 것 중의 1개를 주목 화소로서 선택하고, 단계 S23로 진행한다. 단계 S23에서는, 클래스탭 생성 회로(64)와 예측탭 생성 회로(65)는, 주목 화소에 대한 클래스탭과 예측탭을, 학습쌍 데이터베이스(63)에 기억된 생도 데이터로서의 SD 화소로부터, 각각 생성하고, 그 클래스탭과 예측탭을, 클래스 분류 회로(66)와 가산 회로(67)에 각각 공급하고, 단계 S24로 진행한다. 또, 예측탭 생성 회로(65)는, 예측탭을, DR 검출 회로(70)에도 공급한다.

단계 S24에서는, 클래스 분류 회로(66)가, 도 2의 클래스 분류 회로(4)에 있어서의 경우와 같이 하여, 클래스탭 생성 회로(64)로부터의 클래스탭을 이용하여, 주목 화소를 클래스 분류하고, 그 주목 화소의 클래스를 나타내는 클래스 코드를, 가산 회로(67)에 공급하고, 단계 S25로 진행한다.

단계 S25에서는, DR 검출 회로(70)가, 예측탭 생성 회로(65)로부터의 예측탭의 다이내믹 레인지를 검출하여, 가중 제어 회로(71)에 공급하고, 단계 S26로 진행한다. 단계 S26에서는, 가중 제어 회로(71)는, DR 검출 회로(70)로부터 공급되는 다이내믹 레인지에 기초하여, 주목 화소와 예측탭에 대한 가중을 결정하고, 그 가중을 나타내는 가중 정보를, 가산 회로(67)에 공급한다.

그리고, 단계 S27로 진행하여, 가산 회로(67)가, 클래스 분류 회로(66)로부터 공급되는 클래스 코드가 나타내는 주목 화소의 클래스마다, 예측탭 생성 회로(65)로부터 공급되는 예측탭, 학습쌍 데이터베이스(63)에 기억된 주목 화소로서의 교사 데이터, 및 가중 제어 회로(71)로부터 공급되는 가중 정보가 나타내는 가중을 대상으로 한, 상술한 수학식 20에 있어서의 가산을 행하고, 단계 S28로 진행한다.

그리고, 단계 S28에서는, 클래스탭 생성 회로(64)는, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 중에, 아직 주목 화소로 하고 있지 않은 것이 있는지의 여부를 판정한다. 단계 S28에 있어서, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 중에, 아직 주목 화소로 하고 있지 않은 것이 있다고 판정된 경우, 단계 S22에 되돌아가, 이하, 마찬가지의 처리가 반복된다.

또한, 단계 S28에 있어서, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 중에, 아직 주목 화소로 하고 있지 않은 것이 없다고 판정된 경우, 가산 회로(67)는, 지금까지의 단계 S27에 있어서의 가산에 의해서, 클래스마다 얻어진 수학식 20의 정규 방정식을, 탭 계수 연산 회로(68)에 공급하고, 단계 S29로 진행한다.

단계 S29에서는, 탭 계수 연산 회로(68)는, 가산 회로(67)로부터 공급되는, 각 클래스마다의 수학식 20의 정규 방정식을 푸는 것에 의해, 클래스마다의 탭 계수를 구하여, 탭 계수 메모리(69)에 공급하여 기억시키고, 처리를 종료한다.

또, 이상과 같은 탭 계수의 학습 처리에 있어서, 준비하는 학습용의 화상 데이터 등에 따라서는, 탭 계수를 구하는 데 필요한 수의 정규 방정식이 얻어지지 않는 클래스가 발생하는 경우가 있을 수 있지만, 그와 같은 클래스에 대해서는, 예를 들면, 디폴트의 탭 계수를 출력하도록 하는 것 등이 가능하다. 또는, 탭 계수를 구하는 데 필요한 수의 정규 방정식이 얻어지지 않는 클래스가 발생한 경우에는, 새롭게 학습용의 화상 데이터를 준비하여, 재차, 탭 계수의 학습을 행하도록 하여도 된다. 이것은, 후술하는 계수종 데이터의 학습에 대해서도, 마찬가지이다.

이상과 같이, 교사 데이터와 생도 데이터를 이용하여, 그 교사 데이터와 생도 데이터에 대하여, 생도 데이터로부터 생성되는 예측탭의 다이내믹 레인지에 기초하는 가중 부여를 행하면서, 교사 데이터와 생도 데이터와의 관계를, 클래스마다 학습함으로써, 클래스마다의 탭 계수를 구하도록 했기 때문에, 예측탭의 다이내믹 레인지의 전체에 걸쳐, 예측 정밀도를 높게 하는 탭 계수를 얻을 수 있다.

그리고, 도 2의 화상 처리 장치에서는, 계수 RAM(5)에, 그와 같은 탭 계수가 기억되고, 그 탭 계수를 이용하여, SD 화상 데이터가 HD 화상 데이터로 변환되기 때문에, 다이내믹 레인지가 큰 예측탭이 구성되는 경우와, 다이내믹 레인지가 작은 예측탭이 구성되는 경우에, 구해지는 HD 화상의 화질에 차가 발생하는 것을 방지하여, 보다 고화질의 화상 데이터를, 사용자에게 제공할 수 있다.

또, 상술한 경우에는, 예측탭의 액티비티로서, 예측탭의 다이내믹 레인지를 채용하는 것으로 했지만, 액티비티로서는, 예를 들면, 특개평11-27564호 공보, 특개2000-115721호 공보, 특개2000-299862호 공보, 특개2000-348019호 공보, 특원2000-241803호 등에 기재되어 있는 종류의 것을 채용하는 것이 가능하다.

즉, 특개평11-27564호 공보에 기재된 방법에 따르면, 예측탭의 SD 화소의 자기 상관이, 액티비티로서 산출된다. 또한, 특개2000-115721호 공보에 기재된 방법에 따르면, 예측탭의 SD 화소가 추출되고 보완되고, 그 보간 후의 SD 화소와 원래의 화소와의 오차의 절대값합이, 액티비티로서 산출된다. 또한, 특개2000-299862호 공보에 기재된 방법에 따르면, 예측탭의 SD 화소의 DCT 계수 등의 직교 변환 계수의 분산이, 액티비티로서 산출된다. 또한, 특개2000-348019호 공보에 기재된 방법에서는, 예측탭의 SD 화소의 표준편차나, 분산, 차분 절대값합, 차분값의 차분(2차 차분)의 절대값합이, 액티비티로서 산출된다. 또한, 특원2000-241803호에 기재된 방법에서는, 예측탭 내의 SD 화상의 움직임이, 액티비티로서 산출된다.

또한, 상술한 경우에는, 가중 제어 회로(71)에 있어서, 가산 회로(67)로 구해지는 수학식 20의 가중 h_k를 제어함으로써, 주목 화소와 예측탭에 대한 가중 부여를 행하도록 했지만, 기타, 가중 제어 회로(71)에서는, 수학식 8에 있어서, 주목 화소와 예측탭을 가산하는 횟수를 제어함으로써, 실질적으로 수학식 20의 가중, h_k를 제어하는 경우와 마찬가지의, 주목 화소와 예측탭에 대한 가중 부여를 행하도록 하는 것이 가능하다. 후술하는 도 10의 가중 제어 회로(71A) 내지 가중 제어회로(71C)나, 도 14의 가중 제어 회로(126)에 있어서도, 마찬가지이다.

상술한 바와 같이, 도 3의 학습 장치에서는, 교사 데이터와 생도 데이터에 대하여, 생도 데이터로부터 생성되는 예측탭의 다이내믹 레인지에 기초하는 가중 부여를 행하면서, 교사 데이터와 생도 데이터와의 관계를, 클래스마다 학습함으로써, 클래스마다의 탭 계수를 구하도록 했기 때문에, 예측탭의 다이내믹 레인지의 전체에 걸쳐, 예측 정밀도를 높게 하는 탭 계수를 얻을 수 있고, 또한, 도 2의 화상 처리 장치에서, 그와 같은 탭 계수를 이용하여, SD 화상 데이터를 HD 화상 데이터로 변환함으로써, 전술의 DR 마스킹 효과가, 예측탭의 다이내믹 레인지의 전체에 걸쳐, 예를 들면 동일한 정도 기능한, 정성적으로 고화질의 화상 데이터(S/N(Signal to Noise ratio)가 높다고 하는 정량적으로 고화질인 화상 데이터이다라고는 한정하지 않지만, 사용자로부터 본, 소위 외관이 좋은 화상 데이터)를, 사용자에게 제공할 수 있다.

그러나, 화질의 기호에는, 개인차가 있고, 따라서, DR 마스킹 효과를 기능시키는 정도를, 사용자가 조정하는 것이 가능하면, 사용자는, 자신의 기호에 따른 화질의 화상을 얻을 수 있어, 편리하다.

그래서, 도 8은, DR 마스킹 효과를 기능시키는 정도를, 사용자가 조정하는 것이 가능한 화상 처리 장치의 일 실시 형태의 구성예를 도시하고 있다. 또, 도 8에 있어서, 도 2에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있어, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 8의 화상 처리 장치는, 3개의 탭 계수 메모리(101A) 내지 메모리(101C), 조작부(102), 및셀렉터(103)가 새롭게 설치되어 있는 외에는, 도 2에 있어서의 경우와 같이 구성되어 있다.

3개의 탭 계수 메모리(101A) 내지 메모리(101C)에는, 클래스마다의 탭 계수가 기억되어 있다. 단, 탭 계수 메모리(101A) 내지 메모리(101C)에 기억되어 있는 탭 계수 각각은, 예를 들면, 도 4의 학습 장치에서, 서로 다른 3 종류의 특성의 가중 부여를 각각 행하면서 교사 데이터와 생도 데이터와의 관계를 학습함으로써 얻어진, 3 종류의 특성의 가중 부여 각각에 대응하는 탭 계수로 되어있다. 즉, 탭 계수 메모리(101A) 내지 메모리(101C)에 기억되어 있는 탭 계수 각각은, 도 4의 학습 장치에서, 가중 제어 회로(71)에, 서로 다른 3 종류의 가중 부여 특성을 기억시켜 학습을 행함으로써 얻어진 것으로 되어 있다.

조작부(102)는, 사용자에 의해서 조작되고, 그 조작에 대응하는 조작 신호를, 셀렉터(103)에 공급한다.

셀렉터(103)는, 조작부(102)로부터의 조작 신호에 대응하여, 탭 계수 메모리(101A) 내지 메모리(101C) 중의 1개를 선택하고, 그 선택한 탭 계수 메모리에 기억되어 있는 탭 계수를 판독한다. 또한, 셀렉터(103)는, 그 판독한 탭 계수를 계수 RAM(5)에 공급하여, 덮어쓰기하는 형태로 기억시킨다.

따라서, 도 8의 화상 처리 장치에서는, 사용자에 의한 조작부(102)의 조작에 대응한 가중 부여 특성에 대응하는 탭 계수를 이용하여, SD 화상 데이터가 HD 화상 데이터로 변환된다.

다음으로, 도 9의 흐름도를 참조하여, 도 8의 화상 처리 장치가 행하는, SD화상을 HD 화상으로 변환하는 화상 변환 처리에 대하여 설명한다.

프레임 메모리(1)에는, 화상 변환 처리의 대상으로서의 SD 화상(동화상)이, 프레임 단위로 순차 공급되고, 프레임 메모리(1)에서는, 그와 같이 프레임 단위로 공급되는 SD 화상이 순차 기억되어 간다.

그리고, 단계 S31에 있어서, 셀렉터(103)는, 조작부(102)가 사용자에 의해서 조작됨으로써, 그 조작에 대응하는 조작 신호가 공급되었는지 아닌지를 판정한다. 단계 S31에 있어서, 조작 신호가 공급되어 있지 않다고 판정된 경우, 단계 S32를 스킵하여, 단계 S33로 진행한다.

또한, 단계 S31에 있어서, 조작 신호가 공급되었다고 판정된 경우, 단계 S32로 진행하여, 셀렉터(103)는, 조작부(102)로부터 공급된 조작 신호에 대응하여, 탭 계수 메모리(101A) 내지 메모리(101C) 중의 1개를 선택하고, 그 선택한 탭 계수 메모리에 기억되어 있는 탭 계수를 판독하여, 계수 RAM(5)에 공급하여, 덮어쓰기하는 형태로 기억시킨다.

그리고, 단계 S33로 진행하고, 단계 S33 내지 S38에 있어서, 도 3의 단계 S1 내지 S6에 있어서의 경우와 각각 마찬가지의 처리가 행하여진다.

즉, 단계 S33에서는, 클래스탭 생성 회로(2)는, 아직 구하여져 있지 않은 HD 화소 중의 1개를 주목 화소로서 선택하고, 단계 S34로 진행한다.

단계 S34에서는, 클래스탭 생성 회로(2)와 예측탭 생성 회로(3)가, 주목 화소의 위치에 공간적 또는 시간적으로 가까운 복수의 SD 화소를, 프레임 메모리(1)에 기억된 SD 화상으로부터 추출함으로써, 클래스탭과 예측탭을 각각 생성하고, 클래스 분류 회로(4)와 예측 연산 회로(6)에 각각 공급한다.

그리고, 단계 S35로 진행하여, 클래스 분류 회로(4)는, 클래스탭 생성 회로(2)로부터 공급되는 클래스탭에 기초하여, 주목 화소에 대하여 클래스 분류를 행하고, 그 결과 얻어지는 주목 화소의 클래스를 나타내는 클래스 코드를, 계수 RAM(5)에 대하여, 어드레스로서 출력하고, 단계 S36로 진행한다. 단계 S36에서는, 계수 RAM(5)는, 클래스 분류 회로(4)로부터의 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독하고, 이에 따라, 주목 화소의 클래스의 탭 계수를 취득하고, 예측 연산 회로(6)에 공급한다.

그 후, 단계 S37로 진행하여, 예측 연산 회로(6)는, 예측탭 생성 회로(3)로부터의 예측탭과, 계수 RAM(5)로부터의 탭 계수를 이용하여, 수학식 1에 나타낸 연산을 행하여, 주목 화소인 HD 화소 y(의 예측치)를 구하고, 단계 S38로 진행한다.

단계 S38에서는, 클래스탭 생성 회로(2)가, 아직, 주목 화소로 하고 있지 않은 HD 화소가 존재하는지의 여부를 판정하여, 존재한다고 판정한 경우, 단계 S31에 되돌아가, 이하, 마찬가지의 처리를 반복한다.

또한, 단계 S38에 있어서, 주목 화소로 하고 있지 않은 HD 화소가 존재하지 않는다고 판정된 경우, 처리를 종료한다.

따라서, 도 8의 화상 처리 장치에서는, 사용자에 의한 조작부(102)의 조작에 따라, 소정의 가중 부여 특성에 대응하는 탭 계수를 이용하여, SD 화상 데이터가 HD 화상 데이터로 변환되기 때문에, 사용자는, 조작부(102)를 조작함으로써, DR 마스킹 효과를 기능시키는 정도를 조정한, 자신의 기호에 따른 화질의 화상을 얻을수 있다.

또, 도 8의 화상 처리 장치에서는, 3 종류의 가중 부여 특성 각각에 대응하는 탭 계수를 미리 기억해 놓고, 그 중에서, SD 화상 데이터를 HD 화상 데이터로 변환하는 데 이용하는 것을 선택하도록 했지만, 화상 처리 장치에서는, 2 종류 또는 4 종류 이상의 가중 부여 특성 각각에 대응하는 탭 계수를 기억해 두도록 하는 것도 가능하다.

다음으로, 상술한 경우에는, 도 4의 학습 장치에서, 가중 제어 회로(71)에, 서로 다른 3 종류의 가중 부여 특성을 순차 기억시켜 반복하여 학습을 행함으로써 얻어진, 3 종류의 가중 부여 특성에 대응하는 탭 계수를, 탭 계수 메모리(101A) 내지 메모리(101C)에 각각 기억시키도록 했지만, 탭 계수 메모리(101A) 내지 메모리(101C)에 각각 기억시키는 3 종류의 가중 부여 특성에 대응하는 탭 계수는, 한번의 학습에 의해서 구하는 것이 가능하다.

도 10은, 한번의 학습에 의해서, 3 종류의 가중 부여 특성에 대응하는 탭 계수를 구하는 학습 장치의 일 실시 형태의 구성예를 도시하고 있다. 또, 도 10에 있어서, 도 4에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있어, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 10의 학습 장치에서는, 도 4의 학습 장치에 대하여, 스위치 제어 회로(91), 및 스위치(92) 및 스위치(93)이 새롭게 설치되어 있다. 또한, 도 10의 학습 장치에서는, 도 4의 학습 장치에서의 하나의 가중 제어 회로(71)에 대신하여, 3개의 가중 제어 회로(71A) 내지 가중 제어 회로(71C)가 설치되어 있음과 함께, 1개의 탭 계수 메모리(69)에 대신하여, 3개의 탭 계수 메모리(69A) 내지 메모리(69C)가 설치되어 있다.

탭 계수 메모리(69A) 내지 메모리(69C) 각각은, 탭 계수 연산 회로(68)가 출력하는, 후술하는 3 종류의 가중 부여 특성에 대응하는 클래스마다의 탭 계수를 기억한다. 가중 제어 회로(71A) 내지 가중 제어 회로(71C) 각각은, 서로 다른 가중 부여 특성을 기억하고 있고, 그 기억하고 있는 가중 부여 특성에 따라, 스위치(92)를 통하여 DR 검출 회로(70)로부터 공급되는 예측탭의 다이내믹 레인지에 대응하는 가중을 결정하고, 그 가중을 나타내는 가중 정보를, 스위치(93)를 통하여, 가산 회로(67)에 공급한다.

스위치 제어 회로(91)는, 예측탭 생성 회로(65)에 있어서, 주목 화소에 대하여 예측탭이 생성되는 타이밍을 감시하고 있어, 그 타이밍을 기준에, 스위치(92)와 스위치(93)를 제어한다.

스위치(92)는, 스위치 제어 회로(91)의 제어에 따라, 가중 제어 회로(71A) 내지 가중 제어 회로(71C) 중의 1개를 선택하고, 그 선택한 가중 제어 회로에, DR 검출 회로(70)가 출력하는 예측탭의 다이내믹 레인지를 공급한다. 스위치(93)도, 역시, 스위치 제어 회로(91)의 제어에 따라, 가중 제어 회로(71A) 내지 가중 제어 회로(71C) 중의 1개를 선택하고, 그 선택한 가중 제어 회로가 출력하는 가중 정보를, 가산 회로(67)에 공급한다.

다음으로, 도 11의 흐름도를 참조하여, 도 10의 학습 장치에서 행해지는, 클래스마다의 탭 계수를 구하는 학습 처리에 대하여 설명한다.

단계 S41 내지 S45에서는, 도 7의 단계 S21 내지 S25에 있어서의 경우와 각각 마찬가지의 처리가 행하여진다.

즉, 단계 S41에 있어서, 학습쌍 생성 회로(62)는, 학습용 데이터베이스(61)로부터 학습용의 화상 데이터를 판독하고, 교사 데이터와 생도 데이터의 세트인 학습쌍 데이터를 생성하여, 학습쌍 데이터베이스(63)에 공급하고 기억시킨다.

그리고, 단계 S42로 진행하여, 클래스탭 생성 회로(64)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의 교사 데이터로서의 HD 화소의 중에서, 아직 주목 화소로 하고 있지 않은 것 중의 1개를 주목 화소로서 선택하고, 단계 S43로 진행한다. 단계 S43에서는, 클래스탭 생성 회로(64)와 예측탭 생성 회로(65)는, 주목 화소에 대한 클래스탭과 예측탭을, 학습쌍 데이터베이스(63)에 기억된 생도 데이터로서의 SD 화소로부터, 각각 생성한다. 클래스탭은, 클래스탭 생성 회로(64)로부터 클래스 분류 회로(66)에 공급되고, 예측탭은, 예측탭 생성 회로(65)로부터 가산 회로(67)와 DR 검출 회로(70)에 공급된다.

그리고, 단계 S44로 진행하여, 클래스 분류 회로(66)가, 클래스탭 생성 회로(64)로부터의 클래스탭을 이용하여, 주목 화소를 클래스 분류하고, 그 주목 화소의 클래스를 나타내는 클래스 코드를, 가산 회로(67)에 공급하고, 단계 S45로 진행한다.

단계 S45에서는, DR 검출 회로(70)가, 예측탭 생성 회로(65)로부터의 예측탭의 다이내믹 레인지를 검출하여 출력한다. 이 DR 검출 회로(70)가 출력하는 예측탭의 다이내믹 레인지는, 스위치(92)에 공급된다.

그리고, 단계 S46로 진행하여, 스위치 제어 회로(91)는, 단계 S43에서, 예측탭 생성 회로(3)에 있어서 예측탭이 생성된 것에 동기하여, 가중 제어 회로(71A) 내지 가중 제어 회로(71C) 각각에 기억된 3 종류의 가중 부여 특성 중, 주목 화소에 대하여, 아직, 주목 가중 부여 특성으로서 선택하지 않은 것 중의 하나를, 주목 가중 부여 특성으로서 선택한다. 또한, 단계 S46에서는, 스위치 제어 회로(91)는, 가중 제어 회로(71A) 내지 가중 제어 회로(71C)의 중에서, 주목 가중 부여 특성을 기억하고 있는 가중 제어 회로(이하, 적절하게, 주목 가중 제어 회로라 함)를 선택하도록, 스위치(92) 및 스위치(93)를 제어하여, 단계 S47로 진행한다.

여기서, 이 단계 S46의 처리에 의해서, DR 검출 회로(70)와 주목 가중 제어 회로가, 스위치(92)를 통하여 접속됨과 함께, 주목 가중 제어 회로와 가산 회로(67)가, 스위치(93)를 통하여 접속된다.

단계 S47에서는, 주목 가중 제어 회로가, 스위치(92)를 통하여, DR 검출 회로(70)가 출력하는 예측탭의 다이내믹 레인지를 수신하고, 그 다이내믹 레인지에 기초하여, 자신이 기억하고 있는 주목 가중 부여 특성에 따라, 주목 화소와 예측탭에 대한 가중을 결정한다. 또한, 단계 S47에서는, 주목 가중 제어 회로가, 그 결정한 가중을 나타내는 가중 정보를, 스위치(93)를 통하여, 가산 회로(67)에 공급한다.

그리고, 단계 S48로 진행하여, 가산 회로(67)가, 클래스 분류 회로(66)로부터 공급되는 클래스 코드가 나타내는 주목 화소의 클래스마다, 예측탭 생성 회로(65)로부터 공급되는 예측탭, 학습쌍 데이터베이스(63)에 기억된 주목 화소로서의 교사 데이터, 및 주목 가중 제어 회로에서 스위치(93)를 통하여 공급되는 가중 정보가 나타내는 가중을 대상으로 한, 상술한 수학식 20에 있어서의 가산을 행하고, 단계 S49로 진행한다.

여기서, 단계 S48에 있어서, 가산 회로(67)는, 수학식 20의 가산을, 가중 제어 회로(71A) 내지 가중 제어 회로(71C)에 기억된 가중 부여 특성마다 행한다. 따라서, 도 10의 실시 형태에서는, 가산 회로(67)에 있어서, 3개의 가중 부여 특성 각각에 대하여, 1 이상의 클래스마다, 수학식 20의 정규 방정식이, 독립적으로 성립된다.

단계 S49에서는, 스위치 제어 회로(91)가, 주목 화소에 대하여, 가중 제어 회로(71A) 내지 가중 제어 회로(71C) 각각에 기억된 3 종류의 가중 부여 특성 전부를, 주목 가중 부여 특성으로서 선택하였는지 어떤지를 판정한다.

단계 S49에 있어서, 주목 화소에 대하여, 3 종류의 가중 부여 특성 전부를, 아직, 주목 가중 부여 특성으로서 선택하지 않았다고 판정된 경우, 단계 S46에 되돌아가, 이하, 마찬가지의 처리를 반복한다.

즉, 이 경우, 단계 S46에서는, 3 종류의 가중 부여 특성 중, 주목 화소에 대하여, 아직, 주목 가중 부여 특성으로서 선택하지 않은 것의 1개가, 새롭게 주목 가중 부여 특성으로서 선택되고, 이하, 마찬가지의 처리가 반복된다.

또한, 단계 S49에 있어서, 주목 화소에 대하여, 3 종류의 가중 부여 특성 전부를, 주목 가중 부여 특성으로서 선택했다고 판정된 경우, 단계 S50로 진행하여, 클래스탭 생성 회로(64)는, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 중에, 아직 주목 화소로 하고 있지 않은 것이 있는지의 여부를 판정한다. 단계 S50에 있어서, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 중에, 아직 주목 화소로 하고 있지 않은 것이 있다고 판정된 경우, 단계 S42에 되돌아가, 이하, 마찬가지의 처리가 반복된다.

또한, 단계 S50에 있어서, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 중에, 주목 화소로 하고 있지 않은 것이 없다고 판정된 경우, 가산 회로(67)는, 지금까지의 단계 S48에 있어서의 가산에 의해서, 3 종류의 가중 부여 특성 각각에 대하여, 클래스마다 얻어진 수학식 20의 정규 방정식을, 탭 계수 연산 회로(68)에 공급하고, 단계 S51로 진행한다.

단계 S51에서는, 탭 계수 연산 회로(68)는, 가산 회로(67)로부터 공급되는, 3 종류의 가중 부여 특성 각각에 대해서의, 각 클래스마다의 수학식 20의 정규 방정식을 푸는 것에 의해, 3 종류의 가중 부여 특성 각각에 대응하는 클래스마다의 탭 계수를 구하여, 탭 계수 메모리(69A) 내지 메모리(69C)에 각각 공급하여 기억시키고, 처리를 종료한다.

그런데, 도 8의 화상 처리 장치에 따르면, 상술한 바와 같이, 사용자는, 조작부(102)를 조작함으로써, 3 종류의 가중 부여 특성 중의 임의의 1개에 대응하는 탭 계수를 이용하여 SD 화상 데이터를 변환한 HD 화상 데이터를 얻을 수 있다. 따라서, 사용자는, 3 종류의 HD 화상 데이터의 중에서, 자신의 기호의 화질의 것을 선택할 수 있다.

그러나, 이 경우, 3 종류의 HD 화상 데이터 중에, 사용자의 기호의 화질의 것이 없는 경우가 있다.

그래서, 도 8의 화상 처리 장치에, 보다 많은 종류의 가중 부여 특성에 대응하는 탭 계수를 기억시켜 두고, 그 중에서, SD 화상 데이터를 HD 화상 데이터로 변환하는 데 이용하는 탭 계수를 선택 가능하게 하는 방법이 있다.

그러나, 도 8의 화상 처리 장치에, 많은 종류의 가중 부여 특성에 대응하는 탭 계수를 기억시켜 두는 경우에는, 그 탭 계수를 기억시켜 두기 위한 메모리가 필요해져, 장치 규모가 커지게 된다.

또한, 도 8의 화상 처리 장치에, 많은 종류의 가중 부여 특성에 대응하는 탭 계수를 기억시킨 경우에도, 기억되어 있지 않은 가중 부여 특성에 대응하는 탭 계수에 의해서 얻어지는 화질의 HD 화상 데이터는 얻을 수 없다.

그래서, 도 12는, 임의의 가중 부여 특성에 대응하는 탭 계수를 생성하고, 그 탭 계수를 이용하여, SD 화상 데이터를, 사용자의 기호에 합치한 화질의 HD 화상 데이터로 변환하는 화상 처리 장치의 일 실시 형태의 구성예를 도시하고 있다. 또, 도 12에 있어서, 도 2에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있어, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 12의 화상 처리 장치는, 조작부(111), 파라미터 메모리(112), 계수 생성 회로(113), 및 계수종 RAM(114)이 새롭게 설치되어 있는 외에는, 도 2에 있어서의 경우와 같이 구성되어 있다.

조작부(111)는, 사용자에 의해서, 가중 부여 특성을 나타내는 파라미터 z를 입력할 때에 조작되고, 그 조작에 대응한 파라미터 z를, 파라미터 메모리(112)에 공급한다.

파라미터 메모리(112)는, 조작부(111)로부터 공급되는 파라미터 z를, 덮어쓰기하는 형태로 기억한다.

계수 생성 회로(113)는, 파라미터 메모리(112)에 기억된 파라미터 z 에 기초하여, 그 파라미터 z가 나타내는 가중 부여 특성에 대응하는 클래스마다의 탭 계수를, 계수종 RAM(114)에 기억된 클래스마다의 계수종 데이터를 이용하여 생성하고, 계수 RAM(5)에 공급하여, 덮어쓰기하는 형태로 기억시킨다.

계수종 RAM(114)은, 후술하는 도 14의 학습 장치에 의해서 구해진, 클래스마다의 탭 계수를 생성하는 근원이 되는, 클래스마다의 계수종 데이터를 기억하고 있다.

다음으로, 도 13의 흐름도를 참조하여, 도 12의 화상 처리 장치에 의한 화상 변환 처리에 대하여 설명한다.

화상 처리 장치에서, 프레임 메모리(1)에는, 도 2에 있어서의 경우와 같이, 화상 변환 처리의 대상으로서의 SD 화상(동화상)이, 프레임 단위로 순차 공급되고, 프레임 메모리(1)에서는, 그와 같이 프레임 단위로 공급되는 SD 화상이 순차 기억되어 간다.

그리고, 단계 S61에 있어서, 파라미터 메모리(112)는, 조작부(111)가 조작됨으로써, 새로운 파라미터 z가 조작부(111)로부터 공급되었는지 아닌지를 판정한다.

단계 S61에 있어서, 조작부(111)로부터 파라미터 메모리(112)에 대하여, 새로운 파라미터 z가 공급되었다고 판정된 경우, 단계 S62로 진행하여, 파라미터 메모리(112)는, 그 새로운 파라미터 z를 덮어쓰기하는 형태로 기억하고, 단계 S63로진행한다.

또한, 단계 S61에 있어서, 조작부(111)로부터 파라미터 메모리(112)에 대하여, 새로운 파라미터 z가 공급되어 있지 않다고 판정된 경우, 단계 S62를 스킵하여, 단계 S63로 진행한다.

따라서, 사용자가, 조작부(111)를 조작함으로써, 새로운 파라미터 z가 입력된 경우, 그 새로운 파라미터 z에 의해서, 파라미터 메모리(112)의 기억 내용이 갱신된다.

단계 S63에서는, 계수 생성 회로(113)가, 계수종 RAM(114)으로부터 클래스마다의 계수종 데이터를 판독함과 함께, 파라미터 메모리(112)로부터 파라미터 z를 판독하여, 파라미터 z가 나타내는 가중 부여 특성에 대응하는 클래스마다의 탭 계수를, 계수종 데이터로부터 구한다. 그리고, 단계 S64로 진행하여, 계수 생성 회로(113)는, 그 클래스마다의 탭 계수를, 계수 RAM(5)에 공급하여, 덮어쓰기하는 형태로 기억시킨다.

그 후, 단계 S65 내지 S70로 순차 진행하여, 도 3의 단계 S1 내지 S6에 있어서의 경우와 각각 마찬가지의 처리가 행하여진다.

즉, 단계 S65에서는, 클래스탭 생성 회로(2)는, 또한 구하여져 있지 않은 HD 화소 중의 1개를 주목 화소로서 선택하고, 단계 S66로 진행한다. 단계 S66에서는, 클래스탭 생성 회로(2)와 예측탭 생성 회로(3)는, 주목 화소에 대하여, 클래스탭과 예측탭을 각각 생성하여, 클래스탭을 클래스 분류 회로(4)에, 예측탭을 예측 연산 회로(7)에 각각 공급한다.

그리고, 단계 S67로 진행하여, 클래스 분류 회로(4)는, 클래스탭 생성 회로(2)로부터 공급되는 클래스탭에 기초하여, 주목 화소에 대하여 클래스 분류를 행하고, 그 결과 얻어지는 주목 화소의 클래스를 나타내는 클래스 코드를, 계수 RAM(5)에 공급하고, 단계 S69로 진행한다. 단계 S69에서는, 계수 RAM(5)는, 클래스 분류 회로(4)로부터의 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 판독하고, 이에 따라, 주목 화소의 클래스의 탭 계수를 취득하고, 예측 연산 회로(6)에 공급한다.

여기서, 계수 RAM(5)에는, 상술한 바와 같이, 계수 생성 회로(113)에 있어서 생성된, 파라미터 메모리(112)에 기억된 파라미터 z가 나타내는 가중 부여 특성에 대응하는 탭 계수가 기억되어 있다. 따라서, 예측 연산 회로(6)에는, 그와 같은 탭 계수가 공급된다.

그 후, 단계 S69로 진행하여, 예측 연산 회로(6)는, 예측탭 생성 회로(3)로부터의 예측탭과, 계수 RAM(5)로부터의 탭 계수를 이용하여, 수학식 1에 나타낸 연산을 행하여, 주목 화소인 HD 화소 y(의 예측치)를 구하고, 단계 S70로 진행한다.

여기서, 예측 연산 회로(6)는, 도 2에 있어서의 경우와 같이, 1 프레임 분의 HD 화소가 구해질 때까지, 단계 S69에서 얻어진 HD 화소를 기억하고 있고, 1 프레임 분의 HD 화소가 구해지면, 그 HD 화소로 구성되는 1 프레임의 HD 화상을 출력한다.

단계 S70에서는, 클래스탭 생성 회로(2)가, 아직, 주목 화소로 하고 있지 않은 HD 화소가 존재하는지의 여부를 판정하여, 존재한다고 판정한 경우, 단계 S61에되돌아가, 이하, 마찬가지의 처리를 반복한다.

또한, 단계 S70에 있어서, 주목 화소로 하고 있지 않은 HD 화소가 존재하지 않는다고 판정된 경우, 처리를 종료한다.

이상과 같이, 가중 부여 특성을 나타내는 파라미터 z를, 사용자가 조작부(111)를 조작함으로써 입력 가능하게 했기 때문에, 사용자는, 조작부(111)를 조작함으로써 가중 부여 특성을 변경할 수가 있어, 자신의 기호를 맞는 화질의 HD 화상을 얻을 수 있다.

또, 도 13에 있어서, 단계 S63 및 S64의 처리는, 파라미터 메모리(112)에, 서로 다른 값의 새로운 파라미터 z가 덮어쓰기된 경우에만 행하고, 다른 우에는 스킵하는 것이 가능하다.

다음으로, 도 12의 계수 생성 회로(113)에 의한 탭 계수의 생성, 및 계수종 RAM(114)에 기억시키는 계수종 데이터의 학습에 대하여 설명한다.

도 12의 실시 형태에서는, 계수 생성 회로(113)에 있어서, 수학식 1의 연산에 이용되는 탭 계수 w_n이, 계수종 RAM(114)에 기억된 계수종 데이터와, 파라미터 메모리(112)에 기억된 파라미터 z로부터 생성된다. 그래서, 현재, 계수 생성 회로(113)에 있어서의 탭 계수 w_n의 생성이, 예를 들면, 계수종 데이터와 파라미터를 이용한 다음 수학식에 의해서 행해지는 것으로 한다.

단, 수학식 21에 있어서, β_m,n은, n 번째의 탭 계수 w_n을 구하는 데 이용되는 m 번째의 계수종 데이터를 나타내고, z는, 파라미터를 나타낸다. 또, 수학식 21에서는, 탭 계수 w_n이, M 개의 계수종 데이터 β_n,1, β_n,2, ···, β_n,M을 이용하여 구해지도록 되어 있다.

여기서, 탭 계수 w_n을 구하는 식은, 수학식 21에 한정되는 것이 아니다.

현재, 수학식 21에 있어서의 파라미터 z에 의해서 결정되는 값 z^m-1을, 새로운 변수 t_m을 도입하여, 다음 수학식으로 정의한다.

수학식 22을, 수학식 21에 대입함으로써, 다음 수학식이 얻어진다.

수학식 23에 따르면, 탭 계수 w_n은, 계수종 데이터 β_n,m과 변수 t_m과의 선형1차식에 의해서 구해지게 되는데, 현재, 이 수학식 23에 의해서 구해지는 탭 계수를, w_n'로 나타내도록 하면, 다음의 수학식 24으로 나타내어지는, 수학식 4의 제곱 오차의 총합을 최소로 하는 탭 계수(이하, 적절하게, 최적의 탭 계수라 함) w_n과 수학식 23에 의해 구해지는 탭 계수 w_n'와의 오차 e_n을 0으로 하는 계수종 데이터 β_n,m이, 최적의 탭 계수 w_n을 구하는 데 최적의 것으로 된다.

그러나, 모든 탭 계수 w_n에 대하여, 수학식 24의 오차 e_n을 0으로 하는 계수종 데이터 β_n,m을 구하는 것은, 일반적으로는 곤란하다.

그래서, 계수종 데이터 β_n,m이 최적의 것을 나타내는 규범으로서, 예를 들면, 역시, 최소 제곱법을 채용하는 것으로 하면, 우선, 수학식 24는, 수학식 23에 의해서, 다음 수학식과 같이 변형할 수 있다.

그리고, 최소 제곱법에 의하면, 최적의 계수종 데이터 β_n,m은, 다음 수학식으로 나타내어지는, 수학식 25의 오차 e_n의 제곱 오차의 총합 E를 최소로 함으로써구할 수 있다.

수학식 26의 제곱 오차의 총합 E의 최소값(극소치)은, 수학식 27에 나타낸 바와 같이, 총합 E를 계수종 데이터 β_n,m으로 편미분한 것을 0로 하는 β_n,m에 의해서 주어진다.

수학식 25을, 수학식 27에 대입함으로써, 다음 수학식이 얻어진다.

현재, X_i,j, 와 Y_i를, 수학식 29과 수학식 30에 나타낸 바와 같이 정의한다.

이 경우, 수학식 28은, X_i,j와 Y_i를 이용한 수학식 31에 나타내는 정규 방정식으로 나타낼 수 있다.

수학식 31의 정규 방정식은, 예를 들면, 소인법(Gauss-Jordan의 소거법) 등을 이용함으로써, 계수종 데이터 β_n,m에 대하여 풀 수 있다.

다음으로, 도 14는, 수학식 31의 정규 방정식을 세워 푸는 것에 의해 계수종 데이터 β_n,m을 구하는 학습을 행하는 학습 장치의 일 실시 형태의 구성예를 도시하고 있다. 또, 도 14에 있어서, 도 4에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있어, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 14의 학습 장치는, 가산 회로(68), 탭 계수 연산 회로(68), 및 탭 계수 메모리(69)에 대신하여, 가산 회로(121), 탭 계수 연산 회로(122), 가산회로(123), 계수종 연산 회로(124), 및 계수종 데이터 메모리(125)가 설치되어 있음과 함께, 가중 제어 회로(71)에 대신하여, 가중 제어 회로(126)가 설치되고, 또한, 파라미터 생성 회로(127)가 새롭게 설치되어 있는 외에는, 도 4에 있어서의 경우와 같이 구성되어 있다.

가산 회로(121), 탭 계수 연산 회로(122), 가산 회로(123), 및 계수종 연산 회로(124)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의, 주목 화소로 되어있는 교사 데이터와, 예측탭 생성 회로(65)로부터 공급되는 예측탭에 대하여, 가중 제어 회로(126)로부터의 제어에 따른 가중 부여를 행하면서, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터로서의 교사 데이터와 생도 데이터와의 관계를, 클래스 분류 회로(66)로부터 공급되는 클래스마다 학습함으로써, 클래스마다의 계수종 데이터를 구한다.

즉, 가산 회로(121)에는, 학습쌍 데이터베이스에 기억된 주목 화소로서의 교사 데이터, 예측탭 생성 회로(65)가 출력하는 주목 화소에 대한 예측탭, 클래스 분류 회로(66)가 출력하는 주목 화소에 대한 클래스 코드, 가중 제어 회로(126)가 출력하는 가중 정보, 및 파라미터 생성 회로(127)가 출력하는 파라미터 z가 공급된다.

가산 회로(121)는, 도 4의 가산 회로(67)와 같이, 주목 화소 y_k, 예측탭을 구성하는 SD 화소 x_n,k, 및 가중 정보가 나타내는 가중 h_k를 대상으로 하여, 수학식 20에 있어서의 좌변의 행렬과 우변의 벡터를 구성하는 각 콤포넌트를 구하는 가산을 행한다. 단, 도 4의 가산 회로(67)는, 수학식 20의 가산을, 클래스마다에만 행하지만, 가산 회로(121)는, 수학식 20의 가산을, 클래스마다, 또한 파라미터 z의 값마다 행한다.

즉, 가산 회로(121)는, 클래스 분류 회로(66)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 또한 파라미터 생성 회로(127)가 출력하는 파라미터 z의 값마다, 예측탭 x_n,k을 이용하여, 수학식 20의 좌변의 행렬에 있어서의 생도 데이터끼리의 승산(x_n,kx_n',kh_k)과, 서메이션(Σ)에 상당하는 연산을 행한다.

또한, 가산 회로(121)는, 역시, 클래스 분류 회로(66)로부터 공급되는 클래스 코드에 대응하는 클래스마다, 또한 파라미터 생성 회로(127)가 출력하는 파라미터 z의 값마다, 예측탭 x_n,k과 교사 데이터 y_k를 이용하여, 수학식 20의 우변의 벡터에 있어서의 생도 데이터 x_n,k및 교사 데이터 y_k의 승산(x_n,ky_kh_k)과, 서메이션(Σ)에 상당하는 연산을 행한다.

구체적으로는, 가산 회로(121)는, 전회, 주목 화소가 된 교사 데이터에 대하여 구해진 수학식 20에 있어서의 좌변의 행렬의 콤포넌트(Σx_n,kx_n,kh_k)과, 우변의 벡터의 콤포넌트(Σx_n,ky_kh_k)을, 그 내장하는 메모리(도 5에 도시한 가산 회로(67)를 구성하는 메모리(83)와 메모리(84)에 상당하는 메모리)에 기억하고 있고, 그 행렬의 콤포넌트(Σx_n,kx_n',kh_k) 또는 벡터의 콤포넌트(Σx_n,ky_kh_k)에 대하여, 새롭게 주목 화소가 된 교사 데이터에 대하여, 그 주목 화소 y_k+1및 예측탭 x_n,k+1, 및 가중 h_k+1를이용하여 계산되는, 대응하는 콤포넌트 x_n,k+1x_n',k+1h_k+1또는 x_n,k+1y_k+1h_k+1을 각각 가산한다(수학식 20의 서메이션으로 나타내어지는 가산을 행한다).

그리고, 가산 회로(121)는, 학습쌍 데이터베이스(63)에 기억된 교사 데이터 전부를 주목 화소로 하여, 상술한 가산을 행함으로써, 각 클래스에 대하여, 파라미터 z의 각 값마다, 수학식 20에 도시한 정규 방정식을 세우면, 그 정규 방정식을, 탭 계수 연산 회로(122)에 공급한다.

탭 계수 연산 회로(122)는, 가산 회로(121)로부터 공급되는 각 클래스에 대한, 파라미터 z의 값마다의 정규 방정식을 푸는 것에 의해, 각 클래스에 대하여, 파라미터 z의 값마다의 최적의 탭 계수 w_n을 구하여, 가산 회로(123)에 공급한다.

가산 회로(123)는, 각 클래스마다, 파라미터 z(에 대응하는 변수 t_m)와, 최적의 탭 계수 w_n을 대상으로 한 가산을 행한다.

즉, 가산 회로(123)는, 파라미터 z에서 수학식 22에 의해서 구해지는 변수 t_i(t_j)를 이용하여, 수학식 31의 좌변의 행렬에 있어서의, 수학식 29으로 정의되는 콤포넌트 X_i,j를 구하기 위한 파라미터 z에 대응하는 변수 t_i(t_j)끼리의 승산(t_it_j)과, 서메이션(Σ)에 상당하는 연산을, 클래스마다 행한다.

여기서, 콤포넌트 X_i,j는, 파라미터 z에 의해서만 결정되는 것으로서, 주목 화소의 클래스와는 관계가 없기 때문에, 콤포넌트 X_i,j의 계산은, 실제로는, 클래스마다 행할 필요는 없고, 1회 행하면 된다.

또한, 가산 회로(123)는, 파라미터 z에서 수학식 22에 의해서 구해지는 변수 t_i와, 최적의 탭 계수 w_n을 이용하여, 수학식 31의 우변의 벡터에 있어서의, 수학식 30으로 정의되는 콤포넌트 Y_i를 구하기 위한 파라미터 z에 대응하는 변수 t_i및 최적의 탭 계수 w_n의 승산(t_iw_n)과, 서메이션(Σ)에 상당하는 연산을, 클래스마다 행한다.

가산 회로(123)는, 각 클래스마다, 수학식 29으로 나타내어지는 콤포넌트 X_i,j와, 수학식 30으로 나타내어지는 콤포넌트 Y_i를 구함으로써, 각 클래스에 대하여, 수학식 31의 정규 방정식을 세우면, 그 정규 방정식을, 계수종 연산 회로(124)에 공급한다.

계수종 연산 회로(124)는, 가산 회로(123)로부터 공급되는 클래스마다의 수학식 31의 정규 방정식을 푸는 것에 의해, 각 클래스마다의 계수종 데이터 β_m,n을 구하여 출력한다.

계수종 데이터 메모리(125)는, 계수종 연산 회로(124)가 출력하는 클래스마다의 계수종 데이터 β_m,n을 기억한다.

가중 제어 회로(126)는, 도 4의 가중 제어 회로(71)와 같이, DR 검출 회로(70)로부터 공급되는 예측탭의 액티비티로서의 다이내믹 레인지에 기초하여, 주목 화소와 그 예측탭에 대한, 상술한 가산 회로(121)에 있어서의 가중 부여를 제어한다.

단, 가중 제어 회로(126)에는, 파라미터 생성 회로(127)가 출력하는 파라미터 z가 공급되도록 되어 있다. 그리고, 가중 제어 회로(126)는, 복수 종류의 가중 부여 특성을, 파라미터 생성 회로(127)가 출력하는 파라미터 z의 각 값과 대응되어 기억되어 있어, 파라미터 생성 회로(127)가 출력하는 파라미터 z에 대응되어 있는 가중 특성에 따라, DR 검출 회로(70)로부터 공급되는 예측탭의 다이내믹 레인지에 대응하는 가중 h를 구하고, 그 가중 h에 의해서, 주목 화소와 예측탭에 대한 가중 부여를 행하는 것을 지시하는 가중 정보를, 가산 회로(121)에 공급한다.

여기서, 가중 제어 회로(126)에 기억시키는 복수 종류의 가중 부여 특성으로서는, 예를 들면, 도 6A 내지 도 6C에 도시했던 것 같은, 2치의 가중을 취득하는 스텝형의 함수이고, 그 2치의 가중 중의 어느 한쪽 또는 양방이, 파라미터 z의 값에 대응하여 커져 가거나, 또는 작아져 가는 함수를 채용할 수 있다. 또, 복수 종류의 가중 부여 특성으로서는, 도 6A 내지 도 6C에 도시했던 것 같은 스텝형의 함수이고, 2치의 가중의 전환이 행해지는 다이내믹 레인지의 임계값이, 파라미터 z의 값에 대응하여 변화하는 함수를 채용할 수도 있다. 또한, 복수 종류의 가중 부여 특성으로서는, 예를 들면, 도 6A 내지 도 6C에 도시했던 것 같은, 가중이, 다이내믹 레인지에 따라 원활하게 변화하는 함수이고, 그 함수의 형상(변화의 방법)이, 파라미터 z의 값에 대응하여 변화하는 함수를 채용할 수도 있다.

파라미터 생성 회로(127)는, 도 12의 조작부(111)가 파라미터 메모리(112)에 공급하는 파라미터 z가 취득하는 범위의 몇 개의 값으로서의, 예를 들면, z=0, 1, ···, Z를 생성하여, 가산 회로(121)와 가중 제어 회로(126)에 공급한다.

여기서, 파라미터 생성 회로(127)가 출력하는 파라미터 Z로서는, 상술한 바와 같은 0, 1, ···, Z 등의 정수값을 채용할 수 있다. 한편, 도 12의 계수 생성 회로(113)에서는, 탭 계수가, 수학식 21에 나타낸 바와 같이, 계수종 데이터 β_m,n과 파라미터 Z를 이용하여 계산되기 때문에, 도 12의 조작부(111)가 출력하는 파라미터 Z로서는, 소수점 이하의 값을 갖는 실수치 등을 채용할 수 있다.

다음으로, 도 15의 흐름도를 참조하여, 도 14의 학습 장치의 처리(학습 처리)에 대하여 설명한다.

우선 처음에, 단계 S71에 있어서, 학습쌍 생성 회로(62)는, 도 7의 단계 S21에 있어서의 경우와 같이, 학습용 데이터베이스(61)에 기억된 학습용의 화상 데이터로부터, 교사 데이터와 생도 데이터를 세트로 한 학습쌍 데이터를 생성하여, 학습쌍 데이터베이스(63)에 공급하고 기억시킨다.

그리고, 단계 S72로 진행하여, 클래스탭 생성 회로(64)는, 학습쌍 데이터베이스(63)에 기억된 학습쌍 데이터에 있어서의 교사 데이터로서의 HD 화소의 중에서, 아직 주목 화소로 하고 있지 않은 것 중의 1개를 주목 화소로서 선택하고, 단계 S73로 진행한다.

단계 S73에서는, 파라미터 생성 회로(127)가, 파라미터 z를, 초기값으로서의, 예를 들면 0으로 세트하여, 가산 회로(121)와 가중 제어 회로(126)에 공급하고, 단계 S74로 진행한다.

단계 S74에서는, 가중 제어 회로(126)는, 가산 회로(121)에 있어서의 가중부여를 제어하는 데 이용하는 가중 부여 특성을 결정한다. 즉, 단계 S74에서는, 가중 제어 회로(126)는, 자신이 기억하고 있는 복수 종류의 가중 부여 특성의 중에서, 파라미터 생성 회로(127)로부터 공급된 파라미터 z에 대응되고 있는 가중 부여 특성을 선택하고, 그 가중 부여 특성(이하, 적절하게, 선택 가중 부여 특성이라 함)을, 가산 회로(121)에 있어서의 가중 부여를 제어하는 데 이용하는 가중 부여 특성으로서 결정한다.

그리고, 단계 S75로 진행하여, 클래스탭 생성 회로(64)와 예측탭 생성 회로(65)는, 주목 화소에 대한 클래스탭과 예측탭을, 학습쌍 데이터베이스(63)에 기억된 생도 데이터로서의 SD 화소로부터, 각각 생성한다. 또한, 단계 S75에서는, 클래스탭 생성 회로(64)가, 클래스탭을 클래스 분류 회로(66)에 공급함과 함께, 예측탭 생성 회로(65)가, 예측탭을, DR 검출 회로(70)와 가산 회로(121)에 공급하고, 단계 S76로 진행한다.

단계 S76에서는, 클래스 분류 회로(66)가, 클래스탭 생성 회로(64)로부터의 클래스탭을 이용하여, 주목 화소를 클래스 분류하고, 그 주목 화소의 클래스를 나타내는 클래스 코드를, 가산 회로(121)에 공급하고, 단계 S77로 진행한다.

단계 S77에서는, DR 검출 회로(70)가, 예측탭 생성 회로(65)로부터의 예측탭의 다이내믹 레인지를 검출하여, 가중 제어 회로(126)에 공급하고, 단계 S78로 진행한다. 단계 S78에서는, 가중 제어 회로(126)는, 직전의 단계 S74에서 결정된 선택 가중 부여 특성에 따라, 그 선택 가중 부여 특성에 있어서, DR 검출 회로(70)로부터 공급되는 다이내믹 레인지에 대응되고 있는 가중을, 주목 화소와 예측탭에 대한 가중으로서 결정하고, 그 가중을 나타내는 가중 정보를, 가산 회로(121)에 공급한다.

그리고, 단계 S79로 진행하여, 가산 회로(121)는, 학습쌍 데이터베이스(63)로부터 주목 화소로 되어있는 교사 데이터인 HD 화소를 판독하여, 파라미터 생성 회로(127)로부터 공급되는 파라미터 z에 대하여, 주목 화소 y_k, 예측탭 생성 회로(65)로부터 공급되는 예측탭 x_n,k, 및 가중 제어 회로(126)로부터 공급되는 가중 h_k를 이용하여, 수학식 20에 있어서의 좌변의 행렬의 콤포넌트 x_n,kx_n',kh_k과, 우변의 벡터의 콤포넌트 x_n,ky_kh_k을 계산한다. 또한, 가산 회로(121)는, 파라미터 생성 회로(127)로부터 공급되는 파라미터 z 에 대하여 이미 얻어져 있는 행렬의 콤포넌트와 벡터의 콤포넌트 중, 클래스 분류 회로(66)로부터의 클래스 코드에 대응하는 것에 대하여, 주목 화소 및 예측탭으로부터 구해진 행렬의 콤포넌트 x_n,kx_n',kh_k과 벡터의 콤포넌트 x_n,ky_kh_k을 가산하고, 단계 S80로 진행한다.

단계 S80에서는, 파라미터 생성 회로(127)가, 자신이 출력하고 있는 파라미터 z가, 그 취득하는 값의 최대값인 Z와 같은지 여부를 판정한다. 단계 S80에 있어서, 파라미터 생성 회로(127)가 출력하고 있는 파라미터 z가 최대값 Z와 같지 않다고(최대값 Z 미만이라고) 판정된 경우, 단계 S81로 진행하여, 파라미터 생성 회로(127)는, 파라미터 z에, 예를 들면 1을 가산하고, 그 가산치를 새로운 파라미터로 하여, 가산 회로(121)와 가중 제어 회로(126)로 출력한다. 그리고, 단계 S74에되돌아가, 이하, 마찬가지의 처리가 반복된다.

즉, 이 경우, 단계 S74에서는, 가중 제어 회로(126)는, 자신이 기억하고 있는 복수 종류의 가중 부여 특성의 중에서, 파라미터 생성 회로(127)로부터 공급되는 새로운 파라미터 z에 대응되고 있는 가중 부여 특성을 선택하고, 그 가중 부여 특성(선택 가중 부여 특성)을, 가산 회로(121)에 있어서의 가중 부여를 제어하는 데 이용하는 가중 부여 특성으로서 결정한다. 그리고, 이하, 마찬가지의 처리를 반복한다.

또한, 단계 S80에 있어서, 파라미터 z가 최대값 Z와 같다고 판정된 경우, 단계 S82로 진행하여, 클래스탭 생성 회로(64)가, 학습쌍 데이터베이스(63)에, 아직, 주목 화소로 하고 있지 않은 교사 데이터가 기억되어 있는지 여부를 판정한다. 단계 S82에 있어서, 주목 화소로 하고 있지 않은 교사 데이터가, 아직, 학습쌍 데이터베이스(63)에 기억되어 있다고 판정된 경우, 단계 S72에 되돌아가, 이하, 마찬가지의 처리가 반복된다.

또한, 단계 S82에 있어서, 주목 화소로 하고 있지 않은 교사 데이터가, 학습쌍 데이터베이스(63)에 기억되어 있지 않다고 판정된 경우, 가산 회로(121)는, 지금까지의 처리에 의해서 얻어진, 파라미터 z의 각 값에 대한, 클래스마다의 수학식 20에 있어서의 좌변의 행렬과, 우변의 벡터를, 탭 계수 연산 회로(122)에 공급하고, 단계 S83로 진행한다.

단계 S83에서는, 탭 계수 연산 회로(122)는, 가산 회로(121)로부터 공급되는, 파라미터 z의 각 값에 대한, 클래스마다의 수학식 20에 있어서의 좌변의 행렬과 우변의 벡터로 구성되는 정규 방정식을 푸는 것에 의해, 파라미터 z의 각 값에 대하여, 각 클래스마다의 탭 계수 w_n을 구한다. 또한, 탭 계수 연산 회로(122)는, 그 파라미터 z의 각 값에 대하여, 각 클래스마다의 탭 계수 w_n을, 가산 회로(123)에 공급하고, 단계 S84로 진행한다.

단계 S84에서는, 가산 회로(123)는, 탭 계수 연산 회로(122)로부터 공급되는, 파라미터 z의 각 값에 대한, 각 클래스마다의 탭 계수 w_n과, 그 파라미터 z를 대상으로 하여, 수학식 31에 있어서의, 수학식 29으로 정의되는 콤포넌트 X_i,j와, 수학식 30으로 정의되는 콤포넌트 Y_i를 구하기 위한 가산을 행한다.

즉, 단계 S84에서는, 가산 회로(123)는, 파라미터 z의 각 값에 대하여, 수학식 22에 의해서 구해지는 변수 t_i(t_j)를 이용하여, 수학식 31의 좌변의 행렬에 있어서의, 수학식 29으로 정의되는 콤포넌트 X_i,j를 구하기 위한 파라미터 z에 대응하는 변수 t_i(t_j)끼리의 승산(t_it_j)과, 서메이션(Σ)에 상당하는 연산을 행한다. 또한, 단계 S84에서는, 가산 회로(123)는, 파라미터 z의 각 값으로부터 수학식 22에 의해서 구해지는 변수 t_i와, 그 파라미터 z의 각 값에 대한, 탭 계수 연산 회로(122)로부터의 탭 계수 w_n을 이용하여, 수학식 31의 우변의 벡터에 있어서의, 수학식 30으로 정의되는 콤포넌트 Y_i를 구하기 위한 파라미터 z에 대응하는 변수 t_i및 최적의탭 계수 w_n의 승산(t_iw_n)과, 서메이션(Σ)에 상당하는 연산을, 클래스마다 행한다.

가산 회로(123)는, 각 클래스마다, 수학식 29으로 나타내어지는 콤포넌트 X_i,j와, 수학식 30으로 나타내어지는 콤포넌트 Y_i를 구하고, 이에 따라, 각 클래스에 대하여, 수학식 31의 정규 방정식을 세우면, 그 정규 방정식을, 계수종 연산 회로(124)에 공급하고, 단계 S84로부터 S85로 진행한다.

단계 S85에서는, 계수종 연산 회로(124)는, 가산 회로(123)로부터 공급되는 클래스마다의 수학식 31의 정규 방정식을 푸는 것에 의해, 각 클래스와의 계수종 데이터 β_m,n을 구하여, 계수종 데이터 메모리(125)에 공급하여 기억시키고, 처리를 종료한다.

이상과 같이하여 얻어진 계수종 데이터가, 도 12의 화상 처리 장치에서의 계수종 RAM(114)에 기억되어 있다.

여기서, 도 8의 화상 처리 장치에서, 도 14의 탭 계수 연산 회로(122)가 출력하는 파라미터 z의 각 값마다의 최적의 탭 계수 w_n을 기억시켜 두고, 조작부(102)의 조작에 대응하는 파라미터 z에 따른 최적의 탭 계수를 선택하여 이용하는 것으로 한 경우, 도 8의 화상 처리 장치에는, 파라미터 z가 취득하는 이산치(여기서는, 0, 1, ···, Z)의 수에 비례한 큰 용량의 메모리가 필요해진다. 이것에 대하여, 도 12의 화상 처리 장치에서는, 계수종 데이터가 기억되는 계수종 RAM(114)의 기억 용량은, 파라미터 z가 취득하는 값의 수에 의존하지 않기 때문에, 계수종 RAM(114)으로서, 작은 용량의 메모리를 채용할 수 있다. 또한, 계수종 데이터 β_m,n을 기억시켜 두는 경우에는, 그 계수종 데이터 β_m,n과, 파라미터 z의 값으로부터, 수학식 21에 의해 탭 계수 w_n이 생성되기 때문에, 파라미터 z의 값에 따른, 말하자면 연속적인 탭 계수 w_n을 얻을 수 있다.

그리고, 도 12의 화상 처리 장치에서는, 상술된 바와 같이, 파라미터 z의 값에 대응하여 연속적으로 변화하는 가중 부여 특성에 대응하는 탭 계수를 얻을 수 있기 때문에, 사용자는, 자신의 기호에 합치된 화질의 화상을 얻을 수 있다.

다음으로, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해서 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.

그래서, 도 16은, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하고 있다.

프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드디스크(205)나 ROM(203)에 미리 기록해 둘 수 있다.

또는, 프로그램은, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체(211)에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(211)는, 소위 패키지 소프트웨어로서 제공할 수 있다.

또, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(211)로부터 컴퓨터에 인스톨하는 외에, 다운로드 사이트에서, 디지털 위성 방송용의 인공위성을 통하여, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라고 한 네트워크를 통하여, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을, 통신부(208)로 수신하여, 내장하는 하드디스크(205)에 인스톨할 수 있다.

컴퓨터는, CPU(Central Processing Unit)(202)를 내장하고 있다. CPU(202)에는, 버스(201)를 통하여, 입출력 인터페이스(210)가 접속되어 있고, CPU(202)는, 입출력 인터페이스(210)를 통하여, 사용자에 의해서, 키보드나, 마우스, 마이크 등으로 구성되는 입력부(207)가 조작되는 등에 의해 명령이 입력되면, 그것에 따라서, ROM(Read Only Memory)(203)에 저장되어 있는 프로그램을 실행한다. 또는, 또한, CPU(202)은, 하드디스크(205)에 저장되어 있는 프로그램, 위성 또는 네트워크로부터 전송되고, 통신부(208)에 수신되어 하드디스크(205)에 인스톨된 프로그램, 또는 드라이브(209)에 장착된 리무버블 기록 매체(211)로부터 판독되어 하드디스크(205)에 인스톨된 프로그램을, RAM(Random Access Memory)(204)에 로드하여 실행한다. 이에 따라, CPU(202)는, 상술한 흐름도에 따른 처리, 또는 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(202)는, 그 처리 결과를, 필요에 따라, 예를 들면, 입출력 인터페이스(210)를 통하여, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(206)로부터 출력, 또는, 통신부(208)로부터 송신, 또한, 하드디스크(205)에 기록 등을 하게 한다.

여기서, 본 명세서에 있어서, 컴퓨터에 각종의 처리를 행하게 하기 위한 프로그램을 기술하는 처리 단계는, 반드시 흐름도로서 기재된 순서에 따라서 시계열로 처리할 필요는 없고, 병렬적 또는 개별로 실행되는 처리(예를 들면, 병렬 처리 또는 오브젝트에 의한 처리)도 포함하는 것이다.

또한, 프로그램은, 1의 컴퓨터에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해서 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되고 실행되는 것이어도 된다.

또, 본 실시의 형태에서는, 본 발명을, SD 화상 데이터를 HD 화상 데이터로 변환하는 경우를 예로 들어 설명했지만, 본 발명은, 기타, 예를 들면, 음성 데이터를, 보다 고음질의 음성 데이터로 변환하는 경우에도 적용 가능하다.

또한, 본 발명은, SD 화상 데이터를, 그 화소수를 많게 한 HD 화상 데이터, 즉, 공간 해상도를 향상시킨 HD 화상 데이터로 변환하거나, 시간 방향의 해상도(프레임 또는 필드 수)를 향상시킨 HD 화상 데이터나, 레벨 방향의 해상도(화소값에 할당된 비트수)를 향상시킨 HD 화상 데이터로 변환하는 경우의 외에, 예를 들면, 화상을 확대하는 경우 등에도 적용 가능하다.

또한, 본 실시의 형태에서는, 화상을 변환하는 화상 처리 장치와, 그 화상 처리 장치에서 이용하는 클래스마다의 탭 계수 또는 계수종 데이터를 학습하는 학습 장치를, 별개의 장치로서 구성하도록 했지만, 화상 처리 장치와 학습 장치는 일체적으로 구성하는 것도 가능하다. 그리고, 이 경우, 학습 장치에는, 실시간으로 학습을 행하게 하여, 화상 처리 장치에서 이용하는 탭 계수를, 실시간으로 갱신시키도록 하는 것이 가능하다.

또한, 본 실시의 형태에서는, 계수 RAM(5)에, 미리 클래스마다의 탭 계수를 기억시켜 두도록 했지만, 이 탭 계수는, 예를 들면, SD 화상과 동시에, 화상 처리 장치에 공급하도록 하는 것도 가능하다.

또한, 본 실시의 형태에서는, 파라미터 z를 사용자에게 입력시키도록 했지만, 파라미터 z는, 기타, 예를 들면, SD 화상과 동시에, 화상 처리 장치에 공급하도록 하는 것이 가능하다.

또한, 본 실시의 형태에서는, 수학식 1의 1차식에 의해서, HD 화소를 구하도록 했지만, HD 화소는, 2차 이상의 식에 의해서, 구하도록 하는 것도 가능하다.

또, 도 2나, 도 8, 도 12의 화상 처리 장치는, 예를 들면, 텔레비전 방송 신호를 수신하여 화상을 표시하는 텔레비전 수상기나, DVD에서 화상 데이터를 재생하여 출력하는 DVD 재생 장치, 비디오 테이프로부터 화상 데이터를 재생하여 출력하는 VTR 그 밖의 화상을 처리하는 장치 등에 적용 가능하다.

여기서, 본건 출원인은, 특개평8-79712호 공보에 있어서, 변환 대상의 화상을 구성하는 복수의 화소의 다이내믹 레인지도 이용하여 클래스 분류를 행하고, 적응 처리에 의해서, 화상을, 고화질의 화상으로 변환하는 방법에 대하여 먼저 제안하고 있다. 이 특개평8-79712호 공보에 기재된 방법에 따르면, 다이내믹 레인지를 고려한 클래스마다의 탭 계수, 즉, 각 다이내믹 레인지에 적합한 탭 계수에 의해서, 화상이 변환되기 때문에, 보다 고화질의 화상을 얻을 수 있다고 하는 효과를 발생시키는 점에서, 본원 발명과 공통된다.

그러나, 특개평8-79712호 공보에 기재된 방법은, 어디까지나, 다이내믹 레인지를 고려한 클래스 분류를 행할 뿐이고, 주목 화소와 예측탭에 대하여, 그 예측탭의 다이내믹 레인지에 따른 가중 부여를 하면서, 탭 계수의 학습을 행하고, 그 탭 계수를 이용하여 화상을 변환하는 본원 발명과는, 전혀 이질적인 것이다.

또한, 본건 출원인은, 특개2001-8056호 공보에 있어서, 송신 측에서, HD 화상과 SD 화상을 각각 교사 데이터와 생도 데이터로 한 학습을, 예측 오차가 작은 주목 화소와 예측탭에 대하여, 큰 가중 부여를 하면서 행함으로써, 탭 계수를 구하고, 그 탭 계수와 SD 화상을 송신하여, 수신측에서, 송신측으로부터의 SD 화상을, 그 SD 화상과 동시에 송신되어 오는 탭 계수를 이용하여, HD 화상으로 변환하는 방법에 대하여, 먼저 제안하고 있다. 이 특개2001-8056호 공보에 기재된 방법에 따르면, 탭 계수의 학습에 이용된 SD 화상이, 그 탭 계수를 이용하여 HD 화상으로 변환되기 때문에, 초고화질의 HD 화상을 얻을 수 있고, 따라서, 고화질의 HD 화상을 얻을 수 있다고 하는 효과를 발생시키는 점에서는, 역시, 본원 발명과 공통된다. 또한, 특개2001-8056호 공보에 기재된 방법은, 탭 계수의 학습을, 주목 화소와 예상탭에 대하여 가중 부여를 하면서 행하는 점에서도, 본원 발명과 공통된다.

그러나, 특개2001-8056호 공보에 기재된 방법에서는, 가중 부여가, 예측 오차에 대응하여 행해지기 때문에, 학습에 의해 구해진 탭 계수를 이용하여, 그 학습에서 이용된 SD 화상을 HD 화상으로 변환하고, 또한, 그 학습에서 이용된 HD 화상과의 예측 오차를 구하지 않으면 안되어, 그 결과, 탭 계수를 구하는 학습에 비교적 많은 시간을 요하게 된다. 이것에 대하여, 본원 발명에 있어서는, 예측탭의 다이내믹 레인지 등의 액티비티에 대응하여 가중 부여가 행하여지기 때문에, 예측 오차를 구할 필요가 없기 때문에, 고속으로, 탭 계수의 학습을 행할 수 있다.

또한, 특개2001-8056호 공보에 기재된 방법은, 탭 계수의 학습이, 예측 오차가 작은 주목 화소와 예측탭에 대한 가중 부여를 크게 하여 행해지기 때문에, 그 학습에 이용된 SD 화상에 대해서는, 예측 오차가 매우 작은 HD 화상을 얻을 수 있다.

그러나, 특개2001-8056호 공보에 기재된 방법은, 예측 오차에 따른 가중 부여가 행하여지는 데 관계하여, 탭 계수의 학습이, 예측 오차의 값에 따라 그룹 분류하여 행해지기 때문에, 탭 계수를 이용한 변환의 대상이 되는 것은, 기본적으로, 예측 오차를 구할 수 있는 SD 화상, 즉, 탭 계수의 학습에 이용된 SD 화상에 한정된다. 즉, 특개2001-8056호 공보에 기재된 방법에 의해 구해진 탭 계수는, 그 탭 계수의 학습에 이용된 SD 화상이 아닌 SD 화상의 변환에는 적합하지 않다(탭 계수의 학습에 이용된 SD 화상이 아닌 SD 화상을 변환해도, 고화질의 HD 화상을 얻는 것이 곤란하다). 이것에 대하여, 본원 발명에 있어서는, 탭 계수의 학습에 이용한 SD 화상 이외의 SD 화상이더라도, 고화질의 HD 화상으로 변환할 수 있다.

이상과 같이, 본 발명에 따르면, 데이터를, 보다 품질이 좋은 데이터로 변환하는 것이 가능하게 된다.

Claims (33)

1. 제1 데이터를 제2 데이터로 변환하는 데이터 변환 장치에 있어서,

   주목하고 있는 상기 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 제1 데이터로부터 생성하는 클래스탭 생성 수단과,

   상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 수단과,

   상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 데이터로부터 생성하는 예측탭 생성 수단과,

   학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터와, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터를 이용하여, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터에 대하여, 상기 제1 학습용 데이터로부터 생성되는 상기 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 상기 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 수단과,

   상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭을 이용하여, 상기 주목 데이터를 구하는 연산 수단

   을 구비하는 것을 특징으로 하는 데이터 변환 장치.
2. 제1항에 있어서,

   상기 연산 수단은, 상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭과의 선형 결합에 의해, 상기 주목 데이터를 구하는 것을 특징으로 하는 데이터 변환 장치.
3. 제1항에 있어서,

   상기 제2 데이터는, 상기 제1 데이터보다도 고품질의 데이터인 것을 특징으로 하는 데이터 변환 장치.
4. 제1항에 있어서,

   상기 1 이상의 클래스마다의 탭 계수를 기억하는 탭 계수 기억 수단을 더 구비하는 것을 특징으로 하는 데이터 변환 장치.
5. 제1항에 있어서,

   복수의 특성의 가중 부여를 각각 행하면서 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를 학습함으로써 얻어진, 상기 복수의 특성의 가중 부여 각각에 대응하는 탭 계수로부터, 소정의 특성의 가중 부여에 대응하는 탭 계수를 선택하는 탭 계수 선택 수단을 더 구비하며,

   상기 탭 계수 취득 수단은, 상기 탭 계수 선택 수단에 의해서 선택된 소정의특성의 가중 부여에 대응하는 탭 계수로부터, 상기 주목 데이터의 클래스의 탭 계수를 취득하는 것을 특징으로 하는 데이터 변환 장치.
6. 제5항에 있어서,

   사용자에 의해서 조작되는 조작 수단을 더 구비하며,

   상기 탭 계수 선택 수단은, 상기 조작 수단의 조작에 따른 특성의 가중 부여에 대응하는 탭 계수를 선택하는 것을 특징으로 하는 데이터 변환 장치.
7. 제1항에 있어서,

   상기 탭 계수의 근원이 되는 계수종 데이터로부터, 상기 탭 계수를 생성하는 탭 계수 생성 수단을 더 구비하는 것을 특징으로 하는 데이터 변환 장치.
8. 제7항에 있어서,

   상기 탭 계수의 근원이 되는 계수종 데이터를 기억하는 계수종 기억 수단을 더 구비하는 것을 특징으로 하는 데이터 변환 장치.
9. 제7항에 있어서,

   상기 탭 계수 생성 수단은, 상기 계수종 데이터와, 상기 가중 부여의 특성을 나타내는 파라미터를 이용하여, 그 파라미터가 나타내는 특성의 가중 부여에 대응하는 탭 계수를 생성하는 것을 특징으로 하는 데이터 변환 장치.
10. 제9항에 있어서,

    상기 파라미터를 입력하는 입력 수단을 더 구비하는 것을 특징으로 하는 데이터 변환 장치.
11. 제1항에 있어서,

    상기 제1과 제2 데이터는, 각각, 제1과 제2 화상 데이터인 것을 특징으로 하는 데이터 변환 장치.
12. 제1항에 있어서,

    상기 액티비티는, 상기 예측탭의 다이내믹 레인지의 크기인 것을 특징으로 하는 데이터 변환 장치.
13. 제1 데이터를 제2 데이터로 변환하는 데이터 변환 방법에 있어서,

    주목하고 있는 상기 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 제1 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 데이터로부터생성하는 예측탭 생성 단계와,

    학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터와, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터를 이용하여, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터에 대하여, 상기 제1 학습용 데이터로부터 생성되는 상기 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 상기 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 단계와,

    상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭을 이용하여, 상기 주목 데이터를 구하는 연산 단계

    를 구비하는 것을 특징으로 하는 데이터 변환 방법.
14. 제1 데이터를 제2 데이터로 변환하는 데이터 변환 처리를, 컴퓨터에 행하게 하는 프로그램에 있어서,

    주목하고 있는 상기 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 제1 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 데이터로부터생성하는 예측탭 생성 단계와,

    학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터와, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터를 이용하여, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터에 대하여, 상기 제1 학습용 데이터로부터 생성되는 상기 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 상기 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 단계와,

    상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭을 이용하여, 상기 주목 데이터를 구하는 연산 단계

    를 구비한 것을 특징으로 하는 프로그램.
15. 제1 데이터를 제2 데이터로 변환하는 데이터 변환 처리를, 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,

    주목하고 있는 상기 제2 데이터인 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 제1 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 데이터로부터생성하는 예측탭 생성 단계와,

    학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터와, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터를 이용하여, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터에 대하여, 상기 제1 학습용 데이터로부터 생성되는 상기 예측탭의 액티비티에 기초하는 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써 얻어진 탭 계수로부터, 상기 주목 데이터의 클래스의 탭 계수를 취득하는 탭 계수 취득 단계와,

    상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭을 이용하여, 상기 주목 데이터를 구하는 연산 단계를 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
16. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수를 학습하는 학습 장치에 있어서,

    상기 탭 계수의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 수단과,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 수단과,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 수단과,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 탭 계수를 구하는 학습 수단과,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 수단과,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 수단에 있어서의 가중 부여를 제어하는 가중 부여 제어 수단

    을 구비하는 것을 특징으로 하는 학습 장치.
17. 제16항에 있어서,

    상기 학습 수단은, 상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭과의 선형 결합에 의해 상기 주목 데이터를 구하기 위한 탭 계수를 학습하는 것을 특징으로 하는 학습 장치.
18. 제16항에 있어서,

    상기 제2 데이터는, 상기 제1 데이터보다도 고품질의 데이터인 것을 특징으로 하는 학습 장치.
19. 제16항에 있어서,

    상기 가중 부여 제어 수단은, 복수의 특성의 가중 부여 각각에 따라, 상기 예측탭의 액티비티에 기초하여, 상기 주목 데이터와 예측탭에 대한 가중 부여를 제어하고,

    상기 학습 수단은, 상기 주목 데이터와 예측탭에 대하여, 상기 복수의 특성의 가중 부여를 각각 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 복수의 특성의 가중 부여 각각 대응하는, 상기 1 이상의 클래스마다의 상기 탭 계수를 구하는 것을 특징으로 하는 학습 장치.
20. 제16항에 있어서,

    상기 제1과 제2 데이터는, 화상 데이터인 것을 특징으로 하는 학습 장치.
21. 제16항에 있어서,

    상기 액티비티는, 상기 예측탭의 다이내믹 레인지의 크기인 것을 특징으로 하는 학습 장치.
22. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수를 학습하는 학습 방법에 있어서,

    상기 탭 계수의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 탭 계수를 구하는 학습 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 것을 특징으로 하는 학습 방법.
23. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수를 학습하는 학습 처리를, 컴퓨터에 행하게 하는 프로그램에 있어서,

    상기 탭 계수의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 탭 계수를 구하는 학습 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 단계에 있어서의 가중 부여를 제어하는 가중부여 제어 단계

    를 구비하는 것을 특징으로 하는 프로그램.
24. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수를 학습하는 학습 처리를, 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,

    상기 탭 계수의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 탭 계수를 구하는 학습 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계

    를 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
25. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수의 근원이 되는 계수종 데이터를 학습하는 학습 장치에 있어서,

    상기 계수종 데이터의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 수단과,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 수단과,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 수단과,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 계수종 데이터를 구하는 학습 수단과,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 수단과,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 수단에 있어서의 가중 부여를 제어하는 가중 부여 제어 수단

    을 구비하는 것을 특징으로 하는 학습 장치.
26. 제25항에 있어서,

    상기 학습 수단은, 상기 주목 데이터의 클래스의 탭 계수와, 상기 예측탭과의 선형 결합에 의해 상기 주목 데이터를 구하기 위한 탭 계수의 근원이 되는 계수종 데이터를 학습하는 것을 특징으로 하는 학습 장치.
27. 제25항에 있어서,

    상기 제2 데이터는, 상기 제1 데이터보다도 고품질의 데이터인 것을 특징으로 하는 학습 장치.
28. 제25항에 있어서,

    상기 가중 부여의 특성을 나타내는 파라미터를 생성하는 파라미터 생성 수단을 더 구비하며,

    상기 가중 부여 제어 수단은, 상기 파라미터가 나타내는 특성의 가중 부여에따라, 상기 예측탭의 액티비티에 기초하여, 상기 주목 데이터와 예측탭에 대한 가중 부여를 제어하고,

    상기 학습 수단은,

    상기 주목 데이터와 예측탭에 대하여, 복수의 상기 파라미터가 나타내는 특성의 가중 부여를 각각 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 복수의 파라미터가 나타내는 특성의 가중 부여 각각 대응하는, 상기 1 이상의 클래스마다의 상기 탭 계수를 구하는 제1 학습 수단과,

    상기 복수의 파라미터가 나타내는 특성의 가중 부여 각각에 대응하는, 상기 1 이상의 클래스마다의 상기 탭 계수와, 상기 복수의 파라미터와의 관계를 학습함으로써, 상기 1 이상의 클래스마다의 상기 계수종 데이터를 구하는 제2 학습 수단을 갖는 것을 특징으로 하는 학습 장치.
29. 제25항에 있어서,

    상기 제1과 제2 데이터는, 화상 데이터인 것을 특징으로 하는 학습 장치.
30. 제25항에 있어서,

    상기 액티비티는, 상기 예측탭의 다이내믹 레인지의 크기인 것을 특징으로 하는 데이터 변환 장치.
31. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수의 근원이 되는 계수종 데이터를 학습하는 학습 방법에 있어서,

    상기 계수종 데이터의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 계수종 데이터를 구하는 학습 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계

    를 구비하는 것을 특징으로 하는 학습 방법.
32. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수의 근원이 되는 계수종 데이터를 학습하는 학습 처리를, 컴퓨터에 행하게 하는 프로그램에 있어서,

    상기 계수종 데이터의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측탭 생성 단계와,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 계수종 데이터를 구하는 학습 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목데이터와 예측탭에 대한, 상기 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계

    를 구비하는 것을 특징으로 하는 프로그램.
33. 제1 데이터를 제2 데이터로 변환할 때에 이용되는 탭 계수의 근원이 되는 계수종 데이터를 학습하는 학습 처리를, 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,

    상기 계수종 데이터의 학습에 이용하기 위한, 상기 제2 데이터에 대응하는 제2 학습용 데이터 중의 주목하고 있는 주목 데이터를 1 이상의 클래스 중의 어느 하나의 클래스로 클래스 분류하는 클래스 분류를 행하는 데 이용하는 클래스탭을, 상기 학습에 이용하기 위한, 상기 제1 데이터에 대응하는 제1 학습용 데이터로부터 생성하는 클래스탭 생성 단계와,

    상기 클래스탭에 기초하여, 상기 주목 데이터를 클래스 분류하는 클래스 분류 단계와,

    상기 주목 데이터를 구하는 데 이용하는 예측탭을, 상기 제1 학습용 데이터로부터 생성하는 예측 탭 생성 단계와,

    상기 주목 데이터와 예측탭에 대하여 소정의 가중 부여를 행하면서, 상기 제2 학습용 데이터와 상기 제1 학습용 데이터와의 관계를, 상기 1 이상의 클래스마다 학습함으로써, 상기 1 이상의 클래스마다의 상기 계수종 데이터를 구하는 학습 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티를 구하는 액티비티 검출 단계와,

    상기 주목 데이터에 대하여 얻어진 예측탭의 액티비티에 기초하여, 그 주목 데이터와 예측탭에 대한, 상기 학습 단계에 있어서의 가중 부여를 제어하는 가중 부여 제어 단계를 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.