KR100657776B1

KR100657776B1 - 연산 장치, 변환기, 및 이들의 방법

Info

Publication number: KR100657776B1
Application number: KR1020007005851A
Authority: KR
Inventors: 콘도테츠지로; 호리시타카시
Original assignee: 소니 가부시끼 가이샤
Priority date: 1998-09-30
Filing date: 1999-09-30
Publication date: 2006-12-15
Also published as: WO2000019724A1; EP1033886A4; EP1033886A1; JP4352298B2; KR20010015845A; US6718073B1

Abstract

영상 데이터 변환 장치에서 영상 품질은 종래 장치와 비교하여 더욱 개선될 수 있다.

예측 데이터는 서로 상이한 통과-대역들을 갖는 다수의 필터들(F1 내지 F4)을 사용함으로써 제 2 영상 데이터에 대응하는 교사 영상 데이터(HD)로부터 생성되고, 그에 의해, 제 2 영상 데이터는 제 1 영상 데이터의 특성들에 대응하는 예측 데이터를 사용함으로써 생성될 수 있는데, 이것이 종래 경우와 비교하여 영상 품질을 더욱 개선시킨다.

예측 데이터, 클래스, 예측 계수, 해상도, 픽셀

Description

연산 장치, 변환기, 및 이들의 방법{Arithmetic Device, Converter, And Their Methods}

본 발명은 연산 장치 및 변환 장치 및 이들의 방법에 관한 것으로, 적절하게는 제 1 데이터를 제 1 데이터보다 높은 품질을 갖는 제 2 데이터로 변환하는 변환 장치 및 변환 처리를 위하여 사용되는 예측 계수들을 산출하는 연산 장치에 적용된다.

각종의 디지털 장치들이 활용되는 상황하에서, 신호 변환을 수행하는 신호 변환 장치는 서로 다른 신호 포맷들을 갖는 장치들을 상호 접속하기 위해 필요하다. 예를 들어, 고 해상도를 갖는 모니터 상에 저 해상도의 영상 데이터를 디스플레이하는 경우에, 영상 데이터 변환 장치는 포맷 변환을 통해 저 해상도의 영상 데이터로부터 고 해상도의 영상 데이터를 생성하기 위하여 필요하다. 지금까지, 이러한 종류의 영상 데이터 변환 장치는 보간 필터를 사용하여 저 해상도의 영상 데이터에 대해 주파수 보간 처리를 수행하는 픽셀 보간을 통해서 고 해상도의 영상 데이터를 생성해 왔다.

영상 데이터 변환 장치로서, 분류 적응 처리(classification adaptive processing)를 채용하는 업-변환기가 사용되며, 이 업-변환기에서 저 해상도의 영상 데이터가 픽셀들의 신호 레벨 분포에 따라 클래스들(classes)로 분류되고, 그후 각 클래스들에 대응하는 예측 계수들이, 예측 계수들로부터의 고 해상도 영상 데이터 및 예측 동작에 의한 저 해상도 영상 데이터를 얻기 위해, 예측 계수들이 저장되는 메모리로부터 판독된다.

메모리에 기억되는 예측 계수들은 학습(learning)이라고 하는 데이터 처리에 의해 미리 생성된다. 예측 계수들을 생성하는 학습 회로는 디지털 필터에 의해 고 해상도의 영상 데이터를 교사 영상(teacher image)으로서 변환하여 저 해상도의 영상 데이터를 학생 영상(pupil image)으로서 생성하고, 고 해상도의 영상 데이터 및 저 해상도의 영상 데이터를 사용하여 학습을 수행함으로써 예측 계수들을 또한 생성한다.

그런데, 고 해상도의 영상 데이터가 다수의 신호 특성들을 갖는 경우에, 디지털 필터의 주파수 특성은 각 신호 특성에 따라 변경되는 것이 바람직하다. 즉, 고 해상도의 영상 데이터가 저 해상도의 영상 데이터로부터 생성될 때, 해상도를 개선시키는 주파수 특성을 갖는 디지털 필터는 정지 영상 부분에 대해서 바람직한데, 그 이유는 인간 눈의 분해능(resolving power)이 정지 영상 부분에 대해서는 향상되어 있기 때문이며, 반면에, 해상도 개선을 억제하는 주파수 특성을 갖는 디지털 필터는 동영상 부분에 대해서 바람직한데, 그 이유는 고 대역의 불필요한 신호 성분이 영상 데이터 해상도가 개선됨에 따라 영상 품질을 저하시키도록 이동되기 때문이다.

따라서, 고 해상도의 영상 데이터가 예측 계수들을 생성하기 위하여 하나의 디지털 필터를 사용하여 저 해상도의 영상 데이터로 다운-변환되는 경우에, 각 신호 특성들에 대응하는 예측 계수들은 고 해상도의 영상 데이터가 다수의 신호 특성들을 갖는 경우에는 생성될 수 없다. 그 결과로서, 저 해상도의 영상 데이터로부터 고 해상도의 영상 데이터를 생성하면 영상 품질 개선을 방해하는 문제를 초래한다.

게다가, 어떤 경우에는 정지 영상 부분들 및 동영상 부분들 뿐만아니라 다른 요인들로 인해, 디지털 필터의 주파수 특성을 변경시키는 것이 보다 좋을 수도 있다.

본 발명은 상기 문제를 고려하여 이루어진 것으로, 본 발명의 목적은 종래의 연산 장치 및 방법과 비교하여 제 1 데이터의 특성들을 더욱 정합시키는 변환 처리를 위하여 사용되는 예측 계수들을 산출하는 연산 장치 및 방법과, 이 연산 장치에 의해 얻어지는 예측 계수들을 사용하여 제 2 데이터를 생성하는 변환 장치 및 방법을 제공하는 것이다.

상기 문제들을 해결하기 위하여, 본 발명은 제 1 영상 데이터를 제 1 영상 데이터보다 높은 품질을 갖는 제 2 영상 데이터로 변환하기 위하여 사용되는 예측 계수들을 산출하는 연산 장치를 제공한다. 이 연산 장치는 제 1 영상 데이터보다 높은 품질을 갖는 교사 영상 데이터(teacher image data)를 그의 특성들에 기초하여 다수의 클래스들로 분류하는 클래스 결정부와, 교사 영상 데이터에 대해, 클래스 결정부에 의해 결정된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 제 1 영상 데이터와 동일한 품질을 갖는 학생 영상 데이터(pupil image data)를 생성하는 학생 영상 데이터 생성부와, 학생 영상 데이터 및 교사 영상 데이터에 기초하여 예측 계수들을 생성하는 예측 계수 생성부를 포함한다.

제 1 영상 데이터 및 교사 영상의 특성들을 정합하는 학생 영상 데이터는 교사 영상 데이터에 대해 각 클래스에서 상이한 필터링 처리를 수행함으로써 생성된다. 제 1 영상 데이터 및 교사 영상 데이터의 특성들을 정합하는 예측 계수들은 학생 영상 데이터 및 교사 영상 데이터에 기초하여 예측 계수들을 생성함으로써 생성된다.

변환 장치는 제 1 영상 데이터의 특성들에 기초한 예측 계수들을 사용하기 때문에, 이 변환 장치는 제 1 영상 데이터를 제 2 영상 데이터로 변환할 때 제 1 영상 데이터의 특성들을 정합하는 변환 처리를 수행할 수 있다.

도 1은 업-변환기의 구성을 도시하는 블록도.

도 2는 클래스 탭들의 배열의 예를 도시하는 개략도.

도 3은 예측 탭들의 배열의 예를 도시하는 개략도.

도 4는 학습 회로의 구성을 도시하는 블록도.

도 5는 예측 계수들을 생성하는 절차를 도시하는 순서도.

도 6은 제 1 실시예에 따른 예측 계수들을 생성하는 절차를 도시하는 순서도.

도 7은 본 발명에 따른 다운-변환의 제 1 실시예를 설명하는 개략도.

도 8은 본 발명에 따른 학습 방법 및 계수 메모리의 제 1 실시예를 설명하는 개략도.

도 9는 본 발명에 따른 업-변환기의 제 1 실시예를 도시하는 블록도.

도 10은 본 발명에 따른 다운-변환의 제 2 실시예를 설명하는 개략도.

도 11은 본 발명에 따른 학습 방법 및 계수 메모리의 제 2 실시예를 설명하는 개략도.

도 12는 본 발명의 업-변환기의 제 1 실시예를 도시하는 블록도.

도 13은 매핑시 클래스 탭들의 배열의 예를 도시하는 개략도.

도 14는 다운 변환시 클래스 탭들의 배열의 예를 도시하는 개략도.

본 발명을 실행하기 위한 최선의 방식

첨부한 도면을 참조하여 본 발명의 실시예가 상세하게 후술될 것이다.

(1) 클래스 적응 처리의 원리

도 1은 클래스 적응 처리를 수행하는 업-변환기(51)의 회로 구성을 도시한 것이다. 업-변환기(51)에서, 예를 들어, 외부 소스로부터 공급되는 8-비트 PCM(펄스 코드 변조) 데이터로 이루어지는 SD(표준 선명도) 영상 데이터(S51)가 분류부(52) 및 예측 연산부(53)에 입력된다. 분류부(52)는, 도 2에 도시된 바와 같이, 신호 레벨 분포에 기초하여 클래스 코드(class code)(S52)를 생성하기 위하여 주목 픽셀(remarkable pixel), 및 분류용 픽셀들(이하부터, 클래스 탭들이라 칭함)로서 SD 영상 데이터(S51) 중 상기 주목 픽셀 주위의 다수의 주변 픽셀들(neighboring pixels)로 이루어진 총 7개의 픽셀들(탭들)을 설정한다. 도면에서, 굵은선은 제 1 필드를 표시하고 파선은 제 2 필드를 표시한다.

분류부(52)에 의해 클래스 코드(S52)를 생성하는 방법으로서, 다음 방법, 즉, PCM 데이터가 직접 사용(즉, PCM 데이터 그 자체로서 클래스 데이터(S52)로서 사용)되는 방법, 및 다수의 클래스들이 ADRC(Adaptive Dynamic Range Coding; 적응형 다이내믹 레인지 부호화)와 같은 데이터 압축 방법을 사용하여 감소되는 방법이 고려될 수 있다. 그러나, PCM 데이터가 그 자체로서 클래스 코드(S52)로서 사용되는 방법은 회로 크기가 크게되는 문제를 갖는데, 그 이유는 PCM 데이터의 8개의 탭들 중 7개의 탭들이 클래스 탭들로서 사용되고, 클래스들의 수가 매우 큰 수 2⁵⁶이기 때문이다.

따라서, 분류부(52)는 클래스들의 수를 감소시키기 위해 ADRC와 같은 데이터 압축(즉, 재양자화)을 수행한다. ADRC에 의한 분류 방법은 다음 식(1),

.....(1)

을 사용하여 주목 픽셀 주위의 주변 영역에서의 여러 개의 탭들로부터 ADRC 코드를 얻고, ADRC 코드에 기초하여 클래스 코드(S52)를 생성한다. 여기서, C_i는 ADRC 코드를 나타내고, X_i는 각 클래스 탭의 입력 픽셀 값을 나타내고, MIN은 ADRC의 블록에 존재하는 클래스 탭들의 입력 픽셀 값들 중 최소 픽셀 값을 나타내고, DR은 영역내의 동적 범위(최대 픽셀 값 및 최소 픽셀 값간의 차)를 나타내고, k는 재양자화된 비트들의 수를 나타낸다.

즉, ADRC에 따른 분류는, 양자화 스텝 크기가 영역 내의 동적 범위로부터의 재양자화된 비트들의 수에 따라 산출되고 입력 픽셀 값에서 최소 픽셀 값을 감산함으로써 얻어진 픽셀 값은 양자화 스텝 크기에 따라서 재양자화되는 것이다. 예를 들어, 1-비트 ADRC가 수행되고 각 클래스 탭이 영역의 7개의 탭들에 대해 1 비트로 재양자화되는 경우에, 7개의 탭들의 각각의 입력 픽셀 값은 영역 내의 동적 범위에 기초하여 1비트로 적응적으로 양자화되며, 결과적으로 7개 탭들의 입력 픽셀 값들은 7-비트 데이터로 감소된다. 그러므로, 클래스들의 수는 전체로서 128개의 클래스들로 감소될 수 있다. 1 비트 ADRC는 일본 특허 공개 번호 제 87481/95 호 및 미국 특허 출원 번호 제 5488618 호에 개시되어 있다.
도 1을 참조하면, 예측 계수 ROM(판독 전용 메모리)(54)은 후술되는 학습 회로(60)에 의해 미리 생성되는 클래스들에 각각 대응하는 예측 계수 데이터(S53)를 기억하고, 분류부(52)로부터 공급되는 클래스 코드(S52)에 대응하는 예측 계수 데이터(S53)를 판독하고, 이를 예측 연산부(53)에 전달한다. 예측 연산부(53)는, 도 3에 도시된 바와 같이, 예를 들어, 외부 소스로부터 입력된 SD 영상 데이터(S51)로부터 주목 픽셀 및 예측 연산용 픽셀들(이하, 예측 탭들이라 칭함)로서의 상기 주목 픽셀 주위의 다수의 주변 픽셀들로 이루어지는 총 13개의 탭들을 선택하고, 예측 탭들의 픽셀 값들 및 예측 계수 데이터(S53)를 사용하여 선형 결합 형태의 다음 식(2)로 표현되는 적-합 연산을 수행함으로써, 예측 탭들에 존재하지 않는 HD 픽셀들의 집합인 HD 영상 데이터(S54)를 생성하고 외부 목적지로 데이터를 출력한다.

삭제

.....(2)

여기서, x'는 HD 픽셀값을 나타내고, x_i는 각 예측 탭의 픽셀값을 나타내고, w_i는 예측 계수를 나타내고, n은 이 경우에는 13이라 가정되는 예측 탭들의 수를 나타낸다.

도 4는 예측 계수 ROM(54)에 기억된 예측 계수 데이터를 생성하는 학습 회로(60)를 도시하는 것으로, 이 학습 회로(60)는 미리 예측 계수 데이터를 생성하여 예측 계수 ROM(54)에 기억시킨다. 학습 회로(60)에서, 교사 신호로서의 HD 영상 데이터(S60)가 수직 솎아내기 필터(vertical thinning filter)(61) 및 예측 계수 산출 회로(62)에 입력된다. 학습 회로(60)는 수직 솎아내기 필터(61) 및 수평 솎아내기 필터(62)를 통해 HD 영상 데이터(S60)를 솎아냄으로써 학생 신호로서의 SD 영상 데이터(S61)를 생성하고, SD 영상 데이터(S61)는 분류부(64) 및 예측 계수 산출 회로(62)에 입력된다.

분류부(64)는 도 1에 도시된 업-변환기의 분류부(52)와 유사한 구성을 가지며, SD 영상 데이터(S61)로부터 클래스 탭들을 선택하고, 신호 레벨 분포에 기초한 클래스 코드(S62)를 생성한 후, 이를 예측 계수 산출 회로(62)에 전달한다. 예측 계수 산출 회로(62)는 HD 영상 데이터(S60) 및 SD 영상 데이터(S61)에 기초하여 각 클래스에 대한 클래스 코드(S62)에 의해 표시된 클래스에 따라 예측 계수를 산출하고, 그 결과의 예측 계수 데이터(S63)가 예측 계수 ROM(54)에 기억된다.

이 경우에, 예측 계수 산출 회로(62)는 최소 자승법을 사용하여 상술된 식(2)의 예측 계수 w를 얻는다. 상세하게 설명하면, 예측 계수 산출 회로(62)는 관찰 식(observation equation)이라 칭하는 다음 식(3)을 생성하기 위하여 데이터를 수집한다.

.....(3)

여기서, X는 SD 픽셀값을 나타내고, W는 예측 계수를 나타내고, Y는 HD 픽셀값을 나타내고, m은 예측될 HD 픽셀들의 수를 나타내는 학습 데이터의 수이고, n은 예측 탭들의 수이다.

그리고 나서, 예측 계수 산출 회로(62)는 식(3)에 기초하여 다음 식(4)로 나타낸 나머지 식(residual equation)을 생성한다.

.....(4)

따라서, 식(4)로부터, 다음 식(5)이 최소값을 나타낼 때, 예측 계수들(w_i)이 최적의 값이라는 것을 알 수 있다.

.....(5)
즉, 예측 계수들(w_i)은 다음 식(6)을 만족하도록 산출된다.

.....(6)

그러므로, 예측 계수 산출 회로(62)는 n 파트들을 갖는 식(6)을 만족하는 w₁, w₂, …,w_n을 산출하기 위해서만 필요하고, 다음 식(7)은 상기 식(4)로부터 얻어진다.

.....(7)

그리고, 다음 식(8)은 또한 식(6) 및 (7)로부터 얻어진다.

.....(8)

예측 계수 산출 회로(62)는 식(4) 및 (8)로부터 다음 식(9)로 표현되는 정규 식(normal equation)을 생성한다.

.....(9)

이 방식으로, 예측 계수 산출 회로(62)는 예측 탭들의 수 n과 동일한 정도의 연립방정식(simultaneous equations)으로 이루어진 정규 식을 생성하고, 스위핑-아웃법(sweeping-out method)(가우스 조단의 소거법)을 사용하여 정규 식을 풀므로써 각각의 예측 계수들(w_i)을 산출한다.

학습 회로(60)에 의해 예측 계수들을 생성하는 절차가 도 5에 도시된 순서도를 참조하여 후술될 것이다. 단계 SP61에서 시작하여, 단계 SP62에서, 학습 회로(60)는 교사 신호로서의 HD 영상 데이터(S60)로부터 학생 신호로서의 SD 영상 데이터(S61)를 생성함으로써, 예측 계수를 생성하는데 필요한 학습 데이터를 생성하고, 게다가 SD 영상 데이터(S61)로부터 클래스 탭을 선택하여 신호 레벨 분포에 기초한 분류를 수행한다.

그리고 나서, 단계 SP63에서, 학습 회로(60)는 예측 계수들을 생성하는 필요하고 충분한 학습 데이터가 얻어지는지 여부를 판단한다. 그 결과로서, 필요하고 충분한 학습 데이터가 얻어지지 않았다고 판단된 경우, 부정적인 결과가 단계 SP63에서 얻어지고, 이 처리는 단계 SP65로 진행한다.

단계 SP65에서, 학습 회로(60)는 각 클래스에 대한 상술된 식(9)의 형태의 정규 식을 생성하고 나서, 단계 SP62로 복귀하고, 예측 계수들을 생성하는데 필요하고 충분한 정규 식들을 생성하기 위한 동일한 처리 절차를 반복한다.

다른 한편으로, 긍정적인 결과가 단계 SP63에서 얻어질 때, 이 긍정적인 결과는 필요하고 충분한 학습 데이터가 얻어졌다는 것을 표시하여, 학습 회로(60)를 단계 SP66으로 진행시키고, 스위핑-아웃법을 사용하여 식(9)로 이루어진 정규 식을 풀므로써, 각 클래스에 대한 예측 계수들(w₁, w₂, …,w_n)을 생성한다. 단계 SP67에서, 학습 회로(60)는 각 클래스에 대해 생성된 예측 계수들(w₁, w₂, …,w_n)을 예측 계수 ROM(54)에 기억시키고, 단계 SP68로 진행하여 이 처리를 종료시킨다.

(2) 제 1 실시예

학습 회로는 교사 영상으로서의 HD 영상 데이터를 학생 영상으로서의 SD 영상 데이터로 다운 변환시키도록 기능하고, HD 영상 데이터 및 SD 영상 데이터간의 학습을 수행함으로써 각 클래스에 대한 예측 계수들을 생성한다. 이하, 학습 회로(60)에 의해 예측 계수들을 생성하는 절차가 도 6에 도시된 순서도를 참조하여 서술될 것이다.

단계 SP71에서 시작하여, 단계 SP72에서, 학습 회로는 교사 영상으로서의 HD 영상 데이터로부터 학생 영상으로서의 SD 영상 데이터를 생성함으로써 예측 계수들의 생성에 필요한 학습 데이터를 생성한다. 이 단계 SP72에서, 학습 회로는, 도 7에 도시된 바와 같이, 서로 상이한 통과-대역들을 갖는 다수의 다운 필터들(F1 내지 F4)을 사용하여 한 조각의 HD 영상 데이터(HD)로부터 다수의 SD 영상 데이터(SD1 내지 SD4)를 생성한다. 이 경우에, 다운 필터(F1)는 최고 통과 대역을 갖고, 다운 필터들(F2 내지 F4)의 통과 대역들은 이 순서로 낮아진다.

단계 SP73에서, 학습 회로는 예측 계수들을 생성하기 위하여 충분한 수의 학습 데이터가 얻어지는지 여부를 결정한다. 그 결과로서, 충분한 데이터가 아직 얻어지지 않았다고 결정되면, 부정적인 결과가 단계 SP73에서 얻어지고, 이 처리는 단계 SP75로 진행한다.

단계 SP75에서, 학습 회로는 SD 영상 데이터 각각(SD1 내지 SD4)에 대해 상술된 식(9)의 형태의 정규 식을 생성하고 나서, 단계 SP72로 복귀하여 동일한 처리 절차를 반복한다. 따라서, 예측 계수들을 생성하는데 충분하고 필요한 수의 정규 식들이 생성된다.

다른 한편으로, 긍정적인 결과가 단계 SP73에서 얻어지면, 이 경우는 충분한 수의 학습 데이터가 얻어져, 학습 회로가 단계 SP76으로 진행하여 각 SD 영상 데이터(SD1 내지 SD4)에 대한 예측 계수를 생성하기 위하여 스위핑-아웃법에 의해 상술된 단계 SP75에서 생성되는 정규 식들을 푼다는 것을 의미한다.

이 단계 SP76에서, 학습 회로는 HD 영상 데이터(HD) 및 SD 영상 데이터(SD1)간의 학습(ST1)을 수행함으로써 예측 계수(Y1)를 생성하고 나서, 이를 도 8에 도시된 바와 같이 계수 메모리(M1)에 기억시킨다. 그후에, 유사하게, 학습 회로는 HD 영상 데이터(HD) 및 SD 영상 데이터(SD2 내지 SD4)간의 학습(ST2 내지 ST4)을 수행함으로써 예측 계수들(Y2 내지 Y4)을 생성하고 나서, 이들을 계수 메모리(M2 내지 M4)에 각각 기억시킨다.

다운 필터(F)의 주파수 특성에서, 고 통과 대역은 HD 영상 데이터(HD)의 작은 움직임 영역에 설정되고, 반면에 저 통과 대역은 상기 데이터의 큰 움직임 영역에 설정되는 것이 바람직하다. 그러므로, 도 6의 단계 SP77에서, 학습 회로는 영역들에서의 움직임 정도에 기초한 4개의 움직임 클래스들(C1 내지 C4)로 HD 영상 데이터(HD)를 분류하고, 계수 메모리(M1)에 기억된 예측 계수들(Y1) 중에서 움직임 클래스(C1)에 대응하는 예측 계수(Y1)를 예측 계수 메모리(M5)에 기억시킨다. 마찬가지로, 학습 회로는 계수 메모리(M2)에 기억된 예측 계수들(Y2) 중에서 움직임 클래스(C2)에 대응하는 예측 계수(Y2)를 계수 메모리(M5)에 기억시키고, 계수 메모리(M3)에 기억된 예측 계수들(Y3) 중에서 움직임 클래스(C3)에 대응하는 예측 계수(Y3)를 계수 메모리(M5)에 기억시키고, 계수 메모리(M4)에 기억된 예측 계수들(Y4) 중에서 움직임 클래스(C4)에 대응하는 예측 계수(Y4)를 계수 메모리(M5)에 기억시킨다. 이 방식으로, 예측 계수들이 계수 메모리(M5)에 등록되고, 그후 다음 단계 SP78에서 예측 계수들을 생성하는 절차를 완료한다.

도 9는 학습에 의해 생성된 계수 메모리(M5)를 채용하는 업-변환기(100)의 구성을 도시한 것이다. 업-변환기(100)는 입력 SD 영상 데이터(S100)를 분류부(101) 및 지연 회로(102)에 인입시킨다. 분류부(101)는 클래스 코드(S101)를 생성하기 위하여 SD 영상 데이터(S100)를 분류하고, 이를 분류 메모리(M5)에 전달한다.

계수 메모리(M5)는 움직임 클래스들(C1 내지 C4) 중에서 공급된 클래스 코드(S101)에 대응하는 움직임 클래스(C)의 예측 계수를 판독하고, 예측 계수 데이터(S102)를 매핑 회로(103)에 전달한다. 지연 회로(102)는 소정의 시간 주기동안 SD 영상 데이터(S100)를 지연시키고, 이를 매핑 회로(103)에 전달한다. 매핑 회로(103)는 SD 영상 데이터(S100) 및 예측 계수 데이터(S102)의 적-합 연산을 수행하여 HD 영상 데이터(S103)를 생성하고 이를 외부 목적지로 출력한다.

상술된 구성에서, 학습 회로는 서로 상이한 통과 대역들을 갖는 다수의 다운-필터들(F1 내지 F4)을 통해 한 조각의 HD 영상 데이터(HD)로부터 다수의 SD 영상 데이터(SD1 내지 SD4)를 생성하고 나서, HD 영상 데이터(HD) 및 SD 영상 데이터(SD1 내지 SD4)간의 학습을 수행하여 예측 계수들(Y1 내지 Y4)을 각각 생성한다. 그리고 나서, 학습 회로는 예측 계수들(Y1 내지 Y4) 중에서 움직임 클래스들(C1 내지 C4)에 대응하는 예측 계수들을 추출하고 이들을 계수 메모리(M5)에 기억시킨다. 따라서, 학습 회로는 HD 영상 데이터(HD)의 움직임 정도에 대응하는 예측 계수들을 계수 메모리(M5)에 기억시킨다. 그러므로, HD 영상 데이터(S103)는 SD 영상 데이터(S100)의 움직임 정도에 대응하는 예측 계수들을 사용하여 생성되고, 그에 의해 HD 영상 데이터(S103)의 영상 품질은 종래 방식에서처럼 하나의 다운-필터에 의해 생성된 예측 계수들을 사용하여 매핑이 수행되는 경우와 비교하여 개선된다.

상술된 구성에 따르면, 다수의 예측 계수들(Y1 내지 Y4)은 서로 상이한 통과-대역들을 갖는 다수의 다운 필터들(F1 내지 F4)을 사용하여 생성되며, 움직임 클래스들(C1 내지 C4)에 대응하는 예측 계수들이 예측 계수들(Y1 내지 Y4) 중에서 추출되어 계수 메모리(M5)에 기억되고, 그에 의해 HD 영상 데이터(S103)가 SD 영상 데이터(S100)의 움직임 정도에 기초한 예측 계수들을 사용하여 발생될 수 있어, HD 영상 데이터(S103)의 영상 품질이 종래의 경우와 비교하여 더욱 개선될 수 있다.

(3) 제 2 실시예

도 7의 부분들에 대응하는 부분들이 동일한 기호로 표시되어 있는 도 10은 제 2 실시예에 따른 다운-변환기의 구성을 도시한 것이다. 다운-변환기(110)는 교사 영상으로서의 HD 영상 데이터(HD)를 스위치(SW1) 및 분류부(111)에 인입시킨다. 분류부(111)는 HD 영상 데이터(HD)를 그의 움직임 양에 대응하는 움직임 클래스들(C1 내지 C4)으로 분류함으로써 클래스 데이터(S110)를 생성하고, 이 데이터를 스위치들(SW1, SW2)에 공급한다. 이 경우에, 분류부(111)는 최소 움직임 양을 갖는 영상 데이터를 클래스(C1)으로 분류하고, 움직임 양이 증가함에 따라 영상 데이터는 이 순서로 클래스들(C2 내지 C4)로 각각 분류되고, 여기서, 최대 움직임 양을 갖는 영상 데이터가 클래스(C4)으로 분류된다. 움직임 양에 기초한 분류들을 수행하는 영상 신호 변환 장치가 일본 특허 공개 번호 제 74543/97 호에 개시되어 있다.

스위치들(SW1, SW2)은 서로 상이한 통과 대역들을 갖는 다수의 다운 필터들(F1 내지 F4)이 공급된 클래스 데이터(S110)로 나타낸 움직임 클래스(C)에 기초하여 적응적으로 전환되는 동안 선택된다. 다운 변환기(110)는 전환된 다운 필터(F)를 사용하여 HD 영상 데이터(HD)를 다운 변환하여 한 조각의 SD 영상 데이터(SD)를 생성한다. 이 점에서, HD 영상 데이터(HD)가 작은 움직임 양을 갖는 경우, 고 통과 대역을 갖는 다운 필터(F1)가 선택되고, 움직임 양이 증가함에 따라, 이 순서에서 보다 낮은 통과-대역을 갖는 다운-필터(F2 내지 F4)가 선택된다. 이 방식에서, 다운-변환기(110)는 HD 영상 데이터(HD)의 움직임 양에 따라 다운-필터(F)의 전환을 적응적으로 수행하면서 SD 영상 데이터(SD)를 생성한다.

그리고나서, 도 11에 도시된 바와 같이, 학습 회로는 교사 영상으로서의 HD 영상 데이터(HD) 및 학생 영상으로서의 SD 영상 데이터(SD)간의 학습(ST)을 수행함으로써 예측 계수(Y)를 생성하고, 이를 계수 메모리(M)에 기억시킨다.

도 9의 부분들에 대응하는 부분들이 동일한 기호들로 표시되어 있는 도 12는 상술된 계수 메모리(M)를 사용하는 업-변환기(120)의 구성을 도시한 것이다. 업-변환기(120)는 입력 SD 영상 데이터(S100)를 분류부(101) 및 지연 회로(102)에 인입시킨다. 분류부(101)는 클래스 코드(S101)를 생성하기 위하여 SD 영상 데이터(S100)를 클래스들로 분류하고, 이를 계수 메모리(M)로 전달한다.

계수 메모리(M)는 공급된 클래스 코드(S101)에 기초하여 예측 계수를 판독하고, 이 예측 계수 데이터(S120)를 매핑 회로(103)에 전달한다. 지연 회로(102)는 소정 시간 기간동안 SD 영상 데이터(S100)를 지연시키고, 그후 이를 매핑 회로(103)에 전달한다. 매핑 회로(103)는 SD 영상 데이터(S100) 및 예측 계수 데이타(S120)의 적-합 연산을 수행하여 HD 영상 데이터(S121)를 생성하고, 이를 외부 목적지로 전달한다. 여기서, 업-변환기(120)의 분류부(101)(도 12)에 의한 분류가 도 13을 참조하여 서술될 것이다. 분류부(101)는 SD 영상 데이터의 동일한 필드 내에 존재하는 9개의 픽셀들 및 동일한 장소에 위치되는 선행 프레임의 9개의 픽셀들을 고려함으로써 SD 영상 데이터를 4개의 클래스들로 분류하여 프레임들 내의 각각의 픽셀들간의 차를 얻어, 이것의 절대값들의 합을 계산하여 이 합을 임계값으로 판단한다.

다음에, 다운-변환기(110)의 분류부(111)(도 10)에 의한 분류가 도 14를 참조하여 서술될 것이다. 분류부(111)에서, SD 영상 데이터보다 4배 큰 수의 픽셀들을 갖는 HD 영상 데이터가 분류되기 때문에, 9개의 픽셀들이 추출되어 SD 영상 데이터의 경우와 동일한 면적을 갖는 영역에서 한 픽셀 걸러 선택되고, 프레임들 내의 각각의 픽셀들간의 차의 절대값들의 합이 HD 영상 데이터를 4개의 클래스들로 분류하기 위하여 얻어진다.

그러므로, 업-변환기(120)의 분류부(101)에 의해 분류된 SD 영상 데이터의 클래스들 및 다운-변환기(110)의 분류부(111)에 의해 분류된, SD 영상 데이터에 대응하는, HD 영상 데이터의 클래스들이 서로 동일하지 않은 경우에, 두 세트의 클래스들간의 오정합은 무시할 수 있을 정도로 작게되는데, 그 이유는 실질적으로 동일한 면적을 갖는 영역으로부터 클래스 탭들을 추출함으로써 분류가 수행되기 때문이다.

상술된 구성에서, 다운 변환기(110)는 한 조각의 SD 영상 데이터(SD)를 생성하기 위하여 HD 영상 데이터(HD)의 움직임 양에 기초한 다수의 주파수 특성들을 갖는 다운-필터들(F)의 전환들을 적응적으로 수행하면서 HD 영상 데이터(HD)를 다운 변환한다. 학습 회로는 HD 영상 데이터(HD) 및 SD 영상 데이터(SD)간의 학습(ST)을 수행하여 예측 계수들을 생성하고 이를 계수 메모리(M)에 기억시킨다.

업-변환기(120)의 분류부(101)는 모든 SD 영상 데이터(S100)를 완전한 정확성을 갖는 클래스들로 분류할 수 없고, 이러한 완전한 분류는 어렵다는 것이 현실이다. 그러므로, 상술된 제 1 실시예에 따른 업-변환기(100)에서, HD 영상 데이터(S103)가 유사한 신호 레벨 분포를 갖는 SD 영상 데이터(S100)로부터 생성되는 경우조차도, 정확한 분류는 성취되지 않고, 전체적으로 적절하지 않은 주파수 특성을 갖는 다운-필터들(F)로 생성된 예측 계수들을 사용하여 매핑이 실행될 위험이 존재한다. 이 경우에, 예측 계수들의 값들은 큰 정도로 변경되는데, 이것은 생성될 HD 영상 데이터(S103)의 영상 품질을 열화시킨다.

다른 한편으로, 제 2 실시예에 따른 업-변환기(120)에서, 유사한 신호 레벨 분포를 갖는 SD 영상 데이터(S100)가 상이한 클래스들로 분류되는 경우조차도, 예측 계수들은 큰 정도로 변경되지 않고, 이에 따라서 생성될 HD 영상 데이터(S121)의 영상 품질이 열화될 기회가 없게된다.

또한, 학습(ST)이 수행될 때, 학습(ST)을 위하여 요구되는 시간은 학생 영상으로서의 한조각의 SD 영상 데이터(SD)만이 사용될 필요가 있기 때문에 감소된다.

상술된 구성에 따라서, HD 영상 데이터(HD)가 분류되고, 예측 계수들이 각 클래스에 따라서 다수의 주파수 특성들에 의해 다운-필터들(F) 각각의 전환들을 적응적으로 실행하면서 HD 영상 데이터(HD)를 SD 영상 데이터(SD)로 변환함으로써 생성된다. 이것에 의해, 사용될 예측 계수들이 매핑이 수행될 때 SD 영상 데이터(S100)의 클래스에 따라 크게 변경되는 것을 피할 수 있다. 따라서, 영상 품질은 제 1 실시예의 경우와 비교하여 더욱 개선될 수 있다.

(4) 다른 실시예들

상술된 실시예들에서, 본 발명은 SD 영상 데이터(S100)로부터 HD 영상 데이터(S103, S121)를 생성하는 영상 데이터 변환 장치에 적용된다. 그러나, 본 발명은 이에 국한되는 것이 아니라, 변환 장치가 제 1 데이터로부터 제 2 데이터를 생성하는 한 임의의 다른 영상 데이터 변환 장치들에 폭넓게 적용할 수 있다.

또한, 상술된 실시예들에서, 학습 회로가 예측 데이터를 생성하기 위하여 사용되는 경우가 서술되어 있다. 그러나, 본 발명은 이 경우에만 국한되는 것이 아니라, 또다른 회로가 서로 상이한 통과-대역들을 갖는 다수의 필터들을 사용하여 제 2 영상 데이터에 대응하는 교사 영상 데이터로부터 예측 데이터를 생성할 수 있는 한 사용될 수 있다.

또한, 상술된 실시예들에서, 계수 메모리들(M5 및 M)이 예측 데이터 저장 수단으로서 사용되는 경우가 서술되었다. 그러나, 본 발명은 이 경우들에 국한되는 것이 아니라, 본 발명은 예측 데이터 저장 수단이 예측 데이터를 기억하는 한 또다른 예측 데이터 저장 수단에 적용될 수 있다.

또한, 상술된 실시예들에서, 분류부(101)가 클래스들을 결정하기 위하여 사용되는 경우가 서술되었다. 그러나, 본 발명은 이 경우에만 국한되는 것이 아니라, 본 발명은 제 1 영상 데이터로부터 주목 픽셀을 포함하는 다수의 픽셀들을 추출하여 이 추출된 다수의 픽셀들로부터 주목 픽셀의 클래스를 결정하는 한 또다른 부에 적용될 수 있다.

또한, 상술된 실시예들에서, 계수 메모리들(M5 및 M)이 판독을 제어하기 위하여 사용되는 경우들이 서술되었다. 그러나, 본 발명은 이 경우에들에만 국한되는 것이 아니라, 또다른 메모리에 적용될 수 있는 본 발명은 예측 데이터 기억부로부터 결정된 클래스에 대응하는 예측 데이터를 판독하는 한 사용될 수 있다.

또한, 상술된 실시예들에서, 매핑 회로(103)는 픽셀 데이터를 생성하기 위하여 사용되는 경우가 서술되었다. 그러나, 본 발명은 이에만 국한되는 것이 아니라, 본 발명은 예측 데이터 기억 수단으로부터 판독 출력되는 예측 데이터로부터 제 2 영상 데이터의 주목 픽셀을 생성하는 한 또다른 회로에 적용될 수 있다.

또한, 상술된 실시예들에서, 본 발명은 영상 데이터 변환 장치에 적용된다. 그러나, 본 발명은 음성과 같은 다수의 인접 데이터(파들)와 관계를 갖는 데이터에 적절하게 적용된다.

또한, 상술된 실시예들에서, 본 발명을 따른 분류 적응 처리는 SD-HD 변환과 같은 픽셀들의 수(공간 해상도)를 변환시키는 경우에 적용된다. 그러나, 본 발명은 이에만 국한되지 않고 일본 특허 공개 번호 제 167991/93 호에 서술된 바와 같이 일시적인 해상도를 생성하는 경우, 일본 특허 공개 번호 제 313251/98 호에 서술된 바와 같이 샘플링 주파수를 보다 높게함으로써 음의 품질을 개선시키는 경우, 양자 비트들의 수를 증가시키고 일본 특허 공개 번호 제 85267/95 호에 서술된 정보량의 증가에 대응하는 신호를 발생시킴으로써 공간 해상도를 보다 높게하는 경우 및 일본 특허 공개 번호 제 123021/98 호에 서술된 바와 같은 영상들의 낟알모양(grainy)을 개선시키는 경우에 적용될 수 있다.

상술된 바와 같이, 본 발명에 따르면, 예측 데이터는 서로 상이한 통과-대역들을 갖는 다수의 필터들을 사용하여 제 2 영상 데이터에 대응하는 교사 영상 데이터로부터 생성되고, 그에 의해, 제 2 영상 데이터는 제 1 영상 데이터의 특성들에 대응하는 예측 데이터를 사용하여 생성되며, 이것은 종래의 경우와 비교하여 영상 품질을 더욱 개선시킬 수 있다.

본 발명은 저 해상도를 갖는 영상 데이터로부터 고 해상도를 갖는 영상 데이터를 생성하는 영상 데이터 변환 장치 및 변환 처리를 위하여 사용되는 예측 계수들을 산출하기 위한 연산 장치에 적절하게 적용된다.

Claims

제 1 영상 데이터를 상기 제 1 영상 데이터보다 높은 품질을 갖는 제 2 영상 데이터로 변환하기 위하여 사용되는 예측 계수들을 산출하는 연산 장치에 있어서:

상기 제 1 영상 데이터보다 높은 품질을 갖는 교사 영상 데이터(teacher image data)를 그의 특성들에 기초하여 다수의 클래스들로 분류하는 클래스 결정부;

상기 교사 영상 데이터에 대해, 상기 클래스 결정부에 의해 결정된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 상기 제 1 영상 데이터와 동일한 품질을 갖는 학생 영상 데이터(pupil image data)를 생성하는 학생 영상 데이터 생성부; 및

상기 학생 영상 데이터 및 상기 교사 영상 데이터에 기초하여 상기 예측 계수들을 생성하는 예측 계수 생성부를 포함하는, 연산 장치.
제 1 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 상기 제 1 영상 데이터보다 높은 해상도를 갖는, 연산 장치.
제 1 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 상기 제 1 영상 데이터보다 많은 수의 픽셀들을 갖는, 연산 장치.
제 2 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 동일한 수의 픽셀들을 갖는, 연산 장치.
제 1 항에 있어서,

상기 예측 계수 생성부는 상기 학생 영상 데이터 및 상기 교사 영상 데이터간의 학습을 수행함으로써 상기 예측 계수들을 생성하는, 연산 장치.
제 1 항에 있어서,

상기 학생 영상 데이터 생성부는, 상기 교사 영상 데이터에 대해, 상기 클래스 결정부에 의해 결정된 상기 클래스들 각각에서 상이한 통과 대역들을 갖는 상기 필터링 처리를 수행하는, 연산 장치.
제 6 항에 있어서,

상기 예측 계수 생성부는 상기 클래스들 각각에서 상이한 예측 계수들을 생성하는, 연산 장치.
제 7 항에 있어서,

상기 학생 영상 데이터 생성부는 상기 클래스 결정부에 의해 결정된 클래스들 각각에서 상이한 통과 대역을 갖는 다운-필터들을 사용하여 필터링 처리를 수행함으로써 상기 학생 영상 데이터를 생성하는, 연산 장치.
제 1 항에 있어서,

상기 클래스 결정부는 상기 특성들로서의 상기 교사 영상 데이터의 움직임에 따라 상기 교사 영상 데이터를 상기 다수의 클래스들 중 임의의 것으로서 분류하는, 연산 장치.
제 1 영상 데이터를 상기 제 1 영상 데이터보다 높은 품질을 갖는 제 2 영상 데이터로 변환하기 위하여 사용되는 예측 계수들을 산출하는 연산 방법에 있어서:

상기 제 1 영상 데이터보다 높은 품질을 갖는 교사 영상 데이터를 그의 특성에 기초하여 다수의 클래스들로 분류하는 단계;

상기 교사 영상 데이터에 대해, 상기 분류된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 상기 제 1 영상 데이터와 동일한 품질을 갖는 학생 영상 데이터를 생성하는 단계; 및

상기 학생 영상 데이터 및 상기 교사 영상 데이터에 기초하여 상기 예측 계수들을 생성하는 단계를 포함하는, 연산 방법.
제 10 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 상기 제 1 영상 데이터보다 높은 해상도를 갖는, 연산 방법.
제 10 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 상기 제 1 영상 데이터보다 많은 수의 픽셀들을 갖는, 연산 방법.
제 11 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 동일한 수의 픽셀들을 갖는, 연산 방법.
제 10 항에 있어서,

상기 예측 계수들을 생성하는 단계에서, 상기 예측 계수들은 상기 학생 영상 데이터 및 상기 교사 영상 데이터간의 학습을 수행함으로써 생성되는, 연산 방법.
제 10 항에 있어서,

상기 학생 영상 데이터를 생성하는 단계에서, 상기 다수의 클래스들로 분류를 수행하는 단계에서 결정된 상기 클래스들 각각에서 상이한 통과-대역들을 갖는 상기 필터링 처리는 상기 교사 영상 데이터에 대해 수행되는, 연산 방법.
제 15 항에 있어서,

상기 예측 계수들을 생성하는 단계에서, 상기 클래스들 각각에서 서로 다른 상이한 예측 계수들이 생성되는, 연산 방법.
제 16 항에 있어서,

상기 학생 영상 데이터를 생성하는 단계에서, 상기 학생 영상 데이터는 상기 다수의 클래스들로 분류를 수행하는 단계에서 결정된 클래스들 각각에서 상이한 통과-대역들을 갖는 다운-필터들을 사용하여 필터링 처리를 수행함으로써 생성되는, 연산 방법.
제 10 항에 있어서,

상기 다수의 클래스들로 분류를 수행하는 단계에서, 상기 교사 영상 데이터는 상기 특성들로서의 상기 교사 영상 데이터의 움직임에 따라 상기 다수의 클래스들 중 임의의 것으로서 분류되는, 연산 방법.
제 1 영상 데이터를 상기 제 1 영상 데이터보다 높은 품질을 갖는 제 2 영상 데이터로 변환하는 변환 장치에 있어서:

다수의 클래스들 각각에 대한 예측 계수들을 기억하는 기억부;

상기 제 1 데이터가 대응하는 클래스를, 그 특성에 기초하여, 상기 다수의 클래스들 중에서 결정하는 클래스 결정부; 및

상기 클래스 결정부에 의해 결정된 클래스에 대응하는 예측 계수에 기초하여 상기 제 1 영상 데이터를 상기 제 2 영상 데이터로 변환하는 변환부를 포함하며,

상기 기억부에 기억된 상기 예측 계수들은,

상기 제 1 영상 데이터보다 높은 품질을 갖는 교사 영상 데이터를 그의 특성들에 기초하여 다수의 클래스들로 분류하는 단계;

상기 교사 영상 데이터에 대해, 상기 분류된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 상기 제 1 영상 데이터와 동일한 품질을 갖는 학생 영상 데이터를 생성하는 단계; 및

상기 학생 영상 데이터 및 상기 교사 영상 데이터에 기초하여 학습을 수행하는 단계를 사전에 수행함으로써 생성되는, 변환 장치.
제 19 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 상기 제 1 영상 데이터보다 높은 해상도를 갖는, 변환 장치.
제 19 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 상기 제 1 영상 데이터보다 많은 수의 픽셀들을 갖는, 변환 장치.
제 20 항에 있어서,

상기 제 2 영상 데이터 및 상기 교사 영상 데이터는 동일한 수의 픽셀들을 갖는, 변환 장치.
제 19 항에 있어서,

상기 학생 영상 데이터를 생성하는 단계에서, 상기 다수의 클래스들로 분류를 수행하는 단계에서 결정된 상기 클래스들 각각에서 상이한 통과 대역들을 갖는 상기 필터링 처리는 상기 교사 영상 데이터에 대해 수행되는, 변환 장치.
제 1 데이터를 상기 제 1 데이터보다 높은 품질을 갖는 제 2 데이터로 변환하기 위하여 사용되는 예측 계수들을 산출하는 연산 장치에 있어서:

상기 제 1 데이터보다 높은 품질을 갖는 교사 데이터를 그의 특성들에 기초하여 다수의 클래스들로 분류하는 클래스 결정부;

상기 교사 데이터에 대해, 상기 클래스 결정부에 의해 결정된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 상기 제 1 데이터와 동일한 품질을 갖는 학생 영상 데이터를 생성하는 학생 데이터 생성부; 및

상기 학생 데이터 및 상기 교사 데이터에 기초하여 상기 예측 계수들을 생성하는 예측 계수 생성부를 포함하는, 연산 장치.
제 24 항에 있어서,

상기 제 1 데이터는 제 1 데이터 수를 갖고, 상기 제 2 데이터는 상기 제 1 데이터 수보다 많은 제 2 데이터 수를 갖고, 상기 교사 데이터는 상기 제 1 데이터 수보다 많은 제 3 데이터 수를 갖는, 연산 장치.
제 25 항에 있어서,

상기 제 2 데이터 수 및 상기 제 3 데이터 수는 동일한, 연산 장치.
제 24 항에 있어서,

상기 제 1 데이터, 상기 제 2 데이터 및 상기 교사 데이터는 영상 데이터인, 연산 장치.
제 24 항에 있어서,

상기 예측 계수 생성부는 상기 제 1 데이터 및 상기 교사 데이터간의 학습을 수행함으로써 상기 예측 계수들을 생성하는, 연산 장치.
제 24 항에 있어서,

상기 학생 데이터 생성부는, 상기 교사 데이터에 대해, 상기 클래스 결정부에 의해 결정된 상기 클래스들 각각에서 상이한 통과 대역들을 갖는 상기 필터링 처리를 수행하는, 연산 장치.
제 29 항에 있어서,

상기 예측 계수 생성부는 상기 클래스들 각각에서 상이한 예측 계수들을 생성하는, 연산 장치.
제 30 항에 있어서,

상기 학생 데이터 생성부는 상기 클래스 결정부에 의해 결정된 클래스들 각각에서 상이한 통과-대역들을 갖는 다운-필터들을 사용하여 필터링 처리를 수행함으로써 상기 학생 데이터를 생성하는, 연산 장치.
제 24 항에 있어서,

상기 제 1 데이터는 소정의 영역에서 상관을 갖는, 연산 장치.
제 1 데이터를 상기 제 1 데이터보다 높은 품질을 갖는 제 2 데이터로 변환하기 위하여 사용되는 예측 계수들을 산출하는 연산 방법에 있어서:

상기 제 1 데이터보다 높은 품질을 갖는 교사 데이터를 그의 특성들에 기초하여 다수의 클래스들로 분류하는 단계;

상기 교사 데이터에 대해, 분류된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 상기 제 1 데이터와 동일한 품질을 갖는 학생 데이터를 생성하는 단계; 및

상기 학생 데이터 및 상기 교사 데이터에 기초하여 상기 예측 계수들을 생성하는 단계를 포함하는, 연산 방법.
제 33 항에 있어서,

상기 제 1 데이터는 제 1 데이터 수를 갖고, 상기 제 2 데이터는 상기 제 1 데이터 수보다 많은 제 2 데이터 수를 갖고, 상기 교사 데이터는 상기 제 1 데이터 수보다 많은 제 3 데이터 수를 갖는, 연산 방법.
제 34 항에 있어서,

상기 제 2 데이터 수 및 상기 제 3 데이터 수는 동일한, 연산 방법.
제 33 항에 있어서,

상기 제 1 데이터, 상기 제 2 데이터 및 상기 교사 데이터는 영상 데이터인, 연산 방법.
제 33 항에 있어서,

상기 예측 계수들을 생성하는 단계에서, 상기 예측 계수들은 상기 학생 데이터 및 상기 교사 데이터간의 학습을 수행함으로써 생성되는, 연산 방법.
제 37 항에 있어서,

상기 예측 계수들을 생성하는 단계에서, 상기 클래스들 각각에서 상이한 예측 계수들이 생성되는, 연산 방법.
제 38 항에 있어서,

상기 학생 데이터를 생성하는 단계에서, 상기 학생 데이터는 상기 다수의 클래스들로 분류를 수행하는 단계에서 결정된 상기 클래스들 각각에서 상이한 통과-대역들을 갖는 다운-필터들을 사용하여 필터링 처리를 수행함으로써 생성되는, 연산 방법.
제 1 데이터를 상기 제 1 영상 데이터보다 높은 품질을 갖는 제 2 데이터로 변환하는 변환 장치에 있어서:

다수의 클래스들 각각에 대한 예측 계수들을 기억하는 기억부;

상기 제 1 데이터가 대응하는 클래스를 그의 특성들에 기초하여 상기 다수의 클래스들 중에서 결정하는 클래스 결정부; 및

상기 제 1 데이터를 상기 클래스 결정부에 의해 결정된 클래스에 대응하는 예측 계수에 기초하여 상기 제 2 데이터로 변환하는 변환부를 포함하며,

상기 기억부에 기억된 상기 예측 계수들은,

상기 제 1 데이터보다 높은 품질을 갖는 교사 데이터를 그의 특성들에 기초하여 다수의 클래스들로 분류하는 단계;

상기 교사 데이터에 대해, 상기 분류된 클래스들 각각에서 상이한 필터링 처리를 수행함으로써 상기 제 1 데이터와 동일한 품질을 갖는 학생 데이터를 생성하는 단계; 및

상기 학생 데이터 및 상기 교사 데이터에 기초하여 학습을 수행하는 단계를 사전에 수행함으로써 생성되는, 변환 장치.
제 40 항에 있어서,

상기 제 1 데이터는 제 1 데이터 수를 갖고, 상기 제 2 데이터는 상기 제 1 데이터 수보다 많은 제 2 데이터 수를 갖고, 상기 교사 데이터는 상기 제 1 데이터 수보다 많은 제 3 데이터 수를 갖는, 변환 장치.
제 41 항에 있어서,

상기 제 2 데이터 수 및 상기 제 3 데이터 수는 동일한, 변환 장치.
제 40 항에 있어서,

상기 제 1 데이터, 상기 제 2 데이터 및 상기 교사 데이터는 영상 데이터인, 변환 장치.