KR100603159B1 - 화상처리장치및화상처리방법 - Google Patents

화상처리장치및화상처리방법 Download PDF

Info

Publication number
KR100603159B1
KR100603159B1 KR1019980030995A KR19980030995A KR100603159B1 KR 100603159 B1 KR100603159 B1 KR 100603159B1 KR 1019980030995 A KR1019980030995 A KR 1019980030995A KR 19980030995 A KR19980030995 A KR 19980030995A KR 100603159 B1 KR100603159 B1 KR 100603159B1
Authority
KR
South Korea
Prior art keywords
pixel
image
interest
class
pixels
Prior art date
Application number
KR1019980030995A
Other languages
English (en)
Other versions
KR19990014318A (ko
Inventor
데츠지로 곤도
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR19990014318A publication Critical patent/KR19990014318A/ko
Application granted granted Critical
Publication of KR100603159B1 publication Critical patent/KR100603159B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Abstract

본 발명은 화소수가 적은 SD 화상으로부터 화소수가 많은 HD 화상을 생성하는데 있어서, 화질이 좋은 HD 화상을 얻을 수 있도록 하는 화상 처리 장치 및 방법이다. 구체적으로, 메모리(101 내지 103)에는 제 1 계층의 SD 화상, 그것보다 화소수가 적은 제 2 계층의 SD 화상, 또한 화소수가 적은 제 3 계층의 SD 화상이 각각 기억되어 있다. 다계층 클래스 분류부(multihierarchical classification unit)(104)에서는 예를 들면, 제 1 내지 제 3 계층의 SD 화상 중 어느 것인가가 선택되고, 주목하고 있는 HD 화상의 화소인 주목 화소(reference pixel)가 선택된 계층의 SD 화상을 구성하는 화소이고, 그 주목 화소의 부근에 있는 것의 성질에 따라서 소정의 클래스로 분류된다. 그리고 적응 처리부(l05)에 있어서, 그 클래스에 대응하여 주목 화소의 예측치를 연산하는 처리(적응 처리)가 행해진다.

Description

화상 처리 장치 및 화상 처리 방법
본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것이며, 특히, 예를 들면 표준 해상도의 화상을 고해상도 화상으로 변환하는 경우 등에 사용하기에 적합한 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
예를 들면, 표준 해상도 또는 저해상도의 화상(이하, SD 화상이라고 한다)을 고해상도의 화상(이하, HD 화상이하고 한다)으로 변환하거나, 또는 화상을 확대하기도 하는 경우에 있어서는 소위 보간 필터 등에 의해 부족한 화소의 화소치의 보간(보상)이 행하여지도록 이루어져 있다.
그러나, 보간 필터에 의해서 화소의 보간을 하더라도 SD 화상에 포함되어 있지 않은 HD 화상 성분(고주파 성분)을 복원할 수는 없기 때문에, 고해상도의 화상을 얻는 것은 곤란했다.
그래서 본건 출원인은 SD 화상을, 거기에 포함되어 있지 않은 고주파 성분도 포함하는 HD 화상으로 변환하는 화상 변환 장치를 우선 제안하고 있다.
이 화상 변환 장치에 있어서는 SD 화상과, 소정의 예측 계수와의 선형 결합에 의해 HD 화상의 화소 예측치를 연산하는 적응 처리를 행함으로 SD 화상에는 포함되어 있지 않은 고주파 성분이 복원되도록 이루어져 있다.
즉, 예를 들면, 지금 HD 화상을 구성하는 화소(이하, HD 화소하고 한다)의 화소치 y의 예측치 E[y]를 몇 개의 SD 화소(SD 화상을 구성하는 화소)의 화소치(이하, 학습 데이터라고 한다) x1, x2,… 와, 소정의 예측 계수 w1, w2,…의 선형 결합에 의해 규정되는 선형 1차 결합 모델에 의해 구하는 것을 생각한다. 이 경우, 예측치 E[y]는 다음식으로 나타낼 수 있다.
E[y]= w1 xl + w2 x2 + …
따라서 일반화하기 위해서, 예측 계수 w 세트의 결합으로 이루어진 행렬 W, 학습 데이터의 집합으로 이루어진 행렬 X, 및 예측치 E[y]의 집합으로 이루어진 행렬 Y'를
로 정의하면, 다음과 같은 관측 방정식이 성립한다.
XW = Y′
그리고 이 관측 방정식에 최소 제곱법을 적용하여 HD 화소의 화소치 y에 가까운 예측치 E[y]를 구할 수 있다. 이 경우, 교사 데이터(teaching date)가 되는 HD 화소의 참 화소치 y의 집합으로 이루어지는 행렬 Y, 및 HD 화소의 화소치 y 에 대한 예측치 E[y]의 잔차(residuals) e 집합으로 이루어지는 행렬 E를
로 정의하면, 수학식 2에서 다음과 같은 잔차 방정식이 성립한다.
XW = Y + E
이 경우, HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하기 위한 예측 계수 wi는 예를 들면, 제곱 오차
는 최소로 함으로써 구할 수 있다.
따라서 상술의 제곱 오차를 예측 계수 wi에서 미분한 것이 0이 되는 경우, 즉, 다음 수학식 4를 만족시키는 예측 계수 wi가 HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하기 때문에 최적치가 된다.
그래서 우선, 수학식 3을 예측 계수 wi에서 미분함으로써 수학식 5가 성립한다.
수학식 4 및 수학식 5로부터 수학식 6이 얻어진다.
또한, 수학식 3의 잔차 방정식에서의 학습 데이터 x, 예측 계수 w의 세트, 교사 데이터 y, 및 잔차 e의 관계를 고려하면, 수학식 6으로부터 다음과 같은 정규 방정식을 얻을 수 있다.
수학식 7의 정규 방정식은 구해야할 예측 계수 w의 세트 수와 같은 수만큼 세울 수 있고, 따라서 수학식 7을 푸는 것으로(단, 수학식 7을 푸는데는 수학식 7에 있어서 예측 계수 w의 세트에 관련된 계수로 구성되는 행렬이 정측일 필요가 있다), 최적의 예측 계수 w의 세트를 구할 수 있다. 또한, 수학식 7을 푸는데 예를 들면, 소거법(Causs-Jordan의 소거법) 등을 적용하는 것이 가능하다.
이상과 같이, 최적의 예측 계수 w의 세트를 구해 두고, 또한 그 예측 계수의 세트를 사용하여, 수학식 1에 의해 HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하는 것이 적응 처리이다.
또, 적응 처리는 SD 화상에는 포함되어 있지 않은 HD 화상에 포함되는 성분이 재현되는 점에서 보간 처리와는 다르다. 즉, 적응 처리로서는 식(l)만을 보는 한은 소위 보간 필터를 사용한 보간 처리와 동일하지만, 그 보간 필터의 탭 계수에 상당하는 예측 계수 w의 세트가 교사 데이터 y를 사용한 이른바 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수가 있다. 즉, 용이하게 고해상도의 화상을 얻을 수 있다. 이로부터 적응 처리는 말하자면 화상(의 해상도)의 창조 작용이 있는 처리라고 말할 수 있다.
도 l2는 이상과 같은 적응 처리에 의해, SD 화상을 HD 화상으로 변환하는 화상 변환 장치의 구성예를 도시하고 있다.
SD 화상은 클래스 분류부(20l) 및 적응 처리부(204)에 공급되도록 이루어져 있다. 클래스 분류부(201)는 클래스 탭 생성 회로(202) 및 클래스 분류 회로(203)로 구성되고, 거기서는 적응 처리에 의해 예측치를 구하고자 하는 HD 화소(주목하고 있는 HD 화소)(이하, 주목 화소라고 한다)가 그 주목 화소에 대응하는 SD 화상의 화소 성질에 근거하여 소정의 클래스에 클래스 분류된다.
즉, 클래스 탭 생성 회로(202)로서는 주목 화소의 클래스 분류를 행하는데 사용한다. 그 주목 화소에 대응하는 SD 화소(이하, 클래스 탭이라고 한다)로서 예를 들면, 주목 화소에 대하여 소정의 위치 관계에 있는 복수의 SD 화소가 클래스 분류부(20l)에 공급되는 SD 화상으로부터 추출되어 클래스 분류 회로(203)에 공급된다. 클래스 분류 회로(203)로서는 클래스 탭 생성 회로(202)로부터의 클래스 탭을 구성하는 SD 화소의 획소치의 패턴(화소치의 분포)이 검출되며 그 패턴에 미리 할당된 값이 주목 화소의 클래스로서 적응 처리부(204)에 공급된다.
구체적으로는 예를 들면, 지금 HD 화상이 도 13에 있어서, X 표시로 나타내는 화소(HD 화소)로 구성되고, SD 화상이 같은 도면에 있어서 ○ 표시로 나타내는 화소(SD 화소)로 구성된다. 또, 도 l3에서는 SD 화상이 HD 화상의 가로 또는 세로의 화소수를 각각 l/2로 하여 구성되어 있다. 여기에서, 도 13에 있어서는 (후술하는 도 l4 내지 도 16에 있어서도 동일) 왼쪽에서 i + 1번째로, 위에서 j + l 번째의 SD 화소(도면 중, ○ 표시로 나타내는 부분)를 Xi,j로 나타내며, 동일하게 왼쪽에서 i′+ 1번째로, 위에서 j′+ l 번째의 HD 화소(도면 중, X 표시로 나타내는 부분)를 Yi',j'로 나타내고 있다. 이 경우, SD 화소 Xi,j의 위치와 HD 화소 Y2i,2j의 위치와는 일치한다.
지금, 어떤 SD 화소로서 예를 들면, X2,2의 위치와 일치하는 HD 화소 Y4,4를 주목 화소로 하면, 클래스 탭 생성 회로(202)에서는 그 HD 화소 Y4,4에 대응하는 SD 화소로서 예를 들면, HD 화소 Y4,4와의 상관이 높다고 예상되는 HD 화소 Y4,4의 위치와 일치하는 SD 화소 X2,2를 중심으로 하는 3 × 3(횡 × 종)의 SD 화소 X1,1′, X2,1′, X3,3′, X1,2′, X2,2′,X3,2′,X1,3′,X3,3′,X3,3'(도 l3에 있어서 점선으로 둘러싸인 범위의 SD 화소)이 추출되고 그것이 주목 화소(HD 화소) Y4,4의 클래스 탭으로 된다.
또한, 예를 들면, X2,2의 위치와 일치하는 HD 화소 Y4,4의 우측 옆의 HD 화소 Y5,4가 주목 화소로 된 경우에는 클래스 탭 생성 회로(202)에서는 그 HD 화소 Y5,4에 대응하는 SD 화소로서, 예를 들면, 도 14에 있어서 점선으로 둘러싸여 도시하는 바와 같이, HD 화소 Y4,4가 주목 화소로 된 경우에 형성되는 클래스 탭 중, SD 화소 X1,2를 대신하여 SD 화소 X4,2를 포함시킨 것이 추출되고, 그 9개의 SD 화소가 주목 화소(HD 화소) Y5,4의 클래스 탭으로 된다.
또한, 예를 들면, X2,2의 위치와 일치하는 HD 화소 Y4,4 의 우측 경사 밑에 인접하는 HD 화소 Y4,5가 주목 화소로 된 경우에는 클래스 탭 생성 회로(202)로서는 그 HD 화소 Y4,5에 대응하는 SD 화소로서 예를 들면, 도 15에 있어서 점선으로 둘러싸 도시하는 바와 같이, HD 화소 Y4,4가 주목 화소로 된 경우에 형성되는 클래스 탭의 중의 SD 화소 X2,1를 대신하여 SD 화소 X2,4를 포함시킨 것이 추출되고, 그 9개의 SD 화소가 주목 화소(HD 화소) Y4,5의 클래스 탭으로 된다.
또한, 예를 들면, X2,2의 위치와 일치하는 HD 화소 Y4,4의 우측 경사 밑에 인접하는 HD 화소 Y5,5가 주목 화소로 된 경우에는 클래스 탭 생성 회로(202)에서는 그 HD 화소 Y5,5에 대응하는 SD화소로서, 예를 들면, 도 16에 있어서 점선으로 둘러싸 도시하는 바와 같이, HD 화소 Y4,4가 주목 화소로 된 경우에 형성되는 클래스 탭 중의 SD 화소 X1,1를 대신하여 SD 화소 X4,4를 포함한 것이 추출되고, 그 9개의 SD 화소가 주목 화소(HD 화소) Y5,5의 클래스 탭으로 된다.
그리고 클래스 분류 회로(203)로서는 클래스 탭 생성 회로(202)로 구성된 클래스 탭으로서 9개의 SD 화소(화소치) 패턴이 검출되고, 그 패턴에 대응하는 값이 주목 화소의 클래스로서 출력된다.
이 클래스는 적응 처리부(204)에 있어서의 계수 ROM(Read 0nly Memory)(207)의 어드레스 단자(AD)에 공급된다.
여기서, 화상을 구성하는 화소에는 일반적으로 8 비트 등이 할당된다. 지금, SD 화소에 8 비트가 할당되고 있다고 하면, 예를 들면, 도 13에 도시한 3 × 3 화소의 정방형상의 클래스 탭만을 생각하더라도, 화소치의 패턴수는 (28)9 라는 막대한 수가 되고, 그 후 처리의 신속화가 곤란해진다.
그래서, 클래스 분류를 하기 전의 전처리로서 클래스 탭에는 그것을 구성하는 SD 화소의 비트 수를 저감하기 위한 처리이다, 예를 들면 ADRC(Adaptive Dynamic Range Coding)처리 등이 실시된다.
즉, ADRC 처리에서는 우선, 클래스 탭을 구성하는 9개의 SD 화소로부터 그 화소치의 최대의 것(이하, 최대 화소라고 한다)과 최소의 것(이하, 최소 화소라고 한다)이 검출된다. 그리고 최대 화소의 화소치 MAX와 최소 화소의 화소치 MIN의 차분 DR(= MAX-MIN)이 연산되고, 이 DR를 클래스 탭의 국소적인 다이내믹 레인지 (dynamic range)로 하고, 이 다이내믹 레인지(DR)에 근거하여 클래스 탭를 구성하는 각 화소치가 원래의 할당 비트 수보다 적은 K 비트에 재양자화된다. 즉, 클래스 탭을 구성하는 각 화소치로부터 최소 화소의 화소치 MIN가 감산되어, 각 감산치가 DR/2K로 제산된다.
그 결과, 클래스 탭을 구성하는 각 화소치는 K 비트로 표현된다. 따라서 예를 들면 K=1로 한 경우, 9개의 SD 화소의 화소수 패턴 수는 (21)9대로 되고, ADRC 처리를 하지 않은 경우에 비교하여 패턴 수를 매우 적은 것으로 할 수 있다.
한편, 적응 처리부(204)는 예측 탭 생성 회로(205), 예측 연산 회로(206), 및 계수 ROM(207)로 구성되고, 거기서는 적응 처리가 행해진다.
즉, 예측 탭 생성 회로(205)에서는 적응 처리부(204)에 공급되는 SD 화상으로부터 예측 연산 회로(206)에 있어서 주목 화소의 예측치를 구하는데 사용되고 그 주목 화소에 대하여 소정의 위치 관계에 있는 복수의 SD 화소가 추출되어, 이것이 예측 탭으로서 예측 연산 회로(206)에 공급된다.
구체적으로는 예를 들면, HD 화소 Y4,4가 주목 화소로 되어 도 l3에서 설명한 클래스 탭이 구성되는 경우, 예측 탭 생성 회로(205)에서는 예를 들면, HD 화소 Y4,4와의 상관이 높다고 예상되는 SD 화소로서, 같은 도면에 실선으로 둘러싸 도시하는 범위의 주목 화소 Y4,4 위치에 일치하는 SD 화소 X2,2를 중심으로 하는 5 × 5의 SD 화소가 추출되며 이것이 주목 화소(HD 화소) Y4,4의 예측 탭으로 된다.
또한, 예를 들면, HD 화소 Y5,4가 주목 화소로 된 경우에는 예측 탭 생성 회로(205)에서는 예를 들면, 도 14에 있어서 실선으로 둘러싸 도시하는 바와 같이, HD 화소 Y4,4가 주목 화소로 된 경우에 형성되는 예측 탭 중의 SD 화소 X0,2 를 대신하여 SD 화소 X5,2를 포함시킨 것이 추출되고, 그 25개의 SD 화소가 주목 화소(HD 화소) Y5,4의 클래스 탭으로 된다.
또한, 예를 들면, HD 화소 Y4,5가 주목 화소로 된 경우에는 예측 탭 생성 회로(205)에서는 예를 들면, 도 l5에 있어서 실선으로 둘러싸 도시하는 바와 같이, HD 화소 Y4,4가 주목 화소로 된 경우에 형성되는 예측 탭 중의 SD 화소 X2,0을 대신하여 SD 화소 X2,5를 포함시킨 것이 추출되고, 그 25개의 SD 화소가 주목 화소(HD 화소) Y4,5의 예측 탭으로 된다.
또한 예를 들면, HD 화소 Y5,5가 주복 화소로 된 경우에는 예측 탭 생성 회로(205)에서는 예를 들면, 도 16에 있어서 실선으로 둘러싸 도시하는 바와 같이, HD 화소 Y4,4가 주목 화소로 된 경우에 형성되는 클래스 탭 중의 SD 화소 X0,0을 대신하여 SD 화소 X5,5를 포함시킨 것이 추출되고, 그 25개의 SD 화소가 주목 화소(HD 화소) Y5,5의 예측 탭으로 된다.
그리고, 예측 연산 회로(206)에는 예측 탭 생성 회로(205)로부터 예측 탭이 공급되는 것 외, 계수 ROM(207)으로부터 예측 계수의 세트도 공급된다.
즉, 계수 R0M(207)은 미리 학습이 행해짐으로서 구해진 예측 계수의 세트를 클래스마다 기억하고 있고, 클래스 분류 회로(203)로부터 클래스가 공급되면 그 클래스에 대응하는 어드레스에 기억되어 있는 예측 계수를 판독하고, 예측 연산 회로 (206)에 공급한다.
이것에 의해, 예측 연산 회로(206)에는 주목 화소에 대응하는 예측 탭과 그 주목 화소의 클래스에 대한 예측 계수의 세트가 공급된다. 그리고, 예측 연산 회로 (206)에서는 계수 ROM(207)로부터의 예측 계수 w, w2… 와, 예측 탭 생성 회로(6)로부터의 예측 탭(을 구성하는 SD 화소) x1, x2,… 를사용하여 식(1)에 나타낸 연산이 행해짐으로써, 주목 화소(HD 화소) y의 예측치 E〔y〕가 구해지고, 이것이 HD 화소의 화소치로서 출력된다.
이상의 처리가 모든 HD 화소를 주목 화소로서 행해지고 이것에 의해, SD 화상이 HD 화상으로 변환된다. 또, 클래스 탭 생성 회로(202) 및 예측 탭 생성 회로 (205)에서는 동일의 HD 화소를 주목 화소로서 처리가 행해진다.
다음에, 도 17은 도 12의 계수 ROM(207)에 기억시키는 클래스마다 예측 계수의 세트를 산출하는 학습 처리를 하는 학습 장치의 구성예를 도시하고 있다.
학습에서 교사 데이터 y가 되어야할 HD 화상이 솎음 회로(decimation circuit; 211) 및 교사 데이터 추출 회로(146)에 공급되도록 이루어져 있고, 솎음 회로(211)에서는 HD 화소가 예를 들면, 그 화소수가 솎아짐으로써 적어지고 이것에 의해 SD 화상으로 된다. 즉, 솎음 회로(211)에서는 HD 화상의 가로 또는 세로의 화소수가 각각 1/2로 되고, 이것에 의해, SD 화상이 형성된다. 이 SD 화상은 클래스 분류부(212) 및 예측 탭 생성 회로(145)에 공급된다.
클래스 분류부(2l2) 또는 예측 탭 생성 회로(l45)에서는 도 l2의 클래스 분류부(201) 또는 예측 탭 생성 회로(205)에 있어서의 경우와 각각 같은 처리가 행해지고, 이것에 의해 주목 화소의 클래스 또는 예측 탭이 각각 출력된다. 클래스 분류부(2l2)가 출력하는 클래스는 예측 탭 메모리(prediction tap memory)(147) 및 교사 데이터 메모리(148)의 어드레스 단자(AD)에 공급되고, 예측 탭 생성 회로 (145)가 출력하는 예측 탭은 예측 탭 메모리(147)에 공급된다. 또, 클래스 분류부 (212) 및 예측 탭 생성 회로(145)에서는 동일의 HD 화소를 주목 화소로서 처리가 행해진다.
예측 탭 메모리(147)에서는 클래스 분류부(212)로부터 공급되는 클래스에 대응하는 어드레스에, 예측 탭 생성 회로(l45)에서 공급되는 예측 탭이 기억된다.
한편, 교사 데이터 추출 회로(146)에서는 클래스 분류부(2l2) 및 예측 탭 생성 회로(145)에 있어서 주목 화소로 되는 HD 화소가 거기에 공급되는 HD 화상으로부터 추출되고 교사 데이터로서 교사 데이터 메모리(l48)에 공급된다.
그리고, 교사 데이터 메모리(l48)에서는 클래스 분류부(212)로부터 공급되는 클래스에 대응하는 어드레스에 교사 데이터 추출 회로(l46)로부터 공급되는 교사 데이터가 기억된다.
이상의 처리가 미리 학습용으로 준비된 모든 HD 화상을 구성하는 모든 HD 화소를 순차, 주목 화소로서 행해진다.
그 결과, 교사 데이터 메모리(148) 또는 예측 탭 메모리(l47)의 동일 어드레스에는 그 어드레스에 대응하는 클래스의 HD 화소, 또는 그 HD 화소에 관해서 도 l3내지 도 16에 있어서 설명한 예측 탭을 구성하는 위치에 있는 SD 화소가 교사 데이터 y 또는 학습 데이터 x로서 각각 기억된다.
또, 예측 탭 메모리(l47)와 교사 데이터 메모리(l48)에 있어서는 동일 어드레스에 복수의 정보를 기억할 수 있도록 이루어져 있고, 이것에 의해 동일 어드레스에는 동일 클래스에 분류되는 복수의 학습 데이터 x와 교사 데이터 y를 기억할 수 있도록 이루어져 있다.
그 후, 연산 회로(149)는 예측 탭 메모리(147) 또는 교사 데이터 메모리 (148)로부터 동일 어드레스에 기억되어 있는 학습 데이터로서의 예측 탭 또는 교사 데이터로서의 HD 화소를 판독하고 그것들을 사용하여 예를 들면, 최소 제곱법에 의해서 예측치와 교사 데이터간의 오차를 최소로 하는 예측 계수의 세트를 산출한다. 즉, 연산 회로(l49)에서는 클래스마다 식(7)에 나타낸 정규 방정식이 세워지고 이것을 푸는 것으로써 예측 계수의 세트가 구해진다.
이상과 같이, 연산 회로(l49)에서 구해진 클래스마다 예측 계수의 세트가 도 12의 계수 ROM(207)에 있어서의 각 클래스에 대응하는 어드레스에 기억되어 있다.
또, 이상과 같은 학습 처리에 있어서, 예측 계수의 세트를 구하는데 필요한 수의 정규 방정식이 얻어지지 않는 클래스가 생기는 경우가 있지만, 그와 같은 클래스에 관해서는 예를 들면, 클래스를 무시하고 정규 방정식을 세워 푸는 것으로서 얻어지는 예측 계수의 세트 등이 소위 디폴트의 예측 계수의 세트로서 사용된다.
적응 처리에 의하면, 원래의 SD 화상에는 포함되어 있지 않은 고주파 성분을 포함한 HD 화상을 얻을 수 있다. 또한, 주목 화소에 관하여 클래스 분류 처리를 하고, 그 결과 얻어지는 클래스에 대응한 예측 계수를 사용하여 적응 처리를 함으로써, 주목 화소에 알맞은 적응 처리를 실시할 수 있다.
그런데, 상술한 화상 변환 장치(도 12)나 학습 장치(도 17)에 있어서는 클래스 탭은 화상의 특성과는 관계없이, 주목 화소에 대하여 예를 들면, 도 13 내지 도 l6에서 설명한 위치 관계에 있는 SD 화소에 의해서 구성된다.
즉, 클래스 탭은 도 l3 내지 도 16에서 설명한 바와 같이, 주목 화소 가까이 에 있는 9개의 SD 화소에 의해 구성된다.
한편, 화상은 휘도치나 색 등이 유사한 화소로 이루어지는 영역, 즉, 소정의 물체가 표시된 영역이나 소정의 색, 모양을 갖는 영역 등으로 분할할 수 있다. 따라서 상술과 같은 클래스 분류를 행하면, 화상 중 다른 영역이어도 예를 들면, 화소의 변화가 거의 없는 부분에 관해서는 주목 화소가 모두 동일한 클래스에 분류될 수가 있다.
그러나 그와 같은 부분이더라도 예를 들면, 주목 화소로부터 어느 정도 떨어진 SD 화소를 클래스 탭에 포함해 클래스 분류를 함으로써, 동일한 클래스에 분류되어 있던 주목 화소가 다른 클래스로 분류되는 수가 있다. 즉, 보다 넓은 범위의 SD 화소로 클래스 탭을 구성함으로써, 주목 화소들을 그 주목 화소들을 위한 적응적인 클래스들로 분류할 수 있다.
그리고 이와 같이 주목 화소들을 이 주목화소들을 위한 적절한 클래스들로 분류될 수 있다면, 주목 화소들에 보다 알맞은 적응적인 처리를 실시하는 것이 가능해지며, 그 결과 얻어지는 HD 화상의 화질은 향상될 수 있다.
본 발명은 이와 같은 상황에 비추어 이루어진 것으로, 화질의 향상을 도모할 수 있도록 한 것이다.
본 발명의 화상 처리 장치는 제 1 화상을 수신하여 주목하고 있는 제 1 화상의 화소인 주목 화소를 주목 화소에 대응하는 제 2 또는 제 3 화상의 화소 성질에 따라서 소정의 클래스로 분류하는 클래스 분류 수단을 구비하는 것을 특징으로 한다.
본 발명의 화상 처리 방법은 제 1 화상을 수신하여 주목하고 있는 제 1 화상의 화소인 주목 화소를 그 주목 화소에 대응하는 제 2 또는 제 3 화상의 화소 성질에 따라서 소정의 클래스로 분류하는 것을 특징으로 한다.
(발명의 실시 형태)
이하에, 본 발명의 실시 형태를 설명한다.
도 l은 본 발명을 적용한 화상 처리 장치의 제 1실시 형태의 구성예를 나타내고 있다.
이 화상 처리 장치에 있어서는 다른 화소수로 구성되는 복수의 SD 화상(제 2나 제 3 화상)을 처리함으로써 그 SD 화상보다도 화소수가 많은 (여기서는 해상도도 높은) HD 화상 (제 l 화상)이 생성되도록 이루어져 있다.
즉, 제 1 계층 메모리(l01), 제 2 계층 메모리(l02), 제 3 계층 메모리(103)에는 제 1 내지 제 3 계층의 SD 화상이 기억되어 있다. 또, 제 l 계층의 SD 화상을 기준으로 하면, 제 2 계층의 SD 화상은 제 1 계층의 SD 화상의 화소수를 적게 한 것으로 되어 있고, 제 3 계층의 SD 화상은 제 2 계층의 SD 화상의 화소수를 적게 한 것으로 되어 있다.
제 1 계층 메모리(10l)에 기억되어 있는 제 1 계층의 SD 화상, 제 2 계층 메모리(l02)에 기억되어 있는 제 2 계층의 SD 화상 및 제 3 계층 메모리(103)에 기억되어 있는 제 3 계층의 SD 화상은 모두 다계층 클래스 분류부(multihierarchical classification unit;104)에 공급된다. 또한, 제 1 계층 메모리(10l)에 기억되어 있는 제 l 계층의 SD 화상은 적응 처리부(l05)에도 공급된다.
다계층 클래스 분류부(104)는 다계층 클래스 분류 회로(104a 내지 104d)로 구성되고, 적응 처리에 의해 예측치를 구하고자 하는 HD 화소인 주목 화소가 제 1 계층 메모리(101), 제 2 계층 메모리(102), 제 3 계층 메모리(l03) 각각으로 제 1내지 제 3 계층의 화상을 구성하는 화소 중, 주목 화소에 대응하는 것을 사용하여 클래스 분류의 한 개인 다층용 클래스 분류된다.
여기서, 본 실시 형태에 있어서는 예를 들면, 제 1 계층의 SD 화상의 가로 또는 세로의 화소수를 각각 2배로 한 수의 화소수로 구성되는 HD 화상이 생성되도록 이루어져 있다. 이 경우, 도 l3 내지 도 16을 참조하여 설명하였듯이, 어떤 SD 화소(여기서는 제 1 계층의 SD 화소)에 대하여 그 SD 화소와 동일 위치에 배치되는 HD 화소와, 그 HD 화소의 오른쪽, 밑, 오른쪽 경사 밑에 각각 인접하는 3개의 HD 화소와의 합계 4개의 HD 화소를 생성할 필요가 있다. 즉, 제 l 계층의 1개의 SD 화소에 대하여 4개의 HD 화소를 생성할 필요가 있다. 이 때문에, 이 4개의 HD 화소의 클래스 분류 처리(여기서는 다계층 클래스 분류 처리)를 동시에 하기 위해서, 다계층 클래스 분류부(l04)는 4개의 다계층 클래스 분류 회로(104a 내지 l04d)로서 구성되어 있다.
다계층 클래스 분류 회로(l04a 내지 104d)에 있어서 4개의 주목 화소의 클래스 분류 결과는 모두 적응 처리부(105)에 공급된다. 적응 처리부(l05)는 다계층 클래스 분류부(l04)가 4개의 다계층 클래스 분류 회로(104a 내지 104d)로 구성되는 것과 같은 이유로부터, 역시 4개의 적응 처리 회로(105a 내지 105d)로 구성되어 있고, 그 4개의 적응 처리 회로(l05a 내지 l05d) 각각에서는 다층용 클래스 분류 회로(104 a 내지 l04d)에서의 클래스 분류 결과 각각에 대응하여 적응 처리가 행해지고, 4개의 주목 화소 각각의 예측치가 구해진다. 적응 처리 회로(l05a 내지 105d)에 있어서 구해진 예측치는 HD 화상 메모리(l06)에 공급되어 기억된다.
즉, HD 화상 메모리(106)는 다계층 클래스 분류부(104)나 적응 처리부(l05)에 있어서의 경우와 같이 4개의 메모리(106a 내지 106d)로 구성되어 있다. 그리고 메모리(l06a 내지 106d)에 있어서 적응 처리부(105a 내지 105d)에서 공급되는 예측치가 각각 기억된다.
또, 여기서는 제 1 계층이 있는 SD 화소에 대하여 그 SD 화소와 동일 위치에 배치되는 HD 화소에 관해서는 예를 들면, 다계층 클래스 분류 회로(104a) 또는 적응 처리 회로 (l05a)에서 다계층 클래스 분류 또는 적응 처리가 행해지고, 그 예측치가 메모리(106a)에 기억되도록 이루어져 있다. 또한, 제 l 계층이 있는 SD 화소에 대하여 그 SD 화소와 동일 위치에 배치되는 HD 화소의 오른쪽, 아래 또는 오른쪽경사 밑에 각각 인접하는 HD 화소에 관해서는 다층용 클래스 분류 회로(104b) 및 적응 처리 회로(105b), 다층용 클래스 분류 회로(104c) 및 적응 처리 회로(105c) 또는 다계층 클래스 분류 회로(104d) 및 적응 처리 회로(105d)에서 각각 처리가 행해지고, 그 결과 얻어지는 각각의 예측치가 메모리(106b 내지 l06d)에 기억되도록 이루어져 있다.
다음에, 다계층 클래스 분류부(104) 및 적응 처리부(l5)를 상세히 설명하지만, 그 전에, 제 l 계층 메모리(l01), 제 2 계층 메모리(102), 제 3 계층 메모리 (l03)에 각각 기억되어 있는 제 1 내지 제 3 계층의 SD 화상의 생성 방법에 관해서 설명한다.
도 2는 제 1 내지 제 3 계층의 SD 화상을 생성하는 기억 장치의 구성예를 도시하고 있다.
이 기억 장치는 예를 들면, 1 칩의 CMOS(Complementary Metal 0xide Semiconductor) 등으로 구성되고, 거기에 입력되는 SD 화상을 제 1 계층의 SD 화상으로 하고, 그 제 1 계층의 SD 화상보다도 화소수가 적은 제 2의 SD 화상, 및 그 제 2의 SD 화상보다도 화소수가 적은 제3의 SD 화상을 생성하는 3 계층의 계층 부호화를 행하도록 이루어져 있다.
즉, 어드레스 공급 회로(1)에는 기억 장치에 입력되는 화상을 구성하는 SD 화소의 수평 방향 또는 수직 방향 위치에 대응한 어드레스 각각으로서 수평 어드레스 또는 수직 어드레스가 공급되도록 이루어져 있다.
또한, 본 실시 형태에서는 예를 들면, 도 3에 도시한 수평 방향이 512 화소로, 수직 방향이 512라인에서 1 화소가 구성되는 화상(디지털 화상 데이터)이 제 1 계층의 SD 화상으로서 입력되는 것으로 한다. 따라서 수평 어드레스 및 수직 어드레스는 모두 9(=log2512)비트로 표시된다.
또한, 본 실시 형태에서는 상술한 바와 같이, 제 1 계층의 SD 화상의 가로 또는 세로의 화소수를 각각 2배로 한 HD화상이 생성되므로 그 HD화상의 1면은 1024×1024 화소로 구성된다.
어드레스 공급회로(1)는, 거기에 공급되는 수평 어드레스 및 수직 어드레스를 필요에 따라서 가공하며, 제 l 계층 메모리(2), 제 2 계층 메모리(3) 및 제 3 계층 메모리(4)에 공급하도록 이루어져 있다. 또, 어드레스 공급회로(1)에는 수평 어드레스 및 수직 어드레스 외에, 클록(후술하는 도 3 내지 도 6 및 도 8에 있어서는 도시하지 않음), R/W(Read/Write) 신호 및 계층 플래그도 공급되도록 이루어져 있고, 어드레스 공급회로(1)는 그 클록에 동기하여 제 1 계층 메모리(2), 제 2 계층 메모리(3) 및 제 3 계층 메모리(4)에 어드레스를 공급하도록 이루어져 있다. 또한, 어드레스 공급회로(1)는 R/W 신호나 계층 플래그에 대응하여, 거기에 공급되는 수평 어드레스 및 수직 어드레스를 가공하도록 이루어져 있다. 더욱이, 어드레스 공급회로(1)는 필요에 따라서 소정의 제어 신호를 RMW(Read Modify Write) 회로(5)에 공급하도록 이루어져 있다.
여기서, R/W 신호는 기억 장치로부터의 화상 데이터의 판독, 또는 기억 장치 에의 화상 데이터의 기록을 지시하는 신호이고, 계층 플래그는 기억 장치에 기억된 화상을 판독하는 경우에, 제 l 내지 제 3 계층의 SD 화상 중 어느 하나를 판독하는 가를 지시하기 위한, 예를 들면 2 비트의 플래그이다. 또한, 화상 데이터의 기록은 예를 들면, 제 l 계층 메모리(2), 제 2 계층 메모리(3) 및 제 3 계층 메모리(4)에 대하여 동시에 행해지도록 이루어져 있고, 따라서 R/W 신호가 기록을 나타내고 있는 경우는, 계층 플래그는 무시된다(의미를 갖지 않는다). 또한, 판독은 제 1 계층 메모리(2), 제 2 계층 메모리(3), 제 3 계층 메모리(4) 각각에 관해서 개별로 행해지도록 이루어져 있고, 따라서 계층 플래그는 판독 시에 있어서만 유효하게 된다. 단, 제 1 계층 메모리(2), 제 2 계층 메모리(3), 제 3 계층 메모리(4)로부터의 판독도 동시에 행하도록 하는 것이 가능하다. 이 경우, 계층 플래그는 사용할 필요가 없다.
제 1 계층 메모리(2)는 어드레스 공급회로(1)에 의해서 지정되는 어드레스에, RMW 회로(5)로부터 공급되는 화상 데이터를 기억하고, 또한, 그 어드레스에 기억되어 있는 화상 데이터를 판독 RMW 회로(5)에 출력하도록 이루어져 있다. 또한, 제 l 계층 메모리(2)는 제 1 계층의 SD 화상, 즉, 여기서는 기억 장치에 입력되는 화상 데이터를 그대로 기억하도록 이루어져 있다. 또한, 제 l 계층 메모리(2)는 적어도, 1 화면분의 제 l 계층의 SD 화상, 즉, 여기서는, 도 2에 도시한 바와 같이 512 × 512 화소의 화상 데이터를 기억할 수 있도록 이루어져 있다. 더욱이, 제 l 계층 메모리(2)를 구성하는 메모리 셀은, 적어도, 제 1 계층의 SD 화상을 구성하는 화소에 할당된 비트 수와 동일한 데이터 길이를 가지고 있다. 즉, 제 1 계층의 SD 화상을 구성하는 화소가, 예를 들면, 8비트로 나타낼 때 제 1 계층 메모리(2)를 구성하는 메모리 셀은 적어도 8비트의 데이터 길이를 가지고 있다.
제 2 계층 메모리(3)는 어드레스 공급회로(1)에 의해서 지정되는 어드레스에, RMW 회로(5)로부터 공급되는 화상 데이터를 기억하며, 또, 그 어드레스에 기억되어 있는 화상 데이터를 판독 RMW 회로(5)에 출력하도록 이루어져 있다. 또한, 제 2 계층 메모리(3)는 제 2 계층의 SD 화상을 기억하도록 이루어져 있다. 즉, 본 실시 예에서는 예를 들면, 제 l 계층의 SD 화상을 구성하는 2 × 2(가로 ×세로)의 4화소로부터, 제 2 계층의 1의 화소가 형성되도록 이루어져 있고, 제 2 계층 메모리(3)는 그와 같은 화소로 구성되는 제 2 계층의 SD 화상을 기억하도록 이루어져 있다. 또, 제 2 계층 메모리(3)는 적어도, l 화면분의 제 2 계층의 SD 화상을 기억할 수 있는 기억 용량을 가지고 있다. 즉, 여기서는, 제 l 계층의 2 × 2 화소로부터 제 2 계층의 l의 화소가 형성되기 때문에, 제 2 계층의 SD 화상은, 256 × 256(=512/2 × 512/2) 화소로 구성되게 된다. 따라서 제 2 계층 메모리(2)는 그와 같은 수의 화소수로 구성되는 제 2 계층의 SD 화상을 적어도 기억할 수 있도록 이루어져 있다. 더욱이, 제 2 계층 메모리(3)를 구성하는 메모리 셀은 적어도, 제 2 계층의 SD 화상을 구성하는 화소의 등급을 떨어뜨리지 않고 기억할 수 있는 데이터 길이를 가지고 있다. 즉, 본 실시 예에서는 제 1 계층의 화소가 8비트로 나타내기 때문에, 그와 같은 8비트의 화소의 4개의 가산치인 제 2 계층의 화소는 10(=log2(28+28+28+28)) 비트로 나타내게 된다. 따라서, 제 2 계층 메모리(3)를 구성하는 메모리 셀은 적어도 10 비트의 데이터 길이를 가지고 있다.
제 3 계층 메모리(4)는 어드레스 공급회로(1)에 의해서 지정되는 어드레스에 RMW 회로(5)로부터 공급되는 화상 데이터를 기억하며, 또, 그 어드레스에 기억되어 있는 화상 데이터를 판독하여 RMW 회로(5)에 출력하도록 이루어져 있다. 또한, 제 3 계층 메모리(4)는 제 3 계층의 SD 화상을 기억하도록 이루어져 있다. 즉, 본 실시 예에서는 예를 들면, 제 2 계층의 SD 화상을 구성하는 인접하는 2 × 2의 4화소, 따라서, 제 1 계층의 SD 화상을 구성하는 4 ×4 화소의 가산치가, 제 3 계층의 l의 화소가 형성되도록 이루어져 있고, 제 3 계층 메모리(4)는 그와 같은 화소로 구성되는 제 3 계층의 SD 화상을 기억하도록 이루어져 있다. 또한, 제 3 계층 메모리 (4)는 적어도, 1화면분의 제 3 계층의 SD 화상을 기억할 수 있는 기억 용량을 가지고 있다. 즉, 여기서는, 제 2 계층의 2 × 2 화소로부터 제 3 계층의 1의 화소가 형성되기 때문에, 제 2 계층의 SD 화상의 1화면은 128 × 128(=256/2 × 256/2) 화소로 구성되게 된다. 따라서 제 3 계층 메모리(4)는 그와 같은 수의 화소수로 구성되는 제 3 계층의 SD 화상을 적어도 기억할 수 있도록 이루어져 있다. 더욱이, 제 3 계층 메모리(4)를 구성하는 메모리 셀은 적어도 제 3 계층의 SD 화상을 구성하는 화소의 등급을 떨어뜨리지 않고 기억할 수 있는 데이터 길이를 가지고 있다. 즉, 본 실시 예에서는 제 2 계층의 화소가 상술한 바와 같이 10 비트로 나타내기 때문에, 그와 같은 10 비트 화소의 4개의 가산치인 제 3 계층의 화소는 l2(=log2(210+210+210+210)) 비트로 나타내게 된다. 따라서, 제 3 계층 메모리(4)를 구성하는 메모리 셀은 적어도 12 비트의 데이터 길이를 가지고 있다.
또한, 제 1 계층 메모리(2), 제 2 계층 메모리(3), 및 제 3 계층 메모리(4)에는 클록이 공급되도록 이루어져 있고, 이 클록에 동기하여 데이터의 판독 기록이 행해지도록 이루어져 있다.
RMW 회로(5)는 기억 장치에 공급되는 화상 데이터를 제 l 계층의 SD 화상으로서 제 1 계층 메모리(2)에 기록하도록 이루어져 있다. 또, RMW 회로(5)는 제 1 계층의 SD 화상으로부터 제 2 계층의 SD 화상을 산출하는 처리를 행해, 제 2 계층 메모리(3)에 기록하도록 이루어져 있다. 더욱이, RMW 회로(5)는 제 l 계층의 SD 화상(또는 제 2 계층의 SD 화상)으로부터 제 3 계층의 SD 화상을 산출하는 처리를 행해, 제 3 계층 메모리(4)에 기록하도록 이루어져 있다. 또한, RMW 회로(5)는 제 l 계층 메모리(2), 제 2 계층 메모리(3) 또는 제 3 계층 메모리(4)에 각각 기억된 화상 데이터를 판독 출력하도록 이루어져 있다. 또한, RMW 회로(5)에는 클록, R/W 신호, 계층 플래그, 어드레스 공급회로(1)가 출력하는 제어 신호가 공급되도록 이루어져 있고, RMW 회로(5)는 클록에 동기하여 R/W 신호, 계층 플래그, 제어 신호에 근거하여 각종의 처리를 행하도록 이루어져 있다.
다음에, 그 동작에 관해서, 도 3 내지 도 5를 참조하여 설명한다.
또한, 여기서는 상술한 도 3에 도시한 바와 같이, 1화면이 512 × 512 화소로 구성되어, 각 화소가 8비트로 나타내는 화상 데이터가 제 1 계층의 SD 화상으로서 기억 장치에 공급되는 것으로 한다. 또한, 화상 데이터는 이른바 순차적으로 주사되어 공급되는 것으로 한다.
더욱이, 제 1 계층의 SD 화상을 구성하는 화소를 그 가장 좌측 위의 화소를 h(0, 0)로 하고, 이하, 이와 같이 하여, 좌측으로부터 x+1 번째로, 위에서 y+1 번째에 있는 화소를 h(x, y)로 나타낸다. 제 1 계층의 SD 화상은 상술한 바와 같이, 512 × 512 화소로 구성되기 때문에 x, y는 어느 것이나 0 내지 511(=29-l)의 범위의 정수치를 갖는다.
또한, 0 내지 255(=29/2-1)의 범위의 정수치를 갖는 변수 s, t를 고려하면, 제 2 계층의 SD 화상을 구성하는 화소는 제 1 계층의 인접하는 2 × 2 화소
h(2s, 2t), h(2s+1, 2t),
h(2s, 2t+1), h(2s+1, 2t+1)
의 가산치로 되지만, 그것을 m(s, t)으로 나타낸다. 따라서
m(s, t)=h(2s, 2t)+h(2s+1, 2t)+h(2s, 2t+1)+h(2s+1, 2t+1)
가 성립한다.
더욱이, 0 내지 127(=29/4-1)의 범위의 정수치를 갖는 변수 m, n을 고려하면, 제 3 계층의 SD 화상을 구성하는 화소는 제 2 계층의 인접하는 2 × 2 화소
m(2m, 2n), m(2m+1, 2n),
m(2m, 2n+1), m(2m+1, 2n+1)
의 가산치, 즉, 제 1 계층의 인접하는 4 ×4 화소
h(4m, 4n), h(4m+1, 4n), h(4m+2, 4n), h(4m+3, 4n),
h(4m, 4n+1), h(4m+1, 4n+1), h(4m+2, 4n+1), h(4m+3, 4n+1),
h(4m, 4n+2), h(4m+1, 4n+2), h(4m+2, 4n+2), h(4m+3, 4n+2),
h(4m, 4n+3), h(4m+1, 4n+3), h(4m+2, 4n+3), h(4m+3, 4n+3)
의 가산치가 되지만, 그것을 q(m, n)으로 나타낸다. 따라서
q(m, n)=m(2m, 2n)+m(2m+1, 2n)+m(2m, 2n+1)+m(2m+1, 2n+1)
=h(4m, 4n)+h(4m+1, 4n)+h(4m+2, 4n)+h(4m+3, 4n)
+h(4m, 4n+1)+h(4m+1, 4n++1)+h(4m+2, 4n+1)+h(4m+3, 4n+1)
+h(4m, 4n+2)+h(4m+1, 4n+2)+h(4m+2, 4n+2)+h(4m+3, 4n+2)
+h(4m, 4n+3)+h(4m+1, 4n+3)+h(4m+2, 4n+3)+h(4m+3, 4n+3)
이 성립한다.
또한, 어드레스 공급회로(1)에는 데이터의 기록시 및 판독시의 어느 쪽의 경우도, 수평 어드레스(HA) 및 수직 어드레스 VA의 조합(HA, VA)이,
(0, 0), (1, 0),···,(511, 0),
(0, l), (1, l),···,(511, 1),
·
·
·
(511, 0), (511, 1),···,(511, 511)
의 순(순차적 주사에 대응하는 순)으로, 클록에 동기하여 공급되는 것으로 한다.
더욱이, 9 비트의 수평 어드레스 HA의 각 비트를 그 최하위 비트를 ha0으로서, ha1, ha2,···, ha8(ha8은 최상위 비트)로 나타내는 동시에, 9 비트의 수직 어드레스 VA의 각 비트도 마찬가지로, 그 최하위 비트를 va0으로서, va1, va2, ···, va8(va8은 최상위 비트)로 나타낸다.
또한, 기억 장치에의 화상 데이터의 기록시에는 RMW 회로(5)에는 제 l 계층의 SD 화상이 클록에 동기하여 순차적으로 주사되어 공급되며, 이것에 따라, 어드레스 공급회로(1)에는 수평 어드레스 HA 및 수직 어드레스 VA가 상술한 바와 같이 공급되는 것으로 한다.
이 경우, 제 1 계층 메모리(2)에의 액세스는 다음과 같이 하여 행해진다.
즉, 도 4에 도시하는 바와 같이, 우선 기록시(R/W 신호가 기록을 나타내고 있는 경우)에 있어서는, 어드레스 공급회로(1)는 거기에 공급되는 수평 어드레스 HA 및 수직 어드레스 VA를, 그대로, 제 1 계층 메모리(2)의 어드레스 단자(ADh, ADv)에 공급한다. 한편, RMW 회로(5)는 거기에 공급되는 제 l 계층의 SD 화상 데이터(SD 화소(화소치)를 수평 어드레스 HA 및 수직 어드레스 VA에 의해서 지정되어 있는 제 l 계층 메모리(2)의 메모리 셀(도시하지 않음)에 기록한다. 이하, 이와 같은 처리가 행해지는 것으로, 512 × 512 화소로 구성되는 1화면분의 제 l 계층의 SD 화상이, 제 1 계층 메모리(2)에 기억된다. 즉, 이것에 의해, 제 l 계층 메모리(2)의 어드레스
(0, 0), (l, 0),···, (511, 0),
(0, 1), (1, l),···, (511, 1),
···
(511, 0), (511, l),···, (511, 511)
에는 제 1 계층의 화소(화소치)
h(0, 0), h(l, 0),···, h(511, 0),
h(0, 1), h(1, 1),···, h(511, 1),
···
h(511, 0), h(511, l),···, h(511, 511)
이 각각 기억된다.
판독시(R/W 신호가 판독을 나타내고 있는 경우)에 있어서는, 어드레스 공급회로(1)는 계층 플래그가 제 1 계층을 나타내고 있으면, 역시, 거기에 공급되는 수평 어드레스 HA 및 수직 어드레스 VA를 그대로, 제 1 계층 메모리(2)의 어드레스 단자에 공급한다. 그리고 RMW 회로(5)는 수평 어드레스 HA 및 수직 어드레스 VA에 의해서 지정되어 있는 제 1 계층 메모리(2)의 메모리 셀에 기억되어 있는 제 1 계층의 SD 화상 데이터를 판독, 이하, 이와 같은 처리가 행해지는 것으로, 512×512 화소로 구성되는 1화면분의 제 l 계층의 SD 화상이, 제 l 계층 메모리(2)로부터 판독된다. 즉, 이것에 의해, 순차적으로 주사된 제 1 계층의 SD 화상이 출력된다.
다음에, 제 2 계층 메모리(3)에의 액세스에 관해서 설명한다.
우선 기록시에 있어서는 어드레스 공급회로(1)는 예를 들면, 도 5에 도시하는 바와 같이, 거기에 공급되는 수평 어드레스 HA의 일부로서의, 그중 최하위 비트 (ha0)를 제외하는 상위 8비트(ha1 내지 ha8)와, 수직 어드레스 VA의 일부로서의 최하위 비트(va0)를 제외하는 상위 8비트(va1 내지 va8)를 제 2 계층 메모리(3)의 어드레스 단자에 공급한다. 더욱이, 어드레스 공급회로(1)는 수평 어드레스 HA의 최하위 비트(ha0)와, 수직 어드레스 VA의 최하위 비트(va0)를 제어 신호로서 RMW 회로(5)에 출력한다.
따라서 예를 들면, 도 3에 D1로 도시하는 바와 같은 제 l 계층의 2 × 2의 4화소 h(2s, 2t), h(2s+1, 2t), h(2s, 2t+1), h(2s+1, 2t+1)가 RMW 회로(5)에 공급되는 타이밍에 있어서는, 어느 쪽의 타이밍이라도 어드레스 공급회로(1)는 제 2 계층 메모리(3)의 동일 어드레스 (s, t)를 지정하는 신호를 제 2 계층 메모리(3)에 출력한다.
한편, RMW 회로(5)에서는 거기에 공급되는 제 1 계층의 SD 화상 데이터가 연산기(13)에 입력된다. 연산기(13)에는 제 1 계층의 SD 화상 데이터 외에, 스위치 (12)의 출력이 공급되도록 이루어져 있고, 연산기(13)는 그들을 가산하여 기록부 (14)에 공급하도록 이루어져 있다.
스위치(12)는 NOR 게이트(15)의 출력에 대응하여, 단자(12a 또는 12b) 중의 어느 것인가 한쪽을 선택하도록 되어 있고, 또, 단자(12a 또는 12b)에는 판독부 (11)의 출력 또는 0이 각각 공급되도록 되어 있다. NOR 게이트(15)에는 어드레스 공급회로(1)로부터의 수평 어드레스 HA의 최하위 비트(ha0)와 수직 어드레스 VA의 최하위 비트(va0)가 공급되도록 되어 있고, 따라서, 그 출력은 최하위 비트(ha0 및 va0)가 어느 것이나 0인 경우, 즉, 제 1 계층의 2 × 2 화소 h(2s, 2t), h(2s+1, 2t), h(2s, 2t+1), h(2s+1, 2t+1) 중 좌측 위의 화소 h(2s, 2t)가 연산기(13)에 공급되는 타이밍의 경우만 H 레벨이 되고, 다른 경우는 L 레벨로 되도록 구성되어 있다.
그리고 스위치(12)는 NOR 게이트(15)의 출력이 L 레벨 또는 H 레벨일 때, 단자(12a 또는 12b)를 각각 선택하도록 되어 있다.
또한, 판독부(11)는 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스에 기억되어 있는 데이터(기억 데이터)를 판독하도록 되어 있다.
따라서, 제 1 계층의 2 × 2 화소 h(2s, 2t), h(2s+1, 2t), h(2s, 2t+1), h(2s+1, 2t+1) 중 좌측 위의 화소 h(2s, 2t)가 연산기(13)에 공급되는 타이밍에 있어서는, 판독부(11)에 있어서, 제 2 계층 메모리(3)의 어드레스(s, t)에 기억된 데이터가 판독되고, 단자(12a)에 공급되지만, 이 경우, 수평 어드레스 HA의 최하위 비트(ha0) 및 수직 어드레스 VA의 최하위 비트(va0)는 어느 것이나 0이므로, NOR 게이트(15)의 출력은 H 레벨로 되며, 스위치(12)는 단자(12b)를 선택한다.
그 결과, 연산기(13)에는 스위치(12)를 통하여 0이 공급된다.
연산기(13)에서는 이 0과 제 l 계층의 화소 h(2s, 2t)가 가산되며, 그 가산치(0+h(2s, 2t))가, 기록부(14)에 공급된다. 기록부(14)는 연산기(13)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스 즉, 제 2 계층 메모리 (3)의 어드레스(s, t)에 기록한다.
다음에, 제 1 계층의 2 × 2 화소 h(2s, 2t), h(2s+1, 2t), h(2s, 2t+1), h(2s+1, 2t+1)중 좌측 위의 화소 h(2s, 2t)의 오른쪽 가까이한 화소 h(2s+1, 2t)가 연산기(13)에 공급되는 타이밍에 있어서는 판독부(11)에 있어서, 역시, 제 2 계층 메모리(3)의 어드레스(s, t)에 기억된 데이터(여기서는, 0+h(2s, 2t))가 판독되며 단자(12a)에 공급된다.
한편, 이 경우, 수평 어드레스HA의 최하위 비트(ha0)는 1로, 수직 어드레스 VA의 최하위 비트(va0)는 0으로 되어 있기 때문에, NOR 게이트(15)의 출력은 L 레벨로 되며, 스위치(12)는 단자(12a)를 선택한다.
그 결과, 연산기(13)에는 스위치(12)를 통하여, 판독부(11)에 있어서 판독된 데이터(기억 데이터)(여기서는, 0+h(2s, 2t))가 공급된다.
연산기(13)에서는 스위치(12)를 통하여 공급되는 데이터와, 제 l 계층의 화소 h(2s+1, 2t)가 가산되며, 그 가산치(0+h(2s, 2t)+h(2s+1, 2t))가 기록부(14)에 공급된다. 기록부(14)는 연산기(13)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스 즉, 제 2 계층 메모리(3)의 어드레스(s, t)에 기록한다.
그 후, 제 1 계층의 위에서 2t+1 라인 째의 화상 데이터의 공급이 개시되고, 제 1 계층의 2 × 2 화소 h(2s, 2t), h(2s+1, 2t), h(2s, 2t+1), h(2s+1, 2t+1)중 좌측 아래의 화소 h(2s, 2t+1)가 연산기(13)에 공급되면 판독부(11)에 있어서, 역시, 제 2 계층 메모리(3)의 어드레스(s, t)에 기억된 데이터(여기서는, 0+h(2s, 2t)+h(2s+1, 2t))가 판독되어 단자(12a)에 공급된다.
한편, 이 경우, 수평 어드레스 HA의 최하위 비트(ha0)는 0으로, 수직 어드레스 VA의 최하위 비트(va0)는 l로 되어 있기 때문에, NOR 게이트(15)의 출력은 L 레벨이 되며, 스위치(12)는 단자(12a)를 선택한다.
그 결과, 연산기(13)에는 스위치(12)를 통하여, 판독부(11)에 있어서 판독된 데이터(기억 데이터)(여기서는, 0+h(2s, 2t)+h(2s+1, 2t))가 공급된다.
연산기(13)에서는 스위치(12)를 통하여 공급되는 데이터와, 제 1 계층의 화소 h(2s, 2t+1)가 가산되며, 그 가산치(0+h(2s, 2t)+h(2s+1, 2t)+h(2s, 2t+1))가, 기록부(14)에 공급된다. 기록부(14)는 연산기(13)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스, 즉, 제 2 계층 메모리(3)의 어드레스(s, t)에 기록한다.
다음에, 제 1 계층의 2 × 2 화소 h(2s, 2t), h(2s+1, 2t), h(2s, 2t+1), h(2s+1, 2t+1)중 좌측 아래의 화소 h(2s, 2t+1)의 오른쪽 부근인 화소 h(2s+1, 2t+1)가 연산기(13)에 공급되면 판독부(11)에 있어서, 역시, 제 2 계층 메모리(3)의 어드레스(s, t)에 기억된 데이터(여기서는, 0+h(2s, 2t)+h(2s+1, 2t)+h(2s, 2t+1))가 판독되어 단자(12a)에 공급된다.
한편, 이 경우 수평 어드레스 HA의 최하위 비트(ha0) 및 수직 어드레스 VA의 최하위 비트(va0)는 어느 것이나 1로 되어 있기 때문에, NOR 게이트(15)의 출력은 L 레벨로 되고, 스위치(12)는 단자(12a)를 선택한다.
그 결과, 연산기(13)에는 스위치(12)를 통하여 판독부(11)에 있어서 판독된 데이터(기억 데이터)(여기서는, 0+h(2s, 2t)+h(2s+1, 2t)+h(2s, 2t+1))가 공급된다.
연산기(13)에서는, 스위치(12)를 통하여 공급되는 데이터와, 제 l 계층의 화소 h(2s+1, 2t+1)가 가산되며, 그 가산치(0+h(2s, 2t)+h(2s+1, 2t)+h(2s, 2t+1)+h(2s+1, 2t+1))가 기록부(14)에 공급된다. 기록부(14)는 연산기(13)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스 즉, 제 2 계층 메모리(3)의 어드레스(s, t)에 기록한다.
따라서, 제 2 계층 메모리(3)의 어드레스(s, t)에는 최종적으로는 식 h(2s, 2t)+h(2s+1, 2t)+h(2s, 2t+1)+h(2s+1, 2t+1)로 나타내는 가산치, 즉, 상술한 수학식 8에 나타낸 제 2 계층의 화소(화소치) m(s, t)이 기억되게 된다.
이상과 같이 하여, 제 2 계층 메모리(3)에는 256 × 256 화소로 l 화면이 구성되는 제 2 계층의 SD 화상이 기억된다.
이상과 같이, 제 l 계층의 SD 화상 데이터를 수평 어드레스 HA 및 수직 어드레스 VA에 의해서 지정되는 제 l 계층 메모리(2)의 어드레스 HA, VA에 기록하는 동시에 수평 어드레스 HA 및 수직 어드레스 VA의 일부 ha1 내지 ha8 및 val 내지 va8에 의해서 지정되는 제 2 계층 메모리의 어드레스로부터, 거기에 기억되어 있는 기억 데이터를 판독, 그 기억 데이터와 제 1 계층의 SD 화상 데이터를 가산하는 처리를 행하고, 그 가산치를 기억 데이터가 기억되어 있는 제 2 계층 메모리의 어드레스에 기록하도록 하였기 때문에, 제 1 계층의 SD 화상 데이터를 기억하는 것과 동시에, 제 2 계층의 SD 화상 데이터를 생성하고 기억할 수 있다. 즉, 실시간으로 제 2 계층의 SD 화상 데이터를 얻을 수 있다.
다음에, 제 2 계층 메모리(3)로부터의 제 2 계층의 SD 화상의 판독에 관해서 설명한다.
판독 시에 있어서는, 어드레스 공급회로(1)는 계층 플래그가 제 2 계층을 나타내고 있는 경우, 역시, 거기에 공급되는 수평 어드레스 HA 또는 수직 어드레스 VA의 각각 상위 8비트(ha1 내지 ha8 또는 va1 내지 va8)를, 제 2 계층 메모리(2)의 어드레스 단자에 공급하는 동시에, 각각의 최하위 비트(ha0 또는 va0)를 제어 신호로서 RMW 회로(5)에 출력한다.
한편, RMW 회로(5)에서는 판독부(11)에 대하여 계층 플래그, R/W 신호 및 NOR 게이트(15)의 출력이 공급되도록 이루어져 있고, 판독부(11)는 R/W 신호가 판독을 나타내고 있고, 또한 계층 플래그가 제 2 계층을 나타내고 있는 경우에는, 예를 들면, NOR 게이트(15)의 출력이 H 레벨일 때만, 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스에 기억되어 있는 제 2 계층의 SD 화상 데이터를 판독 출력한다.
즉, 상술한 것으로부터, 수평 어드레스 HA와 수직 어드레스 VA와의 조가 (2s, 2t), (2s+1, 2t), (2s, 2t+1), (2s+1, 2t+1)인 경우는, 어드레스 공급회로(1)로부터는 어느 것이나 동일한 어드레스(s, t)가 출력된다. 따라서 단순히, 어드레스 공급회로(1)가 출력하는 신호에 대응하는 제 2 계층 메모리(3)의 어드레스로부터 데이터를 판독한 것에는, 동일한 데이터가 4회 중복하여 판독되는 것으로 된다.
그래서, 판독부(11)에서는 수평 어드레스 HA와 수직 어드레스 VA와의 조가 (2s, 2t), (2s+1, 2t), (2s, 2t+1), (2s+1, 2t+l) 중, 예를 들면, (2s, 2t)으로 될 때만, 즉, NOR 게이트(15)의 출력이 H 레벨일 때만, 제 2 계층 메모리(3)의 어드레스(s, t)로부터, 제 2 계층의 화소(화소치) m(s, t)를 판독하도록 되어 있다.
판독부(11)가 판독한 제 2 계층의 SD 화상 데이터는 스위치(16)에 공급된다. 스위치(16)는 R/W 신호가 판독을 나타내고 있는 경우만 온이 되고, 다른 경우는 오프로 되어 있고, 따라서 지금의 경우, 스위치(16)는 온으로 되어 있기 때문에, 판독부(11)에 의해서 판독된 제 2 계층의 SD 화상 데이터는 스위치(16)를 통하여 출력된다.
이상과 같이 하여 제 2 계층 메모리(3)로부터는 거기에 기억되어 있는 256 × 256 화소로 구성되는 l 화면분의 제 2 계층의 SD 화상이 판독된다. 즉, 이것에 의해 순차 적으로 주사된 제 2 계층의 SD 화상이 출력된다.
다음에, 제 3 계층 메모리(4)에의 액세스에 관해서 설명한다.
우선 기록시에 있어서는, 어드레스 공급회로(1)는 예를 들면, 도 6에 도시하는 바와 같이, 거기에 공급되는 수평 어드레스 HA의 일부로서의, 그중 하위 2비트 (ha0 및 ha1)를 제외하는 상위 7비트(ha2 내지 ha8)와, 수직 어드레스 VA의 일부로서의, 하위 2비트(va0 및 va1)를 제외하는 상위 7비트(va2 내지 va8)를, 제 3 계층 메모리(4)의 어드레스 단자에 공급한다. 더욱이, 어드레스 공급회로(1)는 수평 어드레스 HA의 하위 2비트(ha0 및 ha1)와 수직 어드레스 VA의 하위 2비트(va0 및 va1)를 제어 신호로서 RMW 회로(5)에 출력한다.
따라서 예를 들면, 도 3에 D2로 도시하는 바와 같은 제 1 계층의 4 ×4의 16화소 h(4m, 4n), h(4m+1, 4n), h(4m+2, 4n), h(4m+3, 4n), h(4m, 4n+1), h(4m+1, 4n+1), h(4m+2, 4n+1), h(4m+3, 4n+1), h(4m, 4n+2), h(4m+1, 4n+2), h(4m+2, 4n+2), h(4m+3, 4n+2), h(4m, 4n+3), h(4m+1, 4n+3), h(4m+2, 4n+3), h(4m+3, 4n+3)이, RMW 회로(5)에 공급되는 타이밍에 있어서는, 어느 쪽의 타이밍이라도 어드레스 공급회로(1)는 제 3 계층 메모리(4)의 동일 어드레스(m, n)를 지정하는 신호를 출력한다.
한편, RMW 회로(5)에서는 거기에 공급되는 제 l 계층의 SD 화상 데이터가 연산기(23)에 입력된다. 연산기(23)에는 제 1 계층의 SD 화상 데이터 외의, 스위치 (22)의 출력이 공급되도록 되어 있고, 연산기(23)는 그들을 가산하여 기록부(24)에 공급하도록 이루어져 있다.
스위치(22)는 NOR 게이트(25)의 출력에 대응하여, 단자(22a 또는 22b)중 어느 것인가 한쪽을 선택하도록 이루어져 있고, 또한, 단자(22a 또는 22b)에는 판독부(21)의 출력 또는 0이 각각 공급되도록 이루어져 있다. NOR 게이트(25)에는 어드레스 공급회로(1)로부터의 수평 어드레스 HA의 하위 2비트(ha0 및 ha1)와, 수직 어드레스 VA의 하위 2비트(va0 및 val)가 공급되도록 되어 있고, 따라서 그 출력은 하위 2비트(ha0 및 ha1 또는 va0 및 val)가 어느 것이나 0인 경우, 즉, 제 1 계층의 4 ×4 화소 h(4m, 4n), h(4m+1, 4n), h(4m+2, 4n), h(4m+3, 4n), h(4m, 4n+1), h(4m+1, 4n+1), h(4m+2, 4n+1), h(4m+3, 4n+1), h(4m, 4n+2), h(4m+1, 4n+2), h(4m+2, 4n+2), h(4m+3, 4n+2), h(4m, 4n+3), h(4m+1, 4n+3), h(4m+2, 4n+3), h(4m+3, 4n+3)중 좌측 위의 화소 h(4m, 4n)가 연산기(23)에 공급되는 타이밍의 경우만, H 레벨이 되며, 다른 경우는 L 레벨이 되도록 이루어져 있다.
그리고 스위치(22)는 NOR 게이트(25)의 출력이 L 레벨 또는 H 레벨일 때, 단자(22a 또는 22b)를 각각 선택하도록 이루어져 있다.
또한, 판독부(21)는 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스에 기억되어 있는 데이터(기억 데이터)를 판독하도록 이루어져 있다.
따라서 제 1 계층의 화소 h(4m, 4n)가 연산기(23)에 공급되는 타이밍에 있어서는 판독부(21)에 있어서, 제 3 계층 메모리(4)의 어드레스(m, n)에 기억된 데이터가 판독되고, 단자(22a)에 공급되지만, 이 경우, 수평 어드레스 HA의 하위 2비트 (ha0 및 ha1), 및 수직 어드레스 VA의 하위 2비트(va0 및 va1)는 어느 것이나 0이므로, NOR 게이트(25)의 출력은 H 레벨이 되고, 스위치(22)는 단자(22b)를 선택한다.
그 결과, 연산기(23)에는 스위치(22)를 통하여 0이 공급된다.
연산기(23)에서는 이 0과 제 l 계층의 화소 h(4m, 4n)가 가산되어, 그 가산치(0+h(4m, 4n))가 기록부(24)에 공급된다. 기록부(24)는 연산기(23)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스 즉, 제 3 계층 메모리 (4)의 어드레스(m, n)에 기록한다.
다음에, 제 1 계층의 화소 h(4m, 4n)의 오른쪽에 인접한 화소 h(4m+1, 4n)가 연산기(23)에 공급되는 타이밍에 있어서는 판독부(21)에 있어서, 역시, 제 3 계층 메모리(4)의 어드레스(m, n)에 기억된 데이터(여기서는, 0+h(4m, 4n))가 판독되고, 단자(22a)에 공급된다.
한편, 이 경우, 수평 어드레스 HA의 하위 2비트(ha0 또는 ha1)는 각각 1 또는 0으로, 수직 어드레스 VA의 하위 2비트(va0 및 va1)는 어느 것이나 0으로 되어 있기 때문에, NOR 게이트(25)의 출력은 L 레벨이 되며, 스위치(22)는 단자(22a)를 선택한다.
그 결과, 연산기(23)에는 스위치(22)를 통하여 판독부(21)에 있어서 판독된 데이터(기억 데이터)(여기서는, 0+h(4m, 4n))가 공급된다.
연산기(23)에서는 스위치(22)를 통하여 공급되는 데이터와, 제 1 계층의 화소 h(4m+1, 4n)가 가산되며, 그 가산치(0+h(4m, 4n)+h(4m+1, 4n))가 기록부(24)에 공급된다. 기록부(24)는 연산기(23)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스, 즉 제 3 계층 메모리(4)의 어드레스(m, n)에 기록한다.
다음에, 제 1 계층의 화소 h(4m+1, 4n)의 오른쪽에 인접한 화소 h(4m+2, 4n)가 연산기(23)에 공급되는 타이밍에 있어서는 판독부(21)에 있어서, 역시, 제 3 계층 메모리(4)의 어드레스(m, n)에 기억된 데이터(여기서는, 0+h(4m, 4n)+h(4m+1, 4n))가 판독되며, 단자(22a)에 공급된다.
한편, 이 경우, 수평 어드레스 HA의 하위 2비트(ha0 또는 ha1)는 각각 0 또는 1로, 수직 어드레스 VA의 하위 2비트(va0 및 va1)는 어느 것이나 0으로 되어 있기 때문에, NOR 게이트(25)의 출력은 L 레벨이 되며, 스위치(22)는 단자(22a)를 선택한다.
그 결과, 연산기(23)에는 스위치(22)를 통하여 판독부(21)에 있어서 판독된 데이터(기억 데이터)(여기서는, 0+h(4m, 4n)+h(4m+1, 4n))가 공급된다.
연산기(23)에서는 스위치(22)를 통하여 공급되는 데이터와, 제 1 계층의 화소 h(4m+2, 4n)가 가산되며, 그 가산치(0+h(4m, 4n)+h(4m+1, 4n)+h(4m+2, 4n))가, 기록부(24)에 공급된다. 기록부(24)는 연산기(28)의 출력을 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스 즉, 제 3 계층 메모리(4)의 어드레스(m, n)에 기록한다.
이하, 제 1 계층의 화소 h(4m+3, 4n), h(4m, 4n+1), h(4m+1, 4n+1), h(4m+2, 4n+1), h(4m+3, 4n+1), h(4m, 4n+2), h(4m+1, 4n+2), h(4m+2, 4n+2), h(4m+3, 4n+2), h(4m, 4n+3), h(4m+1, 4n+3), h(4m+2, 4n+3), h(4m+3, 4n+3)가 연산기(23)에 공급되는 타이밍에 있어서는 어느 것에 있어서도, 상기의 경우와 같은 처리가 행해지고, 이것에 의해, 제 3 계층 메모리(4)의 어드레스(m, n)에는 최종적으로는 상기의 식(9)에 도시한 제 3 계층의 화소(화소치) q(m, n)가 기억되게 된다.
상기와 같이 하여, 제 3 계층 메모리(4)에는 128 × 128 화소로 l 화면이 구성되는 제 3 계층의 SD 화상이 기억된다.
따라서 제 1 계층의 SD 화상 데이터를 기억하는 것과 동시에, 제 2 계층의 SD 화상 데이터 또한, 제 3 계층의 SD 화상 데이터를 생성하여 기억할 수 있다. 즉, 실시간으로 제 2 및 제 3 계층의 SD 화상 데이터를 얻을 수 있다.
다음에, 제 3 계층 메모리(4)로부터의 제 3 계층의 SD 화상의 판독에 관해서 설명한다.
판독시에 있어서는 어드레스 공급회로(1)는 계층 플래그가 제 3 계층을 나타내고 있는 경우, 역시, 거기에 공급되는 수평 어드레스 HA 또는 수직 어드레스 VA의 각각 상위 7비트(ha2 내지 ha8 또는 va2 내지 va8)를 제 3 계층 메모리(4)의 어드레스 단자에 공급하는 동시에, 각각의 하위 2비트(ha0 및 ha1 또는 va0 및 val)를 제어 신호로서 RMW 회로(5)에 출력한다.
한편, RMW 회로(5)에서는 판독부(21)에 대하여, 계층 플래그, R/W 신호, 및 NOR 게이트(25)의 출력이 공급되도록 이루어져 있고, 판독부(21)는 R/W 신호가 판독을 나타내고 있고, 또한 계층 플래그가 제 3 계층을 나타내고 있는 경우에는, 예를 들면, NOR 게이트(25)의 출력이 H 레벨일 때만, 어드레스 공급회로(1)가 출력하는 신호에 대응하는 어드레스에 기억되어 있는 제 3 계층의 SD 화상 데이터를 판독 출력한다.
즉, 상기한 것으로부터, 수평 어드레스 HA와 수직 어드레스 VA의 조가, (4m, 4n), (4m+1, 4n), (4m+2, 4n), (4m+3, 4n), (4m, 4n+1), (4m+1, 4n+1), (4m+2, 4n+1), (4m+3, 4n+1), (4m, 4n+2), (4m+1, 4n+2), (4m+2, 4n+2), (4m+3, 4n+2), (4m, 4n+3), (4m+1, 4n+3), (4m+2, 4n+3), (4m+3, 4n+3)의 경우는 어드레스 공급회로(1)로부터는 어느 것이나 동일한 어드레스(m, n)가 출력된다. 따라서 단순히, 어드레스 공급회로(1)가 출력하는 신호에 대응하는 제 3 계층 메모리(4)의 어드레스로부터 데이터를 판독한 것으로는 동일한 데이터가 16회 중복하여 판독되게 된다.
그래서 판독부(21)에서는 수평 어드레스 HA와 수직 어드레스 VA의 조가, 상기 중, 예를 들면, (4m, 4n)으로 될 때만 즉, NOR 게이트(25)의 출력이 H 레벨일 때만, 제 3 계층 메모리(4)의 어드레스(m, n)로부터 제 3 계층의 화소(화소치) m(m, n)을 판독하도록 되어 있다.
판독부(21)가 판독한 제 3 계층의 SD 화상 데이터는 스위치(26)에 공급된다. 스위치(26)는 R/W 신호가 판독을 나타내고 있는 경우만 온으로 되고, 다른 경우는 오프로 되어 있고, 따라서 지금의 경우 스위치(26)는 온으로 되어 있기 때문에 판독부(21)에 의해서 판독된 제 3 계층의 SD 화상 데이터는 스위치(26)를 통하여 출력된다.
상기와 같이 하여, 제 3 계층 메모리(4)로부터는 거기에 기억되어 있는 128× 128 화소로 구성되는 1화면분의 제 3 계층의 SD 화상이 판독된다. 즉, 이것에 의해, 순차적으로 주사된 제 3 계층의 SD 화상이 출력된다.
또한, 제 2 계층 메모리(3)로부터의 제 2 계층의 SD 화상 데이터의 판독은 상술한 바와 같이 하여 행하는 외에, 예를 들면, 어드레스 공급회로(1)로부터 수평 어드레스 HA의 하위 8비트(ha0 내지 ha7)와 수직 어드레스 VA의 하위 8비트(va0 내지 va7)를 제 2 계층 메모리(3)의 어드레스로 부여함으로써 행하는 것도 가능하다. 이와 같이 제 3 계층 메모리(4)로부터의 제 3 계층의 SD 화상 데이터의 판독도, 어드레스 공급회로(1)에서 수평 어드레스 HA의 하위 7비트(ha0 내지 ha6)와 수직 어드레스 VA의 하위 7비트(va0 내지 va6)를 제 3 계층 메모리(4)의 어드레스로 부여함으로써 행하는 것이 가능하다.
도 1의 제 1 계층 메모리(10l), 제 2 계층 메모리(l02), 또는 제 3 계층 메모리(103)에는 이상과 같이 하여 도 2의 제 1 계층 메모리(2), 제 2 계층 메모리 (3), 또는 제 3 계층 메모리(4)에 기억된 제 1 내지 제 3 계층의 SD 화상이 각각 기억되어 있다. 따라서, 도 l의 제 l 계층 메모리(l0l), 제 2 계층 메모리(l02), 또는 제 3 계층메모리(103)는 기본적으로 도 2의 제 1 계층 메모리(2), 제 2 계층 메모리(3), 또는 제 3 계층 메모리(4)와 각각 동일하게 구성된다.
다음에, 도 7은 도 1의 다계층 클래스 분류부(104)(다계층 클래스 분류 회로(104a 내지 l04d) 각각)의 구성예를 도시하고 있다.
제 1 계층 메모리(101), 제 2 계층 메모리(102), 또는 제 3 계층 메모리 (l03)에 각각 기억되어 있는 제 1 내지 제 3 계층의 SD 화상은 선택 회로(112)에 공급되도록 이루어져 있다. 또한, 제 l 또는 제 2 계층의 SD 화상은 활동 검출 회로(lll1 또는1112)에도 각각 공급되도록 이루어져 있다.
활동 검출 회로(l111 또는 1112)는 예를 들면, 제 l 또는 제 2 계층의 SD 화상에 있어서 주목 화소 위치 부근에 있는 SD 화소를 사용하여 그 활동을 검출하고, 그 검출 결과를 선택 회로(1l2)에 검출하도록 이루어져 있다. 선택 회로(1l2)는 활동 검출 회로(1111 및 1112)로부터의 활동에 근거하여, 제 1 내지 제 3 계층의 SD 중 어느 하나를 선택하여 클래스 탭 생성 회로(l13)에 공급하도록 이루어져 있다. 또한, 선택 회로(1l2)는 제 1 내지 제 3 계층 중의 어느 하나를 선택했는가를 나타낸다, 예를 들면, 2 비트의 선택 신호를 합성 회로(115)에 출력하도록 이루어져 있다. 클래스 탭 생성 회로(113)는 선택 회로(112)로부터의 화상을 사용하여 주목 화소의 클래스 분류를 행하기 위한 클래스 탭을 생성하고, 클래스 분류 회로(114)에 공급하도록 이루어져 있다. 클래스 분류 회로(1l4)는 클래스 탭 생성 회로(1l3)로부터의 클래스 탭을 사용하여 클래스 분류를 행하고 그 클래스 분류 결과를 합성 회로(115)에 공급하도록 이루어져 있다. 합성 회로(115)는 선택 회로(112)로부터의 선택 신호와 클래스 분류 회로(114)로부터의 클래스 분류 결과로서의 클래스를 합성하여 1개의 값으로 하고 이것을 주목 화소의 최종적인 클래스 분류 결과로서 적응 처리부(105)(도 1)에 공급하도록 이루어져 있다.
다음에, 그 동작에 관해서 설명한다.
우선, 활동 검출 회로(1111 또는 1112)에 있어서, 제 l 또는 제 2 계층의 SD 화상에서의 주목 화소 부근의 활동이 각각 검출된다.
즉, 활동 검출 회로(1111)에서는 제 1 계층의 SD 화상을 구성하는 화소 중, 예를 들면, 주목 화소 위치에 일치하는 화소를 중심으로 한 3 × 3 화소 범위에 있어서의 활동이 검출된다. 또한, 활동 검출 회로(1112)에서도 제 2 계층의 SD 화상을 구성하는 화소 중, 예를 들면, 주목 화소의 위치에 일치하는 화소를 중심으로 한 3× 3화소 범위에서의 활동이 검출된다.
여기서, 제 2 계층의 SD 화상은 제 l 계층의 SD 화상의 가로 또는 세로의 화소수를 각각 1/2로 한 화상이므로, 제 l 계층의 SD 화상을 기준으로 생각하면 활동 검출 회로(1112)에서는 활동 검출 회로(1111)에서의 범위보다도 광범위하게 활동이 검출된다.
또, 이상과 같이 주목 화소의 위치에 일치하는 제 1 및 제 2 계층의 SD 화소를 중심으로 하는 3 × 3 화소의 범위, 즉, 도 13에서 설명한 클래스 탭에 대응하는 정방형상 범위의 활동이 검출되는 것은 예를 들면, 다계층 클래스 분류 회로(l04a)에서 이고, 다른 다계층 클래스 분류 회로(104b 내지 l04d)에서는 예를 들면, 도 14 내지 도 l6에서 설명한 클래스 탭에 대응하는 범위 각각의 활동이 검출된다.
활동 검출 회로(1111 또는 1112)에서 각각 검출된 제 l 또는 제 2 계층 화상에 관한 활동은 모두 선택 회로(112)에 공급된다. 선택 회로(l12)에서는 활동 검출 회로(111l 및 1112)로부터의 활동에 근거하여 제 l 내지 제 3 계층의 SD 화상 중 어느 한 개가 선택된다.
즉, 선택 회로(112)는 제 l 계층 화상에 관한 활동이 소정의 임계값 ε보다 큰가의 여부를 판정한다. 제 1 계층 화상에 관한 활동이 소정의 임계값 ε보다 큰 경우, 선택 회로(1l2)는 제 1 계층 화상을 선택하여 클래스 탭 생성 회로(l13)에 공급한다.
또한, 제 1 계층 화상에 관한 활동이 소정의 임계값 ε보다 크지 않은 경우, 선택 회로(112)는 제 2 계층 화상에 관한 활동이 소정의 임계값ε보다 큰지 어떤지를 판정한다. 제 2 계층 화상에 관한 활동이 소정의 임계값 ε보다 큰 경우, 선택 회로(l12)는 제 2 계층 화상을 선택하여 클래스 탭 생성 회로(ll3)에 공급한다.
그리고 제 2 계층의 SD 화상에 관한 활동이 소정의 임계값 ε보다 크지 않은 경우, 선택 회로(112)는 제 3 계층의 SD 화상을 선택하여 클래스 탭 생성 회로 (ll3)에 공급한다.
또한, 선택 회로(112)는 선택한 계층을 나타내는 선택 신호를 합성 회로 (Al5)에 공급한다.
클래스 탭 생성 회로(113)에서는 선택 회로(112)로부터 공급되는 계층의 화상을 사용하여 클래스 탭이 생성(형성)된다.
즉, 선택 회로(112)에 있어서 제 1 계층의 SD 화상이 선택된 경우, 즉, 도 8에 있어서 R1로 나타낸다, 제 l 계층의 SD 화상을 구성하는 SD 화소 중, 주목 화소의 위치에 일치하는 SD 화소를 중심으로한 3 × 3 화소 범위의 활동이 임계값 ε 보다 큰 경우에는. 클래스 탭 생성 회로(l13)에서는 3 × 3의 제 1 계층의 SD 화소가 클래스 탭으로 되고, 클래스 분류 회로(1l4)에 공급된다. 또, 도 8에 있어서 ○ 표시는 제 l 계층의 SD 화소를, X 표시는 HD 화소를 나타내고 있다.
또한, 선택 회로(112)에 있어서 제 2 계층의 SD 화상이 선택된 경우, 즉, 제 l 계층의 SD 화상을 기준으로 하면 도 8에 있어서 R2로 나타낸다. 제 2 계층의 SD 화상(제 l 계층의 SD 화상 가로 또는 세로의 화소수를 각각 l/2로 한 화상)을 구성하는 SD 화소 중, 주목 화소의 위치에 일치하는 SD 화소를 중심으로한 3 × 3 화소 범위의 활동이 임계값 ε보다 큰 경우에는 클래스 탭 생성 회로(1l3)에서는 그 3 × 3의 제 2 계층의 SD 화소가 클래스 탭으로 되고, 클래스 분류 회로(114)에 공급된다. 따라서, 이 경우, 제 1 계층의 SD 화상을 기준으로 하면, 제 1 계층의 SD 화상이 선택된 경우에서의 범위 가로 또는 세로가 각각 4배 범위에서 9개의 제 2 계층의 SD 화소로부터 클래스 탭이 형성된다.
또한, 선택 회로(112)에 있어서 제 3 계층의 SD 화상이 선택된 경우, 클래스 탭 생성 회로(113)에서는 제 l 계층의 SD 화상을 기준으로 하면, 도 8에 있어서 R3으로 나타낸다. 제 3 계층의 SD 화상 (제 l 계층의 SD 화상의 가로 또는 세로의 화소수를 각각 l/4로 한 화상)을 구성하는 SD 화소 중, 주목 화소의 위치에 일치하는 SD 화소를 중심으로 한 3 × 3 화소가 클래스 탭으로 되어 클래스 분류 회로(114)에 공급된다. 따라서 이 경우, 제 1 계층의 SD 화상을 기준으로 하면, 제 1 계층의 SD 화상이 선택된 경우에서의 범위 가로 또는 세로가 각각 l6배 범위에서 9개의 제3 계층 SD 화소로부터 클래스 탭이 형성된다.
또, 이상과 같이 주목 화소의 위치에 일치하는 제 1 내지 제 3 계층의 SD 화소를 중심으로 하는 3 × 3 화소 범위, 즉, 도 13에서 설명한 위치 관계의 SD 화소에 의한 클래스 탭이 형성되는 것은 예를 들면, 다계층 클래스 분류 회로(l04a)에서 이고, 다른 다계층 클래스 분류 회로(104b 내지 104d)에서는 예를 들면, 도 14 내지 도16에서 설명한 위치 관계의 화소에 의한 클래스 탭이 각각 형성된다.
클래스 분류 회로(ll4)에서는 클래스 탭 생성 회로(l13)로부터의 클래스 탭을 사용하여 도 l2에 있어서 클래스 분류 회로(203)에서의 경우와 동일하게 주목 화소의 클래스 분류가 행해진다. 이 클래스 분류 결과는 합성 회로(115)에 공급된다. 합성 회로(1l5)에서는 예를 들면, 클래스 분류 회로(l14)로부터의 클래스 분류 결과로서의 값의 상위 비트로서, 선택 회로(1l2)로부터의 선택 신호가 부가되고, 그것이 주목 화소가 최종적인 클래스(클래스를 나타내는 값)로서 적응 처리부(105)에 공급된다.
이상과 같이 제 1 계층의 SD 화상을 기준으로서 활동이 어느 정도의 크기(여기서는 임계값ε)가 되는 범위에 대응하는 계층의 화상을 사용하여 주목 화소를 분류하기 위한 클래스 탭을 형성하도록 하였기 때문에, 그 클래스 탭을 사용하여 클래스 분류를 함으로써 주목 화소에 있던 클래스를 얻는 것이 가능하다.
또, 이상에서는 제 1 및 제 2 계층의 화상 활동을 검출하도록 하였지만, 기타, 제 2 및 제 3 계층의 활동을 검출하도록 하는 것도 가능하다. 이 경우, 예를 들면, 제 3 계층의 활동이 소정의 임계값ε′보다도 작을 때는 제 3 계층의 화상을 사용하여 클래스 탭을 형성하도록 할 수 있다. 또한, 제 3 계층의 활동이 소정의 임계값ε′ 이상이지만, 제 2 계층의 활동이 소정의 임계값ε′보다도 작은 경우에는 제 2 계층의 화상을 사용하여 클래스 탭을 형성하도록 할 수 있다. 또한, 제 2 계층의 활동이 소정의 임계값ε′ 이상인 경우에는 제 l 계층의 화상을 사용하여 클래스 탭을 형성하도록 할 수 있다.
다음에, 도 9는 도 1의 적응 처리부(105)(적응 처리 회로(105a 내지 105d) 각각)의 구성예를 도시하고 있다.
예측 탭 생성 회로(l21), 예측 연산 회로(122) 또는 계수 ROM(123)는 도 12에 있어서, 예측 탭 생성 회로(205), 예측 연산 회로(206), 또는 계수 ROM(207)와 각각 동일하게 구성되어 있다.
즉, 예측 탭 생성 회로(12l)에서는 제 1 계층 메모리(101)(도 l)로부터 공급되는 제 1 계층의 SD 화상으로부터 예측 연산 회로(122)에 있어서 주목 화소의 예측치를 연산하는데 사용하고, 그 주목 화소에 대하여 소정의 위치 관계에 있는 복수의 SD 화소가 추출되고 이것이 예측 탭으로서 예측 연산 회로(122)에 공급된다.
구체적으로는 여기서는 예를 들면, 도 13 내지 도 16에서 설명한 예측 탭이 (적응 처리 회로(l05a 내지 105d) 각각에서 예측 탭 생성 회로(121)에 있어서)형성되어 예측 연산 회로(122)에 공급된다.
또한, 예측 연산 회로(122)에는 예측 탭 생성 회로(121)로부터 예측 탭이 공급되는 외, 계수 ROM(l23)으로부터 예측 계수의 세트도 공급된다.
즉, 계수 ROM(123)은 미리 학습이 행해짐으로써 구해진 예측 계수의 세트를 클래스마다 기억하고 있고, 또한 그 어드레스 단자(AD)에는 다계층 클래스 분류부 (104)(도 l)로부터 주목 화소의 클래스가 공급되도록 이루어져 있다. 그리고, 계수 ROM(l23)은 다계층 클래스 분류부(104)로부터 클래스가 공급되면, 그 클래스에 대응하는 어드레스에 기억되어 있는 예측 계수를 판독하여 예측 연산 회로(122)에 공급한다.
이로써, 예측 연산 회로(122)에는 주목 화소에 대응하는 예측 탭과 그 주목 화소의 클래스에 관한 예측 계수의 세트가 공급된다. 그리고 예측 연산 회로(122)에서는 계수 ROM(123)으로부터의 예측 계수 w, w2,…와, 예측 탭 생성 회로(6)로부터의 예측 탭(을 구성하는 SD 화소) x1, x2,…을 사용하여 식(1)에 나타낸 연산이 행해짐으로써 주목 화소(HD 화소) y의 예측치E〔y〕가 구해지고 이것이 HD 화소의 화소치로서 출력된다.
상술하였듯이, 다계층 클래스 분류부(104)로부터는 주목 화소에 있던 클래스가 공급되기 때문에, 그 클래스에 대응하여 이상과 같은 적응 처리를 행함으로서 그 결과 얻어지는 HD 화상의 화질을 향상시키는 것이 가능하다.
다음에, 도 10은 도 1의 다계층 클래스 분류부(104) (다계층 클래스 분류 회로(104a 내지 l04d 각각)의 다른 구성예를 도시하고 있다.
제 1 계층 메모리(101), 제 2 계층 메모리(102), 또는 제 3 계층 메모리에 기억되어 있는 제 1 내지 제 3 계층의 화상 데이터는 클래스 탭 생성 회로(131l 내지 1313)에 각각 공급되도록 이루어져 있다.
클래스 탭 생성 회로(1311 내지 1313)는 예를 들면, 도 7의 클래스 탭 생성 회로(113)에서의 경우와 같이 제 1 내지 제 3 계층의 화상을 사용하여 주목 화소를 클래스 분류하기 위한 클래스 탭을 생성(형성)하고 클래스 분류 회로(1321 내지 1323)에 각각 공급하도록 이루어져 있다. 클래스 분류 회로(1321 내지 1323)는 클래스 탭 생성 회로(1311 내지 1313)로부터의 클래스 탭을 사용하고 예를 들면, 도 7의 클래스 분류 회로(114)에 있어서의 경우와 동일하게 하여, 주목 화소의 클래스 분류를 행하고 그 클래스를 합성 회로(133)에 각각 공급하도록 이루어져 있다. 합성 회로(133)는 클래스 분류 회로(1321 내지 1323) 각각으로부터의 클래스를 합성하고 그 합성 결과를 주목 화소가 최종적인 클래스로서 적응 처리부(105)(도 1)에 공급하도록 이루어져 있다.
이상과 같이 구성되는 다계층 클래스 분류부(104)(다계층 클래스 분류 회로 104a 내지 104d 각각)에서는 클래스 탭 생성 회로(1311 내지 1313)에 있어서 클래스탑이 제 l 내지 제 3 계층의 화상을 사용하여 각각 형성된다.
즉, 클래스 탭 생성 회로(1311 내지 1313)에서는 예를 들면, 도 7의 선택 회로(112)에 있어서 제 1 내지 제 3 계층의 화상이 선택된 경우에, 같은 도면의 클래스 탭 생성 회로(113)가 형성하는 클래스 탭과 같은 클래스 탭이 제 l 내지 제 3 계층의 화상을 사용하여 각각 형성된다. 이 제 l 내지 제 3 계층의 화상을 사용하여 형성된 클래스 탭은 클래스 분류 회로(1321 내지 1323)에 각각 공급된다.
클래스 분류 회로(1321 내지 1323)에서는 클래스 탭 생성 회로(1311 내지 1313)로부터의 클래스 탭을 사용하여 클래스 분류가 행해지고, 그 결과 얻어지는 주목 화소 3개의 클래스(제 1 내지 제 3 계층의 화상 각각으로 형성된 클래스 탭을 사용한 클래스 분류 결과)는 모두 합성 회로(133)에 공급된다.
합성 회로(133)에서는 클래스 분류 회로(1321 내지 1323) 각각으로부터 클래스가 1개로 합성된다. 즉, 합성 회로(133)는 예를 들면, 클래스 분류 회로(1321 내지 1323)로부터의 클래스를 나타내는 값을 각각 상위, 중위, 하위 비트로서 1개의 비트열로 한다. 그리고 이 값이 주목 화소의 최종적인 클래스로서 적응 처리부 (105)에 공급된다.
이상과 같이, 제 1 계층 내지 제 3 계층의 SD 화상을 사용하여 클래스 분류를 행하고, 그 클래스 분류 결과를 합성한 것을 주목 화소의 최종적인 클래스 분류 결과로 하도록 하였으므로, 즉, 등가적으로 주목 화소 가까이에 있는 SD 화소뿐만 아니라 주목 화소로부터 얼마쯤 떨어진 SD 화소도 사용하여 클래스 분류를 행하도록 하였기 때문에 역시, 주목 화소를 그 주목 화소에 있던 클래스에 클래스 분류할 수 있다. 또한, 그 클래스에 대응하여 적응 처리를 함으로써 그 결과 얻어지는 HD 화상의 화질을 향상시키는 것이 가능하다.
또, 도 8에 있어서, 예를 들면, R3으로 나타내는 범위에 있는 제 l 계층의 SD 화소 전부를 클래스 탭으로서 사용하여 클래스 분류를 함으로써도 상술의 경우와 같은 효과가 얻어진다고 예상되지만, 이 경우 범위 R3에 있는 제 1 계층의 SD 화소의 수가 많으므로 처리의 부담이 커진다.
즉, 예를 들면, 도 7의 실시 형태에서는 클래스 탭 생성 회로(113)에 있어서 형성되는 클래스 탭은 도 12의 클래스 탭 생성 회로(202)에서의 경우와 동일하게 9개의 SD 화소로 구성되고, 또한 그 클래스 탭을 사용한 클래스 분류 결과에 2 비트의 선택 신호가 부가되므로 단순하게는 211(=29 × 22)에 비례한 수의 클래스 중 어느 것인가에 클래스 분류가 행해진다.
또한, 도 10의 실시 형태에서는 클래스 탭 생성 회로(1131 내지 1133)각각에 있어서, 역시 도 l2의 클래스 탭 생성 회로(202)에서의 경우와 같이 9개의 SD 화소로 구성되는 클래스 탭이 형성되고 그 3개의 클래스 탭을 사용하여 클래스 분류가 행해진 후, 그 3개의 클래스 분류 결과가 합성되므로 단순하게는 227(=29 × 29 × 29)에 비례한 수의 클래스 중 어느 것인가에 클래스 분류가 행해진다.
이것에 대하여, 도 8에서의 범위 R3에는 289(= l7 × 17)의 제 1 계층 SD 화소가 포함되므로, 이것에 의해 클래스 탭을 형성한 경우에는 단순하게는 2289라는 막대한 값에 비례한 수 중, 클래스의 어느 것인가에 클래스 분류를 할 필요가 있다. 따라서 이 경우에는 처리의 부담이 커진다.
다음에, 도 11은 도 9의 계수 ROM(123)에 기억시키는 클래스의 예측 계수의 세트를 산출하는 학습 처리를 하는 학습 장치의 구성예를 나타내고 있다. 또, 도면 중, 도 17에서의 경우와 대응하는 부분에 관해서는 동일 부호를 붙이고 있다.
학습에서의 교사 데이터 y로 되어야할 HD 화상이 솎음 회로(141l) 및 교사 데이터 추출 회로(l46)에 공급되도록 이루어져 있고, 솎음 회로(1411)에서는 예를 들면, 도2의 기억 장치에서의 경우와 같이 하고 (도 2의 기억 장치에 있어서, 제 1 계층의 SD 화상으로부터 제 2 계층의 SD 화상을 생성하는 것과 같이 하고), HD 화상의 가로 또는 세로의 화소수 각각이 1/2로 된 제 1 계층의 SD 화상이 구성된다. 이 제 1 계층의 SD 화상은 솎음 회로(1412), 다계층 클래스 분류부(l44) 및 예측 탭 생성 회로(145)에 공급된다.
솎음 회로(1412)에서도 솎음 회로(1411)에서의 경우와 같이 하여, 제 1 계층의 SD 화상의 가로 또는 세로의 화소수 각각이 1/2로 된 제 2 계층의 SD 화상이 구성된다. 이 제 2 계층의 SD 화상은 솎음 회로(1413) 및 다계층 클래스 분류부(144)에 공급된다. 솎음 회로(1413)에서도 솎음 회로(141l)에서의 경우와 같이 하여 제 2 계층 SD 화상의 가로 또는 세로의 화소수 각각이 1/2로 된 제 3 계층의 SD 화상이 구성된다. 제 3 계층의 SD 화상은 다계층 클래스 분류부(l44)에 공급된다.
다계층 클래스 분류부(l44)는 도 7 또는 도 l0에 도시한 다계층 클래스 분류부(104)와 같이 구성되고, 거기에 공급되는 제 l 내지 제 3 계층의 화상을 사용하여 상술한 클래스 분류(다계층 클래스 분류)가 행해진다. 이 클래스 분류 결과로서의 클래스는 예측 탭 메모리(147) 및 교사 데이터 메모리(l48)의 어드레스 단자 (AD)에 공급된다.
또한, 예측 탭 생성 회로(145)에서는 도 9의 예측 탭 생성 회로(12l)에서의 경우와 같은 처리가 행해지고, 이것에 의해 주목 화소의 예측치를 구하기 위한 예측 탭이 솎음 회로(1411)로부터의 제 1 계층 SD 화상을 사용하여 형성된다. 이 예측 탭은 예측 탭 메모리(147)에 공급된다.
예측 탭 메모리(147)에서는 다계층 클래스 분류부(144)로부터 공급되는 클래스에 대응하는 어드레스에 예측 탭 생성 회로(145)로부터 공급되는 예측 탭이 기억된다.
한편, 교사 데이터 추출 회로(l46)에서는 다계층 클래스 분류부(l44) 및 예측 탭 생성 회로(145)에 있어서 주목 화소로 되는 HD 화소가 거기에 공급되는 HD 화상으로부터 추출되어 교사 데이터로서 교사 데이터 메모리(148)에 공급된다.
그리고 교사 데이터 메모리(l48)에서는 다계층 클래스 분류부(l44)로부터 공급되는 클래스에 대응하는 어드레스에 교사 데이터 추출 회로(146)로부터 공급되는 교사 데이터가 기억된다.
이상의 처리가 미리 학습용으로 준비된 모든 HD 화상을 구성하는 모든 HD 화소를 순차, 주목 화소로서 행해진다.
그 결과, 교사 데이터 메모리(l48) 또는 예측 탭 메모리(l47)의 동일 어드레스에는 그 어드레스에 대응하는 클래스의 HD화소, 또는 그 HD 화소에 관해서 도 l3내지 도 l6에 있어서 설명한 예측 탭을 구성하는 위치에 있는 SD 화소가 교사 데이터 y 또는 학습 데이터 x로서 각각 기억된다.
그 후, 연산 회로(149)는 예측 탭 메모리(147) 또는 교사 데이터 메모리 (148)로부터 동일 어드레스에 기억되어 있는 학습 데이터로서의 예측 탭 또는 교사 데이터로서의 HD 화소를 판독하고, 그들을 사용하여 예를 들면, 최소 제곱법에 의해서 예측치와 교사 데이터 사이의 오차를 최소로 하는 예측 계수의 세트를 산출한다. 즉, 연산 회로(149)에서는 클래스마다 식(7)에 나타낸 정규 방정식이 세워지고, 이것을 푸는 것으로써 예측 계수의 세트가 구해진다.
이상과 같이 하여 연산 회로(149)에서 구해진 클래스마다 예측 계수의 세트가 도 9의 계수 ROM(123)에서 그 클래스에 대응하는 어드레스에 기억되어 있다.
또, 도 7의 실시 형태에서는 선택 회로(l12)에 있어서, 제 1 내지 제 3 계층의 SD 화상 중 어느 1개를 선택하여 클래스 탭 생성 회로(1l3)에서 그 1 계층의 화상을 사용하여 클래스 탭을 형성하도록 하였지만, 그 외 예를 들면, 선택 회로 (112)에는 제 l 내지 제 3 계층의 SD 화상 중 2개를 선택시켜 클래스 탭 생성 회로 (113)에는 그 2개의 계층 각각을 사용하여 클래스 탭을 형성시키도록 할 수 있다. 이 경우, 클래스 분류 회로(114)에 있어서, 그 2개의 계층을 사용하여 형성된 클래스 탭 각각 에 대하여 클래스 분류를 행하고, 합성 회로(115)에 있어서 그 2개의 클래스 분류 결과를 1개로 합성시키도록 할 수 있다.
또한, 본 실시 형태에서는 제 1 내지 제 3 계층의 SD 화상 중, 가장 화소수가 많은 제 1 계층의 화상을 사용하여 예측 탭을 형성하도록 하였지만, 예측 탭은 제 1 내지 제 3 계층 화상의 2이상을 사용하여 형성하도록 하는 것도 가능하다.
또한, 본 실시 형태에서는 도 2의 기억 장치에 있어서, 제 2 계층 메모리(3)나 제 3 계층 메모리(4)에 대하여는 제 1 계층 메모리(2)에 부여하는 수평 어드레스 HA 및 수직 어드레스 VA의 일부를 부여하여 액세스하도록 하였지만, 제 2 계층메모리(3)나 제 3 계층 메모리(4)에는 제 1 계층 메모리(2)에 부여하는 수평 어드레스 HA 및 수직 어드레스 VA와는 별도로 전용의(독립의) 어드레스를 주어 액세스하도록 하는 것도 가능하다.
또한, 본 실시 형태에서는 도 2의 기억 장치에 있어서, 제 l 계층 메모리 (2),제 2 계층 메모리(3), 제 3 계층 메모리(4)에 대하여 SD 화상을 구성하는 화소의 수평 또는 수직 방향의 위치에 각각 대응하는 수평 어드레스 또는 수직 어드레스를 주어 액세스하도록 하였지만, 제 l 계층 메모리(2), 제 2 계층 메모리(3), 제 3 계층 메모리(4)에는 그 외 예를 들면, 시간 방향에 대응하는 어드레스를 또한 주어 액세스하도록 하는 것도 가능하다. 이 경우, 제 2나 제 3 계층의 화소는 가로 및 세로의 공간 방향으로 흩어지는 제 l 계층의 화소 외, 시간 방향으로 흩어지는 제 1 계층의 화소도 가산하여 형성된다.
동일하게 클래스 탭이나 예측 탭에 관해서도 공간 방향뿐만 아니라 시간 방향으로 흩어지는 SD 화소도 사용하여 형성하는 것이 가능하다.
또한, 도 1에서의 제 1 계층 메모리(101), 제 2 계층 메모리(l02), 제 3 계층 메모리(103)나 도 2에서의 제 l 계층 메모리(2), 제 2 계층 메모리(3), 제 3 계층 메모리(4)는 각각 물리적으로 1개의 메모리일 필요는 없고, 그들 모두를 1 메모리로 구성하는 것도 가능하다. 이 경우, l 메모리의 기억 영역을 제 1 계층 메모리 (101), 제 2 계층 메모리(102), 제 3 계층 메모리(l03)의 3개 각각과 제 1 계층 메모리(2), 제 2 계층 메모리(3), 제 3 계층 메모리(4)의 3개 각각에 할당하도록 할 수 있다.
또한, 본 실시 형태에서는 도 2에 있어서, 어드레스 공급 회로(1), 제 1 계층 메모리(2), 제 2 계층 메모리(3), 제 3 계층 메모리(4) 및 RMW 회로(5)의 전부를 l 칩상에 형성하도록 하였지만, 이들은 반드시 1 칩상에 형성할 필요는 없다.
또한, 본 실시 형태에서는 제 1 계층의 화소의 비트 할당량을 8 비트로 하고, 제 1 계층 메모리(2), 제 2 계층 메모리(3), 또는 제 3 계층 메모리(4)의 메모리 셀의 데이터 길이를 제 l 내지 제 3 계층의 화소 열 누락이 없도록, 각각 8, l0, 또는 12 비트로 하였지만, 제 l 계층 메모리(2), 제 2 계층 메모리(3) 및 제 3 계층 메모리(4)의 메모리 셀의 데이터 길이는 예를 들면, 일률적으로 8 비트 등으로 하는 것도 가능하다. 단, 이 경우, 제 2 또는 제 3 계층의 화소에 관해서는 제 1 또는 제 2 계층의 2 × 2 화소의 가산치의 하위 2 비트를 절단한 값(이 값은 가산치를 4로 제산한 것에 상당하므로 평균치가 된다)을 각각 기억시키게 되고, 따라서 열 누락이 생기므로, 데이터의 가역성은 상실된다.
또한, 본 발명은 비-인터레이스 주사(non-interlaced scanning)되는 화상 및 인터레이스 주사되는 화상 어디에도 적용 가능하다,
또한, 본 실시 형태에서는 SD 화상의 계층 수를 3으로 하였지만, 계층 수는 2일 수도 있고 혹은 4이상일 수도 있다.
또한, 본 실시 형태에서는 하위 계층의 2 × 2의 4개의 SD 화소의 가산치를 그
1개 상위의 상위 계층의 SD 화소(화소치)로 하도록 하였지만, 상위 계층의 SD 화소의 형성 방법은 이것에 한정되는 것은 아니다.
또한, 본 발명은 하드웨어에 의해서도 또한, 컴퓨터에 의해서도 상술의 처리를 하는 프로그램을 실행시킴으로써도 실현 가능하다.
또한, 본 실시 형태에서는 화소(화소치)를 예를 들면, RAM(Random Access Memory) 등에 대표되는 메모리에 기억시키도록 하였지만, 화소는 그 외, 예를 들면, 자기 디스크나 광자기 디스크, 자기 테이프, 광 카드 등의 기록 매체에 기억 (기록)시키도록 하는 것도 가능하다.
또한, 도 1의 화상 처리 장치와, 도 2의 기억 장치와는 별개의 장치로서 구성하는 외, 일체적으로 구성하는 것도 가능하다.
또한, 본 발명은 SD 화상을 HD 화상으로 변환하는 경우 외, 예를 들면, 화상을 확대하는 경우 등에도 적용 가능하다.
또한, 클래스 탭이나 예측 탭을 구성시키는 SD 화소의 위치 관계는 상술한 것에 한정되는 것이 아니다.
본 발명의 화상 처리 장치 및 화상 처리 방법에 의하면 주목하고 있는 제 1화상의 주목 화소가 그 주목 화소에 대응하는 제 2 또는 제 3 화상의 화소 성질에 따라서 소정의 클래스로 분류된다. 따라서 주목 화소를 그것에 보다 알맞은 클래스로 분류하는 것이 가능하다.
또한, 본 발명의 주지를 이탈하지 않은 범위에서 여러 가지 변형이나 응용을 생각할 수 있다. 따라서 본 발명의 요지는 실시예에 한정되는 것은 아니다.
도 1은 본 발명을 적용한 화상 처리 장치의제 1 실시 형태의 구성예를 도시하는 블록도.
도 2는 제 1 내지 제 3 계층의 SD 화상을 생성하는 기억 장치의 구성예를 도시하는 블록도.
도 3은 제 1 계층 SD 화상의 1화면의 구성예를 도시하는 도면.
도 4는 도 2의 기억 장치의 제 1 기능적 구성예를 도시하는 블록도.
도 5는 도 2의 기억 장치의 제 2 기능적 구성예를 도시하는 블록도.
도 6은 도 2의 기억 장치의 제 3 기능적 구성예를 도시하는 블록도.
도 7은 도 1의 다계층 클래스 분류 회로(104a 내지 104d) 각각의 제 1 구성예를 도시하는 블록도.
도 8은 도 7의 클래스 탭 생성 회로(class-tap generating circuit)(113)가 생성하는 클래스 탭을 설명하기 위한 도면.
도 9는 도 1의 적응 처리 회로(l05a 내지 l05d) 각각의 구성예를 도시하는 블록도.
도 10은 도 1의 다계층 클래스 분류 회로(l04a 내지 104d) 각각의 제 2 구성예를 도시하는 블록도.
도 11은 도 9의 계수 ROM(l23)에 기억시키는 예측 계수의 학습을 하는 학습장치의 1 실시 형태의 구성예를 도시하는 블록도.
도 12는 종래의 화상 변환 장치의 일례의 구성을 도시하는 블록도.
도 13은 클래스 탭과 예측 탭의 형성 방법을 설명하기 위한 도면.
도 14는 클래스 탭과 예측 탭의 형성 방법을 설명하기 위한 도면.
도 15는 클래스 탭과 예측 탭의 형성 방법을 설명하기 위한 도면.
도 16은 클래스 탭과 예측 탭의 형성 방법을 설명하기 위한 도면.
도 17은 도 12의 계수 ROM(207)에 기억시키는 예측 계수의 학습을 행하는 학습 장치의 일례의 구성을 도시하는 블록도.
* 도면의 주요부분에 대한 부호의 설명 *
1 : 어드레스 공급회로 2, 101 : 제 1 계층 메모리
3, 102 : 제 2 계층 메모리 4, 103 : 제 3 계층 메모리
5 : RMW 회로 104 : 다계층 클래스 분류 회로
105 : 적응 처리부 106 : HD 화상 메모리

Claims (12)

  1. 제 1 화상보다 화소수가 적은 제 2 화상과, 상기 제 2 화상보다 화소수가 적은 제 3 화상을 사용하여, 상기 제 1 화상을 구하기 위한 처리를 행하는 화상 처리 장치로서,
    주목하고 있는 상기 제 1 화상의 화소인 주목 화소(reference pixel)를, 상기 주목 화소에 대응하는 상기 제 2 및 제 3 화상의 화소 성질에 따라서 소정의 클래스로 분류하는 클래스 분류부;를 포함하며,
    상기 클래스 분류부는 상기 제2, 제3 화상 중 상기 주목 화소에 대응하는 부분의 액티비티를 검출하는 액티비티 검출부, 및 상기 액티비티에 기초하여 상기 제 2, 제3 화소 중 적어도 하나의 화상을 선택하는 선택부를 포함하며, 상기 선택부에 의해 선택된 화상을 구성하는 화소 중 상기 주목 화소에 대응하는 것을 사용하여 상기 클래스 분류를 수행하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 주목 화소의 예측치를 상기 주목 화소의 클래스에 대응하여 예측하는 예측부;를 더 포함하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 2 항에 있어서,
    상기 예측부는,
    상기 제 2 또는/및 제 3 화상의 화소와의 선형 결합에 의해 상기 주목 화소의 예측치를 산출하기 위한 예측 계수를 상기 클래스마다 기억하고 있는 예측 계수 메모리;
    상기 주목 화소의 클래스에 대한 상기 예측 계수와, 상기 제 2 또는/및 제 3 화상의 화소로부터 상기 주목 화소의 예측치를 구하는 예측치 연산부;를 포함하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 1 항에 있어서,
    상기 클래스 분류부는,
    상기 제 2 또는 제 3 화상을 구성하는 화소 중 상기 주목 화소에 대응하는 것을 각각 사용하여 상기 클래스 분류를 행하고,
    상기 제 2 또는 제 3 화상 각각을 사용한 클래스 분류 결과를 합성한 것을 최종적인 클래스 분류 결과로 하는 합성부;를 포함하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 1 화상보다 화소수가 적은 제 2 화상과, 상기 제 2 화상보다 화소수가 적은 제 3 화상을 사용하여 상기 제 1 화상을 구하기 위한 처리를 행하는 화상 처리 방법으로서,
    주목하고 있는 상기 제 1 화상의 화소인 주목 화소를, 상기 주목 화소에 대응하는 상기 제 2 또는 제 3 화상의 화소 성질에 따라서 소정의 클래스로 분류하는 단계;를 포함하며,
    상기 클래스로 분류하는 단계는, 상기 제2, 제 3 화상 중 상기 주목 화소에 대응하는 부분의 액티비티를 검출하는 단계, 및 상기 액티비티에 기초하여 상기 제 2, 제 3 화소 중 적어도 하나의 화상을 선택하는 단계를 포함하며, 선택된 상기 화상을 구성하는 화소 중 상기 주목 화소에 대응하는 것을 사용하여 상기 클래스 분류를 수행하는 것을 특징으로 하는 화상 처리 방법.
  6. 제 1 화상보다 화소수가 적은 제 2 화상과, 상기 제 2 화상보다 화소수가 적은 제 3 화상과, 상기 제 3 화상보다 화소수가 적은 제 4화상을 사용하여 상기 제 1 화상을 구하기 위한 처리를 행하는 화상 처리 장치로서,
    주목하고 있는 상기 제 1 화상의 화소인 주목 화소를, 상기 ㅈ목 화소에 대응하는 상기 제 2, 제 3 및 제 4 화상 중 복수의 화상의 화소 성질에 따라서 소정의 클래스로 분류하는 클래스 분류부;를 구비하며,
    상기 클래스 분류부는, 상기 제 2, 제 3 또는 제 4 화상 중 상기 주목 화소에 대응하는 부분의 액티비티를 검출하는 액티비티 검출부, 및 상기 액티비티에 기초하여 상기 제 2, 제 3 또는 제 4 화상 중 복수의 화상을 선택하는 선택부를 포함하며, 상기 선택부에 의해 선택된 화상을 구성하는 화소 중 상기 주목 화소에 대응하는 것을 사용하여 상기 클래스 분류를 행하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 6 항에 있어서,
    상기 주목 화소의 예측치를 상기 주목 화소의 클래스에 대응하여 예측하는 예측부;를 더 포함하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 7 항에 있어서,
    상기 예측부는,
    상기 제 2, 제 3 및 제 4 화상 중 하나 또는 복수의 화상의 화소와의 선형 결합에 의해 상기 주목 화소의 예측치를 산출하기 위한 예측 계수를 상기 클래스마다 기억하고 있는 예측 계수 메모리;
    상기 주목 화소의 클래스에 대한 상기 예측 계수와, 상기 제 2, 제 3 및 제 4 화상 중 하나 또는 복수의 화상의 화소로부터 상기 주목 화소의 예측치를 구하는 예측치 연산부;를 포함하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 6 항에 있어서,
    상기 제 2, 제 3 또는 제 4 화상을 구성하는 화소 중 상기 주목 화소에 대응하는 것을 각각 사용하여 상기 클래스 분류를 행하고,
    상기 제 2, 제 3 또는 제 4 화상 각각을 사용한 클래스 분류 결과를 합성한 것을 최종적인 클래스 분류 결과로 하는 합성부;를 포함하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 1 화상보다 화소수가 적은 제 2 화상과, 상기 제 2 화상보다 화소수가 적은 제 3 화상과, 상기 제 3 화상보다 화소수가 적은 제 4 화상을 사용하여 상기 제 1 화상을 구하기 위한 처리를 행하는 화상 처리 방법으로서,
    주목하고 있는 상기 제 1 화상의 화소인 주목 화소를, 상기 주목 화소에 대응하는 상기 제 2, 제 3 및 제 4 화상 중 복수의 화상의 화소 성질에 따라서 소정의 클래스로 분류하는 단계;를 포함하며,
    상기 클래스로 분류하는 단계는, 상기 제 2, 제 3 또는 제 4 화상 중 상기 주목 화소에 대응하는 부분의 액티비티를 검출하는 단계, 및 상기 액티비티에 기초하여 상기 제 2, 제 3 또는 제 4 화상 중 복수의 화상을 선택하는 단계를 포함하며, 선택된 상기 화상을 구성하는 화소 중 상기 주목 화소에 대응하는 것을 사용하여 상기 클래스 분류를 행하는 것을 특징으로 하는 화상 처리 방법.
  11. 제 1 화상보다 화소수가 적은 제 2 화상과, 상기 제 2 화상보다 화소수가 적은 제 3 화상을 사용하여, 상기 제 1 화상을 구하기 위한 처리를 하는 화상 처리 장치로서,
    주목하고 있는 상기 제 1 화상의 화소인 주목 화소를, 상기 주목 화소에 대응하는 상기 제 2 또는 제 3 화상의 화소의 성질에 따라서 소정의 클래스로 분류하는 클래스 분류부와,
    상기 주목 화소의 예측치를 상기 주목 화소의 클래스에 대응하여 예측하는 예측부를 구비하고,
    상기 예측부는,
    상기 제 2 및 제 3 화상의 화소와의 선형 결합에 의해 상기 주목 화소의 예측치를 산출하기 위한 예측 계수를 상기 클래스마다 기억하고 있는 예측 계수 메모리;
    상기 주목 화소의 클래스에 대한 상기 예측 계수와, 상기 제 2 및 제 3 화상의 화소로부터 상기 주목 화소의 예측치를 구하는 예측치 연산부;를 갖는 것을 특징으로 하는 화상 처리 장치.
  12. 제 1 화상보다 화소수가 적은 제 2 화상과, 상기 제 2 화상보다 화소수가 적은 제 3 화상을 사용하여, 상기 제 1 화상을 구하기 위한 처리를 하는 화상 처리 방법으로서,
    주목하고 있는 상기 제 1 화상의 화소인 주목 화소를, 상기 주목 화소에 대응하는 상기 제 2 또는 제 3 화상의 화소의 성질에 따라서 소정의 클래스로 분류하는 단계;
    상기 주목 화소의 예측치를 상기 주목 화소의 클래스에 대응하여 예측하는 단계;를 포함하고,
    상기 예측하는 단계는,
    상기 제 2 및 제 3 화상의 화소와의 선형 결합에 의해 상기 주목 화소의 예측치를 산출하기 위한 예측 계수를 상기 클래스마다 기억하는 단계;
    상기 주목 화소의 클래스에 대한 상기 예측 계수와, 상기 제 2 및 제 3 화상의 화소로부터 상기 주목 화소의 예측치를 연산하는 단계;를 포함하는 것을 특징으로 하는 화상 처리 방법.
KR1019980030995A 1997-07-31 1998-07-31 화상처리장치및화상처리방법 KR100603159B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP20587097A JP3787823B2 (ja) 1997-07-31 1997-07-31 画像処理装置および画像処理方法
JP97-205870 1997-07-31

Publications (2)

Publication Number Publication Date
KR19990014318A KR19990014318A (ko) 1999-02-25
KR100603159B1 true KR100603159B1 (ko) 2006-12-01

Family

ID=16514097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980030995A KR100603159B1 (ko) 1997-07-31 1998-07-31 화상처리장치및화상처리방법

Country Status (7)

Country Link
US (1) US6404924B1 (ko)
EP (1) EP0895191A3 (ko)
JP (1) JP3787823B2 (ko)
KR (1) KR100603159B1 (ko)
CN (1) CN1152566C (ko)
HK (1) HK1020244A1 (ko)
SG (1) SG67531A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60041114D1 (de) * 1999-04-23 2009-01-29 Sony Corp Bildumwandlungsvorrichtung und -verfahren
JP4512956B2 (ja) * 2000-01-20 2010-07-28 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP2001222702A (ja) * 2000-02-07 2001-08-17 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
CN100568739C (zh) * 2000-05-09 2009-12-09 索尼公司 数据处理装置和方法
JP4507046B2 (ja) * 2001-01-25 2010-07-21 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP3702464B2 (ja) * 2002-05-08 2005-10-05 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4660550B2 (ja) * 2004-09-07 2011-03-30 サムスン エレクトロニクス カンパニー リミテッド 多階層ビデオコーディングおよびデコーディング方法、ビデオエンコーダおよびデコーダ
KR100679018B1 (ko) 2004-09-07 2007-02-05 삼성전자주식회사 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
WO2006090313A2 (en) * 2005-02-24 2006-08-31 Koninklijke Philips Electronics N.V. Object recognition using adrc (adaptive dynamic range coding)
JP4207009B2 (ja) 2005-03-09 2009-01-14 ソニー株式会社 画像処理装置及び方法
ITVA20060079A1 (it) * 2006-12-19 2008-06-20 St Microelectronics Srl Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori
JP4695124B2 (ja) * 2007-09-13 2011-06-08 日本電信電話株式会社 動画像符号化における動き探索装置
CN104935802B (zh) * 2014-03-17 2018-02-27 联想(北京)有限公司 图像处理方法、电子设备和系统
CN113963321B (zh) * 2021-10-27 2023-08-04 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147681A (ja) * 1993-09-30 1995-06-06 Sony Corp ディジタル画像信号の階層符号化および復号装置
JPH0951510A (ja) * 1995-05-31 1997-02-18 Sony Corp 信号変換装置及び信号変換方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2967014B2 (ja) 1993-05-24 1999-10-25 キヤノン株式会社 画像処理装置
US5821918A (en) * 1993-07-29 1998-10-13 S3 Incorporated Video processing apparatus, systems and methods
DE69428979T2 (de) 1993-08-30 2002-08-08 Sony Corp Einrichtung und verfahren zur kodierung von bilddaten
CA2129092C (en) 1993-10-04 1999-10-19 Leon C. Williams Image interpolation apparatus
JP3372611B2 (ja) * 1993-10-18 2003-02-04 キヤノン株式会社 映像伝送システム、映像処理装置及び映像処理方法
US5452235A (en) * 1993-11-01 1995-09-19 Intel Corp. Planar/packed video data FIFO memory device
JP3271108B2 (ja) 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JPH10509824A (ja) 1994-11-23 1998-09-22 イメイション・コーポレイション 画像データの適応的補間のためのシステム及び方法
US5852470A (en) 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5959676A (en) 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
US5995080A (en) * 1996-06-21 1999-11-30 Digital Equipment Corporation Method and apparatus for interleaving and de-interleaving YUV pixel data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147681A (ja) * 1993-09-30 1995-06-06 Sony Corp ディジタル画像信号の階層符号化および復号装置
JPH0951510A (ja) * 1995-05-31 1997-02-18 Sony Corp 信号変換装置及び信号変換方法

Also Published As

Publication number Publication date
KR19990014318A (ko) 1999-02-25
HK1020244A1 (en) 2000-03-31
SG67531A1 (en) 1999-09-21
EP0895191A2 (en) 1999-02-03
CN1215960A (zh) 1999-05-05
EP0895191A3 (en) 2000-06-21
CN1152566C (zh) 2004-06-02
JP3787823B2 (ja) 2006-06-21
US6404924B1 (en) 2002-06-11
US20020031267A1 (en) 2002-03-14
JPH1155630A (ja) 1999-02-26

Similar Documents

Publication Publication Date Title
KR100603159B1 (ko) 화상처리장치및화상처리방법
US4517606A (en) Apparatus for processing video signals
JPH1155479A (ja) 記憶装置およびアクセス方法
EP0152355A2 (en) Image information retrieval/display apparatus
KR100653562B1 (ko) 메모리 디바이스와, 기록 방법 및 판독 방법
EP0426809B1 (en) Page buffer for an electronic gray-scale color printer
US4811099A (en) Video signal memories
US6791625B1 (en) Video processing apparatus for performing address generation and control, and method therefor
US6442297B1 (en) Storage apparatus and writing and/or reading methods for use in hierarchical coding
EP0137481A2 (en) Image processing system
KR101106080B1 (ko) 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체
AU749662B2 (en) Storage apparatus and storage method
JPH1155480A (ja) 記憶装置およびアクセス方法
JPH0336354B2 (ko)
JP4210950B2 (ja) 画像処理装置および画像処理方法
JP4507639B2 (ja) 画像信号処理装置
CA1249378A (en) Video signal memories
EP1104190A1 (en) Image signal conversion device and method
JPS60163080A (ja) 画像縮小表示処理方式
JPH10124038A (ja) 画像合成装置
GB2259835A (en) Saving space in a character rom
JP2836486B2 (ja) 多次元多値画像圧縮伸張方式
JPH0232478A (ja) 並列アクセスのための画像メモリ
JPH0440750A (ja) 記録装置
JPH0354913B2 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee