KR19990087249A - 화상 신호 부호화 장치, 화상 신호 부호화 방법,화상 신호 복호 장치, 화상 신호 복호 방법 및 기록 매체 - Google Patents

화상 신호 부호화 장치, 화상 신호 부호화 방법,화상 신호 복호 장치, 화상 신호 복호 방법 및 기록 매체 Download PDF

Info

Publication number
KR19990087249A
KR19990087249A KR1019980706650A KR19980706650A KR19990087249A KR 19990087249 A KR19990087249 A KR 19990087249A KR 1019980706650 A KR1019980706650 A KR 1019980706650A KR 19980706650 A KR19980706650 A KR 19980706650A KR 19990087249 A KR19990087249 A KR 19990087249A
Authority
KR
South Korea
Prior art keywords
image signal
pixel
prediction
compressed
value
Prior art date
Application number
KR1019980706650A
Other languages
English (en)
Other versions
KR100537123B1 (ko
Inventor
데쯔지로 곤도
겐지 다까하시
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR19990087249A publication Critical patent/KR19990087249A/ko
Application granted granted Critical
Publication of KR100537123B1 publication Critical patent/KR100537123B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명에서는 HD 화상을 추출함으로써 얻어지는 SD 화상을 구성하는 SD 화소(도 18에서 ○표시 표시함) 근방에, 가상의 화소인 가상 화소(같은 도면에서 ◎표로 표시함)을 상정하고, 그 화소치가 HD 화상에서 구해지며, SD 호소의 화소치의 일부 대신, 가상 화소의 화소치의 일부가 배치된다. 그리고, SD 화소 중 하나를 주목 화소로서, 그 주변의 SD 화소 및 가상 화소에서 예측 탭이 형성되고, 예측 탭과, 소정의 예측 계수와의 선형 결합에 의해 HD 화상의 예측치를 구하는 적응 처리가 행해진다. 또한, 적응 처리에 의해구해진 예측치의, HD 화상에 대한 예측 오차가 산출되고, 예측 오차에 대응하여 주목 화소의 화소치가 보정된다. 이로써, 부호화 효율을 열화시키기 않고, 원화상에 보다 가까운 복호 화상을 얻을 수 있다.

Description

화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록 매체
예를 들어, 표준 해상도 또는 저해상도의 화상(이하, SD 화상이라고 함)을 고해상도의 화상(이하, HD 화상이라고 함)으로 변환하거나 또는 화상을 확대하거나 하는 경우에 있어서는, 소위 보간 필터 등에 의해 부족한 화소의 화소치의 보간(보상)이 행해진다.
그러나, 보간 필터에 의해 화소의 보간을 행해도 SD 화상에 포함되어 있지 않는 HD 화상의 성분(고주파 성분)을 복원할 수 없기 때문에, 고해상도의 화상을 얻는 것은 곤란하였다.
그래서, 본건 출원인은 SD 화상을 거기에 포함되어 있지 않는 고주파 성분을 포함하는 HD 화상으로 변환하는 화상 변환 장치(화상 변환 회로)를 먼저 제안하고 있다.
이 화상 변환 장치에서는, SD 화상과 소정의 예측 계수와의 선형 결합에 의해 HD 화상의 화소의 예측치를 구하는 적응 처리를 행함으로서 SD 화상에는 포함되어 있지 않은 고주파 성분을 복원하도록 하고 있다.
구체적으로는, HD 화상을 구성하는 화소(이하, HD 화소라고 함)의 화소치 y의 예측치 E[y]를 SD 화상을 구성하는 화소(이하, SD 화소라고 함)의 몇몇 화소치(이하, 학습 데이타라고 함) x1, x2, …와 소정의 예측 계수 w1, w2, …와의 선형 결합에 의해 규정되는 선형 1차 결합 모델에 의해 구한다. 이 경우, 예측치 E[y]는 수학식 1로 나타낼 수 있다.
E[y] = w1x1+ w2x2+ …
그래서, 일반화하기 위해 예측 계수 w의 집합으로 되는 행렬 W를 수학식 2로, 학습 데이타의 집합으로 되는 행렬 X를 수학식 3으로, 예측치 E[y]의 집합으로 되는 행렬 Y'를 수학식 4로 정의하면 수학식 5와 같은 관측 방정식이 성립한다.
XW = Y'
그리고, 이 관측 방정식에 최소 제곱법을 적용해서 HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하는 것을 생각한다. 이 경우, 교사 데이타로 되는 HD 화소의 참인 화소치 y의 집합으로 되는 행렬 Y를 수학식 6로, HD 화소의 화소치 y에 대한 예측치 E[y]의 잔차 e의 집합으로 되는 행렬 E를 수학식 7로 정의하면,
수학식 5로부터 수학식 8과 같은 잔차 방정식이 성립된다.
XW = Y+E
이 경우, HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하기 위한 예측 계수 wi는 수학식 9에 나타낸 제곱 오차를 최소로 함으로서 구할 수 있다.
따라서, 전술한 수학식 9에 나타낸 제곱 오차를 예측 계수 wi에서 미분한 것이 0으로 될 경우 즉, 수학식 10을 만족하는 경우에 예측 계수 wi가 HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하기 위해 최적치가 된다.
그래서, 우선 수학식 8을 예측 계수 wi에서 미분함으로써 수학식 11이 성립된다.
수학식 10 및 수학식 11에서, 수학식 12가 얻어진다.
또한, 수학식 8의 잔차 방정식에서의 학습 데이타 x, 예측 계수 w, 교사 데이타 y 및 잔차 e의 관계를 고려하면, 수학식 12로부터 수학식 13과 같은 정규 방정식을 얻을 수 있다.
···
수학식 13의 정규 방정식은 구해야 할 예측 계수 w의 수와 동일한 수만큼 세울 수 있으며 따라서, 수학식 13을 계산한 것으로(단, 수학식 13을 풀기 위해서는 수학식 13에서 예측 계수 w에 관한 계수로 구성된 행렬이 정칙일 필요가 있다), 알맞은 예측 계수 w를 구할 수 있다. 또, 수학식 13을 푼 것에 있어서는, 예를 들어 소인법(Gauss-Jordan의 소거법) 등을 적용하는 것이 가능하다.
이상과 같이 해서, 알맞은 예측 계수 w를 구하고, 또한 그 예측 계수 w를 이용해서 수학식 1에 의해 HD 화소의 화소치 y에 가까운 예측치 E[y]를 구하는 것이 적응 처리이다(단, 미리 예측 계수 w를 구해 두고, 그 예측 계수 w를 이용해서 예측치를 구하는 것도 적응 처리에 포함되는 것으로 한다).
그런데, 적응 처리는 SD 화상에는 포함되지 않은 HD 화상에 포함되는 성분이 재현되는 점에서 보간 처리와는 다르다. 즉, 적응 처리에서는 수학식 1만을 보는 것만으로, 소위 보간 필터를 이용한 보간 처리와 동일하지만, 그 보간 필터의 탭 계수에 상당하는 예측 계수 w가 교사 데이타 y를 이용해서, 말하자면 학습에 의해 구해지기 때문에, HD 화상에 포함되는 성분을 재현할 수 있다. 즉, 적용 처리에서는 고해상도의 화상을 용이하게 얻을 수 있다. 환언하면, 적응 처리는 말하자면 화상의 창조 작용이 있는 처리라고 할 수 있다.
도 1은 화상의 특징(클래스)에 기초해서, 이상과 같은 적응 처리에 의해 SD 화상을 HD 화상으로 변환하는 화상 변환 장치(화상 변환 회로)의 구성의 일례를 나타내고 있다.
SD 화상은 클래스 분류 회로(101) 및 지연 회로(102)에 공급되며 클래스 분류 회로(101)는 SD 화상을 구성하는 SD 화소를 순차, 주목 화소로 하고 그 주목 화소를 소정의 클래스로 분류한다.
구체적으로는, 클래스 분류 회로(101)는 우선 최초로 주목 화소의 주변에 있는 SD 화소를 몇개 모아 블럭을 구성하고(이하, 처리 블럭이라고 한다), 그 처리 블럭을 구성하는, 예를 들어 모든 SD 화소의 화소치의 패턴에 미리 할당된 값을, 주목 화소의 클래스로 해서 계수 ROM(104)의 어드레스 단자(AD)에 공급한다.
구체적으로는, 클래스 분류 회로(101)는, 예를 들어 도 2에 점선의 사각형으로 둘러싸 나타내는 바와 같이, 주목 화소를 중심으로 하는 5×5개의 SD 화소(도 2에서 ○ 표시로 나타낸다)로 되는 처리 블럭을 SD 화상으로부터 추출하고 이들 25개의 SD 화소의 화소치의 패턴에 대응하는 값을 주목 화소의 클래스로 해서 출력한다.
여기에서, 각 SD 화소의 화소치를 나타내는데, 예를 들어 8비트 등의 많은 비트수가 할당되어 있을 경우, 25개의 SD 화소의 화소치의 패턴수는 (28)25정도라는 막대한 수로 되며 그 후의 처리를 신속하게 행하는 것이 곤란해진다.
그래서, 클래스 분류를 행하기 전의 전 처리로서 처리 블럭에는 그것을 구성하는 SD 화소의 비트수를 저감하기 위한 처리인, 예를 들어 ADRC(Adaptive Dynamic Range Coding) 처리 등이 실시된다.
구체적으로는, ADRC 처리에서는 우선 처리 블럭을 구성하는 25개의 SD 화소로부터, 그들 화소치의 최대의 것(이하, 최대 화소라고 함)과 최소의 것(이하, 최소 화소라고 함)이 검출된다. 그리고, 최대 화소의 화소치 MAX와 최소 화소의 화소치 MIN과의 차분 DR(=MAX-MIN)이 연산되고, 이 DR을 처리 블럭의 국소적인 다이내믹 범위로 한다. 그리고, 이 다이내믹 범위 DR에 기초해서 처리 블럭을 구성하는 각 화소치가 원래의 할당 비트수보다 작은 K 비트로 다시 양자화된다. 즉, 처리 블럭을 구성하는 각 화소치로부터 최소 화소의 화소치 MIN이 감산되며 각 감산치가 DR/2k로 뺄셈된다.
그 결과, 처리 블럭을 구성하는 각 화소치는 K 비트로 표현된다. 따라서, 예를 들어 K=1로 한 경우 25개의 SD 화소의 화소치의 패턴수는, (21)25정도가 되며 ADRC 처리를 행하지 않은 경우에 비교해서, 패턴수를 매우 작은 것으로 할 수 있다. 또, 화소치를 이와 같이 K 비트로 하는 ADRC 처리를 이하 K 비트 ADRC 처리라고 한다.
계수 ROM(104)은 미리 학습이 행해짐으로써 구해진 예측 계수의 셋트를 클래스마다 기억하고 있고, 클래스 분류 회로(101)로부터 클래스가 공급되면, 그 클래스에 대응하는 어드레스에 기억되어 있는 예측 계수의 셋트를 판독해서 예측 연산 회로(105)에 공급한다.
한편, 지연 회로(102)는 예측 연산 회로(105)에 대해 계수 ROM(104)으로부터 예측 계수의 셋트가 공급되는 타이밍과 후술하는 예측 탭 생성 회로(103)로부터 예측 탭이 공급되는 타이밍을 일치시키기 위해서 필요한 시간만큼 SD 화상을 지연해서 예측 탭 생성 회로(103)로 공급한다.
예측 탭 생성 회로(103)는 공급되는 SD 화상으로부터 예측 연산 회로(105)에서 소정의 HD 화소의 예측치를 구하는데 이용되는 SD 화소를 추출하고, 이것을 예측 탭으로 해서 예측 연산 회로(105)에 공급한다. 구체적으로는, 예측 탭 생성 회로(103)는 SD 화상으로부터, 예를 들어 클래스 분류 회로(101)로 추출되었다는 동일한 처리 블럭을 추출하고, 그 처리 블럭을 구성하는 SD 화소를 예측 탭으로 해서 예측 연산 회로(105)에 공급한다.
예측 연산 회로(105)는 계수 ROM(104)으로부터의 예측 계수 w1, w2, …와 예측 탭 생성 회로(103)로부터의 예측 탭 x1x2, …를 이용해서 수학식 1에 나타낸 연산, 즉 적응 처리를 행해서 주목 화소 y의 예측치 E[y]을 구하고 이것을 HD 화소의 화소치로서 출력한다.
구체적으로는, 예를 들어 도 2에서 실선인 사각 형태로 둘러싼 주목 화소를 중심으로 하는 3×3개의 HD 화소(도 2에서 ·점으로 나타냄)의 예측치가 1개의 예측 탭으로부터 구하도록 이루어져 있으며, 이 경우 예측 연산 회로(105)는 이 9개의 HD 화소에 대한 수학식 1의 연산을 행한다. 따라서, 계수 ROM(104)은 하나의 클래스에 대응하는 어드레스에 9개의 예측 계수의 셋트를 기억하고 있다.
이하, 마찬가지의 처리가 그 외의 SD 화소를 순차 주목 화소로서 행해지며 이에 따라 SD 화상이 HD 화상으로 변환된다.
다음에, 도 3은 도 1의 계수 ROM(104)에 기억시키는 예측 계수를 산출하는 학습 처리를 행하는 학습 장치(학습 회로)의 구성의 일례를 나타내고 있다.
학습에서의 교사 데이타 y로 되어야 할 HD 화상이 추출 회로(111) 및 지연 회로(114)에 공급되며 추출 회로(111)는, 예를 들어 HD 화상의 화소를 추출함으로써, 그 화소수를 작게 하고 이것을 SD 화상으로 한다. 이 SD 화상은 클래스 분류 회로(112) 및 예측 탭 생성 회로(113)에 공급된다.
클래스 분류 회로(112) 또는 예측 탭 생성 회로(113)는 도 1의 클래스 분류 회로(101) 또는 예측 탭 생성 회로(103)에서의 경우와 마찬가지의 처리를 행하고 이에 따라, 주목 화소의 클래스 또는 예측 탭을 각각 출력한다. 클래스 분류 회로(112)가 출력하는 클래스는 예측 탭 메모리(115) 및 교사 데이타 메모리(116)의 어드레스 단자(AD)에 공급되며 예측 탭 생성 회로(113)가 출력하는 예측 탭은 예측 탭 메모리(115)에 공급된다.
예측 탭 메모리(115)는 클래스 분류 회로(112)로부터 공급되는 클래스에 대응하는 어드레스에 예측 탭 생성 회로(113)로부터 공급되는 예측 탭을 기억한다.
한편, 지연 회로(114)는 주목 화소에 대응하는 클래스가 클래스 분류 회로(112)로부터 교사 데이타 메모리(116)에 공급되는 시간만큼 HD 화상을 지연하고, 그 중 주목 화소인 SD 화소의 주변에 있는 HD 화소의 화소치만을 교사 데이타로 해서 교사 데이타 메모리(116)에 공급한다.
그리고, 교사 데이타 메모리(116)는 클래스 분류 회로(112)로부터 공급되는 클래스에 대응하는 어드레스에 지연 회로(114)로부터 공급되는 교사 데이타를 기억한다.
이하 마찬가지의 처리가 미리 학습용으로 준비된 모든 HD 화상을 구성하는 모든 HD 화소가 주목 화소가 되기까지 반복된다.
이상과 같이 해서, 예측 탭 메모리(115) 또는 교사 데이타 메모리(116)가 동일한 어드레스 각각에는 도 2에서 ○ 표시로 나타낸 SD 화소 또는 도 2에서 ·표시로 나타낸 HD 화소와 각각 동일한 위치 관계에 있는 SD 화소 또는 HD 화소의 화소치가 학습 데이타 x 또는 교사 데이타 y로서 기억된다.
또, 예측 탭 메모리(115)와 교사 데이타 메모리(116)에는 동일 어드레스에 복수의 정보를 기억할 수 있게 되며 동일 어드레스에는 동일한 클래스로 분류되는 복수의 학습 데이타 x와 교사 데이타 y가 기억된다.
그 후, 연산 회로(117)는 예측 탭 메모리(115) 또는 교사 데이타 메모리(116)로부터 동일 어드레스에 기억되어 있는 학습 데이타로서의 예측 탭 또는 교사 데이타로서의 HD 화소의 화소치를 판독하고, 이들을 이용해서 최소 제곱법에 의해 예측치와 교사 데이타와의 사이의 오차를 최소로 하는 예측 계수의 셋트를 산출한다. 즉, 연산 회로(117)는 클래스마다 수학식 13에 나타낸 정규 방정식을 세워 이것을 계산함으로써 클래스마다 예측 계수의 셋트를 구한다.
이상과 같이 해서, 연산 회로(117)에서 구해진 클래스마다 예측 계수의 셋트가 도 1의 계수 ROM(104)에서의 그 클래스에 대응하는 어드레스에 기억되어 있다.
또, 이상과 같은 학습 처리에서 예측 계수를 구하는데 필요한 수의 정규 방정식을 얻을 수 없는 클래스가 생기는 경우가 있지만, 그와 같은 클래스에 대해서는, 예를 들어 클래스를 무시해서 정규 방정식을 세워 계산함으로써 얻어진 예측 계수의 셋트 등이 말하자면 디폴트의 예측 계수의 셋트로서 이용된다.
그런데, 도 1에 나타낸 화상 변환 장치에서는 HD 화상의 화소수를 추출한 것 등으로 해서 적게 함으로써 얻어진 SD 화상으로부터 상술한 바와 같이, 거기에 포함되지 않은 고주파 성분을 포함하는 HD 화상을 얻을 수 있지만, 원래의 HD 화상에 가깝게 하는 데에는 한계가 있다. 그 이유로서 HD 화상의 화소수를 추출하고 싶은 만큼의 SD 화상의 화소(SD 화소)의 화소치가 원래의 HD 화상을 복원하는데 최적은 아니라고 생각된다.
그래서, 본건 출원인은 원래의 HD 화상에 의해 가까운 화질의 복호 화상을 얻을 수 있도록 하기 위해, 적응 처리를 이용한 화상의 압축(부호화)에 대해 먼저 제안하고 있다(예를 들어, 특원평 8-206552호 등).
즉, 도 4는 적응 처리에 의해서 원래의 HD 화상에 의해 가까운 복호 화상을 얻을 수 있도록, 그 HD 화상을 최적 SD 화상에 압축(부호화)하는 화상 신호 부호화 장치의 구성의 일례를 나타내고 있다.
부호화 대상의 HD 화상은 추출부(121) 및 오차 산출부(124)에 공급된다.
추출부(121)는 HD 화상의 화소를, 예를 들어 단순하게 추출해서 SD 화상으로 하고, 이 SD 화상을 보정부(122)에 공급한다. 보정부(122)는 추출부(121)로부터 SD 화상이 공급되면 최초는, 그 SD 화상을 그대로 로컬 디코드부(123)에 출력한다. 로컬 디코드부(123)는 예를 들어 도 1에 도시한 화상 변환 장치와 마찬가지로 구성되어 있으며, 보정부(122)로부터의 SD 화상을 이용해서 상술한 바와 같은 적응 처리를 행함으로써 HD 화소의 예측치를 산출해서 오차 산출부(124)에 출력한다. 오차 산출부(124)는 로컬 디코드부(123)로부터의 HD 화소의 예측치의 원래 HD 화소에 대한 예측 오차를 산출해서 제어부(125)에 출력한다. 제어부(125)는 오차 산출부(24)로부터의 예측 오차에 대응해서 보정부(122)를 제어한다.
이에 따라, 보정부(122)는 추출부(121)로부터의 SD 화상의 화소치를 제어부(125)로부터의 제어에 따라서 보정하고 로컬 디코드부(123)에 출력한다. 로컬 디코드부(123)는 보정부(122)로부터 공급되는 보정 후의 SD 화상을 이용해서 다시 HD 화상의 예측치를 구한다.
이하, 예를 들어 오차 산출부(124)가 출력하는 예측 오차가 소정치 이하가 되기까지 마찬가지의 처리가 반복된다.
그리고, 오차 산출부(124)가 출력하는 예측 오차가 소정치 이하가 되면, 제어부(125)는 보정부(122)를 제어해서 예측 오차가 소정치 이하가 되었을 때의 보정 후의 SD 화상을 HD 화상의 알맞은 부호화 결과로서 출력시킨다.
따라서, 이 보정 후의 SD 화상에 적응 처리를 실시함으로써 예측 오차가 소정치 이하의 HD 화상을 얻을 수 있다.
여기서, 이상과 같이 해서 도 4의 화상 신호 부호화 장치로부터 출력되는 SD 화상은 원래 HD 화상에 의해 가까운 복호 화상을 얻는데 알맞은 것으로 할 수 있기 때문에, 이 화상 신호 부호화 장치의 보정부(122), 로컬 디코드부(123), 오차 산출부(124) 및 제어부(125)로 구성되는 계(系)가 행하는 처리는 최적화 처리라고 할 수 있다.
그런데, 원래 HD 화소의 화소치에 의해 가까운 예측치를 얻기 위해서는 적응 처리에서 이용하는 예측 탭을 그 예측치를 구하고자 하는 HD 화소에 가깝고, 많은 SD 화소로부터 구성하는 것이 바람직하다.
그러나, 예측 탭을 많은 SD 화소로부터 구성하면 예측치를 구하고자 하는 HD 화소로부터 먼 SD 화소가 예측 탭에 포함되게 된다. 따라서, 이 경우 예측치를 구하고자 하는 HD 화소가 표시하는 물체와는 다른 물체를 표시하는 SD 화소가 예측 탭에 포함되는 경우가 있으며, 그 결과 예측치의 정밀도가 열화하고 그 예측치로 구성되는 복호 화상이 열화하게 된다.
그래서, 도 4의 화상 신호 부호화 장치의 추출부(121)에서 HD 화상으로부터 추출하는 화소수를 적게 하고, 이로써 예측치를 구하고자 하는 HD 화소로부터 가까운 위치의 SD 화소를 증가시키는 방법이 있지만 이것에서는 부호화 효율이 열화하게 된다.
(발명의 개시)
본 발명은 이러한 상황에 감안하여 이루어진 것으로 부호화 효율을 열화시키는 일 없이, 원화상에 의해 가까운 복호 화상을 얻을 수 있도록 하는 것이다.
본 발명에 따른 화상 신호를 부호화하는 화상 신호 부호화 장치는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하는 압축부와 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 원화상 신호로부터 산출하는 제1 산출부와, 압축 화소의 화소치 중 일부를 가상 화소의 화소치 중 일부로 대체하는 치환부와, 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 해서 그 주목 화소의 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하는 형성부와, 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하는 예측부와, 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하는 제2 산출부와, 예측 오차에 따라서 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정하는 보정부를 구비한다.
본 발명에 따른 부호화 화상 신호를 복호하는 화상 신호 복호 장치는 부호화 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 하고 그 주목 화소의 근방의 화소로부터 예측 탭을 형성하는 형성부와, 예측 탭과 소정의 예측 계수로부터 복원 화상 신호의 화소치를 생성하는 생성부를 구비한다. 복호되는 부호화 화상 신호는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고, 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 원화상 신호로부터 산출하여 압축 화소의 화소치 중 일부를 가상 화소의 화소치 중 일부로 대체하며, 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 해서 그 주목 화소의 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하고 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하고 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하고, 예측 오차에 따라서 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생되고 있다.
본 발명에 따른 화상 신호를 부호화하는 화상 신호 부호화 방법은 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하는 단계과, 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 원화상 신호로부터 산출하는 단계와, 압축 화소의 화소치 중 일부를 가상 화소의 화소치 중 일부로 대체하는 단계와, 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 해서, 그 주목 화소의 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하는 단계와, 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하는 단계와, 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하는 단계와, 예측 오차에 따라서 압축 가상 신호를 구성하는 압축 화소의 화소치를 보정하는 단계를 갖는다.
본 발명에 따른 부호화 화상 신호를 복호하는 화상 신호 복호 방법은 부호화 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 하고 그 주목 화소의 근방의 화소로부터 예측 탭을 형성하는 단계와, 예측 탭과 소정의 예측 계수로부터 복원 화상 신호의 화소치를 생성하는 단계를 갖는다. 복호되는 부호화 화상 신호는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고, 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고 그 가상 화소의 화소치를 원화상 신호로부터 산출하고 압축 화소의 화소치 중 일부를 가상 화소의 화소치 중 일부로 대체하고 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 하고, 그 주목 화소의 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하고, 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하고 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하고 예측 오차에 따라서 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생되고 있다.
본 발명에 따른 머신에 의해서 복호 가능한 기록 매체에는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 원화상 신호로부터 산출하고, 압축 화소의 화소치 중 일부를 가상 화소의 화소치 중 일부에 대체하고 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 하고 그 주목 화소 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하고 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하고 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하고 예측 오차에 따라서 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생된 기록 신호가 기록되어 있다.
본 발명은 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록 매체에 관한 것이다. 특히, 원(原)화상과 거의 동일한 복호 화상이 얻어지도록 화상의 화소를 추출해서 압축 부호화하는 화상 신호 부호화 장치 및 화상 신호 부호화 방법, 압축 부호화된 화상을 복호하는 화상 신호 복호 장치 및 화상 신호 복호 방법, 압축 부호화된 화상을 기록한 기록 매체에 관한 것이다.
도 1은 본건 출원인이 먼저 제안한 화상 변환 장치(화상 변환 회로)의 구성의 일례를 나타낸 블럭도.
도 2는 도 1의 클래스 분류 회로(101)의 처리를 설명하기 위한 도면.
도 3은 본건 출원인이 먼저 제안한 학습 장치(학습 회로)의 구성의 일례를 나타낸 블럭도.
도 4는 본건 출원인이 먼저 제안한 화상 신호 부호화 장치의 구성의 일례를 나타낸 블럭도.
도 5는 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 나타낸 블럭도.
도 6은 도 5의 송신 장치(1)의 구성의 일례를 나타낸 블럭도.
도 7은 도 6의 송신 장치(1)의 기능적 구성의 일례를 나타낸 블럭도.
도 8은 도 7의 전 처리부(21)의 구성의 일례를 나타낸 블럭도.
도 9a, 도 9b는 도 8의 추출 회로(31)의 처리를 설명하기 위한 도면.
도 10은 도 8의 가상 화소 형성 회로(32)의 처리를 설명하기 위한 도면.
도 11은 도 8의 가상 화소 형성 회로(32)의 처리를 설명하기 위한 도면.
도 12는 도 8의 전 처리부(21)의 동작을 설명하기 위한 플로우차트.
도 13은 도 7의 최적화부(22)의 구성의 일례를 나타낸 블럭도.
도 14는 도 13의 클래스 분류 적응 처리(예측 계수 생성) 회로(41)의 구성의 일례를 나타낸 블럭도.
도 15는 도 13의 클래스 분류 적응 처리 회로(43)의 구성의 일례를 나타낸 블럭도.
도 16은 도 13의 최적화부(22)의 동작을 설명하기 위한 플로우차트.
도 17a, 도 17b는 도 13의 클래스 분류 적응 처리(예측 계수 생성) 회로(41)가 클래스 분류를 행할 때 형성하는 클래스 탭을 나타낸 도면.
도 18은 도 13의 클래스 분류 적응 처리(예측 계수 생성) 회로(41)가 적응 처리를 행할 때 형성하는 예측 탭을 나타낸 도면.
도 19는 도 16의 스텝 S13의 처리의 보다 상세를 설명하기 위한 플로우차트.
도 20은 도 19의 스텝 S33의 처리를 설명하기 위한 도면.
도 21은 도 16의 스텝 S14의 처리의 보다 상세를 설명하기 위한 플로우차트.
도 22는 도 21의 스텝 S66의 처리를 설명하기 위한 도면.
도 23은 도 16의 스텝 S15의 처리의 보다 상세를 설명하기 위한 플로우차트.
도 24는 도 5의 수신 장치(4)의 구성의 일례를 나타낸 블럭도.
도 25는 도 25의 클래스 분류 적응 처리 회로(73)의 구성의 일례를 나타낸 블럭도.
도 26은 클래스 분류 적응 처리 회로(73)의 동작을 설명하기 위한 플로우차트.
도 27은 예측 탭의 다른 구성의 일례를 나타낸 도면.
(발명을 실시하기 위한 최량의 형태)
이하에, 본 발명의 실시 형태에 대해 도면을 참조하면서 설명한다.
도 5는 본 발명을 적용한 화상 처리 장치의 제1 실시 형태의 구성을 나타내고 있다. 송신 장치(1)에는 디지탈화된 HD 화상의 화상 데이타가 공급된다. 송신 장치(1)는 입력된 화상 데이타를 추출함으로써(그 화소수를 적게 하는 것), 화상 데이타를 부호화해서 화상을 압축하고 그 결과 얻어진 SD 화상의 화상 데이타를 HD 화상의 부호화 데이타로서 예를 들어, 광 디스크, 광자기 디스크, 자기 테이프 등의 기록 매체(2)에 기록하고 또는 예를 들어, 지상파, 위성 회선, 전화 회선, CATV망 등의 전송로(3)를 통해 전송한다.
수신 장치(4)는 기록 매체(2)로부터 재생된 부호화 데이타가 공급되며 또는 전송로(3)를 통해 전송된 부호화 데이타가 수신되며 그 부호화 데이타를 복호해서 신장하고, 그 결과 얻어진 HD 화상의 복호 화상을 도시하지 않은 디스플레이에 공급하여 표시시킨다.
또, 이상과 같은 화상 처리 장치는, 예를 들어 광 디스크 장치, 광자기 디스크 장치, 자기 테이프 장치 등의 화상의 기록/ 재생을 행하는 장치나 혹은 또는 예를 들어, 텔레비젼 전화 장치, 텔레비젼 방송 시스템, CATV 시스템 등의 화상을 전송하는 장치 등에 적용된다. 또한, 후술한 바와 같이, 송신 장치(1)가 출력하는 부호화 데이타의 데이타량이 적기 때문에, 도 5의 화상 처리 장치는 전송 레이트가 낮아, 예를 들어 휴대 전화기 등의 이동에 편리한 휴대 단말 등에도 적용 가능하다.
도 6은 송신 장치(1)의 구성의 일례를 나타내고 있다. 인터페이스(이하, I/F 라고 한다. ; 11)는 외부로부터 공급되는 HD 화상의 화상 데이타의 수신 처리와, 송신기/ 기록 장치(16)에 대한 부호화 데이타의 송신 처리를 행하도록 되어 있다. ROM(Read Only Memory ; 12)은 IPL(Initial Program Loading)용 프로그램이나 그 외의 프로그램을 기억하고 있다. RAM(Random Access Memory ; 13)은 외부 기억 장치(15)에 저장되어 있는 시스템 프로그램(OS : Operating System)이나 어플리케이션 프로그램을 기억하거나 또한 CPU(Central Processing Unit ; 14)의 동작 상 필요한 데이타를 기억한다. CPU(14)는 ROM(12)에 기억되어 있는 IPL 프로그램에 따라서 외부 기억 장치(15)로부터 시스템 프로그램 및 어플리케이션 프로그램을 RAM(13)에 전개하고, 그 시스템 프로그램의 제어하에서 어플리케이션 프로그램을 실행함으로써 I/F(11)로부터 공급되는 화상 데이타에 후술한 바와 같은 부호화 처리를 실시한다. 외부 기억 장치(15)는 예를 들어, 자기 디스크 장치 등으로 이루어지며 상술한 바와 같이 CPU(14)가 실행하는 시스템 프로그램이나 어플리케이션 프로그램을 기억하고 있음과 동시에, CPU(14)의 동작상 필요한 데이타도 기억하고 있다. 송신기/ 기록 장치(16)는 I/F(11)로부터 공급되는 부호화 데이타를 기록 매체(2)에 기록하고 또는 전송로(3)를 통해 전송하도록 되어 있다.
I/F(11), ROM(12), RAM(13), CPU(14) 및 외부 기억 장치(15)는 버스를 통해 서로 접속되어 있다. 또, 도 6에서 송신 장치(1)는 CPU(14)를 이용한 구성으로 되고 있지만, 하드 와이어 논리 회로에서 구성하는 것도 가능하다.
이상과 같이 구성되는 송신 장치(1)에서는 I/F(11)에 HD 화상의 화상 데이타가 공급되면, 그 화상 데이타는 CPU(14)에 공급된다. CPU(14)는 화상 데이타를 부호화하고 그 결과 얻어진 부호화 데이타로서의 SD 화상을 I/F(11)에 공급한다. I/F(11)는 부호화 데이타가 공급되면 그것을 송신기/ 기록 장치(16)에 공급한다. 송신기/ 기록 장치(16)는 I/F(11)로부터의 부호화 데이타를 기록 매체(2)에 기록하고 또는 전송로(3)를 통해 전송한다.
도 7은 도 6에 도시한 송신 장치(1)의 송신기/ 기록 장치(16)를 제외한 부분의 기능적인 블럭도이다.
부호화해야 할 화상 데이타로서의 HD 화상은 전 처리부(21) 및 최적화부(22)에 공급된다. 전 처리부(21)는 HD 화상(원화상)을 그 화소수를 적게함으로써 압축하고, 그 결과 얻어진 SD 화상(압축 화상)을 구성하는 SD 화소의 근방에 가상의 화소인 가상 화소를 상정하고 그 가상 화소의 화소치를 HD 화상으로부터 구한다. 또한, 전 처리부(21)는 SD 화소의 화소치의 일부 대신에 가상 화소의 화소치의 일부를 배치하고 최적화부(22)에 공급한다.
최적화부(22)는 전 처리부(21)로부터의 SD 화소를 순차 주목 화소로서 최적화 처리를 행한다. 구체적으로는, 최적화부(22)는 주목 화소의 주변 SD 화소 및 가상 화소로부터 예측 탭을 형성하고 그 예측 탭과 예측 계수의 셋트와의 선형 결합에 의해 원화상의 예측치를 구하여 적응 처리를 행한다. 또한, 최적화부(22)는 그 예측치의 원래 HD 화상에 대한 예측 오차를 산출하고 그 예측 오차에 대응해서 주목 화소의 화소치를 보정한다. 그리고, 최적화부(22)는 그 보정된 주목 화소의 화소치를 이용해서 마찬가지의 처리를 예를 들어, 그 예측 오차가 소정치 이하가 되기까지 반복하고, 원래의 HD 화상의 예측치를 얻는데 알맞은 주목 화소인 SD 화소의 화소치를 구한다.
또한, 최적화부(22)는 전 처리부(21)로부터의 예를 들어, 1프레임(또는 1필드)의 SD 화상을 구성하는 SD 화소 모두를 주목 화소로서 전술한 처리를 행한 후, 그 결과 얻어진 최적 SD 화상을 이용해서 적응 처리를 행함으로써 예측 오차를 보다 작게 하는 클래스마다의 예측 계수의 셋트를 구한다. 즉, 최적화부(22)는 최적 SD 화상을 이용해서 클래스마다의 예측 계수의 셋트를 예측 오차가 보다 작아지도록 갱신한다. 그리고, 그 클래스마다 예측 계수의 셋트를 이용해서 재차, 최적화 처리를 반복한다. 그리고, 예를 들어, 1프레임분 예측 오차의 절대치 합이 소정의 임계치 이하가 되거나 혹은 클래스마다 예측 계수의 셋트의 갱신을 소정 횟수만큼 행하면, 그 때 얻어진 알맞는 SD 화상과 클래스마다의 예측 계수의 셋트를 HD 화상의 부호화 결과인 부호화 데이타로서 출력한다.
다음에, 도 8은 도 7의 전 처리부(21)의 구성의 일례를 나타내고 있다.
부호화해야 할 HD 화상은 추출 회로(31) 및 화상 화소 형성 회로(32)에 공급된다. 추출 회로(31)는 HD 화상의 화소수를, 예를 들어, 추출함으로써 적게 해서 SD 화상을 구성하고 가상 화소 형성 회로(32)에 공급한다. 구체적으로는, 추출 회로(31)는 예를 들어 HD 화상을 가로×세로가 3×3인 9개의 화소가 되는 정방형 블럭으로 분할하고 각 블럭의 몇몇 화소(후술한다)의 평균치를 그 중심의 화소의 화소치로서 SD 화상을 구성한다. 이에 따라, 추출 회로(31)에서는, 예를 들어 도 9a에 ·표시로 나타낸 HD 화소로 이루어진 HD 화상으로부터 그것을 1/9로 추출한 도 9b에 ○ 표시로 나타낸 SD 화소로 이루어진 SD 화상이 구성된다.
또, 추출 회로(31)는 그 외 예를 들어, 전술한 블럭의 중심의 화소만을 추출해서 SD 화상을 구성하는 것 등도 가능하다.
가상 화소 형성 회로(32)는 추출 회로(31)로부터의 SD 화상을 구성하는 SD 화소의 근방에 가상의 화소인 가상 화소를 상정하고, 그 화소치를 HD 화상으로부터 구한다. 구체적으로는, 가상 화소 형성 회로(32)는 예를 들어, 도 10에 ○ 표시로 나타낸 SD 화소의 좌측 상, 좌측 하, 우측 상 및 우측 하의 위치에 도 10에 ◎ 표시로 나타낸 가상 화소를 상정한다. 그리고, 가상 화소 형성 회로(32)는 가상 화소의 위치에 대응하는 예를 들어 4개의 HD 화소(도 9a에 점선의 사각 형태로 둘러싸 나타낸다)의 화소치의 평균치를 구하고 이것을 그 가상 화소의 화소치로 한다.
또한, 가상 화소 형성 회로(32)는 예를 들어, 1개의 SD 화소에 대해 1개의 가상 화소를 대응해서 SD 화소의 화소치 일부 대신에, 대응한 가상 화소의 화소치의 일부를 배치한다. 구체적으로는, 예를 들어, HD 화소의 화소치가 8비트로 나타내고 있다고 하면, 그 평균치인 SD 화소 및 가상 화소의 화소치도 8비트로 나타낼 수 있다. 이 경우, 가상 화소 형성 회로(32)는 예를 들어 도 11에 도시한 바와 같이, SD 화소의 화소치의 LSB(Least Significant Bit)측의 4비트 대신에, 가상 화소의 화소치의 MSB(Most Significant Bit)를 배치한다. 즉, 가상 화소 형성 회로(32)는 SD 화소 또는 가상 화소의 화소치 각각으로부터 MSB측의 4비트를 추출하고, SD 화소로부터 추출한 4비트를 MSB측으로 배치함과 동시에, 가상 화소로부터 추출한 4비트를 LSB측에 배치해서 8비트의 데이타를 구성하고 이것을 SD 화소의 화소치로 한다.
이상과 같은 SD 화소로 구성되는 SD 화상이 최적화부(22 ; 도 7)에 공급된다.
여기서, 전 처리부(21)의 동작을 도 12에 도시한 플로우차트를 참조해서 설명한다.
전 처리부(21)에 부호화해야 할 HD 화상이 입력되면 그 HD 화상은 추출 회로(31) 및 가상 화소 형성 회로(32)에 공급된다. 추출 회로(31)는 HD 화상이 공급되면, 그 화소수를 추출하고, SD 화상을 구성한다.
구체적으로는, 스텝 S1에서 추출 회로(31)는 HD 화상을 예를 들어 3×3개의 화소의 HD 화상의 블럭으로 분할하고, 스텝 S2로 진행한다. 여기서, 본 실시 형태에서 HD 화상이 예를 들어 휘도 신호 Y와 색차 신호 U, V로 구성된다고 하면, 스텝 S1에서는 휘도 신호의 블럭과 색차 신호의 블럭이 구성된다.
스텝 S2에서 추출 회로(31)는 어느 하나의 블럭을 주목 블럭으로 하고 그 주목 블럭이 휘도 신호의 블럭인지를 판정하고, 해당될 때는(Yes) 스텝 S3으로 진행하고, 해당되지 않았을 때는(NO) 스텝 S4로 진행한다.
스텝 S3에서 추출 회로(31)는 예를 들어 그 주목 블럭에 포함되는 중심의 HD 화소로 교차하는 십자형 범위에 있는 5개의 HD 화소의 화소치의 평균치를 계산하고, 그 평균치를 주목 블럭의 중심의 화소(SD 화소)의 화소치로 하고 스텝 S5로 진행한다.
한편, 스텝 S2에서 주목 블럭이 휘도 신호의 블럭이 아니라고 판정한 경우, 즉 주목 블럭이 색차 신호의 블럭인 경우, 스텝 S4에서 추출 회로(31)는 예를 들어 그 주목 블럭을 구성하는 3×3개의 HD 화소의 화소치의 평균치를 계산하고 그 평균치를 주목 블럭의 중심 화소(SD 화소)의 화소치로 하고 스텝 S5로 진행한다.
스텝 S5에서 추출 회로(31)는 스텝 S1에서 구성한 블럭 모두를 주목 블럭으로서 처리했는지를 판정하고 해당할 때는 스텝 S6으로 진행하고 해당하지 않았을 때는 스텝 S2로 복귀하고 아직 주목 블럭으로 하지 않은 블럭을 새롭게 주목 블럭으로서 마찬가지의 처리를 반복한다. 또한, 스텝 S5에서 추출 회로(31)는 모든 블럭을 주목 블럭으로서 처리했다고 판정한 경우 즉, SD 화상을 구성한 경우에는 그 SD 화상을 가상 화소 형성 회로(32)에 공급한다.
스텝 S6에서 가상 화소 형성 회로(32)는 추출 회로(31)로부터 SD 화상이 공급되면 그 SD 화상을 구성하는 SD 화소 중 1개를 주목 화소로 하고 그 주목 화소가 휘도 신호의 것인지의 여부를 판정하고, 해당할 때는 스텝 S7로 진행하고 해당하지 않았을 때는 스텝 S9로 진행한다.
스텝 S7에서 가상 화소 형성 회로(32)는 주목 화소에 대응하는 가상 화소의 화소치를 상술한 바와 같이 HD 화소의 화소치로부터 구하고 스텝 S8로 진행한다. 스텝 S8에서 가상 화소 형성 회로(32)는 도 11에서 설명한 바와 같이, 주목 화소의 화소치의 LSB측의 4비트 대신에 대응하는 가상 화소의 화소치의 MSB측의 4비트를 배치하고 스텝 S9로 진행한다.
스텝 S9에서 가상 화소 형성 회로(32)는 모든 SD 화소를 주목 화소로 해서 처리를 행했다고 판정하고 해당될 때는 처리를 종료하고 해당되지 않을 때는 스텝 S6으로 복귀하고 아직 주목 화소로 하고 있지 않은 SD 화소를 새롭게 주목 화소로 해서 마찬가지의 처리를 반복한다. 즉, 가상 화소 형성 회로(32)는 스텝 S9에서 모든 SD 화소를 주목 화소로 해서 처리를 행했다고 판정된 경우, 화소치의 LSB측의 4비트가 가상 화소의 화소치의 MSB측의 4비트로 대체된 SD 화소로 구성되는 SD 화상을 최적화부(22 ; 도 7)로 출력하고 처리를 종료한다.
전 처리부(21)에서는 이상의 처리가 예를 들어 1프레임 단위로 반복된다.
그런데, 본 실시 형태에서는 휘도 신호에 대해서만 가상 화소가 구성되도록 하고 있으며 색차 신호에 대해서는 SD 화소만으로 구성되는 예측 탭이 이용되도록 되어 있다. 따라서, 가상 화소의 화소치의 MSB측의 4비트로 대체가 행해진 것은 휘도 신호에 대해서만으로 색차 신호에 대해서는 그와 같은 치환은 행해지지 않는다.
다음에, 도 13은 도 7의 최적화부(22)의 구성의 일례를 나타내고 있다.
전 처리부(21)에서의 가상 화소 형성 회로(32)로부터의 SD 화상은 클래스 분류 적응 처리(예측 계수 생성) 회로(41) 및 보정 회로(42)에 공급되며 HD 화상은 클래스 분류 적응 처리(예측 계수 생성) 회로(41) 및 오차 산출 회로(44)에 공급된다.
클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 HD 화상이 공급됨과 동시에, 전 처리부(21)로부터 SD 화상이 공급되면 그 HD 화상과 SD 화상을 이용해서 클래스마다 적응 처리를 행함으로써 클래스마다 예측 계수 w의 셋트를 산출해서 클래스 분류 적응 처리 회로(43) 및 다중화 회로(46)에 출력한다.
여기서, 도 14는 클래스 분류 적응 처리(예측 계수 생성) 회로(41)의 구성의 일례를 나타내고 있다. 또, 도면 중 도 3의 학습 장치에서의 경우에 대응하는 부분에 대해서는 동일한 부호를 붙이고 있다. 즉, 이 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 추출 회로(111)가 설치되지 않은 것을 제외하면 도 3의 학습 장치와 기본적으로는 마찬가지로 구성되어 있다. 단지, 클래스 분류 회로(112) 및 예측 계수 탭 생성 회로(113)에는 전 처리부(21) 또는 보정 회로(42)로부터의 SD 화상이 공급되며 또한 지연 회로(114)에는 전 처리부(21)에 공급되는 HD 화상과 동일한 HD 화상이 공급되도록 되어 있으며 후술한 클래스 탭 형성 및 예측 탭 형성에 관한 동작은 다르다. 클래스 분류 적응 처리(예측 계수 생성) 회로(41)의 동작에 대해서는 후술한다.
도 13으로 되돌아가고 보정 회로(42)는 SD 화상을 구성하는 SD 화소의 화소치를, 제어 회로(45)의 제어에 따라서 보정하고, 그 보정한 화소치를 클래스 분류 적응 처리(예측 계수 생성) 회로(41), 클래스 분류 적응 처리 회로(43) 및 다중화 회로(46)에 출력한다. 클래스 분류 적응 처리 회로(43)는 보정 회로(42)로부터 공급되는 SD 화소와 클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서 공급되는 클래스마다 예측 계수 w의 셋트를 이용해서 적응 처리를 행함으로써 HD 화소의 예측치를 구하고 오차 산출 회로(44)에 공급한다.
여기서, 도 15는 클래스 분류 적응 처리 회로(43)의 구성의 일례를 나타내고 있다. 또, 도 1의 화상 변환 장치에서의 경우에 대응하는 부분에 대해서는 동일한 부호를 붙이고 있다. 즉, 클래스 분류 적응 처리 회로(43)는 계수 ROM(104) 대신에, 클래스마다의 예측 계수 w의 셋트가 재기록 가능한 계수 RAM(104)가 설치되는 것 외는 도 1의 화상 변환 장치와 기본적으로는 마찬가지로 구성되어 있다. 이 계수 RAM(104)에는 도 13의 클래스 분류 적응 처리(예측 계수 생성) 회로(41)로부터 공급되는 클래스마다의 예측 계수 w의 셋트가 기억되며 또한 클래스 탭 형성 및 예측 탭 형성에 관한 동작이 도 1의 화상 변환 장치와는 다르다. 클래스 분류 적응 처리 회로(43)의 동작에 대해서는 후술한다.
다시 도 13으로 되돌아가고 오차 산출 회로(44)는 클래스 분류 적응 처리 회로(43)로부터의 HD 화소의 예측치의 참인 HD 화소의 화소치에 대한 예측 오차를 산출하고 제어 회로(45)로 출력한다. 제어 회로(45)는 오차 산출 회로(44)로부터의 예측 오차에 대응해서 보정 회로(42)에서의 SD 화소의 화소치의 보정량을 제어한다. 다중화 회로(46)는 클래스 분류 적응 처리(예측 계수 생성) 회로(41)로부터의 예측 계수 w와 보정 회로(42)로부터의 보정된 SD 화소의 화소치를 다중화하고 부호화 데이타로서 출력한다.
여기서, 최적화부(22)의 동작을 도 16의 플로우차트를 참조해서 설명한다.
스텝 S11에서 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 전 처리부(21)로부터 SD 화상이 공급되면 그 SD 화상과 HD 화상을 이용해서 적응 처리를 행함으로써 클래스마다의 예측 계수 w의 셋트를 산출한다.
구체적으로는, 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 SD 화상을 구성하는 SD 화소를 순차 주목 화소로 하고 그 주목 화소에 대해 클래스 분류용 탭(이하, 클래스 탭이라고 한다. )을 구성하고 클래스 분류를 행한다. 여기서, 본 실시 형태에서는 주목 화소에 대해, 예를 들어 다음과 같은 클래스 탭이 구성되며 클래스 분류가 행해진다.
즉, 휘도 신호에 대해서는 예를 들어 도 17a에 도시한 바와 같이 주목 화소를 중심으로 하는 마름모꼴형 범위 내의 5개의 SD 화소와 4개의 가상 화소와의 합계 9개의 화소에 의해서 클래스 탭이 구성된다. 그리고, 이 9개의 화소의 화소치 중 최대치와 최소치와의 차를 다이내믹 레인지 DR로 하고 이 다이내믹 레인지 DR을 이용해서 클래스 탭 중의 주목 화소와 거기에 인접하는 4개의 가상 화소와의 합계 5개의 화소(도 17a에서 점선으로 둘러싼 5개의 화소)에 1비트 ADRC 처리가 실시된다. 그리고, 그 5개의 화소의 화소치의 패턴이 주목 화소의 클래스가 된다. 따라서, 이 경우, 클래스 탭 중 주목 화소를 중심으로 하는 5개의 화소에 1비트 ADRC 처리를 실시함으로써 얻어지는 화소치의 패턴은 5비트로 표현되기 때문에 휘도 신호는 32(=25)개 클래스 중 어느 하나의 클래스로 분류된다.
또, 가상 화소의 화소치로서는 그 가상 화소가 대응된 SD 화소의 화소치의 LSB측의 4비트를 4비트만 좌측 시프트(24을 곱셈)한 것에 예를 들어, 8(=23) 등을 가산한 값이 이용된다. 단지, 가상 화소의 화소치로서는 그 외에 SD 화소의 화소치의 SB측의 4비트를 4비트만 좌측 시프트한 것을 그대로 이용하거나 또는 그 좌측 시프트한 것에 8 이외의 0 이상 16(=24) 미만의 값을 가산한 것을 이용하는 것도 가능하다.
또한, SD 화소의 화소치는 도 11에서 설명한 바와 같이 그 LSB측의 4비트가 대응하는 가상 화소의 화소치의 MSB측의 4비트이지만, 그 8비트의 값이 SD 화소의 화소치로서 그대로 이용된다. 단지, SD 화소의 화소치로서는 예를 들어, 그 LSB측의 4비트를 랜덤으로 발생시킨 0 이상 16(=24) 미만의 값로 대체한 것을 이용하는 것도 가능하다.
한편, 색차 신호에 대해서는 예를 들어, 도 17b에 도시한 바와 같이 주목 화소를 중심으로 하는 정방형의 범위 내의 9개의 SD 화소에 의해서 클래스 탭이 구성된다. 그리고, 이 9개의 화소의 화소치 중 최대치와 최소치와의 차를 다이내믹 레인지 DR로 하고, 이 다이내믹 레인지 DR을 이용해서 클래스 탭 중 주목 화소를 중심으로 하는 마름모꼴형 범위 내의 5개의 SD 화소(도 17b에서 점선으로 둘러싼 5개의 화소)에 1비트 ADRC 처리가 실시된다. 그리고, 그 5개의 화소의 화소치의 패턴이 주목 화소의 클래스가 된다. 따라서, 이 경우, 클래스탭 중 주목 화소를 중심으로 하는 5개의 화소에 1비트 ADRC 처리를 실시함으로써 얻어진 화소치의 패턴은 5비트에서 표현되기 때문에 색차 신호도 휘도 신호와 마찬가지로 32(=25) 클래스 중 어느 하나로 클래스 분류된다.
클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 이상과 같이 해서 주목 화소의 클래스를 결정한 후, 예측 탭을 형성한다. 즉, 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 주목 화소가 색차 신호인 것인 경우, 예를 들어 도 18에 도시한 바와 같이 그 주목 화소를 중심으로 하는 7×5(가로×세로)인 35개의 SD 화소(도 18에서 실선 또는 점선의 ○ 표시로 나타낸다)에서 예측 탭을 형성한다. 또한, 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 주목 화소가 휘도 신호인 경우, 색차 신호에서의 경우와 마찬가지의 35개의 화소로 예측 탭을 형성하지만 7×5개의 SD 화소 중 그 가장 좌측 상, 좌측 하, 우측 상 및 우측 하의 SD 화소(도 18에서 점선의 ○ 표시로 나타낸다) 대신에, 주목 화소에 인접하는 가상 화소를 이용해서 예측 탭을 형성한다.
그리고, 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 각 클래스마다 예측 탭과 HD 화상을 이용해서, 수학식 13의 정규 방정식을 세워 그것을 계산함으로써 클래스마다 예측 계수 w의 셋트를 구한다. 또, 이 경우, 정규 방정식은 주목 화소에 대해 예를 들어, 전술한 도 2에 실선의 사각형으로 둘러싼 범위의 위치 관계에 있는 HD 화소를 이용해서 세워진다. 클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서 구해진 클래스마다 예측 계수 w의 셋트는 클래스 분류 적응 처리 회로(43)에 공급되며 계수 RAM(104')에 기억된다.
클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서 클래스마다 예측 계수 w의 셋트가 구해지면, 최적화부(22)에서는 스텝 S12에서 전 처리부(21)로부터의 SD 화상을 구성하는 SD 화소 중 1개가 주목 화소가 되며 그 주목 화소가 휘도 신호인 것이 판정되며 해당될 때는 스텝 S13으로 진행하고 해당되지 않을 때는 스텝 S15로 진행한다.
스텝 S13에서 보정 회로(42), 클래스 분류 적응 처리 회로(43), 오차 산출 회로(44) 및 제어 회로(45)는 주목 화소의 화소치의 MSB측의 4비트를 대상으로 최적화 처리를 행하고 스텝 S14로 진행한다. 스텝 S14에서 보정 회로(42), 클래스 분류 적응 처리 회로(43), 오차 산출 회로(44) 및 제어 회로(45)는 주목 회소의 화소치의 나머지 LSB측의 4비트를 대상으로 최적화 처리를 행하고 스텝 S16으로 진행한다.
한편, 스텝 S12에서 주목 화소가 휘도 신호의 것이 아니라고 판정된 경우 즉 색차 신호인 경우, 스텝 S15에서 보정 회로(42), 클래스 분류 적응 처리 회로(43), 오차 산출 회로(44) 및 제어 회로(45)는 색차 신호를 대상으로 최적화 처리를 행하고 스텝 S16으로 진행한다.
스텝 S16에서 전 처리부(21)로부터의 SD 화상을 구성하는 SD 화소 모두를 대상으로 처리를 행했는지의 여부가 판정되며 또한 행해지지 않았다고 판정된 경우, 스텝 S12로 복귀하고 또한 주목 화소가 되어 있지 않은 SD 화소를 새롭게 주목 화소로 해서, 마찬가지의 처리가 반복된다.
또한, 스텝 S16에서 SD 화소를 전부 주목 화소로서 처리를 행했다고 판정된 경우, 스텝 S17로 진행해서 SD 화소로부터 예측되는 HD 화소의 예측치의 1 프레임분의 예측 오차의 총합이 소정의 임계치ε 이하인지의 여부가 판정된다. 스텝 S17에서 1 프레임분의 예측 오차의 총합이 소정의 임계치ε 이하가 아나라고 판정된 경우, 스텝 S11로 복귀하고 상술한 경우와 마찬가지의 처리가 반복된다. 단지, 이 경우 클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서는 스텝 S11에서 전 처리부(21)가 출력된 SD 화소의 화소치가 아니라, 보정 회로(42)가 출력하는 후술하는 최적 SD 화소의 화소치를 이용해서 즉, 도 14의 클래스 분류 회로(112) 및 예측 탭 생성 회로(113)에 대해 보정 회로(42)로부터의 최적 SD 화소가 입력되어 마찬가지의 처리에 의해 클래스마다 예측 계수 w의 셋트가 구해진다(갱신된다).
그리고, 스텝 S17에서 1 프레임분의 예측 오차의 총합이 소정의 임계치ε 이하라고 판정된 경우, 스텝 S18로 진행해서 클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서 그 때 보정 회로(42)가 출력하고 있는 SD 화소의 화소치를 이용해서 클래스마다 예측 계수 w의 셋트가 산출된다. 그리고, 그 SD 화소의 화소치와 클래스마다 예측 계수 w의 셋트가 다중화 회로(46)에서 다중화되며 부호화 데이타가 되며 처리가 종료한다.
그 후, 최적화부(22)에서는 다음 프레임에 대한 HD 화상과 SD 화상이 공급되는 것을 대기하여 마찬가지의 처리가 행해진다.
여기서, 도 16의 스텝 S13에서의 주목 화소의 화소치의 MSB측의 4비트를 대상으로 한 최적화 처리에 대해 도 19의 플로우차트를 참조하여 상술한다.
클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서 클래스마다 예측 계수 w의 셋트를 구하고 이것이 클래스 분류 적응 처리 회로(43)에 공급되면 전 처리부(21)로부터의 SD 화상을 구성하는 SD 화소 중 1개가 주목 화소가 되며, 제어 회로(45)는 스텝 S31에서 주목 화소의 화소치를 보정하는 보정량을 나타낸 변수 △를 예를 들어 0으로 초기화한다. 또한, 스텝 S31에서는 보정량을 변화시키는 변화량(이하, 적당하게 오프셋량이라고 한다)을 나타낸 변수 S로 초기치로 해서 예를 들어 16이 셋트된다.
즉, 현재의 경우, 주목 화소의 화소치의 MSB측의 4비트를 대상으로 하고 있으므로 오프셋량 S에는 그 MSB측의 4비트를 변화시키기 위한 최소치인 16(=24)이 셋트된다.
또한, 스텝 S31에서는 주목 화소의 보정의 횟수를 카운트하는 변수 i에 초기치로서의 -1이 셋트되며 스텝 S32로 진행한다. 스텝 S32에서는 횟수 i가 1만 인크리먼트되며 스텝 S33으로 진행하고 주목 화소의 화소치를 보정량 △만큼 보정한 보정치를 이용해서 적응 처리를 행한 경우에, 그 보정에 의해 영향을 받는 HD 화소의 예측치의 예측 오차 E가 산출된다.
즉, 이 경우 보정 회로(42)는 주목 화소의 화소치에 예를 들어, 보정량 △를 가산하고 그 가산치를 주목 화소의 화소치로 해서 클래스 분류 적응 처리 회로(43)에 출력한다. 여기서, 주목 화소에 대해서 최초에 스텝 S33의 처리가 실시되는 경우, 즉 횟수 i=0인 경우 보정량 △는 스텝 S31에서 셋트된 초기치인 0 그대로이기 때문에, 보정 회로(42)로부터는 주목 화소의 화소치가 그대로 출력된다.
클래스 분류 적응 처리 회로(43)에서는 클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서의 경우와 마찬가지로 도 17에 도시한 클래스 탭이 형성됨과 동시에, 도 18에 도시한 형태의 예측 탭이 형성된다. 즉, 예측 탭은 주목 화소를 중심으로 하는 7×5개의 SD 화소 중 주목 화소로부터 가장 먼 좌측 상, 좌측 하, 우측 상 및 우측 하의 SD 화소 대신에 주목 화소에 인접하는 4개의 가상 화소를 이용하여 구성된다.
또한, 그 클래스 탭에 대응해서 주목 화소가 클래스 분류되며 그 결과 얻어지는 클래스에 대응하는 예측 계수의 셋트가 클래스 분류 적응 처리(예측 계수 생성) 회로(41)에서 공급되며 계수 RAM(104')에 기억되어 있는 예측 계수의 셋트 중으로부터 선택된다. 그리고, 그 선택된 예측 계수의 셋트로 예측 탭으로부터 수학식 1에 나타낸 선형 1차식을 연산함으로써, HD 화소의 화소치의 예측치가 구해진다.
또한, 클래스 분류 적응 처리 회로(43)에서는 주목 화소의 화소치를 보정량 △만큼 보정한 경우에 적어도 그 보정에 의해 영향을 받는 HD 화소에 대해서도 마찬가지로 해서 예측치가 구해진다.
즉, 예를 들어 현재 도 20에 도시한 바와 같이 SD 화소 A를 주목 화소로 해서 보정했다고 한다. 본 실시 형태에서는 예측 탭은 간단하게는 7×5개의 SD 화소가 포함되는 범위에서 구성되므로 이러한 7×5개의 SD 화소로부터 예측 탭이 구성되는 경우에, 그 예측 탭에 SD 화소 A가 포함되는 케이스에 있어서 SD 화소 A로부터 가장 떨어진 SD 화소가 주목 화소가 되는 것은 SD 화소 B, C, D, E가 주목 화소가 되며 7×5개의 화소의 예측 탭이 구성되는 케이스이다. 그리고, SD 화소 B, C, D, E가 주목 화소가 되며 7×5개의 화소의 예측 탭이 구성된 경우, 본 실시 형태에서는 동일 도면에 실선으로 둘러싸여 나타낸 범위 b, c, d, e 중 3×3개의 HD 화소의 예측치가 각각 구해진다. 따라서, SD 화소 A를 주목 화소로 해서 그 화소치를 보정한 경우에 그 보정에 의해 영향을 받는 것은 최악의 케이스에서 범위 b, c, d, e를 포함하는 최소의 직사각형인 도 20에서 점선으로 나타낸 범위 내의 21×15개의 HD 화소의 예측치가 된다.
따라서, 본 실시 형태에서는 클래스 분류 적응 처리 회로(43)에서 적어도 이러한 21×15개의 HD 화소의 예측치가 구해진다.
클래스 분류 적응 처리 회로(43)에서 구해진 HD 화소의 예측치는 오차 산출 회로(44)에 공급된다. 오차 산출 회로(44)에서는 클래스 분류 적응 처리 회로(43)로부터의 HD 화소의 예측치로부터 대응하는 HD 화소의 참인 화소치가 감산되며 그 감산치인 예측 오차의 A 예를 들어 제곱 합이 구해진다. 그리고, 그 제곱합이 오차 정보 E로 해서 제어 회로(45)로 공급된다.
제어 회로(45)는 오차 산출 회로(44)로부터 오차 정보를 수신하면, 스텝 S34에서 횟수 i가 0인지의 여부를 판정한다. 스텝 S34에서 횟수 i가 0이라고 판정된 경우, 즉 제어 회로(45)가 수신한 오차 정보 E가 주목 화소의 보정을 행하지 않고서 얻어진 것인 경우, 스텝 S35로 진행하고 주목 화소의 보정을 행하지 않고서 얻어진 오차 정보(미보정 시의 오차 정보)를 기억하는 변수 E0로 오차 정보 E가 셋트되며 또한, 전회 얻어진 오차 정보를 기억하는 변수 E'에도 오차 정보 E가 셋트된다. 또한, 스텝 S35에서는 보정량 △이 오프셋량 S만 인크리먼트되며 제어 회로(45)는 이에 따라 얻어진 보정량△만 주목 화소의 화소치를 보정하도록 보정 회로(42)를 제어한다. 그 후는 스텝 S32로 되돌아가고 이하 마찬가지의 처리를 반복한다.
이 경우, 스텝 S32에서 횟수 i는 1만 인크리먼트되어 1이 되기 때문에, 스텝 S34에서는 횟수 i가 0이 아니라고 판정되며 스텝 S36으로 진행한다. 스텝 S36에서는 횟수 i가 1인지의 여부가 판정된다. 이 경우, 회수 i는 1이 되어 있기 때문에 스텝 S36에서는 회수 i는 1이라고 판정되며 스텝 S37로 진행하고 전회의 오차 정보 E'가 금회의 오차 정보 E 이상인지의 여부가 판정된다. 스텝 S37에서 전회 오차 정보 E'가 금회의 오차 정보 E 이상이 아니라고 판정된 경우 즉, 보정량 △만 주목 화소의 화소치를 보정함으로써 금회 오차 정보 E 쪽이 전회의 오차 정보 E'(여기에서는 보정을 하지 않은 경우의 오차 정보)로부터 증가한 경우, 스텝 S38로 진행하고 제어 회로(45)는 오프셋량 S에 -1을 제곱한 것을 새로운 오프셋량 S로 하고 더욱 보정량 △을 오프셋량 S의 2배만 인크리먼트하고 스텝 S32로 되돌아간다.
즉, 주목 화소의 화소치를 보정량 △(이 경우, △=S)만 보정함으로써 보정하지 않았을 때 보다도 오차가 증가한 경우에는 오프셋량 S의 부호가 반전된다(본 실시 형태에서는, 스텝 S31에서 플러스의 값이 오프셋량 S에 셋트되어 있으므로 스텝 S38에서는 오프셋량 S의 부호는 플러스로부터 마이너스가 된다). 또한, 전회는 S였던 보정량△가 -S가 된다.
또한, 스텝 S37에서 전회의 오차 정보 E'가 이번의 오차 정보 E 이상이라고 판정된 경우 즉, 보정량 △만 주목 화소의 화소치를 보정함으로써 이번의 오차 정보E가 전회의 오차 정보 E'보다 감소한 경우(또는 전회의 오차 정보 E'와 동일한 경우), 스텝 S39로 진행하고 제어 회로(45)는 보정량 △을 오프셋량 S만 인크리먼트함과 동시에, 전회의 오차 정보 E'에 이번의 오차 정보 E를 셋트함으로써 갱신해서 스텝 S32로 되돌아간다.
이 경우, 스텝 S32에서 횟수 i는 또한 1만 인크리먼트되어 2가 되기 때문에 스텝 S34 또는 S36에서는 횟수 i가 0 또는 1이 아니라고 판정되며 그 결과, 스텝 S36으로부터 스텝 S40으로 진행한다. 스텝 S40에서는 횟수 i가 1인지 2인지의 여부가 판정된다. 지금, 횟수 i는 2가 되고 있기 때문에, 스텝 S40에서는 회수 i는 2라고 판정되며 스텝 S41로 진행해서 미보정량 시의 오차 정보 E0가 금회의 오차 정보 E 이하이며 또한 오프셋량 S가 마이너스인지의 여부가 판정된다.
스텝 S40에서 미보정 시의 오차 정보 E0가 금회의 오차 정보 E 이하이며 또한 오프셋량 S가 마이너스라고 판정된 경우 즉 주목 화소를 +S만 보정해도 또한 -S만 보정해도 보정하지 않을 때보다 오차가 증가하는 경우, 스텝 S42로 진행해서 보정량 △이 0이 되며 스텝 S46으로 진행한다.
또한, 스텝 S40에서 미보정 시의 오차 정보 E0이 금회의 오차 정보 E 이하가 아니거나 또는 오프셋량 S가 마이너스가 아니라고 판정된 경우, 스텝 S43으로 진행해서 전회의 오차 정보 E'가 이번의 오차 정보 E 이상인지의 여부가 판정된다. 스텝 S43에서 전회의 오차 정보 E'가 이번의 오차 정보 E 이상이라고 판정된 경우 즉 보정량 △만 주목 화소의 화소치를 보정함으로써, 이번의 오차 정보 E가 전회의 오차 정보 E'보다 감소한 경우, 스텝 S44로 진행하고 제어 회로(45)는 보정량△를 오프셋량 S만 인크리먼트함과 동시에, 전회의 오차 정보 E'에 이번의 오차 정보 E를 셋트함으로써 갱신해서 스텝 S32로 되돌아간다.
이 경우, 스텝 S32에서 횟수 i는 또한 1만 인크리먼트되어 3이 되기 때문에, 이하에서는 스텝 S34, S36, 또는 S40에서는 횟수 i가 0, 1 또는 2가 아니라고 각각 판정되며 그 결과, 스텝 S40으로부터 스텝 S43으로 진행한다. 따라서, 스텝 S43에서 전회의 오차 정보 E'가 금회 오차 정보 E 이상이 아니라고 판정되기까지 스텝 S32 내지 S34, S36, S40, S43, S44의 루프 처리가 반복된다.
그리고, 스텝 S43에서 전회의 오차 정보 E'가 이번의 오차 판정된 경우, 즉 보정량△에만 주목 화소의 화소치를 보정함으로써 이번의 오차 정보 E 쪽이 전회의 오차 정보 E' 보다 증가한 경우, 스텝 S45로 진행해서 제어 회로(45)는 보정량△을 오프셋량 S만 디크리먼트하고, 스텝 S46으로 진행한다. 즉, 이 경우 보정량 △는 오차가 증가하기 전의 값이 된다.
스텝 S46에서는 제어 회로(45)는 보정 회로(42)를 제어함으로써 스텝 S42 또는 S45에서 얻어진 보정량 △만 주목 화소의 화소치를 보정시켜 이에 따라 주목 화소의 화소치는 적응 처리에 의해 예측치를 얻는데, 예측 오차가 최소가 되는 것과 같은 알맞은 것에 보정된다.
이상과 같이 해서, 주목 화소의 화소치의 MSB측의 4비트가 HD 화상의 예측치를 구하는데 알맞은 것에 최적화된 후 리턴한다.
다음에, 도 21의 플로우차트를 참조해서 도 16의 스텝 S14에서의 주목 화소의 화소치의 LSB 측의 4비트를 대상으로 한 최적화 처리에 대해 상술한다.
이 경우, 스텝 S51 내지 S66에서 기본적으로 도 19의 스텝 S31 내지 S46에서의 경우와 각각 마찬가지의 처리가 행해진다.
단지, 스텝 S51에서는 오프셋 S51에는 오프셋량 S에는 초기치로서 16에서는 아니고 1이 셋트된다. 즉, 지금의 경우 주목 화소의 화소치의 LSB측의 4비트를 대상으로 하고 있으므로 오프셋량 S에는 그 LSB측의 4비트를 변화시키기 위한 최소치인 1(=20)이 셋트된다.
또한, 스텝 S66에서는 도 19의 스텝 S46에서의 경우와 마찬가지로 주목 화소의 화소치가 보정량 △만 보정되지만 이에 따라, 그 주목 화소에 대응하는 가상 화소의 화소치도 보정량△의 16(=24)배의 양만 보정된다. 이것은 다음과 같은 이유에 의한다. 즉, 주목 화소의 LSB측의 4비트는 도 11에서 설명한 바와 같이, 대응하는 가상 화소의 MSB의 4비트를 나타내고 있으며 예를 들어, 지금 도 22에 도시한 바와 같이, 주목 화소에 대해 그 좌측 경사 하에 인접하는 가상 화소가 대응되어 있다고 하면, 주목 화소의 LSB측의 4비트를 보정한다는 것은 그 좌측 하로 인접하는 가상 화소의 화소치의 MSB측의 4비트를 보정하는 것이 되기 때문이다.
다음에, 도 23의 플로우차트를 참조해서 도 16의 스텝 S15에서의 주목 화소가 색차 신호인 경우의 최적화 처리에 대해 상술한다.
이 경우도, 스텝 S71 내지 S86에서 기본적으로 도 19의 스텝 S31 내지 S46 에서의 경우와 각각 마찬가지의 처리가 행해진다.
단지, 스텝 S71에서는 오프셋량 S에는 초기치로서 16이 아니라 1이 셋트된다. 즉, 색차 신호에 대해서는 8 비트의 화소치를 변화시키기 위한 최소치인 1(=20)이 셋트된다.
다음에, 도 24는 도 5의 수신 장치(4)의 구성의 일례를 나타내고 있다.
수신기/재생 장치(71)에서는 기록 매체(2)에 기록된 부호화 데이타가 재생되며 또는 전송로(3)를 통해 전송된 부호화 데이타가 수신되며 분리부(72)에 공급된다. 분리부(72)에서는 부호화 데이타가 SD 화상(최적 SD 화상)의 화상 데이타와 클래스마다의 예측 계수 w의 셋트로 분리되며 모두 클래스 분류 적응 처리 회로(73)에 공급된다.
클래스 분류 적응 처리 회로(73)는 도 13에 도시한 최적화부(22)를 구성하는 클래스 분류 적응 처리 회로(43)와 마찬가지로 해서 HD 화상의 예측치를 구하고 이것이 복호 화상으로서 출력된다. 이 복호 화상은 원래의 화상과는 거의 동일한 화상이 된다.
도 25는 도 24의 클래스 분류 적응 처리 회로(73)의 구성의 일례를 나타낸다. 클래스 분류 적응 처리 회로(73)는 클래스 분류 회로(201)와 지연 회로(202)와 예측 탭 생성 회로(203)와 계수 RAM(204)과 예측 연산 회로(205)를 구비한다. 이들의 회로는 도 15에 도시한 클래스 분류 적응 처리 회로(43)가 구비하는 클래스 분류 회로(101), 지연 회로(102), 예측 탭 생성 회로(103), 계수 RAM(104') , 예측 연산 회로(105)와 각각 마찬가지로 구성되어 있다.
이상과 같이 구성된 클래스 분류 적응 처리 회로(73)에서는 분리부(72)로부터 클래스마다 예측 계수의 셋트가 공급되면 이들의 클래스마다 예측 계수의 셋트가 계수 RAM(204)에 기억된다. 그리고, 클래스 분류 적응 처리 회로(73)에서는 계수RAM(204)에 기억되어 있는 클래스마다 예측 계수의 셋트를 이용해서 분리부(72)로부터 공급되는 SD 화상에 대해 클래스 분류 적응 처리 회로(43)에서의 경우와 마찬가지의 처리가 행해짐으로서 HD 화상의 예측치가 구해진다.
즉, 도 26의 플로우차트에 도시한 바와 같이, 스텝 S91에서 도 17a, 도 17b 또는 도 18을 이용해서 설명한 바와 같은 클래스 탭 또는 예측 탭이 클래스 분류 회로(201) 또는 예측 탭 생성 회로(203)에서 각각 형성된다. 또한, 클래스 분류 회로(201)에서는 클래스 탭이 클래스 분류되며 그 결과 얻어진 클래스가 어드레스로서 계수 RAM(204)에 공급된다. 계수 RAM(204)에서는 클래스 분류 회로(201)로부터의 클래스에 대응한 예측 계수의 셋트가 판독되며 예측 연산 회로(205)에 공급된다.
그리고, 스텝 S92에서 예측 연산 회로(205)는 계수 RAM(204)으로부터의 예측 계수의 셋트와 예측 탭 생성 회로(203)가 형성된 예측 탭을 이용해서 HD 화상의 예측치를 구하여 처리를 종료한다.
또, 수신측에서는 도 24에 도시한 바와 같은 수신 장치(4)가 아니더라도 추출된 화상을 단순한 보간에 의해 복호하는 장치에 의해 예측 계수를 이용하지 않고서 통상의 보간을 행함으로서 복호 화상을 얻을 수 있다. 단지, 이 경우에 얻어지는 복호 화상은 화질(해상도)이 열화하게 된다.
이상과 같이, HD 화상을 압축함으로써 얻어지는 SD 화상을 구성하는 SD 화소의 근방에 가상 화소를 상정하고 그 화소치를 HD 화상으로부터 구하도록 했으므로, 주목 화소에 가깝고 또한 많은 화소로부터 예측 탭을 형성할 수 있으며 그 결과, 그 예측 탭을 이용해서 복호함으로써 원래의 HD 화상에 의해 가까운 복호 화상을 얻을 수 있다.
또한, SD 화소의 화소치의 LSB측의 4비트 대신에 가상 화소의 화소치의 MSB측의 4비트를 배치하도록 했으므로, 부호화 효율이 열화하는 일도 없다.
이상, 본 발명을 HD 화상을 부호화/복호하는 화상 처리 장치에 적용한 경우에 대해 설명했지만, 본 발명은 그 외의 SD 화상 등의 표준 해상도의 화상 등을 부호화/복호하는 경우에도 적용 가능하다. 즉, 예를 들어 NTSC 방식 등의 표준 방식의 텔레비젼 신호를 추출에 의해서 부호화/복호하는 경우에도 적용 가능하다. 단지, 본 발명은 데이타량이 많고 소위 하이비젼 방식의 텔레비젼 신호 등을 부호화/복호하는 경우에 특히 유효하다. 또한, 본 발명은 원래의 화상으로부터 각 계층의 화상 데이타를 생성해서 복호하는 소위 계층 부호화를 행하는 경우 등에도 적용 가능하다.
또, 본 실시 형태에서는 휘도 신호에 대해서만 가상 화소를 이용해서 예측 탭을 형성하도록 했지만 색차 신호에 대해서도 마찬가지로, 가상 화소를 이용해서 예측 탭을 형성하는 것이 가능하다.
또한, 본 실시 형태에서는 5×7개의 화소를 베이스로 해서 예측 탭을 형성하도록 했지만, 예측 탭은 5×7개의 화소에 한정되는 것이 아니다.
또한, 본 실시 형태에서는 가상 화소를 이용해서 예측 탭을 형성하는 경우에 5×7인 35개의 화소가 되는 블럭을 베이스로 해서 도 18에 도시한 바와 같은 35개의 화소로 이루어진 예측 탭을 형성하도록 했지만, 그 외 예를 들어 도 27에 도시한 바와 같이, 주목 화소로부터 먼 SD 화소 대신에 그 주목 화소에 가까운 가상 화소를 더욱 많이 이용해서 에측 탭을 형성하도록 함으로써 가능하다.
또한, 본 실시 형태에서는 SD 화소의 화소치의 LSB 측의 4비트 대신에 가상 화소의 화소치의 MSB측의 4비트를 배치하도록 했지만, 그 외 예를 들어 SD 화소의 화소치의 LSB측의 3비트나 2비트 대신에, 가상 화소의 화소치의 MSB측의 3비트나 2비트를 배치하도록 하는 것도 가능하다. 단지, 본건 발명자가 행해진 시뮬레이션에 의하면, SD 화소의 화소치를 8비트로 나타낸 경우에서는 SD 화소의 화소치의 LSB측의 4비트 대신에 가상 화소의 화소치의 MSB측의 4비트를 배치한 것에 의한 복호 화상의 S/N이 가장 좋아진 결과가 얻어진다. 또한, SD 화상의 화소치를 치환하는 비트수가 많은 쪽이 계조가 향상하는 경향이 있었다.
또한, 본 실시 형태에서는 추출 회로(31)에서 HD 화상을 1/9로 추출해서 SD 화상을 구성하도록 했지만, SD 화상은 그 외의 추출율로 HD 화상을 추출하여 구성하는 것도 가능하다.
또한, 본 실시 형태에서는 도 10에 도시한 바와 같이 비스듬하게 인접하는 SD 화소끼리의 사이에 1개의 가상 화소를 설치하도록 했지만, 그 사이에는 2개 이상의 가상 화소를 설치하도록 하는 것도 가능하다.
또한, 본 실시 형태에서는 송신 장치(1)를 구성하는 최적화부(22 ; 도 13)에 클래스 분류 적응 처리(예측 계수 생성) 회로(41)를 설치하고 클래스마다의 예측 계수의 셋트를 갱신하도록 했지만, 클래스마다의 예측 계수의 셋트는 갱신하지 않고서 미리 구해 둔 것을 그대로 사용하는 것도 가능하다. 즉, 전술한 도 25에 도시한 바와 같은 학습 장치에 의해서 미리 클래스마다의 예측 계수의 셋트를 학습에 의해 구해 두고 그것을 클래스 분류 적응 처리 회로(43)에서 이용하도록 하는 것이 가능하다. 이 경우, 클래스 분류 적응 처리 회로(43)는 도 1에 도시된 화상 변환 장치와 마찬가지의 구성으로 할 수 있으며 학습 장치에 따라 미리 구해진 클래스마다 예측 계수의 셋트를 계수 ROM(104)에 기억해 두면 좋다. 이 경우, 클래스 분류 적응 처리(예측 계수 생성) 회로(41)는 설치할 필요가 없어지며 송신 장치(1)의 간소화를 꾀하는 것이 가능해진다.
또한, 이러한 송신 장치(1)에 대응하는 수신 장치(4 ; 도 24)에서는 미리 구해 둔 클래스마다 예측 계수의 셋트를 기억해 두고 클래스 분류 적응 처리 회로(73)에서 그 클래스마다 예측 계수의 셋트를 이용해서 예측치를 구하게 하도록 하면 좋다. 이 경우, 클래스 분류 적응 처리 회로(73)는 도 1에 나타낸 화상 변환 장치와 마찬가지로 구성할 수 있다. 그리고, 전술한 도 3에 도시한 바와 같은 학습 장치에 의해서, 미리 클래스마다의 예측 계수의 셋트를 학습에 의해 구해 두면 이들의 클래스마다의 예측 계수의 셋트를 계수 ROM(104)에 기억해 두면 된다.
또한, 도 19에서는 주목 화소의 화소치를 오프셋량 S로서의 16씩 보정함으로써, 예측 오차 E가 최초로 극소가 되는 보정량 △을 검출하도록 했지만 그 외 예를 들어 주목 화소의 화소치가 취할 수 있는 값의 모두에 대해 예측 오차 E를 구하고 그 최소치를 검출하고, 그 경우의 보정량 △에 따라 주목 화소의 화소치를 보정하도록하는 것도 가능하다. 이 경우, 처리에 시간을 요하게 되지만 보다 S/N이 높은 복호 화상을 얻는 것이 가능해진다.
또한, 이와 같이 주목 화소의 화소치를 취할 수 있는 값 모두에 대해 예측 오차 E를 구하는 경우에는 주목 화소의 화소치의 초기치는 어떠한 값(단, 주목 화소의 화소치를 취할 수 있는 범위 내의 값)이어도 좋다. 즉, 이 경우 초기치가 어떠한 값이어도 예측 오차 E를 최소로 하는 보정치△를 구할 수 있다.
또한, 이상의 것은 도 21 및 도 23에서 설명한 처리에 대해서도 마찬가지이다.
(산업 상의 이용 분야)
본 발명에 따른 화상 신호 부호화 장치 및 화상 신호 부호화 방법에서는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고 그 가상 화소의 화소치를 원화상 신호로부터 산출하고 압축 화소의 화소치의 일부를 가상 화소의 화소치의 일부에 대체하여 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 해서 그 주목 화소의 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하는 형성부와 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하고, 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하고 예측 오차에 따라 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 부호화 효율을 열화시키는 일 없이, 원화상에 의해 가까운 복호 화상을 얻을 수 있다.
본 발명에 따른 화상 신호 복호 장치 및 화상 신호 복호 방법에서는 부호화 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 하고 그 주목 화소의 근방의 화소로부터 예측 탭을 형성하고 예측 탭과 소정의 예측 계수로부터 복원 화상 신호의 화소치를 생성한다. 복호되는 부호화 화상 신호는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고 그 가상 화소의 화소치를 원화상 신호로부터 산출하고 압축 화소의 화소치의 일부를 가상 화소의 화소치의 일부에 대체하여 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 하고 그 주목 화소의 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하고 예측 탭과 소정의 에측 계수로부터 원화상 신호의 예측치를 에측하고 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하고 예측 오차에 따라 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생되고 있다.
따라서, 본 발명에 따른 화상 신호 복호 장치 및 화상 신호 복호 방법에서는 원화상에 의해 가까운 복호 화상을 얻을 수 있다.
본 발명에 따른 머신에 의해서 복호 가능한 기록 매체에는 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고 원화상 신호를 구성하는 화소의 압축 화소의 근방에 가상의 화소인 가상 화소를 상정하고 그 가상 화소의 화소치를 원화상 신호로부터 산출하고 압축 화소의 화소치의 일부를 가상 화소의 화소치의 일부로 대체해서 압축 화상 신호를 구성하는 압축 화소 중 1개를 주목 화소로 해서 그 주목 화소 근방의 압축 화소 및 가상 화소로부터 예측 탭을 형성하고 예측 탭과 소정의 예측 계수로부터 원화상 신호의 예측치를 예측하고 예측된 예측치로 이루어진 예측 화상 신호의 원화상 신호에 대한 예측 오차를 산출하고 예측 오차에 따라서 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생된 기록 신호가 기록되어 있다. 따라서, 그 기록 신호로부터 원화상에 의해 가까운 복호 화상을 얻을 수 있다.

Claims (29)

  1. 화상 신호를 부호화하는 화상 신호 부호화 장치에 있어서,
    원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하는 압축부;
    상기 원화상 신호를 구성하는 화소의 압축 화소 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 상기 원화상 신호로부터 산출하는 제1 산출부;
    상기 압축 화소의 화소치의 일부를 상기 가상 화소의 화소치의 일부로 대체하는 치환부;
    상기 압축 화상 신호를 구성하는 압축 화소 중 하나를 주목(注目) 화소로 해서 그 주목 화소 근방의 상기 압축 화소 및 상기 가상 화소로부터 예측 탭을 형성하는 형성부;
    상기 예측 탭과 소정의 예측 계수로부터 상기 원화상 신호의 예측치를 예측하는 예측부;
    상기 예측된 예측치로 이루어진 예측 화상 신호의 상기 원화상 신호에 대한 예측 오차를 산출하는 제2 산출부; 및
    상기 예측 오차에 따라서 상기 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정하는 보정부
    를 구비하는 것을 특징으로 하는 화상 신호 부호화 장치.
  2. 제1항에 있어서,
    상기 원화상 신호와 상기 압축 화상 신호 또는 보정된 압축 화상 신호에 기초해서 상기 예측 계수를 연산하는 연산부; 및
    최적 압축 화상 신호와 상기 예측 계수를 전송하는 전송부
    를 더 구비하는 것을 특징으로 하는 화상 신호 부호화 장치.
  3. 제1항에 있어서, 상기 소정의 예측 계수는 학습 화상 신호와 학습 압축 화상 신호로부터 미리 학습에 의해서 연산되어 있고, 상기 예측부는 상기 예측 계수를 기억하는 메모리를 갖고 있는 것을 특징으로 하는 화상 신호 부호화 장치.
  4. 제1항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고,
    상기 원화상 신호와 상기 압축 화상 신호 또는 보정된 압축 화상 신호에 기초해서 상기 클래스마다의 예측 계수를 연산하는 연산부; 및
    최적 압축 화상 신호와 클래스마다의 예측 계수를 전송하는 전송부
    를 더 구비하며,
    상기 예측부는 상기 압축 화상 신호의 특징에 대응하는 클래스의 예측 계수와 상기 예측 탭으로부터 상기 예측치를 예측하는
    것을 특징으로 하는 화상 신호 부호화 장치.
  5. 제1항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고, 상기 예측부는 상기 압축 화상 신호의 특징에 대응하는 클래스의 예측 계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 신호 부호화 장치.
  6. 제5항에 있어서, 상기 클래스마다의 예측 계수는 학습 압축 화상 신호의 특징에 대응하는 클래스마다, 학습 화상 신호와 학습 압축 화상 신호로부터 연산되어 있으며, 상기 예측부는 상기 클래스마다의 예측 계수를 기억하는 메모리를 갖는 것을 특징으로 하는 화상 신호 부호화 장치.
  7. 제1항에 있어서, 상기 치환부는 상기 압축 화소의 화소치의 LSB로부터의 소정 비트를 상기 가상 화소의 화소치의 MSB로부터의 소정 비트로 대체하는 것을 특징으로 하는 화상 신호 부호화 장치.
  8. 부호화 화상 신호를 복호화하는 화상 신호 복호 장치에 있어서,
    상기 부호화 화상 신호를 구성하는 압축 화소 중 하나를 주목 화소로 하고, 그 주목 화소 근방의 화소로부터 예측 탭을 형성하는 형성부; 및
    상기 예측 탭과 소정의 예측 계수로부터 복원 화상 신호의 화소치를 생성하는 생성부를 구비하고,
    상기 부호화 화상 신호는,
    원(原)화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하며,
    상기 원화상 신호를 구성하는 화소의 압축 화소 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 상기 원화상 신호로부터 산출하며,
    상기 압축 화소의 화소치 중 일부를 상기 가상 화소의 화소치 중 일부로 대체하고,
    상기 압축 화상 신호를 구성하는 압축 화소 중 하나를 주목 화소로 하고, 그 주목 화소 근방의 상기 압축 화소 및 상기 가상 화소로부터 예측 탭을 형성하며,
    상기 예측 탭과 소정의 예측 계수로부터 상기 원화상 신호의 예측치를 예측하고,
    상기 예측된 예측치로 이루어진 예측 화상 신호의 상기 원화상 신호에 대한 예측 오차를 산출하며,
    상기 예측 오차에 따라서 상기 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생되는 것을 특징으로 하는 화상 신호 복호 장치.
  9. 제8항에 있어서, 상기 소정의 예측 계수는 상기 부호화 화상 신호와 동시에 공급되는 것을 특징으로 하는 화상 신호 복호 장치.
  10. 제8항에 있어서, 상기 소정의 예측 계수는 학습 화상 신호와 학습 압축 화상 신호로부터 미리 학습에 의해 연산되어 있고, 상기 생성부는 상기 예측 계수를 기억하는 메모리를 갖고 있는 것을 특징으로 하는 화상 신호 복호 장치.
  11. 제8항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고, 상기 클래스마다의 예측 계수는 상기 부호화 화상 신호와 함께 공급되는 것을 특징으로 하는 화상 신호 복호 장치.
  12. 제8항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고, 상기 생성부는 상기 압축 화상 신호의 특징에 대응하는 클래스의 예측 계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 신호 복호 장치.
  13. 제12항에 있어서, 상기 클래스마다의 예측 계수는 학습 압축 화상 신호의 특징에 대응하는 클래스마다, 학습 화상 신호와 학습 압축 화상 신호로부터 연산되어 있고, 상기 생성부는 상기 클래스마다의 예측 계수를 기억하는 메모리를 갖고 있는 것을 특징으로 하는 화상 신호 복호 장치.
  14. 제8항에 있어서, 상기 부호화 화상 신호의 화소의 화소치의 LSB로부터의 소정 비트가 상기 가상 화소의 화소치의 MSB로부터의 소정 비트로 대체되는 것을 특징으로 하는 화상 신호 복호 장치.
  15. 화상 신호를 부호화하는 화상 신호 부호화 방법에 있어서,
    원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하는 스텝;
    상기 원화상 신호를 구성하는 화소의 압축 화소 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 상기 원화상 신호로부터 산출하는 스텝;
    상기 압축 화소의 화소치 중 일부를 상기 가상 화소의 화소치의 일부로 대체하는 스텝;
    상기 압축 화상 신호를 구성하는 압축 화소 중 하나를 주목 화소로 하고, 그 주목 화소 근방의 상기 압축 화소 및 상기 가상 화소로부터 예측 탭을 형성하는 스텝;
    상기 예측 탭과 소정의 예측 계수로부터 상기 원화상 신호의 예측치를 예측하는 스텝;
    상기 예측된 예측치로 이루어지는 예측 화상 신호의 상기 원화상 신호에 대한 예측 오차를 산출하는 스텝; 및
    상기 예측 오차에 따라 상기 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정하는 스텝
    를 갖는 것을 특징으로 하는 화상 신호 부호화 방법.
  16. 제15항에 있어서, 상기 원화상 신호와 상기 압축 화상 신호 또는 보정된 압축 화상 신호에 기초해서 상기 예측 계수를 연산하는 스텝; 및
    최적 압축 화상 신호와 상기 예측 계수를 전송하는 스텝
    를 갖는 것을 특징으로 하는 화상 신호 부호화 방법.
  17. 제15항에 있어서, 상기 소정의 예측 계수는 학습 화상 신호와 학습 압축 화상 신호로부터 미리 학습에 의해 연산되어 있고, 상기 원화상 신호의 예측치를 예측하는 스텝는 상기 예측 계수를 이용하는 것을 특징으로 하는 화상 신호 부호화 방법.
  18. 제15항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고,
    상기 원화상 신호와 상기 압축 화상 신호 또는 보정된 압축 화상 신호에 기초해서 상기 클래스마다의 예측 계수를 연산하는 스텝; 및
    최적 압축 화상 신호와 클래스마다의 예측 계수를 전송하는 스텝
    를 더 구비하며,
    상기 원화상 신호의 예측치를 예측하는 스텝는 상기 압축 화상 신호의 특징에 대응하는 클래스의 예측 계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 신호 부호화 방법.
  19. 제15항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고, 상기 원화상 신호의 예측치를 예측하는 스텝는 상기 압축 화상 신호의 특징에 대응하는 클래스의 예측 계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 신호 부호화 방법.
  20. 제19항에 있어서, 상기 클래스마다의 예측 계수는 학습 압축 화상 신호의 특징에 대응하는 클래스마다, 학습 화상 신호와 학습 압축 화상 신호로부터 연산되어 있고, 상기 원화상 신호의 예측치를 예측하는 스텝는 상기 클래스마다의 예측 계수를 이용하는 것을 특징으로 하는 화상 신호 부호화 방법.
  21. 제15항에 있어서, 상기 압축 화상의 화소치 중 일부를 대체하는 스텝는 상기 압축 화소의 화소치의 LSB로부터의 소정 비트를 상기 가상 화소의 화소치의 MSB로부터의 소정 비트로 대체하는 것을 특징으로 하는 화상 신호 부호화 방법.
  22. 부호화 화상 신호를 복호화하는 화상 신호 복호 방법에 있어서,
    상기 부호화 화상 신호를 구성하는 압축 화소 중 하나를 주목 화소로 하고, 그 주목 화소 근방의 화소로부터 예측 탭을 형성하는 스텝; 및
    상기 예측 탭과 소정의 예측 계수로부터 복원 화상 신호의 화소치를 생성하는 스텝
    를 구비하며,
    상기 부호화 화상 신호는,
    원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하고,
    상기 원화상 신호를 구성하는 화소의 압축 화소 근방에 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 상기 원화상 신호로부터 산출하며,
    상기 압축 화소의 화소치 중 일부를 상기 가상 화소의 화소치 중 일부로 대체하고,
    상기 압축 화상 신호를 구성하는 압축 화소 중 하나를 주목 화소로 하고, 그 주목 화소 근방의 상기 압축 화소 및 상기 가상 화소로부터 예측 탭을 형성하며,
    상기 예측 탭과 소정의 예측 계수로부터 상기 원화상 신호의 예측치를 예측하고,
    상기 예측된 예측치로 이루어진 예측 화상 신호의 상기 원화상 신호에 대한 예측 오차를 산출하며,
    상기 예측 오차에 따라 상기 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생되는 것을 특징으로 하는 화상 신호 복호 방법.
  23. 제22항에 있어서, 상기 소정의 예측 계수는 상기 부호화 화상 신호와 함께 공급되는 것을 특징으로 하는 화상 신호 복호 방법.
  24. 제22항에 있어서, 상기 소정의 예측 계수는 학습 화상 신호와 학습 압축 화상 신호로부터 미리 학습에 의해 연산되어 있고, 상기 복원 화상 신호의 화소치를 생성하는 스텝는 상기 예측 계수를 이용하는 것을 특징으로 하는 화상 신호 복호 방법.
  25. 제22항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고, 상기 클래스마다의 예측 계수는 상기 부호화 화상 신호와 함게 공급되는 것을 특징으로 하는 화상 신호 복호 방법.
  26. 제22항에 있어서, 상기 소정의 예측 계수는 상기 압축 화상 신호의 특징에 따른 클래스마다의 예측 계수로 이루어지고, 상기 복원 화상 신호의 화소치를 생성하는 스텝는 상기 압축 화상 신호의 특징에 대응하는 클래스의 예측 계수와 상기 예측 탭으로부터 상기 예측치를 예측하는 것을 특징으로 하는 화상 신호 복호 방법.
  27. 제26항에 있어서, 상기 클래스마다의 예측 계수는 학습 압축 화상 신호의 특징에 대응하는 클래스마다, 학습 화상 신호와 학습 압축 화상 신호로부터 연산되어 있고, 상기 복원 화상 신호의 화소치를 생성하는 스텝는 상기 클래스마다의 예측 계수를 이용하는 것을 특징으로 하는 화상 신호 복호 방법.
  28. 제22항에 있어서, 상기 부호화 화상 신호의 화소의 화소치의 LSB로부터의 소정 비트가 상기 가상 화소의 화소치의 MSB로부터의 소정 비트로 대체되는 것을 특징으로 하는 화상 신호 복호 방법.
  29. 머신(machine)에 의해 복호 가능한 기록 매체에 있어서,
    상기 기록 매체에는 기록 신호가 기록되어 있고,
    상기 기록 신호는,
    상기 원화상 신호의 화소수보다 화소수가 적은 압축 화상 신호를 발생하며,
    상기 원화상 신호를 구성하는 화소의 압축 화소 근방에, 가상의 화소인 가상 화소를 상정하고, 그 가상 화소의 화소치를 상기 원화상 신호로부터 산출하며,
    상기 압축 화소의 화소치 중 일부를 상기 가상 화소의 화소치 중 일부로 대체하고,
    상기 압축 화상 신호를 구성하는 압축 화소 중 하나를 주목 화소로 하고, 그 주목 화소 근방의 상기 압축 화소 및 상기 가상 화소로부터 예측 탭을 형성하며,
    상기 예측 탭과 소정의 예측 계수로부터 상기 원화상 신호의 예측치를 예측하고,
    상기 예측된 예측치로 이루어지는 예측 화상 신호의 상기 원화상 신호에 대한 예측 오차를 산출하며,
    상기 예측 오차에 따라 상기 압축 화상 신호를 구성하는 압축 화소의 화소치를 보정함으로써 발생되는 것을 특징으로 하는 기록 매체.
KR1019980706650A 1996-12-26 1997-12-26 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 KR100537123B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP34731096 1996-12-26
JP96-347310 1996-12-26

Publications (2)

Publication Number Publication Date
KR19990087249A true KR19990087249A (ko) 1999-12-15
KR100537123B1 KR100537123B1 (ko) 2006-02-28

Family

ID=18389359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980706650A KR100537123B1 (ko) 1996-12-26 1997-12-26 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체

Country Status (5)

Country Link
EP (1) EP0892558B1 (ko)
KR (1) KR100537123B1 (ko)
CN (1) CN1115054C (ko)
DE (1) DE69719740T2 (ko)
WO (1) WO1998030027A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033884B1 (en) * 1998-09-18 2006-05-31 Sony Corporation Data converting device and method and recording medium
WO2000021301A1 (en) * 1998-10-05 2000-04-13 Sony Corporation Image transform device and method, learning device and method, and recording medium
WO2000049812A1 (en) * 1999-02-19 2000-08-24 Sony Corporation Image signal processor, image signal processing method, learning device, learning method, and recorded medium
US6658155B1 (en) 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
EP1326436B1 (en) 2001-12-28 2013-02-13 Sony Corporation Displaying information
JP4066146B2 (ja) 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
EP1557789A2 (en) * 2004-01-22 2005-07-27 Sony Corporation Interpolation with prestored training pairs
CN101185335B (zh) * 2005-04-22 2010-06-23 Nxp股份有限公司 高效视频解码加速器
CN102812698B (zh) * 2010-05-28 2015-07-22 松下电器产业株式会社 摄像装置
EP3462448B1 (en) * 2014-01-24 2020-04-22 Nippon Telegraph and Telephone Corporation Linear predictive analysis apparatus, method, program and recording medium

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6348088A (ja) * 1986-08-15 1988-02-29 Sony Corp ディジタル画像信号の補間装置及び補間方法
JP2651209B2 (ja) * 1988-08-30 1997-09-10 キヤノン株式会社 画像の符号化方法及び装置
JP2548375B2 (ja) * 1989-06-01 1996-10-30 松下電器産業株式会社 映像信号ディジタル伝送装置
JP2678066B2 (ja) * 1989-06-30 1997-11-17 三菱電機株式会社 ディジタル信号処理装置
JPH05506975A (ja) * 1990-06-13 1993-10-07 ノーザン・テレコム・リミテッド ディジタルビデオ信号圧縮
JPH0537916A (ja) * 1990-12-28 1993-02-12 Mitsubishi Electric Corp 画像伝送装置
JP3104439B2 (ja) * 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び／又は復号化装置
JP3321915B2 (ja) * 1993-06-18 2002-09-09 ソニー株式会社 画像信号変換装置
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JP3543339B2 (ja) * 1993-06-29 2004-07-14 ソニー株式会社 符号化装置およびその復号装置
JP3371159B2 (ja) * 1993-07-30 2003-01-27 ソニー株式会社 ディジタル画像信号処理装置および処理方法
JP3271101B2 (ja) * 1993-09-21 2002-04-02 ソニー株式会社 ディジタル画像信号処理装置および処理方法
JP3348318B2 (ja) * 1993-11-25 2002-11-20 ソニー株式会社 ディジタル画像信号処理装置および処理方法
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JP3470403B2 (ja) * 1994-08-01 2003-11-25 ソニー株式会社 ディジタル画像信号の処理装置
JP3723995B2 (ja) * 1994-08-04 2005-12-07 ソニー株式会社 画像情報変換装置および方法
JP3759537B2 (ja) * 1994-09-09 2006-03-29 ソニー株式会社 画像信号伝送装置及び画像信号伝送方法
JP3703034B2 (ja) * 1994-09-10 2005-10-05 ソニー株式会社 画像信号処理方法及び画像信号伝送装置

Also Published As

Publication number Publication date
CN1115054C (zh) 2003-07-16
KR100537123B1 (ko) 2006-02-28
EP0892558A1 (en) 1999-01-20
CN1216663A (zh) 1999-05-12
EP0892558B1 (en) 2003-03-12
DE69719740D1 (de) 2003-04-17
WO1998030027A1 (en) 1998-07-09
DE69719740T2 (de) 2004-02-05
EP0892558A4 (en) 2000-04-12

Similar Documents

Publication Publication Date Title
US5912708A (en) Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
JP3748088B2 (ja) 画像処理装置および方法、並びに学習装置および方法
KR100529662B1 (ko) 화상코딩및디코딩장치,및계층적코딩및디코딩방법
KR100538731B1 (ko) 화소블록의클래스정보에대응되는매핑계수를이용하는화상부호화및화상복호화
KR19990087249A (ko) 화상 신호 부호화 장치, 화상 신호 부호화 방법,화상 신호 복호 장치, 화상 신호 복호 방법 및 기록 매체
EP0923052B1 (en) Image encoding/decoding technique
KR100504415B1 (ko) 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체
JPH08340553A (ja) 映像信号符号化装置
US6160845A (en) Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
KR100574732B1 (ko) 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP4092830B2 (ja) 画像データ圧縮方法
JP4534951B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JPH10243406A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
KR100674068B1 (ko) 화상 코딩 장치, 화상 코딩 방법, 화상 디코딩 방법, 화상디코딩 장치, 화상 데이터 전송 방법 및 기록 매체
JP4566877B2 (ja) 画像処理装置および方法
JP4807349B2 (ja) 学習装置および方法
JP4487900B2 (ja) 画像処理システム
JPH07112243B2 (ja) ブロック分割順次再生符号化方式
EP1298934A1 (en) Apparatus and method for image coding and decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111206

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee