KR20050083896A - 화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기위한 프로그램 및 그 프로그램을 기록한 컴퓨터 판독가능한 매체 - Google Patents

화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기위한 프로그램 및 그 프로그램을 기록한 컴퓨터 판독가능한 매체 Download PDF

Info

Publication number
KR20050083896A
KR20050083896A KR1020057009033A KR20057009033A KR20050083896A KR 20050083896 A KR20050083896 A KR 20050083896A KR 1020057009033 A KR1020057009033 A KR 1020057009033A KR 20057009033 A KR20057009033 A KR 20057009033A KR 20050083896 A KR20050083896 A KR 20050083896A
Authority
KR
South Korea
Prior art keywords
pixel data
image signal
target position
frame memory
stored
Prior art date
Application number
KR1020057009033A
Other languages
English (en)
Other versions
KR101031740B1 (ko
Inventor
데쯔지로 곤도
쯔또무 와따나베
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20050083896A publication Critical patent/KR20050083896A/ko
Application granted granted Critical
Publication of KR101031740B1 publication Critical patent/KR101031740B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

본 발명은, 예를 들면 화상 신호로부터 부호화 잡음을 제거할 때에 적용하기에 적합한 화상 신호 처리 장치 등에 관한 것이다. 메모리부(121)는 화상 신호 Va의 연속하는 5프레임에 기초하여, 화상 신호 Vb에서의 주목 위치에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터를 예측탭의 화소 데이터 xi로서 출력한다. 이 경우, 현재 프레임의 전후의 프레임은 움직임 벡터에 의해 움직임 보상된다. 클래스 분류부(124)는 화소 데이터 xi 및 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 이용하여, 화상 신호 Vb에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL을 얻는다. 연산 회로(126)는 화소 데이터 xi와, 클래스 코드 CL에 대응한 계수 데이터 Wi를 이용하여, 추정식에 기초하여, 화상 신호 Vb에서의 주목 위치의 화소 데이터 y를 구한다.

Description

화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수 데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기 위한 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 매체{IMAGE SIGNAL PROCESSING DEVICE AND PROCESSING METHOD, COEFFICIENT DATA GENERATION DEVICE AND GENERATION METHOD USED FOR THE SAME, PROGRAM FOR EXECUTING THE METHODS, AND COMPUTER-READABLE MEDIUM CONTAINING THE PROGRAM}
본 발명은 화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수 데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기 위한 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 매체에 관한 것이다.
상세하게는, 본 발명은 복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억해 두고, 현재 프레임이 기억되어 있는 프레임 메모리부로부터 제2 화상 신호에 있어서의 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택함과 함께, 현재 프레임의 전후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 이들 선택된 복수의 화소 데이터를 이용하여 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성함으로써, 제2 화상 신호의 품질의 향상을 용이하게 실현할 수 있도록 한 화상 신호 처리 장치 등에 관한 것이다.
화상 신호의 압축 부호화 방식으로서, DCT(Discrete Cosine Transform)를 이용한 MPEG2(Moving Picture Experts Group2)에 의한 부호화 방식이 있다. 이 부호화 방식에서는 블록별로 움직임 보상 예측 부호화가 행해진다.
DCT는 블록 내의 화소에 대하여 이산코사인 변환을 실시하여, 그 이산코사인 변환에 의해 얻어진 계수 데이터를 재 양자화하고, 또한 이 재 양자화된 계수 데이터를 가변 길이 부호화하는 것이다. 이 가변 길이 부호화에는 하프먼 부호 등의 엔트로피 부호화가 이용되는 경우가 많다. 화상 신호는 직교 변환됨으로써, 저주파로부터 고주파까지의 다수의 주파수 데이터로 분할된다.
이 분할된 주파수 데이터에 재 양자화를 실시하는 경우, 인간의 시각 특성을 고려하여, 중요도가 높은 저주파 데이터에 관해서는 세밀하게 양자화를 실시하고, 중요도가 낮은 고주파의 데이터에 관해서는 대략적으로 양자화를 실시함으로써, 고화질을 유지하고, 또한 효율이 좋은 압축을 실현할 수 있다고 하는 특징을 갖고 있다.
종래의 DCT를 이용한 복호는 각 주파수 성분별 양자화 데이터를 그 코드의 대표값으로 변환하여, 이들 성분에 대하여 역 DCT(IDCT:InverseDCT)를 실시함으로써, 재생 데이터를 얻는다. 이 대표값으로 변환할 때에는 부호화 시의 양자화 스텝폭이 사용된다.
상술된 바와 같이 DCT를 이용한 MPEG에 의한 부호화 방식에서는 인간의 시각 특성을 고려한 부호화를 행함으로써, 고화질을 유지하고, 고효율의 압축을 실현할 수 있다고 하는 특징이 있다.
그러나, DCT를 행하는 부호화는 블록을 단위로 한 처리이므로, 압축율이 높아짐에 따라, 블록 형상의 잡음, 소위 블록 잡음(블록 왜곡)이 발생하는 경우가 있다. 또한, 엣지 등의 급격한 휘도 변화가 있는 부분에는 고주파 성분을 대략적으로 양자화함에 따른 시끄러운 잡음, 소위 모스키토 잡음이 발생한다.
이들 블록 잡음, 모스키토 잡음 등의 부호화 잡음을 클래스 분류 적응 처리에 의해서 제거하는 것이 고려된다. 즉, 부호화 잡음을 포함하는 화상 신호를 제1 화상 신호로 하고, 부호화 잡음이 제거된 화상 신호를 제2 화상 신호로 하여, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 속하는 클래스를 검출하여, 이 클래스에 대응하여 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성하는 것이다.
이 경우, 제1 화상 신호에 기초하여 제2 화상 신호에 있어서의 주목 위치에 대하여 공간 방향의 주변뿐만 아니라 시간 방향의 주변에도 위치하는 복수의 화소 데이터를 선택하고, 이 복수의 화소 데이터를 이용하여 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성함으로써, 제2 화상 신호의 품질을 높이는 것이 가능하게 된다. 그러나, 그 경우에 시간 방향의 주변에 위치하는 복수의 화소 데이터로서, 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터와 상관이 높은 것을 선택하여 이용할 필요가 있다.
〈발명의 개시〉
본 발명의 목적은, 제2 화상 신호의 품질의 향상을 용이하게 실현할 수 있는 화상 신호 처리 장치 등을 제공하는 것에 있다.
본 발명에 따른 화상 신호 처리 장치는, 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 장치로서, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를, 이 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 복수의 프레임 메모리부와, 이 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 제2 화상 신호에 있어서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 데이터 선택 수단과, 이 데이터 선택 수단으로 선택된 복수의 화소 데이터를 이용하여, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성하는 화소 데이터 생성 수단을 구비하고, 데이터 선택 수단은 제2 화상 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 이 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것이다.
또한, 본 발명에 따른 화상 신호 처리 방법은 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 방법으로서, 복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를 이 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와, 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 제2 화상 신호에 있어서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와, 이 제2 단계에서 선택된 복수의 화소 데이터를 이용하여, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성하는 제3 단계를 구비하고, 제2 단계에서는 제2 화상 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 이 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것이다.
또한, 본 발명에 따른 프로그램은 상술한 화상 신호 처리 방법을 컴퓨터에 실행시키기 위한 것이다. 또한, 본 발명에 따른 컴퓨터 판독 가능한 매체는 상술한 프로그램을 기록한 것이다.
본 발명에서는 복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터가 이 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억된다.
그리고, 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 제2 화상 신호에 있어서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터가 선택된다.
이 경우, 제2 화상 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터, 이 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터가 선택된다. 또한, 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터가 선택된다.
그리고, 이 선택된 복수의 화소 데이터를 이용하여 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 선택된다. 예를 들면, 이하와 같이 하여 주목 위치의 화소 데이터가 생성된다. 즉, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 속하는 클래스가 검출되고, 이 검출된 클레스에 대응한 추정식의 계수 데이터가 발생된다. 그리고, 발생된 계수 데이터 및 선택된 복수의 화소 데이터를 이용하여, 추정식에 기초하여, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 산출된다.
복수의 프레임 메모리부에 화소 데이터와 함께 기억된 움직임 벡터에 의해 현재 프레임의 전후의 프레임의 움직임 보상을 행하여, 현재 프레임의 전후의 프레임으로부터 선택된 복수의 화소 데이터를 현재 프레임으로부터 선택된 복수의 화소 데이터와의 상관이 높은 것으로 하는 것이고, 제2 화상 신호의 품질의 향상을 용이하게 실현할 수 있다.
또한, 적어도, 상술한 바와 같이 선택된 복수의 화소 데이터를 이용하여, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 속하는 클래스를 검출하도록 해도 된다. 이에 의해, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성할 때에 이용되는 복수의 화소 데이터에 대응한 시공간 클래스를 양호하게 검출할 수 있다.
또한, 프레임 메모리부가 복수의 뱅크로 구성되도록 하고, 복수의 뱅크의 각각에는 프레임을 복수의 소블록이 2차원적으로 배치되어 이루어지는 대블록을 단위로 하여 분할하여, 이 대블록이 상이한 위치의 소블록을 기억하도록 해도 된다. 이에 의해, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성할 때에 이용되는 복수의 화소 데이터를 복수의 뱅크로부터 병행하여 판독할 수 있어, 화소 데이터의 생성 속도를 높일 수 있다.
본 발명에 따른 계수 데이터 생성 장치는 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 생성하는 장치로서, 제1 화상 신호에 대응하는 생도 신호의 연속하는 복수의 프레임의 화소 데이터를 이 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 복수의 프레임 메모리부와, 이 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 제2 화상 신호에 대응한 교사 신호에 있어서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 데이터 선택 수단과, 이 데이터 선택 수단으로 선택된 복수의 화소 데이터 및 교사 신호에 있어서의 주목 위치의 화소 데이터를 이용하여 계수 데이터를 구하는 연산 수단을 구비하고, 데이터 선택 수단은 교사 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 이 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것이다.
또한, 본 발명에 따른 계수 데이터 생성 방법은, 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 생성하는 방법으로서, 복수의 프레임 메모리부에, 제1 화상 신호에 대응하는 생도 신호의 연속하는 복수의 프레임의 화소 데이터를 이 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와, 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 제2 화상 신호에 대응한 교사 신호에 있어서의 주목 위치에 대하여 시간 방향 및 하늘문 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와, 이 제2 단계에서 선택된 복수의 화소 데이터 및 교사 신호에 있어서의 주목 위치의 화소 데이터를 이용하여 계수 데이터를 구하는 제3 단계를 구비하고, 제2 단계에서는, 교사 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 이 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것이다.
또한, 본 발명에 따른 프로그램은 상술한 계수 데이터 생성 방법을 컴퓨터에 실행시키기 위한 것이다. 또한, 본 발명에 따른 컴퓨터 판독 가능한 매체는 상술한 프로그램을 기록한 것이다.
본 발명에서, 복수의 프레임 메모리부에, 생도 신호의 연속하는 복수의 프레임의 화소 데이터가 이 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억된다.
그리고, 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여 교사 신호에 있어서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터가 선택된다. 그리고, 이 선택된 복수의 화소 데이터 및 교사 신호에 있어서의 주목 위치의 화소 데이터를 이용하여, 계수 데이터가 구해진다.
이 경우, 교사 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터, 이 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터가 선택된다. 또한, 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터가 선택된다.
상술한 바와 같이 하여 제1 화상 신호를 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터가 생성되지만, 제1 화상 신호로부터 제2 화상 신호로 변환할 때에는 그 계수 데이터가 사용되어, 추정식에 의해, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 산출된다. 이에 의해, 추정식을 사용하여 제1 화상 신호로부터 제2 화상 신호로 변환하는 경우에, 제2 화상 신호의 품질의 향상을 용이하게 실현할 수 있다.
도 1은 실시 형태로서의 디지털 방송 수신기의 구성을 도시하는 블록도.
도 2는 MPEG2 복호화기의 구성을 도시하는 블록도.
도 3은 메모리부의 구성을 도시하는 블록도.
도 4는 프레임 메모리부를 구성하는 뱅크를 설명하기 위한 도면.
도 5는 프레임의 블록 분할을 설명하기 위한 도면.
도 6A 및 도 6B는 각 뱅크로부터의 블록의 판독을 설명하기 위한 도면.
도 7A, 도 7B, 도 7C 및 도 7D는 각 뱅크가 판독된 블록으로부터의 화소 데이터의 추출예를 나타내는 도면.
도 8은 예측탭의 각 프레임의 화소 데이터의 위치 관계를 나타내는 도면.
도 9는 클래스 분류부의 구성을 도시하는 블록도.
도 10은 계수 데이터 생성 장치의 구성을 도시하는 블록도.
도 11은 소프트웨어로 실현하기 위한 화상 신호 처리 장치의 구성예를 도시하는 블록도.
도 12는 화상 신호 처리를 나타내는 플로우차트.
도 13은 계수 데이터 생성 처리를 나타내는 플로우차트.
〈발명을 실시하기 위한 최량의 형태〉
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다. 도 1은 실시 형태로서의 디지털 방송 수신기(100)의 구성을 나타내고 있다.
이 디지털 방송 수신기(100)는 마이크로컴퓨터를 구비하여, 시스템 전체의 동작을 제어하기 위한 시스템 컨트롤러(101)와, 리모트 컨트롤 신호 RM을 수신하는 리모콘 신호 수신 회로(102)를 갖고 있다. 리모콘 신호 수신 회로(102)는 시스템 컨트롤러(101)에 접속되어 있다. 이 리모콘 신호 수신 회로(102)는 리모콘 송신기(200)에 의해 유저의 조작에 따라서 출력되는 리모트 컨트롤 신호 RM을 수신하고, 그 신호 RM에 대응하는 조작 신호를 시스템 컨트롤러(101)에 공급한다.
또한, 디지털 방송 수신기(100)는 수신 안테나(105)와, 튜너부(106)를 갖고 있다. 튜너부(106)에는 수신 안테나(105)에 잡힌 방송 신호(RF 변조 신호)가 공급된다. 이 튜너부(106)는 방송 신호에 대하여, 선국 처리, 복조 처리 및 오류 정정 처리 등을 행하여, 소정 프로그램에 따른 부호화된 화상 신호로서의 MPEG2 스트림을 취득한다.
또한, 디지털 방송 수신기(100)는 이 튜너부(106)로부터 출력되는 MPEG2 스트림을 복호화하여 화상 신호 Va를 얻는 MPEG2 복호화기(107)와, 이 MPEG2 복호화기(107)로부터 출력되는 화상 신호 Va를 일시적으로 저장하는 버퍼 메모리(108)를 갖고 있다.
도 2는 MPEG2 복호화기(107)의 구성을 나타내고 있다.
이 복호화기(107)는 MPEG2 스트림이 입력되는 입력 단자(71)와, 이 입력 단자(71)에 입력된 MPEG2 스트림을 일시적으로 저장하는 스트림 버퍼(72)를 갖고 있다.
또한, 이 복호화기(107)는 DCT 계수 추출 회로(73)와, 가변 길이 복호화 회로(74)를 갖고 있다. 추출 회로(73)는 스트림 버퍼(72)에 저장되어 있는 MPEG2 스트림으로부터, 주파수 계수로서의 DCT(Discrete Cosine Transform: 이산코사인 변환) 계수를 추출한다. 가변 길이 복호화 회로(74)는 추출 회로(73)로 추출된 가변 길이 부호화, 예를 들면 하프먼 부호화되어 있는 DCT 계수에 대하여, 가변 길이 복호화를 행한다.
또한, 이 복호화기(107)는 양자화 특성 지정 정보 추출 회로(75)와, 역 양자화 회로(76)와, 역 DCT 회로(77)를 갖고 있다. 추출 회로(75)는 스트림 버퍼(72)에 저장되어 있는 MPEG2 스트림으로부터 양자화 특성 지정 정보 QI를 추출한다. 역 양자화 회로(76)는 양자화 특성 지정 정보 QI에 기초하여, 가변 길이 복호화 회로(74)로부터 출력되는 양자화 DCT 계수에 대하여, 역 양자화를 행한다. 역 DCT 회로(77)는 역 양자화 회로(76)로부터 출력되는 DCT 계수에 대하여 역 DCT를 행한다.
또한, 복호화기(107)는 예측 메모리 회로(78)를 갖고 있다. 이 예측 메모리 회로(78)는 I 픽쳐(Intra-Picture) 및 P 픽쳐(Predictive-Picture)의 화소 데이터를 메모리(도시 생략)에 기억하고, 또한 이들 화소 데이터를 이용하여, 역 DCT 회로(77)로부터 P 픽쳐 또는 B 픽쳐(Bidirectionally predictive-Picture)의 잔차 데이터가 출력될 때, 대응하는 레퍼런스 데이터 Vref를 생성하여 출력한다.
또한, 복호화기(107)는 가산 회로(79)를 갖고 있다. 이 가산 회로(79)는 역 DCT 회로(77)로부터 P 픽쳐 또는 B 픽쳐의 잔차 데이터가 출력될 때, 그 잔차 데이터에 예측 메모리 회로(78)로 생성된 레퍼런스 데이터 Vref를 가산한다. 또한, 역 DCT 회로(77)로부터 I 픽쳐의 화소 데이터가 출력될 때, 예측 메모리 회로(78)로부터 가산 회로(79)에 레퍼런스 데이터 Vref는 공급되지 않고, 따라서 가산 회로(79)로부터는 역 DCT 회로(77)로부터 출력되는 I 픽쳐의 화소 데이터가 그대로 출력된다.
또한, 복호화기(107)는 픽쳐 선택 회로(80)와, 출력 단자(81)를 갖고 있다. 픽쳐 선택 회로(80)는 가산 회로(79)로부터 출력되는 I 픽쳐 및 P 픽쳐의 화소 데이터를 예측 메모리 회로(78)에 공급하여 메모리에 기억시킴과 함께, 이 가산 회로(79)로부터 출력되는 각 픽쳐의 화소 데이터를 옳은 순으로 재배열하여 화상 신호 Va로서 출력한다. 출력 단자(81)는 픽쳐 선택 회로(80)로부터 출력되는 화상 신호 Va를 출력한다.
또한, MPEG 방식의 부호화에서는 실제의 프레임/필드의 순서와는 다른 순서로 부호화가 행해지고 있다. 즉, I 픽쳐, P 픽쳐의 화상 신호가 먼저 부호화되고, 이들 사이에 끼워진 B 픽쳐의 화상 신호는 그 후에 부호화되어 있다. 픽쳐 선택 회로(80)는 각 픽쳐의 화상 신호를 부호화의 순서로부터 실제 프레임/필드의 순서대로 재배열하여 출력한다.
또한, 복호화기(107)는 부호화 제어 정보 추출 회로(82)를 갖고 있다. 이 추출 회로(82)는 스트림 버퍼(72)에 저장되어 있는 MPEG2 스트림으로부터 부호화 제어 정보, 즉 픽쳐 정보 PI, 움직임 보상용 벡터 정보 MI를 추출한다.
추출 회로(82)로 추출되는 움직임 보상용 벡터 정보 MI는 예측 메모리 회로(78)에 공급된다. 예측 메모리 회로(78)에서는 이 움직임 보상용 벡터 정보 MI를 이용하여, 레퍼런스 데이터 Vref를 생성할 때에 움직임 보상이 행해진다. 추출 회로(82)로 추출되는 픽쳐 정보 PI는 예측 메모리 회로(78), 픽쳐 선택 회로(80)에 공급된다. 이들 예측 메모리 회로(78), 픽쳐 선택 회로(80)에서는 이 픽쳐 정보 PI에 기초하여 픽쳐의 식별이 행해진다.
도 2에 도시하는 MPEG2 복호화기(107)의 동작을 설명한다.
스트림 버퍼(72)에 기억되어 있는 MPEG2 스트림이 추출 회로(73)에 공급되어 주파수 계수로서의 DCT 계수가 추출된다. 이 DCT 계수는 가변 길이 부호화되어 있고, 이 DCT 계수는 가변 길이 복호화 회로(74)에 공급되어 복호화된다. 그리고, 이 가변 길이 복호화 회로(74)로부터 출력되는 각 DCT 블록의 양자화 DCT 계수가 역 양자화 회로(76)에 공급되어 역 양자화가 실시된다.
역 양자화 회로(76)로부터 출력되는 각 DCT 블록의 DCT 계수에 대하여 역 DCT 회로(77)로 역 DCT가 실시되어 각 픽쳐의 데이터가 얻어진다. 이 각 픽쳐의 데이터는 가산 회로(79)를 통하여 픽쳐 선택 회로(80)에 공급된다. 이 경우, 역 DCT 회로(77)로부터 P 픽처 또는 B 픽처의 잔차 데이터가 출력될 때, 가산 회로(79)에서 예측 메모리 회로(78)로부터 출력되는 레퍼런스 데이터 Vref가 가산된다. 그리고, 가산 회로(79)로부터 출력되는 각 픽쳐의 화소 데이터는 픽쳐 선택 회로(80)에 의해 옳은 순으로 재배열되어 출력 단자(81)에 출력된다.
도 1을 다시 참조하면, 또한, 디지털 방송 수신기(100)는 버퍼 메모리(108)에 기억되어 있는 화상 신호 Va를 블록 잡음(블록 왜곡)이나 모스키토 잡음 등의 부호화 잡음이 저감된 화상 신호 Vb로 변환하는 화상 신호 처리부(110)와, 이 화상 신호 처리부(110)로부터 출력되는 화상 신호 Vb에 의한 화상을 표시하는 디스플레이부(111)를 갖고 있다. 디스플레이부(111)는, 예를 들면 CRT(Cathode-Ray Tube) 디스플레이 혹은 LCD(Liquid Crystal Display) 등의 표시기로 구성되어 있다.
도 1에 도시한 디지털 방송 수신기(100)의 동작을 설명한다.
튜너부(106)로부터 출력되는 MPEG2 스트림은 MPEG2 복호화기(107)에 공급되어 복호화된다. 그리고, 이 복호화기(107)로부터 출력되는 화상 신호 Va는 버퍼 메모리(108)에 공급되어 일시적으로 저장된다.
버퍼 메모리(108)에 일시적으로 저장된 화상 신호 Va는 화상 신호 처리부(110)에 공급되어, 부호화 잡음이 저감된 화상 신호 Vb로 변환된다. 이 화상 신호 처리부(110)에서는 화상 신호 Va를 구성하는 화소 데이터로부터, 화상 신호 Vb를 구성하는 화소 데이터가 생성된다.
화상 신호 처리부(110)로 얻어진 화상 신호 Vb는 디스플레이부(111)에 공급된다. 디스플레이부(111)의 화면 상에는 그 화상 신호 Vb에 의한 화상이 표시된다.
다음으로, 화상 신호 처리부(110)의 상세 내용을 설명한다.
화상 신호 처리부(110)는 메모리부(121)를 갖고 있다. 이 메모리부(121)는 버퍼 메모리(108)에 일시적으로 저장된 화상 신호 Va를 입력하여, 이 화상 신호 Va의 연속한 소정 프레임, 여기서는 연속한 5프레임을 항상 기억한 상태로 하여, 이 5프레임으로부터 예측탭으로서의 복수의 화소 데이터를 선택적으로 출력한다.
도 3은 메모리부(121)의 구성을 나타내고 있다.
이 메모리부(121)는 6개의 프레임 메모리부(21a∼21f)와, 6개의 데이터 셀렉터(22a∼22f)와, 메모리 W/R 제어 회로(23)를 갖고 있다.
프레임 메모리부(21a∼21f)는, 각각 화상 신호 Va의 1프레임분을 기억할 수 있는 용량을 가지고 있다. 이 경우, 프레임 메모리부(21a∼21f)의 각각에는 1프레임분의 화소 데이터가 기억됨과 함께, 각 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터도 기억된다.
이 인접 프레임과의 사이의 움직임 벡터는 1프레임 전의 프레임과의 사이의 움직임 벡터 BWV 및 1프레임 후의 프레임과의 사이의 움직임 벡터 FWV로 이루어지고 있다. 이들 움직임 벡터 BWV, FWV는 후술하는 움직임 벡터 검출부(122)에 있어서 검출된다.
프레임 메모리부(21a∼21f)는, 각각 복수개의 뱅크로 구성된다. 본 실시의 형태에서는 도 4에 도시한 바와 같이 뱅크 0∼뱅크 3까지의 4개의 뱅크로 구성되어 있다. 여기서, 프레임 메모리부(21a∼21f)의 각각에 기억되는 프레임은 도 5에 도시한 바와 같이 「0」∼「3」의 4개의 소블록이 이차원적으로 배치되어 이루어지는 대블록을 단위로 하여 분할된다.
그리고, 뱅크 0∼뱅크 3의 각각에는 대블록이 상이한 위치의 소블록이 기억된다. 즉, 뱅크 0에는 대블록이 「O」인 소블록만이 기억된다. 뱅크 1에는 대블록이 「1」인 소블록만이 기억된다. 뱅크 2에는 대블록이 「2」인 소블록만이 기억된다. 뱅크 3에는 대블록이 「3」인 소블록만이 기억된다.
본 실시의 형태에서, 소블록은 8×8개의 화소 데이터로 구성되어 있다. 또 예를 들면, 화소 데이터는 8비트의 데이터이고, 움직임 벡터 BWV, FWV는 각각 16비트의 데이터이다.
뱅크 0∼뱅크 3은, 각각 각 소블록을 구성하는 8×8개의 화소 데이터를 동시에 판독 가능하게 되도록 구성된다. 예를 들면, 각 소블록을 구성하는 8×8개의 화소 데이터는 메모리 구조는 도시하지 않아도, 동일한 워드 라인에 접속된 메모리 셀에 기억된다.
메모리 W/R 제어 회로(22)는 프레임 메모리부(21a∼21f)의 기입, 판독을 제어함과 함께, 데이터 셀렉터(22a∼22f)에서의 데이터 선택을 제어한다.
프레임 메모리부(21a∼21f)는 화상 신호 Va의 연속한 5프레임이 항상 기억된 상태로 된다. 그리고, 이들 5프레임이 기억된 5개의 프레임 메모리부의 각각으로부터, 예측탭으로서의 복수의 화소 데이터를 추출하기 위해서, 각각 4블록분(16×16개)의 화소 데이터가 판독된다.
즉, 임의의 프레임 기간에서는 프레임 메모리부(21a∼21e)에 연속한 n-2, n-1, n, n+1, n+2의 5프레임이 기억된 상태로 되고, 프레임 메모리부(21f)에 프레임 n+3의 기입이 행해진다. 다음의 프레임 기간에서는 프레임 메모리부(21b∼21f)에 연속한 n-1, n, n+1, n+2, n+3의 5프레임이 기억된 상태로 되고, 프레임 메모리부(21a)에 프레임 n+4의 기입이 행해진다.
또한, 다음의 프레임 기간에서는 프레임 메모리부(21c∼21f, 21a)에 연속한 n, n+1, n+2, n+3, n+4의 5프레임이 기억된 상태로 되고, 프레임 메모리부(21b)에 프레임 n+5의 기입이 행해진다. 이하의 프레임 기간에서는, 마찬가지로, 프레임 메모리부(21c, 21d, 21e, …)에 n+6, n+7, n+8, …의 프레임의 기입이 행해진다.
임의의 프레임 기간에, 5개의 프레임 메모리부에 기억되어 있는 화상 신호 Va의 연속한 5프레임 중, 중앙의 프레임은 화상 신호 Vb에서의 주목 위치가 존재하는 프레임과 대응하는 현재 프레임 fr(O)이 된다.
이 현재 프레임 fr(O)이 기억되어 있는 프레임 메모리부로부터, 주목 위치 P(0)에 대하여 공간 방향(수평 방향 및 수직 방향)의 주변에 위치하는 복수의 화소 데이터, 본 실시의 형태에 있어서는 5×5개의 화소 데이터를 추출하기 위해서, 이 복수의 화소 데이터를 포함하는 범위의 4블록분(16×16개)의 화소 데이터가 동시에 판독된다.
상술한 4블록분의 화소 데이터는 상술한 뱅크 0∼뱅크 3으로부터 각각 1블록분의 화소 데이터가 판독되어 구성된다. 여기서, 5×5개의 화소 데이터가 도 6A의 케이스 0∼케이스 3으로 나타내는 4블록의 범위 내에 있는 경우에는, 각각 뱅크 0∼뱅크 3으로부터는 도 6B의 케이스 O∼케이스 3의 흑점으로 나타내는 블록의 화소 데이터가 판독된다. 이는 이하에 설명하는, 프레임 fr(-1), fr(+1), fr(-2), fr(+2)가 기억되어 있는 프레임 메모리부로부터 4블록분의 화소 데이터가 판독되는 경우에도 마찬가지이다.
또한, 이 현재 프레임 fr(O)이 기억되어 있는 프레임 메모리부로부터는, 주목 위치 P(0)의 화소 데이터와 쌍으로 하여 기억되어 있는 움직임 벡터 BWV(0), FWV(0)도 판독된다. 이 움직임 벡터 BWV(0), FWV(0)는 메모리 W/R 제어 회로(23)에 공급된다.
메모리 W/R 제어 회로(23)는 주목 위치 P(0)를 움직임 벡터 BWV(0)에 의해 움직임 보상하여, 현재 프레임 fr(O)의 전의 프레임 fr(-1)에 있어서의 상술한 주목 위치 P(0)에 대응한 위치 P(-1)를 구한다. 마찬가지로, 메모리 W/R 제어 회로(23)는 주목 위치 P(0)를 움직임 벡터 FWV(0)에 의해 움직임 보상하여, 현재 프레임 fr(O)의 후의 프레임 fr(+1)에 있어서의 상술한 주목 위치 P(O)에 대응한 위치 P(+1)를 구한다.
그리고, 프레임 fr(-1)이 기억되어 있는 프레임 메모리부로부터, 위치 P(-1)에 대하여 공간 방향(수평 방향 및 수직 방향)의 주변에 위치하는 복수의 화소 데이터, 본 실시의 형태에 있어서는 5×5개의 화소 데이터를 추출하기 위해서, 이 복수의 화소 데이터를 포함하는 범위의 4블록분(16×16개)의 화소 데이터가 동시에 판독된다.
마찬가지로, 프레임 fr(+1)이 기억되어 있는 프레임 메모리부로부터, 위치 P(+1)에 대하여 공간 방향(수평 방향 및 수직 방향)의 주변에 위치하는 복수의 화소 데이터, 본 실시의 형태에 있어서는 5×5개의 화소 데이터를 추출하기 위해서, 이 복수의 화소 데이터를 포함하는 범위의 4블록분(16×16개)의 화소 데이터가 동시에 판독된다.
또한, 프레임 fr(-1)이 기억되어 있는 프레임 메모리부로부터는, 위치 P(-1)의 화소 데이터와 쌍으로 하여 기억되어 있는 움직임 벡터 BWV(-1)도 판독된다. 한편, 프레임 fr(+1)이 기억되어 있는 프레임 메모리부로부터는 위치 P(+1)의 화소 데이터와 쌍으로 하여 기억되어 있는 움직임 벡터 FWV(+1)도 판독된다. 이들 움직임 벡터 BWV(-1), FWV(+1)는 메모리 W/R 제어 회로(23)에 공급된다.
메모리 W/R 제어 회로(23)는 주목 위치 P(-1)를 움직임 벡터 BWV(-1)에 의해 움직임 보상하여, 프레임 fr(-1)의 전의 프레임 fr(-2)에 있어서의 상술한 주목 위치 P(0)에 대응한 위치 P(-2)를 구한다. 마찬가지로, 메모리 W/R 제어 회로(23)는 위치 P(+1)를 움직임 벡터 FWV(+1)에 의해 움직임 보상하여, 프레임 fr(+1)의 후의 프레임 fr(+2)에 있어서의 상술한 주목 위치 P(0)에 대응한 위치 P(+2)를 구한다.
그리고, 프레임 fr(-2)이 기억되어 있는 프레임 메모리부로부터, 위치 P(-2)에 대하여 공간 방향(수평 방향 및 수직 방향)의 주변에 위치하는 복수의 화소 데이터, 본 실시의 형태에 있어서는 5×5개의 화소 데이터를 추출하기 위해서, 이 복수의 화소 데이터를 포함하는 범위의 4블록분(16×16개)의 화소 데이터가 동시에 판독된다.
마찬가지로, 프레임 fr(+2)이 기억되어 있는 프레임 메모리부로부터, 위치 P(+2)에 대하여 공간 방향(수평 방향 및 수직 방향)의 주변에 위치하는 복수의 화소 데이터, 본 실시의 형태에 있어서는 5×5개의 화소 데이터를 추출하기 위해서, 이 복수의 화소 데이터를 포함하는 범위의 4블록분(16×16개)의 화소 데이터가 동시에 판독된다.
데이터 셀렉터(22a∼22f)는, 각각 프레임 메모리부(21a∼21f)로부터 동시에 판독되는 4블록분(16×16개)의 화소 데이터로부터, 예측탭으로 해야 할 5×5개의 화소 데이터를 선택적으로 추출하기 위한 것이다. 이 경우, 데이터 셀렉터(22a∼22f)에서 각각 추출되는 5×5개의 화소 데이터는 각각 위치 P(-2), P(-1), P(0), P(+1), P(+2)에 의해서, 일의적으로 결정된다.
도 7A의 해칭 영역은 도 6A 및 도 6B에 도시한 케이스 0인 경우이고, 5×5개의 화소 데이터가 4블록에 걸쳐 있을 때에, 예측탭으로서 추출되는 화소 데이터의 범위예를 나타내고 있다. 도 7B의 해칭 영역은 도 6A 및 도 6B에 도시한 케이스 1인 경우이고, 5×5개의 화소 데이터가 4블록에 걸쳐 있을 때에, 예측탭으로서 추출되는 화소 데이터의 범위예를 나타내고 있다.
도 7C의 해칭 영역은 도 6A 및 도 6B에 도시한 케이스 2인 경우이고, 5×5개의 화소 데이터가 4블록에 걸쳐 있을 때에, 예측탭으로서 추출되는 화소 데이터의 범위예를 나타내고 있다. 도 7D의 해칭 영역은 도 6A 및 도 6B에 도시한 케이스 3인 경우이고, 5×5개의 화소 데이터가 4블록에 걸쳐 있을 때에, 예측탭으로서 추출되는 화소 데이터의 범위예를 나타내고 있다.
이와 같이 메모리부(121)는 화상 신호 Va의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)에 기초하여, 화상 신호 Vb에서의 주목 위치에 대하여 공간 방향(수평 방향 및 수직 방향) 및 시간 방향(프레임 방향)의 주변에 위치하는 복수의 화소 데이터를 예측탭의 화소 데이터로서 출력한다.
도 8은 메모리부(121)로부터 예측탭의 화소 데이터로서 출력되는, 각 프레임의 화소 데이터의 위치 관계를 나타내고 있다. 또한, 도 8에서는 도면의 간단화를 위해서, 각 프레임에는 화소를 나타내는 검은 동그라미를 5×5개가 아니라, 3×3개만을 나타내고 있다.
상술한 바와 같이 프레임 fr(-1)의 위치 P(-1)는 주목 위치 P(O)를 움직임 벡터 BWV(0)로 움직임 보상하여 얻어진 위치이고, 또한 프레임 fr(-2)의 위치 P(-2)는 위치 P(-1)를 움직임 벡터 BWV(-1)로 움직임 보상하여 얻어진 위치이다. 마찬가지로, 프레임 fr(+1)의 위치 P(+1)는 주목 위치 P(0)를 움직임 벡터 FWV(0)로 움직임 보상하여 얻어진 위치이고, 또한 프레임 fr(+2)의 위치 P(+2)는 위치 P(+1)를 움직임 벡터 FWV(+1)로 움직임 보상하여 얻어진 위치이다.
또한, 상술에서는 예측탭의 화소 데이터로서, 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)의 각각으로부터 5×5개의 화소 데이터를 추출하는 것을 나타내었지만, 각 프레임으로부터 추출하는 화소 데이터의 개수는 이에 한정되는 것이 아니다. 예를 들면, 현재 프레임 fr(O)으로부터 추출하는 화소 데이터의 개수를 가장 많게 하고, 이 현재 프레임 fr(O)으로부터 떨어진 프레임일수록 추출하는 화소 데이터의 개수가 적어지도록 해도 된다.
도 1을 다시 참조하면, 화상 신호 처리부(110)는 움직임 벡터 검출부(122)를 갖고 있다. 이 움직임 벡터 검출부(122)는 버퍼 메모리(108)에 기억되어 있는 화상 신호 Va에 기초하여, 이 화상 신호 Va를 구성하는 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV를 검출한다. 이 움직임 벡터 검출부(122)에서는, 예를 들면 종래 주지의 블록 매칭법에 의해 움직임 벡터 BWV, FWV가 검출된다.
상술한 바와 같이 움직임 벡터 BWV는 1프레임 전의 프레임과의 사이의 움직임 벡터이고, FWV는 1프레임 후의 프레임과의 사이의 움직임 벡터이다. 이와 같이 움직임 벡터 검출부(122)에서 검출되는 움직임 벡터 BWV, FWV는 메모리부(121)에 공급되어, 상술한 바와 같이 화소 데이터와 쌍으로서 기억된다.
또한, 화상 신호 처리부(110)는 탭 축적부(123)를 갖고 있다. 이 탭 축적부(123)는 메모리부(121)로부터, 화상 신호 Vb에서의 주목 위치에 대응하여 출력되는, 화상 신호 Va의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)로부터 순차적으로 추출된 예측탭의 화소 데이터 xi를 축적한다.
또한, 화상 신호 처리부(110)는, 클래스 검출 수단으로서의 클래스 분류부(124)를 갖고 있다. 이 클래스 분류부(124)는 화상 신호 Vb에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL을 생성한다. 이 클래스 분류부(124)는 탭 축적부(123)에 축적된 예측탭의 화소 데이터 xi(i=1∼n, n은 예측탭의 개수)와, 메모리부(121)로 화소 데이터 xi를 추출하기 위해서 이용된 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 이용하여, 클래스 코드 CL을 생성한다.
도 9는 클래스 분류부(124)의 구성을 나타내고 있다.
이 클래스 분류부(124)는 화소 데이터 xi를 입력하는 입력 단자(51)와, 클래스 생성 회로(52)를 갖고 있다. 클래스 생성 회로(52)는 입력 단자(51)에 입력되는 화소 데이터 xi에 기초하여, 시공간 클래스를 나타내는 클래스 코드 CL1을 생성한다. 이 클래스 생성 회로(52)는 화소 데이터 xi의 각각에, 예를 들면 1비트의 ADRC(Adaptive Dynamic Range Coding) 등의 처리를 실시하여, 시공간 클래스를 나타내는 클래스 코드 CL1을 생성한다.
ADRC는 클래스탭의 복수의 화소 데이터의 최대값 및 최소값을 구하고, 최대값과 최소값의 차인 다이내믹 범위를 구하여, 다이내믹 범위에 적응하여 각 화소값을 재양자화하는 것이다. 1비트의 ADRC인 경우, 클래스탭의 복수의 화소값의 평균값보다 큰지, 작은지에 따라 그 화소값이 1비트로 변환된다.
ADRC 처리는 화소값의 레벨 분포를 나타내는 클래스의 수를 비교적 작은 것으로 하기 위한 처리이다. 따라서, ADRC에 한정되지 않고 VQ(벡터 양자화) 등의 화소값의 비트수를 압축하는 부호화를 사용하도록 해도 된다.
또한, 클래스 분류부(124)는 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 입력하기 위한 입력 단자(53)와, 클래스 생성 회로(54)를 갖고 있다. 클래스 생성 회로(54)는 입력 단자(53)에 입력된 움직임 벡터를 임계값 판정하여, 움직임 벡터 클래스를 나타내는 클래스 코드 CL2를 생성한다.
또한, 클래스 분류부(124)는 클래스 통합 회로(55)와, 출력 단자(56)를 갖고 있다. 클래스 통합 회로(55)는 클래스 생성 회로(52, 54)로 생성되는 클래스 코드 CL1, CL2를 통합하여 1개의 클래스 코드 CL로 한다. 출력 단자(56)는 클래스 통합 회로(55)로 얻어지는 클래스 코드 CL을 출력한다.
도 9에 도시한 클래스 분류부(124)의 동작을 설명한다. 입력 단자(51)에, 탭 축적부(123)(도 1 참조)에 축적된 화소 데이터 xi가 입력되고, 이 화소 데이터 xi는 클래스 생성 회로(52)에 공급된다. 클래스 생성 회로(52)는 화소 데이터 xi의 각각에, 예를 들면 1비트의 ADRC 등의 처리를 실시하여, 시공간 클래스를 나타내는 클래스 코드 CL1를 생성한다.
또한, 입력 단자(53)에, 메모리부(121)(도 1 참조)로부터, 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)가 공급된다. 이들 움직임 벡터는 메모리부(121)에서 화소 데이터를 추출하기 위해서 이용된 것이다. 이들 움직임 벡터는 클래스 생성 회로(54)에 공급된다. 클래스 생성 회로(54)는 이들 움직임 벡터의 임계값 판정을 하여, 움직임 벡터 클래스를 나타내는 클래스 코드 CL2를 생성한다.
클래스 생성 회로(52, 54)로 생성되는 클래스 코드 CL1, CL2은 클래스 통합 회로(55)에 공급되어 통합되어, 화상 신호 Vb에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL이 생성된다. 이 클래스 코드 CL은 출력 단자(56)에 출력된다.
또한, 클래스 분류부(124)에서는 예측탭으로서의 화소 데이터 xi를 그대로 클래스 코드 CL1를 생성하기 위한 화소 데이터로 한 것이다. 이에 의해, 클래스 코드 CL1를 생성하기 위한 화소 데이터의 추출 부분의 구성을 예측탭으로서의 화소 데이터의 추출 부분과 공통으로 할 수 있어, 회로 구성을 간단하게 할 수 있다. 그러나, 이 클래스 코드 CL1을 생성하기 위한 화소 데이터로서, 화소 데이터 xi과는 다른 화소 데이터를 추출하여 이용하는 구성으로 해도 된다.
도 1을 다시 참조하면, 화상 신호 처리부(110)는 계수 메모리(125)를 갖고 있다. 이 계수 메모리(125)는 후술하는 추정 예측 연산 회로(125)에서 사용되는 추정식으로 이용되는 계수 데이터 Wi(i=1∼n, n은 예측탭의 개수)를 클래스마다, 저장하는 것이다.
이 계수 데이터 Wi는 화상 신호 Va를 화상 신호 Vb로 변환하기 위한 정보이다. 이 계수 메모리(125)에 저장되는 계수 데이터 Wi는 미리 화상 신호 Va에 대응한 생도 신호와 화상 신호 Vb에 대응한 교사 신호 사이의 학습에 의해서 생성된다.
이 계수 메모리(125)에는 상술한 클래스 분류부(124)로부터 출력되는 클래스 코드 CL이 판독 어드레스 정보로서 공급된다. 이 계수 메모리(125)로부터는 클래스 코드 CL에 대응한 추정식의 계수 데이터 Wi가 판독되어, 후술하는 추정 예측 연산 회로(126)에 공급된다. 계수 데이터 Wi의 생성 방법에 대해서는 후술한다.
또한, 화상 신호 처리부(110)는 추정 예측 연산 회로(126)를 갖고 있다. 이 추정 예측 연산 회로(126)는 탭 축적부(123)에 축적된 예측탭의 화소 데이터 xi와, 계수 메모리(125)로부터 판독되는 계수 데이터 Wi로부터, 수학식 1의 추정식에 의해서, 작성할 화상 신호 Vb에서의 주목 위치의 화소 데이터 y를 연산한다.
이 화상 신호 처리부(110)의 동작을 설명한다.
움직임 벡터 검출부(122)에서는 버퍼 메모리(108)에 기억되어 있는 화상 신호 Va에 기초하여, 이 화상 신호 Va를 구성하는 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV가 검출된다. 움직임 벡터 BWV는 1프레임 전의 프레임과의 사이의 움직임 벡터이고, FWV는 1프레임 후의 프레임과의 사이의 움직임 벡터이다.
메모리부(121)에는, 버퍼 메모리(108)에 일시적으로 저장된 화상 신호 Va가 입력됨과 함께, 움직임 벡터 검출부(122)에서 검출된 움직임 벡터 BWV, FWV도 입력된다. 그리고, 메모리부(121)를 구성하는 프레임 메모리부(21a∼21f)(도 3 참조)의 각각에는 1프레임분의 화소 데이터가 기억됨과 함께, 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV도 기억된다.
이 경우, 프레임 메모리부(21a∼21f)는 화상 신호 Va의 연속한 5프레임이 항상 기억된 상태로 된다. 그리고, 이들 5프레임이 기억된 5개의 프레임 메모리부의 각각으로부터, 예측탭으로서의 5×5개의 화소 데이터를 추출하기 위해서, 각각 4블록분(16×16개)의 화소 데이터가 판독된다.
이 4블록분의 화소 데이터는 프레임 메모리부를 구성하는 뱅크 0∼뱅크 3(도 4 참조)으로부터 각각 1블록분의 화소 데이터가 판독되어 구성된다. 이 경우, 각 뱅크에서는, 각각 1블록분의 화소 데이터인, 8×8개의 화소 데이터가 동시에 판독된다.
프레임 메모리부(21a∼21f)로부터 판독되는 4블록분(16×16개)의 화소 데이터는 각각 데이터 셀렉터(22a∼22f)(도 3 참조)에 공급된다. 데이터 셀렉터(22a∼22f)는, 각각 4블록분(16×16개)의 화소 데이터로부터, 예측탭으로 해야 할 5×5개의 화소 데이터를 선택적으로 추출한다.
이에 의해, 메모리부(121)로부터는 화상 신호 Va의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)에 기초하여, 도 8에 도시한 바와 같이 화상 신호 Vb에서의 주목 위치 P(0)에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터가 예측탭의 화소 데이터 xi로서 출력된다.
이 경우, 프레임 fr(O)으로부터는 주목 위치 P(O)에 대하여 공간 방향의 주변에 위치하는 5×5개의 화소 데이터가 추출된다. 프레임 fr(-1)으로부터는 위치 P(-1)에 대하여 공간 방향의 주변에 위치하는 5×5개의 화소 데이터가 추출된다. 프레임 fr(-2)로부터는 위치 P(-2)에 대하여 공간 방향의 주변에 위치하는 5×5개의 화소 데이터가 추출된다. 여기서, 위치 P(-1)는 주목 위치 P(0)를 움직임 벡터 BWV(0)으로 움직임 보상하여 얻어진 위치이다. 위치 P(-2)는 위치 P(-1)를 움직임 벡터 BWV(-1)로 움직임 보상하여 얻어진 위치이다.
마찬가지로, 프레임 fr(+1)으로부터는 위치 P(+1)에 대하여 공간 방향의 주변에 위치하는 5×5개의 화소 데이터가 추출된다. 프레임 fr(+2)으로부터는 위치 P(+2)에 대하여 공간 방향의 주변에 위치하는 5×5개의 화소 데이터가 추출된다. 여기서, 위치 P(+1)는 주목 위치 P(0)를 움직임 벡터 FWV(0)로 움직임 보상하여 얻어진 위치이다. 위치 P(+2)는 위치 P(+1)를 움직임 벡터 FWV(+1)로 움직임 보상하여 얻어진 위치이다.
메모리부(121)로부터, 화상 신호 Vb에서의 주목 위치에 대응하여 출력되는, 화상 신호 Va의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)로부터 순차적으로 추출된 예측탭의 화소 데이터 xi는 탭 축적부(123)에 공급되어 축적된다.
클래스 분류부(124)에서는 탭 축적부(123)에 축적된 예측탭의 화소 데이터 xi와, 메모리부(121)에서 화소 데이터 xi를 추출하기 위해서 이용된 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 이용하여, 클래스 코드 CL이 생성된다. 이 클래스 코드 CL은 화상 신호 Vb에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 것이다.
이와 같이 클래스 분류부(124)에서 생성되는 클래스 코드 CL은 판독 어드레스 정보로서 계수 메모리(125)에 공급된다. 이에 의해, 계수 메모리(125)로부터 클래스 코드 CL에 대응한 계수 데이터 Wi가 판독되어, 추정 예측 연산 회로(126)에 공급된다.
추정 예측 연산 회로(126)에서는 탭 축적부(123)에 축적된 예측탭의 화소 데이터 xi와, 계수 메모리(125)로부터 판독되는 계수 데이터 Wi를 이용하여, 상술한 수학식 1에 나타내는 추정식에 기초하여, 작성할 화상 신호 Vb에서의 주목 위치의 화소 데이터 y가 구해진다.
이와 같이 화상 신호 처리부(110)에서는 화상 신호 Va로부터 계수 데이터 Wi를 이용하여 화상 신호 Vb가 얻어진다. 이 경우, 화상 신호 Va에 기초하여 선택된, 화상 신호 Vb에서의 주목 위치 P(0)에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터(예측탭의 화소 데이터) xi, 및 이 화상 신호 Vb에서의 주목 위치의 화소 데이터가 속하는 클래스 CL에 대응한 계수 데이터 Wi를 이용하여, 추정식에 기초하여 화상 신호 Vb에서의 주목 위치의 화소 데이터 y를 생성하는 것이다.
따라서, 계수 데이터 Wi로서, 화상 신호 Va에 대응하여 이 화상 신호 Va와 마찬가지의 부호화 잡음을 포함하는 생도 신호와 화상 신호 Vb에 대응한 부호화 잡음을 포함하지 않는 교사 신호를 이용한 학습에 의해서 얻어진 계수 데이터 Wi를 이용함으로써, 화상 신호 Vb로서 화상 신호 Va에 비하여 부호화 잡음이 대폭 경감된 것을 양호하게 얻을 수 있다.
또한, 메모리부(121)에서, 프레임 fr(-2), fr(-1), fr(+1), fr(+2)로부터 추출되는 예측탭으로 해야 할 5×5개의 화소 데이터는 위치 P(-2), P(-1), P(+1), P(+2)에 대하여 공간 방향의 주변에 위치하는 것이다. 이들 위치는 프레임 메모리부(21a∼21f)에 화소 데이터와 함께 기억되어 있는 움직임 벡터 BWV, FWV에 의해 주목 위치 P(0)가 움직임 보상되어 얻어진 것이다. 그 때문에, 프레임 fr(-2), fr(-1), fr(+1), fr(+2)로부터 추출되는 복수의 화소 데이터는 주목 위치 P(0)에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터와의 상관이 높은 것으로 된다.
이와 같이 프레임 메모리부(21a∼21f)에 화소 데이터와 함께 기억되어 있는 움직임 벡터 BWV, FWV에 의해 움직임 보상된 위치 P(-2), P(-1), P(+1), P(+2)를 얻음으로써, 프레임 fr(-2), fr(-1), fr(+1), fr(+2)로부터 추출되는 복수의 화소 데이터를 주목 위치 P(0)에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터와의 상관이 높은 것으로 하는 것이고, 화상 신호 Vb의 품질의 향상을 용이하게 실현할 수 있다.
또한, 탭 축적부(123)에 축적된 예측탭으로서의 화소 데이터 xi를 클래스 분류부(124)에 공급하고, 이 화소 데이터 xi에 기초하여 시공간 클래스를 나타내는 클래스 코드 CL1를 생성하고, 최종적인 클래스 코드 CL로서, 클래스 코드 CL1가 통합된 것을 얻도록 하고 있다. 따라서, 화상 신호 Vb에서의 주목 위치의 화소 데이터를 생성할 때에 이용되는 화소 데이터 xi에 대응한 시공간 클래스를 양호하게 검출할 수 있어, 클래스 분류의 정밀도를 높일 수 있다.
또한, 예측탭으로서의 화소 데이터 xi에 기초하여 시공간 클래스를 나타내는 클래스 코드 CL1을 생성함으로써, 시공간 클래스를 검출하기 위한 화소 데이터를 추출하는 회로를 개별적으로 형성할 필요가 없어, 회로 구성을 간단히 할 수 있다.
또한, 메모리부(121)를 구성하는 프레임 메모리부(21a∼21f)는 각각 뱅크 0∼뱅크 3으로 구성되어 있다. 그리고, 뱅크 0∼뱅크 3의 각각에는 프레임을 0∼3의 4개의 소블록이 2차원적으로 배치되어 이루어지는 대블록을 단위로 하여 분할했을 때의 대블록이 상이한 위치의 소블록이 기억된다.
이에 의해, 예측탭으로 해야 할 5×5개의 화소 데이터를 추출하기 위해서, 이 5×5개의 화소 데이터를 포함하는 범위의 4블록분(16×16개)의 화소 데이터를 뱅크 0∼뱅크 3으로부터 각 1블록분씩 병행하여 판독할 수 있다. 따라서, 메모리부(121)로부터, 예측탭으로서의 화소 데이터를 출력하기 위한 처리 속도를 높일 수 있으며, 나아가서는 화상 신호 Vb에서의 주목 위치의 화소 데이터의 생성 속도를 높일 수 있다.
다음으로, 계수 메모리(125)에 기억되는 계수 데이터 Wi의 생성 방법에 대하여 설명한다. 이 계수 데이터 Wi는 미리 학습에 의해서 생성된 것이다.
우선, 이 학습 방법에 대하여 설명한다. 상술한 수학식 1에서, 학습 전에는 계수 데이터 W1, W2, …, Wn은 미정 계수이다. 학습은 클래스별로, 복수의 신호 데이터에 대하여 행한다. 학습 데이터 수가 m인 경우, 수학식 1에 따라서, 이하에 기재하는 수학식 2가 설정된다. n은 예측탭의 수를 나타내고 있다.
m>n인 경우, 계수 데이터 W1, W2, …, Wn은 일의적으로 결정되지 않으므로, 오차 벡터 e의 요소 ek를 이하의 수학식 3으로 정의하고, 수학삭 4의 e2를 최소로 하는 계수 데이터를 구한다. 소위 최소 제곱법에 의해서 계수 데이터를 일의적으로 정한다.
수학식 4의 e2를 최소로 하는 계수 데이터를 구하기 위한 실제적인 계산 방법으로서는, 우선 수학식 5에 도시한 바와 같이 e2를 계수 데이터 Wi(i=1, 2, …, n)로 편미분하고, i의 각 값에 대하여 편미분값이 0이 되도록 계수 데이터 Wi를 구하면 된다.
수학식 5로부터 계수 데이터 Wi를 구하는 구체적인 수순에 대하여 설명한다. 수학식 6, 수학식 7과 같이 Xji, Yi를 정의하면, 수학식 5는 수학식 8의 행렬식의 형태로 기입할 수 있다.
수학식 8은 일반적으로 정규 방정식이라고 불리는 것이다. 이 정규 방정식을 소인법(Gauss-Jordan의 소거법) 등의 일반 해법으로 풀어서, 계수 데이터 Wi(i=1, 2, …, n)를 구할 수 있다.
도 10은 도 1의 화상 신호 처리부(110)의 계수 메모리(125)에 저장해야 할 계수 데이터 Wi를 생성하는 계수 데이터 생성 장치(150)의 구성을 나타내고 있다.
이 계수 데이터 생성 장치(150)는 화상 신호 Vb에 대응한 교사 신호 ST가 입력되는 입력 단자(151)와, MPEG2 부호화기(152)와, MPEG2 복호화기(153)를 갖고 있다. MPEG2 부호화기(152)는 입력 단자(151)에 입력되는 교사 신호 ST에 대하여 부호화를 행하여 MPEG2 스트림을 얻는다. MPEG2 복호화기(153)는 이 MPEG2 스트림에 대하여 복호화를 행하여 화상 신호 Va에 대응한 생도 신호 SS를 얻는다.
여기서, MPEG2 복호화기(153)는, 도 1에 도시한 디지털 방송 수신기(100)에 있어서의 MPEG2 복호화기(107) 및 버퍼 메모리(108)에 대응하고 있다.
또한, 계수 데이터 생성 장치(150)는 움직임 벡터 검출부(154)를 갖고 있다. 이 움직임 벡터 검출부(154)는 상술한 화상 신호 처리부(110)의 움직임 벡터 검출부(122)와 마찬가지로 구성되고, MPEG2 복호화기(153)로부터 출력되는 생도 신호 SS에 기초하여, 이 생도 신호 SS를 구성하는 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV를 검출한다. 움직임 벡터 BWV는 1프레임 전의 프레임과의 사이의 움직임 벡터이고, FWV 및 1프레임 후의 프레임과의 사이의 움직임 벡터이다.
또한, 계수 데이터 생성 장치(150)는 메모리부(155)를 갖고 있다. 이 메모리부(155)는 상술한 화상 신호 처리부(110)의 메모리부(121)와 마찬가지로 구성된다. 이 메모리부(155)는 생도 신호 SS의 연속한 5프레임을 항상 기억함과 함께, 각 화소 데이터와 쌍으로 하여, 움직임 벡터 검출부(154)에서 검출된 움직임 벡터 BWV, FWV도 기억한다.
또한, 이 메모리부(155)는 생도 신호 SS의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)에 기초하여, 교사 신호 ST에서의 주목 위치에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터를 예측탭의 화소 데이터로서 출력한다.
또한, 계수 데이터 생성 장치(150)는 탭 축적부(156)를 갖고 있다. 이 탭 축적부(156)는 메모리부(155)로부터, 교사 신호 ST에서의 주목 위치에 대응하여 출력되는, 생도 신호 SS의 연속하는 5프레임으로부터 순차적으로 추출된 예측탭의 화소 데이터를 축적한다. 이 탭 축적부(156)는 상술한 화상 신호 처리부(110)의 탭 축적부(123)와 마찬가지로 구성된다.
또한, 계수 데이터 생성 장치(150)는 클래스 검출 수단으로서의 클래스 분류부(157)를 갖고 있다. 이 클래스 분류부(157)는 교사 신호 ST에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL을 생성한다. 이 클래스 분류부(157)는 탭 축적부(156)에 축적된 예측탭의 화소 데이터 xi(i=1∼n, n은 예측탭의 개수)와, 메모리부(155)에서 화소 데이터 xi를 추출하기 위해서 이용된 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)을 이용하여, 클래스 코드 CL을 생성한다. 이 클래스 분류부(157)는 상술한 화상 신호 처리부(110)의 클래스 분류부(124)와 마찬가지로 구성된다.
또한, 계수 데이터 생성 장치(150)는 입력 단자(151)에 공급되는 교사 신호 ST의 시간 조정을 행하기 위한 지연 회로(158)와, 정규 방정식 생성부(159)를 갖고 있다. 정규 방정식 생성부(159)는 지연 회로(158)로 시간 조정된 교사 신호 ST로부터 얻어지는 각 주목 위치의 화소 데이터 y와, 이 각 주목 위치의 화소 데이터 y에 각각 대응하여 탭 축적부(156)에 축적된 예측탭의 화소 데이터 xi와, 각 주목 위치의 화소 데이터 y에 각각 대응하여 클래스 분류부(157)에서 생성되는 클래스 코드 CL로부터, 클래스별로, 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식(상술한 수학식 8 참조)을 생성한다.
이 경우, 1개의 화소 데이터 y와 그에 대응하는 n개의 예측탭의 화소 데이터 xi와의 조합으로 1개의 학습 데이터가 생성되지만, 교사 신호 ST와 생도 신호 SS 사이에서, 클래스별로, 많은 학습 데이터가 생성되어 간다. 이에 의해, 정규 방정식 생성부(159)에서는 클래스별로, 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식이 생성된다.
또한, 계수 데이터 생성 장치(150)는 계수 데이터 결정부(160)와, 계수 메모리(161)를 갖고 있다. 계수 데이터 결정부(160)는 정규 방정식 생성부(159)에서 생성된 정규 방정식의 데이터에 기초하여, 그 정규 방정식을 풀어, 각 클래스의 계수 데이터 Wi를 구한다. 계수 메모리(161)는 이 구해진 각 클래스의 계수 데이터 Wi를 저장한다.
다음으로, 도 10에 도시한 계수 데이터 생성 장치(150)의 동작을 설명한다.
입력 단자(151)에는 화상 신호 Vb에 대응한 교사 신호 ST가 공급되고, 그리고 MPEG2 부호화기(152)로, 이 교사 신호 ST에 대하여 부호화가 실시되어, MPEG2 스트림이 생성된다. 이 MPEG2 스트림은 MPEG2 복호화기(153)에 공급된다. MPEG2 복호화기(153)로, 이 MPEG2 스트림에 대하여 복호화가 실시되어, 화상 신호 Va에 대응한 생도 신호 SS가 생성된다.
움직임 벡터 검출부(154)에서는 MPEG2 복호화기(153)로부터 출력되는 생도 신호 SS에 기초하여, 이 생도 신호 SS를 구성하는 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV가 검출된다.
메모리부(155)에는 MPEG2 복호화기(153)로부터 출력되는 생도 신호 SS가 입력됨과 함께, 움직임 벡터 검출부(154)에서 검출된 움직임 벡터 BWV, FWV도 입력된다. 이 메모리부(155)에는 생도 신호 SS의 연속한 5프레임이 항상 기억됨과 함께, 각 화소 데이터와 쌍으로 하여 움직임 벡터 BWV, FWV도 기억된다.
그리고, 이 메모리부(155)로부터는 생도 신호 SS의 연속하는 5프레임에 기초하여, 교사 신호 ST에서의 주목 위치에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터가 예측탭의 화소 데이터로서 출력된다. 이와 같이 메모리부(155)로부터 출력되는 예측탭의 화소 데이터는 탭 축적부(156)에 공급되어 축적된다.
클래스 분류부(157)에서는 탭 축적부(156)에 축적된 예측탭의 화소 데이터 xi와, 메모리부(155)로 화소 데이터 xi를 추출하기 위해서 이용된 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 이용하여, 클래스 코드 CL이 생성된다. 이 클래스 코드 CL은 교사 신호 ST에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타낸다.
그리고, 지연 회로(158)로 시간 조정된 교사 신호 ST에서 얻어지는 각 주목 위치의 화소 데이터 y와, 이 각 주목 위치의 화소 데이터 y에 각각 대응하여 탭 축적부(156)에 축적된 예측탭의 화소 데이터 xi와, 각 주목 위치의 화소 데이터 y에 각각 대응하여 클래스 분류부(157)로 생성되는 클래스 코드 CL을 이용하여, 정규 방정식 생성부(159)에서는 클래스별로, 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식(수학식 8 참조)이 생성된다. 이 정규 방정식은 계수 데이터 결정부(160)에서 풀어져 각 클래스의 계수 데이터 Wi가 구해지며, 그 계수 데이터 Wi는 계수 메모리(161)에 저장된다.
이와 같이 도 10에 도시한 계수 데이터 생성 장치(150)에서는 도 1의 화상 신호 처리부(110)의 계수 메모리(125)에 저장되는 각 클래스의 계수 데이터 Wi를 생성할 수 있다.
생도 신호 SS는 교사 신호 ST에 대하여 부호화를 실시하여 MPEG2 스트림을 생성하고, 그 후 이 MPEG2 스트림에 대하여 복호화를 실시하여 얻은 것이다. 따라서, 이 생도 신호 SS는 화상 신호 Va와 마찬가지의 부호화 잡음을 포함한 것으로 된다. 그 때문에, 도 1에 도시한 화상 신호 처리부(110)에서, 화상 신호 Va로부터 이 계수 데이터 Wi를 이용하여 얻어지는 화상 신호 Vb는 화상 신호 Va에 비하여 부호화 잡음이 경감된 것으로 된다.
또한, 도 1의 화상 신호 처리부(110)에 있어서의 처리를, 예를 들면 도 11에 도시한 바와 같은 화상 신호 처리 장치(300)에 의해서, 소프트웨어로 실현할 수도 있다.
우선, 도 11에 도시한 화상 신호 처리 장치(300)에 대하여 설명한다. 이 화상 신호 처리 장치(300)는 장치 전체의 동작을 제어하는 CPU(301)와, 이 CPU(301)의 제어 프로그램이나 계수 데이터 등이 저장된 ROM(Read 0nly Memory)(302)과, CPU(301)의 작업 영역을 구성하는 RAM(Random Access Memory)(303)을 갖고 있다. 이들 CPU(301), ROM(302) 및 RAM(303)은 각각 버스(304)에 접속되어 있다.
또한, 화상 신호 처리 장치(300)는 외부 기억 장치로서의 하드디스크 드라이브(HDD)(305)와, 플로피(등록상표) 디스크(306)를 드라이브하는 드라이브(FDD)(307)를 갖고 있다. 이들 드라이브(305, 307)는 각각 버스(304)에 접속되어 있다.
또한, 화상 신호 처리 장치(300)는 인터넷 등의 통신망(400)에 유선 또는 무선으로 접속하는 통신부(308)를 갖고 있다. 이 통신부(308)는 인터페이스(309)를 통하여 버스(304)에 접속되어 있다.
또한, 화상 신호 처리 장치(300)는 유저 인터페이스부를 구비하고 있다. 이 유저 인터페이스부는 리모콘 송신기(200)로부터의 리모콘 신호 RM을 수신하는 리모콘 신호 수신 회로(310)와, LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이(311)를 갖고 있다. 수신 회로(310)는 인터페이스(312)를 통하여 버스(304)에 접속되고, 마찬가지로 디스플레이(311)는 인터페이스(313)를 통하여 버스(304)에 접속되어 있다.
또한, 화상 신호 처리 장치(300)는 화상 신호 Va를 입력하기 위한 입력 단자(314)와, 화상 신호 Vb를 출력하기 위한 출력 단자(315)를 갖고 있다. 입력 단자(314)는 인터페이스(316)를 통하여 버스(304)에 접속되고, 마찬가지로 출력 단자(315)는 인터페이스(317)를 통하여 버스(304)에 접속된다.
여기서, 상술한 바와 같이 ROM(302)에 제어 프로그램이나 계수 데이터 등을 미리 저장해 두는 대신에, 예를 들면 인터넷 등의 통신망(400)으로부터 통신부(308)를 통하여 다운로드하여, HDD(305)나 RAM(303)에 축적하여 사용할 수도 있다. 또한, 이들 제어 프로그램이나 계수 데이터 등을 플로피(등록상표) 디스크(306)로 제공하도록 해도 된다.
또한, 처리해야 할 화상 신호 Va를 입력 단자(314)로부터 입력하는 대신에, 미리 HDD(305)에 기록해 두고, 또는 인터넷 등의 통신망(400)으로부터 통신부(308)를 통하여 다운로드해도 된다. 또한, 처리 후의 화상 신호 Vb를 출력 단자(315)에 출력하는 대신에, 또는 그와 병행하여 디스플레이(311)에 공급하여 화상 표시를 하거나, 또는 HDD(305)에 저장하거나, 통신부(308)를 통하여 인터넷 등의 통신망(400)에 송출하도록 해도 된다.
도 12의 플로우차트를 참조하여, 도 11에 도시한 화상 신호 처리 장치(300)에 있어서의, 화상 신호 Va로부터 화상 신호 Vb를 얻기 위한 처리 수순을 설명한다.
우선, 단계 ST21에서, 처리를 개시하고, 단계 S22에서, 예를 들면 입력 단자(314)로부터 장치 내에 복수 프레임분의 화상 신호 Va를 입력한다. 이와 같이 입력 단자(314)로부터 입력되는 화상 신호 Va는 RAM(303)에 일시적으로 저장된다. 또한, 이 화상 신호 Va가 장치 내의 HDD(305)에 미리 기록되어 있는 경우에는 이 드라이브(305)로부터 이 화상 신호 Va를 판독하여, 이 화상 신호 Va를 RAM(303)에 일시적으로 저장한다.
다음으로, 단계 ST23에서, 입력된 화상 신호 Va에 기초하여, 이 화상 신호 Va를 구성하는 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV를 검출한다.
다음으로, 단계 ST24에서, 화상 신호 Va의 전체 프레임의 처리가 종료되어 있는지를 판정한다. 처리가 종료되어 있을 때에는 단계 ST25에서, 처리를 종료한다. 한편, 처리가 종료되어 있지 않을 때에는 단계 ST26으로 진행한다.
단계 ST26에서는 화상 신호 Va의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)에 기초하여, 화상 신호 Vb에서의 주목 위치 P(0)에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터를 예측탭의 화소 데이터 xi로서 취득한다. 이 경우, 단계 ST23에서 검출한 움직임 벡터를 이용하여, 프레임 fr(-2), fr(-1), fr(+1), fr(+2)에 관해서는 움직임 보상을 한다.
다음으로, 단계 ST27에서, 단계 ST26에서 취득된 예측탭의 화소 데이터 xi와, 이 화소 데이터 xi를 취득할 때에 사용된 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 이용하여, 화상 신호 Vb에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL을 생성한다.
그리고, 단계 ST28에서, 단계 ST27에서 생성된 클래스 코드 CL에 대응한 계수 데이터 Wi와 단계 ST26에서 취득된 예측탭의 화소 데이터 xi를 사용하여, 수학식 1의 추정식에 기초하여, 화상 신호 Vb에서의 주목 위치의 화소 데이터 y를 생성한다.
다음으로, 단계 ST29에서, 단계 ST22에서 입력된 복수 프레임분의 화상 신호 Va에 대응한 처리가 종료하였는지를 판정한다. 종료했을 때에는 단계 ST22로 되돌아가, 다음의 복수 프레임분의 화상 신호 Va의 입력 처리로 이행한다. 한편, 처리가 종료하지 않았을 때에는 단계 ST26으로 되돌아가, 다음의 주목 위치에 대한 처리로 이행한다.
이와 같이 도 12에 도시한 플로우차트를 따라 처리를 함으로써, 입력된 화상 신호 Va의 화소 데이터를 처리하여, 화상 신호 Vb의 화소 데이터를 얻을 수 있다. 상술한 바와 같이 이와 같이 처리하여 얻어진 화상 신호 Vb는 출력 단자(315)에 출력되거나, 디스플레이(311)에 공급되어 그에 따른 화상이 표시되거나, 또는 HDD(305)에 공급되어 기록되기도 한다.
또한, 처리 장치의 도시는 생략하지만, 도 10의 계수 데이터 생성 장치(150)에 있어서의 처리도, 소프트웨어로 실현 가능하다.
도 13의 플로우차트를 참조하여, 계수 데이터를 생성하기 위한 처리 수순을 설명한다.
우선, 단계 ST31에서, 처리를 개시하고, 단계 ST32에서, 복수 프레임분의 교사 신호 ST를 입력한다. 그리고, 단계 ST33에서, 교사 신호 ST의 전체 프레임의 처리가 종료하였는지를 판정한다. 종료하지 않았을 때에는 단계 ST34에서, 단계 ST32에서 입력된 교사 신호 ST로부터 생도 신호 SS를 생성한다.
다음으로, 단계 ST35에서, 생도 신호 SS에 기초하여, 이 생도 신호 SS를 구성하는 각 화소 데이터에 대응한 움직임 벡터 BWV, FWV를 검출한다. 그리고, 단계 ST36에서, 생도 신호 SS의 연속하는 5프레임 fr(-2), fr(-1), fr(0), fr(+1), fr(+2)에 기초하여, 교사 신호 ST에서의 주목 위치 P(0)에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터를 예측탭의 화소 데이터 xi로서 취득한다. 이 경우, 단계 ST35에서 검출한 움직임 벡터를 이용하여, 프레임 fr(-2), fr(-1), fr(+1), fr(+2)에 관해서는 움직임 보상을 한다.
다음으로, 단계 ST37에서, 단계 ST36에서 취득된 예측탭의 화소 데이터 xi와, 이 화소 데이터 xi를 취득할 때에 사용된 움직임 벡터 BWV(0), BWV(-1), FWV(0), FWV(+1)를 이용하여, 교사 신호 ST에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL을 생성한다.
그리고, 단계 ST38에서, 단계 ST37에서 생성된 클래스 코드 CL, 단계 ST36에서 취득된 예측탭의 화소 데이터 xi 및 교사 신호 ST에서의 주목 위치의 화소 데이터 y를 이용하여, 클래스별로, 수학식 8에 나타내는 정규 방정식을 얻기 위한 가산을 한다(수학식 6, 7 참조).
다음으로, 단계 ST39에서, 단계 ST32에서 입력된 복수 프레임분의 교사 신호 ST에 대응한 학습 처리가 종료하였는지를 판정한다. 학습 처리를 종료했을 때에는 단계 ST32로 되돌아가, 다음의 복수 프레임분의 교사 신호 ST의 입력을 행하고, 상술한 바와 마찬가지의 처리를 반복한다. 한편, 학습 처리를 종료하지 않았을 때에는 단계 ST36으로 되돌아가, 다음의 주목 위치에 대한 처리로 이행한다.
상술한 단계 ST33에서, 처리가 종료했을 때는 단계 ST40에서, 상술한 단계 ST38의 가산 처리에 의해서 생성된, 각 클래스의 정규 방정식을 소인법 등으로 풀어, 각 클래스의 계수 데이터 Wi를 산출한다. 그리고, 단계 ST41에서, 각 클래스의 계수 데이터 Wi를 메모리에 보존하고, 그 후에 단계 ST42에서, 처리를 종료한다.
이와 같이 도 13에 도시한 플로우차트를 따라 처리를 함으로써, 도 10에 도시한 계수 데이터 생성 장치(150)와 마찬가지의 방법에 의해서, 각 클래스의 계수 데이터 Wi를 얻을 수 있다.
또한, 상술한 실시 형태에서는 메모리부(121)를 구성하는 프레임 메모리부(21a∼21f)의 각각은 뱅크 0∼뱅크 3의 4개의 뱅크로 구성된 것이지만, 1개의 프레임 메모리부를 구성하는 뱅크의 개수는 이에 한정되는 것이 아니다. 또한, 상술한 실시 형태에서는 소블록을 8×8개의 화소 데이터로 이루어지는 것으로 했지만, 소블록의 크기는 이에 한정되는 것이 아니다.
예를 들면, 소블록이 8×8개의 화소 데이터로 구성되는 경우이고, 1프레임으로부터 예측탭으로서 추출해야 되는 화소 데이터가 8×8개의 화소 데이터 범위를 초과하는 경우에는 프레임 메모리부를 9개의 뱅크로 구성함으로써, 예측탭으로서 추출해야 되는 화소 데이터를 포함하는 9개의 소블록을 동시에 판독할 수 있다. 이 경우, 프레임은 9개의 소블록이 2차원적으로 배치되어 이루어지는 대블록을 단위로 하여 분할되어, 9개의 뱅크의 각각에는 대블록이 상이한 위치의 소블록이 기억된다.
또한, 상술한 실시 형태에서는 복호화된 화상 신호 Va를 부호화 잡음이 경감된 화상 신호 Vb로 변환하는 화상 신호 처리부(110)에 본 발명을 적용한 것이다. 그러나, 본 발명은 일반적으로, 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에, 제1 화상 신호에 기초하여, 제2 화상 신호에 있어서의 주목 위치에 대하여 공간 방향 및 시간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 이 선택된 복수의 화소 데이터를 이용하여 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성하는 것에, 마찬가지로 적용할 수 있는 것은 물론이다.
본 발명에 따르면, 복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억해 두고, 현재 프레임이 기억되어 있는 프레임 메모리부로부터 제2 화상 신호에 있어서의 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택함과 함께, 현재 프레임의 전후의 프레임이 기억되어 있는 프레임 메모리부로부터, 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고, 이들 선택된 복수의 화소 데이터를 이용하여 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성하는 것이다. 따라서, 본 발명에 따르면, 복수의 프레임 메모리부에 화소 데이터와 함께 기억된 움직임 벡터에 의해 현재 프레임의 전후의 프레임의 움직임 보상을 행하고, 현재 프레임의 전후의 프레임으로부터 선택된 복수의 화소 데이터를 현재 프레임으로부터 선택된 복수의 화소 데이터와의 상관이 높은 것으로 하는 것이고, 제2 화상 신호의 품질의 향상을 용이하게 실현할 수 있다.
또한, 본 발명에 따르면, 프레임 메모리부가 복수의 뱅크를 갖도록 하고, 복수의 뱅크의 각각에는 프레임을 복수의 소블록이 2차원적으로 배치되어 이루어지는 대블록을 단위로 하여 분할했을 때의 대블록이 상이한 위치의 소블록이 기억되는 것이고, 제2 화상 신호에 있어서의 주목 위치의 화소 데이터를 생성할 때에 이용되는 복수의 화소 데이터를 복수의 뱅크로부터 병행하여 판독할 수 있어, 화소 데이터의 생성 속도를 높일 수 있다.
이상과 같이 본 발명에 따른 화상 신호의 처리 장치 등은, 예를 들면 블록 잡음, 모스키토 잡음 등의 부호화 잡음을 포함하는 화상 신호를 그 부호화 잡음이 제거된 화상 신호로 변환하는 용도 등에 적용할 수 있다.

Claims (11)

  1. 복수의 화소 데이터로 이루어지는 제1 화상 신호를, 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 장치로서,
    상기 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 복수의 프레임 메모리부와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 데이터 선택 수단과,
    상기 데이터 선택 수단으로 선택된 복수의 화소 데이터를 이용하여, 상기 제2 화상 신호에서의 주목 위치의 화소 데이터를 생성하는 화소 데이터 생성 수단을 구비하고,
    상기 데이터 선택 수단은,
    상기 제2 화상 신호에 있어서의 주목 위치가 존재하는 프레임과 대응하는 상기 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것을 특징으로 하는 화상 신호 처리 장치.
  2. 제1항에 있어서,
    상기 화소 데이터 생성 수단은,
    상기 제2 화상 신호에 있어서의 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,
    상기 클래스 검출 수단으로 검출된 클래스에 대응한 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,
    상기 계수 데이터 발생 수단으로 발생된 계수 데이터 및 상기 데이터 선택 수단으로 선택된 복수의 화소 데이터를 이용하여, 상기 추정식에 기초하여, 상기 제2 화상 신호에서의 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 갖는 것을 특징으로 하는 화상 신호 처리 장치.
  3. 제2항에 있어서,
    상기 클래스 검출 수단은,
    적어도 상기 데이터 선택 수단으로 선택된 복수의 화소 데이터를 이용하여, 상기 제2 화상 신호에서의 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 것을 특징으로 하는 화상 신호 처리 장치.
  4. 제1항에 있어서,
    상기 프레임 메모리부는 복수의 뱅크를 갖고,
    상기 복수의 뱅크의 각각에는, 프레임을 복수의 소블록이 2차원적으로 배치되어 이루어지는 대블록을 단위로 하여 분할했을 때의 대블록이 상이한 위치의 소블록이 기억되는 것을 특징으로 하는 화상 신호 처리 장치.
  5. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 방법으로서,
    복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와,
    상기 제2 단계에서 선택된 복수의 화소 데이터를 이용하여, 상기 제2 화상 신호에서의 주목 위치의 화소 데이터를 생성하는 제3 단계를 포함하고,
    상기 제2 단계에서는,
    상기 제2 화상 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것을 특징으로 하는 화상 신호 처리 방법.
  6. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하기 위해서,
    복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와,
    상기 제2 단계에서 선택된 복수의 화소 데이터를 이용하여, 상기 제2 화상 신호에서의 주목 위치의 화소 데이터를 생성하는 제3 단계를 포함하고,
    상기 제2 단계에서는,
    상기 제2 화상 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는
    화상 신호 처리 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 매체.
  7. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하기 위해서,
    복수의 프레임 메모리부에, 제1 화상 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와,
    상기 제2 단계에서 선택된 복수의 화소 데이터를 이용하여, 상기 제2 화상 신호에서의 주목 위치의 화소 데이터를 생성하는 제3 단계를 포함하고,
    상기 제2 단계에서는,
    상기 제2 화상 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 제1 화상 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는
    화상 신호 처리 방법을 컴퓨터에 실행시키기 위한 프로그램.
  8. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 생성하는 장치로서,
    상기 제1 화상 신호에 대응하는 생도 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 복수의 프레임 메모리부와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에 대응한 교사 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 데이터 선택 수단과,
    상기 데이터 선택 수단으로 선택된 복수의 화소 데이터 및 상기 교사 신호에서의 주목 위치의 화소 데이터를 이용하여 상기 계수 데이터를 구하는 연산 수단을 구비하고,
    상기 데이터 선택 수단은,
    상기 교사 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것을 특징으로 하는 계수 데이터 생성 장치.
  9. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 생성하는 방법으로서,
    복수의 프레임 메모리부에, 상기 제1 화상 신호에 대응하는 생도 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에 대응한 교사 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와,
    상기 제2 단계에서 선택된 복수의 화소 데이터 및 상기 교사 신호에서의 주목 위치의 화소 데이터를 이용하여 상기 계수 데이터를 구하는 제3 단계를 포함하고,
    상기 제2 단계에서는,
    상기 교사 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 것을 특징으로 하는 계수 데이터 생성 방법.
  10. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 생성하기 위해서,
    복수의 프레임 메모리부에, 상기 제1 화상 신호에 대응하는 생도 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에 대응한 교사 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와,
    상기 제2 단계에서 선택된 복수의 화소 데이터 및 상기 교사 신호에서의 주목 위치의 화소 데이터를 이용하여 상기 계수 데이터를 구하는 제3 단계를 포함하고,
    상기 제2 단계에서는,
    상기 교사 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는
    계수 데이터 생성 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 매체.
  11. 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 생성하기 위해서,
    복수의 프레임 메모리부에, 상기 제1 화상 신호에 대응하는 생도 신호의 연속하는 복수의 프레임의 화소 데이터를, 상기 화소 데이터에 대응한 인접 프레임과의 사이의 움직임 벡터와 함께 기억하는 제1 단계와,
    상기 복수의 프레임 메모리부에 기억되어 있는 복수의 프레임에 기초하여, 상기 제2 화상 신호에 대응한 교사 신호에서의 주목 위치에 대하여 시간 방향 및 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는 제2 단계와,
    상기 제2 단계에서 선택된 복수의 화소 데이터 및 상기 교사 신호에서의 주목 위치의 화소 데이터를 이용하여 상기 계수 데이터를 구하는 제3 단계를 포함하고,
    상기 제2 단계에서는,
    상기 교사 신호에서의 주목 위치가 존재하는 프레임과 대응하는 상기 생도 신호의 현재 프레임이 기억되어 있는 프레임 메모리부로부터 상기 주목 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하고,
    상기 현재 프레임의 전 및 후의 프레임이 기억되어 있는 프레임 메모리부로부터, 상기 복수의 프레임 메모리부에 화소 데이터와 함께 기억되어 있는 움직임 벡터에 의해 상기 주목 위치가 움직임 보상되어 얻어진 위치에 대하여 공간 방향의 주변에 위치하는 복수의 화소 데이터를 선택하는
    계수 데이터 생성 방법을 컴퓨터에 실행시키기 위한 프로그램.
KR20057009033A 2002-11-20 2003-11-11 화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수 데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 매체 KR101031740B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002337196A JP4462823B2 (ja) 2002-11-20 2002-11-20 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JPJP-P-2002-00337196 2002-11-20

Publications (2)

Publication Number Publication Date
KR20050083896A true KR20050083896A (ko) 2005-08-26
KR101031740B1 KR101031740B1 (ko) 2011-04-29

Family

ID=32321834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057009033A KR101031740B1 (ko) 2002-11-20 2003-11-11 화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수 데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 매체

Country Status (4)

Country Link
US (1) US7729558B2 (ko)
JP (1) JP4462823B2 (ko)
KR (1) KR101031740B1 (ko)
WO (1) WO2004047454A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4462823B2 (ja) * 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3832431B2 (ja) * 2002-12-25 2006-10-11 ソニー株式会社 画像処理装置
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
KR100813258B1 (ko) 2005-07-12 2008-03-13 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
KR101045205B1 (ko) * 2005-07-12 2011-06-30 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
US20070052640A1 (en) * 2005-09-08 2007-03-08 Bernard Feldman Field sequential LCD display system
US7885335B2 (en) 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US8107748B2 (en) 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7620108B2 (en) 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US7894527B2 (en) 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8059719B2 (en) 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US7894522B2 (en) 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US8165205B2 (en) 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US7957466B2 (en) 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US8005308B2 (en) 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
JP4190551B2 (ja) * 2006-07-18 2008-12-03 三菱電機株式会社 画像処理装置、画像処理方法、画像符号化装置、および画像符号化方法
TWI347130B (en) * 2006-08-29 2011-08-11 Realtek Semiconductor Corp Method and apparatus for de-interlacing video data through utilizing horizontal motion estimation and horizontal motion compensation
TWI463874B (zh) * 2008-01-02 2014-12-01 Mstar Semiconductor Inc 產生目標影像區塊的影像處理方法及其相關裝置
KR101987079B1 (ko) * 2017-12-28 2019-06-10 주식회사 홈초이스 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2259212B (en) * 1991-08-27 1995-03-29 Sony Broadcast & Communication Standards conversion of digital video signals
US5198901A (en) * 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
JP3271096B2 (ja) 1993-07-27 2002-04-02 ソニー株式会社 ディジタル画像信号処理装置
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
JP3627291B2 (ja) 1995-05-25 2005-03-09 ソニー株式会社 ブロック歪み除去装置および方法
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
JP3861325B2 (ja) * 1996-05-16 2006-12-20 ソニー株式会社 動きベクトル検出装置および検出方法
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
CN1123891C (zh) * 1998-02-16 2003-10-08 索尼公司 存储装置和方法
JP4250806B2 (ja) 1999-05-07 2009-04-08 ソニー株式会社 フィールド周波数変換装置および変換方法
US6351494B1 (en) * 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
JP4552262B2 (ja) 2000-04-03 2010-09-29 ソニー株式会社 ノイズ低減装置および方法
JP4552264B2 (ja) 2000-04-03 2010-09-29 ソニー株式会社 エラー修整装置および方法
JP4552261B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP4517448B2 (ja) 2000-05-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
CN1169303C (zh) 2000-05-09 2004-09-29 索尼公司 数据处理装置和方法以及记录介质
JP4538698B2 (ja) 2000-05-09 2010-09-08 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4752088B2 (ja) 2000-05-09 2011-08-17 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP2001345707A (ja) 2000-06-01 2001-12-14 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP4407015B2 (ja) 2000-06-15 2010-02-03 ソニー株式会社 ノイズ除去装置およびノイズ除去方法
KR100816593B1 (ko) 2000-06-15 2008-03-24 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP4419287B2 (ja) 2000-06-27 2010-02-24 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
WO2002013512A1 (fr) * 2000-08-07 2002-02-14 Sony Corporation Procede et dispositif de traitement d'image et support enregistre
US7082220B2 (en) * 2001-01-25 2006-07-25 Sony Corporation Data processing apparatus
JP4507046B2 (ja) 2001-01-25 2010-07-21 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP4078906B2 (ja) * 2002-07-19 2008-04-23 ソニー株式会社 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP4462823B2 (ja) * 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US7627198B2 (en) * 2003-05-29 2009-12-01 Sony Corporation Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7848427B2 (en) * 2004-04-09 2010-12-07 Sony Corporation Apparatus and method for determining motion vector with effective pixel gradient
US8331710B2 (en) * 2007-11-06 2012-12-11 Sony Corporation Image processing apparatus and method, learning apparatus and method, and program

Also Published As

Publication number Publication date
KR101031740B1 (ko) 2011-04-29
JP2004173011A (ja) 2004-06-17
JP4462823B2 (ja) 2010-05-12
US7729558B2 (en) 2010-06-01
WO2004047454A1 (ja) 2004-06-03
US20060110051A1 (en) 2006-05-25

Similar Documents

Publication Publication Date Title
KR101031740B1 (ko) 화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수 데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 매체
JP5269593B2 (ja) 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム
JP4847076B2 (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
KR20020030078A (ko) 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체
US5867219A (en) Image processing device using high frequency component suppression
JPH11187407A (ja) 画像符号化装置および画像符号化方法、提供媒体、画像復号装置および画像復号方法、並びに学習装置および学習方法
US7336832B2 (en) Processor and processing method for an image signal, image display apparatus, generation apparatus and generation method for coefficient data used therein, program for executing each of these methods, and computer-readable medium recording the program
JP2013026952A (ja) 画像処理方法、エンコード装置、デコード装置および画像処理装置
US7991054B2 (en) Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program
JP3747970B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JPH08322041A (ja) ブロック歪み除去装置
JP4158479B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4265291B2 (ja) 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4277793B2 (ja) 画像処理装置、符号化装置およびそれらの方法
JP4206730B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JPH07336684A (ja) 画像信号復号化装置
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2001285882A (ja) ノイズ低減装置および方法
JP4158474B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4158476B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US20070274397A1 (en) Algorithm for Reducing Artifacts in Decoded Video
JP3991800B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP3175906B2 (ja) 画像符号化・復号方法
JPH10145797A (ja) 画像符号化方法および装置
JP2004173013A (ja) 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee