KR20110095320A - 동화상 부호화 장치 및 동화상 복호 장치 - Google Patents

동화상 부호화 장치 및 동화상 복호 장치 Download PDF

Info

Publication number
KR20110095320A
KR20110095320A KR1020117013449A KR20117013449A KR20110095320A KR 20110095320 A KR20110095320 A KR 20110095320A KR 1020117013449 A KR1020117013449 A KR 1020117013449A KR 20117013449 A KR20117013449 A KR 20117013449A KR 20110095320 A KR20110095320 A KR 20110095320A
Authority
KR
South Korea
Prior art keywords
image
separated
predictive
prediction
unit
Prior art date
Application number
KR1020117013449A
Other languages
English (en)
Inventor
요시미 모리야
요시히사 야마다
šœ이치 세키구치
요시아키 가토
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20110095320A publication Critical patent/KR20110095320A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

입력 화상을 구성하는 화소를 수평 방향으로 2 화소 걸러서, 수직 방향으로 1 화소 걸러서 샘플링하여, 4개의 분리 화상 (1) ~ (4)를 생성하는 화상 분리부(1)를 설치하고, 프레임내 예측 부호화 수단이 화상 분리부(1)에 의해 생성된 분리 화상(1)을 구성하는 화소를 이용하여, 분리 화상(1)을 프레임내에서 예측 부호화하고, 분리 화상간 예측 부호화부(12)가 화상 분리부(1)에 의해 생성된 분리 화상(1)을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2)~(4)를 분리 화상 사이에서 예측 부호화한다.

Description

동화상 부호화 장치 및 동화상 복호 장치{MOVING IMAGE ENCODING APPARATUS AND MOVING IMAGE DECODING APPARATUS}
본 발명은, 화상을 복수로 분리하여 부호화하는 동화상 부호화 장치와, 복수로 분리하여 부호화되어 있는 화상을 복호하는 동화상 복호 장치에 관한 것이다.
이하의 비특허문헌 1에 개시되어 있는 「MPEG-4 AVC/H.264(이하, 「AVC」라 한다) 등의 국제 표준 영상 부호화 방식에서는, 화상을 N×N 화소 사이즈의 블록으로 분할하고, 블록 단위로 프레임내/프레임간 예측을 실시하는 것으로 얻어지는 N×N 화소 사이즈의 예측 차분 신호에 대하여, DCT(Discrete Cosine Transform) 등의 직교 변환, 양자화 및 엔트로피 부호화가 행하여진다.
AVC에서는, 프레임내에서 예측 부호화를 행할 때, 부호화 완료의 인접 블록의 화소를 이용하여 예측을 행하는 것으로 차분 신호를 취득한다. 예측의 모드로서, 평균값 예측과 8개의 예측 방향으로부터 예측하는 총 9개의 모드가 마련되어 있다.
현행의 HDTV(High Definition TV)에서 다루어지는 해상도(1920×1080)를 넘는 고해상도의 동화상을 종래의 부호화 방식으로 부호화하는 경우, 연산 처리의 증대에 따른 회로 규모의 증대를 억제하기 위해서, 화면을 분할하여 병렬적으로 부호화하는 방식이 채용되어 있다(예컨대, 특허문헌 1을 참조).
예컨대, 4096×2160 화소의 동화상을 부호화하는 경우, 1 화면을 4개로 분할하여 얻어지는 2048×1080 화소의 분할 화면 단위로 부호화를 행한다.
이때, 분할 화면간에, 부호량의 배분을 서로 연결시키지 않고 부호화하면, 각 분할 화면의 화질에 차이가 생기기 때문에, 분할 화면을 합성하여 1 화면으로 하면, 경계 부분에 부자연스러운 화질 열화를 초래하게 된다.
이러한 화질 열화를 방지하기 위해서, 이하의 특허문헌 2에서는, 부호화의 후처리로서, 분할 화면마다 발생 부호량과 변형 특성을 산출하여, 그 발생 부호량과 변형 특성을 기억하는 수단을 설치하고, 후속의 화면을 부호화할 때, 직전의 분할 화면의 부호량-변형 특성을 참조하여, 후속의 분할 화면의 부호량을 추측하는 것으로, 부호량의 배분을 결정하도록 하고 있다.
HDTV를 넘는 해상도의 동화상을 부호화하는 별도의 방식으로서, 특허문헌 2에서는, N×N 화소 사이즈의 블록 단위로 원화상을 1 화소마다 교대로 분리하여, 2개의 분리 화상을 생성하여, 한쪽의 분리 화상으로부터 다른 쪽의 분리 화상을 예측하여, 차분 신호를 가변 길이 부호화하도록 하고 있다.
일본 공개 특허 공보 제 2006-352636 호 일본 공개 특허 공보 제 2008-125002 호
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
종래의 동화상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 특허문헌 1에서는, 장면 체이징(scene changing)이 있는 경우, 과거의 화면의 부호량-변형 특성을 이용할 수 없다. 이 때문에, 부호량을 단순히 균등 분할하도록 하고 있고, 장면 체이징 후의 화면의 화질이 저하되어 버리는 과제가 있었다. 또한, 분할 화면마다, 부호화의 후처리로서, 부호량-변형 특성을 산출해야 하기 때문에, 후처리의 연산 처리가 많아지는 과제도 있었다.
특허문헌 2에서는, N×N 화소 사이즈의 블록 단위로 분리 화상을 생성하기 때문에, 병렬로 처리하기 어렵고, 회로 규모가 증대하여 버리는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 화질 열화와 회로 규모의 증대를 억제하여 높은 부호화 효율을 실현할 수 있는 동화상 부호화 장치를 얻는 것을 목적으로 한다.
또한, 본 발명은, 높은 부호화 효율로 부호화된 화상을 정확히 복호하여, 원래의 고해상도의 화상을 표시할 수 있는 동화상 복호 장치를 얻는 것을 목적으로 한다.
본 발명에 따른 동화상 부호화 장치는, 입력 화상을 구성하는 화소를 소정수 걸러서 샘플링하여, 제 1 분리 화상을 생성함과 아울러, 상기 화소와 다른 화소를 소정수 걸러서 샘플링하여, 적어도 1 이상의 제 2 분리 화상을 생성하는 분리 화상 생성 수단을 설치하고, 프레임내 예측 부호화 수단이 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 구성하는 화소를 이용하여, 제 1 분리 화상을 프레임내에서 예측 부호화하고, 분리 화상간 예측 부호화 수단이 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 구성하는 화소를 이용하여, 분리 화상 생성 수단에 의해 생성된 제 2 분리 화상을 분리 화상 사이에서 예측 부호화하도록 한 것이다.
본 발명에 따르면, 입력 화상을 구성하는 화소를 소정수 걸러서 샘플링하여, 제 1 분리 화상을 생성함과 아울러, 상기 화소와 다른 화소를 소정수 걸러서 샘플링하여, 적어도 1 이상의 제 2 분리 화상을 생성하는 분리 화상 생성 수단을 설치하고, 프레임내 예측 부호화 수단이 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 구성하는 화소를 이용하여, 제 1 분리 화상을 프레임내에서 예측 부호화하고, 분리 화상간 예측 부호화 수단이 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 구성하는 화소를 이용하여, 분리 화상 생성 수단에 의해 생성된 제 2 분리 화상을 분리 화상 간에 예측 부호화하도록 구성했기 때문에, 화질 열화와 회로 규모의 증대를 억제하여 높은 부호화 효율을 실현할 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 분리 화상간 예측 부호화부(12)를 나타내는 구성도이다.
도 3은 입력 화상과 분리 화상(1)~(4)의 일례를 나타내는 설명도이다.
도 4는 분리전의 분리 화상(1) 및 분리 화상(2)의 화소 위치와 부호화 단위의 블록의 관계를 나타내는 설명도이다.
도 5는 분리후의 분리 화상(1)과 분리 화상(2)의 블록의 관계를 나타내는 설명도이다.
도 6은 예측 모드 0과 예측 모드 1의 경우의 예측 화상의 생성예를 나타내는 설명도이다.
도 7은 45도가 아닌 각도의 기울기 방향에 오브젝트의 경계가 있는 경우를 나타내는 설명도이다.
도 8은 예측 모드 3의 경우의 예측 화상의 생성예를 나타내는 설명도이다.
도 9는 예측이나 직교 변환의 최소 단위인 블록, 매크로 블록 및 슬라이스의 관계를 나타내는 설명도이다.
도 10은 본 발명의 실시의 형태 2에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 11은 본 발명의 실시의 형태 2에 따른 동화상 복호 장치의 분리 화상간 예측 복호부(39)를 나타내는 구성도이다.
이하, 본 발명을 더 구체적으로 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여 첨부의 도면에 따라서 설명한다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 1에서, 화상 분리부(1)는 입력 화상을 구성하는 화소를 소정수 걸러서 샘플링하여, 분리 화상(1)(제 1 분리 화상)을 생성함과 아울러, 상기 화소와 다른 화소를 소정수 걸러서 샘플링하여, 분리 화상(2)~(4)(제 2 분리 화상)을 생성하는 처리를 실시한다. 한편, 화상 분리부(1)는 분리 화상 생성 수단을 구성하고 있다.
인트라 예측부(2)는 화상 분리부(1)에 의해 생성된 분리 화상(1)을 소정 사이즈의 블록 단위로 인트라 예측(프레임내 예측)을 실시하여, 그 분리 화상(1)의 예측 화상을 생성하고, 그 분리 화상(1)과 예측 화상의 차분 화상을 나타내는 인트라 차분 신호를 엔트로피 부호화 처리부(3)에 출력하는 처리를 실시한다. 한편, 인트라 예측부(2)는 제 1 차분 화상 출력 처리부를 구성하고 있다.
엔트로피 부호화 처리부(3)는 인트라 예측부(2)로부터 출력된 인트라 차분 신호를 블록 단위로 직교 변환하고, 그 직교 변환의 결과로서 얻어지는 직교 변환 계수를 엔트로피 부호화하는 처리를 실시한다. 한편, 엔트로피 부호화 처리부(3)는 제 1 엔트로피 부호화 처리부를 구성하고 있다.
엔트로피 부호화 처리부(3)의 직교 변환부(4)는 인트라 예측부(2)로부터 출력된 인트라 차분 신호를 블록 단위로 직교 변환하고, 그 직교 변환 계수를 양자화부(5)에 출력하는 처리를 실시한다.
엔트로피 부호화 처리부(3)의 양자화부(5)는 직교 변환부(4)로부터 출력된 직교 변환 계수를 양자화하고, 그 양자화 계수를 엔트로피 부호화부(6) 및 국소 복호 화상 생성 처리부(7)에 출력하는 처리를 실시한다.
엔트로피 부호화 처리부(3)의 엔트로피 부호화부(6)는 양자화부(5)로부터 출력된 양자화 계수를 엔트로피 부호화하는 처리를 실시한다.
국소 복호 화상 생성 처리부(7)는 양자화부(5)로부터 출력된 양자화 계수를 역양자화하여, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환하고, 그 역직교 변환의 결과로서 얻어지는 복호 예측 차분 신호와 인트라 예측부(2)에 의해 생성된 예측 화상을 가산하여, 분리 화상(1)의 국소 복호 화상을 생성하는 처리를 실시한다.
국소 복호 화상 생성 처리부(7)의 역양자화부(8)는 양자화부(5)로부터 출력된 양자화 계수를 역양자화하고, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환부(9)에 출력하는 처리를 실시한다.
국소 복호 화상 생성 처리부(7)의 역직교 변환부(9)는 역양자화부(8)로부터 출력된 직교 변환 계수를 역직교 변환하여, 그 역직교 변환의 결과로서 얻어지는 복호 예측 차분 신호를 가산부(10)에 출력하는 처리를 실시한다.
국소 복호 화상 생성 처리부(7)의 가산부(10)는 역직교 변환부(9)로부터 출력된 복호 예측 차분 신호와 인트라 예측부(2)에 의해 생성된 예측 화상을 가산하여, 그 가산 결과인 분리 화상(1)의 국소 복호 화상을 출력하는 처리를 실시한다.
한편, 인트라 예측부(2), 엔트로피 부호화 처리부(3) 및 국소 복호 화상 생성 처리부(7)로부터 프레임내 예측 부호화 수단이 구성되어 있다.
프레임 메모리(11)는 국소 복호 화상 생성 처리부(7)에 의해 생성된 분리 화상(1)의 국소 복호 화상을 저장하는 메모리이다.
분리 화상간 예측 부호화부(12)는 프레임 메모리(11)에 저장되어 있는 분리 화상(1)의 국소 복호 화상을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2)~(4)을 분리 화상 사이에서 예측 부호화하는 처리를 실시한다. 한편, 분리 화상간 예측 부호화부(12)는 분리 화상간 예측 부호화 수단을 구성하고 있다.
다중화부(13)는 엔트로피 부호화 처리부(3)로부터 출력된 분리 화상(1)의 부호화 데이터와 분리 화상간 예측 부호화부(12)로부터 출력된 분리 화상(2)~(4)의 부호화 데이터를 다중화하여 비트 스트림을 생성하는 처리를 실시한다. 한편, 다중화부(13)는 다중화 수단을 구성하고 있다.
도 2는 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 분리 화상간 예측 부호화부(12)를 나타내는 구성도이다.
도 2에서, 차분 화상 출력 처리부(20)는 프레임 메모리(11)에 저장되어 있는 분리 화상(1)의 국소 복호 화상을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2)~(4)의 예측 화상을 생성하고, 그 예측 화상과 분리 화상(2)~(4)의 차분 화상을 나타내는 예측 차분 신호를 엔트로피 부호화 처리부(23)에 출력하는 처리를 실시한다. 한편, 차분 화상 출력 처리부(20)는 제 2 차분 화상 출력 처리부를 구성하고 있다.
차분 화상 출력 처리부(20)의 예측 화상 생성부(21)는 프레임 메모리(11)에 저장되어 있는 분리 화상(1)의 국소 복호 화상을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2)~(4)의 예측 화상을 생성하는 처리를 실시한다.
즉, 예측 화상 생성부(21)는 복수의 예측 모드 중에서, 화상 분리부(1)에 의해 생성된 분리 화상(1)과 분리 화상(2)~(4) 간의 화소 위치의 어긋남의 보정에 적합한 예측 모드를 선택하여, 그 예측 모드에서 분리 화상(2)~(4)의 예측 화상을 생성하는 처리를 실시한다.
차분 화상 출력 처리부(20)의 감산부(22)는 화상 분리부(1)에 의해 생성된 분리 화상(2)~(4)과 예측 화상 생성부(21)에 의해 생성된 예측 화상의 차분 화상을 구하고, 그 차분 화상을 나타내는 예측 차분 신호를 엔트로피 부호화 처리부(23)에 출력하는 처리를 실시한다.
엔트로피 부호화 처리부(23)는 차분 화상 출력 처리부(20)로부터 출력된 예측 차분 신호를 블록 단위로 직교 변환하고, 그 직교 변환의 결과로서 얻어지는 직교 변환 계수를 엔트로피 부호화하는 처리를 실시한다. 한편, 엔트로피 부호화 처리부(23)는 제 2 엔트로피 부호화 처리부를 구성하고 있다.
엔트로피 부호화 처리부(23)의 직교 변환부(24)는 차분 화상 출력 처리부(20)로부터 출력된 예측 차분 신호를 블록 단위로 직교 변환하고, 그 직교 변환 계수를 양자화부(25)에 출력하는 처리를 실시한다.
엔트로피 부호화 처리부(23)의 양자화부(25)는 직교 변환부(24)로부터 출력된 직교 변환 계수를 양자화하고, 그 양자화 계수를 엔트로피 부호화부(26)에 출력하는 처리를 실시한다.
엔트로피 부호화 처리부(23)의 엔트로피 부호화부(26)는 양자화부(25)로부터 출력된 양자화 계수와 예측 화상 생성부(21)에 의해 선택된 예측 모드를 엔트로피 부호화하는 처리를 실시한다.
다음으로 동작에 대하여 설명한다.
본 실시의 형태 1에서는, 화상 분리부(1)가 도 3에 나타내는 바와 같은 3840×2160 화소의 동화상을 입력하여, 그 동화상을 부호화하는 예를 설명한다.
화상 분리부(1)는, 동화상을 입력하면, 동화상을 구성하는 화소를 소정수 걸러서 샘플링하여, 분리 화상(1)을 생성함과 아울러, 상기 화소와 다른 화소를 소정수 걸러서 샘플링하여, 분리 화상(2)~(4)을 생성한다.
도 2에서는, 수평 방향으로 2 화소 걸러, 수직 방향으로 1 화소 걸러서 샘플링하여, 4개의 1920×1080 화소 사이즈의 분리 화상(1) (2) (3) (4)을 생성하고 있는 예를 나타내고 있다.
한편, 분리 화상(1)은 소정 사이즈의 블록 단위로 인트라 예측부(2)에 입력되고, 분리 화상(2)~(4)은 소정 사이즈의 블록 단위로 분리 화상간 예측 부호화부(12)에 입력된다.
인트라 예측부(2)는, 화상 분리부(1)로부터 분리 화상(1)을 받으면, 그 분리 화상(1)을 블록 단위로 인트라 예측을 실시하여, 분리 화상(1)의 예측 화상을 생성한다.
예컨대, AVC와 마찬가지로, 평균값 예측과 8개의 예측 방향으로부터 예측하는 총 9개의 예측 모드 중에서 어느 하나의 예측 모드를 선택하고, 그 선택한 예측 모드에 근거하여, 프레임 메모리(11)에 저장되어 있는 근방 블록의 국소 복호 화상의 화소값을 이용하여 예측 화상을 생성한다.
인트라 예측부(2)는, 분리 화상(1)의 예측 화상을 생성하면, 그 예측 화상과 분리 화상(1)의 차분 화상을 나타내는 인트라 차분 신호를 엔트로피 부호화 처리부(3)에 출력한다.
엔트로피 부호화 처리부(3)의 직교 변환부(4)는, 인트라 예측부(2)로부터 인트라 차분 신호를 받으면, 예컨대, 그 인트라 차분 신호에 대하여, DCT나 아다마르(hadamard) 변환 등의 직교 변환을 실시하여, 그 직교 변환 계수를 양자화부(5)에 출력한다.
엔트로피 부호화 처리부(3)의 양자화부(5)는, 직교 변환부(4)로부터 직교 변환 계수를 받으면, 분리 화상(1)에 대한 부호량 배분에 근거하여 결정되는 양자화 파라미터를 이용하여, 그 직교 변환 계수를 양자화하고, 그 양자화 계수를 엔트로피 부호화부(6) 및 국소 복호 화상 생성 처리부(7)에 출력한다.
도 3과 같이 동화상이 분리되는 경우, 인접 화소가 분리되어 있기 때문에, 분리 화상간의 상관이 매우 높아진다. 후술하는 바와 같이, 분리 화상간 예측 부호화부(12)가 분리 화상(1)을 이용하여, 분리 화상(2)~(4)을 부호화하는 경우, 차분 신호에 대한 부호량 할당을 적게 할 수 있다.
따라서, 분리 화상(1)의 부호량 할당이 커지도록, 양자화 파라미터를 설정한다.
엔트로피 부호화 처리부(3)의 엔트로피 부호화부(6)는, 양자화부(5)로부터 2차원의 양자화 계수를 입력하면, 소정의 순서로 스캔하여, 1차원의 양자화 계수열로 변환하고, 그 양자화 계수열을 산술 부호화 또는 가변 길이 부호화 등의 엔트로피 부호화를 행한다.
한편, 엔트로피 부호화부(6)의 부호화 결과인 분리 화상(1)의 부호화 데이터는 다중화부(13)에 입력된다.
국소 복호 화상 생성 처리부(7)의 역양자화부(8)는, 양자화부(5)로부터 양자화 계수를 받으면, 그 양자화 계수를 역양자화하고, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환부(9)에 출력한다.
국소 복호 화상 생성 처리부(7)의 역직교 변환부(9)는, 역양자화부(8)로부터 직교 변환 계수를 받으면, 그 직교 변환 계수를 역직교 변환하고, 그 역직교 변환의 결과로서 얻어지는 복호 예측 차분 신호를 가산부(10)에 출력한다.
국소 복호 화상 생성 처리부(7)의 가산부(10)는, 역직교 변환부(9)로부터 복호 예측 차분 신호를 받으면, 그 복호 예측 차분 신호와 인트라 예측부(2)에 의해 생성된 예측 화상을 가산하고, 그 가산 결과인 분리 화상(1)의 국소 복호 화상을 출력한다.
한편, 분리 화상(1)의 국소 복호 화상은 프레임 메모리(11)에 저장된다.
분리 화상간 예측 부호화부(12)는, 프레임 메모리(11)에 저장되어 있는 분리 화상(1)의 국소 복호 화상을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2)~(4)을 분리 화상 사이에서 예측 부호화한다.
이하, 분리 화상간 예측 부호화부(12)의 처리 내용을 구체적으로 설명한다. 여기서는, 분리 화상(2)이 부호화되는 예를 설명한다.
차분 화상 출력 처리부(20)의 예측 화상 생성부(21)는, 프레임 메모리(11)에 저장되어 있는 분리 화상(1)의 국소 복호 화상을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2)의 예측 화상을 생성하는 처리를 실시한다.
즉, 예측 화상 생성부(21)는, 복수의 예측 모드 중에서, 화상 분리부(1)에 의해 생성된 분리 화상(1)과 분리 화상(2) 간의 화소 위치의 어긋남의 보정에 적합한 예측 모드를 선택하여, 그 예측 모드로 분리 화상(2)의 예측 화상을 생성한다.
여기서, 분리 화상(1)과 분리 화상(2)이 4×4 화소 사이즈의 블록 단위로 부호화되는 경우를 예로 하여, 예측 화상 생성부(21)의 처리 내용을 구체적으로 설명한다.
도 4는 분리전의 분리 화상(1) 및 분리 화상(2)의 화소 위치와 부호화 단위의 블록의 관계를 나타내는 설명도이다.
도 4에서는, 분리 화상(1)의 화소를 1로 나타내고, 분리 화상(2)의 화소를 2로 나타내고 있다. 또한, 분리 화상(1)의 4×4 화소 사이즈의 블록을 실선의 직사각형으로 나타내고, 분리 화상(2)의 4×4 화소 사이즈의 블록을 점선의 직사각형으로 나타내고 있다.
도 4의 예에서는, 분리 화상(1)의 블록과 분리 화상(2)의 블록의 위치가 2 화소만큼 수평 방향으로 어긋나고 있다.
도 5는 분리후의 분리 화상(1)과 분리 화상(2)의 블록의 관계를 나타내는 설명도이다.
오브젝트의 경계가 도 4에 나타내는 위치에 있는 경우, 분리후의 분리 화상(1) 및 분리 화상(2)에 있어서, 오브젝트 경계의 위치는 도 5과 같이 된다.
분리 화상(2)의 블록 A2를 분리 화상(1)을 구성하는 화소를 이용하여 예측하는 경우, 분리 화상(1)의 블록 A1의 위치로부터 2 화소 우측 방향으로 어긋난 위치로부터 예측 화상을 생성한다.
마찬가지로, 경계의 위치에 따라, 분리 화상(1)과 분리 화상(2)의 위상의 어긋남을 보정하기 위해서, 예측 모드로서, 이하의 4 종류의 모드를 마련하고 있다.
Figure pct00001
4 종류의 예측 모드 중, 예측 모드 2는, 도 5에 나타낸 바와 같이, 수평 우측 방향으로 2 화소 어긋난 위치로부터 예측 화상을 생성하는 모드이다.
도 6은 예측 모드 0과 예측 모드 1의 경우의 예측 화상의 생성예를 나타내는 설명도이다.
예측 모드 0은 바로 뒤쪽 모드이며, 분리 화상(1)의 블록 A1가 분리 화상(2)의 블록 A2의 예측 화상이 된다.
예측 모드 1은 분리 화상(1)의 블록 A1의 위치로부터 1 화소 우측 방향으로 어긋난 위치로부터 예측 화상을 생성하는 모드이다.
도 7은 45도가 아닌 각도의 기울기 방향으로 오브젝트의 경계가 있는 경우를 나타내는 설명도이며, 도 8은 예측 모드 3의 경우의 예측 화상의 생성예를 나타내는 설명도이다.
예측 모드 3은, 도 7에 나타낸 바와 같이, 45도가 아닌 각도의 기울기 방향으로 오브젝트의 경계가 있는 경우에 유효한 예측 화상의 생성 방법이다.
분리 화상(1)의 블록 A1과 분리 화상(2)의 블록 A2의 오브젝트 경계는 도 8에 나타내는 바와 같다.
예측 모드 3의 예측 화상은, 예측 모드 0, 예측 모드 1, 예측 모드 2의 예측 화상의 평균 화상으로 되는 것이다.
4 종류의 예측 모드 중에서 최적의 예측 모드를 선택하는 방법으로서는, 예컨대, 4 종류의 예측 모드로 생성되는 예측 화상과 분리 화상(1)의 블록 A2의 오차신호의 평균 제곱 합(MSE)을 전부 구하여, MSE가 최소로 되는 예측 모드를 선택하는 방법 등을 이용할 수 있다.
한편, 예측 화상 생성부(21)에 의해 선택된 예측 모드는, 비트 스트림에 다중화하기 위해서, 엔트로피 부호화부(26)에 입력되고, 예측 화상 생성부(21)에 의해 생성된 예측 화상은 감산부(22)에 입력된다.
차분 화상 출력 처리부(20)의 감산부(22)는, 예측 화상 생성부(21)가 예측 화상을 생성하면, 그 예측 화상과 화상 분리부(1)에 의해 생성된 분리 화상(2)의 차분 화상을 구하고, 그 차분 화상을 나타내는 예측 차분 신호를 엔트로피 부호화 처리부(23)에 출력한다.
엔트로피 부호화 처리부(23)의 직교 변환부(24)는, 차분 화상 출력 처리부(20)로부터 예측 차분 신호를 받으면, 예컨대, 그 예측 차분 신호에 대하여, DCT나 아다마르 변환 등의 직교 변환을 실시하여, 그 직교 변환 계수를 양자화부(25)에 출력한다.
엔트로피 부호화 처리부(23)의 양자화부(25)는, 직교 변환부(24)로부터 직교 변환 계수를 받으면, 분리 화상(2)에 대한 부호량 배분에 근거하여 결정되는 양자화 파라미터를 이용하여, 그 직교 변환 계수를 양자화하고, 그 양자화 계수를 엔트로피 부호화부(26)에 출력한다.
엔트로피 부호화 처리부(23)의 엔트로피 부호화부(26)는, 양자화부(25)로부터 2차원의 양자화 계수를 입력하면, 소정의 순서로 스캔하여, 1차원의 양자화 계수열로 변환하고, 그 양자화 계수열을 산술 부호화 또는 가변 길이 부호화 등의 엔트로피 부호화를 행한다.
또한, 엔트로피 부호화부(26)는, 예측 화상 생성부(21)로부터 예측 모드를 받으면, 그 예측 모드를 산술 부호화 또는 가변 길이 부호화 등의 엔트로피 부호화를 행한다.
한편, 엔트로피 부호화부(26)의 부호화 결과인 분리 화상(2)의 부호화 데이터(예측 모드의 부호화 데이터를 포함함)는 다중화부(13)에 입력된다.
분리 화상(3)(4)에 대해서도, 분리 화상(2)과 마찬가지의 순서로, 분리 화상(1)의 국소 복호 화상을 이용하여 부호화되지만, 분리 화상(3)(4)은, 도 3에 나타낸 바와 같이, 분리 화상(1)과 위상이 어긋나는 방향이 각각 다르다.
따라서, 예측 모드가 분리 화상(2)과 다르기 때문에, 이하에 설명한다.
분리 화상(1)의 블록과 분리 화상(3)의 블록의 위치는, 수직 방향으로 1 화소만큼 어긋나 있다. 분리 화상(1)과 분리 화상(3)의 위상의 어긋남을 보정하기 위해서, 예측 모드로서, 이하의 3종류를 마련한다.
Figure pct00002
분리 화상(1)의 블록과 분리 화상(4)의 블록의 위치는, 수평 방향으로 2 화소, 수직 방향으로 1 화소 어긋나 있다. 분리 화상(1)과 분리 화상(4)의 위상의 어긋남을 보정하기 위해서, 예측 모드로서, 이하의 7 종류를 마련한다.
Figure pct00003
다중화부(13)는, 엔트로피 부호화 처리부(3)로부터 분리 화상(1)의 부호화 데이터를 받고, 분리 화상간 예측 부호화부(12)로부터 분리 화상(2)~(4)의 부호화 데이터를 받으면, 이들의 부호화 데이터를 다중화하여 비트 스트림을 생성한다.
이하, 다중화부(13)에 있어서의 비트 스트림의 생성 처리를 구체적으로 설명한다.
분리 화상(1), 분리 화상(2), 분리 화상(3), 분리 화상(4)이 소정 사이즈의 블록 단위로 부호화되어 있을 때에, 1개 이상의 블록으로 구성되는 단위를 슬라이스라 한다.
AVC에서는, 도 9에 나타낸 바와 같이, 예측이나 직교 변환의 최소 단위(도 9에서는, 4×4 화소 사이즈)를 블록이라 부르고, 블록을 복수개 모은 단위(도 9에서는, 4×4 블록(16×16 화소 사이즈))를 매크로 블록이라 부르고, 매크로 블록을 1개 이상 모은 단위를 슬라이스라고 부르고 있다. 픽처(picture) 내에서 슬라이스 경계를 걸쳐서 예측 부호화를 행하는 것은 금지되어 있다.
본 발명의 부호화 방식에 있어서도, AVC와 동일하도록 슬라이스를 구성할 수도 있다. 동일하게 각 분리 화상으로부터의 부호화 데이터는 슬라이스 단위로 다중화부(13)에 입력된다.
슬라이스의 선두에는, 슬라이스를 식별하는 슬라이스 ID와, 슬라이스의 개시를 의미하는 유니크 워드(unique word)(스타트 코드)와, 그 슬라이스가 분리 화상(1), 분리 화상(2), 분리 화상(3), 분리 화상(4)의 어느 하나의 분리 화상의 슬라이스인지를 식별하는 ID(분리 화상 ID)와, 슬라이스의 ID(슬라이스 ID)가, 헤더 정보의 일부로서 다중화된다.
1 픽쳐는, 복수 슬라이스로부터 구성되도록 하여, 분리 화상(1), 분리 화상(2), 분리 화상(3), 분리 화상(4)의 슬라이스가 인터리빙되어 1개의 비트 스트림에 다중화되어 있더라도 좋지만, 분리 화상(1)은, 분리 화상(2), 분리 화상(3), 분리 화상(4)을 복호할 때에 예측 화상으로서 참조되기 때문에, 분리 화상(1)의 슬라이스가, 분리 화상(2), 분리 화상(3), 분리 화상(4)의 슬라이스보다 먼저 다중화되어 있어야 한다.
이상으로 명백한 바와 같이, 본 실시의 형태 1에 따르면, 입력 화상을 구성하는 화소를 수평 방향으로 2 화소 걸러서, 수직 방향으로 1 화소 걸러서 샘플링하여, 4개의 분리 화상(1) (2) (3) (4)을 생성하는 화상 분리부(1)를 설치하고, 프레임내 예측 부호화 수단이 화상 분리부(1)에 의해 생성된 분리 화상(1)을 구성하는 화소를 이용하여, 분리 화상(1)을 프레임내에서 예측 부호화하고, 분리 화상간 예측 부호화부(12)가 화상 분리부(1)에 의해 생성된 분리 화상(1)을 구성하는 화소를 이용하여, 화상 분리부(1)에 의해 생성된 분리 화상(2) (3) (4)을 분리 화상 사이에서 예측 부호화하도록 구성했기 때문에, 화질 열화와 회로 규모의 증대를 억제하여 높은 부호화 효율을 실현할 수 있는 효과를 얻는다.
또한, 본 실시의 형태 1에 따르면, 분리 화상마다 독립적으로 슬라이스를 구성하도록 했기 때문에, 병렬로 부호화 처리를 행할 수 있게 되고, 그 결과, 동화상 부호화 장치의 회로 규모를 작게 할 수 있는 효과를 얻는다.
한편, 본 실시의 형태 1에서는, 화상 분리부(1)가 입력 화상을 구성하는 화소를 수평 방향으로 2 화소 걸러서, 수직 방향에 1 화소 걸러서 샘플링하여, 4개의 분리 화상(1) (2) (3) (4)을 생성하는 것에 대하여 나타내었지만, 수평 방향으로 N(N은 1 이상) 화소 걸러서, 수직 방향으로 M(M은 1 이상) 화소 걸러서 샘플링하여, K 개(K는 2 이상)의 분리 화상을 생성하도록 할 수도 있다.
또한, 수평 방향 또는 수직 방향 중 어느 한 방향으로만 샘플링하여 분리 화상을 생성하도록 할 수도 있다.
또한, 본 실시의 형태 1에서는, 인트라 예측부(2)가, AVC와 마찬가지로, 평균값 예측과 8개의 예측 방향으로부터 예측하는 총 9개의 예측 모드 중에서, 어느 하나의 모드를 선택하여 인트라 예측하는 것에 대하여 나타내었지만, 분리 화상(1)은 수평 방향, 수직 방향으로 샘플링된 화상이기 때문에, 기울기 방향에는 상관이 없는 경우도 있다.
그래서, 예측 모드를 평균값 예측, 수평 예측, 수직 예측의 3개의 모드로 하고, 3개의 모드 중에서 어느 하나의 모드를 선택하여 인트라 예측하도록 할 수도 있다.
또한, 본 실시의 형태 1에서는, 인트라 예측 후에 얻어지는 예측 차분 신호에 대하여, DCT나 아다마르 변환 등의 직교 변환을 실시하는 것에 대하여 나타내었지만, 분리 화상(1) (2) (3) (4)은 인접 화소를 샘플링하고 있는 화상이기 때문에, 구조적으로 매우 가까운 화상으로 되고, 분리 화상(1)을 이용하여, 분리 화상(2) (3) (4)을 예측하는 경우, 예측 후의 차분 신호에 2차원적인 상관이 남아 있지 않은 경우도 있다.
그와 같은 경우에는, 직교 변환을 적용하지 않고서, PCM이나 DPCM에 의해 직접 부호화할 수도 있다. 또한, 직교 변환과 PCM이나 DPCM 부호화를 매크로 블록마다 전환하더라도 좋고, 이 경우에는, 매크로 블록 타입으로 전환 정보를 부호화하 도록 할 수도 있다.
실시의 형태 2.
도 10은 본 발명의 실시의 형태 2에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 10에서, 스트림 분리부(31)는 도 1의 동화상 부호화 장치로부터 송신된 비트 스트림을 입력하고, 그 비트 스트림으로부터 분리 화상(1)의 슬라이스 데이터(부호화 데이터)와, 분리 화상(2) (3) (4)의 슬라이스 데이터(부호화 데이터)를 분리하는 처리를 실시한다. 한편, 스트림 분리부(31)는 부호화 데이터 분리 수단을 구성하고 있다.
엔트로피 복호 처리부(32)는 스트림 분리부(31)에 의해 분리된 분리 화상(1)의 슬라이스 데이터를 소정 사이즈의 블록 단위로 엔트로피 복호하는 것으로, 인트라 예측 모드와 예측 차분 신호를 복호하는 처리를 실시한다. 한편, 엔트로피 복호 처리부(32)는 제 1 엔트로피 복호 처리부를 구성하고 있다.
엔트로피 복호 처리부(32)의 엔트로피 복호부(33)는 스트림 분리부(31)에 의해 분리된 분리 화상(1)의 슬라이스 데이터를 소정 사이즈의 블록 단위로 엔트로피 복호하는 것으로, 인트라 예측 모드와 양자화 계수를 복호하는 처리를 실시한다.
엔트로피 복호 처리부(32)의 역양자화부(34)는 엔트로피 복호부(33)에 의해 복호된 양자화 계수를 역양자화하여, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환부(35)에 출력하는 처리를 실시한다.
엔트로피 복호 처리부(32)의 역직교 변환부(35)는 역양자화부(34)로부터 출력된 직교 변환 계수를 역직교 변환하여, 그 역직교 변환의 결과로서 얻어지는 예측 차분 신호를 가산부(37)에 출력하는 처리를 실시한다.
인트라 예측부(36)는 엔트로피 복호 처리부(32)에 의해 엔트로피 복호된 인트라 예측 모드에 근거하여, 프레임 메모리(38)에 저장되어 있는 근방 블록의 복호 화상의 화소값을 이용하여 분리 화상(1)의 예측 화상을 생성하는 처리를 실시한다. 한편, 인트라 예측부(36)는 제 1 예측 화상 생성 처리부를 구성하고 있다.
가산부(37)는 인트라 예측부(36)에 의해 생성된 분리 화상(1)의 예측 화상과 역직교 변환부(35)로부터 출력된 예측 차분 신호를 가산하여, 그 가산 결과인 분리 화상(1)의 복호 화상을 프레임 메모리(38) 및 화상 합성부(40)에 출력하는 처리를 실시한다. 한편, 가산부(37)는 제 1 복호 화상 출력 처리부를 구성하고 있다.
프레임 메모리(38)는 가산부(37)로부터 출력된 분리 화상(1)의 복호 화상을 저장하는 메모리이다.
엔트로피 복호 처리부(32), 인트라 예측부(36) 및 가산부(37)로부터 프레임내 예측 복호 수단이 구성되어 있다.
분리 화상간 예측 복호부(39)는 프레임 메모리(38)에 저장되어 있는 분리 화상(1)의 복호 화상을 이용하여, 스트림 분리부(31)에 의해 분리된 분리 화상(2) (3) (4)의 슬라이스 데이터를 복호하여, 분리 화상(2) (3) (4)의 복호 화상을 화상 합성부(40)에 출력하는 처리를 실시한다. 한편, 분리 화상간 예측 복호부(39)는 분리 화상간 예측 복호 수단을 구성하고 있다.
화상 합성부(40)는 가산부(37)로부터 출력된 분리 화상(1)의 복호 화상과 분리 화상간 예측 복호부(39)로부터 출력된 분리 화상(2) (3) (4)의 복호 화상을 합성하여 표시 화상을 생성하는 처리를 실시한다. 한편, 화상 합성부(40)는 화상 합성 수단을 구성하고 있다.
도 11은 본 발명의 실시의 형태 2에 따른 동화상 복호 장치의 분리 화상간 예측 복호부(39)를 나타내는 구성도이며, 도면에서, 엔트로피 복호 처리부(50)는 스트림 분리부(31)에 의해 분리된 분리 화상(2) (3) (4)의 슬라이스 데이터를 소정 사이즈의 블록 단위로 엔트로피 복호하는 것으로, 분리 화상간의 예측 모드라고 예측 차분 신호를 복호하는 처리를 실시한다. 한편, 엔트로피 복호 처리부(50)는 제 2 엔트로피 복호 처리부를 구성하고 있다.
엔트로피 복호 처리부(50)의 엔트로피 복호부(51)는 스트림 분리부(31)에 의해 분리된 분리 화상(2) (3) (4)의 슬라이스 데이터를 소정 사이즈의 블록 단위로 엔트로피 복호하는 것으로, 분리 화상간의 예측 모드와 양자화 계수를 복호하는 처리를 실시한다.
엔트로피 복호 처리부(50)의 역양자화부(52)는 엔트로피 복호부(51)에 의해 복호된 양자화 계수를 역양자화하여, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환부(53)에 출력하는 처리를 실시한다.
엔트로피 복호 처리부(50)의 역직교 변환부(53)는 역양자화부(52)로부터 출력된 직교 변환 계수를 역직교 변환하여, 그 역직교 변환의 결과로서 얻어지는 예측 차분 신호를 가산부(55)에 출력하는 처리를 실시한다.
예측 화상 생성부(54)는 엔트로피 복호부(51)에 의해 엔트로피 복호된 분리 화상간의 예측 모드에 근거하여, 프레임 메모리(38)에 저장되어 있는 분리 화상(1)의 복호 화상을 이용하여, 분리 화상(2) (3) (4)의 예측 화상을 생성하는 처리를 실시한다. 한편, 예측 화상 생성부(54)는 제 2 예측 화상 생성 처리부를 구성하고 있다.
가산부(55)는 예측 화상 생성부(54)에 의해 생성된 분리 화상(2) (3) (4)의 예측 화상과 역직교 변환부(53)로부터 출력된 예측 차분 신호를 가산하여, 그 가산 결과인 분리 화상(2) (3) (4)의 복호 화상을 출력하는 처리를 실시한다. 한편, 가산부(55)는 제 2 복호 화상 출력 처리부를 구성하고 있다.
다음으로 동작에 대하여 설명한다.
스트림 분리부(31)는, 도 1의 동화상 부호화 장치로부터 송신된 비트 스트림을 입력하면, 유니크 워드로 구분된 슬라이스 단위로 분리 화상 ID를 복호하는 것으로, 그 비트 스트림으로부터 분리 화상(1)의 슬라이스 데이터와, 분리 화상(2) (3) (4)의 슬라이스 데이터를 분리한다.
엔트로피 복호부(33)는, 스트림 분리부(31)로부터 분리 화상(1)의 슬라이스 데이터를 받으면, 분리 화상(1)의 슬라이스 데이터를 산술 복호 또는 가변 길이 복호 등의 엔트로피 복호를 실시하는 것으로, 소정 사이즈의 블록 단위의 인트라 예측 모드와 1차원의 양자화 계수열을 복호한다.
또한, 엔트로피 복호부(33)는, 1차원의 양자화 계수열을 소정의 순서로 스캔하여 2차원의 양자화 계수로 변환한다.
역양자화부(34)는, 엔트로피 복호부(33)로부터 양자화 계수를 받으면, 엔트로피 복호부(33)에 의해 복호된 양자화 파라미터(도시 생략)에 근거하여, 그 양자화 계수를 역양자화하고, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환부(35)에 출력한다.
역직교 변환부(35)는, 역양자화부(34)로부터 직교 변환 계수를 받으면, 그 직교 변환 계수에 대하여, DCT나 아다마르 변환 등의 역직교 변환을 실시함으로써, 그 역직교 변환의 결과로서 얻어지는 예측 차분 신호를 가산부(37)에 출력한다.
인트라 예측부(36)는, 엔트로피 복호부(33)로부터 인트라 예측 모드를 받으면, 도 1의 동화상 부호화 장치에서의 인트라 예측부(2)와 마찬가지로, 그 인트라 예측 모드에 근거하여, 프레임 메모리(38)에 저장되어 있는 근방 블록의 복호 화상의 화소값을 이용하여 분리 화상(1)의 예측 화상을 생성한다.
인트라 예측부(36)가 사용하는 인트라 예측 모드는, 도 1의 동화상 부호화 장치에서의 인트라 예측부(2)가 사용하는 예측 모드와 동일하며, 평균값 예측과 8개의 예측 방향으로부터 예측하는 총 9개의 예측 모드 중에서 어느 하나를 선택한 예측 모드이다.
가산부(37)는, 인트라 예측부(36)가 분리 화상(1)의 예측 화상을 생성하면, 분리 화상(1)의 예측 화상과 역직교 변환부(35)로부터 출력된 예측 차분 신호를 가산하고, 그 가산 결과인 분리 화상(1)의 복호 화상을 프레임 메모리(38) 및 화상 합성부(40)에 출력한다.
분리 화상간 예측 복호부(39)는, 스트림 분리부(31)로부터 분리 화상(2) (3) (4)의 슬라이스 데이터를 받으면, 프레임 메모리(38)에 저장되어 있는 분리 화상(1)의 복호 화상을 이용하여, 분리 화상(2) (3) (4)의 슬라이스 데이터를 복호하여, 분리 화상(2) (3) (4)의 복호 화상을 화상 합성부(40)에 출력한다.
이하, 분리 화상간 예측 복호부(39)의 처리 내용을 구체적으로 설명한다. 여기서는, 분리 화상(2)의 슬라이스 데이터가 복호되는 예를 설명한다.
분리 화상간 예측 복호부(39)의 엔트로피 복호부(51)는, 스트림 분리부(31)로부터 분리 화상(2)의 슬라이스 데이터를 받으면, 분리 화상(2)의 슬라이스 데이터를 산술 복호 또는 가변 길이 복호 등의 엔트로피 복호를 실시하는 것으로, 소정 사이즈의 블록 단위의 분리 화상간의 예측 모드와 양자화 계수를 복호한다
또한, 엔트로피 복호부(51)는, 1차원의 양자화 계수열을 소정의 순서로 스캔하여 2차원의 양자화 계수로 변환한다.
역양자화부(52)는, 엔트로피 복호부(51)로부터 양자화 계수를 받으면, 엔트로피 복호부(51)에 의해 복호된 양자화 파라미터(도시 생략)에 근거하여, 그 양자화 계수를 역양자화하고, 그 역양자화의 결과로서 얻어지는 직교 변환 계수를 역직교 변환부(53)에 출력한다.
역직교 변환부(53)는, 역양자화부(52)로부터 직교 변환 계수를 받으면, 그 직교 변환 계수에 대하여, DCT나 아다마르 변환 등의 역직교 변환을 실시함으로써, 그 역직교 변환의 결과로서 얻어지는 예측 차분 신호를 가산부(55)에 출력한다.
예측 화상 생성부(54)는, 엔트로피 복호부(51)로부터 분리 화상간의 예측 모드를 받으면, 그 분리 화상간의 예측 모드에 근거하여, 프레임 메모리(38)에 저장되어 있는 분리 화상(1)의 복호 화상을 이용하여 분리 화상(2)의 예측 화상을 생성한다.
예측 모드의 종류와 예측 화상의 생성 방법은, 상기 실시의 형태 1의 동화상 부호화 장치에 있어서의 예측 화상 생성부(21)와 동일하다.
가산부(55)는, 예측 화상 생성부(54)가 분리 화상(2)의 예측 화상을 생성하면, 분리 화상(2)의 예측 화상과 역직교 변환부(53)로부터 출력된 예측 차분 신호를 가산하고, 그 가산 결과인 분리 화상(2)의 복호 화상을 화상 합성부(40)에 출력한다.
분리 화상(3), 분리 화상(4)의 슬라이스 데이터에 대해서도, 분리 화상(2)과 같은 순서로 복호되고, 분리 화상(3)의 복호 화상, 분리 화상(4)의 복호 화상이 화상 합성부(40)에 입력된다.
화상 합성부(40)는, 가산부(37)로부터 출력된 분리 화상(1)의 복호 화상과 분리 화상간 예측 복호부(39)로부터 출력된 분리 화상(2) (3) (4)의 복호 화상을 합성하여 표시 화상을 생성한다.
즉, 화상 합성부(40)는, 가산부(37)로부터 분리 화상(1)의 복호 화상을 입력하고, 분리 화상간 예측 복호부(39)로부터 분리 화상(2) (3) (4)의 복호 화상을 입력하면, 상기 실시의 형태 1의 동화상 부호화 장치에서의 화상 분리부(1)과는 반대의 순서로 1장의 화상으로 합성하는 것으로, 표시 화상을 생성한다.
각 분리 화상의 합성 후의 화상에 있어서의 화소 위치는 도 3의 입력 화상과 동일하다.
이상으로 알 수 있는 바와 같이, 본 실시의 형태 2에 따르면, 분리 화상(1)의 슬라이스 데이터와 분리 화상(2) (3) (4)의 슬라이스 데이터가 다중화되어 있는 비트 스트림을 입력하고, 그 비트 스트림으로부터 분리 화상(1)의 슬라이스 데이터와 분리 화상(2) (3) (4)의 슬라이스 데이터를 분리하는 스트림 분리부(31)를 설치하고, 프레임내 예측 복호 수단이 스트림 분리부(31)에 의해 분리된 분리 화상(1)의 슬라이스 데이터를 복호하여, 분리 화상(1)의 복호 화상을 출력하고, 분리 화상간 예측 복호부(39)가 스트림 분리부(31)에 의해 분리된 분리 화상(1)의 복호 화상을 이용하여, 스트림 분리부(31)에 의해 분리된 분리 화상(2) (3) (4)의 부호화 데이터를 복호하여, 분리 화상(2) (3) (4)의 복호 화상을 출력하도록 구성했기 때문에, 높은 부호화 효율로 부호화된 화상을 정확하게 복호하여, 원래의 고해상도의 화상을 표시할 수 있는 효과를 얻는다.
또한, 본 실시의 형태 2에 따르면, 분리 화상마다 독립적으로 구성된 슬라이스 데이터를 복호하도록 구성했기 때문에, 병렬로 복호 처리를 행할 수 있게 되고, 그 결과, 동화상 복호 장치의 회로 규모를 작게 할 수 있는 효과를 얻는다.
한편, 본 실시의 형태 2에서는, 분리 화상의 복호 후에, 화상 합성부(40)가 4개의 분리 화상을 합성하여, 원래의 고해상도의 표시 화상을 생성하는 것에 대하여 나타내었지만, 먼저 복호 처리가 완료되어 있는 분리 화상(1)의 복호 화상을 표시 화상으로 하여, 먼저 표시 장치에 송신함으로써, 저해상도의 화상을 표시한다.
그 후, 분리 화상(2), 분리 화상(3), 분리 화상(4)의 복호가 완료된 즉시, 순차적으로, 분리 화상(1)의 복호 화상과 합성하는 것으로, 해상도가 높은 표시 화상을 생성하여, 표시 장치에 표시하는 화상의 해상도를 단계적으로 높이도록 한다.
표시 장치에 표시하는 화상의 순서는, 예컨대, 다음과 같다.
분리 화상(1) → 합성 화상(분리 화상(1) + 분리 화상(2)) → 합성 화상(분리 화상(1) + 분리 화상(2) + 분리 화상(3)) → 합성 화상(분리 화상(1) + 분리 화상(2) + 분리 화상(3) + 분리 화상(4))
스트림의 편집시나 섬네일 화상의 재생시, 또는, 낮은 처리 능력의 재생 장치에 있어서는, 분리 화상(1)에 대응하는 분리 화상 ID를 갖는 슬라이스 데이터만을 복호하여, 1/4의 해상도의 화상을 복호하여 표시하도록 할 수도 있다.
(산업상의 이용가능성)
본 발명에 따른 동화상 부호화 장치 및 동화상 증폭후 장치는, 화질 열화와 회로 규모의 증대를 억제하여 높은 부호화 효율을 실현할 수 있기 때문에, 화상을 복수로 분리하여 부호화하는 동화상 부호화 장치와, 복수로 분리하여 부호화되어 있는 화상을 복호하는 동화상 복호 장치 등에 이용하는데 적합하다.

Claims (9)

  1. 입력 화상을 구성하는 화소를 소정수 걸러서 샘플링하여, 제 1 분리 화상을 생성함과 아울러, 상기 화소와 다른 화소를 소정수 걸러서 샘플링하여, 적어도 1 이상의 제 2 분리 화상을 생성하는 분리 화상 생성 수단과,
    상기 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 구성하는 화소를 이용하여, 상기 제 1 분리 화상을 프레임내에서 예측 부호화하는 프레임내 예측 부호화 수단과,
    상기 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 구성하는 화소를 이용하여, 상기 분리 화상 생성 수단에 의해 생성된 제 2 분리 화상을 분리 화상 사이에서 예측 부호화하는 분리 화상간 예측 부호화 수단과,
    상기 프레임내 예측 부호화 수단으로부터 출력되는 제 1 분리 화상의 부호화 데이터와 상기 분리 화상간 예측 부호화 수단으로부터 출력되는 제 2 분리 화상의 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화 수단
    을 구비한 동화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 프레임내 예측 부호화 수단은,
    상기 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상을 소정 사이즈의 블록 단위로 프레임내 예측을 실시하여, 상기 제 1 분리 화상의 예측 화상을 생성하고, 상기 제 1 분리 화상과 상기 예측 화상의 차분 화상을 출력하는 제 1 차분 화상 출력 처리부와,
    상기 제 1 차분 화상 출력 처리부로부터 출력된 차분 화상을 블록 단위로 직교 변환하고, 상기 직교 변환의 결과로서 얻어지는 직교 변환 계수를 엔트로피 부호화하는 제 1 엔트로피 부호화 처리부와,
    상기 직교 변환 계수를 역직교 변환하고, 상기 역직교 변환의 결과로서 얻어지는 복호 예측 차분 신호와 상기 예측 화상을 가산하여 제 1 분리 화상의 국소 복호 화상을 생성하는 국소 복호 화상 생성 처리부
    로 구성되어 있고,
    상기 분리 화상간 예측 부호화 수단은,
    상기 국소 복호 화상 생성 처리부에 의해 생성된 제 1 분리 화상의 국소 복호 화상을 구성하는 화소를 이용하여, 상기 분리 화상 생성 수단에 의해 생성된 제 2 분리 화상의 예측 화상을 생성하고, 상기 제 2 분리 화상과 상기 예측 화상의 차분 화상을 출력하는 제 2 차분 화상 출력 처리부와,
    상기 제 2 차분 화상 출력 처리부에서 출력된 차분 화상을 블록 단위로 직교 변환하고, 상기 직교 변환의 결과로서 얻어지는 직교 변환 계수를 엔트로피 부호화하는 제 2 엔트로피 부호화 처리부
    로 구성되어 있는 것을 특징으로 하는 동화상 부호화 장치.
  3. 제 2 항에 있어서,
    상기 분리 화상간 예측 부호화 수단의 상기 제 2 차분 화상 출력 처리부는, 상기 분리 화상 생성 수단에 의해 생성된 제 2 분리 화상의 예측 화상을 생성할 때, 복수의 예측 모드 중에서, 상기 분리 화상 생성 수단에 의해 생성된 제 1 분리 화상과 상기 제 2 분리 화상간의 화소 위치의 어긋남의 보정에 적합한 예측 모드를 선택하여, 상기 예측 모드로 상기 제 2 분리 화상의 예측 화상을 생성하고,
    상기 제 2 엔트로피 부호화 처리부는 상기 제 2 차분 화상 출력 처리부에 의해 선택된 예측 모드를 엔트로피 부호화하는
    것을 특징으로 하는 동화상 부호화 장치.
  4. 제 1 항에 있어서,
    상기 프레임내 예측 부호화 수단은, 「MPEG-4 AVC/H.264」 규격에 따라서 제 1 분리 화상을 부호화하는 것을 특징으로 하는 동화상 부호화 장치.
  5. 제 1 항에 있어서,
    상기 다중화 수단은, 제 1 분리 화상의 부호화 데이터와 제 2 분리 화상의 부호화 데이터를 다중화할 때, 부호화의 단위로 되는 블록을 1개 이상 모은 슬라이스 단위로 다중화하는 것으로 비트 스트림을 생성하는 것이고, 상기 제 1 및 제 2 분리 화상은 독립적으로 슬라이스를 구성하고, 각 슬라이스의 헤더에는 상기 제 1 및 제 2 분리 화상을 식별하는 ID가 다중화되어 있는 것을 특징으로 하는 동화상 부호화 장치.
  6. 제 1 분리 화상의 부호화 데이터와 제 2 분리 화상의 부호화 데이터가 다중화되어 있는 비트 스트림을 입력하고, 상기 비트 스트림으로부터 제 1 분리 화상의 부호화 데이터와 제 2 분리 화상의 부호화 데이터를 분리하는 부호화 데이터 분리 수단과,
    상기 부호화 데이터 분리 수단에 의해 분리된 제 1 분리 화상의 부호화 데이터를 복호하여, 상기 제 1 분리 화상의 복호 화상을 얻는 프레임내 예측 복호 수단과,
    상기 프레임내 예측 복호 수단에 의해 얻은 제 1 분리 화상의 복호 화상을 이용하여, 상기 부호화 데이터 분리 수단에 의해 분리된 제 2 분리 화상의 부호화 데이터를 복호하여, 상기 제 2 분리 화상의 복호 화상을 얻는 분리 화상간 예측 복호 수단
    을 구비한 동화상 복호 장치.

  7. 제 6 항에 있어서,
    상기 프레임내 예측 복호 수단은,
    상기 부호화 데이터 분리 수단에 의해 분리된 제 1 분리 화상의 부호화 데이터를 소정 사이즈의 블록 단위로 엔트로피 복호하여 역직교 변환하는 제 1 엔트로피 복호 처리부와,
    상기 제 1 엔트로피 복호 처리부의 엔트로피 복호에 의해 얻어지는 예측 모드에 따라서 프레임내 예측을 실시하여, 상기 제 1 분리 화상의 예측 화상을 생성하는 제 1 예측 화상 생성 처리부와,
    상기 제 1 예측 화상 생성 처리부에 의해 생성된 예측 화상과 상기 제 1 엔트로피 복호 처리부의 역직교 변환 결과인 예측 차분 신호를 가산하여, 그 가산 결과인 상기 제 1 분리 화상의 복호 화상을 출력하는 제 1 복호 화상 출력 처리부
    로 구성되어 있고,
    상기 분리 화상간 예측 복호 수단은,
    상기 부호화 데이터 분리 수단에 의해 분리된 제 2 분리 화상의 부호화 데이터를 소정 사이즈의 블록 단위로 엔트로피 복호하여 역직교 변환하는 제 2 엔트로피 복호 처리부와,
    상기 제 1 복호 화상 출력 처리부로부터 출력되는 제 1 분리 화상의 복호 화상을 이용하여 분리 화상간 예측을 실시하여, 상기 제 2 분리 화상의 예측 화상을 생성하는 제 2 예측 화상 생성 처리부와,
    상기 제 2 예측 화상 생성 처리부에 의해 생성된 예측 화상과 상기 제 2 엔트로피 복호 처리부의 역직교 변환 결과인 예측 차분 신호를 가산하여, 그 가산 결과인 상기 제 2 분리 화상의 복호 화상을 출력하는 제 2 복호 화상 출력 처리부
    로 구성되어 있는 것을 특징으로 하는 동화상 복호 장치.
  8. 제 6 항에 있어서,
    상기 프레임내 예측 복호 수단에 의해 얻은 제 1 분리 화상의 복호 화상과 분리 화상간 예측 복호 수단에 의해 얻은 제 2 분리 화상의 복호 화상을 합성하여 표시 화상을 생성하는 화상 합성 수단을 마련하는 것을 특징으로 하는 동화상 복호 장치.
  9. 제 8 항에 있어서,
    상기 화상 합성 수단은, 상기 프레임내 예측 복호 수단에 의해 얻은 제 1 분리 화상의 복호 화상을 표시 화상으로서 표시하고 나서, 상기 제 1 분리 화상의 복호 화상과 제 2 분리 화상의 복호 화상을 합성하여 생성한 표시 화상을 표시하는 것에 의해, 단계적으로 표시 화상의 해상도를 올리는 것을 특징으로 하는 동화상 복호 장치.
KR1020117013449A 2008-11-14 2009-11-13 동화상 부호화 장치 및 동화상 복호 장치 KR20110095320A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-292381 2008-11-14
JP2008292381 2008-11-14

Publications (1)

Publication Number Publication Date
KR20110095320A true KR20110095320A (ko) 2011-08-24

Family

ID=42169820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117013449A KR20110095320A (ko) 2008-11-14 2009-11-13 동화상 부호화 장치 및 동화상 복호 장치

Country Status (5)

Country Link
US (1) US9001892B2 (ko)
EP (1) EP2352296A4 (ko)
JP (1) JPWO2010055675A1 (ko)
KR (1) KR20110095320A (ko)
WO (1) WO2010055675A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519557B1 (ko) * 2013-12-27 2015-05-13 연세대학교 산학협력단 고속 화면 내 예측 부호화 방법 및 그 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175332A (ja) * 2011-02-21 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
JP5795525B2 (ja) * 2011-12-13 2015-10-14 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP6253564B2 (ja) * 2014-11-13 2017-12-27 日本電信電話株式会社 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631184A (ja) * 1986-06-20 1988-01-06 Nippon Telegr & Teleph Corp <Ntt> 予測符号化方式
JP4582710B2 (ja) 2005-06-17 2010-11-17 株式会社Ｋｄｄｉ研究所 動画像符号化装置
JP2007053554A (ja) 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4580880B2 (ja) * 2005-10-28 2010-11-17 日本放送協会 画像符号化装置、画像復号装置及び画像処理システム
KR101246294B1 (ko) * 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4776505B2 (ja) 2006-11-15 2011-09-21 日本放送協会 画像符号化装置、画像復号装置及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519557B1 (ko) * 2013-12-27 2015-05-13 연세대학교 산학협력단 고속 화면 내 예측 부호화 방법 및 그 장치

Also Published As

Publication number Publication date
US20110216830A1 (en) 2011-09-08
JPWO2010055675A1 (ja) 2012-04-12
EP2352296A4 (en) 2013-10-16
EP2352296A1 (en) 2011-08-03
WO2010055675A1 (ja) 2010-05-20
US9001892B2 (en) 2015-04-07

Similar Documents

Publication Publication Date Title
JP7129958B2 (ja) 動画像符号化データ
RU2706236C1 (ru) Устройство кодирования изображений, способ кодирования изображений, устройство декодирования изображений, способ декодирования изображений и носитель хранения данных
CN107018424B (zh) 图像处理装置和图像处理方法
JP6325606B2 (ja) データ符号化及び復号化
CN106454358B (zh) 图像处理设备和图像处理方法
EP1950971B1 (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
JP2019083545A (ja) 画像処理装置及び画像処理方法
KR101292091B1 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
JP4421940B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
JP5418756B2 (ja) 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
KR102094557B1 (ko) 화상 처리 장치 및 방법
WO2012087034A2 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US20130329008A1 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
CN110999290B (zh) 使用跨分量线性模型进行帧内预测的方法和装置
JPWO2009051010A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR20150096375A (ko) 영상 인코딩/디코딩 방법 및 이를 이용하는 장치
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5768180B2 (ja) 画像復号方法及び画像復号装置
JP4960400B2 (ja) ステレオ画像符号化方法、及び、ステレオ画像復号化方法
JP5092558B2 (ja) 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
KR20110095320A (ko) 동화상 부호화 장치 및 동화상 복호 장치
KR20050018948A (ko) 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
JPH10145788A (ja) 映像再生装置
GB2577339A (en) Image data encoding and decoding
JP2004173186A (ja) インターレース走査画像符号化方法、符号化装置、復号化方法及び復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application