KR19980087025A

KR19980087025A - 신호 부호화 장치, 신호 부호화 방법, 신호 기록매체 및 신호 전송 방법

Info

Publication number: KR19980087025A
Application number: KR1019980017297A
Authority: KR
Inventors: 모토키 가토
Original assignee: 이데이 노부유키; 소니 (주)
Priority date: 1997-05-14
Filing date: 1998-05-14
Publication date: 1998-12-05
Also published as: EP0878967A2; CN1206994A; EP0878967A3; JP3633204B2; CN1134171C; JPH10322696A; US20020172282A1

Abstract

입력 화상 신호를 인트라 부호화 할 것인지 인터 부호화 할 것인지 선택을 효율적으로 함으로써 부호화 효율을 향상시킨다.

입력 단자(10)로부터의 입력 동화상 신호를 움직임 벡터 검출, 움직임 예측 잔차 계산기(21), 화상내 예측 잔차 계산기(23), 및 프레임/필드 DCT 부호화 유형 판정기(22)는 보낸다. 프레임/필드 DCT 부호화 유형 판정기(22)로 입력 MB(매크로블록)의 DCT 부호화 유형의 판정이 이루어진다. 이 DCT 부호화 유형에 따라 화상내 예측 잔차 계산기(23)에 의해서 화상내 예측 잔차를 계산하고 얻어진 화상내 예측 잔차와 입력 MB의 움직임 예측 잔차를 인트라/인터 판정기(24)로 비교하고 입력 MB의 인트라 또는 인터 부호화 모드를 판정한다. 이 판정된 부호화 모드에 따라서 인트라 부호화 또는 인터 부호화를 행한다.

Description

신호 부호화 장치, 신호 부호화 방법, 신호 기록 매체 및 신호 전송 방법

본 발명은 신호 부호화 장치, 신호 부호화 방법, 신호 기록 매체 및 신호 전송 방법에 관하며, 특히, 예컨대 동화상 신호를 광디스크나 자기 테이프 등의 기록 매체에 기록하고 재생해서 디스플레이 등에 표시하거나 텔레비전 회의 시스템, 텔레비전 전화 시스템이나 방송용 기기 등과 같이 동화상 신호를 전송로를 거쳐 송신측에서 수신측으로 전송할 때 적용하기에 적합한 신호 부호화 장치, 신호 부호화 방법, 신호 기록 매체 및 신호 전송 방법에 관한 것이다.

디지털 비디오 신호는 데이터량이 매우 많기 때문에 이것을 소형으로 기억 용량이 적은 기록 매체에 장시간 기록하려는 경우, 또는 이것을 한정된 통신로 중에서 많은 채널수로 전송하려는 경우, 비디오 신호를 고능률 부호화하는 수단이 불가결하게 된다. 이 같은 요구에 따라 비디오 신호, 특히 동화상 신호의 상관(相關)을 이용한 고능률 부호화 방식이 제안되고 있으며 그 하나로 MDEG 방식이 있다. 이 MPEG(Moving Picture Image Coading Experts Group)는 ISO-IEC/JTC1/SC2/WG11에서 논의되어 표준안으로서 제안된 것이며, 움직임 보상 예측 부호화와 이산 코사인 변환(DCT:Discrete Cosine Transform) 부호화를 조합한 하이브리드 방식이다. 이 MPEG 방식에선 우선 동화상 신호의 프레임간의 움직임 예측을 행하고 그 잔차(殘差) 신호를 계산해서 시간측 방향의 용장도(冗長度)를 떨어뜨리고 그 잔차 신호에 대해서 이산 코사인 변환(DCT)을 써서 공간축 방향의 용장도를 떨어뜨리고 비디오 신호를 능률적으로 부호화한다.

MPEG 방식에선 도 7에 도시하듯이 각 픽처를 I픽처, P픽처 또는 B픽처의 3종류 픽처 중의 어느 한 픽처로 하고 화상 신호를 압축 부호화하고 있다. I픽처는 인트라 부호화 픽처이며 다른 픽처와는 독립해서 부호화 된다. P픽처는 순방향 예측 부호화 픽처이며 시간적으로 과거에 위치하는 I 또는 P 픽처로부터 예측 부호화를 행한다. B픽처는 쌍방향 예측 부호화 픽처이며, 시간적으로 전후에 위치하는 I 또는 P 픽처를 사용하여 순방향, 역방향, 또는 쌍방향의 픽처로부터 예측 부호화를 행한다. 그리고 픽처의 집합이 GOP(Group of Pictures)를 구성한다. 각각의 픽처는 MB(매크로블록)으로 나뉜다. 예컨대, 4:2:0 포맷의 경우, MB는 4개의 휘도 블록과(Y1, Y2, Y3, Y4)과 공간적으로 대응한 Cb와 Cr의 2개의 색차 블록의 6개의 블록으로 구성된다. 1개의 블록은 8화소×8라인인 64개의 화소로 이루어진다.

P픽처와 B픽처에선 MB(매크로블록)마다 부호화 방법을 인트라 부호화(Intra Coding:화상 예측 부호화) 또는 인터 부호화(Inter Coding:움직임 보상 예측 부호화)로 변경할 수 있다. P픽처의 인터 부호화는 순방향 예측 모드의 1종류이다. B픽처의 인터 부호화는 순방향 예측 모드, 역방향 예측 모드, 쌍방향 예측 모드인 3종류가 있으며, 그 중에서 가장 효율이 양호한 예측 모드를 인터 부호화 방법으로 한다.

MB(매크로블록)를 인트라(Intra) 부호화하느냐 인터(Inter) 부호화하느냐의 판정은 이상적으로는 양 방법의 부호화를 시도하고 나서, 전송 데이터가 가장 적어지는 방법을 선택하는 것이 바람직하다. 그러나 이 방법은 계산 시간 또는 계산량이 커진다는 문제가 있다.

따라서, 간단화한 인트라/인터 부호화 판정 방법이 MPEG Video Simulation Model 3(ISO/IEC JTC1/SC2/WG11 N0010 MPEG90/041 1990년 7월)으로 제안되고 있다. 상기 simulation Model 3의 방법(이하, 「모델 3」의 방법이라 한다)는 인터 부호화 시에 부호화 효율을 움직임 보상의 예측 잔차량에서 추정하고 또, 인트라 부호화 시의 부호화 효율을 MB내 예측 잔차량에서 추정하고, 움직임 보상의 예측 잔차량과 MB내 예측 잔차량을 비교함으로써 인트라/인터 부호화를 판정하는 것이다. 이 처리 방법에 대해서 도 8의 흐름도를 참고로 설명한다.

도 8의 단계(200)에선 입력 MB(매크로블록)의 휘도 신호의 16×16 화소의 움직임 예측 잔차 신호의 평균 2제곱값 VAR을 계산한다. 구체적으로는 아래의 수학식 1에 기술하듯이, 입력 MB 신호 A[i, j]와, 움직임 벡터(x, y)에 의해 참조된 예측 MB 신호 F[x+i, y+j]의 차분의 평균 2제곱값을 구한다.

또한, 2제곱값 대신에 절대값을 써도 좋다.

다음의 단계(201)에선 입력 MB의 MB내 예측 잔차량으로서, 휘도 신호 16×16 화소의 분산값 VAROR을, 아래의 수학식 2에 의해 계산한다.

MEAN = (∑A[i, j])/256

다음의 단계(202)에선 상기 VAR와 상기 VAROR를 도 5의 특성에 의해 비교한다. 즉,

VARTHR 또한 VARORVAR

이면, MB 모드를 인트라(INTRA) 부호화로 하고(단계 203), 그 이외에선 MB 모드를 인터(INTER) 부호화로 한다(단계 204). 여기에서 THR는 임계값을 나타내며, 예컨대, THR=64 이다.

단계(205)에선 입력 MB을 지정된 MB 모드로 부호화한다. 인트라 부호화에선 입력 MB, 또, 인터 부호화에선 예측 잔차 MB를 블록으로 분해하고 각 블록에 대해서 8×8 DCT 부호화가 행해진다.

그런데, MPEG2에선 2종류의 PCT 부호화 유형을 MB마다 전환할 수 있다. 예컨대, 도 2에 각 DCT 부호화 유형에서의 MB의 휘도 신호와 블록의 관계를 나타낸다. 블록은 8×8 DCT 부호화가 행해지는 단위이다. 프FP임 DCT 부호화 유형에선 MB의 휘도 신호를 4개의 블록으로 분해할 때, 각 블록이 프레임으로 구성되게 분해한다. 한편, 필드 DCT 부호화 유형에선 각 블록이 필드로 구성되게 분해한다.

상기 「모델 3」(simulation model 3)의 방법은, 인트라 부호화 시의 부호화 효율을 추정하기 위해서 16×16 화소의 휘도 신호의 분산값을 계산하고 있는데, 이 방법에선 그 종류의 DCT 부호화 유형의 각가의 경우에서의 부호화 효율을 측정할 수 없으므로 문제가 있었다. 즉, 종래 예에서 설명한 이상적인 선택 방법인 인트라 부호화와 인터 부호화를 각각 실제로 시험하고 나서 전송 데이터가 가장 적어지는 방법을 선택하는 방법과 비교하여, 「모델 3」(simulation model 3)의 방법이 잘못되어 부호화 효율이 나쁜 부호화 방법을 선택하는 경우가 많다는 것을 알았다.

본 발명은 이같은 실정을 감안해서 이뤄진 것이며 상술한 것 같은

「모델 3」(simulation model 3)의 방법을 개량하고 부호화 효율을 높일 수 있는 신호 부호화 장치, 신호 부호화 방법, 신호 기록 매체 및 신호 전송 방법을 제공하는 것을 목적으로 한다.

본 발명은 상기 과제를 해결하기 위해, 입력 화상 신호를 부호화 단위가 되는 블록으로 분해하고, 그 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화와 입력 화상 신호의 프레임간의 움직임 예측을 행하고, 그 잔차 신호를 블록으로 분해하고, 그 블록에 대해서 직교 변환 부호화를 행하는 인터 부호화를 선택 제어할 때, 상기 부호화 블록을 프레임으로 구성할지 프레임으로 구성할지의 직교 변환 부호화 유형을 판정하고, 그 판정된 직교 변환 부호화 유형에 따라서, 입력 화상 신호를 인트라 부호화할지 인터 부호화할지를 제어하는 것을 특징으로 한다.

상기 인트라 부호화할지 인터 부호화할지의 제어는, 상기 판정된 직교 변환 부호화 유형에 따라서, 블록마다의 화상내 예측 잔차의 총합을 소정의 방법으로 계산하고, 상기 화상내 예측 잔차량과 입력 화상의 움직임 예측 잔차량을 비교함으로써 입력 화상 신호를 인터 부호화하는지를 판정하는 것에 의해 행하는 것을 들 수 있다.

상기 블록은 예컨대 8×8 화소의 크기의 것이 쓰이며 상기 블록의 화상내 예측 잔차는 블록의 평균값으로부터의 화소 차분 값의 절대값 합을 계산함으로써 계산하든가, 또는, 블록의 평균값으로부터의 화소 차분 값의 2제곱 합을 계산함으로써 구하면 좋다.

도 1은 본 발명의 실시의 형태를 적용한 동화상 부호화 장치의 개략 구성을 도시하는 블록도.

도 2는 프레임 DCT 부호화 유형과 필드 DCT 부호화 유형시의 MB의 휘도 신호와 블록의 관계를 도시하는 도면.

도 3은 프레임/필드 DCT 부호화 유형의 판정 방법을 설명하는 프로그램을 도시하는 도면.

도 4는 본 발명에서의 입력 MB의 화상내 예측 잔차량 VAROR의 계산 방법예를 설명하는 프로그램을 도시하는 도면.

도 5는 입력 MB의 화상내 예측 잔차량 VAROR과 입력 MB의 움직임 예측 잔차량 VAR을 비교하고 입력 MB을 인트라 부호화 또는 인터 부호화로 하느냐를 판정할 때의 특성을 설명하기 위한 도면.

도 6은 이 발명의 실시의 형태에서의 입력 MB의 부호화 방법을 인트라 부호화 또는 인터 부호화로 하는지를 판정하는 알고리듬을 설명하기 위한 흐름도.

도 7은 MPEG의 GOP 픽처와 MB와 블록의 관계를 도시하는 도면.

도 8은 종래 있는 입력 MB의 부호화 방법을 인트라 부호화 또는 인터 부호화로 하는지를 판정하는 알고리듬을 설명하기 위한 흐름도.

도면의 주요 부분에 대한 부호의 설명

12 : DCT 회로 13 : 양자화 회로

14 : 역 양자화 회로 15 : 역 DCT 회로

17 : 움직임 보상 회로 18 : 가변 길이 부호화 회로

19 : 버퍼 메모리

21 : 움직임 벡터 검출.움직임 예측 잔차 계산기

22 : 프레임/필드 DCT 부호화 유형 판정기

23 : 화상내 예측 잔차 계산 회로 24 : 인트라/인터 판정기

이하, 본 발명의 동화상 부호화 방법, 동화상 부호화 장치의 바람직한 실시의 형태에 대해서 도면 참조로 설명한다.

도 1은 본 발명의 동화상 부호화 방법을 적용한 동화상 부호화 장치의 구성예를 도시하는 블록도이다.

상기 도 1에서 단자(10)에 입력된 동화상 신호(S1)는 예측 잔차를 얻기 위한 연산기(11)를 거쳐, DCT 회로(12), 양자화 회로(13), 역양자화 회로(14), 역 DCT 회로(15), 연산기(16) 및 움직임 보상 회로(17)로 구성된 움직임 예측을 수반하는 DCT 부호화부에 보내진다. 상기 부호화부에 대해선 후술한다.

또, 단자(10)에 입력된 동화상 신호(S1)는 움직임 벡터 검출, 움직임 예측 잔차 계산기(21)로 입력된다. 움직임 벡터 검출, 움직임 예측 잔차 계산기(21)에서의 움직임 벡터 검출은 참조 프레임과 입력 MB(매크로블록)의 휘도 신호의 패턴매칭으로 행하는 것에 의해 입력 MB의 움직임 벡터를 검출하는 것이다. 즉, 예컨대 아래의 수학식 3에 기술하듯이 입력 MB 신호의 휘도 신호 A[i, j]와 임의의 움직임 벡터(x, y)에 의해 참조되는 MB 신호의 휘도 신호 F[x+i, y+j]의 차의 절대값의 함 Ef을 구한다.

여기에서, 참조 프레임 신호는 원화상인 입력 동화상 신호(S1)인 것이 바람직하지만, 움직임 보상 회로(17) 중에 있는 프레임 메모리에 기억되고 있는 국부적으로 디코딩된 프레임 신호를 사용하여도 좋다. 후자의 경우, 움직임 보상 회로(17)에서 참조 프레임 신호(S7)가 움직임 벡터 검출, 움직임 예측 잔차 계산기(21)로 입력된다. 움직임 벡터 검출, 움직임 예측 잔차 계산기(21)는, 상기 Ef가 최소로 되는 좌표(x,y)를 현재 MB의 움직임 벡터(S6)로 하고 또, 그 때의 Ef를 움직임 벡터의 예측 잔차 VAR로 출력한다.

또, 상기 동화상 신호(91)는 프레임/필드 DCT 부호화 유형 판정기(22)로 입력되며, 여기에서 입력 MB의 DCT 부호화 유형이 판정된다.

도 2에 각 DCT 부호화 유형에서의 MB(매크로블록)의 휘도 신호와 블록의 관계를 도시한다. 1블록은 8×8 DCT 부호화가 행해지는 단위이다. 프레임 DCT 부호화 유형에선, MB의 휘도 신호를 4개의 블록으로 분해할 때, 각 블록이 프레임으로 구성되게 분해한다. 한편, 필드 DCT 부호화 유형에선 각 블록이 필드로 구성되게 분해한다.

이 DCT 부호화 유형의 판정 방법을 도시하는 프로그램의 예를 도 3에 도시한다.

이 도 3에서 우선, 입력 MB의 16×16 화소의 휘도 신호 mb에 대해서 프레임 내에서 수직 방향에 인접한 화소간 차분의 절대값 합 dif_fr와 필드 내에서 수직 방향으로 인접한 화소간 차분의 절대값 합 dif_fi을 계산한다. 다음에 dif_fr가 dif_fi 이하인 경우는 프레임 DCT 부호화 유형으로, 그 이외의 경우는 필드 DCT 부호화 유형이라고 판정한다. 프레임/필드 DCT 부호화 유형 판정기(22)는 DCT 부호화 유형(S9)을 출력하고 화상내 예측 잔차 계산기(23)로 입력한다.

또, 동화상 신호(S1)는 화상내 예측 잔차 계산기(23)로 입력되며, 여기에서 현재 MB의 프레임 DCT 부호화 유형의 블록과 필드 DCT 부호화 유형의 블록의 각각의 블록내 예측 잔차에 의거해서 입력 MB의 화상내 예측 잔차 VAROR을 계산한다.

도 4에 VAROR의 계산 방법의 프로그램의 예를 도시한다.

상기 도 4의 프로그램에선 상기 도 2에 도시하듯이 입력 MB의 휘도 신호의 프래임 DCT 부호화 유형의 블록을 bfr0[i, j], bfr1[i, j], bfr2[j, j], bfr3[i, j]로 하고, 필드 DCT 부호화 유형의 블록을 bfi0[i, j], bfi1[i, j], bfi2[i, j], bfi3[i, j]로 한다.

i는 수평 방향의 화소의 인덱스이며(i = 0 내지 7), 또, j는 수직 방향의 화소의 인덱스이다(j = 0 내지 7). 각각의 블록의 블록내 예측 잔차로서 각각의 블록의 평균값에서의 화소 차분 값의 절대값 합을 계산한다. 그리고 프레임 DCT 부호화 유형시의 화상내 예측 잔차 VAROR_mbfr을 프레임 DCT 부호화 유형의 4개의 블록의 블록내 예측 잔차의 합으로 하고, 필드 DCT 부호화 유형시의 화상내 예측 잔차 VAROR_mbfi를 필드 DCT 부호화 유형의 4개의 블록의 블록내 예측 잔차의 합으로 한다. 그리고 DCT 부호화 유형(프레임/필드 DCT 부호화 유형 판정기(22)에서 입력되는 S9)이 프레임 유형인 경우는 VAROR-mbfr을 VAROR로 하고 또, 필드 유형인 경우는 VAROR_mbfi를 VAROR로 한다. MB내 예측 잔차 계산기(23)는 VAROR을 출력한다.

상기 도 4의 알고리듬의 변형예를 몇 개 설명한다. 상기 블록내 예측 잔차를 계산할 때 절대값 합 대신에 2제곱합을 계산해도 좋다. 그 경우는 상기 수학식 3의 계산에서도 절대값 대신에 그 제곱합을 계산한 쪽이 좋다.

또, 상기 블록의 평균값에서의 화소 차분 값의 절대값 합을 계산할 때의 평균값을 이하와 같이 계산해도 좋다.

mean_mb = (mean_bfr0 + mean_bfr1 + mean_bfr2 + mean_bfr3)/4

mean_bfr0 = mean_bfr1 = mean_bfr2 = mean_bfr3 = mean_mb

mean_top = (mean_bfi0 + mean_bfi1)/2

mean_bottom = (mean_bfi2 + mean_bfi3)/2

mean_bfi0 = mean_bfi1 = mean_top

mean_bfi2 = mean_bfi3 = mean_bottom

이들 식에서 mean_x는 x의 평균값을 나타낸다.

또, 상기 mean_mb를 입력 MB의 휘도 신호의 16×16 회.소의 평균값으로 해도 좋다. 또, 상기 mean_top을 입력 MB의 휘도 신호의 톱 필드의 16×8 화소의 평균값으로서 상기 mean_bottom을 입력 MB의 휘도 신호의 바톰 필드의 16×8 화소의 평균값으로 해도 좋다.

intra/inter(인트라/인터) 판정기(24)는 입력 MB(매크로 블록)의 상기 VAR와 VAROR에 의거해서 입력 MB를 인트라 부호화하는지 인터 부호화하는지를 판정한다. 그 판정 방법의 예를 도 5에 도시한다. 즉, 이 도 5에서,

VARTHR 또한 VARORVAR

이면, MB 모드를 인트라 부호화하고 그 이외에선 MB 모드를 인터 부호화한다. intra/inter 판정기(24)는 MB 모드(S8)를 움직임 보상 회로(17)로 출력한다. 여기에서, THR 은 소정의 임계값이다.

상술한 입력 MB를 인트라 부호화로 하는지 인터 부호화로 하는지를 판정하는 알고리듬의 흐름도를 도 6에 도시한다.

상기 도 6에서 최초의 단계(100)에선 입력 MB의 휘도 신호 16×16 화소의 움직임 예측 잔차량 VAR을 계산한다.

다음의 단계(101)에선 입력 MB의 휘도 신호의 프레임 DCT 부호화 유형의 블록의 블록내 예측 잔차의 합 VAROR_mbfr과 필드 DCT 부호화 유형의 블록의 블록내 예측 잔차의 합 VAROR_mbfi를 계산한다. 다음 단계(102)에선 입력 MB의 DCT 부호화 유형을 판정한다. 이들 단계(101)와 단계(102)와의 순서는 서로 바뀌어도 좋다.

다음의 단계(103)에선 DCT 부호화 유형이 프레임 유형의 경우는 VAROR을 VAROR_mbfr로 하고(단계 104), 또, 필드 유형의 경우는 VAROR을 VAROR_mbfi로 한다(단계 105).

다음의 단계(106)에선 VAR와 VAROR에 의거해서 입력 MB의 MB 모드를 인트라 부호화로 하는지(단계 107), 인터 부호화로 하는지(단계 108)를 판정한다.

다음의 단계(109)에선 입력 MB를 지정된 MB 모드로 부호화한다. 인트라 부호화에선 입력 MB, 또는 인터 부호화에선 예측 잔차 MB를 지정된 DCT 부호화 유형에 따라서 블록으로 분해하고 각 블록에 대해서 8×8 DCT 부호화가 행해진다.

이에 따라, 입력 MB의 인트라/인터의 부호화 방법의 판정할 때 종래에 비해 부호화 효율이 양호한 방법을 선택할 수 있으므로, 부호화 효율을 가일층 향상할 수 있는 동화상 부호화 방법 및 동화상 부호화 장치를 실현할 수 있다.

도 1의 설명으로 되돌아가 입력 MB의 MB 모드(S8)가 결정되고 나서부터의 부호화 처리에 대해서 상세히 설명한다.

움직임 보상 회로(17)는, 화상 메모리를 구비하며 국부 디코딩된 화상을 움직임 보상의 참조 화상을 위해 기억하고 있다. MB 모드(S8)가 인터 부호화의 경우, 움직임 보상 회로(17)는 그 화상 메모리에서 움직임 벡터(S6)에 따라 예측 MB 신호(S2)를 판독한다. 연산기(11)는, 입력 동화상(S1)의 입력 MB 신호를 가산 신호로 하고, 상기 움직임 보상 회로(17)로부터의 상기 예측 MB 신호의 차분을 계산하고, 해당 차분을 예측 잔차 MB 신호로 출력한다. 한편, MB 모드(S8)가 인트라 부호화의 경우엔, 예측을 행하지 않고, 입력 MB 신호가 그대로 연산기(11)로부터 출력된다.

연산기(11)에서의 예측 잔차 MB 신호(인트라 부호화 시는 입력 MB 신호)는 DCT 회로(12)로 보내진다. 이 DCT 회로에선 상기 예측 잔차 MB 신호를 지정된 DCT 부호화 유형을 따라서 블록으로 분해하고 각 블록에 대해서 8×8 DCT를 실시한다. 상기 DCT 회로(12)에서 출력된 DCT 계수는 양자화 회로(13)에서 버퍼(19)의 비트 점유량을 따른 소정의 단계 크기로 양자화된다. 이 양자화 회로(13)의 양자화 출력 신호는 역 양자화 회로(14)와 가변 길이 부호화 회로(18)에 보내진다.

역 양자화 회로(14)에선 양자화 회로(13)에 쓰인 양자화 단계에 대응해서 상기 양자화 출력 신호에 역양자화 처리를 실시한다. 해당 양자화 회로(14)의 출력은 역 DCT 회로(15)에 입력되며, 여기에서, 역 DCT 처리되어서 복호된 예측 잔차 MB 신호가 연산기(16)로 입력된다. 이 연산기(16)에는 또, 상기 연산기(11)에 공급되고 있는 예측 MB 신호(S2)와 동일한 신호가 공급되고 있다. 연산기(16)는 상기 복호된 예측 잔차 MB 신호에 예측 MB신호(S2)를 가산한다. 이에 의해 국부 디코딩한 화상 신호가 얻어진다. 국부 디코딩한 화상 신호는 움직임 보상 회로(17) 중의 화상 메모리에 기억되고 다음 움직임 보상의 참조 화상으로 사용된다.

한편, 가변 길이 부호화 회로(18)는 양자화 회로(13)에서 출력 신호나 양자화 단계 크기나 움직임 벡터 등을 호프만 부호화하여, 예컨대, ISO/IEC 13828-2(MPEG2 비디오)의 신택스에 의한 비트 스트림을 출력한다. 상기 비트 스트림은 버퍼 메모리(19)으로 입력된다. 버퍼 메모리(19)는 출력 단자(20)에서 출력되는 비트 스트림(S6)의 비트 레이트를 평활화하기 위해 있다. 또, 버퍼 메모리(19)가 오버플로우하게 된 때는 그것을 양자화 정보로서 양자화 회로(13)로 피드백 한다. 이때 양자화 회로(13)에선 양자화 단계를 크게 하고, 이에 의해 양자화 회로(13)에서 출력되는 정보량이 적어진다. 단자(20)에서 출력된 부호화 신호의 비트 스트림은 디스크와 테이프 등의 신호 기록 매체에 기록되거나 전송로를 거쳐서 전송된다.

이상, 설명한 바와 같이 이 발명의 실시의 형태로 되는 동화상 부호화 장치는 입력 화상 신호의 프레임간의 움직임 예측을 행하고 그 잔차 신호를 블록으로 분해하고 상기 블록에 대해서 DCT 등의 직교 변환 부호화를 행하는 인터 부호화 수단과 입력 신호 그 자체를 블록으로 분해하고 상기 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화 수단을 갖는 동화상 부호화 장치에서,

(a) 상기 블록을 프레임으로 구성할지 필드로 구성할지의 직교 변환 부호화 방법을 판정하는 수단(프레임/필드 DCT 부호화 유형 판정기(22))과,

(b) 상기 판정된 직교 변환 부호화 방법에 따라 입력 화상 신호를 인트라 부호화할지 인터 부호화할지를 판정하는 방법을 제어하는 수단(화상내 예측 잔차 계산기(23) 및 intra/inter 판정기(24))을 갖고 있다.

상기 수단(b)은, 수단(a)으로 판정된 직교 변환 부호화 방법에 의해 블록마다의 화상내 예측 잔차의 총합을 소정의 방법으로 계산하고, 상기 화상내 예측 잔차량과 입력 화상의 움직임 예측 잔차량을 비교함으로써 입력 화상 신호를 인트라 부호화하는지 인터 부호화하는지를 한정하는 수단이다.

상기 블록은 8×8 화소의 크기이다. 상기 블록의 화상내 예측 잔차는 블록의 평균값에서의 화소 차분 값의 절대값 합을 계산함으로써 계산한다. 또는 상기 블록의 화상내 예측 잔차는 블록의 평균값에서의 화소 차분 값의 2제곱합을 계산함으로써 계산한다.

이에 의해 입력 MB의 인트라/인터 부호화 방법을 판정할 때, 종래에 비해 부호화 효율이 양호한 방법을 선택할 수 있으므로, 부호화 효율을 가일층 향상할 수 있는 동화상 부호화 장치를 실현할 수 있다.

또한, 이 발명은 상술한 실시의 형태만에 한정되는 것은 아니고, 예컨대, 취급하는 디지털 신호는 MPEG 방식의 동화상 신호에 한정되지 않으며 인트라/인터 부호화와 직교 변환을 조합해서 부호화된 여러 가지의 디지털 동화상 신호등에도 적용된다. 이 밖에 본 발명의 요지를 벗어나지 않는 범위에 있어서 여러 가지 변경이 가능함은 물론이다.

본 발명에 의하면 입력 화상 신호를 부호화 단위로 되는 블록으로 분해하고 그 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화와 입력 화상 신호의 프레임간의 움직임 예측을 행하고 그 잔차 신호를 블록으로 분해하고 그 블록에 대해서 직교 변환 부호화를 행하는 인터 부호화를 선택 제어할 때, 상기 부호화 블록을 프레임으로 구성하는지 필드로 구성하는지의 직교 변환 부호화 유형을 판정하고, 그 판정된 직교 변환 부호화 유형에 따라서 입력 화상 신호를 인트라 부호화하는지 인터 부호화하는지를 제어하고 있기 때문에, 입력 화상 신호의 인트라/인터 부호화하여, 종전에 비해서 부호화 효율이 양호한 부호화를 선택할 수 있고, 부호화 효율을 향상시킬 수 있다.

여기에서, 상기 인트라 부호화할지 인터 부호화할지의 제어는 상기 판정된 직교 변환 부호화 유형에 따라 블록마다의 화상내 예측 잔차의 총합을 소정의 방법으로 계산하고 상기 화상내 예측 잔차량과 입력 화상의 움직임 예측 잔차량을 비교함으로써 입력 화상 신호를 인트라 부호화할지 인터 부호화할지를 판정함으로써 행하는 것을 들 수 있다.

이에 의해서, 입력 화상 신호의 인트라/인터 부호화 방법의 판정 시에 종래에 비해서 부호화 효율이 양호한 방법을 선택할 수 있고, 부호화 효율을 가일층 향상시킬 수 있는 신호 부호화 장치 및 신호 부호화 방법을 실현할 수 있다.

또한, 이같은 효율이 양호한 부호화가 이뤄진 신호를 신호 기록 매체에 기록함으로써 매체 사용 효율이 양호한 신호 기록 매체를 얻을 수 있고, 또한, 이같은 부호화가 이뤄진 신호를 전송함으로써 전송 효율이 양호한 신호 전송을 행할 수 있다.

Claims

입력 화상 신호를 부호화 단위로 된 블록으로 분해하여, 그 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화와, 입력 화상 신호의 프레임간의 움직임 예측을 행하고, 그 잔차 신호를 블록으로 분해하여, 그 블록에 대해서 직교 변환 부호화를 행하는 인터 부호화가 선택된 부호화 수단과, 상기 부호화 블록을 프레임으로 구성하는가 필드로 구성하는가의 직교 변환 부호화 유형을 판정하는 부호화 유형 판정 수단과, 상기 판정 수단에 의해 판정된 직교 변환 부호화 유형에 따라, 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 제어하는 제어 수단을 포함하는 것을 특징으로 하는 신호 부호화 장치.
제 1 항에 있어서, 상기 제어 수단은, 상기 부호화 유형 판정 수단으로 판정된 직교 변환 부호화 유형에 따라, 블록마다의 화상내 예측 잔차의 총합을 계산하는 화상내 예측 잔차 계산 수단과, 상기 화상내 예측 잔차량과 상기 입력 화상 신호의 움직임 예측 잔차량을 비교하여, 상기 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 판정하는 인트라/인터 판정 수단을 포함하는 것을 특징으로 하는 신호 부호화 장치.
제 1 항에 있어서, 상기 블록의 화상내 예측 잔차는, 블록의 평균값에서의 화소 차분 값의 절대값 합을 계산함으로써 구하는 것을 특징으로 하는 신호 부호화 장치.
제 1 항에 있어서, 상기 블록의 화상내 예측 잔차는, 블록의 평균값에서의 화소 차분 값의 2제곱합을 계산함으로써 구하는 것을 특징으로 하는 신호 부호화 장치.
입력 화상 신호의 프레임간의 움직임 예측을 행하고, 그 잔차 신호를 블록으로 분해하여, 상기 블록에 대해서 DCT 등의 직교 변환 부호화를 행하는 인터 부호화 공정과,

입력 화상 신호 그 자체를 블록으로 분해하여, 상기 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화 공정을 포함하는 신호 부호화 방법에 있어서,

상기 블록을 프레임으로 구성하는가 필드로 구성하는가의 직교 변환 부호화 유형을 판정하는 직교 변환 부호화 유형 판정 공정과,

상기 판정된 직교 변환 부호화 유형에 따라, 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 판정하는 방법을 제어하는 제어 공정을 포함하는 것을 특징으로 하는 신호 부호화 방법.
제 5 항에 있어서, 상기 제어 공정은, 상기 부호화 유형 판정 수단으로 판정된 직교 변환 부호화 유형에 따라, 블록마다의 화상내 예측 잔차의 총합을 계산하는 화상내 예측 잔차 계산 공정과, 상기 화상내 예측 잔차량과 상기 입력 화상 신호의 움직임 예측 잔차량을 비교하여, 상기 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 판정하는 인트라/인터 판정 공정을 포함하는 것을 특징으로 하는 신호 부호화 방법.
부호화된 신호가 기록된 신호 기록 매체에 있어서, 상기 부호화된 신호는, 입력 화상 신호의 프레임간의 움직임 예측을 행하고, 그 잔차 신호를 블록으로 분해하여, 상기 블록에 대해서 DCT 등의 직교 변환 부호화를 행하는 인터 부호화와, 입력 화상 신호 그 자체를 블록으로 분해하여, 상기 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화에 의해 부호화된 것이고, 상기 부호화는, 상기 블록을 프레임으로 구성하는가 필드로 구성하는가의 직교 변환 부호화 유형이 판정되며, 상기 판정된 직교 변환 부호화 유형에 따라, 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 판정하여 제어하는 것을 특징으로 하는 신호 기록 매체.
입력 화상 신호의 프레임간의 움직임 예측을 행하고, 그 잔차 신호를 블록으로 분해하여, 상기 블록에 대해서 DCT 등의 직교 변환 부호화를 행하는 인터 부호화 공정과, 입력 화상 신호 그 자체를 블록으로 분해하여, 상기 블록에 대해서 직교 변환 부호화를 행하는 인트라 부호화 공정을 포함하고, 상기 블록을 프레임으로 구성하는가 필드로 구성하는가의 직교 변환 부호화 유형을 판정하는 직교 변환 부호화 유형 판정 공정과, 상기 판정된 직교 변환 부호화 유형에 따라, 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 판정하는 방법을 제어하는 제어 공정과, 생성된 부호화 데이터를 전송하는 공정을 포함하는 것을 특징으로 하는 신호 전송 방법.
제 8 항에 있어서, 상기 제어 공정은, 상기 부호화 유형 판정 수단으로 판정된 직교 변환 부호화 유형에 따라, 블록마다의 화상내 예측 잔차의 총합을 계산하는 화상내 예측 잔차 계산 공정과, 상기 화상내 예측 잔차량과 상기 입력 화상 신호의 움직임 예측 잔차량을 비교하여, 상기 입력 화상 신호를 인트라 부호화 하는가 인터 부호화 하는가를 판정하는 인트라/인터 판정 공정을 포함하는 것을 특징으로 하는 신호 전송 방법.