KR0128858B1

KR0128858B1 - 화면 변화에 대한 부호화 모드 결정장치

Info

Publication number: KR0128858B1
Application number: KR1019930016561A
Authority: KR
Inventors: 송민진
Original assignee: 배순훈; 대우전자주식회사
Priority date: 1993-08-25
Filing date: 1993-08-25
Publication date: 1998-04-10
Also published as: KR950007504A

Abstract

본 발명은 움직임 추정기(20), 감산기(30), DCT부(40), 양자화부(50), 역양자화부(60), 역DCT부(70), 가산기(80), 프레임 저장기 및 예측기(90), 가변 길이 부호화부(100), 멀티플렉서(110) 및 버퍼(120)를 구비하는 영상 부호화 장치에 관한 것으로서, 프레임 단위의 영상 신호를 입력하여 인트라(intra : I) 프레임, 양방향 예측(bidirectionally predicted : B) 프레임, 예측(predicted : P) 프레임을 위한 순서로 상기 프레임들을 재배치하며, 프레임 재배치 신호의 인가시에 상기 I 프레임의 현재 프레임을 I 프레임으로 변경하여 상기 움직임 추정기(20)로 인가하는 프레임 재배치기(10)와; 움직임 추정기(20)로부터의 현재 프레임을 1 프레임간 지연시켜 이전 프레임을 생성하는 프레임 지연 수단(151)과; 프레임 지연 수단(151)으로부터의 이전 프레임과 움직임 추정기(20)로부터의 현재 프레임간의 프레임차에 응답하여 화면 변경을 검출하는 화면 변경 검출기(152)와; 화면 변경 검출기(152)에 화면 변경이 검출되면, 현재 프레임이 P프레임일 때에 프레임 재배치 신호 및 소정의 스위칭 신호를 출력하고, 양자화 스텝 사이즈를 크게 하는 양자화 스텝 사이즈 조절 신호를 출력하고, 현재 프레임이 B프레임이면 양자화 스텝 사이즈를 작게 하는 양자화 스텝 사이즈 조절 신호를 출력하는 모드 결정기(152)와; 버퍼(120)내의 데이터량에 따라 상기 양자화부(50)의 양자화 스텝 사이즈를 조절하며, 양자화 스텝 사이즈 조절 신호의 인가시에 상기 양자화 스텝 사이즈를 가변 시키는 조절기(130)와; 프레임 재배치기(10) 및 감산기(30)와 상기 DCT부(40)사이에 구성되며, 상기 스위칭 신호에 따라 상기 프레임 재배치기(10) 및 감산기(30)의 출력을 상기 DCT부(40)에 선택적으로 인가하도록 구성된 스위치(SW150)를 구비한다.

Description

화면 변화에 대한 부호화 모드 결정장치

도면은 본 발명에 따른 부호화 모드 결정 장치를 도시한 상세 블럭도

* 도면의 주요부분에 대한 부호의 설명

10 : 프레임 재배치기 20 : 움직임 추정기

30 : 감산기 40 : DCT 부

50 : 양자화부 60 : 역양자화부

70 : 역 DCT 부 80 : 가산기

90 : 프레임 저장기 및 예측기 100 : VLC 부

110 : MUX, 120 : 버퍼 150 : 인트라/인터모드 결정부

본 발명은 영상 데이타 압축 시스템에 관한 것으로, 특히 화면 변경에 따른 이전 프레임과 현재 프레임간의 차이에 응답하여 인트라 또는 인터 모드로 변경하여 부호화함으로써 화질을 개선하는 화면 변경에 대한 부호화 모드 결정 장치에 관한 것이다.

고화질 텔레비젼(HDTV), 영상 전화기(video phone)등과 같이 영상 신호를 디지탈 신호 처리 방식으로 처리되는 장치에서의 영상 신호는 음성 신호에 비해 대역 폭이 매우 넓기 때문에 이를 처리하고자 할 때 상당히 많은 데이타가 발생된다. 그러나 이를 전송하기 위한 채널의 주파수 대역은 제한되어 있으므로, 디자탈 영상 신호를 전송하려면 데이타를 반드시 압축시켜야만 한다.

전술한 요건에 의해 디지탈 영상 신호를 보다 효과적으로 압축하는 기법들 가운데 현재 주로 이용되고 있는 방법은 이산 코사인 변환(discrete cosine transform; DCT)과 같은 프레임내의 상관성(correlation)을 줄이는 변환 부호화 방식(transform encoding method)과, 움직임 보상(motion compensation)과 같은 프레임간의 시간적 상관성을 줄이는 차이 신호 부호화 방식이 있다.

특히, 엠펙(moving picture experts group : MPEG)에서의 영상 부호화 방식은, 시간 축상의 중복성(temporal redundancy)을 감소하기 위해 전술한 움직임 보상 기술을 많이 사용하고 있다.

MPEG은 연속 전송 속도가 1.5 M bits/sec 이내인 콤팩트 디스크(compact disk : CD), 디지탈 오디오 테이프(digital audio tape : DAT), 씨디-롬(CD read only memory : CD-ROM) 또는 자기 하드 디스크, 디지탈 기록 테이프등과 같은 매체에 영상과 음성을 압축시키는 방법의 권고안이다.

전술한 바와 같은 움직임 보상 기술을 이용하는 MPEG 부호화 방식에서 화면 변경(scene change)이 크게 발생되는 프레임은 움직임 추정(motion estimation)의 부정확내지는 불가능하기 때문에, 예측(prediction)과 보간(interpolation)기법을 이용하는 프레임간 부호화 방법에서 에러 신호를 많이 발생시키고, 또한 수신단에서의 블럭 효과(block effect) 및 정상 화질로의 수렴 속도 지연 등으로 인해 화질의 저하를 초래하고 있다.

따라서, 본 발명은 갑작스런 화면 변경에 따른 프레임간 차이에 응답하여 인트라 모드로 변경 및 양자화 스텝 사이즈를 변경하여 부호화함으로써 보다 고화질을 구현하는 부호화 모드 결정 장치를 제공하는 데 그 목적이 있다.

전술한 본 발명의 목적 및 장점 이외의 다른 목적 및 장점들은 첨부한 도면을 참조한 본 발명의 바람직한 실시예를 통해 명백하게 설명될 것이다.

본 발명에 따른 화면 변경에 대한 부호화 모드 결정 장치는, 움직임 추정기, 감산기, DCT부, 양자화부, 역양자화부, 역DCT부, 가산기, 프레임 저장기 및 예측기(90), 가변 길이 부호화부(100), 멀티플렉서(110) 및 버퍼(120)를 구비하는 영상 부호화 장치로서, 프레임 단위의 영상 신호를 입력하여 인트라(intra : I) 프레임, 양방향 예측(bidirectionally preditced : B)프레임, 예측(predicted : P)프레임을 위한 순서로 상기 프레임들을 재배치하며, 프레임 재배치 신호의 인가시에 상기 I 프레임의 현재 프레임을 인트라 프레임으로 변경하여 움직임 추정기로 인가하는 프레임 재배치기와; 움직임 추정기로부터의 현재 프레임을 1 프레임간 지연시켜 이전 프레임을 생성하는 프레임 지연 수단과; 프레임 지연수단으로부터의 이전 프레임과 움직임 추정기로부터의 현재 프레임간의 프레임차에 응답하여 화면 변경을 검출하는 화면 변경 검출기와; 화면 변경 검출기에 화면 변경이 검출되면, 현재 프레임이 P프레임일 때 에 프레임 재배치 신호 및 소정의 스위칭 신호를 출력하고, 양자화 스텝 사이즈를 크게하는 양자화 스텝 사이즈 조절 신호를 출력하고, 현재 프레임이 B프레임이면 양자화 스텝 사이즈를 작게 하는 양자화 스텝 사이즈 조절 신호를 출력하는 모드 결정기와; 버퍼내의 데이터량에 따라 상기 양자화부의 양자화 스텝 사이즈를 조절하며, 양자화 스텝 사이즈 조절 신호의 인가시에 양자화 스텝 사이즈를 가변 시키는 조절기와; 프레임 재배치기 및 감산기와 DCT부 사이에 구성되며, 스위칭 신호에 따라 프레임 재배치기 및 감산기의 출력을 DCT부에 선택적으로 인가하도록 구성된 스위치를 구비한다.

이하, 본 발명을 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.

도면은 본 발명에 따른 화면 변경에 대한 부호화 모드 결정 장치를 도시한 상세 블럭도로서, 도시된 바와 같이 부호화 모드 결정 장치(200)는 프레임 재배치기(10), 움직임 추정기(20), 감산기(30), DCT 부(40), 양자화부(50), 역양자화부(60), 역이산 코사인 변환(IDCT)부(70), 가산기(80), 프레임 저장기 및 예측기(90), 가변길이 부호기(100), 멀티플렉서(MUX)(110), 버퍼(120), 조절기(130) 및 인트라/인터 모드 결정부(150)를 포함한다.

프레임 재배치기(frame re-order)(10)는 전술한 MPEG 압축 방법에 따라 입력되는 영상 프레임의 순서를 변경하여 출력하되, 후술하는 바와 같이 모드 결정기(153)의 프레이 재배치 신호에 대응하여 이 프레임 순서를 재배치하도록 구성되어 있다.

즉, 영상 부호화기는 통상 영상 신호를 인트라(intra : I) 프레임, 양방향 예측(bidirectionally predicted : B) 프레임, 예측(predicted : P)모드로 구분하여 부호화하며, 이 순서는 예컨데 I, P, B, B, P, B, B, P, B, B, I ....로 되며, 이를 위하여 프레임들을 재배치할 필요가 있는 바, 이에 대응하여 프레임 영상 신호를 프레임 단위로 재배치하게 된다. 그러나, 후술하는 설명으로부터 알 수 있는 바와 같이 프레임 재배치 신호가 인가되면(이경우에는 현재 프레임이 P 프레임인 경우이다.) 프레임 재배치기(10)는 현재 프레임을 I 프레임으로 변경하고, I 프레임이 새로이 설정된 것으로하여 상술한 순서에 맞추어 프레임들을 재배치하는 것이다.

움직임 추정기(20)는 시간축상의 중복성을 제거하기 위하여 상기 프레임 재비치기(10)에서 제공되는 이전 프레임으로부터 현재의 영상 프레임까지의 움직임 정보를 찾기 위한 것으로서, 구획 정합 알고리즘(block

matching algorithm : BMA)등에 의해 움직임 벡터(motion vector)와 영상 모드(picture modes)를 추출하여 후술하는 프레임 저장기 및 예측기(90)와 MUX(110)로 각각 전달하며, 또한 상기 프레임 재배치기(10)로부터의 현재의 영상 프레임을 감산기(30)와 인트라/인터 모드 결정부(150)로 각각 전달한다.

프레임 저장기 및 예측기(90)는 상기 움직임 추정기(20)로 부터의 움직임 벡터 및 모드 정보에 의해 사전에 버퍼 등에 저장되어 있는 영상 프레임을 보상하여 현재의 영상 프레임을 예측하기 위한 것으로, 그 보상된 영상 프레임은 감산기(30)로 전달한다. 감산기(30)는 후술하는 인트라/인터 모드 결정부(150)에서 인터 모드를 선택하는 경우에 동작하게 되는데, 움직임 추정기(20)로부터의 현재 원신호에서 프레임 저장기 및 예측기(90)로부터의 움직임 보상된 신호를 감산하는 것으로, 그 출력되는 차신호는 DCT부(40)에 결합된다.

DCT부(40)는 후술하는 인트라/인터 모드 선택부(150)에서의 선택 신호에 의해 상기 프레임 재배치기(10) 또는 감산기(30)로부터의 시간 영역의 영상 프레임을 코사인 함수를 이용한 직교 변환의 하나인 이산 코사인 변환을 이용하여 주파수 영역의 변환 계수로 변환하여 공간적 상관성을 제거하기 위한 것으로 그의 추력은 양자화부(50)에 결합된다. 양자화부(50)는 DCT부(40)로부터의 변환 계수를 후술하는 조절기(130)로부터의 제어 따라 소정의 양자화 스텝 사이즈로 양자화하여 출력하게된다. 여기서 양자화 스텝 사이즈는 n(여기서 n은 0이 아닌 자연수)등분한 n개의 양자화 스텝 사이즈증중 최소값을 설정하여 후술하는 버퍼(120)에서 데이타가 넘치지 않는 양자화 스텝 사이즈의 유한한 갯수의 값으로 근사화시키는 것으로, 양자화는 입력 신호에 따라 스칼라 양자화와 벡터 양자화로 구분할 수 있으며, 부호기의 배치에 따라 균일 양자화와 비균일 양자화로 나눌수 있다.

가변 길이 부호(VLC)부(100)는 양자화부(50)로부터 양자화된 변환 계수에 포함된 각 부호의 발생 빈도에 따라 그 발생 빈도가 높은 것은 짧은 길이의 부호로, 빈도가 낮은 것은 긴 길이의 부호로 표시하는 부호기로서,

부호를 동일한 길이로 할당하는 방식에 비해 부호 길이의 평균치를 줄일 수 있으며, 대표적인 가변 길이 부호로는 허프만 부호(Huffman Code)가 있다.

역양자화부(60) 및 역 DCT부(70)는 전술한 DCT부(40) 및 양자화부(50)에서 수행되는 신호 처리기의 역과정으로서, 프레임간의 시간적 상관성을 줄이기 위해 이용되는 움직임 보상을 위한 이전 프레임 신호로 복원한다.

가산기(80)는 역 DCT부(70)로 부터의 복원된 이전 프레임과 상기 프레임 저장기 및 예측기(90)로부터의 움직임 보상된 프레임을 가산하여 이전 프레임을 생성하여 프레임 저장기 및 예측기(90)로 전달한다.

MUX(110)는 VLC 부(100)를 통해 압축된 데이터와 움직임 추정기(20)로 부터 제공되는 움직임 정보, 즉 움직임 벡터 및 코드 정보를 입력하여 한개의 채널을 통해 후술하는 버퍼(120)로 전달한다.

인트라/인터 모드 결정부(150)는 본 발명을 실현하기 위해 선행하는 동영상 부호화 장치에 부가되는 장치로서, 움직임 추정기(20)로부터의 현재 영상 프레임을 소정 시간(1프레임 시간)동안 지연시켜 이전 프레임을 생성하는 프레임 지연부(151)와, 움직임 추정기(20)로부터의 현재 프레임을 일단으로 입력하고, 프레임 지연부(151)로부터의 이전 프레임을 타단으로 입력하여, 이 두 프레임 간의 차(fram difference)에 응답하여 화면 변경의 유무를 결정하는 화면 변경 결정기(152)와, 결정기(152)에서 제공되는 신호에 응답하여 인트라/인터 모드를 결정하는 모드 결정기(153)와, 모드 결정기(153)에서 제공되는 스위칭 신호에 응답하여 인트라 또는 인터 모드로 부호화하기 위해 상기 프레임 재배치기(10) 또는 감산기(30)와 상기 DCT 부(40)간을 연결 또는 차단하는 스위치(SW150)로 구성된다.

전술한 본 발명의 바람직한 실시예로 채용된 인트라/인터 모드 결정부(150)의 일련의 동작 과정을 예를 들어 하기에 보다 상세히 설명한다.

화면이 변경되었음을 판단 결정하는 다양한 방법중, 전술한 바와 같이 두 프레임간의 차를 이용하여 화면 변경 유무를 결정하면, 예를 들어 화면 변경 결정기(152)에서 사전에 소정의 임계(threshold)값을 설정해 두고, 이 두 프레임의 차가 임계값을 초과하면 화면 변경이 있는 것으로 간주하고 '하이' 레벨을 모드 결정기(153)로 제공하며, 이와 같은 방식으로 임계값보다 적으면 화면의 변경이 없는 것으로 간주하여 '로우' 레벨을 모드 결정기(153)로 제공한다.

모드 결정기(153)는 먼저, 화면 변경 결정기(152)로부터 '로우' 레벨을 전달 받으면, 도시된 바와 같이 선행 기술과 같은 부호 방식으로 신호처리하기 위해 스위치(SW150)로 '로우' 레벨을 제공하므로서, 스위치(SW150)는 단자(2)로 연결된다.

또한 모드 결정기(153)는 상기 화면 변경 결정기(152)로부터 '하이' 레벨을 전달받으면, 화면 변경이 발생되었다고 간주하게 되는데 이때는 전술한 MPEG 시스템에서의 화면군에서 현재 프레임이 어떤 프레임이냐에 따라 보다 구체적으로 부호화가 이루어진다.

예컨데, 현재 원프레임이 P 영상이라고 가정하면, 모드 결정기(152)는 프레임 재배치기(10)에 프레임 재배치 신호를 인가하고, 이에 따라 프레임 재배치기(10)는 첫번째로, 현재 프레임을 I 영상으로 변경한다.

그리고, 다음 I 영상의 발생 시간을 소정시간 지연시킨다. 예를 들면, I 영상의 발생기 10 개 영상(I, B, B, P, B, B, P, B, B, P)당 한장으로 설정되어 있는 경우에 제 3번째 P 영상이 I 영상으로 변경하면, P 영상 발생 횟수를 계수하는 카운터(counter)를 이용하여 다시 처음으로 재설정하여 I 영상의 발생을 지연시킨다. 마지막으로 세번째는 상기 버퍼(120)에 저장된 데이타의 충만 정도에 따라 양자화 스텝 사이즈를 크게 하여 버퍼(120)로의 데이타 넘침을 사전에 방지하도록 제어한다.

그 다음 현재 프레임이 B 영상인 경우에는, 먼저 상기 버퍼(120)내의 데이타 저장 상태를 체크하고, 그후 버퍼(120)내에 데이타가 충만치 않으면 수신측에서의 화질 개선을 위해서 조절기(130)로 양자화 스텝 사이즈를 낮추어 보다 조밀하게 양자화하기 위한 양자화 스텝 사이즈 조절 신호를 전달한다. 또한, 상기 재배치기(110)로 거대 구획 형태(macroblock type)를 변경하는 신호를 전달한다.

전술한 바와 같이 조절기(130)는 모드 결정기(153)로부터 양자화 스텝 사이즈 조절 신호가 입력되면, 양자화 스텝 사이즈를 크기를 다음과 같이 변경하여 양자화부(150)로 전달할 수 있다. 즉, 현재 영상 프레임의 양자화 레벨 크기(q)가 31(1 내지 31)인 경우에, 이 1 내지 31을 n 등분하여 n 개의 양자화 스텝 사이즈의 범위를 결정한다. 또한 상기 q값이 속한 범위내에서 가장 적은 최소값은 버퍼(120)내에 데이타가 넘치지 않는 한은 양자화 스텝 사이즈로 결정하게 된다.

전술한 바와 같이 본 발명에 따른, 부호화 모드 결정 장치에 의하면 다음과 같은 이점이 있다.

첫째, 모드 결정기를 이용하며 화면 변경 있는 경우 예측 영상(P) 프레임을 인트라 영상(I) 프레임으로 변경함으로써 화면 변경에 더욱 강력하게 대응하여 예측 에러를 최소화하여 화질의 저하를 방지할 수가 있다.

둘째, 화면 변경에 의해 현재 영상 프레임이 양측(B)인 경우, 양자화 레벨 크기를 줄여, 에러 데이타를 보다 자세히 전송함으로써 화질을 개선할 수 있다.

셋째, 모드 결정기를 이용함으로써, 고정된 발생률을 가진 I 영상 프레임외에 화상 상태에 따라 I 영상 프레임을 부가하여 부호화함으로써 보다 적응적으로 대응할 수가 있다.

Claims

(정정)움직임 추정기(20), 감산기(30), DCT부(40), 양자화부(50), 역양자화부(60), 역DCT부(70), 가산기(80), 프레임 저장기 및 예측기(90), 가변 길이 부호화부(100), 멀티플렉서(110) 및 버퍼(120)를 구비하는 영상 부호화 장치로서, 프레임 단위의 영상 신호를 입력하여 인트라(intra : I) 프레임, 양방향 예측(bidirectionally predicted : B) 프레임, 예측(predicted : P) 프레임을 위한 순서로 상기 프레임들을 재배치하며, 프레임 재배치 신호의 인가시에 상기 I 프레임의 현재 프레임을 I 프레임으로 변경하여 상기 움직임 추정기(20)로 인가하는 프레임 재배치기(10)와; 상기 움직임 추정기(20)로부터의 현재 프레임을 1 프레임간 지연시켜 이전 프레임을 생성하는 프레임 지연 수단(151)과; 상기 프레임 지연 수단(151)으로부터의 이전 프레임과 상기 움직임 추정기(20)로부터의 현재 프레임간의 프레임차에 응답하여 화면 변경을 검출하는 화면 변경 검출기(152)와; 상기 화면 변경 검출기(152)에 화면 변경이 검출되면, 현재 프레임이 P 프레임일 때에 상기 프레임 재배치 신호 및 소정의 스위칭 신호를 출력하고, 양자화 스텝 사이즈를 크게 하는 양자화 스텝 사이즈 조절 신호를 출력하고, 현재 프레임이 B 프레임이면 양자화 스텝 사이즈를 작게 하는 양자화 스텝 사이즈 조절 신호를 출력하는 모드 결정기(152)와; 상기 버퍼(120)내의 데이터량에 따라 상기 양자화부(50)의 양자화 스텝 사이즈를 조절하며, 상기 양자화 스텝 사이즈 조절 신호의 인가시에 상기 양자화 스텝 사이즈를 가변 시키는 조절기(130)와; 상기 프레임 재배치기(10) 및 감산기(30)와 상기 DCT부(40)사이에 구성되며, 상기 스위칭 신호에 따라 상기 프레임 재배치기(10) 및 감산기(30)의 출력을 상기 DCT부(40)에 선택적으로 인가하도록 구성된 스위치(SW150)를 구비하는 화면 변화에 대한 부호화 모드 결정 장치.