KR970003100B1 - 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법 - Google Patents

Abstract

내용없음.

Description

적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법

제1도는 본 발명의 동영상 부호화 방법을 이용하는 동영상 부호화 장치를 도시한 상세 블럭도.

제2도는 제1도에 도시된 인트라/인터 모드 결정부에서 11 프레임의 주기로 리프레쉬가 이루어지도록 순차적으로 강제 인트라를 선택하여 전송하는 것을 나타낸 도면.

제3도는 제1도에 도시된 인트라/인터 모드 결정부에서 11 프레임의 주기로 리프레쉬가 이루어지도록 랜덤하게 강제 인트라 모드를 선택하여 전송하는 것을 나타낸 도면.

* 도면의 주요부분에 대한 부호의 설명

100 : 감산기 110 : DCT 부

120 : 양자화부 130 : VLC 부

140 : 버퍼 150 : 역양자화부

160 : 역 DCT 부 170 : 가산기

180 : 프레임 저장부 190 : 움직임 추정부

200 : 움직임 보상부 210 : 스위칭부

220 : 인트라/인터 모드 결정부 230 : 화상 복잡도 분석부

240 : 양자화 파라미터 결정부

본 발명은 동영상 부호화 방법에 관한 것으로, 보다 상세하게는 전송되는 화상의 리프레쉬(refresh)를 위해 영상의 복잡도에 따라 강제 인트라 모드를 적응적으로 선택하여 전송하므로서 고화질을 실현할 수 있도록 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법에 관한 것이다.

영상 신호의 디지탈 전송에 있어서, 전송 대역폭을 줄이기 위한 많은 데이타 압축 방식들이 연구되어 왔다. 이러한 데이타 압축 방식중에서 프레임내(intraframe) 부호화 방식은 이산코사인 변환(DCT)에 의해 공간 영역에서의 중복성을 줄이는 방법이고, 프레임간(interframe) 부호화 방식은 움직임 보상 차영상 부호화에 의해 시간 영역에서의 중복성을 줄여 데이타를 압축하는 방식이다.

최근들어 반도체 기술의 발달로 프레임간 부호화 방식의 하드웨어 구현이 보다 용이해지면서 이 분야에 많은 연구가 진행되고 있으며, 프레임간 부호화중에서 물체의 운동에 기인한 변화를 보상하여 예측하는 방식이 많은 데이타량을 감소시킬 수 있다는 것이 알려져 있다. 전술한 바와 같이 물체의 움직임을 보상하여 부호화 하는 방식을 움직임 보상 부호화 방식(motion compensation coding : MCC)이라고 한다. 예컨대 이전 프레임(prior frame)과 현재 프레임(present frame)을 비교하여 물체의 움직임에 관한 정보(예컨대, 벡터와 모드등)를 추출해내고 이 정보를 이용하여 현재 프레임을 예측하여 영상 부호화하면 예측 에러가 보다 감소하여 결국 데이타 압축 효과가 이루어진다.

이를 보다 상세히 살펴보면, 전술한 움직임 보상 차영상 부호화는 현재의 프레임과 이전 프레임으로부터 움직임을 보상하여 생성된 프레임간의 차이를 부호화 하는 방법을 통상 말한다. 그런, 항상 차영상 부호화가 이루어지는 것은 아니며, 어떤 소정의 알고리즘에 의해 작동하는 인트라/인터 모드 결정 장치에서 '인터 모드'로 결정할 경우에만 이루어진다. 또한 전술한 인트라/인터 모드 결정 장치는 입력 화상의 분산(variance) 값과 차영상의 분산값을 비교하여 인트라 또는 인터를 결정하며, 이같은 분산값과는 상관없이 화상의 리프레쉬를 위하여 일정한 주기로 강제로 인트라 모드로 결정한다.

이같은 모드에서 인트라 모드 부호화는 인터 모드 부호화에 비해 일반적으로 더 많은 데이타를 전송하는 대신에 보다 고화질을 구현할 수 있다. 따라서 화상이 복잡한 경우에는 인트라 모드로 전송되는 구획(block)과 인터 모드로 전송되는 구획과의 화질 차이가 한 화면내에서 확연히 눈에 띄게 되어 리프레쉬하는 강제 인트라 모드 구획의 패턴이 눈에 띠게 된다.

그러나 순차적으로 강제 인트라 모드로 선택하여 전송하는 경우, 예를 들어 풀밭과 같은 복잡한 화상이 디스플레이되는 경우에 강제 인트라가 순차적으로 지나가는 형태가 나타나게 되어, 마치 비바람이 지나가는 장면처럼 보이게 되어 화질의 저하를 초래하게 된다.

따라서, 본 발명은 전술한 화질을 저하시키는 문제점을 해결하기 위한 것으로, 본 발명의 목적은 강제 인트라 모드로 부호화 되는 영상을 그 복잡도에 따라 순차적으로 또는 랜덤하게 부호화 장치로 출력할 것인가를 선택하는 동영상 부호화 방법을 제공하는데 있다.

본 발명의 다른 목적 및 장점들은 도면을 참조한 본 발명의 바람직한 실시예를 통해 명백하게 설명될 것이다.

상술한 목적을 달성하기 위한 본 발명에 따르면, 일련의 입력 영상 프레임을 적응적으로 강제 인트라 모드로 부호화 하는 동영상 부호화 방법으로, 상기 각각의 영상 프레임은 다수의 슬라이스로 분할되고, 각각의 슬라이스는 다수의 매크로 블록으로 구성되는 상기 방법은 상기 일련의 영상 프레임에 대하여 분석된 화상의 복잡도 분석값과 기설정된 임계값을 비교하는 단계와, 상기 비교 결과, 상기 복잡도 분석값이 기설정된 임계값보다 클때, 상기 일련의 프레임의 매 프레임마다 랜덤하게 선택된 소정 갯수의 매크로 블록을 부호화하는 단계와, 상기 비교 결과, 상기 복잡도 분석값이 기설정된 임계값보다 작을때, 상기 일련의 프레임의 매 프레임마다 모든 슬라이스에 포함되는 소정 단위의 매크로 블록을 순차적으로 부호화 하는 단계를 구비하며, 상기 일련의 영상 프레임의 매 프레임마다 상기 랜덤하게 선택된 매크로 블록의 합과 상기 모든 슬라이스에 포함된 소정 단위의 매크로 블록의 합은 하나의 프레임을 구성하는 것을 특징으로 한다.

이하, 본 발명을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

제1도는 본 발명의 동영상 부호화 방법을 이용하는 동영상 부호화 장치를 도시한 상세 블록도로써, 동영상 부호화 장치(300)는 감산기(100), 차이 영상 부호화 장치(110), 차이 영상 복호화 장치(150), VLC 부(130), 버퍼(140), 가산기(170), 프레임 저장부(180), 움직임 추정부(190), 움직임 보상부(200), 스위칭부(210), 인트라/인터 모드 결정부(220), 화상 복잡도 분석부(230) 및 양자화 파라미터 결정부(240)들로 구성된다.

전술한 바와 같은 구성에서, 현재 영상 프레임의 매크로 블록(macro block)의 화소 데이타와 프레임 저장부(180)에 저장된 이전 프레임에 대응하는 소정 탐색 영역(search area)을 이루는 구획들의 화소 데이타를 움직임 추정부(190)에서 비교하여 움직임 벡터(motion vector)를 추출한다. 보다 상세히 말해서, 움직임추정부(190)는 전술한 프레임 저장부(180)에 저장되어 있는 이전 프레임을 입력하여 프레임의 구획들을 소정 탐색 영역내에서 한 화소씩 이동하여 현재 프레임의 지정된 구획과 가장 유사한 구획을 먼저 찾고, 가장 유사한 구획의 움직임 화소 거리에 대응하는 움직임 벡터를 움직임 보상부(200)로 전달한다. 이를 전달받은, 움직임 보상부(200)는 움직임 벡터에 대응하는 프레임 저장부(180)내의 이전 프레임의 매크로 블록의 화소 데이타들을 감산기(100)에 인가하게 되며, 감산기(100)는 입력되는 현재 프레임에서 움직임 보상부(200)로부터의 움직임 보상된 프레임을 감산함으로써 데이타량이 감소하게 된다.

차이 영상 부호화 장치(110)는 전술한 감산기(100)의 시간 영역의 차이 영상 화소 데이타를 코사인 함수를 이용한 직교 변환의 하나인 이산 코사인 변환을 이용하여 주파수 영역의 변환 계수로 변환하여 공간적 상관성을 제거하는 DCT 부(111)와, 전술한 DCT 부(111)로부터의 변환 계수를 외부로부터 입력되는 양자화 파라미터에 의해 유한한 갯수의 값으로 근사화시키는 양자화부(112)로 구성되어 부호화 하여 전송한다.

차이 영상 복호화 장치(150)는 역 양자화부(151)와 역 DCT 부(152)로 구성되며, 전술한 부호화 장치(110)에서 수행되는 신호 처리기의 역 과정으로서, 프레임간의 시간적 상관성을 줄이기 위해 이용되는 움직임 보상을 위한 이전 프레임 신호로 복원한다.

VLC 부(130)는 전술한 양자화부(112)로부터 양자화된 변환 계수에 포함된 각 부호들의 발생 빈도에 따라 그 발생 빈도가 높은 것은 짧은 길이의 부호로, 빈도가 낮은 것은 긴 길이의 부호로 나타내는 부호기로서, 부호를 동일한 길이로 할당하는 방식에 비해 부호 길이의 평균치를 줄일 수 있으며, 대표적인 가변 길이 부호로는 허프만 부호가 있다. 버퍼(140)는 전술한 VLC 부(130)로부터의 데이타를 임시 수용하면서, 가변 데이타율을 갖는 데이타들이 일정한 속도로 전송될 수 있도록 조절하며, 현재 임시 수용되어 있는 데이타량의 상태를 양자화 파라미터 결정부(240)로 전달하여 양자화 파라미터를 결정할 수 있도록 한다.

본 발명에 따르면, 화상 복잡도 분석부(230)는 11개 프레임(1/11 프레임×11)에서 최종 마지막 몇 프레임, 예를 들면, 적어도 2개의 프레임의 평균적인 분산이나 액티비티 즉, 복잡도 등을 통해서 화상의 복잡도를 분석하여 기설정된 임계값과 비교한 정보를 인트라/인터 모드 결정부(220) 및 양자화 파라미터 결정부(240)로 각각 전달한다.

인트라/인터 모드 결정부(220)는 전술한 영상 복잡도 분석부(230)에서의 화상 복잡도에 따라 입력되는 영상 프레임을 순차적으로 전송할 것인가 또는 랜덤하게 전송할 것인가를 적응적으로 결정하여 이에 대응하는 신호를 스위칭부(210)로 전달하여 스위치를 온 또는 오프시킨다. 즉, 복잡도 분석값이 기설정된 임계값보다 클때는 상기 일련의 프레임의 매 프레임마다 랜덤하게 선택된 소정 갯수의 매크로 블록을 출력하는 랜덤 인트라 모드를 선택하고, 복잡도 분석값이 기설정된 임계값보다 작을때는 상기 일련의 프레임의 매 프레임마다 모든 슬라이스에 포함되는 소정 단위의 매크로 블록을 순차적으로 출력하는 순차 인트라 모드를 선택한다.

양자화 파라미터 결정부(210)는 전술한 버퍼(140)의 상태와 현재 입력되는 프레임 화상을 화상 복잡도 분석부(230)에서 분석한 화상의 복잡도에 따라 양자화 파라미터(QP)를 결정하여 전술한 양자화부(112)에 제공하므로써 양자화 레벨을 제어할 수 있다.

제2도를 참조하면, 전술한 제1도에 도시된 화상 복잡도 분석부(230)에서의 화상 복잡도에 따라 인트라/인터 모드 결정부(220)에서 11 프레임의 주기로 리프레쉬가 이루어지도록 영상 프레임을 강제 인트라 모드에서 순차적으로 부호화부(110)로 제공하는 방법이 도시된다. 동 도면에서는, 예를들어, 한 프레임의 사이즈는 1408×960이고, 하나의 매크로 블럭의 사이즈는 32×16의 크기로 이루어지며, 하나의 프레임에는 수평 방향으로 분리되는 60개의 슬라이스(slice)가 있고, 각 슬라이스당 44개의 매크로 블럭으로 구성되는 것으로 가정한다. 전술한 바와 같은 방법에 의해 순차적 강제 인트라 모드가 선택되는 경우, 11 프레임 주기마다 제 1프레임의 모든 슬라이스의 1 내지 4번째 매크로 블록, 제2프레임의 모든 슬라이스의 5 내지 8번째 매크로 블록, 그리고 마지막으로 제11 프레임의 모든 슬라이스의 41 내지 44번째 매크로 블록을 순차적으로 출력한다. 이러한 순차적 인트라 모드에서 11개 프레임의 모든 매크로 블록들을 합성하면 완전한 1개의 프레임이 될 것이다.

제3도는 전술한 인트라/인터 모드 결정부(220)에서 제2도에 도시된 순차적으로 11개 프레임을 전송하는 방식과는 다르게 11 프레임의 주기로 리프레쉬가 이루어지도록 랜덤 강제 인트라 모드를 선택하여 전송하는 도면을 나타낸 것이다.

도시된 바와 같이, 화상 복잡도에 의해 인트라/인터 결정부에서 11개의 프레임에 대하여 각기 상이한 11개의 랜덤한 패턴대로 매 프레임마다 소정 갯수의 블록을 선택하여 출력되게 한다. 본 발명에 따르면, 전술한 바와 같이 11개의 랜덤한 패턴을 생성하여 매크로 블록을 랜덤하게 전송하는 경우, 11개 프레임에 포함된 모든 매크로 블록을 합하면 하나의 완전한 프레임이 되도록 구현되며, 따라서 11개의 랜덤한 패턴에서 중복되는 매크로 블록은 없어야 하고, 한 프레임에서 모자라는 매크로 블록 부분도 없어야 한다.

전술한 바와 같은 본 발명에 따른 동영상 부호화 방법에 의하면, 입력되는 원 화상의 복잡도에 따라 강제 인트라 프레임을 순차적으로 또는 랜덤하게 전송할 것인가를 적응적으로 결정하여 전송함으로써, 화질을 개선하는 이점이 있다.

Claims (2)

1. 일련의 입력 영상 프레임을 적응적으로 강제 인트라 모드로 부호화 하는 동영상 부호화 방법으로, 상기 각각의 영상 프레임은 다수의 슬라이스로 분할되고, 각각의 슬라이스는 다수의 매크로 블록으로 구성되는 상기 방법에 있어서, 상기 일련의 영상 프레임에 대하여 분석된 화상의 복잡도 분석값과 기설정된 임계값을 비교하는 단계; 상기 비교 결과, 상기 복잡도 분석값이 기설정된 임계값보다 클때, 상기 일련의 프레임의 매 프레임마다 랜덤하게 선택된 소정 갯수의 매크로 블록을 부호화 하는 단계; 상기 비교 결과, 상기 복잡도 분석값이 기설정된 임계값보다 작을때, 상기 일련의 프레임의 매 프레임마다 모든 슬라이스에 포함되는 소정 단위의 매크로 블록을 순차적으로 부호화 하는 단계를 구비하며; 상기 일련의 영상 프레임의 매 프레임마다 상기 랜덤하게 선택된 매크로 블록의 합과 상기 모든 슬라이스에 포함된 소정 단위의 매크로 블록의 합은 하나의 프레임을 구성하는 것을 특징으로 하는 동영상 부호화 방법.
2. 제1항에 있어서, 상기 화상의 복잡도의 분석은, 상기 일련의 프레임중의 적어도 최종 2개 프레임의 평균적인 분산(variance) 값이나 활동도(activity)에 의해 결정할 수 있음을 특징으로 하는 동영상 부호화 방법.