KR20130107094A - 부호화 효율을 높인 인트라 프레임 처리 장치 및 방법 - Google Patents

Abstract

영상간(inter frame) 처리를 이전 GOP(group of pictures)의 마지막 P 픽처와의 사이에서, 피부호화 I 픽처에 대하여 행하여, 양자화 오차를 경감하여 부호화 효율을 개선한 인트라 프레임 처리 장치 및 방법에 관한 것으로, 인트라 프레임 처리 장치는 오리지널 P 픽처와, 복호화된 P 픽처를 입력받아 양자화 오차를 계산하는 오차 계산부; 상기 오차 계산부에서 계산된 오차를 이용하여 입력된 영상의 움직임을 보상하는 움직임 보상부; I 픽처가 입력되면, 가산계수를 획득하여 상기 가상계수가 미리 정한 임계값 이상인 경우, 상기 움직임 보상부의 결과값에 적용한 결과값과 상기 I 픽처를 가산하는 가산 계수 적용부;상기 가산 계수 적용부의 출력값을 인코딩하는 인코딩부를 포함하는 것을 특징으로 한다.

Description

부호화 효율을 높인 인트라 프레임 처리 장치 및 방법{Effective I-Frame enhancement for video coding system}

본 발명은 부호화 효율을 높인 인트라 프레임 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 영상간(inter frame) 처리를 이전 GOP(group of pictures)의 마지막 P 픽처와의 사이에서, 피부호화 I 픽처에 대하여 행하여, 양자화 오차를 경감하여 부호화 효율을 개선한 인트라 프레임 처리 장치 및 방법에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자와 음성뿐만 아니라 영상 통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족하기에는 부족하며, 이에 따라, 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다.

멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축 코딩 기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 리던던시를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다.

도 1은 일반적인 움직임 보상 기반 비디오 부호화 구성도이다. 움직임 보상은 어떤 비디오 프레임에서 최근에 코딩했던 참조(reference) 비디오 프레임의 유사한 구획으로부터 각각의 화소 매크로 블록을 예측함으로써 영상압축을 수행한다. 예를 들어 배경 부분은 한 프레임에서 다음 프레임으로 넘어갈 때 흔히 동일하게 유지되므로 각 프레임마다 재전송할 필요가 없다.

움직임 추정부(Motion Estimation, ME)(60)는 현재 프레임의 각각의 매크로블록(MB)에 대해 레퍼런스 프레임에서 그와 가장 유사한 16x16 구획을 판단하는 프로세스이다. ME(60)가 보통 비디오 압축에서 가장 연산량이 많은 기능이다. 현재 프레임의 각 블록에 대해 가장 유사한 구획의 상대적 위치에 관한 정보(동작 벡터)가 디코더로 전송된다.

움직임 보정부(Motion Compensation, MC)(50)를 거친후에 8x8 블록으로 분할되어서 이들 각각이 변환 코딩부(10), 양자화부(20), 가변 길이 코딩부(Entropy coding)(40)를 결합적으로 이용하여 인코딩한다. 변환 코딩부(10)(DCT)는 잔여 신호의 공간적 중복성을 이용하여 데이터를 압축한다. 양자화부(20)는 인지적 중복성을 제거하고 잔여 신호를 부호화하는 데 필요한 데이터 량을 감소시키고, 가변 길이 코딩부(40)는 잔여 데이터 계수의 통계적 특성을 이용한다. MC(50)를 통한 리던던시 제거 프로세스를 디코더에서 역으로 실행하고 레퍼런스 프레임으로부터 예측한 데이터를, 인코딩한 잔여 데이터와 결합해서 원래의 비디오 프레임을 복원한다.

이러한 동영상 압축 기법의 표준화를 위한 공지된 MPEG/H.26x 비디오 코딩 표준에는 기본적으로 세 가지 타입의 픽처, 즉 I(인트라프레임) 픽처, P(인터프레임) 픽처 및 B(Bi-predictive Inter Frame) 픽처가 존재한다.

I 프레임이라고 하는 소수의 프레임은 다른 프레임을 레퍼런스하지 않고 독립적으로 인코딩된다. 따라서, 에러가 발생할 수 있는 비디오 전송에서 재동기화 포인트로서 이용할 수 있다. 또한, 비디오 편집 및 고속 포워드/백워드 플레이 시 랜덤 액세스 포인트로서 이용될 수 있다. 따라서, 인코더는 주기적으로 혹은 자동으로 요구에 의해 I-프레임을 삽입한다. I-프레임의 처리는 상당히 많은 량의 데이터 비트를 소모하게 된다.

P 프레임은 이전 프레임을 레퍼런스로 해서 MC(50)를 이용해 인코딩된다. 이전의 I-프레임 및 P-프레임을 참조하여 프레임을 부호화 한다. 보통 I-프레임보다 적은 데이터량을 필요로 하지만, 직전의 P-프레임과 I-프레임에 대한 복잡한 의존성으로 인하여 전송오류에 민감한 특성을 가지게 된다.

B 프레임 혹은 양방향 예측 프레임은 이전 프레임뿐만 아니라 현재 프레임 후에 표시될 예정인 프레임 모두를 참조하여 예측한 것이다. B 프레임의 이점의 한 가지가 이전 프레임에서 폐색된 배경 부분을 순방향 예측을 이용해 일치시킬 수 있다는 것이다. 양방향 예측이 순방향 및 역방향 예측을 평균화함으로써 잡음을 줄일 수 있도록 한다. 인코더에 이 기능을 이용하기 위해서는 추가적인 프로세싱이 필요하다. 순방향 및 역방향 예측을 위해 ME를 실시해야 하는데 이것이 모션 예측의 연산 요구를 두 배까지 높일 수 있기 때문이다. 또한, 2개 레퍼런스 프레임을 저장하기 위해 인코더 및 디코더 모두에 있어서 추가적인 메모리(70)가 필요하다. B 프레임 툴이 더 복잡한 데이터 흐름을 필요로 한다. 프레임이 어떻게 포착되고 표시되어야 하는지와 관련해 순서 없이 디코딩되기 때문이다. 이러한 점으로 인해서 지연시간이 증가하므로 일부 실시간에 민감한 애플리케이션에 적합하지 않다. B 프레임이 예측을 위해서는 이용되지 않으므로 일부 애플리케이션에서는 절충이 가능하다. 예를 들어 낮은 프레임 속도 애플리케이션에서는 이후의 I 및 P 프레임 디코딩에 영향을 미치지 않으면서 이들 프레임을 건너뛸 수 있다.

비디오 디코더가 프레임별로 비트스트림을 해독하여 비디오를 복원할 때 해독은 항상 I-프레임으로 시작해야 한다. P-프레임과 B-프레임은 사용될 경우 참조 프레임과 같이 해독되어야 한다.

이와 같이, MPEG등의 동영상부호화에서는, 액세스나 리프레쉬를 위해 주기적으로 I 픽처를 삽입할 필요가 있다. 그러나, I 픽처의 부호량이 많기 때문에, 효율 측면에서 개선할 필요가 있다.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 액세스나 새로고침(refresh)을 위해 필요하지만, 부호화 효율이 낮은 I 픽처의 효율을 개선함에 그 목적이 있다.

본 발명의 다른 목적은 P 픽처와 I 픽처의 상관관계가 높은 경우에만 영상간 처리를 이용하여 부호화 효율을 높이는데 있다.

이를 위하여, 본 발명의 제1 측면에 따르면, 본 발명에 따른 인트라 프레임 처리 장치는 오리지널 P 픽처와, 복호화된 P 픽처를 입력받아 양자화 오차를 계산하는 오차 계산부; 상기 오차 계산부에서 계산된 오차를 이용하여 입력된 영상의 움직임을 보상하는 움직임 보상부; I 픽처가 입력되면, 가산계수를 획득하여 상기 가상계수가 미리 정한 임계값 이상인 경우, 상기 움직임 보상부의 결과값에 적용한 결과값과 상기 I 픽처를 가산하는 가산 계수 적용부; 및 상기 가산 계수 적용부의 출력값을 인코딩하는 인코딩부를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 직전의 P픽처를 참조영상으로 하여 I 픽처의 영상간(inter frame) 처리를 행하여 I 픽처에서 영상 간 처리가 끊기지 않게 되며, I 픽처 예측처리의 효율을 개선하는 효과가 있다.

도 1은 종래의 움직임 보정 기반 비디오 부호화 구성도를 도시한 블럭도이다.
도 2는 일반적인 MPEG GOP 구조를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 GOP 내 각 프레임의 예측처리를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 부호화(encoding) 처리를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 복호화(encoding) 처리를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 가산 계수(additional factor) 처리를 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

본 발명의 일 실시예에 따른 인트라 프레임 처리의 부호화 효율을 높이기 위해, I 픽처를 완전히 독립적으로 예측하는 방법을 이용하지 않고, 영상간 처리를 이용하여 부호화 효율을 높이고자 한다. I 픽처를 이용한 새로고침(Refresh) 기능을 유지시키기 위해, 영상 간 처리는 P 픽처와 I 픽처의 상관관계가 높은 경우에만 행하도록 한다.

본 발명의 일 실시예에 다른 영상 간(inter frame) 처리 방식을 도 3에 나타낸다. 도 3을 참조하면 P, B 픽처의 처리는 종래 예측방안 그대로 사용하고, I 픽처에 대하여 제안처리가 적용됨을 알 수 있다. 이로 인해 I 픽처에서 영상 간 처리가 끊기지 않는 형태로 된다.

직전 GOP의 P 픽처와 현 GOP의 I 픽처의 상관관계가 미리 정해놓은 임계값 이상인 경우, I 픽처에 대한 예측처리시 직전의 P 픽처를 참조영상으로 사용한다.

도 4는 본 발명의 일 실시예에 따른 인트라 프레임 처리에 있어서 인코딩(encoding)에 관한 블럭도이다.

도 4에 도시된 바와 같이, 인코딩 장치(400)는 오차 계산부(410), 움직임 보상부(420), 가산 계수 적용부(430), 인코더부(440)를 포함한다.

오차 계산부(410)는 오리지널 P 픽처와, 복호화된 P 픽처를 입력받아 양자화 오차

를 계산한다.

는 P 픽처의 입력영상

와 로컬 부호화 영상

로부터 수학식 1을 이용하여 구한다.

움직임 보상부(420)는 오차 계산부(410)에서 계산된 오차를 이용하여 움직임을 보상한다.

가산 계수 적용부(430)는 영상 간 상관관계(유사도)를 의미하는 가산계수

를 얻어, 상기 움직임 보상부(420)의 결과값에 적용한다.

이때, 가산계수

는 0 ~ 1.0의 값으로서, 도 6에 도시된 바와 같이, 비교부(610)를 거쳐 I 픽처와 P 픽처와의 차분의 절대치를 얻은 결과값을, 이차원 로우 패스(low-pass) 필터에(620) 입력하여 스무딩한 후에 비선형 변환부(630)를 통해 비선형 변환하여 가산계수

를 얻는다.

즉, 인코딩 장치에서는 수학식 2에 의해 P 픽처의 양자화 오차

가 역상으로 I 픽처의 입력영상

에 가산되어 피부호화영상

로 된다.

여기서

는 화소의 수평·수직 위치,

는 움직임 벡터의 수평·수직성분이다.

는 I와 P의 영상 간 상관관계에 의해 결정되는 가산계수이고,

는 0과 1.0 사이의 값이다.

도 5는 본 발명의 일 실시예에 따른 인트라 프레임 처리에 있어서 디코딩(decoding)에 관한 블럭도이다.

도 5에 도시된 바와 같이, 디코딩 장치(500)는 디코딩부(510), 오차 계산부(520), 움직임 보상부(530), 가산 계수 적용부(540)를 포함한다.

디코딩부(510)는 입력되는 영상을 디코딩하는 장치이다.

오차 계산부(520)는 디코더 측에서는 영상 내 부호화 영상에 대하여, 포스트 처리로서 영상가산이 행해진다. 여기서도 움직인 보상이 행해지지만, 움직임 벡터는 전송되지 않고, 디코더 측에서 별도로 구한다. 이에 의해, 양자화 오차가 상쇄되어, I 픽처 부호화 효율이 개선된다. 가산의 정도는 영상 간 유사도에 의해 화소단위로 조정한다.

가산 계수 적용부(540)는 영상 간 상관관계(유사도)를 의미하는 가산계수

를 얻어, 상기 움직임 보상부(530)의 결과값에 적용한다.

처리에서, I 픽처의 복호영상

는, 새로이 발생하는 양자화 오차를

로 하여 수학식 2에 대입하면 수학식 3을 얻을 수 있다.

여기서

는 화소의 수평·수직 위치,

는 움직임 벡터의 수평·수직성분이다.

는 I와 P의 영상 간 상관관계에 의해 결정되는 가산계수이고, 0에서 1.0의 값으로 한다.

와 로컬 부호화 영상

가 아래 식에 의해 적응 가산되어 I 픽처의 출력영상

를 얻는다.

단,

는 디코더 측의 가산계수이고

는 0과 1.0 사이의 값이다.

가산계수

는, 움직임 보상 후의 영상 간 상관관계(유사도)에 의해 결정되며 0 ~ 1.0의 값으로서, 도 6에 도시된 바와 같이, 비교부(610)를 거쳐 I 픽처와 P 픽처와의 차분의 절대치를 얻은 결과값을, 이차원 로우 패스(low-pass) 필터에(620) 입력하여 스무딩한 후에 비선형 변환부(630)를 통해 비선형 변환하여 가산계수

를 얻는다.

여기서,

와

가 동일하고,

를 1.0으로 하면

는 상쇄되어,

는 수학식 5가 도출된다.

따라서, I 픽처의 양자화 오차

는 최대 반으로 줄게 된다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

410, 520 : 오차 계산부
420, 530 : 움직임 보상부
430, 540 : 가산 계수 적용부
440 : 인코딩부
510 : 디코딩부

Claims (1)

1. 오리지널 P 픽처와, 복호화된 P 픽처를 입력받아 양자화 오차를 계산하는 오차 계산부;
   상기 오차 계산부에서 계산된 오차를 이용하여 입력된 영상의 움직임을 보상하는 움직임 보상부;
   I 픽처가 입력되면, 가산계수를 획득하여 상기 가상계수가 미리 정한 임계값 이상인 경우, 상기 움직임 보상부의 결과값에 적용한 결과값과 상기 I 픽처를 가산하는 가산 계수 적용부; 및
   상기 가산 계수 적용부의 출력값을 인코딩하는 인코딩부
   를 포함하는 인트라 프레임 처리 장치.
   
   

Images