KR100317228B1

KR100317228B1 - 압축영상에대한시각특수효과처리방법

Info

Publication number: KR100317228B1
Application number: KR1019980054166A
Authority: KR
Inventors: 장호욱; 장덕호; 이의택; 문영식; 남기현
Original assignee: 오길록; 한국전자통신연구원
Priority date: 1998-12-10
Filing date: 1998-12-10
Publication date: 2002-02-19
Also published as: KR20000038978A

Abstract

본 발명은 압축된 동영상에 대해 다양한 시각 특수 효과를 주는 시각 효과 필터 및 그 영상처리 기법에 관한 것으로서, 동영상에 시각 특수 효과 처리를 할 때, 복호화 과정을 거치지 않고 압축 영역(DCT or DCT-compressed domain)에서 시각 특수 효과 처리를 하거나, 부분적으로만 복호화한 후 처리하여, 종래 공간 영역(spatial domain)에서 시각 특수 효과 처리를 하는 방법에 비해 더욱 효율적이고, 낮은 자료율(data rate)을 가질 수 있도록 한 것이다.

Description

압축 영상에 대한 시각 특수 효과 처리방법

본 발명은 저장 또는 전송의 목적에 의해 압축된 동영상에 대해 다양한 시각 특수 효과를 주는 영상처리 기법에 관한 것이다.

최근의 동영상 서비스는 화상 회의, 상호 대화식 네트워크 비디오, 비디오 편집 및 멀티미디어 등을 포함한다. 일반적으로 동영상 신호는 데이터베이스에 저장되거나 통신망으로 전송될 때 통신대역폭의 한계 등으로 인해, 획득한 방대한 양의 동영상 데이터를 MPEG 또는 Motion JPEG 등의 방법으로 압축한다. 동영상이 압축된 후에도 화상회의에서와 같이 여전히 영상을 처리해야 할 상황이 발생한다. 그에 따른 일반적인 동영상 조작 기능에는 위치변환, 스케일링, 회전 및 오버랩 등이 있다.

그러나, 종래 기술에서의 동영상 특수 효과 처리 기법은, 압축된 영상을 복호화하여, 공간 영역에서 시각 특수 효과 처리를 한 후, 다시 부호화하여 압축 영역으로 바꾸는 방법이다. 하지만 이 방법은, 복호화 과정에 의해 수행 속도가 느려지고, 두 번의 부호화 과정에 의해 화질이 저하되는 문제점이 있다.

또한, MC(Motion Compensation)-압축 영역에서는 MC 알고리즘 적용 후의 부호화된 데이터이기 때문에, 특수 효과 처리를 위해서는 비압축 영역으로 변환한 후처리해야하고, 출력 영상에서 MC-포맷을 원한다면 다시 계산을 해야 한다. 이는 MC 데이터를 재계산할 때 많은 계산을 필요로 하는 문제점이 된다.

따라서, 본 발명에서는 상기와 같은 문제점을 해결하기 위해서 동영상에 시각 특수 효과 처리를 할 때, 복호화 과정을 거치지 않고 압축 영역(DCT(discrete cosine transform; 불연속 코사인 변환) or DCT-compressed domain)에서 시각 특수 효과 처리를 하거나, 부분적으로만 복호화한 후 처리함으로써, 복호화한 후 공간 영역(spatial domain)에서 시각 특수 효과 처리를 하는 종래의 방법에 비해 낮은 자료율을 가지게 하는데 하나의 목적이 있고, 또한 MC-압축영역에서는 MC 데이터를 재계산함으로써 생기는 많은 계산을 피하기 위해, MC를 재계산해야 하는 블록의 개수를 줄이고, 새로운 움직임 벡터를 추론에 의해 구하는데 다른 목적이 있다.

도 1은 종래 기술에 따른 MC-DCT 기반한 압축 시스템의 구성도,

도 2는 영상을 오버랩핑 시키는 과정을 나타낸 도면,

도 3은 영상의 블록을 새로운 블록구조에 맞추어 재조합하는 과정을 나타낸 도면,

도 4는 하위 블록을 추출하여 특정위치로 옮기기 위한 행렬 곱셈을 나타낸 도면,

도 5는 행렬 곱셈을 시용하여 새로운 블록을 생성하는 과정을 나타낸 도면,

도 6은 MC-DCT 영역에서 비디오 합성시 문제점을 나타낸 도면,

도 7은 DCT 영역에서 MC-DCT 압축 영상 처리를 나타낸 도면.

〈도면의 주요 부분에 대한 부호의 설명〉

1 : 움직임 예측(ME) 2,11,26 : 프레임 메모리(Frame Memory)

3,14,15 : 불연속 코사인 변환(DCT)

4,10 : 역 DCT(IDCT) 5,24 : 양자화(Q)

6,9,22,27 : 역 양자화(Inv Q) 7 : 가변길이 코딩(VLC)

8 : 역 가변길이 코딩(IVLC) 12 : 전경(Foreground)

13 : 배경(Background) 16,17 : 곱셈연산

19 : 오버랩핑된 영상 20,21 : 행렬 곱셈

23 : 역 움직임 보상 DCT(Inverse Motion Compensation DCT)

이하, 본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 종래 기술에 따른 MC-DCT에 기반한 압축 시스템의 블록도이고, (a)는 부호화기이고, (b)는 복호화기이다. 도 2는 영상을 오버랩핑 시키는 과정을 나타내고 있으며, 도 3은 압축 영상을 임의의 위치로 이동할 때 기존의 블록과 매칭이 안될 경우 블록을 새로운 구조에 맞추어 재조합 하는 방법을 보여주고 있다. 도 4는 하위블록을 추출하여 특정 위치로 옮기기 위한 행렬 곱셈을, 도 5는 행렬곱셈을 사용하여 새로운 블록을 생성하는 과정을, 도 6은 MC-DCT 영역에서 비디오 합성시의 문제점을, 도 7은 DCT 영역에서 MC-DCT 압축 영상 처리를 보여주고 있다.

도 1에 도시된 바와 같이, 입력 영상은 작은 블록으로 나누어지고, 각 블록은 움직임 보상되고 DCT 계수로 변환된다. 움직임 예측(Motion Estimation)(1)회로는 최적의 참조 블록을 찾고 움직임 벡터를 출력한다. DCT 계수는 양자화(5)되고 0의 중복성을 최소화하기 위해 실행 길이 코딩(Run Length Coding)을 한 후 Huffman 코드와 같은 가변 길이코딩(Variable Length Coding)(7)을 한다. 인트라-프레임 코딩(Intra-frame coding)만을 사용할 경우 움직임 예측(Motion Estimation)(1)회로는 필요치 않다. DCT 혹은 DCT-압축 영역이란, 복호화기의 역양자화(Inverse Quantization)(9) 과정에서 얻을 수 있는 양자화된 DCT 계수를 말한다. 동영상 신호는 원 영상 데이터에 DCT(3)를 적용하거나 MC-DCT로 부호화된 비디오를 부분적으로 복호화하여 DCT 영역으로 변환할 수 있다. MC 혹은 MC-압축 영역은 MC 알고리즘 적용 후의 부호화된 데이터 포맷을 말한다. MC 영역에서는 기본적으로 움직임 벡터와 예측 오차가 있다.

도 2는 압축 영상에 대한 다양한 시각적 특수효과, 오버랩핑, 클리핑(Clipping), 트랜스레이션(Translation), 블러링(Blurring)의 일예로서, 영상을 오버랩핑시키는 과정을 나타낸다.

그 영상을 오버랩핑 시키는 방법에는 불투명한 오버 랩핑과 반투명한 오버랩핑이 있다. 불투명한 오버 랩핑은 배경(Background)을 전경(Foreground)으로 대체시키는 것이고, 반투명한 오버 랩핑은 배경과 전경이 적절한 비율로 조합되는 것이다. Pa(12)를 전경의 블록, Pb(13)를 배경의 블록이라 하면, DCT 영역에서의 오버랩핑은 상기 블록을 DCT한 후 DCT(P_a)(14)에는 투명도의 계수 α를 곱하고(17),DCT(P_b)에는 (1-α)를 곱하여서(16) 전경과 배경의 두 블록을 가산기(18)를 통해 더하면 된다. 이는 도 1에서 역양자화(9)된 DCT계수에 (16),(17),(18)과정을 직접 적용함으로써, 영상을 복호화 하는 과정없이 낮은 자료율로 오버랩핑을 수행한다. 따라서, 오버랩된 영상(P_new)(19)을 출력한다.

도 3은 압축 영상을 임의의 위치로 이동시킬 때 블록 단위가 아닌 화소 단위로 이동을 함으로써 생기는 두 영상의 블록의 불일치를 없애기 위해 블록을 재조합하는 과정을 보여준다.

영상 B의 블록(점선)을 영상 A의 블록(실선) 구조에 맞추어 재조합 할 경우, 영상 B의 새로운 영상 블록 B'은 이웃한 블록 B₁, B₂, B₃, B₄의 하위 블록 B₁₃, B₂₄, B₃₁, B₄₂로 이루어진다. B'을 구성하는 하위 블록들을 DCT 영역에서는 그대로 가져와 적용할 수 없고, 각각의 하위 블록에 DCT를 수행한 후, 하위 블록들을 합하게 된다. 즉 DCT(B') = DCT(B13) + DCT(B24) + DCT(B31) + DCT(B42)와 같이 재조합하게 된다.

도 4는 도 3에서 필요한 하위 블록을 추출해 내는 방법에 관한 것이다.

I_h와 I_w는 그 크기가 h×h, w×w인 단위 행렬이다. 도 4에서 과정(20)과 (21)은 행렬 곱셈을 의미한다. DCT와 같은 직교 변환은 행렬 연산에 있어서 분배법칙[DCT(AB) = DCT(A)DCT(B)]이 성립하므로 새로운 블록 B'은 도 5에서와 같이 구할 수 있다.

도 5는 상기 분배법칙에 의해 유도된 식[DCT(B_i2)= DCT(H_i1) DCT(B_i4) DCT(H_i2)]에 의해 B'을 재조합하는 과정을 보여주고 있다.

도 1에서 역양자화(9)된 DCT계수와 미리 H₁₁, H_12,H_21,H_22,H₃₁, H_32,H₄₁, H₄₂의 DCT된 값을 가지고 있다면, 화소 단위로 위치 이동을 할 때 생기는 불일치를 없애기 위해 새로운 블록을 생성하는 과정을 빠르게 수행할 수 있다.

상기 시각 특수 효과 의 한 예로서, 페이드-인/아웃(Fade in/out)효과를 DCT 영역에서 처리할 수 있으며, 다른 예로서는 블러링(Blurring), 선형 필터링(Linear Filtering)등의 방법으로 시각 특수 효과를 DCT 영역에서 처리할 수 있는 것이다. 영상을 주파수 영역으로 변환하면, 에지 성분과 같은 영역은 고주파 영역으로 모이고, 변화가 심하지 않은 표면 정보는 저주파 영역으로 모인다는 점을 사용해, 로우패스필터를 각 DCT 블록에 적용함으로써 블러링 효과를 얻을 수 있다.

선형 필터링의 경우 Y를 출력 영상이라고 하고, X_i를 입력영상, H_i를 필터 계수라 할 때, 행렬에 대한 곱셈 분배법칙이 성립하므로 압축된 영상 DCT(Y)는 X_i와 H_i를 각각 DCT하여 공간영역에서의 필터링과 같이 구하면 된다.

페이드 인/아웃 효과는 출력되는 영상의 값을 검은색이나, 흰색 혹은 특정색으로 귀속되게 한다. 이 효과는 DCT계수를 바꿈으로써 수행될 수 있다. 귀속될 색을 C_k라 하고, k는 채널을, n은 전체 프레임수라 하고 N을 DCT 블록의 크기라 하면 매 프레임마다 증가되는 값 ΔI_k= N*C_k/n이 된다. 일반적으로 MPEG의 경우I₀B₁B₂P₃B₄B₅P₆B₇B₈와 같은 순서를 갖고 I/P 비율이 3(=M)이므로, I 프레임은 F'_k= F_k+ I*I_k, P 프레임은 F'_k= F_k+ M*I_k, B 프레임은 F'_k= F_k+ mod(I,M-1)*I_k에 의해 페이드(Fade) 효과를 줄 수 있다.

도 6은 DCT 영역이 아닌 MC-DCT영역에서 위에서와 같은 영상처리를 적용할 경우의 문제점을 보여주고 있다. 영상의 크기를 반으로 줄일 경우 새로운 블록은 4개의 원 블록에서부터 생긴다. 이때 원 블록은 각각 다른 움직임 벡터를 가질 것이므로, MC 영역에서 새로운 예측 오차를 구하기 힘들다. 그러므로 MC로 부호화된 영상은 복호화 과정이 필요하다.

도 7은 압축 영상을 DCT 영역으로 부분적으로 복호화를 수행한 후, DCT 영역에서 원하는 처리를 수행하는 과정을 보여준다.

MC 영상의 복호화 및 부호화 과정에서는 많은 계산을 필요로 하기 때문에, 본 방법은 MC의 재계산을 줄이기 위해 MC를 재계산해야 하는 블록의 개수를 줄이고, 새로운 움직임 벡터를 추론에 의해 구한다. P_rec을 복원된 영상이라 하고, e 를 예측 에러, d를 움직임 벡터라 하면, DCT( P_rec(t,x,y)) = DCT(e(t,x, y))+DCT(P_rec(t-1,x-dx,y-dy))(20)에 의해 DCT 영역으로 복호화된 값을 구할 수 있고, DCT(e(t,x,y)) = DCT(P_rec(t,x,y))-DCT(P_rec(t-1,x-d'x,y-d'y))(22)에 의해 예측 오차를 구할 수 있다.

이상과 같은 본 발명은 압축된 영상을 복호화 하지 않고 DCT 영역에서 시각 특수 효과 처리를 하면 종래의 방법에 비해 계산량을 줄일 수 있고, 상기 시각 특수 효과들을 조합함으로써, 여러 다른 시각 특수효과들을 개발할 수 있다.

또한, MC 영역에서는 상기 방법을 적용할 수가 없으므로 복호화와 부호화가 필요하게 되는데, 이때 변화가 일어날 부분에 대해서만 복호화 및 부호화를 적용하고, 새로운 움직임 벡터를 추론에 의해 구함으로써 많은 계산량을 줄일 수 있다.

Claims

압축된 동영상 처리방법에 있어서,

입력되는 압축 영상을 복수의 블록으로 분할하는 단계;

상기 분할된 각각의 블록 영상을 DCT변환하는 단계;

상기 DCT변환된 각각의 블록 영상에 서로 다른 투명 계수를 곱하는 단계;

상기 투명계수가 각각 곱해진 블록 영상을 가산하는 단계를 포함하는 압축 영상에 대한 시각 특수효과 처리방법.
제 1 항에 있어서,

상기 분할된 영상 블록을 다시 복수의 블록으로 분할하고, 분할된 블록의 이웃한 블록을 각각 추출하는 단계;

상기 추출된 각각의 블록에 대한 하위 블록을 결정한 후, 결정된 각각의 하위 블록을 DCT 변환하는 단계;

상기 DCT변환된 각각의 블록을 가산하는 단계를 포함하는 압축 영상에 대한 시각 특수 효과 처리방법.
제 1 항 또는 제2항에 있어서,

상기 가산 방법은, 오버랩핑, 클리핑, 트랜스레이션, 블러링, 선형 필터링중 어느 하나를 사용하는 것을 특징으로 하는 압축 영상에 대한 시각 특수 효과 처리방법.
제 2 항 또는 제 3 항에 있어서,

상기 트랜스레이션을 하는 경우, 행렬의 곱셈 연산을 이용하여 영상 블록을 가산하는 것을 특징으로 하는 압축 영상에 대한 시각 특수효과 처리방법.