KR20040063650A

KR20040063650A - 비디오 코덱의 리사이징 시스템

Info

Publication number: KR20040063650A
Application number: KR1020030001144A
Authority: KR
Inventors: 신건식; 강문기; 윤경로; 이은실
Original assignee: 엘지전자 주식회사
Priority date: 2003-01-08
Filing date: 2003-01-08
Publication date: 2004-07-14

Abstract

본 발명은 비디오 리사이징(Video Resizing)에 관한 것이다.

본 발명은 입력 비디오를 DCT변환하고 DCT 계수를 양자화한 다음, 양자화된 DCT 계수값을 데시메이션(Decimation) 처리한다. 그리고 계수 재배열을 수행하여 DCT 영역에서 리사이징을 바로 수행한다. 또한, 채널을 통해서 전송된 비디오를 입력으로 하여 보간 후 계수 재배열을 수행함으로써 DCT 영역에서 비디오 리사이징이 이루어지도록 하고, 이를 역양자화, 역DCT 변환하여 비디오 디코딩을 수행한다. 본 발명은 공간 영역에 의존하지 않고 DCT 영역에서 비디오 리사이징을 수행하기 때문에 시스템 복잡성의 개선, 처리 시간 감소, 열화 현상 감소를 가능하게 하며, 높은 압축율을 얻을 수 있다.

Description

비디오 코덱의 리사이징 시스템{VIDEO RESIZING SYSTEM OF VIDEO CODEC}

본 발명은 비디오 코덱(CODEC)에서 DCT를 기반으로 하여 이미지나 동영상을 DCT 영영에서 확대시키거나 또는 축소시키는 비디오 리사이징(resizing) 시스템에 관한 것이다.

최근의 비디오 압축 코덱인 JPEG이나 MPEG, H.26x 등은 DCT(Discrete Cosine Transform:이산 코사인 변환)를 기반으로 비디오를 압축하는 알고리즘을 사용한다.

도1은 비디오 코덱에서 이루어지는 비디오 인코딩 및 디코딩 과정을 도식적으로 나타낸 블록도로서, 정지 영상의 대표적인 표준인 JPEG의 인코딩 및 디코딩 과정의 개괄적인 도면이다. 도1에서 살펴보면 원 영상은 먼저 8 ×8의 작은 영상으로 나누어진 다음 DCT 변환하게 된다. 영상의 활용도에 따라 DCT 영역에서 양자화 과정을 통해 압축이 된 다음 엔트로피 인코딩(Entropy Encoding)에 의해 비트 스트림(bit stream)으로 바뀌게 된다. 이러한 비트 스트림(bit stream)이 실제로 전송 채널을 통과하게 되고 디코더 단에서는 인코더 단과 반대의 과정을 거쳐 원 영상을 복원하게 된다.

이 과정을 보다 더 상세하게 살펴보자.

원 영상(source image data)(8 ×8 block)(101)은 DCT기반 인코더(102)의 FDCT(103)에 입력되어 DCT 변환되고, DCT 변환된 계수들이 양자화부(104)에 입력되어 양자화된다. 양자화된 DCT 계수는 엔트로피 인코더(105)에 입력되어 압축 부호화되며 이 때 양자화 및 코딩 테이블(106)을 참조하여 양자화 및 엔트로피 인코딩이 이루어진다. 압축 부호화된 비트 스트림(107)은 전송 채널(108)을 통해서 수신단으로 보내진다. 상기 전송 채널(108)을 통해서 수신된 비트 스트림(109)은 DCT 기반 디코더(110)의 엔트로피 디코더(111)에 입력되어 디코딩되고, 이어서 역양자화부(112)에 의해서 역양자화된다. 이 때 역양자화 및 디코딩 테이블(113)을 참조하여 상기 압축 부호화된 비트 스트림이 디코딩 및 역양자화되고, 역양자화된 데이터는 IDCT(114)에서 역DCT 변환됨으로써, 재구성된 영상(reconstructed image data)(115)을 얻게 된다.

이와 같이 DCT라는 새로운 변환 영역에서 인코딩 및 디코딩 알고리즘을 수행하게 되므로 이미 코덱에 의해 압축된 영상을 리사이징하고자 할 때 복잡한 과정을 거치게 된다. 즉, DCT변환 영역의 영상을 역변환을 하여 다시 공간 영역으로 오고 여기서 기존의 공간 영역에서 사용하는 여러 가지 리사이징 기법을 활용하게 된다. 그리고 채널을 통해 전송할 때에는 다시 변환 영역의 영상이어야 하므로 DCT 변환을 다시 사용하여 상기 리사이징된 비디오를 변환 영역으로 변환하게 된다.

따라서, 이런 종래의 리사이징 시스템은 다음과 같은 여러 가지 문제점이 있다.

첫째로, 시스템이 복잡해지는 문제점이 있다. 전송 알고리즘에 직접적인 영향을 끼치지 않는 역변환과 변환 과정이 들어가게 되므로 데이터를 처리하는 시간이 오래 걸리게 된다.

둘째로, 역변환과 변환의 과정이 이론적으로는 무손실(lossless) 시스템이지만 실제적으로 사용할 때는 계산 속도를 빠르게 하기 위해 손실 시스템으로 구성하게 된다. 따라서 불필요한 역변환과 변환의 과정을 반복하게 된다면 오차가 누적되는 현상이 발생하고 이는 화질 저하로 나타난다.

세 번째로, 변환 영역에서만 처리하는 것이 아니라, 기본적인 리사이징 알고리즘은 공간 영역을 기반으로 하여 이루어지므로 공간 영역에서도 영상을 담을 저장공간이 필요하게 된다. 이것은 추가의 메모리를 필요하게 되어 시스템의 크기를 크게 한다.

마지막으로, 실제로 DCT를 기반으로 하는 대부분의 압축 표준에서는 영상을작은 크기의 영상으로 나누어 처리하게 되는데, 리사이징 역시 각각의 작은 영상에 대해 독립적으로 수행하게 되므로 공간 영역에서의 리사이징 방법은 필연적으로 경계 효과(boundary effect)를 초래한다. 따라서 각각의 작은 영상에서 발생한 경계 효과는 전체 영상에서 보면 마치 블럭화 현상(blocking artifact)이 발생한 것처럼 보이게 된다. 즉, DCT로 인한 압축으로 인해 생기는 블록화 현상 외에, 공간 영역을 기반으로 하는 리사이징을 사용함으로써 추가적으로 블럭화 현상을 일으키게 되는 것이다.

본 발명은 DCT에 기반한 이미지 코덱에서 리사이징을 수행할 때 공간 영역에 의존하지 않고 DCT 영역에서 바로 리사이징을 수행함으로써 시스템의 복잡성은 물론 처리 시간, 열화 현상을 줄이는 동시에 추가적으로 더욱 높은 압축율을 얻을 수 있는 비디오 코덱의 리사이징 시스템을 제공함을 목적으로 한다.

본 발명의 또 다른 목적은 DCT를 기반으로 하는 비디오(이미지/동영상) 부호화에 있어서, 이미지/동영상을 DCT 영역에서의 연산을 통하여 그 크기를 축소시키는 비디오 코덱의 리사이징 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 DCT를 기반으로 하는 비디오(이미지/동영상) 부호화에 있어서, 이미지/동영상을 DCT 영역에서의 연산을 통하여 그 크기를 확대하는 비디오 코덱의 리사이징 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 DCT를 기반으로 하는 비디오(이미지/동영상) 부호화에 있어서, 고주파 개선을 위하여 확장된 비디오 코덱의 리사이징 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 통신선상에서의 전송 효율을 위하여 원 이미지/동영상을 DCT를 기반으로 하는 부호화 기기를 이용하여 부호화하는 과정에서 DCT 영역에서의 연산을 통하여 크기를 축소시켜 전송하고, 전송 받은 이미지/동영상을 DCT 영역에서의 연산을 통하여 원래의 크기로 복원시키는 방법 및 이러한 방법을 이용한 정지/동영상 통신 기기를 제공하는데 있다.

본 발명의 또 다른 목적은 DCT를 기반으로 하는 비디오(이미지/동영상) 부호화에 있어서, 고주파 개선을 위하여 확장된 기법의 부호화/복호화를 사용하는 정지/동영상 통신 기기를 제공하는데 있다.

도1은 JPEG의 인코딩 및 디코딩 과정을 도식적으로 나타낸 블록도

도2는 본 발명의 리사이징 과정을 도식적으로 나타낸 블록도

도3은 본 발명의 리사이징 시스템에서 비디오 크기를 줄이는 과정을 도식적으로 나타낸 도면

도4는 본 발명의 리사이징 시스템에서 비디오 크기를 확대시키는 과정을 도식적으로 나타낸 도면

도5는 본 발명에서 QF(Quality Factor)=30일 때의 레나(Lena) 영상에 대한 리사이징 실험 이미지의 예를 나타낸 도면

도6은 본 발명에서 QF(Quality Factor)=70일 때의 레나(Lena) 영상에 대한 리사이징 실험 이미지의 예를 나타낸 도면

도7은 본 발명에서 QF(Quality Factor)=30일 때의 쇼핑(Shopping) 영상에 대한 리사이징 실험 이미지의 예를 나타낸 도면

도8은 본 발명에서 QF(Quality Factor)=70일 때의 쇼핑(Shopping) 영상에 대한 리사이징 실험 이미지의 예를 나타낸 도면

도9는 본 발명에서 부모(parent)-자식(children) 계수간의 관계를 나타낸 도면

도10은 본 발명에서 평균 고주파 에너지(Average High Frequency Energy)를 고려한 최적 임계치(Optimal Threshold Value)를 구하는 실험 예를 나타낸 도면

도11은 본 발명에서 QF(Quality Factor)=30일 때의 레나(Lena) 영상에 대한 확장된 리사이징 실험 이미지의 예를 나타낸 도면

도12는 본 발명에서 QF(Quality Factor)=70일 때의 레나(Lena) 영상에 대한 확장된 리사이징 실험 이미지의 예를 나타낸 도면

도13은 본 발명에서 QF(Quality Factor)=30일 때의 쇼핑(Shopping) 영상에 대한 확장된 리사이징 실험 이미지의 예를 나타낸 도면

도14는 본 발명에서 QF(Quality Factor)=70일 때의 쇼핑(Shopping) 영상에 대한 확장된 리사이징 실험 이미지의 예를 나타낸 도면

도15는 본 발명에 따른 영상통신 기기에서 송신기의 블록도

도16은 본 발명에 따른 영상통신 기기에서 수신기의 블록도

상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은, DCT를 기반으로 하여 이미지/동영상을 부호화 및/또는 복호화함에 있어, 취득한 이미지/동영상을 DCT 영역에서의 연산을 통하여 그 크기를 확대 및/또는 축소시키는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은 입력 이미지/동영상을 DCT 변환하는 단계, 상기 DCT 변환된 영상을 데시메이션(decimation)하는 단계, 상기 데시메이션 후 그 영상의 DCT계수들을 재배열하는 단계를 포함하여 입력 영상의 크기를 축소시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법이다.

또한 상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은 DCT를 기반으로 하여 부호화된 입력 이미지/동영상의 DCT 계수들을 보간(interpolation)하는 단계, 상기 보간된 영상의 계수들을 재배열하는 단계, 상기 재배열된 영상을 역DCT 변환하는 단계를 포함하여 그 크기를 확대시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법이다.

또한 상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은 입력 이미지/동영상을 DCT 변환하는 단계, 상기 DCT 변환된 영상을 데시메이션하는 단계, 수신단의 화질 보상을 위하여 제공할 상기 DCT 변환된 영상의 고주파 계수들을 추출하는 단계, 상기 데시메이션 후 그 영상의 DCT계수들을 재배열하는 단계를 포함하여 입력 영상의 크기를 축소시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법이다.

또한 상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은 DCT를 기반으로 하여 부호화된 입력 이미지/동영상의 DCT 계수들을 보간하는 단계, 상기 보간된 영상을 화질 보상을 위한 고주파 계수들을 고려하여 재배열하는 단계, 상기 재배열된 영상을 역DCT 변환하는 단계를 포함하여 그 크기를 확대시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법이다.

또한 상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은 전송할 이미지/동영상을 취득하기 위한 영상 취득수단, 상기 취득한 영상을 DCT 변환하는 DCT 변환수단, 상기 DCT 변환된 영상을 데시메이션한 후 DCT 계수를 재배열하는 축소수단과, 상기 축소된 영상을 인코딩하는 인코딩 수단 및, 상기 인코딩된 영상신호를 전송하는 전송수단을 포함하여 이루어지는 것을 특징으로 하는 이미지/동영상 통신기기이다.

또한 상기 본 발명의 이미지/동영상 통신기기에서, 상기 축소수단에 의한 영상 축소과정에서 사라진 DCT 행렬의 고주파 계수들의 일부를 추출하여 상기 압축 부호화된 축소 영상신호와 함께 전송할 수 있도록 해주기 위한 고주파 추출수단을 더 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 비디오 코덱의 리사이징 시스템은 영상신호 수신을 위한 수신수단, 상기 수신된 영상신호의 디코딩을 위한 디코딩수단, 상기 디코딩된 영상의 DCT 계수를 보간 후 재배열하는 확대수단, 상기 확대된 영상신호를 역DCT 변환하는 IDCT수단 및, 상기 IDCT된 영상신호를 표시하기 위한 디스플레이수단을 포함하여 이루어지는 것을 특징으로 하는 이미지/동영상 통신기기이다.

또한 상기 본 발명의 이미지/동영상 통신기기에서, 상기 확대수단의 DCT 계수 재배열은, DCT 행렬의 고주파 계수들을 고려하여 이루어지는 것을 특징으로 한다.

도2는 본 발명의 비디오 코덱의 리사이징 시스템에 따른 리사이징 과정을 도식적으로 나타낸 도면이다.

인코더 단에서는 영상신호를 DCT 변환, 양자화(quantization), 데시메이션(decimation), 계수 재배열(coefficient rearrangement) 등의 신호처리를 하여 디코더단으로 전송해 준다. 즉, 원 영상(x:200)이 입력되면 DCT부(201)에서는 입력된 영상신호를 이산 코사인 변환(DCT)하고, DCT 변환된 영상신호(201a)는양자화부(202)에 입력된다. 양자화부(202)는 입력된 DCT 계수를 양자화하고, 양자화된 영상신호(202a)는 데시메이션부(203)에 입력되어 영상의 크기가 줄어들고, 축소된 영상(203a)은 계수 재배열부(204)에 의해서 계수가 재배열된다. 계수 재배열된 영상신호(204a)는 전송채널(205)을 통해서 전송된다.

전송채널(205)을 통해서 전송된 영상신호는 디코더단에서 수신하여 보간(Interpolation), 계수 재배열, 역양자화, 역DCT 등의 신호처리를 수행하여 원 영상을 복원한다. 즉, 전송채널(205)을 통해서 수신된 영상신호(205a)는 보간부(206)에 의해서 보간 처리된 다음, 보간 처리된 영상신호(206a)는 계수 재배열부(207)를 통해서 계수 재배열이 이루어지고, 계수 재배열된 영상신호(207a)가 역양자화부(208)에서 역양자화되고, 역양자화된 영상신호(208a)는 IDCT부(209)에 의해서 역 DCT 변환되어 원 영상(209a)으로 복원된 영상신호(x')를 출력하게 된다.

상기 도2에 나타낸 본 발명의 리사이징 시스템을 JPEG 코덱의 경우와 비교해 볼 때 인코더 뒷단에 데시메이션부와 계수 재배열부 두 개, 디코더 앞단에 보간부와 계수 재배열부 등 각각 두 개의 시스템이 더 추가되어 있음을 볼 수 있다. 도 2는 영상의 리사이징을 이용해 영상의 크기 변화 없이 압축율을 더 높일 수 있는 경우를 보여주고 있는 것이다. 만약 영상의 크기를 줄이고 싶다면 추가적으로 들어간 디코더 단의 두 시스템(보간부 및 계수 재배열부)을 없애면 되고, 영상의 크기를 늘이고 싶다면 추가적으로 들어간 인코더 단의 두 시스템(데시메이션부 및 계수 재배열부)을 없애면 된다. 인코더 단의 계수 재배열 시스템은 RLE(Run-Length Encoding)에 의해 추가적으로 압축 효율을 얻기 위한 것이며, 디코더 단의 계수 재배열 과정은 코덱에서 요구하는 영상 크기 조건을 만족하기 위한 것이다.

지금부터 본 발명에 따른 DCT 영역 기반의 비디오 리사이징 방법을 설명한다.

[1]. 영상의 크기를 줄일 경우

DCT 영역에서 영상의 크기를 줄이는 과정은 도 3과 같다. x는 입력 영상이고, Y₁은 데시메이션을 취한 후의 블록이며, Y₂는 DCT 계수 재배열이 이루어진 영상이다. 상기 영상의 크기를 줄이는 과정은 DCT 영역에서 이루어지며, 입력 영상을 축소된 DCT 영상으로 만들기 위하여 행렬 F를 고려한다.

즉, 다음과 같이 정의되는 행렬 F는 행렬 X를 행렬 Y₁으로 만드는 역할을 하며, 그 형태는이다. 이 때는 전체 에너지를 보존하기 위해서 개입되었다. 따라서 상기 행렬(F)을 고려할 때 입력 영상에 대한 출력 영상의 관계는,으로 표현될 수 있고, 이와 같이 Y₁에서 Y₂로 바꾸기 위해서는 역변환과 변환의 과정이 필요하다.

Y₁과 Y₂는 DCT 영역에서는 다른 모양을 가지고 있지만 둘의 공간 영역에서의 모양은 정확히 같다. 따라서 Y₁을 Y₂로 바꾸기 위해서는 공간 영역으로 이동한 뒤, 다시 적절하게 DCT 변환하여 Y₂로 변화시키면 된다.

즉,이며, 이때 C₈은 8 ×8 DCT 변환이고,C_4^-1은 4 ×4 DCT 역변환을 나타낸다. 그리고 PHI는 제로 매트릭스이고, C_8^t는 트랜스포즈(transpose)를 표현한다.

따라서 행렬만 가지고 있으면 공간 영역으로 갈 필요없이 DCT 영역에서 바로 Y₁에서 Y₂로 변화시킬 수 있다. 정리하면, 다음과 같은 행렬을 가지고 있으면 DCT 영역에서 바로 영상의 크기를 줄일 수 있다.

[2]. 영상의 크기를 늘일 경우

영상의 크기를 늘이는 경우 역시 줄이는 경우와 비슷한 과정을 거친다. 도 4는 영상 크기를 늘이는 과정을 보여 준다. x는 입력 영상이고 Y₁은 보간을 통해서 확대된 영상이며 Y₂는 최종적으로 확대 복원된 영상이다. 이와 같이 영상의 크기를 늘이기 위해서 행렬(G)을 고려한다. 여기서 행렬 G는 행렬 X를 행렬 Y₁으로 만드는 역할을 하며, 다음과 같은 모양을 가지고 있다.

. 여기서도 앞서 기술한 바와 같이, root2는 에너지를 유지하기 위해 개입되었다.

상기 행렬(G)을 고려할 때 Y_1 = GXG^t 이므로, 코덱의 요구조건을 맞추기 위해서는 행렬 Y₁에서 Y₂로 계수 재배열을 수행해야 한다.

즉,로 정리할 수 있는데, 여기서 C₈은 8 ×8DCT 변환을 나타내고, C_16^-1은 16 ×16 DCT 역변환을 나타낸다. 결국, 앞서 기술한 영상을 줄일 때와 같이 다음의 하나의 행렬만 갖고 있으면 DCT 영역에서 바로 리사이징을 수행할 수 있게 된다.

도 5 내지 도 8은 Lena 영상과 Shopping 영상에 대해서 Quality Factor(QF)를 QF=30, QF=70으로 각각 달리하였을 경우의 실험 결과를 나타낸 것이다.

[3]. 확장된 리사이징 방법(Extended Algorithm)

앞서 기술한 바와 같이 기본 알고리즘을 적용하면 영상의 크기를 4배로 줄여 대략 두 배의 압축 효율을 얻을 수 있다. 그러나 고주파가 많은 영상의 경우에는 앞서 기술한 바와 같이 고주파 정보를 잃게 되기 때문에 원형 효과(ringing artifact)나 블록화 현상(blocking artifact)을 일으키게 된다. 이와 같은 단점을 보완하기 위해 가장 적은 비트(bit)를 추가로 사용함으로써 잃어버렸던 고주파 정보를 다시 복원하는 방법이 바로 본 발명의 확장된 리사이징 방법이다.

본 발명의 확장된 리사이징 방법은 DCT 계수들 상호간에 부모 - 자식(parent-children)의 관계를 설정함으로써 인덱스(index)를 코딩해야 하는 점을 없앴다. 도 9는 본 방법에서 사용한 부모(parent)와 자식(children) 계수간의 관계를 보여주고 있다.

도9에서 보면, 부모는 저주파의 4개의 계수만을 사용하였는데, 이는 중간 주파수 부분의 16개의 계수만을 복원하기 위한 것이다. 고주파의 나머지 계수들은 복원을 하더라도 영상의 질에 크게 영향을 끼치지 못함을 실험적으로 확인하였다. 그리고 자식에 해당하는 모든 계수들은 각각 2비트를 할당하였다. 1비트는 부호 비트, 1비트는 크기 비트로 사용하므로 나타낼 수 있는 수는 -1, 0, 1이다. 따라서 코딩(혹은 인코딩)할 블록이 확장된 알고리즘을 거치게 된다면 추가적으로 필요한 비트 수는 총 4(부모 계수의 수) ×5(각 부모 계수가 맡은 자식 계수의 수) ×2(각 자식 계수를 표현하는데 드는 비트 수)= 40비트이다.

이제 남은 과정은 각 블록에 기본 알고리즘을 적용할 것인지, 확장 알고리즘을 적용할 것인지 결정하는 것이다. 영상의 경계나 텍스쳐(texture)와 같은 고주파 정보가 많은 블록에 대해서는 확장 알고리즘을 사용하고, 물체의 내부나 배경과 같은 비교적 저주파 정보가 강한 블록에 대해서는 기본 알고리즘을 적용해야 한다. 본 알고리즘에서는 오직 DCT 영역에서만 동작하므로 경계를 찾는 기준 역시 DCT 영역을 기반으로 해야 한다. 다음의 식1은 본 발명의 확장된 리사이징 방법에서 기본 알고리즘을 적용할 것인지 혹은 확장된 알고리즘을 적용할 것인지를 결정짓는 방법을 표현한다.

여기서, HFE는 고주파 에너지(High Frequency Energy)의 약자이다. 이제 각 블록에 대해서 HFE를 계산해서 이 값이 임계값보다 크면 확장된 리사이징 알고리즘을 적용하고, 그렇지 않으면 기본 알고리즘을 적용한다. 임계값은 다음과 같은 식에 의해 각 영상마다 고유하게 정해진다. 먼저 평균 고주파 에너지(AHFE)를 다음의 식2와 같이 계산한다.

여기서 N은 영상의 총 블록 수이다. 다음에는 이 값을 아래의 식3에 대입하여 임계값을 구하게 된다. 아래의 식은 여러 가지 차수의 다항식을 나타낸다.

여기서 x는 AHFE를 나타낸다. 도 10은 모두 18개의 표준 영상(standard images)에 대해 실험함으로써 위와 같은 식을 이끌어 내는 것을 보여준다. 즉, AFHE와 최적 임계치(Optimal Threshold)에 대해서 보여주고 있다. 도 11 내지 도 14는 Lena 영상과 Shopping 영상에 대해서 Quality Factor(QF)를 달리하였을 경우의 확장된 리사이징 알고리즘 적용 이미지의 실험 결과를 나타낸 것이다.

[4]. 정지/동영상 통신기기

본 발명에서 제안된 알고리즘을 이용하여 정지/동영상 통신기기를 구성할 수 있다. 일반적으로 정지/동영상 통신기기는 도15에 도시된 바와 같이 카메라로 영상을 취득하고, 카메라를 통하여 들어온 광학신호를 센서를 통하여 전기신호로 변환시킨 후, 이를 다시 디지털 영상으로 변환시킨다.

변환된 디지털 영상은 통신의 효율을 위하여 JPEG, MPEG, H.26x 등과 같은DCT 변환 기반의 압축기법을 사용하여 디지털 비트 스트림으로 전환된다. 이렇게 전환된 압축된 스트림은 전송부를 통하여 상대방/수신자에게 전송된다.

도15에 나타낸 바와 같이 본 발명을 적용한 영상 통신기기는 영상신호를 취득하기 위한 카메라(10), 상기 카메라(10)로 취득한 영상신호를 전기적인 신호로 변환하는 센서부(11), 상기 센서부(11)에서 출력된 영상신호를 디지털 신호로 변환하는 변환부(12), 상기 디지털 신호를 압축 부호화하여 출력하는 압축 부호화부(13), 상기 압축 부호화된 신호를 전송하기 위한 전송부(14)를 포함하여 이루어진다. 상기 압축 부호화부(13)는 디지털 영상신호를 DCT 변환하는 DCT부(15), 상기 DCT 변환된 영상신호를 축소하기 위한 축소부(16), 상기 축소된 영상신호를 부호화하기 위한 인코딩부(17)를 포함하고 있다. 상기 축소부(16)는 DCT 변환된 영상신호를 데시메이션 처리하기 위한 데시메이션부(18), 상기 데시메이션 영상의 DCT 계수를 재배열하기 위한 DCT 계수 재배열부(19)를 포함하며, 앞서 기술한 바와 같이 고주파 영역에서의 정보 손실을 방지하기 위하여 고주파 계수를 출력하기 위한 고주파 추출부(20)를 포함하는 실시예도 가능하다(확장된 리사이징 알고리즘 기반).

상기한 바와 같이 이루어진 동영상 통신기기(송신단)에서 전송된 압축 부호화된 비트 스트림은 동영상 통신기기(수신단)에서 수신되어 복원 및 디스플레이된다. 수신자 측에서는 도16에 나타낸 바와 같이, 부호화된 디지털 비트 스트림을 수신부에서 수신하여 복호화부에서 이를 디스플레이 디바이스를 통하여 디스플레이하기 위한 압축되지 않은 디지털 이미지로 변환시켜준다. 변환된 디지털 이미지는 디스플레이 디바이스를 통하여 사용자에게 전달 되게 된다.

도16에 나타낸 바와 같이 본 발명을 적용한 영상 통신시기는 압축 부호화된 비트 스트림 수신을 위한 수신부(30), 상기 수신된 비트 스트림의 복호화를 위한 복호화부(31), 상기 복호화된 영상신호를 디스플레이 하기 위한 디스플레이부(32)를 포함하여 이루어진다. 상기 복호화부(31)는 입력된 비트 스트림을 복호화하기 위한 디코딩부(33), 상기 디코딩부(33)에서 출력된 영상신호를 확대하기 위한 확대부(34), 상기 확대된 영상신호를 역 DCT 변환하는 IDCT부(35)를 포함한다. 상기 확대부(34)는 상기 디코딩부(33)에서 출력된 영상신호의 DCT 계수를 보간하기 위한 보간부(36), 상기 보간된 DCT 계수를 재배열하기 위한 DCT 계수 재배열부(37)를 포함하고 있으며, 이 DCT 계수 재배열부(37)는 앞서 기술한 바와 같이 송신단에서 제공되는 고주파 계수를 입력으로 하여 고주파 계수를 고려한 계수 재배열을 함께 수행하는 실시예도 가능하다.

지금까지 설명한 바와 같이 도16 및 도17을 참조하면 본 발명은 송신기 부분의 압축부호화 부분과 수신기 부분의 복호화부를 DCT 영역에서 리사이징이 이루어질 수 있도록 하여 이를 통신기기에 적용한 것이다.

즉, 압축 부호화부는 DCT 변환을 취한 후 영상의 크기를 DCT 영역에서의 연산을 통하여 축소시키는 기능이 포함되었으며, 복호화부는 수신된 스트림을 디코딩하여 DCT 계수들을 추출하고 DCT 영역에서의 연산을 통하여 영상을 확대시킨 후 역 DCT 변환(IDCT)을 통하여 디지털 영상을 얻는 확대 기능이 포함되었다.

압축 부호화부를 이루는 축소부에서는 데시메이션과 DCT 계수 재배열을 통하여 축소된 이미지의 DCT 계수들을 얻을 수 있으며, 상기 확장된 알고리즘을 적용하는 경우 상기 확장된 알고리즘의 설명에서 기술된 바와 같이 고주파 성분을 추출하여 DCT 계수의 재배열과는 별도로 고주파 성분을 전송하여 화질의 향상을 꾀할 수 있음을 나타낸다. 이를 수신하는 수신장치에서는 확대부에서 보간과 DCT 계수의 재배열을 통하여 확대된 영상을 얻을 수 있는데, 화질의 향상을 원하는 경우, 보간을 통하여 DCT 행렬을 확대한 후 DCT 계수의 재배열 과정에서 수신 받은 고주파 계수들을 적절히 배치시켜, 고주파 성분이 향상된 영상을 얻을 수 있다.

본 발명의 비디오 리사이징 시스템에 따르면 요구되는 채널 대역폭을 반으로 줄일 수 있고, 특히 저전송율(low-bit rate)을 요구하는 이동통신 단말기에서의 동영상 재생 및 영상 회의와 같은 분야에서 기존 알고리즘에 비해 화면 비율(frame rate)을 두 배로 늘일 수 있기 때문에 화질 향상에 기여한다.

또한 본 발명의 비디오 리사이징 시스템에 따르면 영상을 저장할 때의 크기를 대폭 줄일 수 있어서 저장장치의 용량을 줄일 수 있고, 다양한 영상처리 패키지의 추가가 용이한 장점이 있다.

Claims

입력 이미지/동영상을 DCT 변환하는 단계, 상기 DCT 변환된 영상을 데시메이션하는 단계, 상기 데시메이션 후 그 영상의 DCT계수들을 재배열하는 단계를 포함하여 입력 영상의 크기를 축소시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 1 항에 있어서, 상기 DCT 변환된 영상의 고주파 계수들을 추출하는 단계 및, 이 추출된 고주파 계수들 중에서 선택된 고주파 계수들을 전송하는 단계를 더 포함하는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 1 항 또는 제 2 항에 있어서, 상기 데시메이션은 데시메이션을 취하기 전의 블록을 X라 하고, 데시메이션을 취한 후의 블록을 Y₁이라 할 때,으로 표현되는 과정이고, 여기서 F는으로 정의되는 DCT 영역의 크기 축소 알고리즘 인 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 1 항 또는 제 2 항에 있어서, 상기 DCT 계수들의 재배열 과정은, 재배열 전의 데시메이션 한 블록을 Y₁이라 하고, 재배열 한 후의 블록을 Y₂라 할 때,으로 표현되는 과정이고, 여기서 C₈은 8 ×8 DCT 변환이며, C_4^-1은 4 ×4 DCT 역변환으로 정의되는 DCT 영역의 크기 축소 알고리즘 인 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 1 항 또는 제 2 항에 있어서, 상기 DCT 변환된 블록을 데시메이션한 후 DCT 계수들을 재배열하는 과정을 복합하여, DCT 변환이 끝난 데시메이션 하기 전의 블록을 X라 하고, 데시메이션과 재배열이 끝나 축소된 블록을 Y₂라 할 때,로 표현되는 변환과정이고, 여기서,, C₈은 8 ×8 DCT 변환이며, C_4^-1은 4 ×4 DCT 역변환으로 정의되는 DCT 영역의 크기 축소 알고리즘 인 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 2 항에 있어서, 상기 고주파 계수는 데시메이션과정에서 사라진, DCT 영역에서의 고주파 계수들의 일부이고, 고주파 계수의 추가는 데시메이션 과정의 결과에 남은 각각의 저주파 성분의 계수들마다, 정해진 위치의 고주파 성분 계수 복수개를 연관시켜 고주파 계수들을 추가시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 2 항에 있어서, 상기 고주파 계수는 각 블록별로 고주파 에너지를 계산하여 고주파 에너지의 값이 특정 임계값 보다 큰 경우 추가하는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
DCT를 기반으로 하여 부호화된 입력 이미지/동영상의 DCT 계수들을 보간하는 단계, 상기 보간된 DCT 계수들을 재배열하는 단계, 상기 재배열된 영상을 역DCT 변환하는 단계를 포함하여 그 크기를 확대시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 8 항에 있어서, 상기 DCT를 기반으로 하여 부호화된 입력 이미지/동영상의 DCT 계수들을 화질 보상을 위한 고주파 계수들을 고려하여 재배열하는 단계를 더 포함하는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 8 항 또는 제 9 항에 있어서, 상기 보간은 보간을 취하기 전의 DCT 블록을 X라 하고, 보간 을 취한 블록을 Y₁이라 할 때, Y_1 = GXG^t으로 표현되는 과정이고, 여기서 G는으로 정의되는 DCT 영역에서의 크기 확대 알고리즘 인 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 8 항 또는 제 9 항에 있어서, 상기 보간을 한 후의 블록을 Y₁이라 하고,DCT 계수들을 재배열한 DCT 블록을 Y₂라 할 때,로 표현되는 과정이고, 여기서 C₈은 8 ×8 DCT 변환을 나타내고, C_16^-1은 16 ×16 DCT 역변환으로 정의되는 DCT 영역의 크기 확대 알고리즘 인 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 8 항 또는 제 9 항에 있어서, 상기 DCT 계수가 추출된 블록을 보간한 후 DCT 계수들을 재배열하는 과정을 복합하여, 보간을 취하기 전의 블록을 X라 하고, 보간과 계수의 재배열이 끝난 블록을 Y₂라 할 때, Y_2 = T_ｉnc XT_ｉnc^t로 표현되는 변환과정이고, 여기서, G는, C₈은 8 ×8 DCT 변환, C_16^-1은 16X16 DCT 역변환으로 정의되는 DCT 영역의 크기 확대 알고리즘 인 것을 특징으로 하는 비디오 코덱의 리사이징 방법
제 9 항에 있어서, 상기 고주파 계수는 압축된 이미지의 DCT 계수에 포함되어 있지 않은 DCT 영역에서의 고주파 계수들인 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
제 9 항에 있어서, 상기 고주파 계수는 압축된 이미지의 각각의 DCT 계수들마다, 정해진 위치의 고주파 성분 계수 복수개를 연관시켜 확대된 이미지의 고주파계수들을 추가시키는 것을 특징으로 하는 비디오 코덱의 리사이징 방법.
전송할 이미지/동영상을 취득하기 위한 영상 취득수단, 상기 취득한 영상을 DCT 변환하는 DCT 변환수단, 상기 DCT 변환된 영상을 데시메이션한 후 DCT 계수를 재배열하는 축소수단과, 상기 축소된 영상을 인코딩하는 인코딩 수단 및, 상기 인코딩된 영상신호를 전송하는 전송수단을 포함하여 이루어지는 것을 특징으로 하는 이미지/동영상 통신기기.
제 15 항에 있어서, 상기 축소수단에 의한 영상 축소과정에서 사라진 DCT 행렬의 고주파 계수들의 일부를 추출하여 상기 압축 부호화된 축소 영상신호와 함께 전송할 수 있도록 해주기 위한 고주파 추출수단을 더 포함하여 이루어지는 것을 특징으로 하는 이미지/동영상 통신기기.
제 16 항에 있어서, 상기 고주파 추출수단은 축소된 DCT 행렬의 각각의 계수마다 정해진 위치의 다수의 고주파 계수들을 추출하는 것을 특징으로 하는 정지/동영상 통신기기.
영상신호 수신을 위한 수신수단, 상기 수신된 영상신호의 디코딩을 위한 디코딩수단, 상기 디코딩된 영상의 DCT 계수를 보간 후 재배열하는 확대수단, 상기 확대된 영상신호를 역DCT 변환하는 IDCT수단 및, 상기 IDCT된 영상신호를 표시하기위한 디스플레이수단을 포함하여 이루어지는 것을 특징으로 하는 이미지/동영상 통신기기.
제 18 항에 있어서, 상기 확대수단의 DCT 계수 재배열은, DCT 행렬의 고주파 계수들을 고려하여 이루어지는 것을 특징으로 하는 이미지/동영상 통신기기.
제 19 항에 있어서, 상기 추가로 제공되는 고주파 계수들은 축소된 DCT 행렬의 각각의 계수마다 확대된 DCT 행렬의 정해진 위치에 해당하는 다수의 고주파 계수들로 구성되는 것을 특징으로 하는 정지/동영상 통신기기.