KR20040072612A

KR20040072612A - 동영상 압축 및 복원방법과 그 장치

Info

Publication number: KR20040072612A
Application number: KR1020047002792A
Authority: KR
Inventors: 임경수
Original assignee: 임경수
Priority date: 2002-12-10
Filing date: 2002-12-10
Publication date: 2004-08-18
Also published as: AU2002353640A1; WO2004054268A1; KR100593486B1

Abstract

본 발명은 낮은 통신대역에서도 자연스러운 영상 통화가 가능하도록 하기 위한 동영상 압축 및 복원방법, 그리고 그 장치에 관한 것으로, 다수의 정방형 블록들로 분할 처리된 각 블록내 일부 화소들을 제거하여 각 블록 화면의 크기를 축소하고, 그 축소된 각 블록에 대하여 순차적으로 DCT, 양자화 및 엔트로피 부호화 처리하여 원 화면 영상 데이터를 압축하는 단계와; 압축된 원 화면 영상 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역DCT 수행하여 상기 화면 축소된 블록들을 복원하고, 화면 축소 이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 상기 정방형 블록들을 복원하는 단계와; 복원된 정방형 블록들을 원 화면 영상 데이터로 재구성하는 단계;를 포함함을 특징으로 한다.

Description

동영상 압축 및 복원방법과 그 장치{METHOD AND APPARATUS FOR COMPRESSING AND DECOMPRESSING MOVING PICTURE DATA}

최근에 IMT 2000 사업이 상용화되면서 초미의 관심사로 떠오르는 서비스중 하나가 바로 실시간 영상전화(Real-time Video Phone:RVP)이다.

실시간 영상전화기에서는 전송해야 하는 방대한 양의 동영상 데이터를 저감시켜 전송하기 위해 고율의 데이터 압축 및 복원이 가능한 코덱을 탑재하고 있다. 이러한 코덱에 의해 데이터 압축 및 복원이 이루어지는 일반적인 과정이 도 1과 도 2에 도시되어 있다.

일반적인 동영상 압축과정은 도 1에 도시한 바와 같이 우선 원 영상데이터의 분해(A단계)로 시작된다. 원 영상 데이터의 분해는 다수의 블록들로 원 영상화면이 분할되는 것으로서 일반적으로 8*8 단위의 화소 블록들로 분해된다. 이와 같이 분해된 블록들에 대해서는 이후 DCT(Discrete Cosine Transform)(B단계)를 적용한다. 이러한 DCT 적용에 의해 생성되는 DCT 계수들은 양자화부에서 양자화(C단계)되고,양자화된 데이터는 다시 가변장 부호화(VLC) 및 허프만 코딩 알고리즘에 따라 엔트로피 부호화(D단계)됨으로서 압축된 부호화 데이터가 얻어진다. 이와 같이 압축된 부호화 데이터는 초고속망(384Kbps)을 통해 전송 가능하다.

한편 도 2는 도 1에 의해서 압축된 부호화 데이터를 원화면 영상으로 복원하는 과정을 부연 설명하기 위해 도시되어 있다. 도 2에 도시된 바와 같이 압축된 부호화 데이터는 우선 엔트로피 복호화(E단계)됨으로서 양자화 DCT 계수들이 얻어지고, 이와 같이 얻어진 양자화 DCT 계수들은 역양자화(F단계)되어 DCT 계수들이 복원된다. 복원된 DCT 계수들은 역 DCT부에의해 역DCT(G단계)되고, 역 DST된 블록들로 구성되는 블록화면은 블록화면 복원부에 의해 신장됨으로서 원 화면영상으로 재구성(H단계)된다.

예시한 것처럼 동영상을 처리하는 압축 코덱에서는 주파수 변환기법으로 DCT 변환을 채용하고 있으나 DCT를 이용한 압축기술에서는 I픽쳐의 전송이 필수적이기 때문에, 일반 공중전화망(PSTN)과 같이 낮은 통신대역(56Kbps)을 이용하여 실시간 영상 통화를 수행해야 하는 영상전화기에서는 DCT 변환을 채용한 압축 코덱을 사용할 수가 없다. 왜냐하면 56Kbps의 대역폭을 가지는 공중전화망에서 실시간 영상 커뉴니케이션이 가능하기 위해서는 0.125bpp(bit per pixel) 이하로 데이터를 압축 하여야 원 영상에 근접한 화질을 보장할 수 있으나, 현재 사용중인 DCT를 이용한 압축기법으로는 0.125bpp 이하로 데이터 압축이 불가능하기 때문에 원 영상에 근접한 화질을 보장할 수 없다. 낮은 통신대역을 통해 실시간 영상 전화 통화 수행시 표시화면의 예가 도 3에 도시되어 있다. 도 3a는 8.0bpp(64Kbyte)를 가지는 원본영상을 나타낸 것이며, 도 3b는 0.166bpp(1,362Byte)로 압축되어 일반 공중전화망을 통해 전송되어 복원된 영상을 나타낸 것이다. 도 3을 참조해 볼 때 낮은 통신대역을 통해 실시간 영상 전화 통화가 이루어지는 경우에는 복원 영상의 화질이 심각하게 저하되어 있는 것을 볼 수 있다.

따라서 낮은 통신대역(56Kbps)을 통해 실시간 영상 전화 통화를 정상적으로 수행하기 위해서는 0.125bpp 이하로 데이터를 압축하고 이를 정상적으로 복원하기 위한 새로운 알고리즘의 개발이 필요하다 할 것이다.

본 발명은 동영상 압축 및 복원에 관한 것으로, 특히 낮은 통신대역에서도 자연스러운 영상 통화가 가능하도록 하기 위한 동영상 압축 및 복원 방법, 그리고 그 장치에 관한 것이다.

도 1은 일반적인 동영상 압축과정을 설명하기 위한 도면

도 2는 일반적인 동영상 복원과정을 설명하기 위한 도면.

도 3a와 도 3b는 도 1에 의해 압축된 영상정보를 낮은 통신대역을 통해 전송하는 경우의 복원 영상 예시화면.

도 4는 본 발명의 실시예에 따른 동영상 압축 및 복원장치의 블록구성도.

도 5는 본 발명의 실시예에 따른 동영상 압축과정중 분할된 블록화면의 축소과정을 설명하기 위한 도면.

도 6은 본 발명의 실시예에 따른 동영상 복원과정에서 압축시 삭제된 화소들의 일차 보간과정을 설명하기 위한 도면.

도 7은 본 발명의 실시예에 따른 동영상 복원과정에서 압축시 삭제된 화소들의 이차 보간과정을 설명하기 위한 도면.

도 8은 본 발명의 실시예에 따른 방법으로 동영상 압축하여 복원한 경우의 복원화면 예시도.

이에 본 발명의 목적은 공중전화망과 같은 낮은 통신대역을 이용하면서도 자연스러운 동화상 통신이 가능한 도영상 압축 및 복원방법과 그 장치를 제공함에 있다.

본 발명의 또 다른 목적은 압축된 동영상을 복원함에 있어 보간할 화소의 주변에 위치하는 라인을 검출하여 화소 보간함으로서 보간에 의해 라인이 소실되는 것을 최소화할 수 있는 동영상 압축 및 복원방법과 그 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 동영상 압축 및 복원방법은,

다수의 정방형 블록들로 분할 처리된 각 블록내 일부 화소들을 제거하여 각 블록 화면의 크기를 축소하고, 그 축소된 각 블록에 대하여 순차적으로 DCT, 양자화 및 엔트로피 부호화 처리하여 원 화면 영상 데이터를 압축하는 단계와;

압축된 원 화면 영상 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역DCT 수행하여 상기 화면 축소된 블록들을 복원하고, 화면 축소이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 상기 정방형 블록들을 복원하는 단계와;

복원된 정방형 블록들을 원 화면 영상 데이터로 재구성하는 단계;를 포함함을 특징으로 한다.

아울러 본 발명의 실시예에 따른 동영상 압축 및 복원장치는,

다수의 정방형 블록들로 분할 처리된 각 블록내 일부 화소들을 제거하여 각 블록 화면의 크기를 축소하고, 그 축소된 각 블록에 대하여 순차적으로 DCT, 양자화 및 엔트로피 부호화 처리하여 원 화면 영상 데이터를 압축하는 부호화부와;

압축된 원 화면 영상 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역 DCT 수행하여 상기 화면 축소된 블록들을 복원하고, 화면 축소이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 정방형 블록을 복원하는 블록화면 복원부를 구비하는 복호화부와;

복원된 상기 정방형 블록들을 원 화면 영상 데이터로 재구성하는 영상화면 재구성부;를 포함함을 특징으로 한다.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

우선 도 4는 본 발명의 실시예에 따른 동영상 압축 및 복원장치의 블록구성도를 도시한 것으로, 본 발명의 실시예에 따른 동영상 압축 및 복원장치는 크게 원영상 데이터를 압축하기 위한 부호화부와 압축된 데이터를 복호화하기 위한 복호화부, 그리고 복호화된 다수의 블록화면들을 원 화면 영상 데이터로 재구성하기 위한 영상화면 재구성부를 포함한다. 영상화면 재구성부는 경우에 따라서 복호화부의 일 구성요소로 포함될 수 있다. 도 4에서 참조부호 100번대는 부호화부를 구성하고 있으며, 참조부호 200번대는 복호화부를 구성하고 있다.

도 4를 참조하면, 영상화면 블록 처리부(100)는 우선 원 화면 영상데이터를 입력하여 입력 영상의 화소들에 대해 연속적인 정방형 블록들로 분할처리한다. 이와 같이 정방형 블록들로 분할처리된 하나의 블록 화면을 도 5의 (a)에 도시하였다, 도 5의 (a)에서는 일반적으로 8*8 사이즈를 가지는 블록화면을 예시한 것으로 64개의 화소들로 이루어진다.

한편 블록화면 축소부(102)는 상기 영상화면 블록처리부(100)에서 분할 처리된 각 블록내 일부 화소들을 제거, 즉 다운 샘플링하여 각 블록화면의 크기를 축소한다. 이와 같이 축소된 블록화면의 예가 도 5의 (c)에 도시되어 있다. 본 발명의 실시예에서는 분할 처리된 블록화면(a)을 1/4 다운샘플링하여 (c)와 같은 크기의 블록을 얻는 것으로 가정하였다. 이러한 다운샘플링 비율은 가변될 수 있다. 참고적으로 도 5의 (b)는 분할 처리된 블록화면(a)에서 다운샘플링에 의해 제거되는 화소들(x로 표시)의 위치를 나타낸 것이다.

상술한 바와 같이 블록화면 축소부(102)에 의해서 상기 분할된 각 블록 화면의 크기가 축소되면 이후 축소된 각 블록에 대하여 일반적인 DCT, 양자화 및 엔트로피 부호화가 이루어져 원 화면 영상 데이터가 압축된다. 즉, DCT부(104)는 화면축소된 각 블록에 대해 공간영역에서 주파수영역으로 변환하기 위한 DCT 변환을 수행하여 DCT 계수를 생성하고, 생성된 DCT계수들은 양자화부(106)에서 양자화된후 엔트로피 부호화부(108)에서 가변장 부호화 및 허프만 부호화에 의해 엔트로피 부호화됨으로서 압축된 부호화 데이터가 생성된다. 이와 같이 압축된 데이터는 이후 공중전화망(PSTN)과 같은 낮은 통신대역을 통해 상대측 영상 전화기 혹은 원격 감시 시스템등으로 전송된다.

한편 상술한 부호화과정에 의해 압축된 데이터를 전송받아 처리하기 위한 복호화부는 압축된 원 화면 영상 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역 DCT 수행하여 상기 화면 축소된 블록들을 일차 복원한다. 이를 위해 상기 복호화부는 엔트로피 복호화부(200), 역양자화부(202) 및 IDCT부(204)를 포함한다.

상기 엔트로피 복호화부(200)는 부호화된 데이터를 엔트로피 복호화하여 양자화 DCT 계수들을 출력하고, 역양자화부(202)는 양자화 DCT계수들을 역양자화하여 DCT 계수들을 복원한다. 이러한 DCT 계수들은 IDCT(204)부에 의해서 역 DCT됨으로서 화면 축소된 블록들(도 5의 (c))이 복원될 수 있는 것이다.

이와 같이 복원된 블록들은 이후 블록화면 복원부(206)로 입력되어 화면 축소 이전의 블록들로 복원된다. 이를 보다 구체적으로 설명하면, 블록화면 복원부(206)는 화면 축소 이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 정방형 블록을 복원한다. 이러한 블록화면 복원부(206)의 화소 보간에 대해서는 도 6과 도 7을 참조하여 하기에서 보다 상세히 설명하기로 한다.

한편 상기 블록화면 복원부(206)에 의해서 복원된 정방형 블록들은 영상화면 재구성부(208)에 의해 원 화면 영상 데이터로 재구성됨으로서, 이후 재구성된 원 화면 영상 데이터는 표시장치 등을 통해 표시되게 된다.

이하 도 6과 도 7을 참조하여 블록화면 복원부(206)에 의해서 수행되는 블록화면 복원과정을 보다 상세히 설명하기로 한다.

도 6은 본 발명의 실시예에 따른 동영상 복원과정에서 압축시 삭제된 화소들의 일차 보간과정을 설명하기 위한 도면을 도시한 것이며, 도 7은 본 발명의 실시예에 따른 동영상 복원과정에서 압축시 삭제된 화소들의 이차 보간과정을 설명하기 위한 도면을 도시한 것이다.

우선 도 6은 8*8 크기의 화면 축소 이전 블록을 도시한 것으로서 빗금친 블록들은 상기 IDCT부(204)에 의해 복원된 4*4 크기의 화면 축소된 블록을 구성하는 화소들을 나타낸 것이다. 도 6에 도시한 바와 같이 화면 축소 이전 블록에 상기 복원된 블록내 화소값들을 배치하면 복원된 블록내 화소값들이 하나 씩 이격되어 대각선 라인을 형성하고 있는 것을 볼 수 있다.

따라서 본 발명의 실시예에서는 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간한다. 그러면 도 7에 도시한 바와 같이 빗금친 위치의 화소 보간이 완료된 상태가 되므로, 일차 보간후 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간한다. 예시한 일차 보간은 라인 검출을 위한 것이며, 이차 보간은 라인 및아크(arc)검출을 위한 것이다.

이하에서는 도 6을 참조하여 일차 보간에 대해 우선 설명하기로 한다.

우선 IDCT부(204)에 의해 복원된 블록내 화소값들(빗금친 부분)과 대각선 라인을 형성하는 위치의 화소들을 검출하게 되면 크게 세가지 형태의 유사 패턴을 갖는다. 그 첫 번째는 A와 같이 화소 보간할 위치에 대각선방향으로 인접 화소가 4개 존재하는 경우이며, 각각 C와 D같이 인접 화소가 2개, 1개일 경우가 바로 두 번째와 세 번째의 유사 패턴 형태이다.

따라서 본 발명에서는 일차 보간을 수행함에 있어 화소 보간할 위치(A)에 대각선 방향으로 인접 화소가 4개일 경우 그 보간 위치를 기준으로 대각선 라인을 형성하는 인접 화소들간에 계조 차이가 적은 쪽 방향의 평균값을 보간할 위치의 화소값으로 설정한다. 이를 수식화화면 │①-⑥│＜│②-⑤ │일 경우 A = (①+⑥)/2 이고 그 외의 경우에 A = (②+⑤)/2 로 산출한다.

한편 화소 보간할 위치(B, C)에 대각선 방향으로 인접 화소가 2개일 경우에는 그 인접 화소의 평균값을 보간할 위치의 화소값으로 설정한다. 즉, B와 C는 각각 (④+⑧)/2 , (⑬+⑭)/2 의 값으로 설정할 수 있다. 그리고 화소 보간할 위치(D)에 대각선 방향으로 인접 화소가 1개일 경우 그 인접 화소값(16)을 보간할 위치의 화소값으로 설정한다.

즉, 일반적인 방법에서는 보간할 위치의 인접 화소들의 평균값을 취하여 화소 보간하였으나, 본 발명에서는 인접 화소간 계조차이가 적은 쪽의 평균값을 취하여 화소 보간함으로서 라인 검출에 따른 화소 보간에 의해 보다 자연스러운 영상을복원을 할 수 있게 되는 것이다.

상술한 바와 같은 세가지의 패턴에 따라 화면 축소 이전 블록의 대각선 라인을 형성하는 모든 화소들에 대하여 보간을 수행하게 되면 본 발명의 실시예에 따른 일차 보간이 완료된다. 이러한 일차 보간후의 블록화면을 도시하면 도 7과 같다. 도 7에서 빗금친 부분은 복원된 화소와 일차 보간 완료된 화소들을 나타내고 있다.

한편 도 6에 도시된 E 포인트 위치의 화소를 다음과 같은 방식으로 보간할 수도 있다. E 포인트와 같이 화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간 위치(E)를 기준으로 대각선 방향에 위치하는 화소들간 계조 차이가 미리 설정된 임계치 이하이면 4개의 인접 화소들 평균값을 그 보간할 위치의 화소값으로 설정할 수 있다. 이를 수식화하면 │⑥-⑪ │≪ │⑦-⑩│일 경우 E = (⑥+⑪)/2, │⑥-⑪ │≫ │⑦-⑩ │일 경우 E = (⑦+⑩)/2, │⑥-⑪│≒│⑦-⑩│일 경우 E = (⑥+⑦+⑩+⑪)/4 의 값으로 설정한다.

만약 압축된 영상이 애니메이션과 같이 라인에 민감한 영상이라면 E 포인트의 화소를 보간함에 있어 다음의 방식을 따르는 것이 보간에 의해 라인 끊김 현상이 억제되는 효과를 누릴 수 있다. 즉, E 포인트와 같이 화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간할 위치(E)를 중심으로 하는 인접(⑥, ⑦, ⑩, ⑪) 및 주변(②, ③, ⑤, ⑨, ⑫, ⑭, ⑮)의 화소 쌍 들중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정한다. 상기 인접 및 주변의 화소 쌍들에는 ⑥과 ⑪, ⑦과 ⑩, ②와 ⑮, ③과 ⑭, ⑤와 ⑫, ⑨와 ⑧이 해당한다.

더 나아가 E포인트의 화소를 보간함에 있어 다음의 방식을 따를 수도 있다. 우선 E포인트와 같이 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 미리 정한 범위내의 계조 차이를 가지는 화소 쌍이 복수개 존재할 경우 그 보간할 위치에 근접해 있는 화소 쌍의 평균값을 보간할 위치의 화소값으로 설정할 수도 있는 것이다. 만약 상기 보간할 위치(E)를 중심으로 하는 인접 및 주변의 화소 쌍 들이 미리 정한 범위내의 계조 차이를 가질 때 그 보간할 위치(E)에 인접해 있는 4개 화소들의 평균값을 보간 할 위치의 화소값으로 설정할 수도 있다.

상술한 바와 같은 방식으로 일차 보간이 이루어지면, 블록화면 복원부(206)는 다음과 같은 방법으로 이차 보간을 수행한다.

우선 일차 보간이 완료되면 도 7에 도시한 바와 같이 32개의 미보간 화소들이 존재하게 된다. 미보간 화소들은 빗금치지 않은 블록에 해당한다. 이러한 미보간 화소에 대해서는 그 미보간 화소의 좌,우,상,하 방향에 인접한 화소들중 2개 이상의 화소 평균값을 보간할 위치의 화소값으로 설정하는데, 평균 산출하기 위한 인접 화소의 수는 다음에 따라 결정된다.

우선 기본적으로 도 7에서 A포인트와 같이 세 개의 인접화소가 존재하는 경우에는 좌,우,하 방향에 인접하는 세 화소들의 평균을 내어 A포인트의 화소값으로 설정할 수 있지만, 화소 보간할 위치의 인접 화소간(①과 ⑤, ①과 ②, ②와 ⑤)에 계조차가 최소인 화소들의 평균값을 보간할 위치(A)의 화소값으로 설정할 수도 있다. 첫 번째 방법은 고속모드에서 수행되는 것이 바람직하며, 후자의 방법은 일반 옵티멀 모드에서 수행되어야 할 것이다.

아울러 도 7에서 B포인트와 같이 두 개의 인접화소가 존재하는 경우에는 기본적으로 좌, 하 방향에 인접하는 화소들의 평균을 내어 B포인트의 화소값으로 설정할 수 있다. 그리고 도 7에서 C포인트와 같이 좌,우,상,하방향으로 네 개의 인접화소가 존재하는 경우에는 좌,우,상, 하 방향으로 인접하는 네 개의 화소들의 평균을 내어 C포인트의 화소값으로 설정할 수 있지만, 상하 혹은 좌우방향의 계조차가 적은 쪽의 화소들 평균값을 보간할 위치(C)의 화소값으로 설정할 수도 있다. 만약 상하 혹은 좌우방향의 계조차가 미리 설정됨 범위 이내(즉 두 방향에 존재하는 화소간 계조차가 근사한 값이면)의 값을 가질 경우에는 상,하,좌,우 방향에 위치하는 4개의 화소들 평균값을 보간할 위치(C)의 화소값으로 설정할 수도 있다.

이차 보간 수행시 C포인트의 화소를 보간하는 또 하나의 방법으로서는 그 보간할 위치(C)를 중심으로 하는 인접 및 주변의 화소 쌍 들(14와 22, 18과 19, 15와 21, 10과 27, 13과 23, 11과 26)중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정할 수도 있다.

이차 보간을 위한 또 하나의 방법으로서, A와 B포인트의 보간값을 얻는 방법은 위에서 설명한 바와 동일하고, C포인트의 보간값을 얻는 방법은 아래의 방법을 따를 수도 있다.

그 첫 번째 방법으로, 보간할 위치(C)를 중심으로 하는 인접 및 주변의 화소 쌍 들(14와 22, 18과 19, 15와 21, 10과 27, 13과 23, 11과 26)중 최소 계조 차이를 가지는 화소 쌍의 계조차 절대치가 다른 화소 쌍들의 계조차 절대치에 비해 월등히 작을 경우에는 그 최소 계조차를 가지는 화소 쌍들의 화소 평균값을 C포인트의 보간값으로 설정한다.

또 하나의 방법으로서는, 보간할 위치(C)를 중심으로 하는 인접 및 주변의 화소 쌍 들(14와 22, 18과 19, 15와 21, 10과 27, 13과 23, 11과 26)의 계조차가 유사할 경우에는 C 포인트 주변에 위치한 14,18,19,22포인트의 화소 평균값을 C포인트의 보간값으로 설정한다.

그리고 마지막 방법으로서, 14와 22 포인트간의 계조차가 11과 26 포인트간 계조차와 유사하거나, 14와 22 포인트간 계조차가 10과 26 포인트간 계조차와 유사하거나, 14와 22 포인트간 계조차가 10과 27 포인트간 계조차와 유사한 경우라면 14와 22 포인트간 계조차를 최소로 가정하여 그 둘의 화소 평균을 C포인트의 보간값으로 설정할 수도 있다.

이상에서 설명한 바와 같은 이차 보간의 수행이 완료되면, 데이터 압축과정에서 4*4 크기로 사이즈 축소된 블록화면은 축소 이전의 크기(8*8)를 가지는 정방형 블록으로 복원되어 영상화면 재구성부(208)로 출력되게 되는 것이다. 그리고 영상화면 재구성부(208)에서는 다수의 정방형 블록들을 재구성하여 원 영상 화면으로 출력할 수 있는 것이다.

이상에서 설명한 바와 같이 본 발명은 분할된 블록화면의 사이즈를 축소한후 압축 전송하기 때문에, 결과적으로는 낮은 통신대역을 통해 0.125bpp 이하의 고압축 영상 데이터를 생성하여 전송할 수 있게 되는 것이며, 수신측에서는 보간할 위치의 인접 및 주변 화소간의 계조차를 비교 검색하여 최소 계조차를 가지는 화소간의 평균값을 보간값으로 설정함으로서, 축소 화면 복원시 보간되는 화소와 그 인접화소간에 계조차를 줄여 보다 자연스러운 영상화면이 복원 표시될 수 있게 되는 것이다.

참고적으로 도 8은 본 발명의 실시예에 따른 방법으로 동영상 압축(0.125bpp(1,022byte))하여 복원한 경우의 복원화면을 예시한 것으로, 도 3b에 도시한 도면과 비교해 볼 때 보다 자연스러운 화면의 복원이 이루어졌다는 것을 알 수 있다.

상술한 바와 같이 본 발명은 동영상 데이터를 다수의 블록으로 분할하고, 분할된 블록화면의 사이즈를 축소한후 압축 전송하기 때문에 결과적으로는 낮은 통신대역을 통해서도 동영상 압축 데이터를 효과적으로 전송할 수 있는 장점이 있다.

아울러 수신측에서는 전송된 압축 데이터를 보간하여 복원함에 있어 보간할 위치의 인접 및 주변 화소간의 계조차를 비교 검색하여 최소 계조차를 가지는 화소간의 평균값을 보간값으로 설정함으로서, 축소 화면 복원시 보간되는 화소와 그 인접 화소간에 계조차를 줄여 보다 자연스러운 영상화면이 표시될 수 있는 장점이 있다.

상기 장점들은 곧 저대역 송수신(PSTN 이미지 데이터 처리)을 현실적으로 가능하게 하는 유용한 효과를 가진다.

아울러 본 발명은 전송된 압축 데이터를 보간함에 있어 경사진 라인의 위치를 최소 함수로 찾아 보간함으로서, 보간에 의해 라인이 끊어지는 현상을 최소화할 수 있다. 이러한 보간방법은 애니메이션과 같이 라인 및 에지의 경계가 명확한 영상을 복원함에 있어 유리하게 작용한다.

한편 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 예를들면 본 발명의 실시예에서는 실시간 영상 전화기만을 가정하여 실시예를 설명하였으나, PSTN을 이용한 홈 오토메이션과 가정용 DVR 기술분야의 동영상 압축 복원에도 사용가능하다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims

다수의 정방형 블록들로 분할 및 화면 축소되어 압축된 블록 영상들을 복원하는 방법에 있어서,

압축된 블록 영상들의 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역 DCT 수행하여 상기 화면 축소된 블록 영상들을 복원하는 제1단계와;

화면 축소 이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 상기 정방형 블록들을 복원하는 제2단계와;

복원된 상기 정방형 블록들을 원 화면 영상 데이터로 재구성하는 제3단계;를 포함함을 특징으로 하는 동영상 복원방법.
청구항 1에 있어서, 상기 일차 보간은 하기의 a), b), c)단계를 포함하며, 이차 보간은 하기의 d)단계를 포함함을 특징으로 하는 동영상 복원방법.

a)화소 보간할 위치에 대각선 방향으로 인접 화소가 4개일 경우 그 보간 위치를 기준으로 대각선 라인을 형성하는 인접 화소들간에 계조 차이가 적은 쪽 방향의 평균값을 보간할 위치의 화소값으로 설정하는 단계.

b)화소 보간할 위치에 대각선 방향으로 인접 화소가 2개일 경우 그 인접 화소의 평균값을 보간할 위치의 화소값으로 설정하는 단계.

c)화소 보간할 위치에 대각선 방향으로 인접 화소가 1개일 경우 그 인접 화소값을 보간할 위치의 화소값으로 설정하는 단계.

d)화소 보간할 위치의 좌,우,상,하 방향에 인접한 화소들중 2개 이상의 화소 평균값을 보간할 위치의 화소값으로 설정하는 단계.
청구항 2에 있어서, 상기 화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간 위치를 기준으로 대각선방향에 위치하는 화소들간 계조 차이가 미리 설정된 임계치 이하이면 4개의 인접 화소들 평균값을 그 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 3에 있어서, 상기 화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 4에 있어서, 상기 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 미리 정한 범위내의 계조 차이를 가지는 화소 쌍이 복수개 존재할 경우 그 보간할 위치에 근접해 있는 화소 쌍의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 5에 있어서, 상기 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들이 미리 정한 범위내의 계조 차이를 가질 때 그 보간할 위치에 인접해 있는 4개 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 2 또는 청구항 6에 있어서, 화소 보간할 위치를 기준으로 좌, 우,하 방향에 인접하는 화소값을 이용하여 상기 이차 보간을 수행함에 있어 그 인접 화소간에 계조차가 최소인 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 2 또는 청구항 6에 있어서, 화소 보간할 위치를 기준으로 좌, 우,상,하 방향에 인접하는 화소값을 이용하여 상기 이차 보간을 수행함에 있어 상하 혹은 좌우방향의 계조차가 적은 쪽의 화소들 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 8에 있어서, 상하 혹은 좌우방향의 계조차가 미리 설정됨 범위 이내의 값을 가질 경우 상,하,좌,우 방향에 위치하는 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
청구항 2 또는 청구항 6에 있어서, 상기 이차 보간을 수행함에 있어 그 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 복원방법.
영상 전화기의 동영상 압축 및 복원방법에 있어서,

다수의 정방형 블록들로 분할 처리된 각 블록내 일부 화소들을 제거하여 각 블록 화면의 크기를 축소하고, 그 축소된 각 블록에 대하여 순차적으로 DCT, 양자화 및 엔트로피 부호화 처리하여 원 화면 영상 데이터를 압축하는 단계와;

압축된 원 화면 영상 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역 DCT 수행하여 상기 화면 축소된 블록들을 복원하고, 화면 축소이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 상기 정방형 블록들을 복원하는 단계와;

복원된 정방형 블록들을 원 화면 영상 데이터로 재구성하는 단계;를 포함함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 11에 있어서, 상기 일차 보간은 하기의 a), b), c)단계를 포함하며, 이차 보간은 하기의 d)단계를 포함함을 특징으로 하는 동영상 압축 및 복원방법.

a)화소 보간할 위치에 대각선 방향으로 인접 화소가 4개일 경우 그 보간 위치를 기준으로 대각선 라인을 형성하는 인접 화소들간에 계조 차이가 적은 쪽 방향의 평균값을 보간할 위치의 화소값으로 설정하는 단계.

b)화소 보간할 위치에 대각선 방향으로 인접 화소가 2개일 경우 그 인접 화소의 평균값을 보간할 위치의 화소값으로 설정하는 단계.

c)화소 보간할 위치에 대각선 방향으로 인접 화소가 1개일 경우 그 인접 화소값을 보간할 위치의 화소값으로 설정하는 단계.

d)화소 보간할 위치의 좌,우,상,하 방향에 인접한 화소들의 평균값을 보간할 위치의 화소값으로 설정하는 단계.
청구항 12에 있어서, 상기 화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간 위치를 기준으로 대각선방향에 위치하는 화소들간 계조 차이가 미리 설정된 임계치 이하이면 4개의 인접 화소들 평균값을 그 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 13에 있어서, 상기 화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 14에 있어서, 상기 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 미리 정한 범위내의 계조 차이를 가지는 화소 쌍이 복수개 존재할 경우 그 보간할 위치에 근접해 있는 화소 쌍의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 15에 있어서, 상기 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들이 미리 정한 범위내의 계조 차이를 가질 때 그 보간할 위치에 인접해 있는 4개 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 12 또는 청구항 16에 있어서, 화소 보간할 위치를 기준으로 좌,우,하 방향에 인접하는 화소값을 이용하여 상기 이차 보간을 수행함에 있어 그 인접 화소간에 계조차가 최소인 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 12 또는 청구항 16에 있어서, 화소 보간할 위치를 기준으로 좌,우,상,하 방향에 인접하는 화소값을 이용하여 상기 이차 보간을 수행함에 있어 상하 혹은 좌우방향의 계조차가 적은 쪽의 화소들 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 18에 있어서, 상하 혹은 좌우방향의 계조차가 미리 설정됨 범위 이내의 값을 가질 경우 상,하,좌,우 방향에 위치하는 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
청구항 12 또는 청구항 16에 있어서, 상기 이차 보간을 수행함에 있어 그 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 최소계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원방법.
동영상 압축 및 복원장치에 있어서,

다수의 정방형 블록들로 분할 처리된 각 블록내 일부 화소들을 제거하여 각 블록 화면의 크기를 축소하고, 그 축소된 각 블록에 대하여 순차적으로 DCT, 양자화 및 엔트로피 부호화 처리하여 원 화면 영상 데이터를 압축하는 부호화부와;

압축된 원 화면 영상 데이터를 순차적으로 엔트로피 복호화, 역양자화 및 역 DCT 수행하여 상기 화면 축소된 블록들을 복원하고, 화면 축소이전 블록에서 상기 복원된 블록내 화소값들과 대각선 라인을 형성하는 위치의 화소들을 검출하여 그 위치의 화소를 일차 보간하고, 이어서 나머지 위치의 화소들을 이차 보간하는 방식으로 화면 축소시 삭제된 화소들을 보간하여 정방형 블록을 복원하는 블록화면 복원부를 구비하는 복호화부와;

복원된 상기 정방형 블록들을 원 화면 영상 데이터로 재구성하는 영상화면재구성부;를 포함함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 21에 있어서, 상기 블록화면 복원부는 하기의 a), b), c)단계중 어느 하나를 선택 실행하여 일차 보간 수행하고, 하기의 d)단계를 실행하여 이차 보간 수행함을 특징으로 하는 동영상 압축 및 복원장치.

a)화소 보간할 위치에 대각선 방향으로 인접 화소가 4개일 경우 그 보간 위치를 기준으로 대각선 라인을 형성하는 인접 화소들간에 계조 차이가 적은 쪽 방향의 평균값을 보간할 위치의 화소값으로 설정하는 단계.

b)화소 보간할 위치에 대각선 방향으로 인접 화소가 2개일 경우 그 인접 화소의 평균값을 보간할 위치의 화소간으로 설정하는 단계,

c)화소 보간할 위치에 대각선 방향으로 인접 화소가 1개일 경우 그 인접 화소값을 보간할 위치의 화소값으로 설정하는 단계.

d)화소 보간할 위치의 좌,우,상,하 방향에 인접한 화소들의 평균값을 보간할 위치의 화소값으로 설정하는 단계.
청구항 22에 있어서, 상기 블록화면 복원부는;

화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간 위치를 기준으로 대각선 방향에 위치하는 화소들간계조 차이가 미리 설정된 임계치 이하이면 4개의 인접 화소들 평균값을 그 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 23에 있어서, 상기 블록화면 복원부는;

화소 보간할 위치를 포함하여 4개 이상의 화소가 하나의 대각선 라인을 형성할 경우, 그 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍들중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 24에 있어서, 상기 블록화면 복원부는;

보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 미리 정한 범위내의 계조 차이를 가지는 화소 쌍이 복수 개 존재할 경우 그 보간할 위치에 근접해 있는 화소 쌍의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 25에 있어서, 상기 블록화면 복원부는;

보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들이 미리 정한 범위내의 계조 차이를 가질 때 그 보간할 위치에 인접해 있는 4개 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 22 또는 청구항 26에 있어서, 상기 블록화면 복원부는;

화소 보간할 위치를 기준으로 좌,우,하 방향에 인접하는 화소값을 이용하여상기 이차 보간을 수행함에 있어 그 인접 화소간에 계조차가 최소인 화소돌의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 22 또는 청구항 26에 있어서, 상기 블록화면 복원부는;

화소 보간할 위치를 기준으로 좌,우,상,하 방향에 인접하는 화소값을 이용하여 상기 이차 보간을 수행함에 있어 상하 혹은 좌우방향의 계조차가 적은 쪽의 화소들 평균값을 보간할 위치의 화소값으로 설정함을 특징으로하는 동영상 압축 및 복원장치.
청구항 28에 있어서, 상기 블록화면 복원부는;

상하 혹은 좌우방향의 계조차가 미리 설정됨 범위 이내의 값을 가질 경우 상,하,좌,우 방향에 위치하는 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.
청구항 22 또는 청구항 26에 있어서, 상기 블록화면 복원부는;

상기 이차 보간을 수행함에 있어 그 보간할 위치를 중심으로 하는 인접 및 주변의 화소 쌍 들중 최소 계조 차이를 가지는 화소 쌍을 검출하여 그 화소들의 평균값을 보간할 위치의 화소값으로 설정함을 특징으로 하는 동영상 압축 및 복원장치.