KR100308114B1

KR100308114B1 - 화질개선을 위한 압축 및 복원방법

Info

Publication number: KR100308114B1
Application number: KR1019980002341A
Authority: KR
Inventors: 유기령
Original assignee: 김영환; 현대반도체 주식회사
Priority date: 1998-01-26
Filing date: 1998-01-26
Publication date: 2001-10-19
Also published as: KR19990066424A

Abstract

어뎁티브 필터를 사용하여 에러를 최소화하여 개선된 화질을 얻기에 알맞은 화질개선을 위한 압축 및 복원방법을 제공하기 위한 것으로, 이와 같은 목적을 달성하기 위한 화질개선을 위한 압축방법은 입력화상을 DCT처리와 양자화한 후에 지그-재그 스캐닝하고 베리어블 랭스 코딩(Variable Length Coding)하고 코딩된 데이터를 엔트로피 코딩하여 압축화상을 출력하는 단계와, 입력화상을 DCT처리와 양자화한 후에 역으로 역양자화와 IDCT처리하여 원래의 입력화상과 비교하여 그 차이 즉, 에러가 최소가 되게 하는 계수를 출력하도록 어뎁티브 필터링하므로써 최소 에러 계수를 코딩하여 압축화상과 함께 전송하므로써 진행한다.

그리고 압축영상을 복원하기 위한 방법은 압축화상을 엔트로피 디코딩하는 단계, 상기 엔트로피된 화상을 역VLC(Inverse Variable Length coding)하여 1차원의 데이터로 만드는 단계와, 상기 역VLC한 제 1차원의 데이터를 역지그-재그 스캐닝하여 2차원 데이터로 만드는 단계와, 상기 2차원 데이터를 역양자화하는 단계와, 상기 역양자화된 데이터를 역DCT(Inverse Discrete Cosine Transform)하는 단계와, 상기 압축된 화상과 함께 저장된 필터계수의 계수를 이용하여 상기 역DCT된 데이터를 어뎁티브 필터링하여 복원화상으로 출력하는 단계를 포함하여 진행됨을 특징으로 한다.

Description

화질개선을 위한 압축 및 복원방법{METHOD FOR COMPRESSING AND RESTORATING DATA FOR IMPROVEMENT OF IMAGE}

본 발명은 압축 및 복원방법에 대한 것으로, 특히 어뎁티브 필터를 사용하여 에러를 최소화하여 개선된 화질을 얻기에 알맞은 화질개선을 위한 압축 및 복원방법에 관한 것이다.

첨부 도면을 참조하여 종래 압축 및 복원방법에 대하여 설명하면 다음과 같다.

종래의 압축 및 복원방법에 대한 설명은 JPEG을 예로 들어 설명하겠다.

도 1a는 종래 JPEG(Joint Photograpic coding Experts Group)의 엔코더의 구성을 나타낸 블록구성도이고, 도 1b는 종래 JPEG의 디코더의 구성을 나타낸 블록구성도이고, 도 2a는 종래 JPEG의 코딩 과정을 나타낸 플로우 챠트이며, 도 2b는 종래 JPEG의 디코딩 과정을 나타낸 플로우 챠트이다.

먼저 종래 JPEG의 압축영상을 나타내기 위한 엔코더에 대하여 설명하면 다음과 같다.

종래 8×8화소에 입력된 영상을 압축화상으로 출력하기 위한 JPEG의 엔코더는 도 1a에 도시한 바와 같이 화상이 입력되면 화상의 상관관계를 이용하여 저주파수를 제거하고자 화상을 주파수 영역으로 변환하는 포워드(Forward) DCT(Discrete Cosine Transform)부(1)와, 상기 주파수영역으로 변환된 화상을 양자화 백터로 양자화하여 데이터양을 줄이기 위한 양자화부(2)와, 양자화를 위해 사용되는 양자화 테이블(2a)과, 상기 양자화부(2)를 통하여 2차원화된 데이터를 1차원의 스트림(stream)으로 변환하여 지그재그 스캔하는 지그재그 스캔 처리부(3)와, 상기 지그재그 스캔처리부(3)를 통하여 1차원화된 데이터를 베리어블 랭스 코딩(Variable Length Coding:VLC)으로 압축하기 위한 VLC부(4)와, 상기 VLC부(4)를 통하여 코딩된 데이터를 허프만 코딩과 같은 방법으로 엔트로피 코딩하여 최종으로 압축된 데이터를 전송하는 엔트로피 코딩부(5)와, 엔트로피 코딩을 위해 책정된 코드(code) 테이블(5a)을 포함하여 구성된다.

다음에 상기 압축된 화상을 복원하기 위한 JPEG의 디코더는 도 1b에 도시한 바와 같이 압축과정의 역순으로 행하여지도록 구성되었는데 우선 압축된 데이터를 엔트로피 디코딩하기 위한 엔트로피 디코딩부(6)와, 상기 엔트로피 디코딩부(6)를 통하여 디코딩된 데이터를 VLC 디코딩하여 1차원화된 데이터로 변환시키는 VLC 디코딩부(7)와, 상기 VLC 디코딩된 데이터를 역지그재그스캔처리하여 2차원화된 데이터로 변환시키는 역지그재그 스캔처리부(8)와, 상기 역지그재그 스캔처리부(8)를 통하여 2차원화된 데이터를 역양자화하는 역양자화부(9)와, 상기 역양자화를 통하여 역DCT(inverse DCT)되는 IDCT부(10)와, 상기 엔트로피 디코딩을 위한 코드 테이블(6a)와, 상기 역양자화하는데 사용되는 양자화 테이블(9a)을 포함하여 구성된다.

상기와 같은 구성을 갖는 JPEG의 엔코더와 디코더를 통해 압축 및 복원영상을 전달하는 방법에 대하여 설명하면 다음과 같다.

먼저 JPEG의 엔코더를 통한 압축은 도 2a에 도시한 바와 같이 입력화상을 받으면 입력화상의 상관관계를 이용하여 저주파수를 제거하기 위해서 화상을 주파수 영역으로 변환하는 포워드 DCT(Forward Discrete Cosine Transform:FDCT)를 한다. 다음에 이와 같이 주파수 영역으로 변환된 것을 양자화 테이블(2a)을 통하여 양자화 백터로 양자화 하여 데이터양을 줄인다. 그리고 이렇게 양자화된 2차원 데이터를 지그재그 스캔으로 1차원화한 후에 베리어블 랭스 코딩(Variable Length Coding:VLC)으로 압축하고, 허프만 코딩과 같이 엔트로피 코딩하여 최종으로 압축된 데이터를 얻어 전송한다.

다음에 압축된 화상을 받아 복원하여 출력하는 것은 도 2b에 도시한 바와 같이 압축과정의 역순으로 행하면 되는데 먼저 압축된 데이터를 엔트로피 디코딩 (Entropy Dcoding)하고 역VLC하고 이후에 역지그재그스캔(Inverse zig-zag Scan)하여 2차원 데이터로 만든후에 역양자화를 통하여 역DCT(Inverse Discrete Cosine Transform)하여 화상을 복원한다.

상기와 같은 종래 화상의 압축 및 복원방법은 다음과 같은 문제가 있다.

높은 압축률로 인해 8×8화소를 하나의 블록으로 정의하여 처리함에 있어서 DCT와 양자화를 자주 사용하므로 각 블록간 블로킹 효과가 발생하여 화질이 저하된다. 또한 DCT와 양자화에 의한 에러가 필수적으로 발생하여 이것에 의해서도 화질이 저하된다.

본 발명은 상기와 같은 문제를 해결하기 위하여 안출한 것으로 특히, 어뎁티브 필터를 사용하여 에러를 최소화하여 개선된 화질을 얻기에 알맞은 화질개선을 위한 압축 및 복원방법을 제공하는 데 그 목적이 있다.

도 1a는 종래 JPEG(Joint Photograpic coding Experts Group)의 엔코더의 구성을 나타낸 블록구성도

도 1b는 종래 JPEG의 디코더의 구성을 나타낸 블록구성도

도 2a는 종래 JPEG의 코딩 과정을 나타낸 플로우 챠트

도 2b는 종래 JPEG의 디코딩 과정을 나타낸 플로우 챠트

도 3a는 본 발명 실시예인 JPEG의 엔코더의 구성을 나타낸 블록구성도

도 3b는 본 발명 실시예인 JPEG의 디코더의 구성을 나타낸 블록구성도

도 4a는 본 발명 실시예인 JPEG의 코딩 과정을 나타낸 플로우 챠트

도 4b는 본 발명 실시예인 JPEG의 디코딩 과정을 나타낸 플로우 챠트

도면의 주요 부분에 대한 부호의 설명

21: DCT부 22: 양자화부

22a, 44a: 양자화 테이블 23: 지그-재그 스캔처리부

24: VLC부 25: 엔트로피 코딩부

25a, 41a: 코드 테이블 26,44: 역양자화부

27, 45: IDCT부 28, 46: 어뎁티브 필터

29: 필터계수 코딩부 30: 버퍼부

41: 엔트로피 디코딩부 42: VLC 디코딩부

43: 역지그-재그 스캔처리부 47: 필터계수 테이블

상기와 같은 목적을 달성하기 위한 본 발명 화질개선을 위한 압축방법은 임의의 화소에 해당하는 입력화상을 입력받아서 상기 입력화상의 상관관계를 이용하여 저주파수를 제거하기 위해서 화상을 주파수 영역으로 변환하는 포워드DCT(Forward Discrete Cosine Transform) 처리하는 단계와, 상기 주파수 영역으로 변화된 화상을 양자화시키는 단계와, 상기 2차원화된 데이터를 지그-재그 스캐닝하여 1차원의 스트림으로 변환시키는 단계와, 상기 1차원의 스트림으로 변환된 데이터를 베리어블 랭스 코딩(Variable Length Coding)하여 압축하는 단계와, 상기 베리어블 랭스 코딩된 데이터를 엔트로피 코딩하여 압축된 데이터를 출력하는 단계와, 상기 입력화상을 버퍼부에 저장하는 단계와, 상기 양자화된 데이터를 역양자화하는 단계와, 상기 역양자화된 데이터를 역DCT하는 단계와, 상기 역DCT한 데이터를 어뎁티브 필터링하는 단계와, 상기 어뎁티브 필터링된 데이터 값과 상기 버퍼부에 저장된 원래의 입력화상의 데이터값을 비교하여 에러를 검출하는 단계와, 상기 검출된 에러값을 미분하거나 기울기가 적은 방향으로 계수를 변화시켜서 에러가 최소가 되는 계수로 만든후 어뎁티브 계수 코딩하여 상기 압축된 데이터와 함께 저장하거나 전송하는 단계를 포함하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명 화질개선을 위한 복원방법은 압축화상을 엔트로피 디코딩하는 단계, 상기 엔트로피된 화상을 역VLC(Inverse Variable Length coding)하여 1차원의 데이터로 만드는 단계와, 상기 역VLC한 제 1차원의 데이터를 역지그-재그 스캐닝하여 2차원 데이터로 만드는 단계와, 상기 2차원 데이터를 역양자화하는 단계와, 상기 역양자화된 데이터를 역DCT(Inverse Discrete Cosine Transform)하는 단계와, 상기 압축된 화상과 함께 저장된 필터계수의 계수를 이용하여 상기 역DCT된 데이터를 어뎁티브 필터링하여 복원화상으로 출력하는 단계를 포함하여 진행됨을 특징으로 한다.

첨부 도면을 참조하여 본 발명 화질개선을 위한 압축 및 복원방법에 대하여 설명하면 다음과 같다.

먼저 본 발명의 압축 및 복원방법은 JPEG과 MPEG 모두에 적용할 수 있다. 이하 본 발명의 압축 및 복원은 JPEG을 예로 들어 설명하겠다.

본 발명의 압축영상을 나타내기 위한 실시예로 JPEG의 엔코더에 대하여 설명하면 다음과 같다.

8×8화소를 한 블록으로 하여 입력된 영상을 압축화상으로 출력하기 위한 본 발명 실시예인 JPEG의 엔코더는 도 3a에 도시한 바와 같이 화상이 입력되면 화상의 상관관계를 이용하여 저주파수를 제거하고자 화상을 주파수 영역으로 변환하는 포워드(Forward) DCT(Discrete Cosine Transform)부(21)와, 상기 주파수영역으로 변환된 화상을 양자화 백터로 양자화하여 데이터양을 줄이기 위한 양자화부(22)와, 양자화를 위한 양자화 테이블(22a)과, 상기 양자화부(22)를 통하여 2차원화된 데이터를 1차원의 스트림(stream)으로 변환하도록 지그재그 스캔하는 지그재그 스캔처리부(23)와, 상기 지그재그 스캔처리부(23)를 통하여 1차원화된 데이터를 베리어블 랭스 코딩(Variable Length Coding:VLC)으로 압축하기 위한 VLC부(24)와, 상기 VLC부(24)를 통하여 코딩된 데이터를 허프만 코딩과 같은 방법으로 엔트로피 코딩하여 최종으로 압축된 데이터를 전송하는 엔트로피 코딩부(25)와, 엔트로피 코딩을 위한 코드(code) 테이블(25a)과, 상기 양자화된 2차원의 데이터를 역양자화하는 역양자화부(26)와, 상기 역양자화된 데이터를 역DCT시키는 IDCT부(Inverse Discrete Cosine Transform:IDCT)(27)와, 상기 IDCT부(27)에 의해 전송된 데이터를 필터링하는 어뎁티브 필터(Adaptive filter)(28)와, 상기 어뎁티브 필터(28)를 통해 원래의 화상과 역DCT한 화상의 차이 즉, 에러값을 이용하여 어뎁티브 필터의 계수를 그 에러값이 최저가 되는 계수로 만든 후에 이 계수를 코딩하는 필터계수 코딩부(29)와, 상기 입력화상을 저장한 후에 서브스트레이터(substrator)에 전달하는 버퍼부(30)를 포함하여 구성된다.

엔코더의 또다른 구성으로는 양자화부(22) 다음에 역양자화부(26)와, IDCT부(27)와, 어뎁티브 필터(28)를 구성하는 대신에 FDCT부(21) 다음에 바로 IDCT(27)와 IDCT(27) 다음에 어뎁티브 필터(28)와 다음에 필터계수 코딩부(29)로 구성되도록 구성할 수 있다.

상기 엔코더를 구성요소중 어뎁티브 필터(28)대신에 신경망을 사용하여 에러값이 최소가 되는 계수로 만드는 역할을 하도록 할 수 있다.

다음에 압축영상을 복원하기 위한 본 발명 실시예인 JPEG의 디코더는 도 3b에 도시한 바와 같이 압축과정의 역순으로 행하여지는데 우선 압축된 데이터를 엔트로피 디코딩하기 위한 엔트로피 디코딩부(41)와, 상기 엔트로피 디코딩부(41)를 통하여 디코딩된 데이터를 VLC 디코딩하여 1차원화된 데이터로 변환시키는 VLC 디코딩부(42)와, 상기 VLC 디코딩된 데이터를 역지그재그스캔처리하여 2차원화된 데이터로 변환시키는 역지그재그 스캔처리부(43)와, 상기 역지그재그 스캔처리부(43)를 통하여 2차원화된 데이터를 역양자화하는 역양자화부(Dequantizer)(44)와, 상기 역양자화를 통하여 역DCT(Inverse DCT)되는 IDCT부(45)와, 상기 엔트로피 디코딩을 위한 코드(code) 테이블(41a)와, 상기 역양자화하는데 사용되는 양자화 테이블(44a)과, 상기 엔코더에서 만들어진 필터 계수 테이블(47)과, 상기 필터 계수 테이블(47)을 이용하여 역DCT에 의해 발생된 에러를 보상하기 위해 필터링하여 복원화상을 만드는 어뎁티브 필터(46)를 포함하여 구성된다. 여기서 어뎁티브 필터(28) 대신에 신경망회로부를 사용하여 구성할 수도 있다.

상기와 같은 구성을 갖는 본 발명 화질개선을 위한 압축 및 복원 방법에 대하여 첨부 도면을 참고하여 설명하면 다음과 같다.

먼저 화상을 압축하기 위한 본 발명 실시에인 JPEG의 압축방법에 대하여 설명하면 도 4a에 도시한 바와 같이 입력화상을 받으면 입력화상의 상관관계를 이용하여 저주파수를 제거하기 위해서 화상을 주파수 영역으로 변환하는 forward Discrete Cosine Transform(FDCT)한다. 다음에 이와 같이 주파수 영역으로 변환된 것을 양자화 테이블(22a)을 통하여 양자화 백터로 양자화 하여 데이터양을 줄인다. 그리고 이렇게 양자화된 2차원 데이터를 지그재그 스캐닝으로 1차원화한 후에 베리어블 랭스 코딩(Variable Length Coding:VLC)으로 압축하고, 허프만 코딩과 같이엔트로피 코딩하여 압축화상을 전송한다. 그리고 입력화상을 버퍼부(30)에 저장한다. 그리고 양자화된 데이터를 역양자화하고 다시 역DCT한 후 어뎁티브 필터(28)를 통해 필터링한다. 이후에 필터링된 데이터와 버퍼부(30)에 저장된 데이터를 서브스트레이터(substrator)에서 비교하여 즉, 원래 입력화상과 역DCT한 화상을 비교하고 어뎁티브 필터링하여 에러가 최소가 되게한다. 이때 어뎁티브 필터(28)의 계수를 에러가 최소가 되는 계수로 만든후에 어뎁티브 계수 코딩하여 압축화상과 함께 전송한다.

여기서 어뎁티브 필터는 모든 에러함수를 미분하거나 기울기가 적은방향으로 계수를 변화시켜서 최소의 에러를 만들어 내는 역할을 한다.

또한 다른 방법으로 상기와 같이 압축화상을 만드는 과정에서 FDCT한 후에 바로 IDCT를 하고 어뎁티브 필터(28)를 통해 필터링한 후에 필터링된 데이터와 버퍼부(30)에 저장된 데이터를 서브스트레이터(substrator)에서 비교하여 즉, 원래 입력화상과 역DCT한 화상을 비교하고 어뎁티브 필터링하여 에러가 최소가 되게한다. 이때 어뎁티브 필터(28)의 계수를 에러가 최소가 되는 계수로 만든후에 어뎁티브 계수 코딩하여 압축화상과 함께 전송한다.

다음에 압축화상을 복원하기 위한 본 발명 실시예인 JPEG의 복원방법에 대하여 설명하면 다음과 같다.

도 4b에 도시한 바와 같이 압축과정의 역순으로 행하면 되는데 먼저 압축된 데이터를 엔트로피 디코딩하고, VLD(Variable Length Dcoding)를 하고 이후에 역 지그재그 스캔(Inverse zig-zag Scan)하여 2차원 데이터로 만든후에 역양자화를 통하여 역DCT(Inverse Discrete Cosine Transform)를 한다. 이후에 상기 엔코더에서 만든 필터계수가 저장되어 있는 계수를 이용하여 역DCT후의 화상을 어뎁티브 필터링하여 복원화상을 만든다.

복원방법에서도 어뎁티브 필터(28) 대신에 신경망을 써서 에러가 최소가 되는 계수를 만들어 내도록 할 수 있다.

여기서 어뎁티브 필터(28)의 역할은 모든 에러함수를 미분하거나, 기울기가 적은 방향으로 계수를 변화시켜서 최소의 에러를 만들어 내는 것이다.

상기와 같은 본 발명 화질개선을 위한 압축 및 복원방법은 다음과 같은 효과가 있다.

DCT에 의한 페이저 에러와 양자화에 의한 양자화 에러, 그리고 8×8 프로세싱에 의한 블록킹 효과와, 노이즈에 의한 고주파수 발생문제와, 역양자화와 IDCT를 거쳐서 발생하는 모든 에러를 어뎁티브 필터를 사용하여 최소화시키므로써 화질을 개선하여 압축 및 복원할 수 있다.

Claims

임의의 화소에 해당하는 입력화상을 입력받아서 상기 입력화상의 상관관계를 이용하여 저주파수를 제거하기 위해서 화상을 주파수 영역으로 변환하는 포워드DCT(Forward Discrete Cosine Transform) 처리하는 단계와,

상기 주파수 영역으로 변화된 화상을 양자화시키는 단계와,

상기 2차원화된 데이터를 지그-재그 스캐닝하여 1차원의 스트림으로 변환시키는 단계와,

상기 1차원의 스트림으로 변환된 데이터를 베리어블 랭스 코딩(Variable Length Coding)하여 압축하는 단계와,

상기 베리어블 랭스 코딩된 데이터를 엔트로피 코딩하여 압축된 데이터를 출력하는 단계와,

상기 입력화상을 버퍼부에 저장하는 단계와,

상기 양자화된 데이터를 역양자화하는 단계와,

상기 역양자화된 데이터를 역DCT하는 단계와,

상기 역DCT한 데이터를 어뎁티브 필터링하는 단계와,

상기 어뎁티브 필터링된 데이터 값과 상기 버퍼부에 저장된 원래의 입력화상의 데이터값을 비교하여 에러를 검출하는 단계와,

상기 검출된 에러값을 미분하거나 기울기가 적은 방향으로 계수를 변화시켜서 에러가 최소가 되는 계수로 만든후 어뎁티브 계수 코딩하여 상기 압축된 데이터와 함께 저장하거나 전송하는 단계를 포함하는 것을 특징으로 하는 화질개선을 위한 압축방법.
제 1 항에 있어서, 상기 어뎁티브 필터링은 어뎁티브 필터를 사용하여 함을 특징으로 하는 화질개선을 위한 압축방법.
제 2 항에 있어서, 상기 어뎁티브 필터링은 신경망회로부를 통하여 필터링하는 것을 포함함을 특징으로 하는 화질개선을 위한 압축방법.
제 1 항에 있어서, 상기 역양자화 단계와 역DCT단계 대신에 FDCT한 후에 바로 역DCT하고 어뎁티브 필터링하는 단계를 거쳐서 압축하는 것을 포함함을 특징으로 하는 화질개선을 위한 압축방법.
압축화상을 엔트로피 디코딩하는 단계,

상기 엔트로피된 화상을 역VLC(Inverse Variable Length coding)하여 1차원의 데이터로 만드는 단계와,

상기 역VLC한 제 1차원의 데이터를 역지그-재그 스캐닝하여 2차원 데이터로 만드는 단계와,

상기 2차원 데이터를 역양자화하는 단계와,

상기 역양자화된 데이터를 역DCT(Inverse Discrete Cosine Transform)하는단계와,

상기 압축된 화상과 함께 저장된 필터계수의 계수를 이용하여 상기 역DCT된 데이터를 어뎁티브 필터링하여 복원화상으로 출력하는 단계를 포함하여 진행됨을 특징으로 하는 화질개선을 위한 복원방법.
제 5 항에 있어서, 상기 어뎁티브 필터링과 같은 단계는 어뎁티브 필터나 신경망회로부를 통하여 진행하는 것을 특징으로 하는 화질개선을 위한 복원방법.