KR20010101951A - 확률적 공진과 에너지 대체를 사용하여 압축 영상의외형을 개선하는 시스템 및 방법 - Google Patents

Abstract

압축 영상의 영상 화질을 개선하기 위한 방법이 제공된다. 이 개선된 방법은 "필름 룩(film look)"이라고도 불리는, 덜 "선명한" 영상을 초래하는 어떤 에러 성분의 추가에 관한 것이다. 본 발명의 시스템과 방법은 하나 이상의 영상에 대하여 서브밴드 변환을 수행하고, 그 영상은 하나 이상의 고 주파수 또는 저 주파수 및 DC 주파수 성분으로 나누어진다. DC 주파수를 포함하는 성분에 응답하여, 그 성분의 데이터는 선형화된다. 그리고, 그 성분의 선형화된 데이터는 디콴티피케이션(dequantify)된다. 바람직하게는, 그 데이터를 선형화하는 단계는, 그 데이터의 콴티피케이션 에러와 유사한 확률과 크기 분포를 갖는 함수를 추가하는 단계를 포함한다. 더우기, 그 데이터를 선형화하는 단계는, 정확하게 재생가능하고 그 콴티피케이션 에러 분포를 가깝게 모델링하는 랜덤 값을 발생시키는 함수를 사용하는 단계를 포함한다.

Description

확률적 공진과 에너지 대체를 사용하여 압축 영상의 외형을 개선하는 시스템 및 방법{IMPROVING COMPRESSED IMAGE APPEARANCE USING STOCHASTIC RESONANCE AND ENERGY REPLACEMENT}

오늘날 사용되고 있는 다양한 압축 방법은 바람직하지 않은 결함(artifacts)을 생성한다. 이러한 산물들은 주로 고정된 경계에 있거나 원래 영상에서 보기 드문 패턴으로 이루어진다. 예를 들면, 영상의 이산 코사인 변환(Discrete Cosine Transforms)은 영상 파일에서 데이터의 양을 줄이는데 널리 사용되는 기술이다. 이것은 영상의 변환 부분, 전형적으로 8×8, 또는 16×16 픽셀 블록으로 이루어진다. 이 방법은, 블록 경계를 가로지르는 특징의 장점을 전혀 갖지 못하며 보는 사람에게 매우 분명하게 블록 경계에서 타일 형태의 결함(artifacts)을 발생시키는 경향이 있으므로 효율면에서 제한된다.

전 영상 웨이브렛 변환(full image wavelet transform)과 같은 압축 방법은, 전통적인 여러가지 결함의 일부를 피하는데 사용될 수 있다. 이렇게 얻어진 영상에는, 노이즈 부족으로 인해, 그리고 서브밴드 또는 웨이브렛 처리의 결과로서 부자연스럽게 흐릿한 영상 요소들로 인해, 여전히 부자연스런 외형이 포함될 수 있다. 최종적인 압축 레벨에서, 수량화된(quantified) 데이터 집합은 원래의 연속적인 영상을 적절하게 표현하지 못한다. 이 결과, "평평", "흐릿함", "울퉁불퉁", 얼룩덜룩", "울림", 또는 "소실"이라고 하는 결함이 발생한다.

<관련 출원>

본 발명은 이하에 열거되는 공동 소유의 출원들과 관련되는 것이다: Kenbe Goertzen에 의해 1998년 7월 9일자로 출원되고 발명의 명칭이 "Apparatus And Method For Entropy Coding"인 출원번호 09/112,668호 출원; Kenbe Goertzen에 의해 출원되어 현재 계류중이고 발명의 명칭이 "Scaleable Resolution Motion Image Recording And Storage System"인 출원; Kenbe Goertzen에 의해 출원되어 현재 계류중이고 발명의 명칭이 "Optimized Signal Quantification"인 출원; 및 Kenbe Goertzen에 의해 출원되어 현재 계류중이고 발명의 명칭이 "Quality Priority Image Storage and Communication"인 출원. 이 출원들의 명세서는 본 명세서에서 참고문헌으로 사용된다.

본 발명은 영상 처리 방법에 관한 것으로, 특히 압축 영상의 외형(appearance)을 개선하기 위해 확률적 공진(stochastic resonance)과 영상 대체를 사용하는 시스템 및 방법에 관한 것이다.

본 발명의 시스템 및 방법은, 정보 전달을 개선하고, 콴티피케이션(quantification) 에러를 보상하고, 콴티피케이션 처리에 의해 제거된 임의의 에너지를 출력에서 적절한 불확실한 것(uncertainty)으로 대체하기 위해, 확률 공진-형 프로세스의 장점을 갖는다. 이 방법으로, 콴티피케이션 에러에 기인하여 결과적으로 얻어진 영상에서 어떤 부자연스러운 외형을 완전히 보상할 수 있게 된다. 압축이 증가함에 따라, 결과적으로 얻어진 영상에는 점차적으로 나빠지는 조명(lighting) 환경하에서 보여지거나 촬영된 외형이 포함된다. 그 원래의 외형은 유지되는 반면, 정보 내용과 감지되는 화질은, 전통적인 압축 결함없이, 상당히 자연스럽고 받아들일 수 있는 방식으로 감소한다.

본 발명은 신호나 영상을 나누는 서브밴드에 기인하는 성분 데이터 등급을 조정함으로써 결과적으로 얻어지는 신호의 특성 및 효율을 개선할 수 있다. 그 결과는 콴티피케이션의 불확실성(uncertainty)이 어떻게 조정되는가 하는 결과로서, "필름 룩(film look)"을 산출함으로써 가장 쉽게 설명될 수 있다.

본 발명의 바람직한 실시예에서, 서브밴드 변환은, 높거나 낮은 주파수 및 DC 주파수 성분을 나타내는 영상 생성 성분에서 수행된다. DC 정보를 포함하는 데이터 성분은, 콴티피케이션 에러와 유사한 확률과 크기 분포를 포함하는 함수의 추가로 인해 선형화된다. 선형화 함수는 선택된 랜덤 값의 발생기로서, 정확하게 재생가능하며, 상당히 가까운 에러 분포 모델을 제공한다. 마지막 단계에서, 그 데이터는 역 프로세스에 의해 디콴티피케이션되어, 간단한 선형 곱셈에서 부터, 복소 비선형, 적응, 및 테이블 룩업 프로세스들까지로 그 범위를 넓힐 수 있다.

다른 실시예에서, 상당히 큰 신호들 만을 선형화하고, 또한 0 이외의 콴티파이드된 크기를 만드는 값을 조작함으로써 크기가 증가하는 문제점을 피할 수 있는 방법이 제공된다. 이 실시예에서, 선형화 함수 분포는 위의 바람직한 실시예에서와 같이 선택되지만, 이제는 제로 근처에서 콴티피케이션 함수를 조정하기 위해 사용된다. 이상적으로는, 선택된 선형화 함수 분포는 원래의 제로 범위와 일치되는 최소 범위와, 원래의 범위 더하기 선형화 함수 범위와 동일한 최대 범위를 포함할 것이다. 이 결과, 상당히 큰 값으로 콴티파이어(quantifier)를 선형화하는 시간과 동일한 시간에 제로값의 수가 증가된다. 다음으로 그 결과는 선형화 함수를 재생하여 콴티피케이션 프로세스를 역으로(reverse)함으로써 디콴티피케이션된다. 제로값을 디콴티피케이션하기 위해서는, 제로값의 디콴티피케이션으로 생기는 범위가 선형화되지 않을때처럼, 콴티피케이션 에러와 유사한 분포의 디더(dither) 함수가 사용될 수 있다.

이들 두가지 경우에서, 서브밴드들은 향상된 "필름 룩"을 갖는 새로운 영상을 만들도록 다시 결합된다.

본 발명은 영상 또는 신호의 서브밴드 분할로 인해 생기는 성분 데이터 등급을 조정함으로써, 그 결과 발생하는 신호의 특성 및 효율을 개선시킨다. 그 결과는 콴티피케이션의 불확실성이 어떻게 조정되는가 하는 결과로서 "필름 룩"을 생성함으로써 가장 쉽게 설명될 수 있다. 다음의 단계들은 단지 일러스트레이션만을 목적으로 컴퓨터 상에서 수행됨으로써 설명될 것이다. 당업계에 잘 알려진 것처럼, 필요한 과정과 계산을 수행할 수 있는 장치라면 어느것이라도 사용될 수 있다.

그 방법은 서브밴드 변환을 영상에 적용함으로써 시작된다. 서브밴드 변환 후에, 원래 영상의 다양한 주파수 성분을 나타내는 두개 이상의 성분 집합이 생긴다. 다음의 설명에서, DC와 낮은 주파수 정보를 포함하는 성분 데이터의 밴드들과높은 주파수 정보만을 포함하는 밴드들과의 차이점이 구별된다.

콴티피케이션 단계에서는, 선형 분할, 복소 비선형 함수, 적응, 또는 테이블 룩업 프로세스 등을 포함하는 여러가지 프로세스가 사용될 수 있으며, DC 정보를 포함하는 데이터는 콴티피케이션 에러와 유사한 확률과 크기 분포의 함수가 부가됨으로써 선형화된다. 그 콴티피케이션 에러는 실행 항목에 의존하겠지만, 전형적으로 에러값의 분포가 0의 에러값에 집중되는 분포가 될 것이며, 또한 그 값들은 2에 대해 콴티피케이션 범위를 더하거나 뺀 범위에 주로 속할 것이다. 그 콴티피케이션 범위는 원래 값의 크기의 함수가 되거나, 다른 특징들에 근거한 함수가 될수 있다.

선형화 함수는 선택된 랜덤 값의 발생기이기 때문에, 정확하게 재생가능하며 또한 에러 분포에 상당히 가까운 모델을 제공한다. 선형화 함수의 크기가 인코딩된 사이즈에 거의 영향을 주지 않는 가장 큰 크기 분포를 갖도록 선택된다면, 최대 정보 변환이라는 목표가 실현된다. 다음으로 그 데이터는 역 프로세스에 의해 디콴티피케이션되는데, 그 역 프로세스는 간단한 선형 곱셈에서 부터, 복소 비선형, 적응, 및 테이블 룩업 프로세스들까지 그 범위를 넓힐 수 있다. 디콴티피케이션 후, 그 선형화 함수는 정확히 재생되며, 그 생성 프로세스를 반복함으로써 그 결과치에서 감산된다. 이것은 다른 방법으로 나타낸 것보다 통계적 근거에 의해 더 많은 해상도를 갖는 결과를 생기게 한다.

동일한 방법이 고주파 성분에 대해서도 사용될 수 있지만, 인코딩된 크기를 크게 증가시키지 않는 선형화 함수의 크기는 전형적으로 상당히 낮게 될 것이며,따라서 장점이 거의 없을 것이다. 이것은 콴티피케이션 후에 이들 성분의 값이 정확하게 제로인 분포가 많기 때문이다.

다른 실시예에서, 크기가 큰 신호만을 선형화하고, 0과는 다른 콴티피케이션된 크기를 초래하는 값을 조작함으로써 사이즈가 증가하는 문제를 피할 수 있는 방법이 제공된다. 제로값이 나타나서, 디콴티피케이션 후의 콴티피케이션 에러에 적절한 유사 분포를 가져오게 하기 위해서는, 콴티피케이션 에러의 모델이 제로값에 더해져야만 한다.

이것을 실현하는 하나의 방법은, 제로 근처에서 발생하는 코링(coring)의 양을 제어하는 선형화 함수를 사용하는 것이다. 이 경우, 선형화 함수 분포가 이전처럼 선택되지만, 지금은 최소 범위가 원래의 제로 범위에 일치하고, 최대 범위가 원래의 범위 더하기 선형화 함수 범위와 동일한, 제로 근처의 콴티피케이션 함수를 변조하기 위하여 사용된다. 이 결과, 큰 크기 값에 대하여 콴티파이어를 선형화하는 시간과 동일한 시간에서 제로값의 수를 증가시키게 된다. 한번 더, 선형화 함수의 크기는, 결과적으로 얻어진 크기를 크게 증가시키지 않는 그러한 크기로서 선택될 수 있다. 그리고, 그 결과는, 그 선형화 함수를 재생하여 그 선형화 프로세스를 역으로 함으로써, 디콴티파이될 수 있다. 제로값을 디콴티파이하기 위해서는, 콴티파이션 에러와 유사한 분포의 디더 함수가 더해질 수 있으며, 이는 제로값의 디콴티피케이션으로 부터 얻어진 그 범위가 선형화되지 않고 있기 때문이다.

이러한 프로세스는 신호의 해상도를 선형화하고, 결과적으로 얻어진 영상에서 콴티파이어와 엔트로피 코더(coder)를 통해 정보 전달을 최적화하여, 영상 캡쳐나 "필름 룩"동안 도입되는 불확실한 것을 정확하게 표현한다.

Claims (13)

1. 압축 영상의 영상 화질을 개선하는 방법에 있어서,

   a. 하나 이상의 고 주파수 또는 저 주파수 및 DC 주파수 성분으로 분할되는 영상에 대하여 서브밴드 변환을 수행하는 단계,

   b. DC 주파수들을 포함하는 성분에 응답하여, 상기 성분의 데이터를 선형화하는 단계, 및

   c. 상기 성분의 선형화된 데이터를 디콴티피케이션(dequantification)하는 단계

   를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
2. 제1항에 있어서,

   상기 데이터를 선형화하는 단계는, 상기 데이터의 콴티피케이션 (quantification) 에러와 유사한 확률과 크기 분포를 갖는 함수를 추가하는 단계를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
3. 제2항에 있어서,

   상기 선형화하는 단계는, 정확하게 재생가능하고 상기 콴티피케이션 에러 분포를 근접하게 모델링하는 랜덤값을 발생시키는 함수를 사용하는 단계를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
4. 제1항에 있어서,

   상기 데이터를 디콴티피케이션하는 단계는 간단한 선형 곱셈 알고리즘을 적용하는 단계를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
5. 제1항에 있어서,

   상기 데이터를 디콴티피케이션하는 단계는 복소 비선형 디콴티피케이션 알고리즘을 적용하는 단계를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
6. 제1항에 있어서,

   상기 데이터를 디콴티피케이션하는 단계는 적응 디콴티피케이션 알고리즘을 적용하는 단계를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
7. 제1항에 있어서,

   상기 데이터를 디콴티피케이션하는 단계는 테이블 룩업 프로세스를 사용하는 단계를 포함하는 압축 영상의 영상 화질을 개선하는 방법.
8. 압축 영상의 영상 화질을 개선하는 시스템에 있어서,

   a. i. 상기 영상에 대해 서브밴드 변환을 수행하는 단계,

   ii. 그 성분의 데이터를 선형화하는 단계, 및

   iii. 상기 성분의 선형화된 데이터를 디콴티피케이션하는 단계

   를 수행할 수 있는 프로세서;

   b. 상기 프로세서에 접속되어, 동적으로 상기 영상을 저장하는 하나 이상의 메모리 모듈;

   c. 상기 메모리에 접속되어, 상기 영상에 저장된 데이터를 선형화하기 위해 사용되는 하나 이상의 방정식(equations)을 영구적으로 저장하는 내장 메모리; 및

   d. 상기 프로세서, 상기 메모리 모듈, 및 상기 내장 메모리에 접속되어, 시스템의 각 구성요소 사이에 디지털 통신 링크를 제공하는 통신 버스,

   를 포함하는 압축 영상의 영상 화질을 개선하는 시스템.
9. 제8항에 있어서,

   상기 내장 메모리는 샘플링된 영상 데이터의 디콴티피케이션 에러와 유사한 확률과 크기 분포를 갖는 함수를 포함하는 압축 영상의 영상 화질을 개선하는 시스템.
10. 제9항에 있어서,

    상기 내장메모리는, 정확하게 재생가능하고 주어진 영상 데이터 샘플에 대한 콴티피케이션 에러 분포를 근접하게 모델링하는 랜덤값을 발생시키는 하나 이상의 함수를 포함하는 압축 영상의 영상 화질을 개선하는 시스템.
11. 제8항에 있어서,

    상기 내장 메모리는 간단한 선형 곱셈 알고리즘을 포함하는 압축 영상의 영상 화질을 개선하는 시스템.
12. 제8항에 있어서,

    상기 내장 메모리는 복소 비선형 디콴티피케이션 알고리즘을 포함하는 압축 영상의 영상 화질을 개선하는 시스템.
13. 제8항에 있어서,

    상기 내장 메모리는 적응 디콴티피케이션 알고리즘을 포함하는 압축 영상의 영상 화질을 개선하는 시스템.