KR20040011095A

KR20040011095A - 디지털 화질 개선 방법

Info

Publication number: KR20040011095A
Application number: KR1020020044492A
Authority: KR
Inventors: 임성현; 김경만
Original assignee: 삼성전자주식회사
Priority date: 2002-07-27
Filing date: 2002-07-27
Publication date: 2004-02-05
Also published as: KR100477657B1

Abstract

디지털 화질 개선 방법이 개시된다. 원고를 스캐닝하여 획득한 소정의 해상도를 갖는 화소로 구성된 이미지 데이터에 대하여, 하나의 주목화소에 대하여 화질 개선 처리를 하고 인접한 다음 화소를 주목화소로 하여 동일한 방법으로 순차적인 화질 개선 처리를 진행해 나가는 본 발명에 의한 디지털 화질 개선 방법은, (a) 주목 화소의 RGB 색상 데이터를 변환하여 명도 데이터와 채도 데이터를 획득하는 색상 데이터 변환 단계; (b) 명도 데이터를 소정 크기의 마스크로 평활화한 결과를 이용하여 화소 데이터를 강조하는 서프레스 마스킹 단계; 및 (c) 주목 화소가 화질 개선 처리해야할 최종화소인가를 판단하여, 최종화소가 아니라고 판단되면 상기 (a) 단계로 진행하는 단계를 구비하는 것을 특징으로 한다. 따라서, 망형반조 패턴 영역의 왜곡을 완화하고, 컬러 출력 장치로도 출력 가능한 화질 개선 효과가 있다.

Description

디지털 화질 개선 방법{Method for improvement of digital image quality}

본 발명은 화상 입력 장치에 의해 스캐닝되어 입력된 이미지 데이터에 대하여 화질이 개선된 출력을 획득하는 디지털 화질 개선 방법에 관한 것이다.

일반적으로 반조처리 기법은 흑백사진들을 신문, 잡지등에 인쇄하는데 사용되는 방법이다. 이는 2치 출력 즉, 흑/백의 두단계 표현만으로 출력하는 출력장치에서 계조화상을 표현하는 인쇄방법이다.

도 2는 반조기법의 일예로서 2x2 분해영역과 다섯가지(2x2+1)의 흑백 계조단계를 얻기위한 점의 형태들이다. 예컨대, 2치 출력장치로 백에서 흑까지의 5가지의 흑백단계를 생성하기 위하여는 2x2 의 화소블록이 필요하다. 즉, 2치 화소들의 nxn 블록은 n2+1개의 흑백단계를 표현할 수 있다. 즉, nxn 블록을 채워넣는 방법의 수가 n2x1 개의 패턴(Pattern)으로 구현되는 것이다.

반조기법은 일정한 분해영역으로 블록화함으로써 실질적인 해상도를 떨어뜨림에도 불구하고, 고화질의 실질적인 계조출력을 할 수 없는 2치 출력장치에서 대략적인 화상 처리 방법으로 적절하다. 그러나, 반조기법에 의해 출력된 계조화상은 진정한 의미의 연속계조화상은 아니다. 이러한 반조처리 화상은 사람의 육안으로 보기에는 계조성이 잘 표현된 평탄한(low frequency) 계조화상으로 볼 수 있으나 실제로는 고주파의 망형(screened)화상이기 때문이다. 도 2에 도시된 분해영역의 블록들을 모아놓으면 망형이 됨을 알 수 있다. 이러한 반조처리된 화상을 CCD 예컨대 600DPI 해상도의 CCD 또는 CIS의 이미지 센서로 스캐닝하면 1화소는 약 42.3마이크로 미터정도로 잘게 이산화시켜서 고주파 영역으로 인식하게 된다.

이와같이 망형반조(screened halftone) 화상은, 그림영역에 반조처리를 하여 출력된 반조화상(halftoned image)을 원본으로 하여 이를 다시 스캔닝한 데이터에서 나타나는 왜곡이다. 즉, 저주파 영역으로서 처리되어야 할 부분을 고주파 영역으로 강조하게 됨으로써 매우 왜곡된 출력이 나타나게 된다.

도 1은 종래의 화질 개선을 위한 비선명화 마스킹 기법(Unsharp masking for image enhancement)에 대한 미국특허 US4,794,531의 화질 개선 블럭도이다.

US4,794,531 에는 종래의 일반적인 선형 비선명화 마스킹(Linear unsharp masking) 기법과 함께 윈도우내에서 중심화소와 이웃화소간의 차이, 윈도우내의 화소 평균치, 표준 편차등을 이용한 화질 개선 방법이 개시되어 있다.

이러한 종래의 화질 개선 방법에 의하면 전술한 망형반조 패턴영역에서 왜곡이 발생하고 이를 고려하여 강조계수나 함수의 설정을 달리 하면 본래의 샤프닝 강조효과가 반감되는 문제점이 있다.

따라서 본 발명에 이루고자 하는 기술적 과제는, 망형반조 패턴영역의 왜곡을 방지하며 컬러 출력 장치로도 출력 가능한 화질 개선 방법을 제공하는 데 있다.

도 1은 종래의 화질 개선을 위한 비선명화 마스킹 기법(Unsharp masking for image enhancement)에 대한 미국특허 US4,996,603의 화질 개선 블럭도이다.

도 2는 반조기법의 일예로서 2x2 분해영역과 다섯가지(2x2+1)의 흑백 계조단계를 얻기위한 점의 형태들이다.

도 3은 본 발명에 의한 디지털 화질 개선 방법 바람직한 일 실시예를 설명하기 위한 플로우차트이다.

도 4는 도 3에 도시된 제20 단계의 바람직한 일 실시예를 설명하기 위한 플로우차트이다.

도 5는 도 3에 도시된 제30 단계의 바람직한 일 실시예를 설명하기 위한 플로우차트이다.

상기한 기술적 과제를 이루기 위해, 원고를 스캐닝하여 획득한 소정의 해상도를 갖는 화소로 구성된 이미지 데이터에 대하여, 하나의 주목화소에 대하여 화질 개선 처리를 하고 인접한 다음 화소를 주목화소로 하여 동일한 방법으로 순차적인 화질 개선 처리를 진행해 나가는 본 발명에 의한 디지털 화질 개선 방법은, (a) 상기 주목 화소의 RGB 색상 데이터를 변환하여 명도 데이터와 채도 데이터를 획득하는 색상 데이터 변환 단계; (b) 상기 명도 데이터를 소정 크기의 마스크로 평활화한 결과를 이용하여 화소 데이터를 강조하는 서프레스 마스킹 단계; 및 (c) 상기 주목 화소가 화질 개선 처리해야할 최종화소인가를 판단하여, 최종화소가 아니라고판단되면 상기 (a) 단계로 진행하는 단계를 구비하는 것을 특징으로 한다.

이 때 컬러 출력을 위하여, 상기 (b) 단계에서 화질 개선 처리된 후의 명도 데이터와 채도 데이터를 역변환하여 RGB 색상 데이터를 갱신하고 상기 (c) 단계로 진행하는 색상 데이터 역변환 단계를 더 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.

이하, 본 발명에 의한 디지털 화질 개선 방법 및 장치의 구성과 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.

본 발명에 의한 화질 개선 방법은 스캐너와 같은 화상 입력 장치로 스캐닝하여 획득한 소정의 해상도를 갖는 화소로 구성된 이미지 데이터를 처리 대상으로 한다.

일반적으로 스캐너는 원고에 빛을 반사시키는 광원, 반사된 빛을 수렴하는 렌즈 및 수렴된 빛을 수광하는 이미지 센서를 구비한다. CCD(Charge Coupled Device) 또는 CIS(Contact Image Sensor) 등으로 구현되는 이미지 센서는 소정의 간격을 갖는 전기적 셀로 구성되어, 아날로그 화상 데이터에 해당하는 원고에서 반사된 빛을 수광하여 소정의 해상도를 갖는 디지털 화상 데이터로 이산화시킨다. 여기서 이미지 센서의 각 셀에 해당하는 데이터로서 이산화된 데이터의 최소 단위를 화소(pixel)라 한다.

본 발명에 있어서 '주목화소'라는 용어는 본 발명에 의한 화질 개선 방법이 수행되는 화소를 지칭한다.

본 발명에 의한 디지털 화질 개선 방법은, 원고를 스캐닝하여 획득한 소정의해상도를 갖는 화소로 구성된 이미지 데이터에서 하나의 주목화소에 대하여 화질 개선 처리를 하고 인접한 다음 화소를 주목화소로 하여 동일한 방법으로 순차적인 화질 개선 처리를 진행해 나간다.

도 3은 본 발명에 의한 디지털 화질 개선 방법 바람직한 일 실시예를 설명하기 위한 플로우차트로서 색상 데이터 변환 단계(제10 단계), 서프레스 마스킹 진행 여부 결정 단계(제20 단계), 서프레스 마스킹 단계(제30 단계), 색상 데이터 역변환 단계(제40 단계) 및 최종화소 판단 단계(제50 단계)로 이루어진다.

이를 좀 더 세부적으로 살펴보면, 제10 단계에서는 주목화소의 RGB 색상 데이터를 변환하여 명도 성분과 채도 성분을 갖는 색상 데이터로 변환한다.

색상을 표현하는 모델은 3차원 좌표 시스템으로 표현되며 대부분 컬러모니터나 프린터, 애니메이션 그래픽 또는 TV 영상에서 이용되어진다. 색상모델에는 컬러 모니터나 컬러비디오 카메라를 위한 RGB(Red, Green, Blue)모델, 컬러 TV방송의 표준인 YIQ모델, YCbCr 모델등이 있다.

RGB 색상모델은 카메라나 스캐너의 이미지 센서와 디스플레이 발광소자가 동작하는 방식에서 유래한 것이다. 만일 256 계조의 컬러 화상을 처리하기 위해서는 하나의 화소(pixel)당 R, G, B 각각에 8비트를 할당하므로, 하나의 화소당 24비트 즉 3바이트(byte)의 저장공간을 필요로 한다.

YIQ 색상모델은 컬러 TV방송에 쓰이는 장비와의 호환성을 위해 채택된 것이다. YIQ 색상모델은 RGB 색상 데이터를 명도 성분과 채도 성분으로 분리한 것으로서, 명도를 나타내는 Y성분은 흑백TV가 요구하는 모든 비디오정보를 제공하고, 채도를 나타내는 I성분과 Q성분은 각각 동위상(Inphase)과 구적(Quadrature)을 뜻하는 두 색상 성분이다. RGB 색상모델로부터 YIQ 색상모델로의 색상 데이터 변환식은 수학식 1과 같다.

Y = 0.29900R + 0.58700G + 0.11400B

I = 0.59600R - 0.27500G - 0.32100 B

Q = 0.21200R - 0.52300G + 0.31100 B

YCbCr 색상모델은 디지털 비디오 컴포넌트의 제정에 있어서 ITU-R BT.601에서 제안된 것이다. YCbCr은 색상정보로부터 명도를 분리하는 또 하나의 컬러 공간이다. 명도는 Y로 기호화되고 푸른 정보와 붉은 정보는 Cb와 Cr로 기호화 된다. RGB 생상모델을 YCbCr색상모델로 변환하는 방법은 여러 가지가 있으나, ITU-R(International Telecommunication Union-Radio communication Sector)의 권고안이며 JPEG, MPEG 등의 영상압축에서 사용되는 전형적인 색상 데이터 변환식과 그 역변환식은 수학식 2, 수학식 3과 같다.

Y = 0.29900R + 0.58700G + 0.11400B

Cb = -0.16874R - 0.33126G + 0.50000B

Cr = 0.50000R - 0.41869G - 0.08131B

R = 1.00000Y + 1.40200Cr

G = 1.00000Y - 0.34414Cb - 0.71414Cr

B = 1.00000Y + 1.77200Cb

여기서, 수학식 3의 색상 데이터 역변환은 컬러 출력을 위하여 선택적으로 더 구비되는 색상 데이터 역변환 단계(제40 단계)에서 사용된다.

제10 단계의 바람직한 일 실시예로서 YCbCr 색상모델을 사용하여 색상 데이터를 변환하는 경우, 명도 성분은 Y 성분으로 채택되고 채도 성분은 Cb 및 Cr 성분에 의하여 구해질 수 있다. 특히 채도 성분은 예컨대 Cb의 절대값과 Cr의 절대값의 합으로 구해질 수 있다. 또한 채도 성분은 예컨대 Cb와 Cr의 평균 제곱근(RMS, Root Mean Square)으로 구해질 수 있다. 이를 수학식으로 표현하면 수학식 4 또는 수학식 5와 같이 표현된다.

제20 단계는 본 발명에 의한 화질 개선 장치에서 선택적으로 더 구비되는 단계로서 서프레스 마스킹 처리 단계(제30 단계)로의 진입여부를 결정하는 단계이다. 제30 단계로 진행할 소정 조건을 만족하는지를 판단하여, 상기 조건을 만족한다고 판단되면 제30 단계로 진행하고, 상기 조건을 만족하지 않는다고 판단되면 제50 단계로 진행하는 단계이다. 제20 단계는 구체적으로 다음과 같이 제22 ~ 제26 단계로 세분될 수 있다. 먼저, 제22 단계에서는 소정 p ×q 크기의 마스크내에서 제10 단계에서 획득한 명도 데이터의 최대값와 최소값의 차이을 계산한다. 제24 단계에서는 명도 최대값과 최소값의 차이가 소정의 한계치 Y_th보다 크면 제30 단계로 진행하고, 그렇지 않으면 제50 단계로 진행한다. 즉, 제24 단계에서 판단하는 서프레스 마스킹 단계(제30 단계)의 진입조건은 수학식 6과 같다.

명도의 변화가 심하지 않은 저주파 영역에 대해 샤프닝 처리를 하면 오히려 모아레(moire)등의 화상 왜곡이 유발될 수 있다. 제24 단계는, 이러한 저주파 영역에 대한 샤프닝 처리의 부정적인 영향을 고려하여 마련된 단계이다.

이와 같은 원리로서, 제26 단계는 컬러 출력을 위하여 선택적으로 더 구비되는 단계로서, 채도가 큰 영역에 대해 샤프닝 처리를 할 경우의 부정적인 영향을 고려하여, 제30 단계로의 진입 여부를 결정한다. 즉 제26 단계에서는 주목화소의 채도 데이터가 소정의 채도 한계치보다 작으면 제30 단계로 진행하고, 그렇지 않으면 제50 단계로 진행한다.

제30 단계는 명도 데이터를 소정 크기의 마스크로 평활화한 결과를 이용하여 화소 데이터를 강조하는 서프레스 마스킹 단계이다. 본 발명에 의한 화질 개선 방법에 사용된 서프레스 마스킹 기법은 비선명화 마스킹 처리(unsharped masking)를 발전시킨 것이다.

비선명화 마스크 처리에 대하여 다음과 같이 상세히 설명한다. 비선명화 마스크 처리는 원영상으로부터 흐려진 영상을 빼는 일반적인 처리를 말하며, 강조 계수를 크게 하면 모서리(edge) 강조 효과가 커진다. 비선명화 마스크 처리 결과의 일 실시예는 수학식 7와 같이 처리된다.

여기서 X는 주목화소,는 평균화소, k는 강조계수, X'는 비선명화 마스크처리 결과이다. 즉, 고주파 통과 처리된 화상에 소정의 강조계수 k 를 가중하여 주목화소의 원화상 X에 더하면 비선명화 마스크 처리된 결과를 얻는다.

이러한 비선명화 마스크 처리에 의하면 인쇄된 영상을 복사할 때 자주 나타나는 망형반조 영역에서 심한 왜곡이 나타나게 된다. 그 이유는 반조화상은 사람이 육안으로 보았을 때 즉 육안이 식별할 수 있는 해상도 범위에서는 평탄한(low frequency)부분이라 하더라도 실제로는 변화가 심한 고주파 패턴(high frequency pattern)으로 나타나기 때문이다. 결국 고주파 패턴을 크게 강조되는 샤프닝 처리(sharpening)의 특성상 실제 강조할 필요가 없는 그림영역인 망형반조 영역까지 심하게 강조되어 원치 않는 강조 효과가 나타난다. 이를 방지하기 위하여 강조계수 k를 작게 한다면 기존 방법의 주목적인 샤프닝에 의한 화질 개선 효과를 얻기가 힘들다. 수학식 8로 표현되는 본 발명에 의한 서프레스 마스킹(suppressed masking) 기법은 이러한 한계를 극복할 수 있다.

여기서은 m1 ×n1 크기를 가지는 마스크 평균이며,는 m2 ×n2 크기를 가지는 마스크 평균이다. Y' 은 서프레스 마스킹에 화질 개선 처리된 결과이다.

제30 단계는 보다 바람직하게는 제31 ~ 제35 단계로 세분화된다.

제31 단계에서는, 주목 화소를 중심으로 소정 m1 ×n1 크기의 제1 마스크내의 화소에 대한 명도 데이터의 제1 명도 평균값을 구한다. 제31 단계는 일종의 평활화 처리에 해당하며 망형반조에 의한 왜곡을 완화하는 단계이다.

제32 단계에서는, 주목 화소를 중심으로 소정 m2 ×n2 크기의 제2 마스크내의 화소에 대한 명도 데이터의 제2 명도 평균값를 구한다.

여기서, m1은 m2보다 작고, n1은 n2보다 작게 잡는다. 본 발명에 의한 서프레스 마스킹에 있어서,은 원화소에 대응하며는 평균화소에 대응한다. 따라서,의 마스크 크기를의 마스크 크기보다 작게 설정한다. 그러므로 m1 < m2, n1 < n2 이다.

제33 단계에서는, 제1 명도 평균값과 제2 명도 평균값의 차이를 구한다.

제34 단계에서는, 제33 단계에서 구한 명도 평균값의 차이에 소정 강조계수 k 를 곱한 강조 화상을 구한다.

제35 단계에서는 제1 명도 평균값과 강조 화상을 더하여 화질 개선된 화상을 획득하여, 수학식 8와 같은 결과를얻는다.

제40 단계는, 컬러 출력을 위하여 선택적으로 더 구비되는 단계로서, 제30 단계에서 화질 개선 처리된 후의 명도 데이터와 채도 데이터를 역변환하여 RGB 색상 데이터를 갱신하고 제50 단계로 진행하는 색상 데이터 역변환 단계이다.

마지막으로 제50 단계에서는 주목 화소가 화질 개선 처리해야할 최종화소인가를 판단하여, 최종화소가 아니라고 판단되면 제10 단계로 진행한다. 이상에서 설명한 제10 ~ 제40 단계는 하나의 주목화소에 대한 화질 개선 처리 과정이다. 따라서 제50 단계는 하나의 주목화소에 대하여 화질 개선 처리를 하고 인접한 다음 화소를 주목화소로 하여 동일한 방법으로 스캐닝되어 입력된 모든 화소에 대해 화질 개선 처리를 진행하기 위해 마련되는 단계이다.

이상에서 설명한 바와 같이, 본 발명에 의한 디지털 화질 개선 방법 및 장치에 의하면, 망형반조 패턴 영역의 왜곡을 완화하고, 컬러 출력 장치로도 출력 가능한 화질 개선 효과가 있다.

Claims

원고를 스캐닝하여 획득한 소정의 해상도를 갖는 화소로 구성된 이미지 데이터에 대하여, 하나의 주목화소에 대하여 화질 개선 처리를 하고 인접한 다음 화소를 주목화소로 하여 동일한 방법으로 순차적인 화질 개선 처리를 진행해 나가는 디지털 화질 개선 방법에 있어서,

(a) 상기 주목 화소의 RGB 색상 데이터를 변환하여 명도 데이터와 채도 데이터를 획득하는 색상 데이터 변환 단계;

(b) 상기 명도 데이터를 소정 크기의 마스크로 평활화한 결과를 이용하여 화소 데이터를 강조하는 서프레스 마스킹 단계; 및

(c) 상기 주목 화소가 화질 개선 처리해야할 최종화소인가를 판단하여, 최종화소가 아니라고 판단되면 상기 (a) 단계로 진행하는 단계를 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.
제1 항에 있어서, 상기 (a) 단계는,

스캐닝한 RGB 색상 데이터를 YCbCr 색상 데이터로 변환하여, 명도 성분은 Y 성분으로 채택하고 채도 성분은 Cb 와 Cr 성분으로부터 구하는 것을 특징으로 하는 디지털 화질 개선 방법.
제2 항에 있어서,

상기 채도 성분은 Cb의 절대값과 Cr의 절대값의 합으로 구하는 것을 특징으로 하는 디지털 화질 개선 방법.
제2 항에 있어서,

상기 채도 성분은 Cb와 Cr의 평균 제곱근(RMS, Root Mean Square)으로 구하는 것을 특징으로 하는 디지털 화질 개선 방법.
제1 항에 있어서,

(d) 상기 (a) 단계후에, 상기 (b) 단계로 진행할 소정 조건을 만족하는지를 판단하여, 상기 조건을 만족한다고 판단되면 상기 (b) 단계로 진행하고, 상기 조건을 만족하지 않는다고 판단되면 상기 (c) 단계로 진행하는 단계를 더 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.
제5 항에 있어서, 상기 (d) 단계는,

(d1) 소정 p ×q 크기의 마스크내에서 상기 (a) 단계에서 획득한 상기 명도 데이터의 최대값과 최소값의 차이를 계산하는 단계; 및

(d2) 상기 최대값과 최소값의 차이가 소정의 한계치보다 크면 상기 (b) 단계로 진행하고, 그렇지 않으면 상기 (c) 단계로 진행하는 단계를 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.
제6 항에 있어서, 상기 (d) 단계는

(d3) 상기 주목화소의 상기 (a) 단계에서 구한 채도 데이터가 소정의 채도 한계치보다 작으면 상기 (b) 단계로 진행하고, 그렇지 않으면 상기 (c) 단계로 진행하는 단계를 더 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.
제1 항에 있어서, 상기 (b) 단계는,

(b1) 상기 주목 화소를 중심으로 소정 m1 ×n1 크기의 제1 마스크내의 화소에 대한 상기 명도 데이터의 제1 명도 평균값을 구하는 단계;

(b2) 상기 주목 화소를 중심으로 소정 m2 ×n2 크기의 제2 마스크내의 화소에 대한 상기 명도 데이터의 제2 명도 평균값을 구하는 단계;

(b3) 상기 제1 명도 평균값과 상기 제2 명도 평균값의 차이를 구하는 단계;

(b4) 상기 (b3) 단계에서 구한 상기 명도 평균값의 차이에 소정 강조계수를 곱한 강조 화상을 구하는 단계; 및

(b5) 상기 제1 명도 평균값과 상기 강조 화상을 더하여 화질 개선된 화상을 획득하는 단계를 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.
제8 항에 있어서,

상기 m1은 상기 m2보다 작고, 상기 n1은 상기 n2보다 작은 것을 특징으로 하는 디지털 화질 개선 방법.
제1 항에 있어서,

(e) 상기 (b) 단계 후에, 상기 (b) 단계에서 화질 개선 처리된 후의 명도 데이터와 채도 데이터를 역변환하여 RGB 색상 데이터를 갱신하고 상기 (c) 단계로 진행하는 색상 데이터 역변환 단계를 더 구비하는 것을 특징으로 하는 디지털 화질 개선 방법.