KR20060109260A

KR20060109260A - 수퍼 디더링을 이용한 비디오 처리 방법 및 시스템

Info

Publication number: KR20060109260A
Application number: KR1020050093060A
Authority: KR
Inventors: 닝 쑤; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2005-04-14
Filing date: 2005-10-04
Publication date: 2006-10-19
Also published as: KR100782821B1; US7420570B2; US20060233438A1

Abstract

컬러 비디오 양자화의 수퍼 디더링(super dithering) 방법은 입력 비디오 보다 더 적은 컬러 비트 깊이를 가진 화면 표시 장치상에서 인식된 비디오 품질을 유지시킨다. 수퍼 디더링은 인간의 시각 시스템의 공간적 및 시간적인 특성 모두에 의존하며, 공간적 디더링은 인간의 눈의 저역 통과 공간적 특성을 고려하기 위하여 적용되며, 반면에 시간적 디더링은 공간적 디더링의 양자화 레벨을 결정하기 위하여 적용된다.

Description

수퍼 디더링을 이용한 비디오 처리 방법 및 시스템{Methods and systems for video processing using super dithering}

도 1A는 본 발명의 일 실시예에 따른 컬러 양자화 시스템 예를 보여주며 입력 컬러 신호를 출력 신호의 미리 정해진 양자화 레벨로 양자화 한다.

도 1B는 도 1A의 컬러 양자화 시스템의 더 상세한 블록도를 보여준다.

도 2는 도 1B에서의 분해 블록의 일 실시예의 블록도 예시를 보여준다.

도 3은 도 1B에서의 공간 디더링 블록의 일 실시예의 블록도 예시를 보여준다.

도 4는 도 1B에서의 공간과 시간상의 변조 블록의 일 실시예의 블록도 예시를 보여준다.

도 5는 도 1B에서의 검사 테이블(lookup table) 블록의 일 실시예의 블록도 예시를 보여준다.

본 발명은 일반적으로 비디오 및 이미지 처리에 관한 것이며, 특히 비트 깊이가 불충분한 화면 표시 장치에 대해 비디오 품질을 향상시키기 위하여 비디오 시 퀀스들의 컬러 양자화 또는 재양자화에 관한 것이다.

24 비트 RGB 컬러 공간은 일반적으로 모니터, 텔레비전 등과 같은 많은 화면 표시 장치에 사용된다. 24 비트 RGB 화면 표시 장치상에 표시되기 위하여, 고정밀도의 캡쳐 또는 처리 시스템으로부터의 생기는 이미지들은 우선 3개의 8 비트 트루 컬러(true color) 신호들로 양자화되어야 한다. 과거에는, 이 24 비트 컬러 공간은 컬러 표현에 대하여 충분한 것 이상이라고 여겨졌다. 그러나, 화면 표시 장치 기술이 진보하고 밝기 레벨이 증가함에 따라, 소비자들은 더 이상 기존의 24 비트 화면 표시 장치들에 만족하고 있지 않다.

더 높은 비트 처리 칩들과 드라이버들을 포함하는 더 고성능의 비트-깊이 화면 표시 장치들이 화면 표시 장치 산업에 있어서 유행이 되고 있다. 여전히, 기존의 화면 표시 장치들과 가까운 미래에 생산될 화면 표시 장치들의 대부분은 채널당 8 비트들이다. 8 비트 화면 표시 장치들을 사용하여 채널당 8 비트들 보다 더 많은 컬러 데이터를 표현하는 것과 동시에 비디오 품질을 유지하는 것은 매우 바람직하다.

더 적은 비트 이미지들을 사용하여 더 많은 비트 이미지들을 표현하려는 시도는 인쇄 단체에서 있어 왔다. 하프톤닝(halftoning) 알고리즘이 레이저나 잉크젯 프린터로 인쇄하기 위하여 연속적인-톤(tone)의 이미지들을 이진(binary) 이미지들로 변환시키기 위하여 사용된다. 하프톤닝 방법들의 두 부류가 주로 사용되며, 이는 디더링과 오차 확산이다. 양 방법은 인간의 시각 시스템의 저역 통과 특성을 이용하며, 인간이 보기에 덜 인식되는 고주파 영역으로 양자화 오차들 을 재분배한다. 디더링과 오차 확산 사이의 주요한 차이는 디더링은 픽셀의 좌표에 기초하여 픽셀별로 조작하며, 오차 확산 알고리즘은 러닝(running) 오차에 기초하여 조작한다는 것이다. 오차 확산에 의한 하프톤닝의 하드웨어 구현은 디더링에 의한 것보다 더 많은 메모리를 요구한다.

인쇄를 위하여 개발된 하프톤닝 알고리즘은 8 비트 비디오 화면 표시 장치를 사용하여 더 많은 비트 깊이를 표현하는데 사용될 수 있다. 일반적으로, 공간 디더링은 단순하고 빠르기 때문에 비디오 양자화에 적용된다. 그러나, 비디오 화면 표시 장치들에 대하여, 시간적 차원(시간)은 표현될 컬러 정밀도를 높이기 위하여 시간 영역에서의 인간의 시각 시스템의 통합을 이용하는 것을 가능하게 한다. 그렇게 하는 방법들 중의 하나는 기존의 2차원 디더링 방법들을 3차원 공간과 시간상의 디더링으로 일반화하는 것이며, 이는 3차원 디더링 마스크를 사용하는 것과 2차원 공산상의 디더링 알고리즘을 시간상의 오차 확산과 결합시키는 것을 포함한다. 또한, 오차 확산 알고리즘들은 3차원 확산 필터를 이용하여 직접 3차원으로 일반화될 수 있다. 이들 방법들은 단순히 2차원 하프톤닝 방법들을 3차원으로 확장하며, 인간의 시각 시스템의 시간적 특성들을 고려하지 않는다. 게다가, 시간적 오차 확산 방법들은 하드웨어 구현에 있어서 비용이 드는 프레임 메모리를 필요로 한다.

본 발명이 이루고자 하는 기술적 과제는 고품질의 비디오 이미지를 저성능의 화면 표시 장치상에서 본래 이미지의 품질을 유지시킬 수 있도록 하는 수퍼 디더링을 이용한 비디오 처리 방법 및 시스템을 제공하는 것이다.

본 발명은 상기 단점들을 역점을 두어 다룬다. 본 발명에 따른 컬러 비디오 양자화에 대한 수퍼 디더링 방법은 입력 비디오 보다 더 적은 컬러 비트 깊이를 가진 화면 표시 장치상에서 인식된 비디오 품질을 유지시킨다. 수퍼 디더링은 인간의 시각 시스템의 공간적 및 시간적인 특성 모두에 의존하며, 공간적 디더링은 인간의 눈의 저역 통과 공간적 특성을 고려하기 위하여 적용되며, 반면에 시간적 디더링은 공간적 디더링의 양자화 레벨을 결정하기 위하여 적용된다.

일 실시예에서, 본 발명은 고정밀도 컬러 비디오 양자화에 대해 더 나은 지각적 결과를 위해 공간 디더링 처리와 데이터 의존적인 시간 디더링 처리를 결합시키는 컬러 양자화 방법을 제공한다. 시간 디더링의 크기(즉, 각 픽셀에 대해 고려되는 프레임들의 수)는 비디오 화면 표시 장치의 프레임 레이트(frame rate)에 의해 제한된다. 일례에서는, 프레임 레이트 60Hz에서 시간 디더링에 대하여 3 프레임들이 이용된다. 시간 디더링인 데이터에 의존하는 방법이며, 다른 컬러 값들과 다른 위치에 대하여 시간 디더링 체계는 차이가 난다. 이러한 결합된 2차원 공간 디더링과 데이터 의존적인 시간 디더링이 본 발명에 따른 수퍼 디더링이라고 불리며, 우선 각 픽셀에 대한 컬러 값을 중간 양자화 레벨로 디더링하고 그 다음에 그것들을 디더링함으로써 컬러의 이 중간 레벨들을 최종의 양자화 레벨로 바꾸기 위하여 시간 디더링을 사용한다.

본 발명에 따른 다른 실시예들, 특징들 및 이점들은 첨부된 도면과 함께 아래의 상세한 설명으로부터 곧 알 수 있을 것이다.

본 발명에 따른 컬러 비디오 양자화에 대한 수퍼 디더링 방법은 입력 비디오 보다 더 적은 컬러 비트 깊이를 가진 화면 표시 장치상에서 인식된 비디오 품질을 유지시킨다. 수퍼 디더링은 인간의 시각 시스템의 공간적 및 시간적인 특성 모두에 의존하며, 공간적 디더링은 인간의 눈의 저역 통과 공간적 특성을 고려하기 위하여 적용되며, 반면에 시간적 디더링은 공간적 디더링의 양자화 레벨을 결정하기 위하여 적용된다.

일 실시예에서, 본 발명은 고정밀도 컬러 비디오 양자화에 대한 더 나은 지각적 결과들을 위해 2차원 공간 디더링 처리와 데이터에 의존하는 시간 디더링 처리를 결합하는 컬러 양자화 방법을 제공한다. 다른 공간 디더링 처리 또한 이용될 수 있다. 시간 디더링의 크기(즉, 각 픽셀에 대한 고려되는 프레임들의 수)는 비디오 화면 표시 장치의 프레임 레이트에 의해 제한된다. 일례에서는, 프레임 레이트 60Hz에서 시간 디더링에 3 프레임들이 이용된다. 시간 디더링은 데이터에 의존하는 방법이며, 다른 컬러 값들과 다른 위치에 대하여 시간 디더링 체계는 차이가 있다. 이러한 결합된 2차원 공간 디더링과 데이터에 의존하는 시간 디더링은 (본 명세서의 아래에서 더 상세히 기술된) 수퍼 디더링(super dithering)이라는 불리며, 우선 각 픽셀의 컬러 값들을 중간 양자화 레벨로 디더링하고 그 다음에 이 컬러의 중간 레벨들을 디더링함으로써 최종 양자화 레벨로 바꾸기 위하여 시간 디더링을 이용한다.

공간 디더링

공간 디더링은 공간 영역에 걸쳐 통합된 정보인 인간의 시각 시스템의 특성 에 의지함으로써 화면 표시 장치의 성능보다 더 깊이있게 만드는 방법들 중의 하나이다. 인간의 시각은 비록 패턴의 개별 요소들을 분해할 수 있을 때에도 조차 컬러의 균일한 색조의 미묘한 차이를 인식할 수 있으며, 이는 공간 영역내에서의 패턴의 평균값이다.

여기서 설명을 단순화하기 위하여, 우선 흑색(black) 및 백색(white)으로 디더링하는 것을 고려한다. 디더링 마스크는 쓰레숄드 계수들의

매트릭스 M(i,j)으로 정의된다. 하프톤(halftone)으로 될 입력 이미지는 입력 그레이 레벨들(gray level)들의

매트릭스 I(i,j)로 표현된다. 일반적으로, 디더링 마스크의 크기는 입력 이미지의 크기보다 더욱 더 작다. 즉,

. 출력 이미지는 흑색과 백색 두 가지 레벨들을 포함하는 흑백 이미지이다. 만약 흑색이 0으로 표현되고 백색이 1로 표현되면, 출력 이미지 O는 0과 1로 이루어진

매트릭스로 표현된다. 픽셀의 값 O(i,j)는 값 I(i,j) 및

을 만족하는 디더링 마스크 M에 의하여 결정된다.

이 흑백 디더링은 다수의 레벨을 가지는 멀티-레벨 디더링으로 쉽게 확장될 수 있다. 여기서 디더링 마스크의 쓰레숄드 계수들은 0과 1사이(즉, 0<M(i,j)<1)이며, 입력 이미지의 그레이 레벨들 I는 또한 0과 1사이(즉,

)로 정규화 된다고 가정한다. 각 가능한 입력 그레이 레벨 I(i,j)가

로 표현되는 아래쪽의 출력 레벨과

로 표현되는 위쪽의 출력 레벨 사이에 놓이도록 출력 이미지 O에 대한 다수의 양자화 레벨들이 있다.

는 I(i,j)와 같거나 더 작은 가장 큰 가능한 양자화 레벨로 정의되며,

는

보다 큰 다음 레벨로 정의된다. 그래서, 디더링의 출력 O(i,j)는

로 정의 될 수 있다.

세 성분들 R, G 및 B를 포함하는 컬러 이미지들에 대하여, 공간 디더링은 모든 세 성분들에 대하여 독립적으로 수행될 수 있다.

디더링 마스크들에 대한 두 개의 다른 부류들이 있으며, 하나는 분산 점 마스크(dispersed dot mask)이고 다른 하나는 밀집 점 마스크(clustered dot mask)이다. 분산 점 마스크는 작고 고립된 픽셀들의 정확한 인쇄가 신뢰성 있는 있는 경우에 바람직하며, 반면에 밀집 점 마스크는 작고 고립된 픽셀들을 정확하게 수용할 수 없는 처리인 경우에 필요하다. 본 발명에 따르면, 화면 표시 장치는 픽셀들을 정확하게 수용할 수 있기 때문에, 분산 점 마스크가 이용된다. 분산 점 마스크의 쓰레숄드 패턴(threshold pattern)은 보통 생성된 매트릭스들이 모든 그레이 레벨에 대하여 셀(cell)의 전역에서 흑색과 백색의 균일성을 보장하도록 생성된다. 각 그레이 레벨에 대하여, 디더링된 패턴(dithered pattern)의 평균값은 대략 그레이 레벨과 동일하다. 베이어 패턴(Bayer pattern)들에 대하여, 큰 디더링 마스크의 크기는 더 작은 크기의 매트릭스로부터 순환적으로 형성될 수 있다.

시간 디더링

비디오 화면 표시 장치는 일반적으로 매우 고속의 재생 속도(refresh rate)로 이미지들을 표시하며, 재생 속도는 충분히 높아서 인간의 시각 시스템에서는 컬러 퓨전(color fusion)이 생기며 눈은 두 개의 이웃하는 프레임들 사이의 차이를 인식하지 못한다. 인간의 눈은 또한 시간적으로 저역 통과 특성을 가져서 화면 표시 장치상에서의 비디오는 재생 속도가 충분히 높을 때에 연속적으로 보인다. 이 저역 통과 특성은 더 고정밀도의 컬러들의 지각을 달성하기 위하여 시간적 평균의 이용을 가능하게 한다. 실험들은 고속 재생 속도에서 두 개의 약간 다른 컬러들이 보는 사람에게 교대로 보여지는 경우에 보는 사람은 두 개의 컬러들이 번갈아 보이는 대신에 두 개의 컬러의 평균값을 본다는 사실을 보여준다. 그래서, 화면 표시 장치는 고속 재생 속도에서라면 화면 표시 장치의 물리적 성능보다 더 많은 컬러 색조들을 보여줄 수 있다. 예를 들면, 아래 표 1은 평균 색조들을 얻기 위하여 두 개의 프레임들

및

의 사용을 보여준다. 처음의 두 라인(line)들

및

은 두 프레임들의 컬러 값들이며, 세 번째 라인 Avg는 고속 재생 속도에서 두 개의 프레임들이 교대로 보여진다면 인식될 수 있는 평균값들을 보여준다. 이 두 프레임 평균의 경우에 있어서, 컬러의 색조들의 1 이상의 비트 정밀도를 이룰 수 있다.

[표 1]

두 프레임들의 시간적 평균으로 더 고정밀도를 달성

	0	1	1	2	2	3	...
	1	1	2	2	3	3	...
Avg	0.5	1	1.5	2	2.5	3	...

이는 다수의 프레임 평균으로 일반화할 수 있다. (즉, 재생 속도가 허용하는 때에, 더 많은 프레임들이 더 고정밀도의 컬러들을 표혀하기 위하여 이용된다.) 예를 들면, 아래 표 2는 본래 컬러 양자화 간격의 1/3의 정밀도로서의 중간 컬러들을 얻기 위하여 세 개의 프레임들

,

및

의 이용을 보여준다.

[표 2]

세 프레임들의 시간적 평균으로 더 고정밀도를 달성

	0	0	1	1	1	2	...
	0	1	1	2	2	3	...
	1	1	1	2	2	2	...
Avg	0.33	0.66	1	1.33	1.66	2	...

f 개의 프레임드을 이용할 수 있는 능력을 가정하면, 그때 가장 작은 인식 가능한 차이는 본래 양자화 간격의 1/f이 될 것이며, 화면 표시 장치의 인식 가능한 비트 깊이(bit depth)는

배로 증가한다. 예를 들면, 만약 화면 표시 장치가 채널당 8비트이고 두 프레임 평균이 이용된다면, 화면 표시 장치는 채널당

비트들을 표시할 수 있을 것이다.

이제 이 시간 디더링에 대한 알고리즘 예를 설명한다. 전 단락에서와 같이 동일한 표기법이 사용되지만, 입력 이미지들 I는 이제 프레임상에 추가적인 차원으로 수 t를 가지는 이미지 시퀀스들이며, 출력 픽셀 값 O(i,j,t)는 입력 픽셀 I(i,j,t)와 평균에 사용될 프레임들의 수 f에 기초하여

와 같이 결정될 수 있다.

시간 평균 함수는 인간의 시각 시스템의 속성들로 알려진 아래 내용에 의해 제한된다. 두 개의 색 광원이 바뀌거나 깜박이는 때에, 깜박임이 명암도만의 변화로서 보이는 경우라면, 저속의 깜박임에서는 컬러가 교대로 보이나, 주파수를 15-20Hz로 올린 경우에는 컬러 깜박임 퓨전(fusion)이 생긴다. 관찰자는 두 광원들의 명암도들의 균형을 (광원들이 등휘도(equiluminant)라 불리는 점에서) 잡음으로써 모든 깜박임의 감각을 제거할 수 있다.

따라서, 두 개의 주요한 제약들이 있다. 이는 (1)화면 표시 장치의 재생 속도 및 (2)번갈아 나타나는 컬러들의 휘도 차이이다. 첫 번째 제약에 대하여, 컬러 깜박임 퓨전이 시작되기 위하여 최소 10-20 Hz의 교대 속도가 필요하며, 이는 시간 평균에 대해 사용되는 프레임들의 수를 제한하여 달성 가능한 비트-깊이를 제한한다. 대부분의 HDTV 프로그레시브 스캔(progressive scan)은 재생 속도로 60 Hz를 가지기 때문에, 시간 평균에 사용될 수 있는 프레임 수는 3 또는 4 프레임들로 제한된다. 두 번째 제약에 대하여, 교대로 나타나는 컬러들의 휘도 차이는 컬러 깜박임 퓨전이 발생한 후에 깜박임을 줄이기 위하여 최소화 되어야 한다.

인자들의 최적화

표 1과 2를 다시 참조하면, 컬러의 시간적 평균 지각을 얻기 위하여 다른 프레임들에 대해 값들을 할당하는 다른 가능성들이 있음을 알 수 있다. 예를 들면, 값 0.5는 표 1에서 보인 것과 같이

=0,

=1 뿐만 아니라

=1,

=0을 할당함으로써 얻을 수 있다. 컬러 화면 표시 장치가 세 개의 컬러 채널들 즉 적(red), 녹(green), 청(blue) (RGB)를 독립적으로 조절할 수 있다는 것을 더 고려하면, 동를 들면, 아래 표 3은 컬러

={0.5, 0.5, 0.5}을 얻는 두 개의 다른 가능성들을 보여준다.

[표 3]

세 개의 컬러 성분들의 시간 평균

예 1	R	G	B
	0	0	0
	1	1	1
Avg	0.5	0.5	0.5

예 2	R	G	B
	0	1	0
	1	0	1
Avg	0.5	0.5	0.5

인간의 시각 시스템의 속성들을 알면, 있음직한 깜박임 효과들은 번갈아 나타나는 컬러들의 휘도 값들의 균형을 맞춤으로써 줄일 수 있다. 원하는 컬러을 얻기 위하여 평균될 수 있는 모든 시간적 컬러 조합들로부터 휘도 변화들을 최소화하는 하나를 선택한다.

휘도 Y는 선형 결합 Y=L(R,G,B)로 적,녹 및 청 성분들로부터 유도될 수 있다. 휘도와 세 성분들 (R, G, B) 사이에서의 관계는 장치 의존적이다. 화면 표시 장치의 다른 물리적 설정은 다른 원색들(primaries) 및 다른 이득들을 가질 수도 있다. NTSC 표준에 관해서는, Y는 다음과 같이 정의된다.

.

반면에 HDTV 비디오는 Y를 다음과 같이 정의한다.

.

화면 표시 장치가 NTSC 표준과 호환된다고 가정하면, 표 3에서 보인 두 경우들에 대하여 휘도 차이

및

는 아래와 같이 결정된다.

값

는 값

보다 매우 더 작으며 그래서 인식 가능하다 할지라도 깜박임은 두 번째 경우에 대하여 더욱 더 적어야 한다.

배 더 정밀한 컬러 깊이를 얻기 위하여 f 개의 프레임들이 사용된다고 가정하면, 입력 컬러 (r, g, b)는 이미 이 정밀도로 양자화 되었고, 각 프레임 t에 대한 값들 (

,

)는 결정될 필요가 있다. 여기서

을 만족하며 (r, g, b)는 아래 식 (1), (2) 및 (3)을 만족하여 (R, G, B)보다 더 높은 정밀도를 가진다.

위 관계식들 (1), (2) 및 (3)을 만족시키는 값들의 많은 다른 집합들

이 있다. 상기 관계식에 대한 모든 가능한 해들은 해 집합

와 같이 정의될 수 있다. 다른 컬러들의 f 개의 프레임들의 휘도의 균형을 잡기 위하여, 집합

는

과 같이 선택될 수 있으며, 이는

와 동등하여 그 결과 집합 RGB 내에서 최대 휘도 차이는 최소화된다.

사실상, 집합 D에는 많은 가능한 해들이 있으며 최대 휘도 차이는 아주 작은 값으로 최소화될 수 있다. 시간 디더링의 크기(즉, 프레임 수 f)가 고정될 때에, 가능성의 수는 시간 디더링의 범위(즉, 컬러 값들

과 입력 컬러 (r, g, b) 사이에서 얼마나 많은 차이가 허용되는 지)에 의존한다. 허용되는 차이의 범위가 크면 클 수록, 얻을 수 있는 휘도 차이는 더 작아진다.

일례에서, 8비트 화면 표시 장치상에 RGB 값 (128.333, 128.333, 128.667)을 표현하기 위하여 3개의 프레임들이 사용된다. 우선, 각 컬러 성분에 대하여 입력 값들로부터 가장 작은 변화가 허용된다(즉, 128 및 129). 컬러들의 세 개의 프레임들의 가능한 최선의 조합은 아래 표 4에서의 예 1에서 보여지며, 세 프레임들의 최대 휘도 차이는 0.299이다.

[표 4]

다른 조합들의 비교

예 1	R	G	B	Y	예 2	R	G	B	Y
	128	128	129	128.1		127	129	129	128.4
	128	129	128	128.5		129	128	128	128.2
	129	128	129	128.4		129	128	129	128.4
Avg	128	128.3	128.6		Avg	128	128.3	128.6
max( )				0.299	max( )				0.114

그러나, 만약 값들의 범위가 127, 128 및 129로 넓혀진다면, 최상의 조합은 표 4에서 예 2로서 보여지며, 최대 휘도 차이는 0.114로 줄어든다.

그래서, 범위를 넓히는 것은 휘도 차이의 감소를 가능케하며, 이로 인해 깜박임이 줄어든다. 그러나, 언급했던 것과 같이, 컬러 성분들과 그들의 휘도 값들 사이의 관계는 장치 의존적이다. 다른 화면 표시 장치에 대한 컬러 온도(color temperature), 컬러 원색들(color primaries), 개개의 컬러 이득들의 다른 설정들이 있을 수 있으며, 휘도와 세 컬러 값들 사이의 관계는 불확실해질 수 있다. 휘도 차이가 화면 표시 장치의 설정들에 의해 덜 영향을 받고 휘도 차이의 최소화는 비록 NTSC 표준에 기초하여 최적화되더라도 기본적으로 모든 화면 표시 장치들에 대해 작동하기 때문에 컬러 양자화 레벨들의 가장 작은 범위를 사용하는 것이 바람직하다.

이 경우에, 컬러 값들의 범위는

로서 제한된다. 각 컬러 성분들에 대하여, f=2에 대해서는 2 개까지의 다른 할당 가능성이 있고 f=3에 대해서는 3개까지의 다른 가능성이 있다. 일반적으로, 시간 평균에 대해 f 개의 프레임들을 사용할 때,

개까지의 다른 가능성들이 있다. 세 컬러 성분들을 고려하면, 전체의 선택들은

개까지 있다.

휘도 차이

에 대해,

이며,

을 만족하며, 최적화 처리는 값들

에 의존하지 않는다. 그래서, 최적화 처리에서 트리플들(triples) (r, g, b)에 대해 단지

만이 고려된다. 이미 정밀도 1/f로 양자화된 입력 컬러들에 대해, 차원

인 가능한

값들로 부터 차원

인 증가치

를 최소화 하는 휘도 차이로의 매핑을 구성하여, 각각의 입력 컬러에 대해 최소화 단계가 필요없게 된다.

위 최적화 처리는 특정 픽셀의 각 프레임 사이에서의 휘도 차이를 최소화한 다. 사실상, 프레임은 많은 픽셀들을 포함하며, 동일한 컬러의 작은 조각이 프레임들 사이에서 최적화된 인자들(parameters)의 동일한 집합을 사용하여 디더링 된다면 깜박임 효과는 강해질 것이다. 이는 프레임들 사이에서의 휘도 차이가 픽셀 단위로 최소화 되더라도 이웃하는 픽셀들에 걸쳐 누적되기 때문이다. 가능한 깜박임을 더 줄이기 위하여, 위에서 계산된 증가치들

를 최소화하는 서열들은 공간적으로 배분된다. f 개의 프레임들에 관한 시간 디더링에 대해, f! 개의 다른 서열들이 있다. 이들 다른 서열들은 이웃하는 f!개의 픽셀들의 집단들에 배분되어, 각 집단들에 대해 각 프레임은 누적 휘도값으로

를 가지고 누적 휘도 차이는 따라서 이웃하는 픽셀들의 이 집단에 대해 0으로 줄어든다. f에 대해 다른 값은 시간 디더링 인자들의 공간 분배의 다른 배열로 이끌 수도 있다. 예를 들면, f=2일 때, f!=2 개인 다른 서열들이 있다. 만약 이들 두 서열들을 0과 1로 표시하면, 공간적 분배는 그때 아래의 2차원 픽셀 포맷(format)이 될 수 있다.

0	1
1	0

더욱이, 모든 두 이웃하는 픽셀들은, 만약 픽셀들의 집단으로 여겨진다면, 0과 같은 누적된 휘도 차이를 가진다.

수퍼 디더링

인간의 시각 시스템의 공간 및 시간상의 특성들이 논의 되었고, 컬러 화면 표시 장치들에 대해 지각적으로 더 높은 정밀도 비트 깊이를 얻기 위하여 이들 특 성들을 독립적으로 이용하는 방법들을 나타내었다. 이 단락에서는, 본 발명의 일 실시예에 따른 공간적 디더링과 시간적 디더링을 결합시키는 수퍼 디더링 방법이 설명된다. 수퍼 디더링 방법은 우선 고정밀도 컬러 값들을 중간의 양자화 레벨들로 디더링하기 위하여 2차원 디더링 마스크를 이용한다. 그 다음에, 중간 양자화 레벨들을 얻기 위하여 시간 평균을 이용한다.

아래에서 크기

의 2차원 공간 디더링 마스크 M과 한정된 비트 깊이를 가지는 화면 표시 장치상에서의 f개의 프레임들의 시간 디더링에 대한, 양자화 간격을 1로 가정한 수퍼 디더링 알고리즘이 상세히 설명된다. 도 1A는 본 발명에 따른 컬러 양자화 시스템(100)의 블록도 예를 보여주며 입력 컬러 신호를 출력 신호의 미리 결정된 양자화 레벨로 양자화하는 수퍼 디더링 방법을 구현한다. 분해 블록(decomposition block)(102)는 픽셀의 세 컬러 성분들을 출력 양자화 레벨 값들 (R, G, B), 중간 양자화 레벨 증가치들

, 및 나머지(residue)들

인 세 부분들로 분해한다. 공간 디더링 블록(104)는 나머지들

에 기초하여 디더링 결과

를 계산하며, 픽셀의 공간상의 위치 (i,j) 및 디더링 마스크 M.A 덧셈(summation) 블록(108)은 계산된 중간 양자화 레벨 증가치들

을 디더링 결과

에 기초하여 새로운 중간 양자화 레벨 증가치

로 갱신한다. 변조(modulation) 블록(105)는 변조된 프레임 인덱스(index) t'를 계산하기 위하여 공간 위치 (i,j)와 픽셀의 시간상의 위치 t를 입력으로 취한다.

의 값과 변조된 프레임 인덱스에 기초하는 검사 테이블(lookup table)(106) 을 이용하면, 최적화에 의하여 구성된 매핑 F에서 세 개의 출력 양자화 레벨 증가치

이 얻어진다. 덧셈 블록(110)은 출력 픽셀

를

,

및

로부터 계산한다.

도 1B는 도 1A의 컬러 양자화 시스템(100)의 더 상세한 버전인 컬러 양자화 시스템(150)을 보여준다. 시스템(150) 예는 공간과 시간상의 변조 블록(159)뿐만 아니라 각 입력 성분에 대하여 세 개의 분해 블록들(152A, 152B 및 152C), 세 개의 공간 디더링 블록들(154A, 154B 및 154C) 및 세 개의 검사 테이블 블록들(160A, 160B 및 160C)을 포함한다. 컬러 양자화 시스템(150)을 아래에서 상세히 설명한다.

1. 최적화.

이 단계는 블록들(160A, 160B 및 160C)에서 사용되는 검사 테이블을 결정하기 위해 오프라인(offline)에서 수행된다. 시간 디더링에 대한 프레임 수 f 및 컬러 값들을 조작하는데 허용되는 범위 S에 기초하여, 입력 컬러들의 각 성분이 0에서 f까지의 값을 취하는 (그래서 차원이

인) 가능한 중간 레벨들

로부터 차원이

인 출력 컬러 값들의 집합

으로의 휘도 차이 최소화 매핑

를 구성한다. 이는 다음과 같다.

2.분해.

각 픽셀 I(i,j,k)={r, g, b}에 대하여, 분해 블록(152A, 152B 및 152C)은

로써 픽셀의 세 컬러 성분들로 각각 분해한다. 여기서

및

을 만족한다.

3.공간 디더링.

공간 디더링 블록들(154A, 154B 및 154C)은 픽셀의 공간상의 위치 (i,j) 및 디더링 마스크 M에 기초하여

로써

를 각각 계산한다.

4. 덧셈 I.

덧셈 블록들(158A, 158B 및 158C)은 디더링 결과

및 계산된

에 기초하여

로써

를 각각 계산한다.

5. 공간과 시간상의 변조 블록(159)는 변조된 프레임 인덱스 t'를 계산하기 위하여 픽셀의 공간상의 위치 (i,j) 및 시간상의 위치를 입력으로 취한다. 이 블록은 우선 서열의 인덱스를 얻기 위하여 (i,j)에서 공간상의 변조를 실행하고 그 다음에 결과로 생기는 인덱스에 기초하여 프레임 수를 다시 정리한다. 세 개의 프레임의 시간 디더링에 대한 공간과 시간상의 변조의 일 실시예는 아래 표 5 및 표 6에서 보이고 있다. 3!=6 개의 다른 서열들이 있으며 서열의 인덱스는 표 5에서 보인 것과 같이 공간상의 위치 (i,j)에 의존한다. 각 3x2 블록은 6 개의 다른 서열들을 포함한다. 이 공간상의 분포 예는

로 표현될 수 있다.

[표 5]

공간상의 위치에 기초한 서열 인덱스의 일 실시예

6 개의 인덱스 각각에 대해, 재정리된 프레임 수는 아래 표 6에 보이고 있다.

[표 6]

서열들과 그 인덱스의 일 실시예

6. 시간 디더링.

의 값들과 재정리된 프레임 인덱스에 기초하여 검사 테이블들(160A, 160B 및 160C)을 이용하면, 위 최적화에 의해 구성된 매핑 F에서 세 개의 컬러 값 증가치

이 각각 얻어진다.

7.덧셈 II.

덧셈 블록들(162A, 162B 및 162C)는

,

및

로써 출력 픽셀

를 각각 계산한다.

본 발명에 따른 일 실시예에서, 공간 디더링 마스크는 다음과 같이 선택된다.

.

동시에, 시간 평균에 허용되는 프레임 수는 3으로 설정되며, 컬러 신호 (r, g, b)에 대해 허용되는 컬러 값들의 범위들은 각각

이다 (즉, 증가치

는 단지 0 또는 1 값만을 갖는다). 결과적으로,

는 0, 1, 2, 3 값들을 취할 수 있으며 (

)에서부터

으로의 매핑은 차원

의 매핑이다. 아래 표 7의 예는 NTSC 표준에 기초하여 생성된 검사 테이블을 보여준다. 표 7에서의 각 부분은

출력인데 반면에 표 5에서 각 가능한 (

)를 참조하면

부분들이 있다. 심볼(symbol)

는 공간과 시간상의 변조의 결과에 의존하는 세 개의 프레임에서의 대응하는

를 의미한다. 예를 들면,

,

및

이라면, 대응하는

=(0,0,1,0,1,0,1,0,0)이다. 그래서 재정리된 프레임 수 t'=0에 대하여, 출력

=(0,0,1)이 된다.

[표 7]

세 개의 프레임들에 대한 검사 테이블의 일 실시예

도 2는 도 1B에서의 분해 블록(152A) (152B 또는 152C)의 실시예인 논리 함수(logic function)(200)의 블록도 예을 보여준다. 논리 함수(200)는 12 비트 데이터 입력을 세 개의 8 비트들, 2 비트들 및 4 비트들 깊이의 데이터 출력들로 분리한다. 입력 데이터의 최상위 8 비트들은 함수(200)의 8 비트 출력으로서 직접 출력된다. 최입력 데이터의 하위 4 비트들은 구성요소(202)에서 3으로 곱해지며, 그 중에 곱셈 결과의 최상위 2 비트들과 최하위 4 비트들은 함수(200)의 각각 2 비트 및 4 비트 출력들을 형성한다.

도 3은 도 1B에서의 공간 디더링 블록(154A) (154B 또는 154C)의 일 실시예인 함수(300)의 블록도 예를 보여준다. 입력 픽셀 위치 (i,j)는 mod 함수(302)에 제공되고, 그 결과는 쓰레숄드 선택기(304)에 의해 사용되어 1 비트 출력 데이터( 예를 들면, 만약 4 비트 입력이 선택된 쓰레숄드보다 더 작으면 출력은 0, 그렇지 않으면 1이다 )를 생성하기 위하여 4 비트 입력(예를 들면,

,

및

)를 선택기(304)로부터의 쓰레숄드와 비교한다.

도 4는 도 1B에서의 공간과 시간상의 변조 블록(159)인 함수(400)의 블록도 예를 보여준다. 입력은 공간 위치 (i,j) 및 시간 위치 t를 포함하고, 픽셀 및 출력은 2배 곱셈 블록(402), 8배 곱셈 블록(404), 곱셈 블록(406), mod 블록(408,410,412) 및 가산기/뺄셈기 블록들(414,416)을 이용하는 변조된 값 t'이다.

도 5는 도 1B에서의 검사 테이블 블록(160A) (160B 또는 160C)의 일 실시예인 함수(500)의 블록도 예을 보여준다.

본 발명은 다른 버전들도 가능하지만 특정 바람직한 버전들에 관하여 상당히 상세히 기술하였다. 그래서, 첨부된 청구항들의 사상과 범위는 여기에 포함된 바람직한 버전들의 상세한 설명에 한정되어서는 안 된다.

본 발명에 따른 수퍼 디더링을 이용한 비디오 처리 방법 및 시스템에 의하면, 인간의 시각 시스템의 특성을 이용함과 동시에 저성능의 화면 표시 장치가 가지는 성능보다도 더 높은 비트 깊이를 표현할 수 있도록 하는 수퍼 디더링에 의해 고정밀도의 비디오 이미지를 저성능의 화면 표시 장치상에서도 그 품질을 유지시킬 수 있다.

Claims

픽셀의 RGB와 공간적 그리고 시간적 위치들을 포함하는 입력 컬러 신호를 수신하는 단계;

상기 RGB 신호를 중간 양자화 레벨을 가지는 양자화된 RGB 신호로 양자화하는 단계; 및

상기 중간 양자화 레벨을 가지는 양자화된 RGB 신호를 상기 픽셀의 시간적 위치 및 공간적 위치에 기초하여 최종 양자화 레벨로 더 양자화하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 1항에 있어서, 상기 RGB 신호를 중간 양자화 레벨로 양자화하는 단계는,

상기 중간 양자화 레벨을 결정하는 단계;

상기 입력 컬러 신호를 상기 결정된 중간 양자화 레벨 및 최종 양자화 레벨에 기초하여 세 부분들(R, G, B)로 분해하는 단계; 및

상기 분해된 RGB 신호의 최하위(least significant) 부분을 상기 결정된 중간 양자화 레벨로 디더링하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 1항에 있어서, 상기 중간 양자화 레벨 RGB 신호를 최종 양자화 레벨로 양자화하는 단계는,

상기 중간 레벨을 얻기 위하여 다수의 프레임들에서 상기 픽셀의 컬러 값들을 이용하는 단계; 및

상기 픽셀의 공간상 및 시간상의 위치들에 기초하여 상기 다수의 프레임 픽셀 값들의 다른 서열들을 선택하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 3항에 있어서, 상기 중간 레벨을 얻기 위하여 다수의 프레임들을 이용하는 단계는,

상기 다수의 프레임 컬러들의 평균이 상기 중간 레벨과 동일하도록 상기 최종 양자화 레벨들을 가지는 컬러 값들을 다수의 프레임들에 할당하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 3항에 있어서, 상기 중간 레벨을 얻기 위하여 다수의 프레임들을 이용하는 단계는,

상기 다수의 프레임 컬러들의 평균이 상기 중간 레벨과 가능하면 가장 근접하도록 상기 최종 양자화 레벨들을 가지는 컬러 값들을 다수의 프레임들에 할당하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 3항에 있어서, 상기 중간 레벨을 얻기 위하여 다수의 프레임들을 이용하는 단계는,

상기 다수의 프레임들에서 상기 픽셀의 값들의 시간상의 휘도 차이를 본질적으로 최소화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 6항에 있어서, 상기 시간상의 휘도 차이를 본질적으로 최소화하는 단계는,

시간 디더링에 대하여 허용되는 범위에 기초하여 검사 테이블을 구성하는 단계를 더 포함하며, 상기 검사 테이블에서의 상기 값들은 상기 시간상의 휘도 차이를 본질적으로 최소화하는 것을 특징으로 하는 비디오 처리 방법.
제 7항에 있어서,

상기 시간 디더링에 대하여 구성된 검사 테이블은 세 개의 프레임들의 평균에 관한 검사 테이블을 포함하는 것을 특징으로 하는 비디오 처리 방법.
제 1항에 있어서,

상기 최종 양자화 레벨을 가지는 RGB 신호는 상기 입력 신호보다 더 적은 컬러의 비트 깊이를 가진 화면 표시 장치상에 인식된 비디오 품질을 제공하는 것을 특징으로 하는 비디오 처리 방법.
제 9항에 있어서,

비트-깊이가 불충분한 화면 표시 장치에 대한 입력 비디오 시퀀스들의 비디 오 품질이 개선되는 것을 특징으로 하는 비디오 처리 방법.
픽셀과 공간적 그리고 시간적 위치들을 나타내는 입력 컬러 신호를 수신하는 수단;

중간 신호를 생성하기 위하여 상기 입력 신호에 대해 공간 디더링을 적용하는 공간 디더링 수단; 및

상기 픽셀의 시간적 위치 및 공간적 위치에 기초하는 양자화 레벨을 가지는 최종 신호를 제공하기 위하여 상기 중간 신호에 데이터 의존적인 시간 디더링을 적용하는 시긴 디더링 수단을 포함하는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 공간 디더링 수단은 2차원 공간 디더링 처리를 적용하는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 시간 디더링 수단은 시간 평균을 적용하는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 픽셀의 입력 신호 컬러 값들이 다수의 비디오 프레임들을 이용하여 표 현되며, 각 픽셀에 대해 상기 시간 디더링 수단에 의해 고려되는 프레임들의 수가 출력 비디오 화면 표시 장치의 프레임 레이트(frame rate)에 의해 제한되는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 시간 디더링 수단은 다른 픽셀 컬러 값들과 서로 다른 위치들에 대하여 시간 디더링 체계가 서로 다르도록 하는 데이터 의존적인 시간 디더링을 적용하는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 입력 컬러보다 더 적은 비트 깊이의 컬러를 가지는 화면 표시 장치상에 인식되는 비디오 품질이 유지되는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 공간 디더링 수단은 상기 RGB 신호를 중간 양자화 레벨을 가지는 양자화된 RGB 신호로 양자화하는 것을 특징으로 하는 비디오 양자화 시스템.
제 11항에 있어서,

상기 시간 디더링 수단은 상기 중간 양자화 레벨 신호를 가지는 상기 양자화된 RGB 신호를 시간상의 위치 및 공간상의 위치에 기초하여 최종 양자화 레벨로 양 자화하는 것을 특징으로 하는 비디오 양자화 시스템.