KR20020067608A - 고품질 컬러 키 추출 장치 및 키 컬러 매칭 여부 결정 방법 - Google Patents

Abstract

본 발명은 매우 하드웨어 효율적이고 유연한 컬러 키잉(color keying) 방법 및 컬러 성분 평가 동작 수행 방법을 제공한다. 또한, 키 컬러 정보를 포함하는 이미지에 대해 필터링함으로써 유도된 아티팩트의 가시성(visibilty)을 제한하는 방법을 제공한다. 본 발명에 따라, 복수개의 컬러 성분을 가지는 유입 픽셀이 사전결정된 키 컬러를 매칭시키는지 여부를 결정하는 키 컬러 추출 장치가 제공된다. 본 장치는 각각이 사전규정된 컬러 성분 강도 범위에 대해 유입 픽셀의 컬러 성분 중 하나를 수신하고 비교 신호를 출력하도록 구성된 복수개의 평가 회로와, 평가 회로의 각각에 사용가능하게 결합되어, 상기 비교 신호의 조합이 사전규정된 조건을 만족하는지 여부를 결정하고, 상기 조건이 만족되면 매치 신호를 출력하여 상기 유입 픽셀이 상기 사전규정된 키 컬러와 매치되도록 구성된 매칭 회로를 포함한다.

Description

고품질 컬러 키 추출 장치 및 키 컬러 매칭 여부 결정 방법{HIGH QUALITY COLOR KEY EXTRACTION APPARATUS}

컬러 키잉(color keying)은 다양한 목적, 예컨대 하나의 이미지를 다른 이미지 위에 중첩(superimposing)시키는 등의 목적을 위해 여러 비디오 및 그래픽 프로세서에서 널리 이용되고 실행된다. 이는 미사용 컬러(an unused color)를 키 컬러(key color)로서 비디오 또는 그래픽 이미지 내에 두고, 미사용 컬러 대신에 치환 컬러(a substituting color)를 디스플레이함으로써 수행된다. 통상, 키 컬러(key color)는 마젠타(magenta) 또는 그 외에 드물게 사용되는 컬러이다. 컬러 키잉(keying)은 전형적으로 믹싱 단계(mixing stage)에서 수행된다. 유입 픽셀(incoming pixel)은 어떤 컬러 또는 컬러 범위(color range)에 매치(match)되는지를 결정하기 위해 평가된다. 만일 매치된다면, 소정의 동작, 가령 컬러 키 추출(color key extraction) 및 키 컬러로의 컬러 치환이 수행될 것이다. 유입 픽셀의 평가 및 키 컬러로의 컬러 치환은 픽셀의 컬러 성분들(components)에 대해 수행되는 것이 아니라, 보통 전체 24 또는 32 비트 컬러 정보에 대해 수행된다. 따라서, 소프트웨어 프로그래머가 원하는 만큼 유연하지는(flexible) 못하다. 더욱이, 키 컬러가 추출되고 치환 컬러로 치환되기 전에 임의의 변환 또는 필터링이 발생한다면, 키 컬러는 액티브 이미지 부분(active image portion)으로 필터링될 것이다. 이는 최종 이미지에 매우 확연한 아티팩트(artifact)를 초래할 것이다.

그러므로, 유입 픽셀을 평가할 때 높은 유연성을 제공하고 최종 이미지 내에 아티팩트가 보이는 것을 제한할 필요가 있다.

발명의 개요

본 발명은 컬러 키잉 및 컬러 성분 평가 동작을 수행하는 매우 하드웨어 효율적이고 유연한 방법을 제공한다. 또한, 키 컬러 정보를 포함하는 이미지에 대해 필터링함으로써 유도된 아티팩트의 가시성을 상당히 제한하는 방법도 제공된다.

본 발명에 따라, 복수의 컬러 성분을 갖는 유입 픽셀이 사전결정된 키 컬러와 매치하는 지를 결정하는 컬러 키 추출 장치(a color key extraction apparatus)가 제공된다. 그 장치는 사전결정된 컬러 성분 강도 범위(predetermined color components intensity range)에 대해 유입 픽셀의 컬러 성분 중 하나를 수신 및 평가하고, 비교 신호(a comparison signal)를 출력하도록 각각 구성된 복수의 평가 회로를 포함하며, 평가 회로 각각에 동작가능하게 결합되어 비교 신호의 조합이 사전결정된 조건에 부합하는지를 결정하고, 조건에 부합하고 그럼으로써 유입 픽셀이사전결정된 키 컬러와 매치한다면 매치 신호를 출력하도록 구성된 매칭 회로(matching circuit)를 포함한다.

본 발명의 일 측면에 따라, 매칭 회로는 복수의 비트를 저장하는 저장 요소를 포함하는데, 각 비트의 값은 비교 신호의 특정 조합이 사전결정된 조건에 부합하는지를 나타낸다. 비교 신호의 주어진 조합에 대한 사전결정된 조건은 주어진 조합에 대응하는 저장 요소 내의 비트가 세트(set)될 때 부합된다. 매칭 회로는 매우 저비용의, 매우 유연한 프로그램가능 래스터 동작 블럭(programmable raster operation block)으로 구현될 수 있다.

본 발명의 또 다른 측면에 따라, 평가 회로 각각은, 유입 픽셀의 사전결정된 컬러 성분을 수신하고 컬러 성분을 사전선택된 마스크 값으로 마스킹하며 마스킹된 컬러 성분 값을 출력하도록 구성된 제 1 회로(a first circuit), 사전결정된 컬러 성분 강도 범위의 사전선택된 상한값을 상기 마스크 값으로 마스킹하고 마스킹된 상한값을 출력하도록 구성된 제 2 회로(a second circuit), 컬러 성분 강도 범위의 사전선택된 하한값을 상기 마스크 값으로 마스킹하고 마스킹된 하한값을 출력하도록 구성된 제 3 회로(a third circuit), 마스킹된 컬러 성분값을 마스킹된 상한값과 비교하고 제 1 결과를 출력하는 제 1 비교기(a first comparator), 마스킹된 컬러 성분 값을 마스킹된 하한값과 비교하고 제 2 결과를 출력하는 제 2 비교기(a second comparator), 제 1 및 제 2 결과를 수신하고 제 1 비교 신호를 출력하도록 구성된 출력 회로(an output circuit)를 포함한다.

본 발명의 또 다른 측면에 따라, 매칭 회로에 동작가능하게 결합되어, 매칭회로가 매칭 신호를 출력할 경우, 유입 픽셀을 치환 픽셀(a replacement pixel)로 치환하도록 구성된 컬러 치환 회로(a color substitution circuit)가 더 제공된다. 어떠한 필터링을 하기 전에 키 컬러를 치환 컬러(가령, 그레이 컬러)로 치환함으로써, 결과적인 이미지는 컬러 톤(tone)이 아닌 밝기(brightness)의 변화를 가진다.

본 발명의 보다 완벽하게 이해와 함께, 다른 목적 및 효과는 첨부 도면과 함께 취해지는 후속하는 기술 및 청구항을 참조함으로써 명백해질 것이고 이해될 것이다.

본 발명은 일반적으로 컬러 키 추출 장치(color key extraction apparatus), 특히 고품질 애플리케이션을 위한 컬러 키 추출 장치에 관한 것이다.

본 발명은 첨부 도면을 참조하여 예로써 보다 상세히 설명될 것이다.

도 1은 본 발명을 실현하는데 적합한 예시적 시스템의 기능적 블럭도,

도 2는 본 발명에 따른 컬러 키 추출 및 컬러 치환 회로,

도 3은 도 2의 프로그램가능 래스터 동작 블럭을 프로그래밍하기 위해 사용되는 ROP(래스터 동작) 테이블.

전체 도면에서, 동일한 참조 번호는 유사한 또는 동일한 형상 또는 기능을 나타낸다.

도 1은 본 발명을 구현하는데 적합한 예시적 시스템의 기능적 블럭도이다. 도 1에 도시된 것과 같이, 디지털 비디오/그래픽 소스(digital video/graphicssource)(10)는 메모리 버퍼(memory buffer)(16)에 비디오/그래픽 신호(video/graphics signal)를 공급한다. 디지털 데이터는 표준 포맷(standard format)으로 메모리 버퍼(16) 내에 저장된다. 커맨드(command) 순간, 비디오/그래픽 데이터 프로세서(20)는 프로세싱을 위해 메모리 버퍼(16)로부터 디지털 데이터를 수신한다. 프로세서(20)는 프로세싱된 데이터를 사전결정된 포맷으로 비디오/그래픽 인코더(a video/graphics encoder)(26)에 전송한다. 그리고 나서, 인코더(26)는 데이터를 인코딩하고, 디스플레이를 위한 디스플레이 장치(a display device)(30)에 이를 전송한다.

도 2는 본 발명에 따른 프로세서(20) 내의 그래픽/비디오 파이프라인(a graphics/video pipeline) 내에 사용되는 컬러 키 추출 및 컬러 치환 회로를 도시한다. 도 2에서, 각각의 유입 픽셀은 성분 당 8비트를 갖는 3개의 컬러 성분(RGB 또는 YUV)을 갖는다. 이들 컬러 성분은 평가 회로(37, 137, 237)에 의해 각각 자신의 컬러 성분 강도에 대해 평가된다. 따라서, 회로(37)는 유입 컬러 성분 R/Y가 가장 어두운 R/Y와 가장 밝은 R/Y 사이의 스펙트럼 내의 사전결정된 컬러 성분 강도 범위 내에 존재하는지를 결정하는데 사용된다. 유사하게, 평가 회로(137)는 유입 컬러 성분 G/U가 가장 어두운 G/U와 가장 밝은 G/U 사이의 스펙트럼 내의 사전결정된 컬러 성분 강도 범위 내에 존재하는지를 결정하는데 사용된다. 마지막으로, 평가 회로(237)는 유입 컬러 성분 B/V가 가장 어두운 B/V와 가장 밝은 B/V 사이의 스펙트럼 내의 사전결정된 컬러 성분 강도 범위 내에 존재하는지를 결정하는데 사용된다.

평가 회로(37)에서, 컬러 성분 R/Y는 AND 게이트(40)를 통해 ColorKeyAnd 레지스터(38) 내의 마스크값에 의해 비트마다 마스킹된다. 이러한 마스크 값은 AND 게이트(44, 50) 각각을 통해 ColorKey 레지스터(42, 48) 내에 저장된 값을 비트마다 마스킹하는데에도 사용된다. 레지스터(42, 48) 내의 값은 컬러 성분 R/Y를 평가하기 위한 사전결정된 컬러 성분 강도 범위를 확립하기 위한 사전결정된 상한값 및 하한값이다. 당업자가 이해하는 바와 같이, 마스크 값은 가령, 특정 컬러 또는 컬러 범위에 대해 키(to key)할지, 이미지를 전처리할지와 같은 애플리케이션 및 픽쳐 내용(picture contents)에 근거하여 결정된다. 유사하게, 상한값 및 하한값은 애플리케이션 의존적이다.

AND 게이트(40)의 출력에서의 마스크 값은 마스킹된 컬러 성분이 사전규정된 컬러 강도 내에 존재하는지 여부를 결정하기 위해 비교기(46, 52)를 통해 마스킹된 상부 및 하부 경계값에 대해 평가된다.

마스킹된 값이 마스킹된 상한값 이하이면, 비교기(46)는 제 1 지시 신호(a first indication signal)(예컨대, 로직 1)를 AND 게이트(60)로 출력할 것이다. 유사한 방법으로, 마스킹된 값이 마스킹된 하한값 이하이면, 비교기(52)는 제 2 지시 신호(가령, 로직 1)를 AND 게이트(60)로 제공할 것이다. 마스킹된 값이 마스킹된 사전규정된 컬러 성분 강도 범위 내에 존재하는 것으로 결정된 경우, 가령, 제 1 및 제 2 지시 신호 모두가 AND 게이트(60)에 제공된 때, AND 게이트(60)는 컬러 성분 R/Y에 대해 제 1 포지티브 비교 신호(a first positive comparison signal)(가령, 로직 1)를 출력할 것이다. 그렇지 않다면, AND 게이트(60)는 제 1 네가티브비교 신호(a first negative comparison signal)(가령, 로직 0)를 제공할 것이다.

평가 회로(137 및 237)는 평가 회로(37)와 동일한 방식으로 동작한다. 컬러 성분 G/U 및 B/V가 각각 자신의 마스킹된 사전규정된 컬러 성분 강도 범위 내에 존재한다면, 회로(137, 237)는 제 2 및 제 3 포지티브 비교 신호(가령, 로직 1)를 제각기 출력할 것이다. 그렇지 않다면, 평가 회로(137, 237)는 제 2 및 제 3 네가티브 비교 신호(가령, 로직 0)를 제각기 출력할 것이다.

디폴트 모드(default mode)에서, 마스크 값은 모두 1이므로, 마스크 동작은 효율적으로 수행되지 않으며, 상한값 및 하한값은 컬러 성분 강도 범위를 규정한다는 것을 명심해야 한다. 평가 회로(37, 137, 237)로부터의 비교 신호(K1, K2 및 K3)는 프로그램가능 래스터 동작 블럭(64)에 제공된다. 비교 신호(포지티브 또는 네가티브)의 특정 조합에 따라, 그리고 ColorKeyROP 레지스터(68) 내의 특정 비트 값이 세트되는지 여부에 따라, 블럭(64)은 입력 컬러와 사전결정된 키 컬러 사이에 매치가 존재한다는 것을 나타내는 매치 신호(가령, 로직 1)를 출력할 수 있다. 블럭(64)의 세부 동작은 이하 도 3과 함께 기술될 것이다.

도 3은 프로그램가능 블럭(64)을 위해 사용되는 ROP(래스터 동작) 테이블이다. K1, K2 및 K3의 주어진 조합에 대해, 조합에 할당된 ROP 비트(가령, 조합 다음에 나타남)가 세트(로직 1)된다면, 이는 매치를 나타내고 블럭(64)이 매치 신호를 출력하도록 야기한다. ROP 비트가 리세트(로직 0)되면, 매치가 아님을 나타낸다. 본 발명에 따라, 애플리케이션에 의존하여 하나 이상의 ROP 비트가 세트될 수 있다. 이러한 구조는 하나 이상의 컬러 성분의 감도를 조정하도록 허용하는 유연성을 제공한다. 예컨대, 특정 유입 컬러에 대해 단 두 개의 컬러 성분(가령, R/Y 및 G/U)의 매치에 관심이 있을 수 있고 제 3 성분(가령, B/V)에는 관심이 없을 수 있다. 그러한 경우, ROP 비트(6, 7)는 키 컬러(key color)와 비교하여 K1, K2 및 K3에 대한 조합 "110"과 "111"에 대한 매치를 나타내기 위해 세트될 것이다.

도 2를 참조하면, 유입 컬러와 키 컬러 사이에 매치가 있다는 것이 결정된 후, 컬러 치환은 ColorKeyReplaceEn 레지스터(76)로부터의 인에이블링 신호를 통해 AND 게이트(72)를 인에이블(enable)시킴으로써 선택적으로 수행될 수 있다. 예컨대, 후속 필터링이 완료되면, 컬러 치환이 수행될 것이다. 컬러 치환을 수행하기 위해, 로직 1은 멀티플렉서(86, 186, 286)를 활성화시키기 위해 AND 게이트(72)에 의해 출력될 것이고 본래의 유입 값을 치환하기 위해 R/Y, G/U. B/V 성분에 대해 ColorKeyReplace 레지스터(80, 180, 280) 내에 각각 저장된 치환값을 선택한다. 예를 들면, 그레이 컬러가 바람직할 수 있다. 따라서, 그레이 컬러에 대한 컬러 성분의 픽셀 값이 치환으로서 사용된다. 어떠한 필터링이 행해지기 전에, 키 컬러를 치환 컬러(가령, 그레이)로 교환함으로써, 결과적 이미지는 컬러 톤이 아닌 밝기의 변화를 가질 것이다. 멀티플렉서(86, 186, 286)의 출력은 배경 컬러와 결합하기 위한 혼합기(mixers)(도시하지 않음)에 제공된다.

한편, 블럭(64)에 의해 결정된 것으로서 매치가 없거나 컬러 치환이 요구되지 않는다면, 로직 0가 AND 게이트(72)에 의해 출력되고 멀티플렉서(86, 186, 286)는 임의의 변경 없이 유입 컬러 성분을 혼합기에 직접 출력한다. 블럭(64)의 출력은 혼합기에 제공된다.

키 컬러가 추출된 후, 데이터는 최종 이미지 내의 가시(visible) 아티팩트를 제한하기 위해 변환 및 필터링 프로세스를 겪을 것이다.

본 발명은 Y, Cr, Cb와 같은 다른 유형의 컬러 성분에도 사용될 수도 있다는 것을 유의해야 한다.

본 발명은 특정 실시예와 결합하여 기술되었으나, 당업자에게 있어서 많은 치환, 변경 및 변화가 명백하다는 것이 분명하다. 따라서, 본 발명은 첨부된 청구항의 사상 및 범주 내에 포함되는 것과 같은 그러한 모든 치환, 변경 및 변화를 포함하도록 의도되었다.

Claims (10)

1. 복수의 컬러 성분을 구비한 유입 픽셀이 사전규정된 키 컬러를 매치(match)시키는지 여부를 결정하는 컬러 키 추출 장치(color key extraction apparatus)로서,

   사전규정된 컬러 성분 강도 범위에 대해 상기 유입 픽셀의 상기 컬러 성분 중 하나를 수신 및 평가하고, 비교 신호를 출력하도록 각각 구성된 복수의 평가 회로(37, 137, 237)와,

   상기 평가 회로의 각각에 동작가능하게 결합되어 상기 비교 신호의 조합이 사전규정된 조건을 만족하는지 여부를 결정하고, 상기 조건이 만족되고 그럼으로써 상기 유입 픽셀이 상기 사전규정된 키 컬러와 매치된다면 매치 신호를 출력하도록 구성된 매칭 회로(64, 68)

   를 포함하는 컬러 키 추출 장치.
2. 제 1 항에 있어서,

   상기 평가 회로 각각은,

   상기 유입 픽셀의 사전결정된 컬러 성분을 수신하고, 상기 컬러 성분을 사전선택된 마스크 값으로 마스킹하며, 마스킹된 컬러 성분 값을 출력하도록 구성된 제 1 회로(40)와,

   상기 사전규정된 컬러 성분 강도 범위의 사전선택된 상한값을 상기 마스크 값으로 마스킹하고, 마스킹된 상한값을 출력하도록 구성된 제 2 회로(44)와,

   상기 컬러 성분 강도 범위의 사전선택된 하한값을 상기 마스크 값으로 마스킹하고, 마스킹된 하한값을 출력하도록 구성된 제 3 회로(50)와,

   상기 마스킹된 컬러 성분값을 상기 마스킹된 상한값과 비교하고 제 1 결과를 출력하는 제 1 비교기(46)와,

   상기 마스킹된 컬러 성분값을 상기 마스킹된 하한값과 비교하고 제 2 결과를 출력하는 제 2 비교기(52)와,

   상기 제 1 및 제 2 결과를 수신하고 제 1 비교 신호를 출력하도록 구성된 출력 회로(60)

   를 포함하는 컬러 키 추출 장치.
3. 제 1 항에 있어서,

   상기 매칭 회로는, 각 비트의 값은 상기 비교 신호의 특정 조합이 상기 사전규정된 조건을 만족하는지 여부를 나타내는 복수의 비트를 저장하는 저장 요소(68)를 포함하고,

   상기 주어진 조합에 대응하는 상지 저장 요소 내의 비트가 세트될 때, 상기 비교 신호의 주어진 조합에 대해 상기 사전규정된 조건이 만족되는

   컬러 키 추출 장치.
4. 제 1 항에 있어서,

   상기 매칭 회로에 동작가능하게 결합되어 있으며, 상기 매칭 회로가 매칭 신호를 출력하는 경우, 유입 픽셀을 치환 픽셀로 치환하도록 구성된 컬러 치환 회로(80, 86, 180, 186, 280, 286)를 포함하는

   컬러 키 추출 장치.
5. 제 4 항에 있어서,

   상기 컬러 치환 회로는 각각 상기 매칭 신호를 통해 제어되고 상기 유입 픽셀의 상기 컬러 성분 중 하나와 대응하는 치환 컬러 성분을 수신하며,

   상기 매칭 신호를 받으면 각 멀티플렉서는 대응하는 치환 컬러 성분을 출력하는

   컬러 키 추출 장치.
6. 제 4 항에 있어서,

   상기 컬러 치환 회로의 인에이블링 및 디스에이블링을 제어하도록 구성된 인에이블링 회로(72)를 더 포함하는

   컬러 키 추출 장치.
7. 복수의 컬러 성분을 가지는 유입 픽셀이 사전규정된 키 컬러를 매칭시키는지 여부를 결정하는 방법에 있어서,

   (a) 사전규정된 컬러 성분 강도 범위에 대해 상기 유입 픽셀의 상기 컬러 성분의 각각을 평가하는 단계와,

   (b) 단계 (a)에서, 각각의 컬러 성분을 평가한 후, 비교 신호를 출력하는 단계와,

   (c) 상기 비교 신호의 조합이 사전규정된 조건을 만족시키는지 여부를 결정하는 단계와,

   (d) 상기 조건이 만족되고, 그럼으로써 상기 유입 픽셀이 상기 사전규정된 키 컬러와 매칭되면, 매칭 신호를 출력시키는 단계

   를 포함하는 키 컬러 매칭 여부 결정 방법.
8. 제 7 항에 있어서,

   단계(a)는,

   마스킹된 컬러 성분 값을 생성하기 위해 상기 유입 픽셀의 사전결정된 컬러 성분을 사전선택된 마스크값으로 마스킹하는 단계와,

   마스킹된 상한값을 생성하기 위해 상기 사전규정된 컬러 성분 강도 범위의 사전선택된 상한값을 상기 마스크 값으로 마스킹하는 단계와,

   마스킹된 하한값을 생성하기 위해 상기 컬러 성분 강도 범위의 사전선택된 하한값을 상기 마스크값으로 마스킹하는 단계와,

   상기 마스킹된 컬러 성분값을 상기 마스킹된 상한값과 비교하여 제 1 결과를 생성하는 단계와,

   상기 마스킹된 컬러 성분값을 상기 마스킹된 하한값과 비교하여 제 2 결과를 생성하는 단계와,

   상기 제 1 및 제 2 결과에 기초하여 제 1 비교 신호를 출력하는 단계

   를 포함하는 키 컬러 매칭 여부 결정 방법.
9. 제 7 항에 있어서,

   상기 단계(c)는, 각 비트의 값은 상기 비교 신호의 특정 조합이 상기 사전규정된 조건을 만족시키는지 여부를 나타내는 복수의 비트를 제공하는 단계를 포함하고,

   상기 주어진 조합에 대응하는 상기 복수개의 비트 내의 비트가 세트될 때, 상기 비교 신호의 주어진 조합에 대한 상기 사전규정된 조건이 만족되는

   키 컬러 매칭 여부 결정 방법.
10. 제 7 항에 있어서,

    상기 매칭 신호가 출력될 경우, 상기 유입 픽셀을 치환 픽셀로 치환하는 단계를 더 포함하는

    키 컬러 매칭 여부 결정 방법.