KR20010043008A - 샘플 콜렉션 필터링 방법 - Google Patents

Abstract

샘플들(Si)의 콜렉션은, 예를 들어, 다음의 방법으로 필터링되는 영상들을 나타낸다. 보조 데이터(AUX)를 기초로 하여 유효한 샘플들(Si+)과 유효하지 않은 샘플들(Si-) 사이에 차이가 만들어진다. 유효한 샘플들(Si+)과 관련된 필터링된 샘플들(So)이 유효한 샘플들(Si+)을 기초해서만 유도된다. 따라서, 유효한 샘플들과 관련된 필터링된 샘플들이 유효한 샘플들과 유효하지 않은 샘플들의 혼합물인 것을 방지한다. 이와 같은 혼합물들은 특히 유효한 샘플들 및 유효하지 않은 샘플들의 값이 충분히 다를 경우에 왜곡을 발생시킨다.

Description

샘플 콜렉션 필터링 방법{Filtering a collection of samples}

WO-A-98/06064(대리인의 정리번호 PHB 34.096호)는 픽셀 영상으로서 디스플레이하기 위한 3차원 오브젝트의 컴퓨터-발생 영상(computer-generated image)의 포스트-처리(post-processing)를 설명한다. 초점 깊이는 사용자에 의해 또는 각 영상 프레임에 대한 시스템으로부터 기술된다. 영상 픽셀들은 상기 기술한 각각의 단일 깊이 값을 갖는 인접하는 영상 픽셀들의 겹쳐지지 않는 블록들로 그룹화되거나 각 블록에 대해 런-타임시 계산된다. 각 블록은 영상으로부터 차례로 추출되고, 블록 내의 픽셀들은 필터 계수들의 공통 세트로 필터링된다. 패딩(padding)은 전체 필터 커널(kernel)이 형성될 수 없는 영역들을 채우기 위해 적용된다. 패딩의 예는 경계 영역에서 상기 픽셀들 상에 중심이 있는 필터 커널을 구성하도록 적당하고 일반적인 정도의 충분한 값들을 제공하기 위해서 반복하는 픽셀 에지 값들 또는 블록의 대향 에지로부터의 "래핑 라운드(wrapping round)" 값들이다.

본 발명은 샘플들의 콜렉션을 필터링하는 것에 관한 것이다. 상기 필터링은, 예를 들어, 업-샘플링(up-sampling), 다운-샘플링(down-sampling) 또는 래핑(warping)과 같은 영상-처리 동작 이전의 영상 처리에 적용될 수 있다.

도 1은 청구항 1에 청구된 것과 같은 본 발명의 기본 특징들을 도시하는 개념도.

도 2는 본 발명에 따른 MPEG-4 영상 처리 장치의 예를 도시하는 블록도.

도 3은 영상 샘플들의 스트림이 도 2에 도시한 MPEG-4 영상 처리 장치에서 어떻게 형성될 수 있는지를 도시하는 개념도.

본 발명의 목적은 샘플들의 다양한 종류의 콜렉션들을 만족스럽게 필터링하는 것이다.

본 발명은 이하의 측면들을 고려한다. 샘플들의 콜렉션을 필터링하는 것은 대개 샘플 자체 및 인접 샘플들을 포함하는 샘플들의 클러스터가 각 샘플에 대해 형성되는 것을 의미한다. 필터링된 샘플은, 예를 들어,샘플들의 클러스터에 특정 기능을 적용함으로써 클러스터로부터 유도된다. 따라서, 필터링된 샘플은 형성된 클러스터에 대한 샘플과 관련되어 얻어진다.

필터링의 목적에 있어서, 샘플들의 클러스터들이 쉽게 형성될 수 있는 이와 같은 방법으로 샘플들의 콜렉션 구성을 편리하게 한다. 예를 들어, 샘플들의 콜렉션이 2차원 영상을 나타낸다고 가정하자. 매트릭스와 같이 샘플들의 콜렉션 구성을 편리하게 한다.

구성된 샘플들의 콜렉션이 불규칙한 모양을 갖는 다차원 엔티티를 나타낸다고 가정하자. 이것은 몇몇 샘플들은 엔티티에 속하기 때문에 유효하지만, 다른 샘플들은 엔티티에 속하지 않기 때문에 유효하지 않다. 예를 들어, 영상은 제멋대로 모양지어진 다양한 오브젝트들의 구성일 수 있다. 영상이 매트릭스와 같이 구성된 샘플들의 콜렉션으로서 나타내어진다고 가정하자. 샘플들의 콜렉션은 영상을 포함하는 직사각형 상자를 구성한다. 몇몇 샘플들은 영상에 속하기 때문에 유효하지만, 다른 샘플들은 영상에 속하지 않기 때문에 유효하지 않을 것이다.

다음의 문제는 불규칙적인 모양을 갖는 다차원 엔티티를 나타내는 샘플들의 구조화된 콜렉션 필터링을 발생시킬 수 있다. 몇몇 필터링된 샘플들은 엔티티에 속하기 때문에 유효한 하나 또는 그 이상의 샘플들을 구비하는 클러스터들로부터 유도될 것이고, 하나 또는 그 이상의 샘플들은 엔티티에 속하지 않기 때문에 유효하지 않다. 즉, 실제로 필터링된 몇몇 샘플들은 유효한 샘플들 및 유효하지 않은 샘플들로 혼합되어 있다. 따라서, 필터링된 샘플들은 왜곡의 특정 정도로 엔티티를 나타낼 것이다. 상기 왜곡은 유효하지 않은 샘플들이 유효한 샘플들의 값과 실질적으로 다른 경우에 비교적 심각해질 것이다.

본 발명에 따라서, 유효한 샘플들과 유효하지 않은 샘플들 사이의 왜곡은 보조 데이터를 기초로 하여 만들어진다. 유효한 샘플들과 관련된 필터링된 샘플들이 유효한 샘플들에 기초해서만 유도된다.

따라서 본 발명에 있어서, 유효한 샘플들과 관련된 필터링된 샘플들은 유효하지 않은 샘플들에 의해 영향을 받는 것을 방지한다. 따라서, 샘플들의 콜렉션이 엔티티에 속하는 샘플들과 엔티티에 속하지 않는 샘플들을 갖는 엔티티를 나타내면, 엔티티의 왜곡을 수반하는 샘플들의 콜렉션 필터링을 방지할 수 있다. 따라서, 본 발명은 모든 샘플들이 유효하거나 임의의 유효하지 않은 샘플이 유효한 샘플의 값과 충분히 다른 것을 요구하지 않고 왜곡에 대한 만족스러운 결과를 허용한다. 따라서, 본 발명은 샘플들의 다양한 종류의 콜렉션들의 만족스러운 필터링을 하능하게 한다.

유리하게 본 발명을 구현하기 위해 임의로 사용된 본 발명 및 부가 특징들은 이하에 설명되는 도면들을 참조로 하여 명백해질 것이다.

몇몇 의견들은 참조 부호를 사용하여 이루어질 것이다. 유사한 엔티티들은 도면들에서 동일한 문자 코드로 표시된다. 여러 가지 유사한 엔티티들은 하나의 도면으로 도시될 수 있다. 이러한 경우에 있어서, 숫자는 문자 코드에 부가되어 각각의 다른 것으로부터 유사한 엔티티들을 식별하도록 한다. 숫자는 유사한 엔티티들의 숫자가 사용중인 매개 변수일 경우 괄호 사이에 있을 것이다. 명세서 및 청구항들에 있어서, 참조 부호의 어떤 숫자는 적당한 경우에 생략될 수 있다.

도 1은 본 발명의 기본적인 특징들을 도시한다. 샘플들(Si)의 콜렉션(COL)은 이하의 방법으로 필터링된다. 보조 데이터(AUX)를 기초로 하여 유효한 샘플들(Si+)과 유효하지 않은 샘플들(Si-) 사이에 차이(DIS)가 만들어진다. 유효한 샘플들(Si+)과 관련된 필터링된 샘플들(So)이 유효한 샘플들(Si+)을 기초해서만 유도된다(DER).

유효한 샘플들과 관련된 필터링된 샘플들이 유효한 샘플들로부터만 유도될 수 있는 여러 가지 방법들이 있다. 예를 들어, 필터링된 샘플을 유도하기 위해서 샘플들의 클러스터가 형성된다고 가정하자. 클러스터에서만 유효한 샘플들의 가중 결합을 만드는 것이 가능하게 되며, 가중 인자들은 클러스터에서 유효한 샘플들의 수에 의존한다. 상기는 각 길이에 대한 다른 세트의 필터 계수들을 갖는 가변 길이 필터의 수단으로 실현될 수 있다. 그러나, 이와 같은 필터는 일반적으로 비교적 고가이다. 따라서, 고정 길이의 필터를 사용하는 것이 바람직하다.

고정 길이 필터는 다음의 실시예에서 사용될 수 있다. 필터링된 샘플은 크기가 고정된 필터 입력 값들의 세트로부터 유도된다. 각 필터 입력 값은 특정 샘플과 관련된다. 샘플이 유효하면, 필터 입력 값으로서 샘플의 값이 취해진다. 샘플이 유효하지 않으면, 필터 입력의 값으로서 패딩 값이 위해진다. 패딩 값은 적어도 하나의 유효한 샘플로부터 유도된다. 예를 들어, 패딩 값은 모든 유효한 샘플들의 평균 값일 수 있다. 그러나, 이와 같은 계산은 일반적으로 시간을 소비하고 비교적 큰 메모리를 필요로 한다.

비교적 빠른 패딩 값의 계산은 다음과 같이 이루어질 수 있다. 샘플들의 클러스터가 형성된다. 패딩 값은 클러스터에서 유효한 샘플들을 기초로 하여 계산된다. 필터 값들의 세트는 각 유효한 샘플에 대한 샘플 값을 취함으로써 및 각 유효하지 않은 샘플에 대한 패딩 값을 취함으로써 형성된다. 필터링된 샘플은 필터 입력 값들의 클러스터로부터 유도된다.

도 1에 도시한 특징들은, 예를 들어, 텍스처(texture) 데이터와 형상 데이터로 구성되는 영상 데이터를 처리하기 위해 적용될 수 있다. 이와 같은 구성은 MPEG-4와 같은 것으로서 일반적으로 설명되는 비디오 코딩 표준에 사용될 것이다. MPEG-4에 있어서, 텍스처 데이터는 하나 또는 그 이상의 영상 샘플들의 블록들로 구성된다. 형상 데이터는 특정 영상 샘플과 관련되는 각 비트의 비트맵으로 형성된다. 비트의 값은 영상 데이터가 나타내는 오브젝트 또는 오브젝트들의 구성에 영상 샘플이 속하는지 또는 그렇지 않은지의 여부를 나타낸다. 형상 데이터를 구성하는 비트맵의 비트들은 본 명세서에서 형상 비트들로서 설명될 것이다.

도 2는 도 1에 도시된 특징들을 회복하는(recapture) MPEG-4 영상 처리 장치를 도시한다. 영상 처리 장치는 수신부(INP), 필터 장치(FAR) 및 영상 처리기(PROC)를 구비한다. 더 상세히, 필터 장치(FAR)는 샘플 메모리(MEMSMPL), 형상 메모리(MEMSHP), 패딩-값 계산기(PVC), 멀티플렉서(MUX) 및 필터(FIL)를 구비한다.

영상 처리 장치는 다음과 같이 동작한다. 수신부(INP)는 영상 데이터(ID)를 수신한다. 영상 데이터(ID)는 오브젝트 또는 오브젝트들의 구성을 나타내는 하나 또는 그 이상의 영상 샘플들의 블록들을 포함한다. 영상 데이터(ID)는 하나 또는 그 이상의 영상 샘플들의 블록들과 관련된 비트맵을 더 포함한다. 수신부(INP)는 영상 샘플들의 스트림(ISS)과 형상 비트들의 스트림(SBS)을 제공한다. 상기 스트림들은 동시에 발생된다. 즉, 입력부가 영상 샘플을 제공할 때, 영상 샘플과 관련된 형상 비트를 동시에 제공한다.

도 3은 영상 샘플들의 스트림(ISS)이 어떻게 형성되는지를 도시한다. 형상 비트들의 스트림(SBS)은 영상 샘플들의 스트림(ISS)과 동시에 발생하기 때문에, 두 스트림 모두는 동일한 포맷을 갖는다. 도 3은 트루(true) 영상 샘플들(PX)과 필터 영상 샘플들(PF)로 구성되는 매트릭스를 도시한다. 트루 영상 샘플들(PX)은 영상 데이터(ID)로부터 생긴다. 필터 영상 샘플들(PF)은 필터 장치(FAR)가 입력 데이터(ID)에 포함되는 다수의 영상 샘플들에 대응하는 필터링된 영상 샘플들의 수를 제공하기 위해 트루 영상 샘플들에 부가된다. 영상 샘플들의 스트림들(ISS)은 관련된 매트릭스의 각 열을 왼쪽으로부터 오른쪽으로 스캐닝함으로써 형성된다. 스캐닝은 상위 열에서 시작하여 하위 열에서 끝난다. 각 필터 영상 샘플(PF)에 있어서, 수신부(INP)는 필터 영상 샘플(PF)이 유효하지 않다는 것을 나타내는 형상 비트를 동시에 제공한다.

필터 장치(FAR)는 연속적으로 다른 영상 샘플들의 클러스터들과 관련된 형상 비트들의 클러스터들을 형성하고, 영상 샘플들의 각 클러스터로부터 필터링된 영상 샘플을 유도한다. 샘플 메모리(MEMSMPL)와 형상 메모리(MEMSHP)는 각각 영상 샘플들의 스트림(ISS)과 형상 비트들의 스트림(SBS)을 수신하는 선입선출(FIFO, first-in-first-out) 메모리이다. 따라서, 영상 샘플들의 새로운 클러스터는 샘플 메모리(MEMSMPL)에 먼저 기록되어 있던 영상 샘플을 삭제하는 동안 영상 샘플들의 스트림(ISS)의 다음 영상 샘플들이 샘플 메모리(MEMSMPL)에 기록될 때 형성된다. 유사하게, 형상 비트들의 새로운 클러스터는 샘플 메모리(MEMSHP)에 먼저 기록되어 있던 형상 비트를 삭제하는 동안 형상 비트들의 스트림(SBS)의 다음 형상 비트가 형상 메모리(MEMSHP)에 기록될 때 형성된다.

필터 장치(FAR)는 샘플 메모리(MEMSMPL)에 포함된 영상 샘플들의 클러스터로부터 필터링된 영상 샘플을 유도한다. 클러스터는 유효한 어떠한 영상 샘플도 포함하지 않게 된다. 특정 경우에 있어서, 필터 장치(FAR)는, 예를 들어, 클러스터에서 상관없는 값(do-not-care value) 또는 유효하지 않은 샘플인 필터링된 영상 샘플을 제공할 수 있다. 본 명세서에서는 영상 샘플들의 클러스터에 적어도 하나의 유효한 샘플이 있다는 것을 가정할 것이다.

패딩-값 계산기(PVC)는 클러스터에 포함된 유효한 영상 픽셀들을 기초로 하여 패딩 값(PV)을 계산한다. 패딩-값 계산기(PVC)는 형상 메모리(MEMSHP)에 포함된 형상 비트들의 수단으로 영상 샘플이 유효한지 또는 그렇지 않은지의 여부를 결정할 수 있다.

패딩-값 계산기(PVC)는 유효한 영상 샘플들로부터 패딩 값(PV)을 유도할 수 있는 여러 가지 방법들이 있다. 예를 들어, 패딩 값은 클러스터에서의 모든 유효한 영상 샘플들의 산술평균값일 수 있다. 또다른 예로서, 패딩 값(PV)은 모든 유효한 샘플들의 합이 유효한 샘플들의 수에 가장 근접한 2의 멱승에 대한 정수 값으로 나누어진 산술 평균의 근사값일 수 있다. 상기 산술평균의 근사값의 계산은 하나 또는 그 이상의 덧셈과 비트-시프트 동작들만을 필요로 한다. 이와 같은 동작들은 비교적 빠르게 수행될 수 있고, 비교적 간단한 하드웨어를 가질 수 있다. 또다른 예로서, 패딩 값(PV)은 클러스터에서 모든 유효한 샘플들의 중수일 수 있다. 이와 같은 경우에, 패딩-값 계산기는 비교기들과 멀티플렉서들만을 사용하여 구현될 수 있다.

멀티플렉서(MUX)는 형상 메모리(MEMSHP)에 포함된 형상 비트들을 연속적으로 읽는다. 형상 비트가 관련된 유효한 영상 샘플을 나타내면, 상기 영상 샘플은 트루 영상 샘플(PX)이다. 이와 같은 경우에, 멀티플렉서(MUX)는 필터(FIL)에 관련 영상 샘플의 값을 공급한다. 그러나, 형상 비트가 관련된 유효하지 않은 영상 샘플을 나타내면, 상기 영상 샘플은 필터 영상 샘플(PF)이다. 이와 같은 경우에, 멀티플렉서(MUX)는 필터(FIL)에 패딩 값(PV)을 공급한다.

필터(FIL)는 멀티플렉서(MUX)로부터 수신하는 값들의 가중 결합을 만든다. 상기 값들의 가중 결합은 필터링된 영상 샘플을 구성한다. 가중 인자들은 필터 계수들이다. 클러스터의 각 위치에 대한 특정 필터 계수가 존재한다.

필터 장치(FIL)는 영상 샘플들과 관련된 형상 비트들의 각각 다른 클러스터에 대한 상기 설명한 동작들을 수행한다. 따라서, 필터링된 영상 샘플들의 콜렉션이 얻어질 것이다. 필터링된 영상 샘플들의 콜렉션은 필터링된 영상 데이터(FID)를 구성한다.

영상 처리기(PROC)는 필터링된 영상 데이터를 처리하여 처리된 영상 데이터를 얻도록 한다. 영상 처리기(PROC)는, 예를 들어, 업-샘플링, 다운-샘플링 또는 래핑과 같은 영상-처리 동작을 수행한다.

도면들 및 도면들의 상기 설명은 본 발명을 제한하는 것이 아니라 본 발명을 도시하는 것이다. 다수의 대안들이 첨부된 청구항들의 범위 내에 있는 것이 명백해질 것이다. 이 점에 있어서, 다음의 의견들이 발생한다.

여러 가지 유닛들을 통해 물리적으로 펼쳐진 기능들이나 기능 요소들의 다수의 방법들이 있다. 이 점에 있어서, 도면들은 매우 개략적이고, 각각은 본 발명의 하나의 가능한 실시예만을 나타낸다. 따라서, 도면이 다른 블록들로서 다른 기능 요소들을 도시하며, 상기는 수단이 몇몇 또는 모든 기능 요소들을 제외하지 않음으로써 단일 물리적 유닛으로서 구현될 수 있다.

영상 샘플들의 크러스터들을 형성하는 다수의 방법들이 존재한다. 도 2는 단지 FIFO 메모리에 영상 샘플들의 스트림을 공급함으로써 형성되는 영상 샘플들의 클러스터들의 가능한 하나의 구현을 도시한다. 다른 가능한 구현은 특정 포맷에 따라 모든 영상 샘플들과 관련된 비트맵을 저장하는 것이다. 어드레스 발생기는 어드레스의 다른 그룹들을 연속적으로 발생시킨다. 어드레스들의 그룹 하에 저장된 영상 샘플들은 도 1에 도시된 기본 원리에 따라서 유도될 수 있는 필터링된 영상 샘플로부터 클러스터를 형성한다.

청구항에서 어떠한 참조 부호도 본 청구항을 제한하는 것으로 해석되어서는 안된다.

Claims (5)

1. 샘플들(Si)의 콜렉션(COL)을 필터링하는 방법에 있어서,

   보조 데이터(AUX)를 기초로 하여 유효한 샘플들(Si+)과 유효하지 않은 샘플들(Si-) 사이를 구별하는 단계(DIS), 및

   상기 유효한 샘플들(Si+)과 관련된 필터링된 샘플들(So)을 상기 유효한 샘플들(Si+)에 기초해서만 유도하는 단계(DER)를 포함하는 것을 특징으로 하는 필터링 방법.
2. 제 1 항에 있어서,

   - 크기가 고정된 필터 입력 값들의 세트로부터 필터링된 샘플을 유도하는 단계로서, 각 필터 입력 값은 상기 샘플이 유효한 경우에 상기 필터 입력 값으로서 상기 샘플의 값이 취해지는 반면에, 상기 샘플이 유효하지 않은 경우에 상기 필터 입력 값으로서 패딩 값이 취해지며, 상기 패딩 값은 적어도 하나의 유효한 샘플로부터 유도되는 특정 샘플과 연관되는, 샘플 유도 단계를 구비하는 것을 특징으로 하는 필터링 방법.
3. 제 1 항에 있어서,

   - 샘플들의 클러스터를 형성하는 단계,

   - 상기 클러스터 내의 유효한 샘플들을 기초로 하여 패딩 값을 계산하는 단계,

   각 유효한 샘플에 대해 상기 샘플의 값을 취하고, 각 유효하지 않은 샘플에 대해 상기 패딩 값을 취함으로써 필터 값들의 세트를 형성하는 단계,

   - 필터 입력 값들의 클러스터로부터 필터링된 샘플을 유도하는 단계를 포함하는 것을 특징으로 하는 필터링 방법.
4. 샘플들(Si)의 콜렉션을 필터링하기 위한 필터 장치(FAR)에 있어서,

   보조 데이터(AUX)를 기초로 하여 유효한 샘플들(Si+)과 유효하지 않는 샘플들(Si-) 사이를 구별하기 위한 입력 회로, 및

   상기 유효한 샘플들(Si+)과 관련된 필터링된 샘플들(So)을 상기 유효한 샘플들(Si+)에 기초해서만 유도하기 위한 필터링 회로를 구비하는 것을 특징으로 하는 필터 장치.
5. 필터 장치를 위한 컴퓨터 프로그램 제품에 있어서, 상기 필터 장치에 로드될 때 청구항 1에 기재된 것과 같은 상기 방법을 상기 필터 장치가 수행하게 하는 명령들의 세트를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.