KR20070005622A

KR20070005622A - 효과적인 영상 리샘플링 방법 및 시스템

Info

Publication number: KR20070005622A
Application number: KR1020067018897A
Authority: KR
Inventors: 마크 프랜시스 룸레이츠
Original assignee: 톰슨 라이센싱
Priority date: 2004-03-15
Filing date: 2005-03-02
Publication date: 2007-01-10
Also published as: JP2007529821A; KR101138059B1; WO2005093759A1; EP1726016B1; EP1726016B8; EP1726016A1; CN100527266C; US20080246643A1; CN1930627A

Abstract

메모리(20, 30, 40) 내의 효과적인 리샘플링은 관심 있는 선택된 데이터 열을 식별하는 제1 부분과, 선택된 열 내에서 특정한 그룹의 데이터 값을 식별하는 제2 부분을 포함한 어드레스 요청을 먼저 생성함으로써 행해진다. 어드레스 요청의 제1 부분은 메모리에 인가되어 1번의 판독 동작 동안에 선택된 값의 열을 획득한다. 판독 어드레스의 제2 부분은 선택된 값의 열을 마스킹하여 열 내에서 관심 있는 특정한 그룹의 값을 획득하는 역할을 한다.

어드레스 요청, 리샘플링, 판독 동작, 마스킹, 디멀티플렉서, 판독 제어기

Description

효과적인 영상 리샘플링 방법 및 시스템{TECHNIQUE FOR EFFICIENT VIDEO RE-SAMPLING}

관련 출원의 교차 참조

본 출원은 35 U.S.C. 119(e)에 의거해 2004년 3월 15일 출원된 미국 가특허 출원 제 60/553,167호의 우선권을 주장하며, 상기 출원은 본 명세서에 참조결합된다.

본 발명은 전반적으로 메모리에 저장되어 있는 값에 효과적으로 액세스하여 데이터 리샘플링 등을 행하게 하는 방법에 관한 것이다.

아날로그 신호의 디지털 신호로의 변환은 특정한 주파수에서 아날로그 신호를 샘플링하고, 그 샘플을 대응하는 디지털 샘플로서 저장함으로써 행해진다. 어떤 애플리케이션에서는, 출력 샘플링 속도가 입력 샘플링 속도와 다를 것을 요한다. 이러한 샘플링 속도 또는 위상의 변환 프로세스는 "리샘플링"으로 흔히 지칭된다. 영상 분야에서, 데이터 리샘플링은, CCIR656 또는 ATSC 등의 특정 포맷의 이미지를 특정한 표시 장치와 호환될 수 있는 픽셀 구조로 변환할 때와 같이, 이미지 픽셀의 개수 또는 구조에서의 변화가 요구될 때에 행해진다. 또한, 데이터 리샘플링은 화상간 처리 및 전자 화상 기하 정정(electronic picture geometry correction) 동안에 행해진다.

데이터 리샘플링을 수행하는 장치는 일반적으로 다상 필터를 이용하여 데이터 리샘플링을 수행한다. 이러한 필터는 개별 서브-필터의 집합을 포함한다. 서브-필터의 조합은 주변 입력 픽셀값의 가중합(weighted sum)을 이용하여 출력 픽셀값을 계산한다. 또한, 입력 픽셀 위치에 대한 원하는 출력 픽셀 위치에 따라 가중 계수의 동적 제어가 행해진다. 그리고, 적어도 2개의 주변 입력 픽셀이 보간에 이용된다. 많은 수의 주변 픽셀을 이용하는 것은 더 복잡하게는 하지만 더 나은 결과를 제공한다.

수평 기하 정정을 제공하는 시스템에 있어서, 리샘플링은 수평 방향만으로 행해지고, 수평적으로 인접한 4개의 입력 픽셀이 이용되어 하나의 출력 픽셀을 계산한다. 하나의 출력 픽셀을 계산하는데 이용된 4개의 인접 입력 픽셀은 이전 샘플을 계산하는데 이용되었던 4개의 동일한 픽셀로 구성될 수 있다. 이와 달리, 이 4개의 픽셀 클러스터는 1개 또는 2개의 입력 픽셀에 의해 시프트될 수 있다.

도 1은 각 메모리 위치가 하나의 픽셀을 저장하는 종래의 선형 메모리 구조(10)를 보여주고 있다. 여기서, 데이터 값 A, B, C 등은 인접한 수평 픽셀의 픽셀값을 집합적으로 나타내고 있다. 도 1의 데이터 구조는, 4개의 필요한 인접 픽셀값 모두를 얻기 위해 4번의 판독 동작이 행해져야 한다는 점에서 불리하다. 매 클럭 주기마다 4개의 인접 픽셀을 판독해야 한다면, 판독 동작이 매 클럭 주기마다 하나의 어드레스로 제한되기 때문에 메모리 대역폭에서 문제가 발생할 것이다. 메모리 클럭을 4배 빠르게 실행함으로써 이러한 문제점을 해결할 수 있지만, 이는 대 부분 비실용적이다.

따라서, 1번의 판독 동작 동안에 저장되어 있는 값의 임의의 소정 개수에 임의 액세스할 수 있는 방법이 필요하다.

발명의 개요

요약하면, 본 발명의 바람직한 실시예에 따르면, 특정한 데이터 값 열 내에서 소정 그룹의 데이터 값을 메모리로부터 획득할 수 있는 방법이 제공되며, 상기 데이터 열의 값의 개수는 상기 그룹에서의 데이터 값의 개수를 적어도 단위 초과한다. 본 방법은 먼저 제1 및 제2 부분으로 구성된 어드레스 요청을 생성함으로써 개시한다. 한편, 제1 부분은 관심 있는 특정 열을 식별하는 반면에, 제2 부분은 특정한 데이터 값 열 내에서 관심 있는 소정 그룹의 값을 식별한다. 어드레스 요청의 제1 부분은 메모리를 어드레싱하는데 적용되어 판독 동작 동안에 특정한 데이터 값 열을 판독한다. 어드레스 요청의 제2 부분에 따라, 선택된 열에 대해 마스킹 동작을 행하여 상기 열 내에서 소정 그룹의 값을 선택한다. 이러한 방법을 이용함으로써 얻을 수 있는 이점은, 각 메모리 위치가 1번의 판독 동작 동안에 획득될 수 있는 여러 세트의 소정 데이터 값 그룹을 제공한다는 점이다.

도 1은 각 메모리 위치에서 하나의 픽셀 값을 저장하는 종래의 선형 메모리 구조를 나타내는 도면.

도 2는 한 그룹의 값에 임의 액세스하게 하는 본 발명의 제1 실시예에 따른 제1 메모리 구조를 나타내는 도면.

도 3은 한 그룹의 값에 임의 액세스하게 하는 본 발명의 제2 실시예에 따른 제2 메모리 구조를 나타내는 도면.

도 4는 본 발명에 따른 메모리 구조를 구현하는 기하 정정 시스템의 판독 제어 회로에 대한 개략적인 블록도.

이하에서 상세히 후술하는 바와 같이, 각각의 실시예는, 소정 그룹의 값들 각각이 1번의 판독 동작 동안에 액세스될 수 있도록, 메모리에 저장되어 있는 값들의 열 내의 다른 소정 그룹의 값에 액세스하게 하는 메모리 구조를 제공한다.

도 2는 1번의 판독 동작 동안에 복수 그룹의 값들 중 어느 하나에 임의 액세스하게 하는 메모리 구조(20)의 제1 실시예를 나타내고 있다. 논의를 용이하게 하기 위해, 각 소정 그룹은, 각각의 값이 일반적으로 이미지 내의 하나의 픽셀을 나타내는, 4개의 값을 포함한다. 하지만, 각 그룹은 4개의 값보다 많거나 적은 값들을 포함할 수 있으며, 임의 유형의 데이터 값을 포함할 수도 있다.

메모리 구조(20)는 각기 N블록의 M컬럼의 형태를 띠는데, 여기서 M과 N은 정수이다. 도 2에 도시된 실시예에서, 블록 사이즈 N은 관심 있는 각 소정 값 그룹에서의 값들의 개수에 해당한다. 한편, 기하 정정을 위한 영상 리샘플링의 경우에는, 각 소정 값 그룹은, 정정될 하나의 픽셀 주변의 4개의 인접한 픽셀 값에 대응하는, 4개의 값을 포함한다. 도 2의 메모리 구조(20)에서는, M = 7이고, N = 4이다. 메모리 구조(10)에서의 M컬럼은, 예시를 위해 번호 0, 1, 2, 3...M으로 표시되는, 개별 어드레스를 갖는다.

임의 액세스를 용이하게 하기 위해, 메모리 구조(20)에서의 각각의 연속한 컬럼은 이전 컬럼과 공통인 값을 갖는 N-1블록을 갖는다. 따라서, 도 2의 예에서, 어드레스 "0"을 갖는 컬럼은 제각기 값 A, B, C, D를 포함한 4개의 블록을 포함하는 반면에, 어드레스 "1"과 "2"를 갖는 컬럼은 제각기 값 B, C, D, E와 값 C, D, E, F를 포함한다. 메모리 구조(20)의 M컬럼들 중 특정한 하나의 컬럼을 1번 판독하는 것은 특정한 4-블록 세트의 값을 생성할 것이다.

도 1의 메모리 구조(10)에 비해, 도 2의 메모리 구조(20)는 1번의 판독 동작 동안에 특정한 세트의 4개의 픽셀값을 획득할 수 있어, 한번에 하나의 픽셀을 판독하는 것에 비해 훨씬 효과적이다. 하지만, 도 2의 메모리 구조(20)는, 특정한 컬럼의 판독시 흔히 픽셀 위상(pixel phase)으로 지칭되는, 하나의 4블록 세트만을 판독할 수 있다. 따라서, 그 어드레스가 "0"인 컬럼을 판독하는 것은 하나의 픽셀 위상 A, B, C 및 D를 생성하여, 25%의 효율성(하나의 픽셀 위상/컬럼당 4개의 픽셀값)을 달성한다. 도 2의 메모리 구조(20)가 도 1의 메모리 구조(10)의 메모리 대역폭 문제를 극복하지만, 메모리 구조(20)의 낮은 효율성으로 인해 대부분의 애플리케이션에서는 바람직하지 못하다.

도 3은 각각의 컬럼이 N+Y 블록을 갖는 M컬럼으로 구성되며, N과 Y는 0보다 큰 정수이다. 도 2의 메모리 구조(20)에서와 같이, 메모리 구조(30)의 M컬럼 각각은 어드레스 0, 1, 2, 3...M 중에서 개별적인 하나의 어드레스를 갖는다. 도 3의 실시예에서, M = 8이고, N = 4이며, Y = 3이다. 따라서, 도 3의 메모리 구조(30)의 8개의 컬럼 각각은, 도 2의 메모리 구조(20)의 각 컬럼에서의 4개의 블록에 비해, 7개의 블록을 포함하고 있다. 도 2의 메모리 구조(20)에 비해, 메모리 구조(30)의 각각의 연속한 열은 이전 컬럼 각각과 공통인 Y블록을 갖는다.

이하에서 설명되는 바와 같이, 각각의 컬럼에서 N+Y 블록을 갖는 메모리 구조(30)는 1번의 판독 동작 동안에 더 많은 수의 픽셀 위상의 조합을 제공함으로써 더 큰 효율을 달성한다. 예컨대, 어드레스 "0"을 갖는 메모리 구조(30)의 제1 컬럼을 고려해 보자. 이 특정 컬럼은 픽셀값 A, B, C, D, E, F 및 G를 포함하여, 다음과 같은 4개의 픽셀 위상을 제공한다.

따라서, 도 3의 메모리 구조(30)의 각 컬럼을 판독함으로써 4개의 다른 픽셀 위상을 획득할 수 있다.

메모리 구조(30)의 각 컬럼 내에 저장되어 있는 픽셀 위상들 중 특정한 하나의 위상의 선택은 일반적으로 디코딩 프로세스에 의해 행해져 관심 있는 픽셀 위상을 식별하고, 나머지 픽셀 위상을 마스킹한다. 이를 완료하기 위해, 메모리 구조(30)에 인가된 어드레스 요청은, 필수적이지는 않지만, 대개 적어도 하나의 최상위 비트와 적어도 하나의 최하위 비트인 두 부분을 갖는다. 어드레스 요청의 제1 부분, 즉 최상위 비트(들)(MSB(들))는 관심 있는 픽셀 위상을 포함하는 특정한 컬럼을 식별한다. 어드레스 요청의 제2 부분(즉, 최하위 비트(들) 또는 LSB(들))은 식별된 컬럼 내에서 관심 있는 특정한 픽셀 위상을 식별한다.

도 3에 예시적으로 도시되어 있는 메모리 구조(30)에 있어서, 어드레스 요청은 2진 5비트 열 xxxyy를 포함한다. 어드레스 요청의 3개의 최상위 비트(MSB)(xxx)는 8개 컬럼 중 관심 있는 특정한 하나의 컬럼을 지정하고, 2개의 최하위 비트(LSB)(yy)는 지정된 컬럼 내에서 관심 있는 특정한 픽셀 위상을 지정한다. 어드레스 요청에서의 LSB에 따라, 디멀티플렉서(도시되지 않음) 또는 유사 장치는 선택되지 않은 픽셀 위상을 마스킹한다. 도 2의 메모리 구조(20)에 비해, 도 3의 메모리 구조(30)는 대부분의 애플리케이션에서 허용될 수 있는 4/7(4개의 픽셀 위상/컬럼당 7개의 블록) 또는 57%의 효율을 제공한다.

메모리 구조(30)의 각 컬럼에서의 블록 수를 증가시키는 것은 그 효율을 증가시킬 것이다. 표 1은 4개의 인접 픽셀의 임의 액세스를 필요로 하는 애플리케이션에서 저장 효율의 증가를 블록 사이즈의 함수로서 도시하고 있으며, 블록당 위상은, i가 정수 지수 값인, 2ⁱ의 함수로서 변한다. 이는 이미 언급한 바와 같이 어드레스 디코딩을 간략화한다.

도 4는, 본 발명에 따라, 상술한 방식으로 데이터 액세스를 제어하여 기하 정정하게 하는 기하 정정 회로(40)의 블록도이다. 이 회로(40)는 연속 라인의 영상을 저장하고 있는 메모리로부터 데이터를 판독하기 위한 판독 어드레스를 생성하는 판독 제어기(42)를 포함한다. 영상의 각 라인은 연속 클럭 주기 동안에 메모리에 각기 입력되는 다수의 픽셀값을 포함한다. 실제로, 메모리는 영상의 각 라인을 YUV 데이터의 개별 열로 저장한다. 일반적으로, 메모리(44)의 각 컬럼은 7개의 블록을 포함하며, 각 블록은 제각기 Y, U 및 V 세트의 각각에 대해 연결된 10비트 값을 저장하고 있다. 메모리(44)는, 고속 데이터 전송을 허용하기 위해, 판독 제어기(42)에 결합된 210비트 버스를 구비하여 1번의 판독 동작 동안에 Y, U 및 V에 대한 7개의 연결 값 각각의 출력을 허용한다.

판독 제어기(42)는 일반적으로 ASIC, PGA(programmable gate array) 또는 이러한 장치들의 임의 조합 등과 같은 유선 요소의 형태를 띤다. 이와 달리, 판독 제어기(42)는 하드웨어, 소프트웨어 및 펌웨어의 조합으로 구성되는 마이크로프로세서 또는 마이크로컴퓨터를 포함할 수 있다. 이러한 소프트웨어는 프로그램 저장 장치(도시되지 않음)에 실재 통합된 애플리케이션 프로그램으로서 구현될 수도 있다.

판독 제어 블록(42)은, 각각의 길이가 일반적으로 13비트인, 스트레치 신호(Stretch signal) 및 오프셋 신호에 따라 메모리(44)에 액세스하기 위한 판독 어드레스를 생성한다. 스트레치 신호는 이미지 내의 원하는 스트레칭 정도를 표시하고, 저장된 픽셀값의 어드레싱을 차례로 지시한다. 이는 다음과 같이 이해될 수 있다. 임의의 스트레칭 부재시, 판독 제어기(42)는 연속 클럭 신호에 따라 영상의 각 저장 라인에 대해 메모리의 연속 픽셀값을 판독하여 이러한 픽셀값의 기록과 동일한 방식으로 각 라인을 메모리에 저장한다. 이런 식으로, 판독 제어기(42)에 의한 메모리(44)의 픽셀 판독의 대응 열에 의해 표시되는 영상의 각 라인은 메모리로 판독될 때와 같은 외형을 가져야 한다.

이미지의 이러한 스트레칭을 규정된 비율만큼 행하기 위해, 판독 제어기(42)는 일정한 방식으로 메모리(44)에서의 픽셀값을 판독하여 영상의 라인 스트레칭을 이러한 비율만큼 행해야 한다. 따라서, 10% 스트레치를 달성하기 위해, 판독 제어기(42)는, 그 값이 동일한 비율로 스트레치된 이미지의 대응 부분을 나타내는, 픽셀을 판독해야 한다. 일반적으로, 원하는 스트레치 정도에 따라, 보간이 필요하다. 보간이 필요할 때에, 판독 제어기(42)는 메모리(44)를 어드레싱하여 가장 밀접한 픽셀값을 획득할 것이고, 다운 스트림 보간기(도시되지 않음)에 의한 수신을 위해 서브-픽셀 보간 명령을 생성하여 필요한 보간을 행할 것이다.

판독 제어기(42)에 의해 수신된 오프셋 신호는, 메모리(44)의 어드레싱이 영상의 대응 라인에서의 오프셋을 행하기 위해 오프셋되어야 하는, 정도를 판정한다. 예컨대, 영상의 하나의 라인이 25 픽셀 오프셋을 향유해야 한다고 가정해 보자. 이러한 오프셋을 행하기 위해, 판독 제어기는 메모리(44)를 어드레싱하기 위한 연속한 판독 어드레스를 출력하여 25 픽셀 오프셋을 달성할 것이다.

스트레치 및 오프셋 신호에 더하여, 판독 제어기(42)는 버퍼 우회 신호 및 라인 개시 신호(start-of-line signal)를 수신한다. 라인 개시 신호는 각 라인의 처음에서 판독 제어기 내의 상태 기계를 초기화한다. 버퍼 우회 신호는 오프셋 및 스트레치 신호를 0으로 설정하여 기하 정정을 디세이블한다.

판독 제어기(42)로부터 수신된 각 픽셀값의 Y, U 및 V 성분에 대한 7개의 연결된 10비트 값은 제각기 데이터 버스 Y_data, V_data 및 U_data를 통해 한 세트의 서브-어드레스 디멀티플렉서(46, 48 및 50) 제각각에 전송된다. 서브-어드레스 디멀티플렉서(46, 48 및 50) 각각은 메모리(44)에 인가된 판독 어드레스와 함께 판독 제어기(42)에 의해 생성된 2비트의 샘플 선택 신호(SA_SEL)를 수신한다. 서브-어드레스 디멀티플렉서 각각에 인가된 SA_SEL은, 각각의 디멀티플렉서가 인가된 데이터 스트림 내에서 특정한 픽셀 위상을 선택하게 하고, 나머지 픽셀 위상을 마스킹하게 한다.

알 수 있는 바와 같이, 도 4의 판독 제어기(42)는 도 3의 메모리 구조(30)에 대해 설명된 방식과 유사한 방식으로 1번의 판독 동작 동안에 일련의 픽셀값 내의 한 세트의 픽셀 위상들 중 특정한 하나의 픽셀 위상을 선택하게 한다. 판독 제어기(42)에 의해 생성된 판독 어드레스는 메모리(44)로부터 일련의 특정한 픽셀값을 선택하는 어드레스 요청의 제1 부분을 포함한다. 샘플 선택 신호(SA_SEL)는 서브-어드레스 디멀티플렉서(46, 48 및 50)를 제어하여 관심 있는 특정한 픽셀 위상을 선택하고 나머지 위상을 마스킹하도록 동작하는 어드레스 요청의 제2 부분을 포함한다. 이런 식으로, 판독 제어기(42)는 메모리(44)로부터 일련의 특정한 픽셀값을 판독하고, 1번의 판독 동작 동안에 특정한 픽셀 위상을 선택하도록 동작한다.

이상, 저장된 값에 효과적으로 액세스하여 1번의 판독 동작 동안에 일련의 값들 내의 한 세트의 소정 값 중에서 임의의 값을 획득하는 방법에 대해 상술하였다.

Claims

선택된 데이터 열 내에서 소정 그룹의 데이터 값을 메모리로부터 획득하는 방법으로서,

상기 선택된 데이터 열은 소정 그룹에서의 데이터 값의 개수보다 더 많은 개수의 값을 포함하고, 상기 방법은

관심 있는 선택된 데이터 열을 식별하는 제1 부분과, 선택된 열 내에서 관심 있는 소정 그룹의 값을 식별하는 제2 부분으로 구성된 어드레스 요청을 생성하는 단계와,

상기 어드레스 요청의 제1 부분을 상기 메모리에 인가하여 판독 동작 동안에 상기 선택된 데이터 열을 판독하는 단계와,

상기 선택된 열 내에서 소정 그룹의 데이터 값을 선택하기 위해 상기 어드레스 요청의 제2 부분에 따라 상기 선택된 데이터 열을 마스킹하는 단계를 포함하는 방법.
제 1 항에 있어서,

상기 제1 부분과 제2 부분이 제각기 적어도 하나의 최상위 비트와 적어도 하나의 최하위 비트를 포함하도록 상기 어드레스 요청을 생성하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

상기 마스킹 단계는

상기 선택된 데이터 열을 디멀티플렉서에 인가하는 단계와,

상기 어드레스 요청의 제2 부분에 따라 상기 디멀티플렉서를 제어하는 단계를 포함하는 방법.
제 1 항에 있어서,

상기 선택된 데이터 열은 각 그룹에서의 소정 개수의 데이터 값보다 적어도 두 개 더 많은 데이터 값을 포함하는 방법.
제 1 항에 있어서,

상기 선택된 값의 열은 개별 서브-열을 포함하고, 상기 마스킹 단계는 상기 어드레스 요청의 제2 부분에 따라 각 서브-열을 마스킹하는 단계를 더 포함하는 방법.
제 5 항에 있어서,

상기 서브-열은 Y, U 및 V 픽셀 데이터를 포함하는 방법.
선택된 데이터 열 내에서 소정 그룹의 데이터 값을 메모리로부터 획득하는 장치로서,

상기 선택된 데이터 열은 소정 그룹에서의 데이터 값의 개수보다 더 많은 개수의 값을 포함하고, 상기 장치는

관심 있는 선택된 데이터 열을 식별하는 제1 부분과, 선택된 열 내에서 관심 있는 소정 그룹의 값을 식별하는 제2 부분으로 구성된 어드레스 요청을 생성하는 어드레스 생성기와,

상기 어드레스 요청의 제1 부분에 응하여 적어도 하나의 데이터 값 열을 저장하고, 상기 선택된 데이터 열을 판독하기 위한 메모리와,

상기 선택된 열 내에서 상기 소정 그룹의 데이터 값을 선택하기 위해 상기 어드레스 요청의 제2 부분에 따라 상기 선택된 데이터 열을 마스킹하는 적어도 하나의 디멀티플렉서를 포함하는 장치.
제 7 항에 있어서,

상기 어드레스 요청의 제1 및 제2 부분은 제각기 적어도 하나의 최상위 비트 및 적어도 하나의 최하위 비트를 포함하는 장치.
제 7 항에 있어서,

상기 선택된 값의 열은 개별 서브-열을 포함하는 장치.
제 7 항에 있어서,

다수의 디멀티플렉서를 더 포함하며, 상기 디멀티플렉서 각각은 상기 어드레 스 요청의 제2 부분에 따라 대응하는 각각의 서브-열을 개별적으로 마스킹하는 장치.
제 5 항에 있어서,

상기 서브-열은 Y, U 및 V 픽셀 데이터를 포함하는 방법.