KR100632195B1 - 오직 직전 소스 프레임으로부터 하나 이상의 중간 프레임들을 합성하여 소스 프레임들의 시퀀스로부터 디스플레이 프레임들을 발생시키는 방법 및 장치 - Google Patents

Abstract

프레임 레이트를 높이기 위해, 소스 프레임들의 제 1 시퀀스가 소스 프레임 레이트로 수신된다. 바로 인접한 한 쌍의 소스 프레임들의 이 시퀀스에 대해서, 하나 이상의 중간 프레임들이 기하학적 변환으로 합성된다. 특히, 각 중간 프레임은 오직 직전의 소스 프레임에만 기초하게 된다. 디스플레이 프레임들은 중간 프레임들의 시퀀스로부터 선택되며, 경우에 따라 소스 프레임들로부터 선택될 수도 있다.

프레임 레이트, 내삽, 외삽, 디스플레이 프레임, 기하학적인 변환

Description

오직 직전 소스 프레임으로부터 하나 이상의 중간 프레임들을 합성하여 소스 프레임들의 시퀀스로부터 디스플레이 프레임들을 발생시키는 방법 및 장치{A method and device for generating display frames from a sequence of source frames through synthesizing one or more intermediate frames exclusively from an immediately preceding source frame}

본 발명은 청구항 1의 전문에 기술된 바와 같은 방법에 관한 것이다.

미국 특허 제4,736,248호에는 소스 프레임 쌍들 사이에 내삽하여 디스플레이 프레임들을 발생시키는 방법이 개시되어 있다. 변환 알고리즘은 2개의 연속하는 소스 프레임들 쌍방에서 생기는 포인트 쌍들에서 얻어진다. 내삽은 이 소스 프레임들 쌍방에서 생기는 다른 픽셀 쌍들에 대해서도 동일 변환들을 이용한다. 때로는 특정 소스 픽셀이 2개의 소스 프레임들 중 하나에만 존재하므로, 그 특정 소스 픽셀에 대해서만 외삽이 이루어져야만 한다. 이 참조문헌은 다이내믹 항공 측량(dynamic aerial survey)에서 화상 렌더링을 개선하려고 한다.

다른 사용 분야는 고도의 상호작용(interactive) 컴퓨터 게임들 및 유사한 타입의 멀티미디어 환경과 관련이 있다. 여기서는, 높은 프레임 레이트를 갖는 것이 중요하므로, 디스플레이된 움직임은 가능한 한 평활하게 될 것이다. 원칙적으로 이것은 사용자가 개시한 이벤트들과 그와 연결된 비주얼 피드백 사이의 최소 대기시간(latency)을 허용할 것이다. 이것은 비행 시뮬레이션 게임들에서처럼, 네비게이션 제어에 특히 중요하다. 60-72Hz일 수 있는 디스플레이 리프레시 레이트(display refresh rate)에 견줄만한 값까지 프레임 레이트를 올리는 것이 제안되었다. 또한 가상 현실(VR) 시스템에서는 사용자를 동요병(motion sickness)으로부터 보호하기 위해 짧은 대기시간이 필요하다는 것을 알았다. 그러나, 상기 참조문헌에 따른 내삽을 통상적으로 이용하면 추가 대기시간이 도입될 것이다. 그 이유는 비록 모든 픽셀들 중에서, 어떤 디스플레이 프레임 픽셀들이 과거 소스 프레임 픽셀들에게만 의존한다 하더라도, 나중 소스 프레임의 수신 후에 단지 여러 내삽 파라미터들만이 알려지게 되기 때문이다.

그 결과, 본 발명의 목적은 특히, 전체 내삽에 의해 야기된 대기시간의 증가를 회피하는 것이다. 그러므로, 이제 본 발명의 특징들 중 하나에 따르면, 본 발명은 청구항 1의 특징부에 따르는 것을 특징으로 한다. Z-버퍼는, 본 발명의 일부가 아닌 소스 프레임들의 렌더링 동안 발생된다. Z-버퍼는 2D 프레임을 3D 공간으로 변환하는데 사용될 수 있으며, 그래서 임의의 3D 카메라 회전 및 평행이동뿐만 아니라 투시에 있어서의 변화가 구현될 수 있다(수식 8). 이 2가지 변환 타입은 장면 변화의 주요 요인이다.

외삽에 의해 야기된 특정 문제점은 조기의 소스 프레임에서는 애매했던 장면 부분이 외삽된 프레임에서 순차적으로 노출될 수 있다는 것이다. 그 이유는, 애매한 대상이 애매한 부분에 대해 횡으로 이동했기 때문이다. 해결책은 이전 소스 프레임에서 애매하지 않았던 인접 픽셀들로부터의 측방향 외삽(lateral extrapolation)에 의해 달성된다. 외삽은 주사 방향을 따라서 또는 주사 방향과 반대로 행해질 수 있다. 외삽이 배경 패턴 또는 정밀하지 않은 입도(coarse granularity)를 갖는 다른 엔티티(entity)에 행해진다면, 그 결과는 통상적으로 진실이거나 진실에 가깝다. 한편, 애매한 대상 뒤에서 갑작스럽게 노출된 작은 항목의 영향은 다음 소스 프레임이 도달할 때까지 무시될 것이다. 통상적으로, 이 가짜의 영향은 허용 가능하다. 상기와는 반대로, 외삽을 2D 아핀 변환(2D-affine transform)으로 제한하면 종종 외삽된 프레임에 터무니없는 왜곡들이 생기게 될 것이다. 그 이유는, 애매하지만 움직이는 부분이 많이 확장되기 때문이다. 이러한 문제점은 외삽을 수식 (12)의 뷰 좌표에 나타난 깊이 (zv2)에 따르게 함으로써 해결된다.

디스플레이 시퀀스는 중간 프레임들과 함께 소스 프레임들로 구성될 수 있다. 대안적으로, 중간 프레임들이 종종 충분히 생기는 경우에는 모든 또는 어떤 소스 프레임들은 사용되지 않을 수 있다. 본 발명의 기술은 디스플레이 프레임 대기 시간을 짧게 한다. 한편, 디스플레이 프레임들을 내삽하는 것은 종종 원치 않는 정도로 대기시간을 증가시킬 수 있다.

본 발명은 또한 서술된 방법을 실시하도록 구성된 프레임식 디바이스(frame-base device)에 관한 것이다. 본 발명의 다른 이로운 특징들은 종속 청구항에 기술되고 있다.

본 발명은 3D 렌더링 파이프라인 자체에 의해서 발생된 프레임들 사이에 중간 프레임들을 발생시키기 위해 픽셀 변위를 계산하도록 한다. 변위들은 주사선을 따라 바로 인접한 픽셀에 대해 달성된 결과들을 일관되게 이용하여, 소스 프레임들의 주사 변환 동안 증분적으로 계산될 수 있다. 이것은 다음의 각 픽셀에 대해 조기 처리된 픽셀들에 기초하는 소수의 산술 계산만을 필요로 한다.

본 발명은 가장 최근의 소스 프레임의 픽셀들과 그 직후에 이어지는 합성된 디스플레이 프레임의 픽셀들간의 순간 코히어런스(instantaneous coherence)를 수식 9에 따라 발생시키기 위해 가장 최근의 소스 프레임에 대하여 알려진 카메라 움직임을 이용하도록 한다.

본 발명의 이러한 특징과 이점 및 다른 특징과 이점은 바람직한 실시예들의 개시를 참조하여, 특히 첨부된 도면을 참조하여 하기에 보다 상세히 기재될 것이다.

도 1a 내지 도 1c는 3개의 디스플레이 프레임 발생 방법을 도시한 도면.

도 2는 발생 투시도.

도 3은 디바이스 좌표 및 뷰 좌표간의 관계를 도시한 도면.

도 4는 투시도.

도 5는 본 발명을 구현하기 위한 디바이스를 도시한 도면.
표 1은 여러 수식을 나타낸다.

도 1a는 디스플레이 프레임 레이트를 높이기 위한 제 1 방법을 도시한다. 상부 행(row)은 균일하게 이격된 소스 프레임들 "a"의 시간 시퀀스를 갖는다. 각 쌍의 인접한 소스 프레임들 사이에, 화살표로 표시된 추가 프레임 "b"가 내삽된다. 내삽된 b 프레임들뿐만 아니라 원래의 a 프레임들 둘 다를 디스플레이 프레임으로서 이용함으로써, 레이트가 2배가 된다. 대기시간이 감지될 수 있는데, 그 이유는 다음 a 프레임이 입수되기 전에 b 프레임이 발생될 수 없기 때문이다.

도 1b는 디스플레이 프레임 레이트를 높이기 위한 제 2 방법을 도시한다. 각 쌍의 인접한 소스 프레임들 사이에, 추가 프레임 "c"가 이전의 마지막 a 프레임에만 기초하여 외삽되며, 이는 화살표로 표시된다. 원래의 a 프레임들 및 내삽된 c 프레임들 둘 다를 디스플레이 프레임으로서 이용하는 것으로 레이트가 2배가 될 것이다. 대기시간은 도 1a에서보다 작은데, 그 이유는 이전의 a 프레임이 입수될 때 즉시 c 프레임이 발생될 수 있기 때문이다.

도 1c는 디스플레이 프레임 레이트를 높이기 위한 제 3 방법을 도시한다. 각 쌍의 바로 인접한 소스 프레임들 사이에, 추가 프레임 "d"가 이전의 마지막 a 프레임에만 기초하여 외삽되며, 이는 화살표로 표시된다. 도 1b와는 대조적으로, 소스 프레임 및 그 외삽된 d 프레임들간의 지연은 비균일하다. 내삽된 d 프레임들뿐만 아니라 원래의 a 프레임들의 반을 이용하는 것으로 레이트가 50%율까지 높아질 것이다. 대기시간은 도 1a에서보다도 작은데, 그 이유는 이전의 a 프레임이 입수될 때 즉시 d 프레임이 발생될 수 있기 때문이다.

도 2는 XYZ 좌표계에 기초한 발생 환경의 투시도를 도시한다. 실제 카메라 위치는 음의 Z 방향의 뷰 축에 대해 원점에 있다. 즉, 카메라는 양의 Y 축을 따라서 "위(up)" 방향을 갖는다.

도 3은 디바이스와 뷰 좌표들 간의 기하학적인 관계들을 도시한다. 카메라는 다시 음의 Z 방향의 축에 대해 원점(OR)에 있다. 도면에서 수평축은 X_view 축이며, Y_view 축은 도면의 평면에 대해 수직이다. x 좌표 x_s로 스크린상에 디스플레이하기 위해 투영된 대상 OBJ가 도시된다. 도시된 바와 같이, 이 도 3은 투시 또는 중앙 투영을 갖는다. 병행 투영이 적절한 대안이다.

도 4는 이러한 기하학적 구조(geometry)를 3차원 공간에서 도시한다. 좌측의 먼곳이 카메라 위치의 아이 포인트(eye point)이다. 우측의 먼 클리핑면(far clipping plane) fcp와 중앙의 가까운 클리핑면(near clipping plane) ncp는 뷰잉 축에 수직이며, 모두 뷰잉 각 절두체(viewing angle frustum)를 규정한다. 비슷한 클리핑면들이 x 및 y 방향으로 연장한다. 투영면에는 기호화된 거리들 t(top), b(bottom), l(left), r(right)이 표시되어 있다. 또한, 원점 및 투영면 및 대상면 사이의 거리들 n(near) 및 f(far) 거리들이 표시되어 있다. 또한 높이각 fi가 도시되어 있다.

도 5는 본 발명을 구현하기 위한 디바이스를 도시하고 있다. 그 구성은 통신 버스(20)와 메인 메모리(30)를 중심에 두고 있다. 처리될 정보가 메모리로부터 페치되어, 하기의 표에 열거된 바와 같이 연속하는 연산들을 나타내도록 직렬로 접속된 처리 모듈들(22, 24, 26)로 보내진다. 처리 모듈들은 CPU와 같은 공유 하드웨어에 집합적으로 매핑될 수 있다. 처리 및 일시적인 저장 후, 연속하는 디스플레이 프레임들은 사용자에게 디스플레이하기 위한 서브시스템(34)에 도달한다. 전체 제어 서브시스템(28)은, 버스(20)를 통해 이를 수 있는 제어 라인들(23, 25, 27)을 통해 처리 모듈들에 접속된다. 이런 식으로, 데이터는 CPU에서 영상으로 변형될 수 있다. 제어 서브시스템(28)은 실제 사용자로부터의 수동 입력 또는 다른 입력(32)과 같은 여러 소스들로부터 제어 신호 및 데이터 신호를 수신할 수 있으며, 상호작용 환경에서의 다른 사용자들로부터 또는 간략화를 위해 도시하지 않은 카메라들 또는 다른 서브시스템들로부터 외부 신호들을 수신할 수 있다.

순서의 수학 공식화
일반적으로, 카메라의 회전(rotating), 평행이동(translating) 또는 주밍(zooming)으로 인해, 전체 프레임 내용이 시간에 따라 변할 수 있다. 이전의 카메라 위치 및 방향과 새로운 카메라 위치 및 방향간의 기하학적 관계가 알려져 있는 경우, 구(old) 소스 프레임 및 외삽될 새로운 중간 디스플레이 프레임의 픽셀들간의 코히어런스(coherence)도 알려질 것이다. 표 1은 뷰 공간 좌표, 투영 좌표, 정규화 디바이스 좌표, 스크린 공간 좌표와 같은 여러 좌표들간의 관계들을 포함한 여러 수식들을 나타낸다.

먼저, 수식 (1)은 투시 투영 매트릭스이다. 이는 도 4에 도시된 뷰잉 절두체의 여러 양을 나타내는 기호 n(near), f(far), t(top), b(bottom), l(left), r(right)의 평면 위치를 규정한다. 수식 (2)는 대칭적인 뷰잉 절두체를 규정한다; 비대칭적인 절두체도 사용될 수 있다. 수식 (3)은 뷰잉 절두체를 더 특정하기 위해 높이 각 fi와 종횡비(aspect ratio) a의 이용을 규정한다. 수식 (4)은 투영 매트릭스 P를 통한 투영 좌표(포스트스크립트된 p)와 동차 뷰 좌표(포스트스크립트된 v)간의 관계들을 나타낸다. 직교와 같은 다른 투영도 가능하다. 수식 (5)은 정규화 디바이스 좌표들(서브스크립된 n)을 나타낸다. 마지막으로, 수식 (6)은 스크린 좌표들(포스트스크립된 s)을 나타낸다. 직접 삽입에 의해 수식 (7)에 나타난 뷰 좌표들과 스크린 좌표들간의 최종 관계들이 얻어진다. {xv1, yv1, zv1}과 {xs1, ys1}를 소스 프레임의 좌표들로서 이용하면, {xv1, yv1}은 수식 (8)로 나타낼 수 있다.

카메라 움직임 및/또는 대상 변화로 의한 뷰 좌표들의 매트릭스 변환은 수식(9)에 나타난다. 수식 (10)은 외삽된 프레임의 좌표를 주어, (xs2, ys2)에 대한 식은 수식 (11)에 나타난 바와 같이 간단히 구할 수 있다. 또한, 수식 (12)은 zv2에 대한 식이다. 이제, fz은 스크린 좌표 xs1 및 ys1과 선형적으로 관련이 있고, fz은 움직임의 시간 미분인 상수 delta를 가산함으로써 주사 변환 동안 증분적으로 계산될 수 있다. 따라서, zv를 계산하려면 다음이 필요하다.

- delta에 fz을 가산

- zv1을 곱함

- m23을 가산

또한, xs2 및 ys2는 수식 (13)으로 나타낼 수 있다. 또한, fx 및 fy는 스크린 좌표 xs1 및 ys1과 선형적으로 관련이 있어, 이들은 상수 delta를 가산함으로써 증분적으로 계산될 수 있다. 그러므로, xs2 및 ys2의 증분 계산은 zx2를 계산하는 것 외에, 다음을 필요로 한다.

- zv2의 역수를 계산(즉, 1을 zv2로 나눔)

- delta에 fx를 가산, 그리고 delta에 fy를 가산

- 이 양쪽 결과들에 zv1을 곱함

- 2개의 곱들에 h*k*m03/2 및 h*k*m13/2를 각각 가산

- 양쪽 결과들에 zv2의 역수를 곱함

- w/2 및 h/2를 각각 가산

상기 계산에는 8개의 덧셈, 5개의 곱셈, 1개의 나눗셈이 포함되어 있다.
또한, 많은 게임 애플리케이션들에는 카메라 움직임과는 독립적인 동적인 동작을 관찰할 수 있는 하나 이상의 대상들이 스크린상에 있을 것이다. 이 동작은 통상적으로 하나의 입체로서 또는 여러 개의 상호접속된 입체로 구성된 복합체로서 표현되어질 각 대상의, 카메라에 대한 상대 변환에 의해 표현될 수 있다. 대상의 움직임은 해당 대상의 모든 픽셀들에 대해, 카메라 변환 매트릭스 M_cam 에 입체 변환 M_obj 을 곱함으로써 실현될 수 있다. 그 후 즉시, 상술된 변위 함수들은 여러 픽셀들의 움직임 벡터들을 계산할 것이다. 각 픽셀은 이것이 속하는 대상의 식별자를 가져야만 하며, 그 식별은 또한 가장 최근에 렌더링된 소스 프레임의 뷰 공간에서의 그 대상의 최종 변환 매트릭스 M=M_cam·M_obj 를 가리켜야 한다. 이것은 대상 또는 매트릭스 포인터들을 포함하는 추가 기술면을 도입함으로써 달성될 수 있다. 통상적으로 임의의 장면에서 이러한 입체의 수는 256개 미만일 것이며, 그래서 픽셀당 추가 바이트는 1로 충분하다. 대상면은 통상적으로 하나의 입체에 속하는 큰 면적의 균일값 픽셀들을 포함하기 때문에 런랭쓰 인코딩(runlength encoding) RLE으로 효율적으로 압축될 수 있다.
[표 1]
뷰 좌표들 xv, yv, zv를 규정한다. (0)
투영 매트릭스:

(1)
대칭적인 뷰잉 절두체는
b = -t; (2)
l = -r
에 의해 주어진다.
절두체를 특정하기 위해 높이 각 fi 및 종횡비 a를 이용: k = 1/Tan[2 fi]
a = w/h;
t = n/k; (3)
r = ta;
투영 좌표들:
{xp, yp, zp, wp} = P·{xv, yv, zv, 1}; (4)
정규화 디바이스 좌표들:
{xn, yn} = {xp, yp} / wp; (5)
스크린 좌표들:

(6)
이는 치환에 의해

(7)과 같다.
그래서, {xv1, yv1, zv1} 및 {xs1, ys1}을 소스 프레임의 좌표들로서 이용하면, {xv1, yv1}는

(8)로 나타낼 수 있다.
카메라 및/또는 대상 변화로 인한 뷰 좌표들의 매트릭스 변환:

(9)
중간 프레임의 좌표들:
{xv2, yv2, zv2, wv2} = M·{xv1, yv1, zv1, 1}; (10)
그래서,

(11)
zv는

(12)와 같다.
fz는 스크린 좌표들 xs1 및 ys1과 선형적으로 관련이 있으며, fz는 상수 delta를 가산함으로써 주사 변환 동안 증분적으로 계산될 수 있다. 따라서 zv2의 증분 계산은 다음을 필요로 한다.
- delta에 fz을 가산
- zv1을 곱함
- m23을 가산
xs2 및 ys2는

(13)과 같이 나타낼 수 있다.
또한, fx 및 fy는 스크린 좌표 xs1 및 ys1과 선형적으로 관련이 있어, 이들은 상수 delta를 가산함으로써 증분적으로 계산될 수 있다. 그러므로 xs2 및 ys2의 증분 계산은 (xv2의 계산 외에) 다음을 필요로 한다.
- zv2의 역수를 계산(1을 zv2로 나눔)
- delta에 fx를 가산, 그리고 delta에 fy를 가산
- 양쪽 결과들에 zv1을 곱함
- h*k*m03/2 및 h*k*m13/2를 각각 가산
- 양쪽 결과들에 zv2의 역수를 곱함
- w/2 및 h/2를 각각 가산
이 계산에서는 1개의 나눗셈, 5개의 곱셈, 8개의 덧셈을 한다.

삭제

Claims (10)

1. 디스플레이 프레임들의 제 1 시퀀스를 디스플레이하는 방법으로서, 소스 프레임들의 제 2 시퀀스를 소스 프레임 레이트로 수신하는 단계와, 기하학적인 변환 방법을 이용하여 상기 제 2 시퀀스에 기초하여 바로 인접한 한쌍의 소스 프레임들에 대해 하나 이상의 중간 프레임들을 합성하는 단계를 포함하는, 상기 디스플레이 방법에 있어서,

   카메라 변환들에 의한 외삽을 통해, 그리고 Z 버퍼 정보에 기초하여, 각 중간 프레임을 오직 직전의 소스 프레임에만 기초하게 하여, 노출된 디퍼 픽셀들(deeper pixels)을 동일한 디퍼(likewise deeper)지만, 현재 계속해서 가시 가능한 이러한 디퍼 픽셀들로부터 프레임내 외삽하고,

   상기 중간 프레임들의 시퀀스에 기초하여, 그리고 상기 소스 프레임들에 기초하여, 상기 소스 프레임 레이트에 대해 높여진 디스플레이 프레임 레이트로 상기 디스플레이 프레임들을 선택하는 것을 특징으로 하는, 디스플레이 방법.
2. 제 1 항에 있어서, 가장 최근의 소스 프레임에 대하여 알려진 카메라 움직임을 이용하여, 상기 최근의 소스 프레임의 픽셀들과 그 직후에 이어지는 합성된 디스플레이 프레임의 픽셀들간의 순간 코히어런스(instantaneous coherence)를 발생시키는, 디스플레이 방법.
3. 제 1 항에 있어서, 오직 디스플레이 라인들의 주사 움직임에 따라서만 또는 그와 반대로만 동작하는 프레임내 외삽에 기초하는, 디스플레이 방법.
4. 제 1 항에 있어서, 변환 매트릭스 M=M_cam

   

   M_obj에 따라 외삽된 프레임내에 입체(solid body)를 디스플레이하는, 디스플레이 방법.
5. 제 1 항에 있어서, 계속해서 가시 가능하지 않은 픽셀과 관련하는 노출된 항목을, 렌더링된 그와 같은 항목을 갖는 다음 소스 프레임이 도달할 때까지, 무시하는, 디스플레이 방법.
6. 디스플레이 프레임들의 제 1 시퀀스를 디스플레이하도록 구성된 프레임식 디바이스(frame-based device)로서, 소스 프레임들의 제 2 시퀀스를 소스 프레임 레이트로 수신하는 수신 수단과, 기하학적인 변환 방법을 이용하여, 상기 제 2 시퀀스에 기초하여 바로 인접한 한 쌍의 소스 프레임들에 대해 하나 이상의 중간 프레임들을 합성하는 합성 수단을 포함하는, 상기 프레임식 디바이스에 있어서,

   상기 합성 수단은 카메라 변환들에 의한 외삽을 통해, 그리고 Z 버퍼 정보에 기초하여, 각 중간 프레임을 오직 직전의 소스 프레임에만 기초하게 하여, 노출된 디퍼 픽셀들을 동일한 디퍼지만, 현재 계속해서 가시 가능한 이러한 디퍼 픽셀들로부터 프레임내 외삽하도록 구성되며,

   상기 합성 수단에 의해 공급받으며, 상기 중간 프레임들의 시퀀스에 기초하여, 그리고 상기 소스 프레임들에 기초하여, 상기 소스 프레임 레이트에 대해 높여진 디스플레이 프레임 레이트로 상기 디스플레이 프레임들을 출력하는 출력 수단을 포함하는, 프레임식 디바이스.
7. 제 6 항에 있어서, 상기 합성 수단은 가장 최근의 소스 프레임에 대하여 카메라 움직임 정보를 수신해서, 상기 최근의 소스 프레임의 픽셀들과 그 직후에 이어지는 합성된 디스플레이 프레임의 픽셀들간의 순간 코히어런스를 발생시키도록 구성되는, 프레임식 디바이스.
8. 제 6 항에 있어서, 상기 합성 수단은 오직 디스플레이 라인들의 주사 움직임에 따라서만 또는 그와 반대로만 동작하는 프레임내 외삽 수단을 갖는, 프레임식 디바이스.
9. 제 6 항에 있어서, 변환 매트릭스 M=M_cam

   

   M_obj에 따라 외삽된 프레임내에 입체를 디스플레이하는 매트릭스 승산 수단을 갖는, 프레임식 디바이스.
10. 제 6 항에 있어서, 계속해서 가시 가능하지 않은 픽셀과 관련하는 노출된 항목을, 렌더링된 그와 같은 항목을 갖는 다음 소스 프레임이 도달할 때까지, 무시하는 무시 수단을 갖는, 프레임식 디바이스.

Images