KR20010013243A - 바로전 소스 프레임으로부터 하나 이상의 중간 프레임들을독단적으로 합성함으로써 소스 프레임들의 시퀀스로부터디스플레이 프레임들을 발생하기 위한 방법 및 장치 - Google Patents

Abstract

프레임 레이트를 올리기 위해, 소스 프레임의 제 1 시퀀스가 소스 프레임 레이트로 수신된다. 한쌍의 바로 인접한 소스 프레임들에 대해서, 하나 이상의 중간 프레임들이 기하학적 변환으로 합성된다. 특히, 각 중간 프레임은 바로 선행 소스 프레임에 독단적으로 기초하고 있다. 디스플레이 프레임들은 중간 프레임들의 시퀀스로부터 선택되고, 경우에 따라 또한 소스 프레임들로부터 선택된다.

Description

바로전 소스 프레임으로부터 하나 이상의 중간 프레임들을 독단적으로 합성함으로써 소스 프레임들의 시퀀스로부터 디스플레이 프레임들을 발생하기 위한 방법 및 장치{A method and device for generating display frames from a sequence of source frames through synthesizing one or more intermediate frames exclusively from an immediately preceding source frame}

미국 특허 제4,736,248호는 소스 프레임쌍들 사이에서 내삽(보간)함으로써 디스플레이 프레임들을 발생하는 방법을 개시하고 있다. 2개의 연속 소스 프레임에서 발생하는 포인트 쌍들로부터 변환 알고리즘을 유도한다. 때때로 2개의 소스 프레임들중 하나 만에 특정 소스 픽셀이 존재하므로 특정 소스 픽셀에 대해서만 외삽이 행해져야 만 한다. 상기 문헌은 다이내믹 공간 서베이(dynamic aerial survey)로 렌더링하여 화상을 개선하고 있다.

상이한 사용 분야는 인터엑티브(대화식) 게임들과 유사한 멀티미디어 환경 유형들에 속한다. 여기서, 고속의 프레임 레이트를 갖는 것이 중요하므로, 디스플레이된 움직임은 가능한 한 스므스하게 될 것이다. 원리적으로 이것은 유저 개시 사건들과 그와 관련된 가시적인 피드백 사이에서 최소의 대기시간(latency)을 가능하게 할 것이다. 이것은 특히 비행 시뮬레이션 게임들처럼 네비게이션 제어를 위해서 중요하다. 60-72 Hz일 수 있는 디스플레이 리프레시 레이트에 견줄만 한 값으로 프레임 레이트를 끌어 올리는 것을 제안하고 있다. 또한 가상 현실(VR) 시스템은 움직임의 비정상에 대해 유저를 보호하기 위해 짧은 대기 시간을 필요로 한다는 것을 알았다. 그러나 일반적으로 상기 문헌에 따른 내삽을 사용하는 것은 추가의 대기 시간을 도입하게 되는데, 그 이유는 각종 내삽 파라미터들은 모든 픽셀들 중에서 어떤 디스플레이 프레임 픽셀을 과거의 소스 프레임 픽셀들에만 의존할 지라도 나중의 소스 프레임을 수신한 다음에야 만 알게되기 때문이다.

본 발명은 청구항 1의 전문에 기술된 바와 같은 방법에 관한 것이다.

도 1a 내지 1c는 3개의 디스플레이 생성 방법을 도시한다.

도 2는 생성 사시도이다.

도 3은 디바이스와 뷰 좌표간의 관계도이다.

도 4는 도2의 사시도 동일한 사시도이다.

도 5는 본 발명을 구현하기 위한 디바이스를 도시하는 도면이다.

따라서, 본 발명의 목적은 내삽 전반에 의해서 초래된 대기 시간을 피하기 위한 것이다. 본 발명의 한 형태에 따르면, 본 발명은 청구항 1의 전문에 따르는 것을 특징으로 한다. 본 발명 부분이 아닌 소스 프레임의 렌더링 동안에 Z-버퍼가 생성된다. Z 버퍼를 사용해서 2D 공간을 3D 공간으로 변환시켜서, 투시적 및 임의적인 3D 카메라 회전 및 병진운동의 변화들이 구현될 수가 있다(수학식 8). 이러한 두 변환 유형이 장면 변화의 주 요소이다.

외삽에 의해서 초래된 특정 문제점은 초기 소스 프레임에서 희미한 장면 부분이 외삽된 프레임에서 순차적으로 노출된다는 것인데, 이는 희미한 부분에 대해서 희미한 대상이 횡으로 움직이기 때문이다. 이전 소스 프레임에서 희미하게 되지 않은 인접 픽셀들로부터 측면 방향의 외삽(lateral extrapolation)을 통해 문제점이 해결된다. 외삽은 주사 방향을 따라 혹은 주사 방향 반대로 진행할 수 있다. 외삽이 배경 패턴 또는 다른 엔티티상에서 일반적인 알맹이꼴로 행해진다면, 그 결과는 보통 진실이거나 진실에 가깝다. 한편 희미한 물체 배후에서 갑작스럽게 커버되지 않는 소형 항목의 영향은 다음의 소스 프레임이 도달할 때까지 무시될 것이다. 통상, 이러한 허위적인 것의 영향은 허용 가능하다. 이와는 반대로 2D 결합의 변환으로 외삽을 제한하면, 종종 외삽된 프레임에서 터무니없는 왜곡들이 발생하는데, 이는 희미하나 움직인 부분이 이제 대단히 확장되기 때문이다. 이러한 문제점은 수학식 12의 뷰 좌표로 표현된 깊이(zv2)에 외삽을 종속시켜 해결한다.

디스플레이 시퀀스는 중간 프레임과 함께 소스 프레임으로 구성될 수 있다. 대안으로, 모든 혹은 어떤 소스 프레임은 중간 프레임이 종종 충분히 발생한다면 사용되지 않고 남겨질 것이다. 본 발명의 기술은 디스플레이 프레임 대기 시간을 짧게 유지하는 것이다. 한편, 내삽 디스플레이 프레임은 종종 원치 않는 정도로 대기 시간을 증대한다.

본 발명은 또한 서술된 방법을 실시하도록 구성된 프레임 베이스 디바이스에관한 것이다. 본 발명의 부가적인 유익한 형태들은 종속 청구항에서 기술되고 있다.

본 발명은 3D 렌더링 파이프라인 자체에 의해서 생성된 프레임들 사이의 중간 프레임을 발생하는 픽셀 변위의 계산을 가능하게 한다. 변위는 주사선을 따라 바로 인접한 픽셀에 대해 도달된 결과를 이용함으로써, 소스 프레임을 주사 변환하는 동안에 증분적으로 계산 가능하다. 이것은 각각의 다음 픽셀에 대해서 초기 취급된 픽셀에 근거한 산술 계산 만을 필요로 한다.

본 발명은 수학식 9에 따른 합성 디스플레이 프레임의 픽셀들과 최근의 소스 프레임의 픽셀들 사이의 순시 코히어런스(instantaneous coherence)를 발생하는 최근의 소스 프레임에 대해서 공지의 카메라 움직임을 이용하는 것을 가능하게 한다.

이후, 본 발명의 형태 및 이점에 대해서 첨부된 도면을 참조하여 설명하기로 한다.

도 1a 내지 1c는 디스플레이 프레임 레이트를 올리기 위한 제 1 방법을 도시한다. 상부 행은 일정하게 이격된 소스 프레임 "a"의 타임 시퀀스를 갖는다. 각 쌍의 인접한 소스 프레임들 사이에서 추가 프레임 "b"가 화살표가 지시하는 바와 같이 내삽된다. 원래의 a 프레임과 내삽된 b 프레임 둘다를 디스플레이 프레임으로서 이용함으로써, 레이트는 2배로 된다. 대기 시간은 인지 가능한데, 이는 b 프레임이 다음 a 프레임이 이용 가능하게 되기전에 발생 불가능하기 때문이다.

도 1 b는 디스플레이 프레임 레이트를 올리기 위한 제 2 방법을 도시한다. 각 쌍의 인접한 소스 프레임들 사이에서, 추가 프레임 "c"는 화살표가 지시하는 최종의 선행 a 프레임에 독단적으로 의거해서 외삽된다.

도 1c는 디스플레이 프레임 레이트를 올리기 뒤한 제 3 방법을 도시한다. 각 쌍의 인접한 소스 프레임들 사이에서, 추가 프레임 "d"는 화살표가 지시하는 최종의 선행 a 프레임에 독단적으로 의거해서 외삽된다. 도 1b와는 대조적으로, 소스 프레임과 그의 외삽된 d 프레임간의 지연은 일정하지 않다. 원래의 a 프레임과 내삽된 d 프레임의 절반을 이용하면 50%의 요소까지 레이트가 올라간다. 대기 시간은 도 1a에서 보다도 짧은데, 이는 선행 a 프레임이 이용 가능하게 될 때 바로 d 프레임이 발생 가능하기 때문이다.

도 2는 XYZ 좌표계에 의거한 바와 같은 발생 환경의 사시도이다. 실제 카메라 위치는 부의 Z 방향으로 뷰의 축을 갖는 원점에 있다. 즉, 카메라는 정의 Y 축을 따라 업 방향을 갖는다.

도 3은 디바이스와 뷰 좌표 간의 기하학적 관계를 도시한다. 카메라는 다시 부의 Z 방향으로 그의 축을 갖는 원점에 있다. 도면에서 수평축은 Xview 축이며, Xview 축은 도면의 평면에 대해 수직이다. 대상 OBJ가 x 좌표 x_s에서 스크린상에 디스플레이하기 위해 투영된다. 도시한 바와 같이, 도 3은 투시 또는 중앙 투영을 갖는다. 패러랠 투영은 알맞은 대안이다.

도 4는 이러한 지오메트리를 3차원 공간으로 도시하고 있다. 카메라 위치의아이 포인트는 좌측에서 멀리 떨어져 있다. 우측의 클리핑 평면 fcp와 센터의 클리핑 평면 ncp는 뷰잉 축에 수직하며, 뷰잉 각도 각추대와 함께 경계를 정한다. x 방향과 y 방향으로 유사한 클리핑 평면이 연장한다. 또한 거리 상부, 하부, 좌측, 우측이 투영 평면에서 표시된다. 또한, 투영 평면과 대상 평면이 표시되고 있다. 각도 높이 fi 또한 도시되고 있다.

도 5는 본 발명을 구현하기 위한 디바이스를 도시하고 있다. 통신 버스(20)와 메인 메모리(30) 부근에서 셋업이 센터된다. 처리될 정보가 메모리로부터 페치되어 표들에서 열거되고 있는 바와 같이 연속 동작을 심볼화하기 위해 직렬 접속되는 처리 모듈들(22, 24, 26)로 보내진다. 처리 모듈들은 CPU 등과 같은 공유 하드웨어상에서 집합적으로 매핑될 수 있다. 처리되어 저장된 후, 연속 디스플레이 프레임들은 유저에게 디스플레이하기 위해 서브시스템(34)에 도달한다. 버스(20) 통해 연결되는 제어 라인(23,25,27)을 거쳐 처리 모듈들에 제어 서브시스템(28) 전체가 접속된다. 이런식으로, 데이터는 CPU에서 한 영상으로 변환된다. 제어 서브시스템(28)은 실제 유저로부터 매뉴얼 혹은 다른 입력(32) 등과 같은 각종 소스들로부터의 제어 및 데이터 신호들 또는, 양방향 환경에서 다른 유저들로부터의 외부 신호들 또는, 간략화를 위해 도시하지 않은 카메라나 또 다른 서브시스템들로부터의 외부 신호들을 수신할 수가 있다.

일반적으로, 카메라의 회전 또는, 병진 또는, 주밍에 의해, 완전한 프레임 콘텐트가 시간에 따라 변화할 수 있다. 이전 카메라 위치와 방향간의 기하학적 관계와 새로운 카메라 위치와 방향간의 기하학적 관계를 알고 있다면, 외삽될 새로운 중간 디스플레이 프레임과 구(old) 프레임의 픽셀들간의 코히어런스 또한 알게 된다. 표 1은 뷰 공간 좌표들, 투영 좌표들, 정규화된 디바이스 좌표들, 스크린 공간 좌표들 등과 같은 각종 좌표들간의 관계를 포함하는 각종 수학적인 표현들을 보여주고 있다.

먼저, 수학식(1) 사시적인 투영 매트릭스이다. 수학식은 도 4에 도시한 뷰잉 각추대의 근접, 원, 상부, 하부, 좌, 우 평면 위치를 정의하고 있다. 수학식(2)는 대칭의 뷰잉 각추대를 정의하고 있다. 비대칭의 각추대 또한 사용 가능하다. 수학식(3)은 뷰잉 각추대를 추가 규정하기 위한 각도 높이 fi와 종횡비 a를 정의한다. 수학식(4)은 투영 매트릭스 P를 통한 동질의 뷰 좌표(사시된 v)와 투영 좌표(사시된 p)간의 관계를 표현한다. 직교등과 같은 다른 투영들 또한 가능하다. 수학식(5)은 정규화된 디바이스 좌표들(서브스크립된 n)을 정의한다. 수학식(6)은 스크린 좌표들(포스트스크립된 s)을 정의한다. 수학식(7)에서 정의하고 있는 바와 같이 뷰 좌표들과 스크린 좌표들간의 최종 관계를 간단한 삽입에 의해서 도출한다. 소스 프레임에서 좌표들로서 {xv1, yv1, zv1)과 {xs1, ys1}를 이용한 다음, {xv1, yv1}을 수학식(8)에 따라 기록할 수 있다.

카메라 움직임 및/또는 대상 변화에 의한 뷰 좌표들의 매트릭스 변환은 수학식(9)에서 정의된다. 수학식(10)은 외삽된 프레임에서 좌표들을 정의하는데, (xs2, ys2)에 대한 표현은 수학식(11)에서 정의한 바와 같이 바로 찾을 수가 있다. 또한, 수학식(12)은 zv2에 대한 표현이다. fz은 스크린 좌표 xs1과 ys1과 선형적으로 관련이 있고, fz은 움직임의 시간 도함수인 일정 델타를 가산함으로써 주사 변환 동안에 증분적으로 계산 가능하다. 따라서, 계산 zv는 다음을 필요로 한다.

- 델타를 fz에 가간

- zv1를 승산

- m23에 가산

또한, xs2와 ys2는 수학식(13)에 따라 표현 가능하다. 또한, fx와 fy는 스크린 좌표 xs1과 ys1과 선형적으로 관련이 있으며, 일정 델타를 가산함으로써 증분적으로 계산 가능하다. 그러므로 xs2와 ys2의 증분 계산은 다음의 계산과 zx2의 계산을 필요로 한다.

- zv2 역수를 계산(즉, 1/zv2를 계산)

- fx에 델타를 가산하고 fy에 델타를 가산

- 이 결과에 zv1을 승산

- h*k*m03/2와 h*k*m13/2에 두 곱을 가산

- 두 결과에 1/zv2를 승산

- w/2와 h/2에 가산

상기 계산은 8개의 가산, 5개의 승산과 1개의 제산이다.

또한, 카메라 움직임과는 무관한 다이내믹 행동을 관찰할 수 있는 스크린상에서 하나 이상의 대상을 나타내는 많은 게임 응용들이 존재한다. 이러한 행동은 하나의 움직이지 않은 몸체, 혹은 각종 상호 연관된 움직이지 않은 몸체로 구성된 복합체로서 통상 표현 가능한 대상을 위해 카메라에 대해서 상대적인 변환으로 표현 가능하다. 대상 움직임은 의문의 대상의 모든 픽셀들에 대해 움직이지 않은 몸체 변환 M_obj을 카메라 변환 매트릭스 M_cam에 승산함으로써 실현 가능하다. 앞서 설명한 변위 기능들은 각종 픽셀들의 움직임 벡터를 계산한다. 각 픽셀은 그것이 속하는 대상의 식별자를 가져야 만 하며, 그 식별은 가장 최근에 렌더링된 소스 프레임의 뷰 공간에 있는 물체의 변환 매트릭스 M=M_obj M_cam에 대한 추가 점이다. 이것은 대상 또는 매트릭스 포인터를 포함하고 있는 추가 묘사 평면을 도입함으로써 실행 가능하다. 보통 어느 장면에서 이러한 움직이지 않은 몸체의 수는 256개 이하이며, 그에 따라 픽셀 당 1개의 추가 바이트가 충분하다. 대상 평면은 하나의 움직이지 않은 몸체에 속하는 균일값의 픽셀들의 대 면적을 대상 평면이 담고있을 때 런랭쓰 인코딩 RLE으로 효율적으로 압축 가능하다.

목록 1

뷰 좌표 xv, yv, zv를 정의한다.

투영 매트릭스

다음과 같이 정의되는 대칭 뷰잉 원추대

b = -t;

1 = -r

원추대를 규정하기 위해 각도 높이 fi와 종횡비 a를 이용한다: k = 1/Tan[2 fi]

a = w/h;

t = n/k;

r = ta;

투영 좌표

{xp, yp, zp, wp} = P . {xv, yv, zv, 1};

정규화된 디바이스 좌표

{xn, yn} = {xp, yp} / wp;

스크린 좌표

이를 치환하면

소스프레임의 좌표로서{xv1, yv1, zv1}과{xs1, ys1}을 이용하면, {xv1, yv1}를 다음과 같이 쓸 수 있다.

카메라 및/또는 대상 변화로인한 뷰좌표들의 매트릭스 변환

중간 프레임의 좌표

{xv2, yv2, zv2, wv2} = M . {xv1, yv1, zv1, 1};

그 결과

zv는 다음과 같다.

fz는 스크린좌표 xc1와 ys1과 선형적으로 관련이 있어, fz는 주사 변환 동안, 일정한 델타를 가산함으로써 계산된다. 따라서 zv2의 증분 계산은 다음을 필요로 한다.

-델타를 fz에 가산

-zv1을 승산

-m23에 가산

xs2와 ys2는 다음과 같이 쓸 수 있다.

또한, fx와 fy는 스크린 좌표 xs1과 ys1과 선형적으로 관련이 있으며, 일정 델타를 가산함으로써 증분적으로 계산 가능하다. 그러므로 xs2와 ys2의 증분 계산은 다음의 계산과 zx2의 계산을 필요로 한다.

- zv2 역수를 계산(즉, 1/zv2를 계산)

- fx에 델타를 가산하고 fy에 델타를 가산

- 이 결과에 zv1을 승산

- h*k*m03/2와 h*k*m13/2에 두 곱을 가산

- 두 결과에 1/zv2를 승산

- w/2와 h/2에 가산

이 합은 8개의 가산, 5개의 승산, 1개의 제산이다.

Claims (10)

1. 제 1 시퀀스의 디스플레이 프레임들을 디스플레이 하기 위한 방법으로,

   제 2 시퀀스의 소스 프레임들을 제 2 프레임 레이트로 수신하고, 기하학적 변환 방법을 이용하여 하나 이상의 프레임들을 한쌍의 바로 인접한 소스 프레임들에 대한 상기 제2 시퀀스에 기초해서 합성하는 단계를 포함하는 방법에 있어서,

   각각의 중간 프레임은, 상기 중간 프레임들의 시퀀스에 기초하고, 경우에 따라 상기 소스 프레임 레이트에 대해서 올려진 디스플레이 프레임 레이트로 상기 디스플레이 프레임들을 선택하는 상기 소스 프레임들에 기초하며, 카메라 변환으로부터의 외삽을 통해, 그리고 Z 버퍼 정보에 기초해서 동일 디퍼로부터의 덮히지 않은 디퍼 픽셀들 그러나 현재 계속해서 가시 가능한 디퍼 픽셀들을 프레임내 외삽을 통해 바로 이전 소스 프레임에 독단적으로 기초하는 방법.
2. 제 1 항에 있어서, 가장 최근의 소스 프레임에 대한 공지의 카메라 움직임을 이용해서 가장 최근의 소스 프레임의 픽셀들과 바로 이어지는 합성 디스플레이 프레임의 픽셀들간의 순시 코히어런스를 발생하는 방법.
3. 제 1 항에 있어서, 프레임내 외삽에 기초해서 라인 주사 움직임을 디스플레이하도록 라인 주사 움직임을 따라 혹은 반대로 독단적으로 동작하는 방법.
4. 제 1 항에 있어서, 변환 매트릭스 M=M_obj M_cam에 따라서 외삽된 프레임에서 움직이지 않은 몸체를 디스플레이하기 위한 단계를 더 포함하는 방법.
5. 제 1 항에 있어서, 렌더링되는 항목을 갖는 다음 소스 프레임이 도달할 때까지 계속해서 가시적인 픽셀과 무관한 덮히지 않은 항목을 무시하는 방법.
6. 디스플레이 프레임의 제 1 시퀀스를 디스플레이 하도록 구성된 프레임 베이스 디바이스로,

   소스 프레임들의 제 2 시퀀스를 제 2 프레임 레이트로 수신하고, 기하학적 변환 방법을 이용하여 하나 이상의 중간 프레임들을 한쌍의 바로 인접한 소스 프레임들에 대한 상기 제2 시퀀스에 기초해서 합성하는 합성 수단을 프레임 베이스 디바이스에 있어서,

   상기 합성 수단은 카메라 변환들로부터의 변환과, Z 버퍼 정보에 기초해서 동일 디퍼로부터의 덮히지 않은 디퍼 픽셀들 그러나 현재 계속해서 가시 가능한 디퍼 픽셀들을 프레임내 외삽을 통해 바로 이전 소스 프레임에 대해 각 중간 프레임을 독단적으로 기초하도록 구성되며,

   상기 중간 프레임들의 시퀀스에 기초하고, 경우에 따라 상기 소스 프레임 레이트에 대해서 올려진 디스플레이 프레임 레이트로 상기 디스플레이 프레임을 출력하는 상기 소스 프레임에 기초해서 상기 합성 수단에 의해서 전달되는 출력 수단을 포함하는 프레임 베이스 디바이스.
7. 제 6 항에 있어서, 가장 최근의 소스 프레임에 대한 카메라 움직임을 수신하도록 구성되며, 가장 최근의 소스 프레임의 픽셀들과 바로 이어지는 합성 디스플레이 프레임의 픽셀들간의 순시 코히어런스를 발생하는 프레임 베이스 디바이스.
8. 제 6 항에 있어서, 상기 합성 수단은 라인 주사 움직임을 디스플레이하도록 라인 주사 움직임을 따라 혹은 반대로 독단적으로 동작하는 프레임내 외삽 수단을 갖는 프레임 베이스 디바이스.
9. 제 6 항에 있어서, 변환 매트릭스 M=M_obj M_cam에 따라서 외삽된 프레임에서 움직이지 않은 몸체를 디스플레이하기 위한 매트릭스 승산 수단을 갖는 프레임 베이스 디바이스.
10. 제 6 항에 있어서, 렌더링되는 항목을 갖는 다음 소스 프레임이 도달할 때까지 계속해서 가시적인 픽셀과 무관한 덮히지 않은 항목을 무시하는 무시 수단을 갖는 프레임 베이스 디바이스.