KR101334187B1 - 다시점 렌더링 장치 및 방법 - Google Patents

다시점 렌더링 장치 및 방법 Download PDF

Info

Publication number
KR101334187B1
KR101334187B1 KR1020110073776A KR20110073776A KR101334187B1 KR 101334187 B1 KR101334187 B1 KR 101334187B1 KR 1020110073776 A KR1020110073776 A KR 1020110073776A KR 20110073776 A KR20110073776 A KR 20110073776A KR 101334187 B1 KR101334187 B1 KR 101334187B1
Authority
KR
South Korea
Prior art keywords
viewpoint
rendering
view
pixel
pixel values
Prior art date
Application number
KR1020110073776A
Other languages
English (en)
Other versions
KR20130012504A (ko
Inventor
고영인
김도균
이태현
안민수
이희세
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110073776A priority Critical patent/KR101334187B1/ko
Priority to US13/556,479 priority patent/US9406164B2/en
Publication of KR20130012504A publication Critical patent/KR20130012504A/ko
Application granted granted Critical
Publication of KR101334187B1 publication Critical patent/KR101334187B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects

Abstract

다시점 렌더링 장치 및 방법에 따르면, 하나의 시점을 기준으로 렌더링을 수행하고, 렌더링을 수행한 시점의 픽셀값들을 그와 인접한 새로운 시점에서의 픽셀값들로 변환한다. 새로운 시점에서 보이는 화면상의 픽셀들 중 변환에 의해 픽셀값들을 획득할 수 없는 차폐 영역을 검출한다. 다시점 렌더링 장치 및 방법은 검출된 차폐 영역에 대해서만 별도로 렌더링을 수행함으로써 다시점 입체 영상에서의 렌더링의 연산량을 상당히 감소할 수 있다.

Description

다시점 렌더링 장치 및 방법{Apparatus and method for rendering}
다시점 렌더링 장치 및 방법에 관한 것이다.
3차원 입체 영상 디스플레이는 화면에 표시되는 영상을 시청자(viewer)로 하여금 3차원적으로 인식하게 하는 디스플레이 기술을 말하는 것으로, 3차원의 입체감을 위해 주로 양안 시차를 이용한다. 즉, 사람의 좌안과 우안에 각각 다른 시점에서 획득된 영상이 보이도록 함으로써 시청자가 깊이감이나 원근감과 같은 3차원의 입체감을 느낄 수 있도록 하는 것이다. 현재 많이 사용되는 방식은 안경을 이용하여 좌안과 우안에 각각 다른 시점의 영상이 보이도록 하는 안경식 스테레오 디스플레이 방식이다.
그러나, 안경식 스테레오 디스플레이 방식은 3차원 입체 영상을 보기 위해서는 안경을 써야 하는 불편함과 두 가지 시점에서 획득된 영상만으로 제한된다는 단점이 있다. 이러한 단점을 개선하여 안경의 착용 없이 여러 개의 시점에서 획득된 입체 영상을 볼 수 있도록 한 것이 다시점(multi-view) 디스플레이 방식이다. 다시점 디스플레이 방식은 다수의 시점들에서 획득된 영상들을 시청 영역을 분할하여 공간적으로 맵핑함으로써, 시청자들이 보는 위치에 따라 다른 시점의 영상들을 볼 수 있도록 한 것이다.
이와 같은 다시점 디스플레이 방식으로 3차원 세계의 영상을 재생하기 위해서는 다시점 디스플레이의 시점들의 수 만큼 각각 다른 시점에서 획득한 영상들이 필요하고, 그러한 영상들은 다시점 디스플레이의 각각의 시점에서 3차원 공간의 3차원 객체들을 렌더링함으로써 획득된다.
다시점 입체 영상을 생성하는데 필요한 렌더링의 연산량을 최소화하기 위한 다시점 렌더링 장치 및 방법을 제공하는 데 있다. 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 측면에 따른 다시점 렌더링 장치는 제 1 시점을 기준으로 적어도 하나의 3차원 객체를 렌더링하는 렌더링부; 상기 렌더링에 의해 획득된 픽셀값들을 상기 제 1 시점과 다른 제 2 시점을 기준으로 한 픽셀값들로 변환하는 픽셀값 변환부; 및 상기 제 2 시점 기준의 영상에서 상기 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역인 차폐 영역을 검출하는 차폐 영역 검출부;를 포함하고, 상기 렌더링부는 상기 제 2 시점을 기준으로 상기 검출된 차폐 영역을 렌더링하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 다시점 렌더링 방법은 제 1 시점을 기준으로 적어도 하나의 3차원 객체를 렌더링하는 단계; 상기 렌더링에 의해 획득된 픽셀값들을 상기 제 1 시점과 다른 제 2 시점을 기준으로 한 픽셀값들로 변환하는 단계; 상기 제 2 시점 기준의 영상에서 상기 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역인 차폐 영역을 검출하는 단계; 및 상기 제 2 시점을 기준으로 상기 검출된 차폐 영역을 렌더링하는 단계를 포함한다.
본 발명의 또 다른 측면에 따라 다시점 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명의 다시점 렌더링 장치 및 방법은 다시점 디스플레이를 위해 설정된 복수 개의 시점들에서 3차원 객체들을 렌더링하는 데 있어 효율성 높이기 위한 것으로, 하나의 시점에서 렌더링한 결과를 이용하여 그와 다른 인접한 시점에서의 영상 정보를 렌더링의 수행 없이 얻고, 그러한 영상 정보를 얻을 수 없는 차폐 영역에 대해서만 렌더링을 수행함으로써, 다시점 입체 영상을 얻기 위해 필요한 렌더링의 연산량을 최소화할 수 있다.
도 1은 다시점 디스플레이 방식의 동작을 설명하기 위한 참조도이다.
도 2는 본 발명의 일 실시예에 따른 다시점 렌더링 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 도 1에 도시된 시점 변환부(210)의 시점 변환을 설명하기 위한 참고도이다.
도 4은 본 발명의 일 실시예에 따른 도 1에 도시된 렌더링부(220)의 렌더링 작업을 설명하기 위한 참고도이다.
도 5는 본 발명의 일실시예에 따른 다시점 렌더링 장치(200)의 동작을 설명하기 위해 도시한 참고도이다.
도 6는 도 1에 도시된 다시점 렌더링 장치(200)에 의해 생성된 다시점 입체 영상의 각각의 시점들에서의 영상들을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 도 1에 도시된 다시점 렌더링 장치(200)를 이용하여 다시점 렌더링을 수행하는 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 도 7에 도시된 720 단계의 상세 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 다시점 디스플레이 방식의 동작을 설명하기 위한 참조도이다. 다시점 디스플레이 방식은 다수의 시점들에서 획득된 영상들을 시청 영역을 분할하여 공간적으로 맵핑함으로써, 시청자들이 보는 위치에 따라 다른 시점의 영상들을 볼 수 있도록 한 것이다. 도 1을 참조하면, 시청자들은 동일한 화면(100)을 보면서도 보는 위치(110,120,130,140)에 따라 3차원 객체의 각각 다른 시점의 영상들(150,160,170,180)을 보게 된다. 이와 같이 다시점 디스플레이 방식으로 3차원 세계의 영상을 재생하기 위해서는 다시점 디스플레이의 시점들의 수 만큼 각각 다른 시점에서 획득한 영상들이 필요하다. 즉, 다시점 디스플레이의 각각의 시점에서 3차원 세계의 3차원 객체들의 렌더링을 수행하여야 한다. 그러나, 다시점 디스플레이에서 조금씩 시점을 달리하는 영상들을 생성하기 위해서는 방대한 연산량이 요구되는 렌더링 작업을 각각의 시점에 대해 반복적으로 수행하여야 하므로 많은 시간과 높은 하드웨어 성능이 요구된다.
본 실시예에서는 이러한 방대한 연산량이 요구되는 렌더링 작업을 일부의 시점에 대해서만 수행하고, 나머지 시점들에서는 일부 시점에서 렌더링한 결과를 이용하여 영상 정보를 얻을 수 없는 차폐 영역에 대해서만 렌더링함으로써, 다시점 입체 영상을 제공하는데 필요한 렌더링의 연산량을 최소화시키고자 한다.
도 2는 본 발명의 일 실시예에 따른 3차원 객체의 다시점 렌더링 장치의 구성도이다. 도 2를 참조하면, 본 실시예에 따른 다시점 렌더링 장치(200)는 시점 변환부(210), 렌더링부(220), 픽셀값 변환부(230), 차폐 영역 검출부(240), 및 다시점 영상 생성부(250)로 구성될 수 있다.
도 2의 다시점 렌더링 장치(200)는 다시점 입체 영상 디스플레이를 위해 3차원 객체의 다시점 렌더링을 수행하는 장치로, 모델링된 3차원 객체들을 시점을 조금씩 달리하여 렌더링한다.
렌더링은 3차원 컴퓨터 그래픽스에서 3차원 공간상의 3차원 객체들을 2차원 화면에 출력하기 위한 하나의 과정으로서, 관측자의 시점에서 보이는 장면을 기준으로 3차원 객체들에 색상, 명암, 재질 및 그림자와 같은 3차원적인 요소를 더하여 현실감을 추구하는 것을 말한다. 3차원 공간상의 3차원 객체들은 3차원 컴퓨터 그래픽스의 다음과 같은 과정들을 거쳐 2차원 화면에 출력된다. 3차원 컴퓨터 그래픽스는 컴퓨터 내에서 3차원 객체들에 대해서 3차원 좌표값을 가진 모델링 데이터를 형성하고 이 데이터에 재질, 빛, 카메라 위치를 설정하여 관측 시점을 지정한 후 3차원 객체들을 렌더링하여 최종적으로 2차원 그래픽 화면에 표시되는 장면(scene)을 만들어 낸다. 3차원 그래픽스에서 모델링은 실세계나 가상의 물체의 모양을 3차원적으로 표현하는 것으로, 구체적으로 3차원 객체들의 각 점의 위치를 3차원 공간 좌표를 이용하여 수학적으로 표현하는 것이다. 이러한 모델링 결과, 3차원 좌표값을 가진 3차원 모델링 데이터가 획득된다.
즉, 다시점 렌더링 장치(200)는 3차원 그래픽스의 모델링 과정에 의해 모델링된 3차원 객체들의 모델링 데이터를 입력받아 3차원 객체들의 모델링된 데이터를 이용하여 다시점 디스플레이의 여러 시점들의 영상들, 즉 각각의 시점에서 보이는 3차원 객체들이 2차원 그래픽 화면에 표시되는 각각의 장면을 생성한다.
렌더링에는 물체의 표면을 직접 비추는 광원만을 고려하여 렌더링하는 래스터라이제이션(raterization) 방식과 물체들 상호 간의 반사, 굴절까지 고려하여 렌더링하는 레이 트레이싱(Ray Tracing) 방식이 있다. 본 실시예에 따른 다시점 렌더링 장치(200)는 광선(ray)이 물체의 표면에서 반사되는 경로를 추적하여 렌더링하는 레이 트레이싱(Ray Tracing) 방식을 이용하여 렌더링을 수행한다. 구체적으로, 레이 트레이싱(Ray Tracing) 방식은 관측자의 시점에서 화면상의 각 픽셀 방향으로 광선을 발사하여, 각 픽셀에서 나오는 광선의 굴절, 반사되는 경로를 역으로 추적하여 물체의 표면에 미치는 모든 빛을 계산하여 각 픽셀의 명암 및 색상을 결정하는 방식으로, 매우 현실감 있는 3차원 그래픽 영상을 얻을 수 있다. 이와 관련하여 자세한 내용은 이하 렌더링부(220)에 설명된 내용을 참조한다.
도 2에 도시된 시점 변환부(210)는 렌더링부(220)에서 수행하는 렌더링의 기준이 되는 시점을 변환한다. 3차원 그래픽스에서 3차원 객체들을 2차원 그래픽 화면에 표시하는 데 있어, 렌더링을 수행하기에 앞서 3차원 객체들을 어떤 위치와 방향에서 본 장면을 표시할 것인지의 지정이 필요하다. 즉, 3차원 객체들에 대해서 원하는 장면의 3차원 그래픽 데이터들 획득하기 위해서 관측 시점을 지정할 필요가 있다.
다시점 디스플레이 방식은 시청자가 보는 위치에 따라 다른 시점의 영상들을 보는 것이므로, 다시점 디스플레이의 각각의 시점에서 획득된 영상들이 필요하다. 이에 따라, 다시점 렌더링 장치(200)는 다시점 디스플레이의 각각의 시점에 따라 관측 시점을 달리하여 3차원 그래픽 데이터를 획득한다. 즉, 3차원 공간상의 동일한 3차원 객체에 대해서 렌더링하는 시점이 달라지면 3차원 객체들의 출력되는 장면들도 조금씩 달라지므로, 다시점 렌더링 장치(200)는 다시점 디스플레이의 각각의 시점에서 영상들을 획득하기 위해서 조금씩 시점 달리하여 렌더링해야 한다. 이와 같이 조금씩 다른 시점에서 3차원 객체의 렌더링을 수행하기 위해 다시점 렌더링 장치(200)의 시점 변환부(210)는 렌더링하는 시점을 변환한다.
시점 변환부(210)는 3차원 공간상에 위치하는 객체들의 3차원 공간상의 좌표값들을 이용하여 렌더링의 기준 시점을 변환한다. 즉, 시점 변환부(210)는 3차원 좌표값으로 표현된 3차원 객체들의 위치, 모양, 크기 등을 변환함으로써 렌더링의 기준 시점을 변환한다. 여기서, 3차원 객체들의 위치, 모양, 크기 등을 변환하는 것을 기하 변환(geometric transformation)이라고 한다. 기하 변환은 이동, 신축, 회전 등의 변환행렬(4X4)을 이용하여 이들의 연산을 수행하여 3차원 공간에서 객체를 이동시키거나 크기를 바꾸거나 회전시킨다. 3차원 그래픽스에서 다음과 같은 기하변환의 변환행렬식에 따라 연산함으로써 3차원 공간의 객체를 이동시키거나 크기를 바꾸거나 회전시킬 수 있다.
<수학식 1>
Figure 112011057474092-pat00001
수학식 1은 3차원 공간상의 한 점 P(x,y,z)를 각 축의 방향으로 tx,ty,tz만큼 이동한 점 P(x',y',z')을 구하는 3차원 공간에서의 이동변환을 변환행렬로 나타낸 것이다.
<수학식 2>
Figure 112011057474092-pat00002
수학식 2는 3차원 공간상의 한 점 P(x,y,z)를 원점을 기준으로 하여 원점에서의 점 P(x,y,z)까지의 거리를 각 축의 방향으로 sx,sy,sz배만큼 확대 또는 축소한점 P(x',y',z')을 구하는 3차원 공간에서의 신축변환을 변환행렬로 나타낸 것이다.
<수학식 3>
Figure 112011057474092-pat00003
수학식 3은 3차원 공간상의 한 점 P(x,y,z)를 z축을 중심으로 Θ만큼 회전한 점 P(x',y',z')을 구하는 3차원 공간에서의 회전변환을 변환행렬로 나타낸 것이다.
기하 변환은 상기와 같은 이동, 신축, 회전변환 외에도 새로운 객체를 생성하거나, 3차원 공간상의 좌표를 변환하는 좌표계의 변환 등도 포함한다. 시점 변환부(210)는 이와 같은 3차원 그래픽스의 기하 변환을 이용하여 렌더링을 수행하는 시점을 변환한다.
시점 변환부(210)가 시점을 변환하는 일 실시예로 다음과 같이 좌표계의 변환을 통해 시점을 변환할 수 있다. 3차원 그래픽스는 3차원 객체들을 2차원 그래픽 화면에 표시하는 작업을 용이하게 하기 위하여 세계 좌표계(world coordinate system)와 관측 좌표계(viewing coordinate system)등의 여러 가지 좌표계를 이용한다. 세계 좌표계는 3차원 객체들의 3차원 공간상의 절대적인 위치를 나타내기 위한 좌표계이며, 관측 좌표계는 하나의 관측 시점에서 보이는 3차원 객체들의 장면을 2차원 그래픽 화면에 나타내기 위하여 관측 시점을 기준으로 표시되는 좌표계이다. 이러한 관측 시점에서 보이는 3차원 객체들의 장면을 2차원 화면에 나타내기 위해서 세계 좌표계(world coordinate system)에서의 3차원 객체의 위치를 관측 좌표계(viewing coordinate system)에서의 위치로 변환하여 나타낼 필요가 있다. 시점 변환부(210)는 하나의 관측 시점에 따른 관측 좌표계를 그와 다른 시점에 따른 관측 좌표계로 변환함으로써 시점을 변환할 수 있다.
시점 변환부(210)는 제 1 시점에 따른 관측 좌표계(이하 제 1 좌표계)를 기준으로 하여 렌더링한 후 제 2 시점에 따른 관측 좌표계(이하 제 2 좌표계)를 기준으로 하여 렌더링하기 위해서 렌더링을 수행하는 시점에 따라 관측 좌표계를 변환하여 시점을 변환한다. 이와 관련한 구체적인 내용은 도 3을 참조한다. 310에는 제 1 좌표계와 제 2 좌표계가 나타나 있다. 제 1 좌표계는 x1, y1, z1을 x, y, z축으로 가진 좌표계이고, 제 2 좌표계는 x2, y2, z2를 x, y, z축으로 가진 좌표계이다. 시점 변환부(210)는 제 1 시점을 제 2 시점으로 변환하기 위하여 310의 제 2 좌표계를 제 1 좌표계로 일치시키기 위한 좌표계 변환을 수행한다.
먼저, 이동 변환을 이용하여 제 2 좌표계를 이동시켜 제 2 좌표계의 원점과 제 1 좌표계의 원점을 일치시킨다(320 단계). 다음으로, 제 1 좌표계의 z1x1평면에 제 2 좌표계의 z2축이 오도록 제 1 좌표계의 x1축을 중심으로 제 2 좌표계를 회전시킨다(330 단계). 두 좌표계의 z축을 일치시키기 위해서 제 1 좌표계의 y1축을 중심으로 제 2 좌표계를 회전시킨다(340 단계). 제 1 좌표계의 z1축을 중심으로 제 2 좌표계를 회전시켜서 두 좌표계를 일치시킨다(350, 360 단계). 이동에 따른 이동변환과 각각의 회전에 따른 회전변환들의 변환행렬을 모두 곱하여 제 1 좌표계와 제 2 좌표계를 일치시키는 좌표계 변환을 수행하여 시점을 변환한다. 상기와 같이 변환을 수행하는 과정은 일 실시예에 불과하며 이에 한정되지 않고 여러 가지 기하변환을 이용하여 다양한 방법으로 시점을 변환할 수 있다. 기하변환과 관련하여 좀 더 구체적인 설명은 James D. Foley, Andries van Dam, Steven K. Feiner, John F. Hughes가 공동 집필한 "Computer Graphics: Principles and Practice in C" 를 참조한다.
다시점 렌더링 장치(200)는 하나의 관측 시점을 설정하여 설정된 시점을 기준으로 렌더링을 수행하고, 이와 다른 새로운 시점에서 다시 렌더링을 수행하려는 경우, 시점 변환부(210)는 이상에서 설명한 방법 등을 이용하여 설정된 시점에서 새로운 시점으로 시점을 변환한다. 즉, 다시점 렌더링 장치(200)는 다시점 디스플레이를 위해 설정된 복수 개의 시점에 대해서 차례로 시점을 변환하여 렌더링을 수행함으로써 각각의 시점에 대한 영상을 얻을 수 있다.
도 4에 도시된 렌더링부(220)는 관측자가 보는 하나의 시점에서 렌더링을 수행한다. 도 4를 참조하면, 관측자가 보는 하나의 시점(400)으로부터 화면(410)상의 각 픽셀 방향으로 광선들이 발사된다. 화면(410)상의 각 픽셀로부터 나온 주 광선(primary ray)(430)은 3차원 공간을 향하여 나가서 가장 가까운 곳에 위치한 물체(420)에 의해 부딪힌다. 이때, 물체(420)의 표면이 반사 표면인 경우 물체(420)에 부딪힌 주 광선(430)은 반사된 이미지를 구하기 위한 반사 광선(reflection ray)(440)을 생성하고, 물체(420)의 표면이 굴절 표면인 경우 굴절된 이미지를 구하기 위한 굴절 광선(refraction ray)(450)을 생성한다. 이러한 주 광선(430)과 주 광선에 의해 생성된 반사 광선들(440)과 굴절 광선(450)들이 광원(470)과 만나거나, 물체(420)를 만나지 못하거나, 정해진 최대 반복 횟수를 반복하거나, 또는 반사 및 굴절에 의한 빛의 세기가 기준 값 이하가 되면, 렌더링부(220)는 광선들의 추적을 멈추고, 광선들이 거쳐온 표면의 빛의 세기값을 모두 모아 픽셀의 밝기를 계산한다. 또한, 물체(420)에 부딪힌 주 광선(430)은 광원(470)을 향하여 그림자 광선(shadow ray)(460)을 생성하여, 물체(420)의 표면 상의 한 점이 그림자를 포함하는지 아닌지를 계산한다. 렌더링부(220)는 이러한 과정을 거쳐서 물체(420)의 표면에 미치는 모든 빛의 양을 계산하여 각 픽셀의 명암 및 색상을 결정한다. 이와 같은 과정에 의해 화면(410)상의 각 픽셀의 색상값이 획득된다.
또한, 렌더링부(220)는 상기와 같은 렌더링 과정으로부터 각 픽셀로부터 3차원 공간상의 물체에 이르는 거리인 깊이값을 획득한다. 구체적으로, 렌더링부(220)는 3차원 물체들의 가시성을 결정하여 화면으로부터 가장 가까운 곳에 위치한 물체의 색상값을 출력하는데, 각 픽셀로부터 나온 광선들과 3차원 공간상의 각 물체들이 만나는 점들을 각각 계산하여 가장 가까운 곳에 위치한 점의 색상값만을 계산한다. 이때, 광선이 나온 픽셀로부터 광선과 물체가 교차하는 점까지의 거리가 깊이값이 된다. 그리고, 각각의 픽셀에 대해 깊이값을 계산하여 화면에 맵핑한 것을 깊이맵이라고 한다. 렌더링부(220)에서 렌더링의 수행 결과, 3차원 공간이 화면상의 각 픽셀에 맵핑된다. 각 픽셀에 맵핑된 색상값과 깊이값을 포함한 픽셀의 정보를 픽셀값이라고 한다.
렌더링부(220)는 위와 같은 과정을 통해 하나의 시점에서 렌더링된 영상의 정보를 획득한다. 렌더링된 영상의 정보는 화면상의 각 픽셀의 픽셀값을 말한다. 렌더링부(220)는 다시점 입체 영상 디스플레이에 필요한 다시점 영상의 생성을 위해 하나의 시점에서 렌더링된 영상의 정보를 다시점 영상 생성부(250)로 출력한다. 또한, 렌더링부(220)는 렌더링의 수행 없이 인접한 다른 시점에서의 영상 정보를 생성하기 위해 하나의 시점에서 렌더링된 영상의 정보를 픽셀값 변환부(230)로 출력한다. 즉, 렌더링부(220)는 하나의 시점을 기준으로 획득한 픽셀값들을 다시점 영상 생성부(250)와 픽셀값 변환부(230)로 출력한다.
종래의 다시점 입체 영상은 3차원 공간의 전체 영역에 대해서 각각의 시점마다 반복적으로 렌더링을 수행하여 생성되었다. 따라서, 다시점 입체 디스플레이 방식은 두 개의 시점들에서 획득된 영상만 볼 수 있는 스테레오 디스플레이 방식에 비하여 보는 위치에 따라 다른 시점들의 영상들을 볼 수 있어 매우 현실감 있는 3차원 그래픽 입체 영상을 볼 수 있는 장점이 있으나, 수행하여야 하는 렌더링 연산량은 시점의 수에 비례하여 배로 늘어나게 되므로, 방대한 연산량으로 인하여 실시간으로 이를 구현하는 데 있어 많은 제약이 있었다. 본 발명의 다시점 렌더링 장치(200)는 렌더링부(220)에서 생성된 일부 시점들에서 렌더링한 결과를 이용하여 렌더링의 수행없이 다른 시점들에서의 영상 정보를 얻고, 영상 정보를 얻을 수 없는 일부 영역에 대해서만 렌더링을 수행하여 다시점 입체 영상을 생성한다. 따라서, 동일한 하드웨어 성능에서 더욱 빠르게 다시점 입체 영상을 생성할 수 있다. 또한, 다시점 렌더링 장치(200)가 다시점 입체 영상을 생성하는 데 있어 다시점 입체 영상의 시점 수가 늘어날수록 렌더링 연산량의 절감 효과가 커진다.
픽셀값 변환부(230)는 렌더링부(220)로부터 제 1 시점에서 렌더링된 영상 정보인 픽셀값들을 입력받아, 입력받은 제 1 시점을 기준으로 한 화면상의 픽셀값들을 그와 다른 제 2 시점을 기준으로 한 화면상의 픽셀값들로 변환한다. 이때, 제 1 시점은 렌더링부(220)에서 렌더링을 수행한 시점을 말하며, 제 2 시점은 렌더링을 수행한 시점과 인접한 새로운 시점을 말한다.
구체적으로, 렌더링을 수행한 시점과 인접한 새로운 시점은 다시점 입체 영상 디스플레이를 위하여 변환한 여러 개의 시점들 중에서 렌더링을 수행한 시점과 3차원 공간상 가장 가까운 곳에 위치한 시점들을 말한다. 렌더링을 수행한 시점과 인접한 새로운 시점에 대해서는 도 6를 참조하여 설명한다.
도 6는 도 2에 도시된 다시점 렌더링 장치(200)에 의해 생성된 다시점 입체 영상의 일 실시예로, 9 시점의 입체 영상 디스플레이의 각각의 시점들에서의 영상들을 도시한 도면이다. 도 6를 참조하면, 렌더링부(220)에서 650 장면의 시점을 기준으로 렌더링을 수행하였다면, 나머지 8개의 시점들 중에서 650 장면의 시점과 3차원 공간상 가장 가까운 곳에 위치한 시점들은 640 또는 660 장면의 시점들이다. 따라서, 픽셀값 변환부(230)는 650 장면의 시점을 기준으로 렌더링을 수행하여 획득된 픽셀값들을 640 또는 660 장면의 시점들에서 보이는 픽셀값들로 변환하여, 렌더링의 연산의 수행 없이 640 또는 660 장면의 시점들에서 보이는 픽셀값들을 획득한다.
픽셀값 변환부(230)는, 렌더링을 통해 획득한 650 장면의 시점의 픽셀값들을 650 장면의 시점과 가장 인접한 시점들인 640 또는 660 장면의 시점들 외에 나머지 시점들, 즉 610 내지 630, 670 내지 690 장면의 시점들에서의 픽셀값들로 변환하여 나머지 시점들에서의 픽셀값들도 획득할 수 있다. 그러나, 가장 인접한 시점들에 대해서 변환을 통해 획득할 수 있는 픽셀값들의 수에 비해 나머지 시점들에 대해서 변환을 통해 획득할 수 있는 픽셀값들의 수가 더 적다. 즉, 나머지 시점들에서 보이는 장면들의 픽셀들 중, 650 장면의 시점에서 렌더링을 수행하여 획득된 픽셀값들의 변환을 통해 새로운 시점에서의 픽셀값들을 획득하는 경우, 픽셀값들이 채워지지 않는 픽셀들이 많다.
예를 들면, 650 장면의 시점을 기준으로 렌더링을 수행하여 획득한 픽셀값들을 610 장면의 시점에서의 픽셀값들로 변환하면, 610 장면의 시점을 기준으로 보이는 화면상의 픽셀들 중 픽셀값들을 획득할 수 없는 픽셀들이 640 장면의 시점에서의 픽셀값들로 변환하여 픽셀값들을 획득할 수 없는 픽셀들보다 많다. 이는, 610 장면의 시점에서의 픽셀들 중 650 장면의 시점에서의 픽셀들과 대응되는 위치의 픽셀들이 인접한 640 또는 660 장면의 시점들에서의 픽셀들만큼 많지 않기 때문이다.
610 장면의 시점에서 보이는 화면상의 픽셀들 중 이러한 픽셀값이 채워지지 않은 픽셀들이 많다는 것은 픽셀값들을 채우기 위해서 별도로 렌더링을 수행하여야 하는 픽셀들의 영역이 넓어진다는 것을 의미한다. 여기서, 픽셀값들을 채우기 위해서 별도로 렌더링을 수행하여야 하는 픽셀들의 영역은 차폐 영역을 의미하는 것으로 이와 관련된 자세한 내용은 이하의 차폐 영역 검출부(240)와 관련된 부분에서 설명한다. 그리고 별도로 렌더링을 수행하여 픽셀값들을 채워야 하는 픽셀들의 영역이 넓어지게 되면, 변환을 통해 픽셀값들을 획득해서 렌더링의 연산량을 감소시켜 빠른 속도로 다른 시점들에 대한 영상 정보들을 획득하는 다시점 렌더링 장치(200)의 효율성이 감소하게 된다. 따라서, 픽셀값 변환부(230)는 렌더링을 수행한 시점과 인접한 새로운 시점에서의 픽셀값들을 변환을 통해 획득하는 것이 바람직하다.
픽셀값 변환부(230)에서의 픽셀값의 변환은 3차원 기하 변환을 이용하여 이루어진다. 픽셀값 변환부(230)는 먼저 렌더링부(220)에서 획득된 깊이맵을 이용하여 3차원의 객체들의 3차원 공간상의 위치를 획득한다. 즉, 세계 좌표계에서의 3차원 객체들의 3차원 공간상의 위치를 획득하는 것을 말한다. 세계 좌표계는 3차원 객체들의 3차원 공간상의 절대적인 위치를 나타내는 좌표계를 말한다. 구체적으로 3차원 객체들의 3차원 공간상의 위치는 좌표값으로 표현되며, 이동, 회전, 신축 행렬 등의 기하 변환의 변환행렬(4X4)을 이용하여 획득할 수 있다. 세계 좌표계에서의 3차원 객체들의 위치를 관측 좌표계에서의 위치로 변환하는 변환행렬의 역행렬을 이용한다. 즉, 제 1 시점의 픽셀들의 픽셀 위치와 깊이값에 세계 좌표계에서 제 1 시점에 따른 관측 좌표계로 변환한 변환행렬의 역행렬을 곱함으로써 3차원 객체들의 3차원 공간상의 위치를 획득한다.
픽셀값 변환부(230)는 획득된 3차원 객체들의 3차원 공간상의 위치와 제 1 시점과 제 2 시점의 차이를 이용하여 제 1 시점의 픽셀들 각각에 대응되는 제 2 시점의 픽셀들 각각의 위치를 획득한다. 구체적으로 제 2 시점의 픽셀들 각각의 위치도 좌표값으로 표현되며, 이동, 회전, 신축 행렬 등의 기하 변환의 변환행렬(4X4)을 이용하여 획득할 수 있다. 세계 좌표계에서의 3차원 객체들의 위치를 제 2 시점에 따른 관측 좌표계에서의 위치로 변환하는 변환행렬을 이용한다. 즉, 획득된 3차원 객체들의 3차원 공간상의 위치에 세계 좌표계에서 제 2 시점에 따른 관측 좌표계로 변환하는 변환행렬을 곱함으로써 제 1 시점의 픽셀들 각각에 대응되는 제 2 시점의 픽셀들 각각의 위치를 획득한다.
픽셀값 변환부(230)는 획득된 제 2 시점의 픽셀들 각각의 위치에 각 픽셀에 대응되는 제 1 시점의 픽셀의 픽셀값을 부여함으로써 제 2 시점의 픽셀값들을 획득한다. 즉, 인접한 새로운 시점에서의 픽셀 위치에서의 픽셀값들이 기존의 시점의 각 픽셀에 대응되는 인접한 새로운 시점에서의 픽셀들의 픽셀값들이 되는 것이다. 픽셀값 변환부(230)는 상기와 같은 변환 과정을 거쳐 렌더링을 수행한 시점과 인접한 시점에서의 픽셀값들을 획득한다. 3차원 객체들의 3차원 공간상의 위치와 제 2 시점의 픽셀들 위치를 획득하기 위하여 구체적인 변환을 수행하는 과정은 일 실시예에 불과하며 이에 한정되지 않고 여러 가지 기하변환을 이용하여 다양한 방법으로 획득할 수 있다.
픽셀값 변환부(230)는 상기와 같이 렌더링부(220)에서 렌더링을 수행한 시점을 기준으로 획득한 픽셀값들을 그와 인접한 새로운 시점을 기준으로 한 화면상의 픽셀값들로 변환함으로써, 새로운 시점에서의 픽셀값들을 새로운 시점에 대한 렌더링 연산의 수행 없이 획득할 수 있다. 픽셀값 변환부(230)는 픽셀값의 변환을 수행하기 위해 렌더링부(220)에서 획득된 깊이맵을 이용하므로, 이러한 픽셀값 변환을 이용하여 인접한 새로운 시점에서의 픽셀값을 구하는 데 있어 부가적인 오버헤드가 발생하지 않는다.
픽셀값 변환부(230)는 상기와 같은 과정을 거쳐 획득한 제 2 시점을 기준으로 한 픽셀값들을 다시점 디스플레이의 다시점 영상의 생성을 위해 다시점 영상 생성부(250)로 출력한다. 또한, 픽셀값 변환부(230)는 새로운 시점에서 보이는 화면상의 픽셀들 중 픽셀값이 채워지지 않은 픽셀들을 검출하기 위하여 새로운 시점을 기준으로 한 픽셀값들과 각각의 픽셀 위치를 차폐 영역 검출부(240)로 출력한다.
차폐 영역 검출부(240)는 픽셀값 변환부(230)로부터 입력받은 픽셀값들과 각각의 픽셀 위치를 이용하여 차폐 영역을 검출한다. 여기서, 차폐 영역은 제 2 점을 기준으로 한 영상에서 픽셀값 변환부(230)에서의 변환을 통해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역을 말한다. 즉, 제 2 시점의 픽셀들 중 픽셀값 변환부(230)에서의 변환에 의해 픽셀값들을 획득할 수 없는 영역을 말한다. 구체적으로, 차폐 영역 검출부(240)는 픽셀값 변환부(230)로부터 획득된 픽셀값들과 제 2 시점 기준의 픽셀들의 위치를 입력받아서 제 2 시점의 픽셀들 중 픽셀값들이 채워지지 않은 픽셀들의 좌표값을 획득함으로써 차폐 영역을 검출한다.
이와 같은, 차폐 영역은 렌더링을 수행한 시점과 인접한 새로운 시점간의 시점 차이로 인하여, 렌더링을 수행한 시점에서 보이는 화면상의 픽셀들과 새로운 시점에서 보이는 화면상의 픽셀들이 완벽하게 일 대 일로 대응되지 않기 때문에 생긴다. 즉, 새로운 시점의 픽셀들 중 렌더링을 수행한 시점에서 보이는 화면상의 픽셀들에 대응되지 않는 위치의 픽셀들은 픽셀값 변환부(230)에서의 변환에 의해 픽셀값들을 획득할 수 없어, 이러한 픽셀값들이 채워지지 않은 차폐 영역이 생기는 것이다.
차폐 영역 검출부(240)는 이렇게 검출한 차폐 영역을 시점 변환부(210)로 출력한다. 검출한 차폐 영역은 픽셀값들이 채워지지 않은 영역으로, 새로운 시점을 기준으로 한 영상에서 빈 공간으로 남는다. 다시점 입체 영상에서 빈 공간을 남겨 둘 수 없으므로, 다시점 렌더링 장치(200)는 픽셀값들이 채워지지 않은 차폐 영역에 대해서 별도로 렌더링을 수행하여, 제 2 시점을 기준으로 한 영상의 빈 공간을 채운다. 이때, 차폐 영역에 대하여 별도로 렌더링을 수행하는 데 있어 차폐 영역은 기존에 렌더링을 수행한 제 1 시점과는 다른 새로운 시점에서의 화면상의 픽셀들이므로, 다시점 렌더링 장치(200)는 기존의 렌더링을 수행한 시점을 변환하여 렌더링을 수행하여야 한다. 따라서, 차폐 영역 검출부(240)는 기존의 렌더링을 수행한 제 1 시점과 다른 제 2 시점에서 차폐 영역의 렌더링을 수행하기 위해 검출한 차폐 영역을 시점 변환부(210)와 렌더링부(220)로 출력한다.
시점 변환부(210)는 차폐 영역 검출부(240)로부터 차폐 영역을 입력받아 제 2 시점으로 렌더링의 시점을 변경하고, 렌더링부(220)는 시점 변환부(210)에서 변경된 제 2 시점을 기준으로 차폐 영역 검출부(240)로부터 입력받은 차폐 영역에 대해서 렌더링을 수행한다. 렌더링부(220)는 차폐 영역에 대해 렌더링을 수행하고, 렌더링에 의해 획득된 차폐 영역의 픽셀값들을 다시점 영상 생성부(250)로 출력한다.
앞에서도 언급하였듯이, 새로운 시점은 다시점 입체 영상에서 설정된 시점들 중 기존에 렌더링을 수행한 시점과 인접한 시점으로 시점 간의 차이가 크지 않으므로, 별도로 렌더링을 수행하는 차폐 영역은 상대적으로 좁은 영역이다. 따라서 새로운 시점에서 보이는 모든 픽셀들에 대해서 렌더링을 수행하는 종래의 다시점 렌더링 장치와 비교하여, 다시점 렌더링 장치(200)는 차폐 영역의 픽셀들에 대해서만 렌더링을 수행하면 되므로, 상대적으로 좁은 영역에 대해서 렌더링을 수행하게 된다. 다시점 렌더링 장치(200)는 픽셀 단위로 렌더링의 연산을 수행하므로, 렌더링의 연산량 및 렌더링하는데 소요되는 연산 시간은 렌더링하는 영역의 넓이에 비례하게 되므로 다시점 렌더링 장치(200)는 상당한 연산량을 감소하는 효과를 얻을 수 있다.
다시점 영상 생성부(250)는 렌더링부(220)와 픽셀값 변환부(230)로부터 입력받은 픽셀값들을 조합하여 각각의 시점들에서의 영상들을 생성한다. 즉, 다시점 영상 생성부(250)는 렌더링부(220)와 픽셀값 변환부(230)로부터 다시점 입체 영상 디스플레이를 위해 설정된 모든 시점들에 대한 영상 정보들을 입력받아, 입력받은 영상 정보를 시점별로 조합하여 각각의 시점들에서의 영상들을 생성한다. 구체적으로, 다시점 영상 생성부(250)는 일부 시점에 대해서 전체 3차원 공간에 대해 렌더링을 수행한 결과값인 픽셀값들과 나머지 시점의 차폐 영역에 대해 렌더링을 수행한 결과값인 픽셀값들을 렌더링부(220)로부터 입력받고, 나머지 시점에서 보이는 화면상의 픽셀들의 픽셀값들 중 픽셀값 변환부(230)의 변환에 의해 획득된 픽셀값들을 픽셀값 변환부(230)로부터 입력받는다. 전체 3차원 공간에 대한 렌더링을 수행하여 획득된 픽셀값들은 그 자체가 하나의 시점에서의 영상이 되지만, 픽셀값의 변환을 통해 획득한 픽셀값들의 시점에서 보이는 화면의 영상은 변환을 통해 획득된 픽셀값들과 차폐 영역에 대하여 별도로 렌더링을 수행하여 획득한 픽셀값들을 조합하여 생성된다.
다시점 영상 생성부(250)는 다시점 입체 영상 디스플레이를 위해 설정된 모든 시점들에 대해서 각각의 시점별로 생성된 영상들은 출력한다. 출력된 각각의 시점별 영상들은 다시점 입체 영상 디스플레이를 위해 최종적으로 하나의 다시점 입체 영상으로 합성된다. 각각의 시점별 영상을 하나의 다시점 입체 영상으로 보이도록 합성하는 것과 관련된 내용은 종래의 기술로 이와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 5는 본 발명의 일 실시예에 따른 다시점 렌더링 장치(200)의 동작을 설명하기 위해 도시한 참고도이다.
도 5에 도시된 500은 3차원 공간상에 모델링된 3차원 객체를 나타낸 것이다. 도 2의 다시점 렌더링 장치(200)는 500에 도시된 3차원 공간상에 모델링된 3차원 객체를 하나의 시점에서 렌더링을 수행한다. 이때, 렌더링을 수행한 기준이 되는 시점을 a 시점이라고 하면, 다시점 렌더링 장치(200)의 시점 변환부(210)는 a 시점에서 보이는 화면상의 픽셀들에 대해 렌더링을 수행하기 위해 a 시점을 렌더링 수행의 기준이 되는 시점으로 변환한다.
510은 다시점 렌더링 장치(200)의 렌더링부(220)에서 a 시점에서 보이는 화면상의 픽셀들에 대해 렌더링을 수행한 결과 a 시점을 기준으로 렌더링된 화면을 나타낸다. 510은 a 시점에서 보이는 화면상의 각 픽셀들에 렌더링을 수행한 결과로 화면상의 픽셀들에 색상값들이 맵핑되어 있는 것을 나타낸다. 520은 a 시점에서 렌더링한 결과로 획득된 깊이맵으로, a 시점에서 보이는 화면상의 픽셀들에 깊이값들이 맵핑되어 있는 것을 나타낸다.
다시점 렌더링 장치(200)의 픽셀값 변환부(230)는 a 시점에서 렌더링을 수행한 결과 획득된 520의 깊이맵을 이용하여 a 시점에서 렌더링을 수행한 결과인 510의 픽셀값들을 인접한 새로운 시점에서의 픽셀값들로 변환한다. 다시점 입체 영상 디스플레이를 위해 설정된 시점들 중에서 렌더링을 수행한 시점인 a 시점과 인접한 새로운 시점을 b, c 시점이라고 하면, 530, 550은 각각 b, c 시점에 대해서 변환을 수행한 결과 획득된 픽셀값들이 각각의 화면상의 픽셀들에 맵핑되어 있는 것을 나타낸다.
540, 560은 b, c 시점의 화면상의 픽셀들 중에서 변환에 의해 픽셀값들이 채워지지 않은 픽셀들의 영역, 즉 차폐 영역을 나타낸다. 차폐 영역 540은 b 시점의 픽셀들 중 a 시점의 픽셀들과 대응되지 않는 위치의 픽셀들의 영역으로, 변환에 의해 픽셀값들이 채워지지 않아 빈 공간으로 남아있다. 다시점 렌더링 장치(200)의 차폐 영역 검출부(240)는 픽셀값들이 채워지지 않은 차폐 영역들인 540, 560을 검출한다. 시점 변환부(210)는 검출된 차폐 영역의 정보를 이용하여, b, c 시점을 렌더링 수행의 기준이 되는 시점으로 변환한다. 렌더링부(220)는 검출된 차폐 영역을 입력받아, 차폐 영역에 대해서 렌더링을 수행한다. 다시점 렌더링 장치(200)는 차폐 영역 540, 560에 대하여 별도로 렌더링을 수행한 결과 차폐 영역, 540, 560에 대한 픽셀값들을 획득한다.
다시점 영상 생성부(250)는 픽셀값 변환부(230)로부터 b 시점에 대해서 변환을 수행한 결과 획득된 픽셀값들과 렌더링부(220)로부터 b 시점의 차폐 영역 540에 대해 렌더링을 수행하여 획득한 픽셀값들을 조합하여 b 시점에서의 보이는 화면의 영상 570을 생성한다. 다시점 영상 생성부(250)는 c 시점에 대해서도 상기와 같은 동일한 과정을 거쳐 c 시점에서 보이는 화면의 영상 580을 생성한다. 다시점 영상 생성부(250)는 다시점 입체 영상 디스플레이를 위해 설정된 모든 시점들에 대해서 각각의 영상들을 생성한다. 생성된 각 시점의 영상들은 다시점 입체 영상 합성부(미도시)로 출력되어 최종적으로 하나의 다시점 입체 영상으로 합성된다.
도 7은 본 발명의 일 실시예에 따른 다시점 렌더링 방법의 흐름도이다. 도 7을 참조하면, 본 실시예에 따른 다시점 렌더링 방법은 도 2에 도시된 다시점 렌더링 장치(200)에서 시계열적으로 처리되는 다음과 같은 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 다시점 렌더링 장치(200)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 다시점 렌더링 방법에도 적용된다.
700 단계에서 다시점 렌더링 장치(200)는 하나의 시점에서 3차원 객체의 렌더링을 수행한다. 이를 제 1 시점이라 한다. 다시점 렌더링 장치(200)는 관측자의 시점에서 보이는 화면을 기준으로 모델링된 3차원 객체들의 렌더링을 수행하므로, 제 1 시점으로 시점의 변환이 필요하다. 따라서, 다시점 렌더링 장치(200)는 변환된 제 1 시점을 기준으로 3차원 객체를 렌더링한다. 다시점 렌더링 장치(200)의 렌더링한 결과, 제 1 시점에서 보이는 화면상의 픽셀들의 픽셀값들이 획득된다. 또한, 각 픽셀들의 깊이값들이 화면상에 맵핑된 깊이맵을 획득할 수 있다.
720 단계에서 다시점 렌더링 장치(200)는 700 단계에서 수행된 렌더링에 의해 획득된 픽셀값들을 렌더링을 수행한 제 1 시점과 다른 새로운 시점을 기준으로 한 픽셀값들로 변환한다. 새로운 시점을 제 2 시점이라 한다. 이 때, 제 2 시점은 다시점 입체 영상 디스플레이를 위하여 설정한 여려 개의 시점들 중에서 제 1 시점과 3차원 공간상 가장 가까운 곳에 위치한 적어도 하나의 시점을 말한다.
구체적으로, 픽셀값들을 변환하는 720 단계는 도 8의 800 내지 840 단계들로 구성된다. 다시점 렌더링 장치(200)는 700 단계에서 렌더링한 결과로 획득된 제 1 시점의 픽셀들의 위치와 픽셀값, 깊이맵을 이용하여 800 내지 840 단계를 수행한다.
800 단계에서 다시점 렌더링 장치(200)는 700 단계에서 획득된 깊이맵을 이용하여 3차원 객체들의 3차원 공간상의 위치를 획득한다. 즉, 세계 좌표계에서의 3차원 객체들의 3차원 공간상의 위치를 획득하는 것을 말한다. 세계 좌표계는 3차원 객체들의 3차원 공간상의 절대적인 위치를 나타내는 좌표계를 말한다. 구체적으로 3차원 객체들의 3차원 공간상의 위치는 좌표값으로 표현되며, 이동, 회전, 신축 행렬 등의 기하 변환의 변환행렬(4X4)을 이용하여 획득할 수 있다. 세계 좌표계에서의 3차원 객체들의 위치를 관측 좌표계에서의 위치로 변환하는 변환행렬의 역행렬을 이용한다. 즉, 제 1 시점의 픽셀들의 픽셀 위치와 깊이값에 세계 좌표계에서 제 1 시점에 따른 관측 좌표계로 변환한 변환행렬의 역행렬을 곱함으로써 3차원 객체들의 3차원 공간상의 위치를 획득한다.
820 단계에서 다시점 렌더링 장치(200)는 800 단계에서 획득된 3차원 객체들의 3차원 공간상의 위치와 제 1 시점과 제 2 시점의 차이를 이용하여 제 1 시점의 픽셀들 각각에 대응되는 제 2 시점의 픽셀들 각각의 위치를 획득한다. 구체적으로 제 2 시점의 픽셀들 각각의 위치도 좌표값으로 표현되며, 이동, 회전, 신축 행렬 등의 기하 변환의 변환행렬(4X4)을 이용하여 획득할 수 있다. 세계 좌표계에서의 3차원 객체들의 위치를 제 2 시점에 따른 관측 좌표계에서의 위치로 변환하는 변환행렬을 이용한다. 즉, 800 단계에서 획득된 3차원 객체들의 3차원 공간상의 위치에 세계 좌표계에서 제 2 시점에 따른 관측 좌표계로 변환하는 변환행렬을 곱함으로써 제 1 시점의 픽셀들 각각에 대응되는 제 2 시점의 픽셀들 각각의 위치를 획득한다.
840 단계에서 다시점 렌더링 장치(200)는 820 단계에서 획득된 위치의 각 픽셀에 각 픽셀에 대응되는 제 1 시점의 픽셀의 픽셀값을 부여함으로써 제 2 시점의 픽셀값들을 획득한다. 즉, 인접한 새로운 시점의 픽셀값은 변환에 의해 획득된 인접한 새로운 시점에서의 픽셀 위치에 렌더링을 수행한 기존의 시점의 대응되는 픽셀의 해당 픽셀값을 부여함으로써 획득할 수 있다. 인접한 새로운 시점에서의 픽셀 위치에서의 픽셀값들이 기존의 시점의 각 픽셀에 대응되는 인접한 새로운 시점에서의 픽셀들의 픽셀값들이 되는 것이다. 다시점 렌더링 장치(200)는 상기와 같은 변환 과정을 거쳐 렌더링을 수행한 시점과 인접한 시점에서의 픽셀값들을 획득한다. 800 단계 내지 840 단계에서 3차원 객체들의 3차원 공간상의 위치와 제 2 시점의 픽셀들 위치를 획득하기 위하여 구체적인 변환을 수행하는 과정은 일 실시예에 불과하며 이에 한정되지 않고 여러 가지 기하변환을 이용하여 다양한 방법으로 획득할 수 있다.
740 단계에서 다시점 렌더링 장치(200)는 제 2 시점을 기준으로 한 영상에서 720 단계의 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역인 차폐 영역을 검출한다. 즉, 제 2 시점의 픽셀들 중 720 단계에서의 변환에 의해 픽셀값들을 획득할 수 없는 차폐영역을 검출한다. 차폐 영역은 700 단계에서 렌더링을 수행한 제 1 시점과 720 단계에서의 변환을 수행한 제 2 시점과의 시점 차이에 의해 생기는 것으로, 제 2 시점을 기준으로 한 영상의 픽셀들 중 제 1 시점의 픽셀들의 위치에 대응되지 않는 픽셀들의 영역으로 상대적으로 좁은 영역이다. 구체적으로, 다시점 렌더링 장치(200)는 720 단계의 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역을 구성하는 픽셀들의 좌표값을 획득함으로써 차폐 영역을 검출한다.
760 단계에서 다시점 렌더링 장치(200)는 740 단계에서 검출된 차폐영역을 제 2 시점을 기준으로 렌더링한다. 즉, 다시점 렌더링 장치(200)는 700 단계에서 렌더링을 수행한 시점과 인접한 새로운 시점에서 차폐 영역에 대해서 렌더링을 수행하여, 차폐 영역의 픽셀들의 픽셀값들을 획득한다.
780 단계에서 다시점 렌더링 장치(200)는 720 단계에서 획득된 픽셀값들과 760 단계에서 획득된 픽셀값들을 이용하여 제 2 시점 기준의 영상을 생성한다.
다시점 렌더링 장치(200)는 700단계 ~ 780 단계를 반복하여 다시점 입체 영상 디스플레이의 모든 시점에 대해서 영상 정보를 획득하여, 각각의 시점별 영상을 출력한다. 다시점 렌더링 장치(200)로부터 출력된 각각의 시점별 영상은 소정의 처리를 거쳐 다시점 입체 영상 디스플레이를 위해 최종적으로 하나의 다시점 입체 영상으로 합성된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
200 ... 다시점 렌더링 장치
210 ... 시점 변환부
220 ... 렌더링부
230 ... 픽셀값 변환부
240 ... 차폐 영역 검출부
250 ... 다시점 영상 생성부

Claims (16)

  1. 제 1 시점을 기준으로 적어도 하나의 3차원 객체를 렌더링하는 단계;
    상기 렌더링에 의해 획득된 픽셀값들을 상기 제 1 시점과 다른 제 2 시점을 기준으로 한 픽셀값들로 변환하는 단계;
    상기 제 2 시점 기준의 영상에서 상기 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역인 차폐 영역을 검출하는 단계; 및
    상기 제 2 시점을 기준으로 상기 검출된 차폐 영역을 렌더링하는 단계를 포함하고,
    상기 제 2 시점은 다시점 입체 영상 디스플레이를 위하여 설정한 여러 개의 시점들 중에서 상기 제 1 시점과 3차원 공간상 가장 가까운 곳에 위치한 적어도 하나의 시점인 것을 특징으로 하는 다시점 렌더링 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 변환하는 단계는
    상기 제 1 시점의 픽셀들 각각에 대응되는 상기 제 2 시점의 픽셀들 각각의 위치를 획득하는 단계; 및
    상기 획득된 위치의 각 픽셀에 상기 각 픽셀에 대응되는 상기 제 1 시점의 픽셀의 값을 부여함으로써 상기 제 2 시점의 픽셀값들을 획득하는 단계를 구비하는 것을 특징으로 하는 다시점 렌더링 방법.
  4. 제 1 항에 있어서,
    상기 검출하는 단계는 상기 제 2 시점 기준의 영상에서 상기 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역을 구성하는 픽셀들의 좌표값을 획득함으로써 상기 차폐 영역을 검출하는 것을 특징으로 하는 다시점 렌더링 방법.
  5. 제 3 항에 있어서,
    상기 제 2 시점의 픽셀들 각각의 위치를 획득하는 단계는
    상기 렌더링 결과 획득된 깊이맵을 이용하여 상기 3차원 객체의 3차원 공간상의 위치를 획득하는 단계; 및
    상기 3차원 객체의 상기 3차원 공간상의 위치와 상기 제 1 시점과 상기 제 2 시점의 차이를 이용하여 상기 제 2 시점의 픽셀들 각각의 위치를 획득하는 단계를 포함하는 것을 특징으로 하는 다시점 렌더링 방법.
  6. 제 1 항에 있어서,
    상기 변환된 픽셀 값들과 상기 차폐 영역의 렌더링 결과에 해당하는 픽셀값들을 이용하여 상기 제 2 시점 기준의 영상을 생성하는 단계를 더 포함하는 다시점 렌더링 방법.
  7. 제 1 항에 있어서,
    다시점 디스플레이를 구성하는 복수 개의 시점들에 대해 상기 단계들을 반복하여 상기 복수 개의 시점들 각각에 대한 영상을 생성하는 다시점 렌더링 방법.
  8. 제 1 항에 있어서,
    상기 3차원 객체를 렌더링하는 단계와 상기 차폐 영역을 렌더링하는 단계는 화면상의 각 픽셀 방향으로 광선을 발사하여, 각 광선의 경로를 추적하여 각 픽셀의 색상을 결정함으로써 렌더링을 수행하는 것을 특징으로 하는 다시점 렌더링 방법.
  9. 제 1 항 및 제 3 항 내지 제 8 항 중에 어느 한 항에 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 제 1 시점을 기준으로 적어도 하나의 3차원 객체를 렌더링하는 렌더링부;
    상기 렌더링에 의해 획득된 픽셀값들을 상기 제 1 시점과 다른 제 2 시점을 기준으로 한 픽셀값들로 변환하는 픽셀값 변환부; 및
    상기 제 2 시점 기준의 영상에서 상기 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역인 차폐 영역을 검출하는 차폐 영역 검출부;를 포함하고,
    상기 렌더링부는 상기 제 2 시점을 기준으로 상기 검출된 차폐 영역을 렌더링하고,
    상기 제 2 시점은 다시점 입체 영상 디스플레이를 위하여 설정한 여러 개의 시점들 중에서 상기 제 1 시점과 3차원 공간상 가장 가까운 곳에 위치한 적어도 하나의 시점인 것을 특징으로 하는 다시점 렌더링 장치.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 픽셀값 변환부는 상기 제 1 시점의 픽셀들 각각에 대응되는 상기 제 2 시점에서의 픽셀들 각각의 위치를 획득하고, 상기 획득된 위치의 각 픽셀에 상기 각 픽셀에 대응되는 상기 제 1 시점의 픽셀의 값을 부여함으로써 상기 제 2 시점의 픽셀값들을 획득하는 것을 특징으로 하는 다시점 렌더링 장치.
  13. 제 10 항에 있어서
    상기 차폐 영역 검출부는 상기 제 2 시점 기준의 영상에서 상기 변환에 의해 획득된 픽셀값들로 표현되는 영역을 제외한 나머지 영역을 구성하는 픽셀들의 좌표값을 획득함으로써 상기 차폐 영역을 검출하는 것을 특징으로 하는 다시점 렌더링 장치.
  14. 제 12 항에 있어서,
    상기 제 2 시점의 픽셀들 각각의 위치는 상기 렌더링부에서 상기 렌더링한 결과 획득된 깊이맵을 이용하여 상기 제 1시점에서의 상기 3차원 객체의 3차원 공간상의 위치를 획득하고, 상기 3차원 객체들의 3차원 공간상의 위치와 상기 제 1 시점과 상기 제 2 시점의 차이를 이용하여 획득하는 것을 특징으로 하는 다시점 렌더링 장치.
  15. 제 10 항에 있어서,
    상기 픽셀값 변환부에서 획득된 픽셀 값들과 상기 렌더링부에서 차폐 영역의 렌더링 결과 획득된 픽셀 값들을 이용하여 상기 제 2 시점 기준의 영상을 생성하는 다시점 영상 생성부를 더 포함하고,
    상기 다시점 영상 생성부는 렌더링부의 픽셀값들과 픽셀값 변환부의 픽셀값들을 이용하여 각각의 시점별 영상을 생성하는 것을 특징으로 하는 다시점 렌더링 장치.
  16. 제 10 항에 있어서,
    상기 렌더링부는 화면상의 각 픽셀 방향으로 광선을 발사하여, 각 광선의 경로를 추적하여 각 픽셀의 색상을 결정함으로써 렌더링을 수행하는 것을 특징으로 하는 다시점 렌더링 장치.
KR1020110073776A 2011-07-25 2011-07-25 다시점 렌더링 장치 및 방법 KR101334187B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110073776A KR101334187B1 (ko) 2011-07-25 2011-07-25 다시점 렌더링 장치 및 방법
US13/556,479 US9406164B2 (en) 2011-07-25 2012-07-24 Apparatus and method of multi-view rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110073776A KR101334187B1 (ko) 2011-07-25 2011-07-25 다시점 렌더링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130012504A KR20130012504A (ko) 2013-02-04
KR101334187B1 true KR101334187B1 (ko) 2013-12-02

Family

ID=47596843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110073776A KR101334187B1 (ko) 2011-07-25 2011-07-25 다시점 렌더링 장치 및 방법

Country Status (2)

Country Link
US (1) US9406164B2 (ko)
KR (1) KR101334187B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262454B2 (en) 2014-11-20 2019-04-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
US10297072B2 (en) 2014-12-15 2019-05-21 Samsung Electronics Co., Ltd. 3D rendering method and apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140034400A (ko) * 2012-09-11 2014-03-20 삼성전자주식회사 시점간 상관성을 이용한 영상 처리 방법 및 장치
KR20140115854A (ko) * 2013-03-22 2014-10-01 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions
KR101474552B1 (ko) * 2013-04-24 2014-12-22 주식회사 실리콘아츠 컴퓨터 실행 가능한 3차원 콘텐츠 디스플레이 방법, 이를 수행하는 3차원 콘텐츠 디스플레이 장치 및 이를 저장하는 기록매체
US9443356B2 (en) * 2014-01-09 2016-09-13 The Boeing Company Augmented situation awareness
KR102030830B1 (ko) * 2014-07-18 2019-10-10 삼성전자주식회사 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102341267B1 (ko) * 2015-05-04 2021-12-20 삼성전자주식회사 양안 시차 영상에 대한 렌더링 방법 및 장치
JP6597041B2 (ja) * 2015-08-18 2019-10-30 富士ゼロックス株式会社 サーバー装置及び情報処理システム
KR102101217B1 (ko) * 2015-08-31 2020-04-17 주식회사 실리콘아츠 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이
US10165259B2 (en) 2017-02-15 2018-12-25 Adobe Systems Incorporated Generating novel views of a three-dimensional object based on a single two-dimensional image
WO2021146978A1 (zh) * 2020-01-22 2021-07-29 华为技术有限公司 显示系统、图形处理器gpu、显示控制器以及显示方法
GB2593525B (en) * 2020-03-27 2022-06-01 Imagination Tech Ltd Stereoscopic graphics processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection
KR100267259B1 (ko) 1998-02-20 2000-10-16 박호군 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법
US6417850B1 (en) * 1999-01-27 2002-07-09 Compaq Information Technologies Group, L.P. Depth painting for 3-D rendering applications
US7385604B1 (en) * 2004-11-04 2008-06-10 Nvidia Corporation Fragment scattering
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
KR100745691B1 (ko) 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
JP4764305B2 (ja) 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
US8878849B2 (en) 2007-12-14 2014-11-04 Nvidia Corporation Horizon split ambient occlusion
EP2235685B1 (en) 2007-12-26 2014-06-18 Koninklijke Philips N.V. Image processor for overlaying a graphics object
US8520020B2 (en) * 2009-12-14 2013-08-27 Canon Kabushiki Kaisha Stereoscopic color management

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김효원왼 3인, "GPU를 이용한 영상 재투영," 한국HCI학회 *
김효원왼 3인, "GPU를 이용한 영상 재투영," 한국HCI학회*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262454B2 (en) 2014-11-20 2019-04-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
US10297072B2 (en) 2014-12-15 2019-05-21 Samsung Electronics Co., Ltd. 3D rendering method and apparatus

Also Published As

Publication number Publication date
KR20130012504A (ko) 2013-02-04
US20130027394A1 (en) 2013-01-31
US9406164B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
KR101334187B1 (ko) 다시점 렌더링 장치 및 방법
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
CN112513712B (zh) 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
KR102156402B1 (ko) 영상 처리 방법 및 장치
KR20100067656A (ko) 3차원 디스플레이에 대한 렌더링 개선
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
KR102538939B1 (ko) 텍스처 맵들 및 메시들에 기초한 3d 이미지 정보의 처리
US8094148B2 (en) Texture processing apparatus, method and program
JP2014093779A (ja) 映像処理方法及び映像処理装置
WO2020018135A1 (en) Rendering 360 depth content
WO2012117706A1 (ja) 映像処理装置、映像処理方法、プログラム
Bonatto et al. Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays
KR20140121529A (ko) 광 필드 영상을 생성하는 방법 및 장치
WO2012140397A2 (en) Three-dimensional display system
US8797383B2 (en) Method for stereoscopic illustration
JP6717576B2 (ja) 映像レンダリング装置及び方法
US9401044B1 (en) Method for conformal visualization
KR20170046434A (ko) 영상 처리 방법 및 영상 처리 장치
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
CN105791798B (zh) 一种基于gpu的4k超多视点3d视频实时转化方法及装置
KR102006079B1 (ko) 육각 렌즈를 이용한 집적영상 시스템의 시점영상 매핑 방법
WO2020018134A1 (en) Rendering 360 depth content
EP2962290B1 (en) Relaying 3d information by depth simulation using 2d pixel displacement
KR20150098252A (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
US20230377250A1 (en) Light field offset rendering

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5