KR20090031230A - 다시점 영상을 렌더링하기 위한 장치 및 방법 - Google Patents

다시점 영상을 렌더링하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20090031230A
KR20090031230A KR1020080088224A KR20080088224A KR20090031230A KR 20090031230 A KR20090031230 A KR 20090031230A KR 1020080088224 A KR1020080088224 A KR 1020080088224A KR 20080088224 A KR20080088224 A KR 20080088224A KR 20090031230 A KR20090031230 A KR 20090031230A
Authority
KR
South Korea
Prior art keywords
rendering
image
unit
viewpoint
program
Prior art date
Application number
KR1020080088224A
Other languages
English (en)
Inventor
요시유끼 고꼬지마
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20090031230A publication Critical patent/KR20090031230A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

각각에 렌더링 절차가 기술된 렌더링 프로그램 각각에 대해, 렌더링 타겟으로서 제공되는 렌더링 타겟 대상의 형태를 지시하는 형태 데이터가 특정되고, 또한 서로 상이한 시점 위치들에 관한 정보가, 렌더링 프로그램이 실행될 때 사용되는 렌더링 조건으로서 특정된다. 시점이 하나씩 변경되면서, 시점 위치 각각에 대한 렌더링 타겟 대상을 렌더링하여 얻어지는 다시점 영상이, 렌더링 프로그램 각각의 실행에 대응해서, 렌더링 프로그램을 이용해서 렌더링될 렌더링 타겟 대상의 영상을 순차적으로 렌더링함으로써 생성된다.
다시점 영상, 렌더링, 복합 영상, 입체 영상, 렌더링 프로그램

Description

다시점 영상을 렌더링하기 위한 장치 및 방법{APPARATUS AND METHOD FOR RENDERING MULTI-VIEWPOINT IMAGES}
본 출원은, 2007년 9월 20일에 출원된 일본 특허 출원 제2007-244295호에 기초한 것으로서, 그 우선권을 주장하며, 그 전체 내용이 본 명세서에서 참조로서 인용된다.
본 발명은 다시점(multi-viewpoint) 영상을 렌더링(rendering)하기 위한 화상 표시 장치 및 방법에 관한 것이다.
종래에 공지된 입체 영상 표시 장치에서, 복합 영상은, 서로 다른 시차(parallax)들을 갖는 복수의 영상(이후, "시차 영상")에 포함된 화소를 개별적으로 배열함으로써 생성된다. 복합 영상의 화소로부터 방출되는 광 빔의 궤도는 소자를 제어하는 광 빔에 의해 제어되어, 뷰어(viewer)가 입체 영상을 감지할 수 있도록 한다.
상술한 복합 영상은 시차 영상으로부터 직접 생성되지 않고, 타일 형상(tile-like formation)으로 시차 영상을 배열함으로써 렌더링되는 중간 영상(이후, "다시점 영상")을 통해서 생성된다. 여기에서, 다시점 영상은, 모든 렌더링 타겟 대상이, 타일 형상으로 배열된 각각의 렌더링 영역에 대해 하나의 시점에 관해서 렌더링된 후에, 시점이 새로운 시점으로 변경되어 모든 렌더링 타겟 대상이 새로운 시점에 관해서 다시 렌더링되도록 하는 일련의 절차(procedure)를 반복함으로써 생성된다.
복합 영상이 이러한 다시점 영상을 통해서 생성되면, 렌더링 속도가 향상될 수 있다는 것이 공지되어 있다. 예를 들어, 일본 특허 제3358466호는, 다시점 영상이 최종 복합 영상으로 변환되도록 화소가 배열되는 형태를 바꾸기 전에, 타일 형상으로 배열된 렌더링된 영상으로 구성된 다시점 영상에 인코딩 프로세스, 저장 프로세스, 전달 프로세스, 및 디코딩 프로세스와 같은 다양한 유형의 데이터 처리를 수행하기 위한 기술을 개시한다.
또한, 입체 영상이 컴퓨터 그래픽(CG;Computer Graphics) 기술을 이용해서 렌더링되는 경우에는, 중간 영상으로 제공되는 다시점 영상이 렌더링된 후에, 화소가 배열되는 형상이, 다시점 영상이 최종 복합 영상으로 변환되도록 특별히 설계된 하드웨어를 사용해서 바뀌는 방법을 사용하는 것이 효과적이다. 특정 화소에의 기입이 스텐실 버퍼(stencil buffer) 또는 폴리곤 스티플(polygon stipple)과 같은 CG 기술에 의해 금지되는 배열을 통해서, 중간 다시점 영상을 생성하지 않고 최종 복합 영상을 바로 렌더링할 수 있다. 그러나, 이 경우에, 렌더링 속도는 중간 다시점 영상이 사용되는 경우보다 낮아지는 경향이 있다.
다수의 시점들이 기준점(point of reference)으로 사용되면서 이러한 다시점 영상이 렌더링될 때, 렌더링 프로세스에서 요구되는 계산량 및 처리량은, 단일 시점이 기준점으로 사용되면서 단일 시점 영상이 렌더링되는 경우에서보다 훨씬 더 크다. 따라서, 고속으로 고품질의 입체 영상을 렌더링할 수 있게 하는 기술이 요구된다.
본 발명의 일 양상에 따르면, 다시점 영상 렌더링 장치는, 렌더링 타겟 대상의 형태를 지시하는 형태 데이터, 각각에 렌더링 절차가 기술된 복수의 렌더링 프로그램, 및 서로 상이한 복수의 시점 위치들에 관한 정보를 정의하는 시점 데이터를 저장하는 제1 저장부; 상기 렌더링 프로그램, 및 상기 렌더링 프로그램 각각에 대한 렌더링 타겟 중 하나를 특정하는 제1 특정부; 상기 렌더링 프로그램 각각이 실행될 때 사용되는 렌더링 조건으로서 상기 시점 데이터에 정의된 각각의 시점 위치를 특정하는 제2 특정부; 상기 렌더링 프로그램 각각의 실행을 위해, 상기 렌더링 조건으로서 특정된 상기 시점 위치 각각에 대해, 상기 렌더링 프로그램에 대한 렌더링 타겟으로서 특정된 상기 형태 데이터를 순차적으로 렌더링하여, 상기 시점 위치에 각각 대응하는 복수의 렌더링된 영상으로 구성되는 다시점 영상을 생성하는 렌더링부; 및 상기 렌더링부에 의해 생성된 상기 다시점 영상을 저장하는 제2 저장부를 포함한다.
본 발명의 다른 양상에 따르면, 다시점 영상 렌더링 방법은, 렌더링 타겟 대상의 형태를 지시하는 형태 데이터, 각각에 렌더링 절차가 기술된 복수의 렌더링 프로그램, 및 서로 상이한 복수의 시점 위치들에 관한 정보를 정의하는 시점 데이터로부터 복수의 렌더링 각각에 대한 렌더링 프로그램 및 렌더링 타겟을 특정하는 단계; 상기 렌더링 프로그램 각각이 실행될 때 사용되는 렌더링 조건으로서 서로 상이한 시점 위치를 특정하는 단계; 및 상기 렌더링 프로그램 각각의 실행을 위해, 상기 렌더링 조건으로서 특정된 상기 시점 위치 각각에 대해, 상기 렌더링 프로그램에 대한 렌더링 타겟으로서 특정된 상기 형태 데이터를 순차적으로 렌더링하여, 상기 시점 위치에 각각 대응하는 복수의 렌더링된 영상으로 구성되는 다시점 영상을 생성하는 단계를 포함한다.
본 발명은, 고속으로 고품질의 입체 영상을 생성할 수 있는 다시점 영상 렌더링 장치 및 방법을 제공한다.
본 발명에 따른 다시점 영상을 렌더링하기 위한 장치 및 방법의 양호한 실시예들이 첨부 도면을 참조해서 상세히 설명될 것이다.
도 1은 본 발명의 양호한 실시예에 따른 다시점 영상 렌더링 장치의 하드웨어 구성을 나타내는 블록도이다. 도 1에 도시된 바와 같이, 다시점 영상 렌더링 장치는 중앙 처리부(CPU;Central Processing Unit)/그래픽 처리부(GPU;Graphic Processor Unit)(1), 조작부(2), 표시부(3), 읽기용 기억 장치(ROM)(4), 막기억 장 치(RAM)/비디오 램(VRAM;Video RAM)(5), 저장부(6), 및 통신부(7)를 포함한다. 이들 구성 요소는 버스(8)를 통해 서로 연결된다.
CPU/GPU(1)는 RAM/VRAM(5)내의 선정된 영역을 그 작업 영역으로 사용하여, ROM(4) 또는 저장부(6)에 미리 저장된 다양한 형태의 제어 프로그램들과 협력하여 다양한 형태의 프로세스를 수행하여, 다시점 영상 렌더링 장치(100)의 구성 요소의 동작을 총합적으로 제어한다. 또한, CPU/GPU(1)는, ROM(4) 또는 저장부(6)에 미리 저장된 선정된 프로그램과 협력함으로써 후술될 기능부의 기능을 인식한다.
조작부(2)는 마우스 및/또는 키보드와 같은 입력 장치이다. 조작부(2)는 사용자 조작을 통해 입력된 정보를 명령 신호로서 수신하고, CPU/GPU(1)에 이 명령 신호를 출력한다.
표시부(3)는 액정 디스플레이(LCD)와 같은 디스플레이 장치와, 렌티큘러 렌즈(lenticular lens)와 같은 광 빔 제어 소자를 포함한다. 표시부(3)는 후술될 프리젠팅부(presenting unit)(15)를 제어함으로써 입체 영상을 제공하는 입체 영상 디스플레이 장치이다.
도 2는 표시부(3)의 구조의 일례를 도시하는 개략적 사시도이다. 아래 설명에서, 시점의 수 "n"은 9로 가정한다(즉, n=9). 도 2에서 도시된 바와 같이, 표시부(3)는 디스플레이 장치(31), 및 광 빔 제어 소자로서 제공되며 디스플레이 장치(31)의 디스플레이 면의 전방에 배치되는 렌티큘러 판(34)을 포함한다.
디스플레이 장치(31)의 디스플레이 면 상에, 각각 길이 대 폭 비율이 3:1인 서브 화소(32)가 로우 방향에서(즉, 각 화소의 폭 방향에서) 선형으로 배치된다. 서브 화소(32)는 매트릭스 형태로 배열되어, 적(R), 녹(G), 청(B)의 컬러에 대응하는 일 세트의 화소가 매 로우의 로우 방향에서 반복적으로 나타나게 된다. 또한, 서브 화소(32)는 컬럼 방향에서(즉, 각 화소의 길이 방향에서) 선형으로 배열된다. 역시, 서브 화소(32)는, 적(R), 녹(G), 청(B)의 컬러에 대응하는 일 세트의 화소가 매 컬럼의 컬럼 방향에서 반복적으로 나타나도록 배열된다. 서브 화소(32)의 각 로우에서의 컬럼 방향 주기(3Pp)는 서브 화소(32)의 로우 방향 주기(Pp)보다 3배 더 길다.
통상적으로 사용되는 컬러 영상 표시 장치에서, 로우 방향에서 선형으로 배열되는 RGB 컬러에 대응하는 3개의 서브 화소(32)의 세트는, 휘도 및 컬러를 임의로 설정할 수 있게 하는 최소 단위(minimum unit)를 구성한다. 따라서, 각 서브 화소는 3:1의 길이 대 폭 비율을 갖는다. 도 2에서는, 디스플레이 면 상에 유효 화소(effective pixel)(33)(굵은 프레임으로 표시됨)가 서브 화소(32)의 세트에 의해 형성되는 예가 도시되고, 이 각각의 세트는 컬럼 방향에서 배열된 RGB에 대응하는 3개의 서브 화소(32)로 구성된다.
렌티큘러 판(34)에 포함된 각각의 원통형 렌즈(35)는 유효 화소(33)의 실질적으로 전방에 배치된다. 원통형 렌즈(35)의 수평 방향(즉, 로우 방향)에서의 피치(Ps)는 디스플레이 면 상에 배열된 서브 화소(32)의 로우 방향 주기(Pp) 보다 9배 더 길다. 이러한 구성으로, 수평 방향에서의 뷰잉(viewing) 위치가 변하면, 원통형 렌즈를 통해 확대되어 보여지는 서브 화소(32)가 변한다. 다시 말하자면, 뷰어(viewer)는, 유효 화소(33)에 의해 표시되는 복합 영상의 뷰(view)가 변하기 때 문에, 입체 영상을 인식할 수 있다. 여기에서, 복합 영상은, 후술될 다시점 영상 변환부(14)에 의해 생성되는 복합 영상에 대응한다.
도 1의 설명으로 돌아가면, ROM(4)은 그 안에 다시점 영상 렌더링 장치의 제어에 관련된 다양한 형태의 설정 정보 및 프로그램을 기록가능한 방식으로 저장한다.
RAM/VRAM(5)은 동기식 동적 RAM(SRAM) 또는 2배속(DDR) 메모리와 같은 휘발성 저장 수단이며, CPU/GPU(1)에 대한 작업 영역으로서 기능한다. 보다 구체적으로, RAM/VRAM(5)은, 중간 영상, 및 후술될 다시점 영상 렌더링 프로세스 동안 복합 영상이 생성되면서 사용되는 다양한 형태의 변수들 및 파라미터들의 값을 일시적으로 저장하는 버퍼 영역으로서 기능한다. RAM/VRAM(5)은 서로 다른 형태의 복수의 저장 매체로 구성될 수 있다.
저장부(6)는 저장부(6)에 자기적으로 또는 광학적으로 데이터를 기록할 수 있는 저장 매체를 포함한다. 저장부(6)는, 그 안에 다시점 영상 렌더링 장치의 제어에 관련된 다양한 형태의 정보 및 프로그램을 기록가능한 방식으로 저장한다. 보다 구체적으로, 저장부(6)는 그 안에, 후술될 다시점 영상 렌더링 프로세스의 실행과 관련된 다양한 형태의 정보 및 프로그램을 저장한다.
통신부(7)는 외부 장치와 통신하는 인터페이스이다. 통신부(7)는 다양한 형태의 수신된 정보를 CPU/GPU(1)에 출력하고, 또한 CPU/GPU(1)로부터 출력된 다양한 형태의 정보를 외부 장치에 전송한다.
다음으로, 본 발명의 제1 실시예에 따른 다시점 영상 렌더링 장치(100)의 기 능적 구성이 설명될 것이다. 다시점 영상 렌더링 장치(100)는 도 1에 도시된 것과 같은 하드웨어 구성을 갖는다.
도 3은, ROM(4) 또는 저장부(6)에 미리 저장된 선정된 프로그램 및 CPU/GPU(1)와 협력해서 실현되는 다시점 영상 렌더링 장치(100)의 기능적 구성을 나타내는 블록도이다. 도 3에 도시된 바와 같이, 다시점 영상 렌더링 장치(100)는 CG 데이터 저장부(11), 다시점 영상 렌더링부(12), 다시점 영상 저장부(13), 다시점 영상 변환부(14), 및 프리젠팅부(15)를 포함한다.
CG 데이터 저장부(11)는, 시점 위치와 관련된 시점 데이터, 렌더링될 타겟 대상의 형태에 관련된 형태 데이터, 광 소스에 관련된 광 소스 데이터, 렌더링될 타겟 대상의 텍스처 영상에 관련된 텍스처 데이터, 렌더링 프로세스의 각 절차에서 설명되는 프로그램(이후, "렌더링 프로그램")과 같은, 다시점 영상을 렌더링하는 프로세스에서 요구되는 다양한 형태의 데이터(이후, "CG 데이터")를 그 안에 저장하는 저장부(6)에 제공되는 저장 영역이다.
CG 데이터에서, 시점 데이터는, 타겟 대상이 렌더링될 때 사용되는 시점들의 총 수, 시점의 위치(이후, "시점 위치"), 시점들 간의 거리, 각 시점으로부터 렌더링될 타겟 대상까지의 거리(이후, "시거리(distance of sight)"), 및 각 시점 위치로부터의 뷰잉 방향에 관련된 정보를 포함한다. 시점 넘버는 각 시점 위치에 대해 미리 특정하게 지정된다. 다양한 형태의 정보는 시점 넘버를 이용해서 각 시점과 계속 대응된다.
형태 데이터는, 대상이 위치하는 가상 공간에 관련된 데이터 뿐만 아니라, 각 렌더링 타겟 대상(즉, 각 대상)의 형태를 지시하는 폴리곤 데이터를 포함한다. 텍스처 데이터는 폴리곤 데이터의 면 상에 붙여질 영상(이후, "텍스처 영상")에 관련된 데이터를 포함한다. 광 소스 데이터는, 예를 들어, 광 소스의 세기, 광 소스의 위치, 방사 위치, 광 소스 벡터, 방사 범위, 및 광 소스의 컬러에 대한 정보를 포함하고, 대상을 조사(irradiate)하는데 사용되는 광 소스에 관련된 데이터 부분들의 그룹이다.
렌더링 프로그램은, 각 시점 위치로부터 보여지는 렌더링 타겟 대상을 렌더링하기 위한 절차가 상술한 다양한 형태의 데이터에 기초해서 각각 기술되어 있는 프로그램이다. 렌더링 프로그램은 렌더링 타겟 대상의 각 특성에 대해 개별적으로 제공된다. 제1 실시예에 따르면, 각 렌더링 프로그램을 식별하기 위해서, 렌더링 프로그램 넘버 P(P는 정수)가 각 렌더링 프로그램에 할당된다. 여기에서, 렌더링 타겟 대상의 특성은, 렌더링 방법들 간의 유사 정도 뿐만 아니라, 렌더링 타겟 대상이 구성되는 재료들 간의 유사 정도, 렌더링 타겟 대상의 반사 특성(reflective characteristic)들 간의 유사 정도를 포함한다. 이들 특성에 기초해서, 동일한 렌더링 프로그램 넘버로 식별된 동일한 렌더링 프로그램을 공통으로 사용함으로써 2개 이상의 렌더링 타겟 대상을 렌더링할 수 있다고 판단될 때, 이들 렌더링 타겟 대상은, 동일한 렌더링 프로그램 넘버로 식별된 동일한 렌더링 프로그램을 공통으로 사용해서 렌더링될 것이다. 렌더링 프로그램과 렌더링 타겟 대상 간의 관계가 미리 정의되는 구성도 가능하다. 택일적으로, 각 렌더링 타겟 대상의 특성에 따라서, 다시점 영상 렌더링부(12)가 사용될 렌더링 프로그램을 선택하는 다른 구성도 가능하다.
예를 들어, 렌더링 프로그램 넘버 1로 식별된 렌더링 프로그램이 렌더링 타겟 대상 A를 렌더링하는데 사용되고, 렌더링 프로그램 넘버 1로 식별된 렌더링 프로그램이 렌더링 타겟 대상 B를 렌더링하는데 사용되고, 렌더링 프로그램 넘버 2로 식별된 렌더링 프로그램이 렌더링 타겟 대상 C 및 D를 렌더링하는데 사용되는 예를 논의해 보자. 이들 3개의 렌더링 프로그램이 실행되면, 도 4에 도시된 바와 같은 영상(즉, 시차 영상)이 렌더링된다. 도 4에서, 복수의 시점 위치들 중 특정한 한 위치(즉, 단일 시점)에서 보아 얻어지는 렌더링 타겟 대상 A, B, C, D의 그래픽이 도시된다.
제1 실시예에 따르면, 다시점 영상의 렌더링 프로세스에서 요구되는 모든 시점 데이터가 CG 데이터 저장부(11)에 저장되어 있다고 가정한다. 그러나, 대표 시점에 관련된 데이터만이 CG 데이터 저장부(11)에 저장된 다른 구성도 가능하다. 여기에서, 나머지 시점 데이터는 다시점 영상 렌더링부(12)에 의해 계산되어 보충되는 구성도 가능하다. 또한, CG 데이터 저장부(11)에 저장된 CG 데이터의 포맷은 상술한 것으로 한정되는 것은 아니다. CG 데이터는 원하는 CG의 렌더링 프로세스에 요구되는 다른 데이터를 포함할 수도 있다.
다시점 영상 렌더링부(12)는, CG 데이터 저장부(11)에 저장된 CG 데이터에 기초해서, 대응하는 렌더링 프로그램을 각각 사용해서 렌더링될 타겟 대상의 영상을 순차적으로 렌더링함으로써, 서로 상이한 시점들에 대응하는 영상이 타일 형상으로 배열된 하나의 다시점 영상을 렌더링하고, 그동안 시점이 하나씩 변한다. 다 음으로, 다시점 영상 렌더링부(12)가 상세하게 설명될 것이다.
도 5는 다시점 영상 렌더링부(12)를 도시하는 도면이다. 도 5에 도시된 바와 같이, 다시점 영상 렌더링부(12)는 복수의 렌더링 특정부(즉, 렌더링 특정부(121, 122, 123)) 및 영상 렌더링부(124)를 포함한다. 이 예에서, 렌더링 특정부의 넘버는 CG 데이터에 포함된 렌더링 프로그램의 넘버에 대응한다. 도 5에서는, 다시점 영상 렌더링부(12)가 Np(Np는 정수)만큼의 렌더링 특정부를 포함하는 예가 도시된다. 후술될 0번째 렌더링 프로그램 특정부(1211), 1번째 렌더링 프로그램 특정부(1221), 및 (Np-1)번째 렌더링 프로그램 특정부(1231)에서의 "Pth"(P는 0≤P≤Np-1을 만족함)는 렌더링 프로그램에 할당된 렌더링 프로그램 넘버의 각각에 대응한다. CG 데이터에 포함된 렌더링 프로그램의 넘버만큼의 렌더링 특정부가 동적으로 생성되는 구성도 가능하다. 택일적으로, 선정된 수의 렌더링 특정부가 미리 제공되어, CG 데이터에 저장된 렌더링 프로그램의 넘버만큼의 렌더링 특정부가 사용되는 다른 구성도 가능하다.
렌더링 특정부(121)에서, 0번째 렌더링 프로그램 특정부(1211)는, 렌더링 프로그램들 중 대응하는 하나의 실행에서 요구되는 다양한 형태의 파라미터들을 특정한다. 예를 들어, 0번째 렌더링 프로그램 특정부(1211)는, CG 데이터에 포함된 렌더링 프로그램들 중 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램이 실행되어야 한다는 것을 특정하고, 또한, 렌더링 프로그램을 사용해서 렌더링될 렌더링 타겟 대상을 특정한다.
0번째 시점 특정부(1212), 1번째 시점 특정부(1213), 및 (Ne-1)번째 시점 특 정부(1214)는 각각, 렌더링 조건으로서, 0번째 렌더링 프로그램 특정부(1211)에 대한 렌더링 프로그램에 대해서, 즉, 렌더링 프로그램 넘버 0으로 식별된 렌더링 프로그램에 대해서, 다시점 영상의 렌더링 프로세스 동안 요구되는 대응 시점에 관련된 파라미터를 특정한다. CG 데이터에 포함된 시점 데이터에서 정의된 시점의 넘버만큼 다수의 시점 특정부가 생성되는 구성도 가능하다. 택일적으로, 선정된 수의 시점 특정부가 미리 제공되어, 시점 데이터에서 정의된 시점의 수만큼의 시점 특정부가 사용되는 다른 구성도 가능하다.
여기에서, "Eth"(E는 0≤E≤Ne-1을 만족함)는 각 시점 넘버에 대응하는 각 시점 특정부를 식별하는데 사용된다. 각 시점 특정부는 시점 넘버에 대응하는 시점 데이터에 기초해서 파라미터를 특정한다. 보다 구체적으로, 0번째 시점 특정부(1212)는 시점 넘버 0으로 식별되는 시점에 관련된 파라미터를 특정한다. 1번째 시점 특정부(1213)는 시점 넘버 1로 식별되는 시점에 관련된 파라미터를 특정한다. (Ne-1)번째 시점 특정부(1214)는 시점 넘버 Ne-1로 식별되는 시점에 관련된 파라미터를 특정한다.
렌더링 특정부(122)에서, 0번째 렌더링 프로그램 특정부(1211)와 마찬가지로, 1번째 렌더링 프로그램 특정부(1221)는, 렌더링 프로그램들 중 대응하는 하나의 실행에서 요구되는 다양한 형태의 파라미터들을 특정한다. 예를 들어, 1번째 렌더링 프로그램 특정부(1221)는, CG 데이터에 포함된 렌더링 프로그램들 중 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램이 실행되어야 한다는 것을 특정하고, 또한, 렌더링 프로그램을 사용해서 렌더링될 렌더링 타겟 대상을 특정한다.
렌더링 특정부(121)에 포함된 시점 특정부와 마찬가지로, 0번째 시점 특정부(1222), 1번째 시점 특정부(1223), (Ne-1)번째 시점 특정부(1224)는 각각, 렌더링 조건으로서, 1번째 렌더링 프로그램 특정부(1221)에 대한 렌더링 프로그램에 대해서, 즉, 렌더링 프로그램 넘버 1로 식별된 렌더링 프로그램에 대해서, 다시점 영상의 생성 프로세스 동안 요구되는 대응 시점에 관련된 파라미터를 특정한다.
또한, 렌더링 특정부(123)에서, 0번째 렌더링 프로그램 특정부(1211)와 마찬가지로, (Np-1)번째 렌더링 프로그램 특정부(1231)는, 렌더링 프로그램들 중 대응하는 하나의 실행에서 요구되는 다양한 형태의 파라미터들을 특정한다. 예를 들어, (Np-1)번째 렌더링 프로그램 특정부(1231)는, 렌더링 프로그램 넘버 (Np-1)로 식별되는 렌더링 프로그램이 실행되어야 한다는 것을 특정하고, 또한, 렌더링 프로그램을 사용해서 렌더링될 렌더링 타겟 대상을 특정한다.
렌더링 특정부(121)에 포함된 시점 특정부와 마찬가지로, 0번째 시점 특정부(1232), 1번째 시점 특정부(1233), (Ne-1)번째 시점 특정부(1234)는 각각, 렌더링 조건으로서, (Np-1)번째 렌더링 프로그램 특정부(1231)에 대한 렌더링 프로그램에 대해서, 즉, 렌더링 프로그램 넘버 (Np-1)로 식별된 렌더링 프로그램에 대해서, 다시점 영상의 생성 프로세스 동안 요구되는 대응 시점에 관련된 파라미터를 특정한다.
영상 렌더링부(124)는, 렌더링 특정부(121, 122, 123) 각각에 대해, 렌더링 특정부(121, 122, 123)에 의해 특정된 대응 파라미터에 기초해서 상이한 시점들에 대한 렌더링 특정부에 대응하는 렌더링 프로그램을 순차적으로 실행함으로써, 타일 형상으로 배열된 시차 영상의 그룹으로 구성된 하나의 다시점 영상을 렌더링한다.
다음으로, 다시점 영상 렌더링부(12)의 동작이 설명될 것이다. 도 6은 다시점 영상 렌더링부(12)에 의해 수행되는 다시점 영상 렌더링 프로세스 절차의 플로차트이다.
우선, 다시점 영상 렌더링부(12)는 렌더링 프로그램 넘버 P 내지 0을 초기화한다(단계 S11). 그 후에, P번째 렌더링 프로그램 특정부는 렌더링 프로그램 넘버 P로 식별되는 렌더링 프로그램에 관련된 파라미터를 특정한다(단계 S12). 보다 구체적으로, P=0이 만족하는 경우에, 0번째 렌더링 프로그램 특정부(1211)는 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램에 관련된 파라미터를 특정한다.
후속하여, 다시점 영상 렌더링부(12)는 시점 위치가 0을 지시하는 시점 넘버 E를 초기화한다(단계 S13). 그 후, E번째 시점 특정부는 시점 넘버 E로 식별되는 시점에 관련된 파라미터를 특정한다(단계 S14). 보다 구체적으로, P=0이고, E=0을 만족하는 경우에, 0번째 시점 특정부(1212)는 시점 넘버 0으로 식별되는 시점에 관련된 파라미터를 특정한다.
영상 렌더링부(124)는, 단계 S12에서 파라미터가 특정된 렌더링 프로그램 넘버 P로 식별되는 렌더링 프로그램을 실행시키고, 단계 S14에서 특정된 시점 넘버 E의 파라미터에 기초해서, 시점 넘버 E로 식별된 시점에서 보아 얻어지는 렌더링 타겟 대상의 영상을 렌더링한다(단계 S15). 단계 S15에서 렌더링되는 영상은, 시점 넘버 E로 식별되는 시점에 대응하는 다시점 영상 저장부(13) 내의 렌더링된 영상 영역에 저장된다.
도 7은 다시점 영상 저장부(13) 내에 제공되고 다시점 영상을 렌더링하는데 사용되는 저장 영역(즉, 렌더링된 영상 영역)을 도시하는 개략도이다. 도 7에 도시된 바와 같이, 다시점 영상을 렌더링하는데 사용되는 렌더링된 영상 영역은, 각각이 시점들 중 상이한 시점에 대해 제공되며 타일 형상으로 배열되는 복수의 렌더링된 영상 영역(이후, "타일")으로 구성된다. 각 타일에, 시점들 중 대응하는 하나의 시점(즉, 시점 넘버들 중 대응하는 넘버)으로부터의 영상이 렌더링된다. 도 7에 도시된 예에서, 다시점 영상을 저장하는데 사용되는 렌더링 영상 영역은 각각 18개의 시점들에 대응하는 18개의 타일로 구성된다. 그러나, 본 발명은 이 예로 한정되는 것은 아니다. 다시점 영상을 저장하는데 사용되는 렌더링 영상 영역은 임의의 수의 타일(즉, 임의의 수의 시점)로 구성될 수도 있다. 또한, 18개의 타일이 3 로우×6 컬럼의 형태로 배열된 예가 도시되어도, 본 발명은 이 형태로 한정되는 것은 아니다.
도 6의 설명으로 돌아가면, 다시점 영상 렌더링부(12)는 시점 넘버 E를 1만큼 증가시키고(단계 S16), 시점 넘버 E의 값이 시점의 총 수 Ne 보다 작은지 여부를 판단한다(단계 S17). 다시점 영상 렌더링부(12)가, 시점 넘버 E의 값이 시점의 총 수 Ne 보다 작다고 판단한 경우(단계 S17:예), 프로세스는 단계 S14로 돌아가서, 프로세스의 타겟이 다음 시점으로 변하게 된다. 보다 구체적으로, P=0이 만족되는 경우에, E=1이 만족되면, 1번째 시점 특정부(1213)는 시점 넘버 1로 식별된 시점에 관련된 파라미터를 특정한다.
한편, 단계 S17에서, 다시점 영상 렌더링부(12)가, 시점 넘버 E의 값이 시점 의 총 수 Ne 이상이라고 판단한 경우(단계 S17:아니오), 다시점 영상 렌더링부(12)는 렌더링 프로그램 넘버 P를 1만큼 증가시키고(단계 S18), 렌더링 프로그램 넘버 P가 렌더링 프로그램의 총 수 Np 보다 작은지 여부를 판단한다(단계 S19).
단계 S19에서, 다시점 영상 렌더링부(12)가 렌더링 프로그램 넘버 P가 렌더링 프로그램의 총 수 Np 보다 작다고 판단한 경우(단계 S19:예), 프로세스는 단계 S12로 돌아가서, 프로세스의 타겟이 다음 렌더링 프로그램으로 변하게 된다. 보다 구체적으로, P=1이 만족되면, 1번째 렌더링 프로그램 특정부(1221)는 렌더링 프로그램 넘버 1로 식별된 렌더링 프로그램에 관련된 파라미터를 특정한다.
한편, 단계 S19에서, 다시점 영상 렌더링부(12)가, 렌더링 프로그램 넘버 P의 값이 렌더링 프로그램의 총 수 Np 이상이라고 판단한 경우(단계 S19:아니오), 프로세스는 종료된다. 상술한 바와 같이, 다시점 영상 렌더링부(12)에 의해 수행되는 다시점 영상 렌더링 프로세스는, 시점에 관련된 단계 S14 내지 S17에서의 루프(loop)(즉, 시점 루프)와, 렌더링 프로그램에 관련된 단계 S12 내지 S19에서의 다른 루프를 포함하는 2중 구조를 갖는다.
도 8 내지 10은, 다시점 영상이 상술한 다시점 영상 렌더링 프로세스를 통해 렌더링되는 프로세스를 설명하기 위한 도면이다. 이들 도면에서는, Ne=18, Np=3을 만족하는 것으로 가정된다. 도면에 도시된 문자 A, B, C, D는, 렌더링 프로그램 넘버 1 내지 3으로 각각 식별되는 렌더링 프로그램을 이용해서 렌더링되는 렌더링 타겟 대상이다. 렌더링 타겟 대상 A는 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램을 이용해서 렌더링된다. 렌더링 타겟 대상 B는 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램을 이용해서 렌더링된다. 렌더링 타겟 대상 C 및 D는 렌더링 프로그램 넘버 2로 식별되는 렌더링 프로그램을 이용해서 렌더링된다.
도 8은, P=0이 만족되는 시점 루프에서 렌더링되는 영상들을 도시하는 도면이다. P=0이 만족되는 시점 루프에서, 다시점 영상 렌더링부(12)는, 시점 넘버 E가 0에서 17로 변하는 동안 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램을 실행시킨다. 그 결과, 시점 넘버 0 내지 17로 식별되는 시점에서 보아 얻어지는 렌더링 타겟 대상 A의 영상들이 각각 다시점 영상 저장부(13) 내의 대응하는 타일에서 렌더링된다.
도 9는 P=1이 만족하는 다음의 시점 루프에서 렌더링된 영상들을 도시하는 도면이다. P=1이 만족하는 시점 루프에서, 다시점 영상 렌더링부(12)는, 시점 넘버 E가 0에서 17로 변하는 동안 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램을 실행시킨다. 그 결과, 시점 넘버 0 내지 17로 식별되는 시점에서 보아 얻어지는 렌더링 타겟 대상 B의 영상들이 각각 다시점 영상 저장부(13) 내의 대응하는 타일에서 렌더링된다.
도 10은 P=2가 만족하는 다음의 시점 루프에서 렌더링된 영상들을 도시하는 도면이다. P=2가 만족하는 시점 루프에서, 다시점 영상 렌더링부(12)는, 시점 넘버 E가 0에서 17로 변하는 동안 렌더링 프로그램 넘버 2로 식별되는 렌더링 프로그램을 실행시킨다. 그 결과, 시점 넘버 0 내지 17로 식별되는 시점에서 보아 얻어지는 렌더링 타겟 대상 C 및 D의 영상들이 각각 다시점 영상 저장부(13) 내의 대응하는 타일에서 렌더링된다. 상술한 바와 같이, 다시점 영상 렌더링부(12)는, CG 데이터에 포함된 모든 렌더링 프로그램의 각각에 대해서, 각 시점에서 보아 얻어진 렌더링 타겟 대상의 영상을 대응하는 타일로 각각 렌더링함으로써, 하나의 다시점 영상을 렌더링한다.
도 11 및 12는, 도 8 내지 10에 도시된 다시점 영상 렌더링부(12)에 의해 사용되는 다시점 영상 렌더링 방법과 비교될 비교의 다시점 영상 렌더링 방법을 도시하는 도면이다. 도 11 및 12에 도시된 바와 같이, 종래의 다시점 영상 렌더링 방법에 따라서, 모든 렌더링 프로그램이 하나의 시점에 관해서 각각의 타일들에 대해 실행된다. 영상의 렌더링이 완료되면, 프로세스는 다음 시점으로 이동한다. 즉, 종래의 다시점 영상 렌더링 방법에 따라서, 다시점 영상 렌더링 프로세스는 시점 단위로 수행된다. 종래의 다시점 영상 렌더링 방법이 사용되면, 렌더링 프로세스 동안 요구되는 다양한 형태의 데이터가 판독되는 횟수(즉, 다양한 형태의 데이터가 액세스되는 횟수)는 "렌더링 프로그램의 수"×"시점의 총 수"×"타일의 총 수"로서 나타낼 수 있다. 따라서, 타일의 수가 커지면, 데이터가 더 자주 액세스된다.
반대로, 다시점 영상 렌더링부(12)에서 이용되는 다시점 영상 렌더링 방법에 따르면, 영상은 렌더링 프로그램들 중 하나를 이용해서 상이한 시점들에 대해 순차적으로 렌더링된다. 렌더링 프로그램들 중 하나를 이용한 렌더링 프로세스가 완료되면, 프로세스는 다음 렌더링 프로그램으로 진행한다. 즉, 제1 실시예에 따른 다시점 영상 렌더링 방법에서, 다시점 영상 렌더링 프로세스는 렌더링 프로그램의 단위로 수행된다. 제1 실시예에 따른 다시점 영상 렌더링 방법이 사용되면, 렌더링 프로세스 동안 요구되는 다양한 형태의 데이터가 액세스되는 횟수는 "렌더링 프로 그램의 수"×"시점의 총 수"로서 나타낼 수 있으며, 타일의 수에는 따르지 않는다. 다시 말해서, 제1 실시예에 따른 다시점 영상 렌더링 방법에서, 다시점 영상의 렌더링 프로세스에서 요구되는 다양한 형태의 데이터를 효율적으로 판독할 수 있다. 결과적으로, 데이터 전송에 관련된 리던던시(redundancy) 및 오버헤드(overhead)를 줄일 수 있다.
도 3의 설명으로 돌아가면, 다시점 영상 저장부(13)는 RAM/VRAM(5) 또는 저장부(6)에 제공되는 저장 영역이다. 다시점 영상 저장부(13)는 도 7에 도시된 바와 같이 다시점 영상 렌더링 프로세스에서 사용되는 렌더링된 영상 영역을 갖는다. 다시점 영상 렌더링 프로세스에서 사용되는 렌더링된 영상 영역은, 다시점 영상 렌더링부(12)에 의해 렌더링되는 모든 영상을 그 안에 저장하기 위한 충분한 저장 용량을 갖는 것으로 가정된다.
다시점 영상 변환부(14)는, 다시점 영상 저장부(13)에 저장된 타일 형상으로 배열된 다시점 영상을 판독하고, 다시점 영상에 포함된 화소들이 배열되는 형태를 변경함으로써 입체 영상을 나타내기 위해 사용되는 복합 영상을 생성한다. 여기에서, 예를 들어, 화소가 배열되는 형태를 변경하는 공지된 임의의 방법들이 사용될 수 있다. 그러나, 표시부(3)의 스펙(예를 들어, 유효 화소(33)의 사이즈 및 원통형 렌즈(35)의 수평 피치 Ps)에 적합한 방법을 사용하는 것이 바람직하다.
프리젠팅부(15)는, 표시부(3) 내의 디스플레이 장치(31) 상에 다시점 영상 변환부(14)에 의해 생성된 복합 영상을 디스플레이한다. 따라서, 프리젠팅부(15)는 입체 영상을 뷰어에 제공한다.
상술한 바와 같이, 제1 실시예에 따른 다시점 영상 렌더링 장치(100)는 단일의 렌더링 프로그램을 이용하여 렌더링될 타겟 대상만을 순차적으로 렌더링하고, 그동안 시점이 하나씩 변한다. 따라서, 렌더링 프로세스에서 요구되는 다양한 형태의 데이터를 효율적으로 액세스하고, 데이터 전송에 관련된 리던던시 및 오버헤드를 줄일 수 있다. 그 결과, 고속으로 고품질의 입체 영상을 생성할 수 있다는 특유의 유익한 효과를 얻는다.
다음으로, 본 발명의 제2 실시예에 따른 다시점 영상 렌더링 장치가 설명될 것이다. 상술한 제1 실시예와 동일한 일부 구성은 동일한 참조 부호를 사용해서 참조되며, 그 설명은 생략될 것이다.
도 13은 제2 실시예에 따른 다시점 영상 렌더링 장치(200)의 기능적 구성을 도시하는 블록도이다. 다시점 영상 렌더링 장치(200)는 도 1에 도시된 바와 같은 하드웨어 구성을 갖는다.
도 13에 도시된 바와 같이, 상술한 CG 데이터 저장부(11), 다시점 영상 저장부(13), 다시점 영상 변환부(14), 및 프리젠팅부(15)에 더하여, 다시점 영상 렌더링 장치(200)는 분할 방법 결정부(16), 다시점 영상 렌더링부(17), 및 부분 다시점 영상 저장부(18)를 포함한다.
일반적으로, 메모리의 대역폭은 CG 렌더링 프로세스의 처리 속도를 향상시키도록 보틀넥(bottleneck)이 될 수 있다. 상술한 제1 실시예에서, 다시점 영상 저장부(13)의 메모리 대역폭은 논의되지 않았지만, 처리 속도는 다시점 영상 저장부(13)의 대역폭에 따라서 낮아질 수 있다. 따라서, 제2 실시예에 따라서, 다시점 영상 저장부(13)에 더하여, 다시점 영상 저장부(13)보다 용량이 더 적고 메모리 대역폭이 더 큰 부분 다시점 영상 저장부(18)가 사용되어, 처리 속도가 낮아지는 것이 금지된다. 부분 다시점 영상 저장부(18)는 예를 들어, 내장 DRAM(eDRAM;Embedded Dynamic Random Access Memory)으로 구성될 수 있다.
렌더링된 다시점 영상의 볼륨(volume)에 따라서, 모든 타일을 부분 다시점 영상 저장부(18)에 저장할 수 없을 수도 있다. 이러한 상황에 대처하기 위해서, 제2 실시예에 따르면, 분할 방법 결정부(16)는, 다시점 영상의 볼륨 및 부분 다시점 영상 저장부(18)의 저장 용량에 따라서, 타일의 경계부에 따라 다시점 영상을 복수의 부분 영역으로 분할하는 분할 방법 결정하여, 부분 영역에서 렌더링된 다시점 영상을 부분 다시점 영상 저장부(18)에 저장할 수 있도록 한다.
보다 구체적으로, 부분 다시점 영상 저장부(18)의 저장 용량, 및 CG 데이터 저장부(11)에 저장된 CG 데이터로부터 도출되는 다시점 영상의 볼륨과 같은 다양한 조건들에 기초해서, 분할 방법 결정부(16)는 아래 [수학식 1]을 이용해서 부분 다시점 영상 저장부(18)가 그 안에 저장할 수 있는 영상의 넘버(즉, 타일의 넘버), 즉, 한번에 영상을 렌더링할 수 있는 시점의 넘버 Nf를 계산한다. 또한, 시점의 넘버 Nf에 기초해서, 분할 방법 결정부(16)는 아래 [수학식 2]를 이용해서 부분 영역의 총 수 Nr를 계산한다.
Figure 112008063595617-PAT00001
Figure 112008063595617-PAT00002
상술한 [수학식 1]에서, "M"은 부분 다시점 영상 저장부(18)의 저장 용량(단위: 바이트)을 나타낸다. "W" 및 "H"는 CG 데이터로부터 도출되는 타일 각각의 폭 및 높이(단위: 화소)를 각각 나타낸다. "C" 및 "Z"는 CG 데이터로부터 도출되는, 컬러값 및 깊이값과 같은 화소당 정보량(단위: 바이트)을 나타낸다. 상기 [수학식 1]에서, 연산자 "/"는 소수가 생략되는 정수 나눗셈(integer division)을 나타낸다. 상기 [수학식 2]에서, 연산자 "/"는 소수가 가장 근접한 정수로 올림되는 정수 나눗셈을 나타낸다.
도 14는 분할 방법 결정부(16)의 동작을 설명하기 위한 도면이다. 도 14에서는, 분할 방법 결정부(16)에 의해 분할된 부분 영역들의 예가 도시된다. 도 14에서, 점선 박스로 둘러싸인 타일의 각 그룹(즉, 렌더링 영상 영역)은 부분 영역에 대응한다. 도 14에 도시된 예에서, 다시점 영상의 렌더링 영상 영역은 3개의 부분 영역들(즉, 부분 영역 0, 1, 2)로 분할된다. 도 14에서, "W" 및 "H"는 상기 [수학식 1]에 따라서 타일 각각의 폭 및 높이를 나타낸다.
[수학식 1] 및 [수학식 2]를 사용해서, 복수의 타일로 이루어진 다시점 영상의 렌더링된 영상 영역을 복수의 부분 영역들로 나누면, 분할 방법 결정부(16)는 Nf 및 Nr의 계산된 값뿐만 아니라 부분 영역 각각에 관한 정보를 다시점 영상 렌더링부(17)에 출력한다.
보다 구체적으로, 분할 방법 결정부(16)는 부분 영역 0, 1, 2 각각에 포함된 시점 넘버 E를, 부분 영역이 기준점으로 사용되는 E[R][V]의 포맷을 사용해서 표현하고, 시점 넘버 E와 E[R][V] 간의 관계를 나타내는 정보를 다시점 영상 렌더링부(17)에 출력한다. 여기에서, [R]은 부분 영역들(예를 들어, 부분 영역 0, 1, 2) 중 하나를 식별하는 부분 영역 넘버를 나타내고, [V]는 부분 영역 내의 시점들을 계수하여 얻어지는 부분 시점 넘버를 나타낸다. 예를 들어, 부분 영역 1 내의 시점(7)은 E[1][1]에 대응한다.
또한, 분할 방법 결정부(16)는, 부분 영역이 기준점으로 사용되는 Nf[R]의 포맷을 사용해서 부분 영역 0, 1, 2의 각각에 포함된 시점의 총 수를 나타내고, 이 정보를 다시점 영상 렌더링부(17)에 출력한다. 예를 들어, 부분 영역 0, 1, 2에 포함된 시점들의 총 수는 각각 Nf[0]=6, Nf[1]=6, 및 Nf[2]=6이다.
도 13의 설명으로 돌아가면, 다시점 영상 렌더링부(17)는 도 5에 도시된 것과 동일한 구성을 갖는다. 분할 방법 결정부(16)로부터 입력된 정보에 기초해서, 다시점 영상 렌더링부(17)는, 렌더링 프로그램 각각을 사용해서 렌더링될 타겟 대상의 영상을 순차적으로 렌더링함으로써, 부분 영역 각각에 대해 다시점 영상을 렌더링하고, 그동안 시점이 렌더링 프로그램의 단위로 하나씩 변한다.
다음으로, 다시점 영상 렌더링부(17)의 동작이 설명될 것이다. 도 15는 다시점 영상 렌더링부(17)에 의해 수행되는 다시점 영상 렌더링 프로세스의 절차를 나타내는 플로차트이다.
우선, 다시점 영상 렌더링부(17)는 부분 영역 넘버 R 내지 0을 초기화한다(단계 S21). 그 후에, 다시점 영상 렌더링부(17)는 P번째 렌더링 프로그램 넘버 P 내지 0을 초기화한다(단계 S22). 후속하여, P번째 렌더링 프로그램 특정부는 렌더링 프로그램 넘버 P로 식별되는 렌더링 프로그램에 관련된 파라미터를 특정한다(단계 S23).
그 후, 다시점 영상 렌더링부(17)는 부분 시점 넘버 V 내지 0을 초기화한다(단계 S24). 후속하여, E[R][V]에 대응하는 시점 넘버 E에 대한 E번째 시점 특정부는 시점 넘버 E(즉, E[R][V])로 식별되는 시점에 관련된 파라미터를 특정한다(단계 S25). 예를 들어, R=0, P=0, V=0이 만족하는 경우에, 0번째 시점 특정부(1212)는 E[0][0], 즉, 시점 넘버 0으로 식별되는 시점에 관련된 파라미터를 특정한다.
영상 렌더링부(124)는, 파라미터가 단계 S23에서 특정된 렌더링 프로그램 넘버 P로 식별되는 렌더링 프로그램을 실행시키고, 단계 S25에서 특정된 시점 넘버 E(즉, E[R][V])의 파라미터에 기초해서, 시점 넘버 E(즉, E[R][V])로 식별된 시점에서 보아 얻어지는 렌더링 타겟 대상의 영상을 렌더링한다(단계 S26). 단계 S26에서 렌더링되는 영상은, 영상의 시점, 즉, 시점 넘버 E(즉, E[R][V])에 대응하는 부분 다시점 영상 저장부(18) 내의 렌더링된 영상 영역에 저장된다.
그 후, 다시점 영상 렌더링부(17)는 부분 시점 넘버 V를 1만큼 증가시키고(단계 S27), 부분 시점 넘버 V가 시점 넘버 Nf[R]보다 작은지 여부를 판단한다(단계 S28). 다시점 영상 렌더링부(17)가, 부분 시점 넘버 V의 값이 시점들의 수 Nf[R] 보다 작다고 판단한 경우(단계 S28:예), 프로세스는 단계 S25로 돌아가서, 프로세스의 타겟이 다음 부분 시점 넘버로 변하게 된다.
한편, 단계 S28에서, 다시점 영상 렌더링부(17)가, 부분 시점 넘버 V의 값이 시점의 넘버 Nf[R] 이상이라고 판단한 경우(단계 S28:아니오), 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 P를 1만큼 증가시키고(단계 S29), 렌더링 프로그램 넘버 P가 렌더링 프로그램의 총 수 Np 보다 작은지 여부를 판단한다(단계 S30).
단계 S30에서, 다시점 영상 렌더링부(17)가 렌더링 프로그램 넘버 P가 렌더링 프로그램의 총 수 Np 보다 작다고 판단한 경우(단계 S30:예), 프로세스는 단계 S23으로 돌아가서, 프로세스의 타겟이 다음 렌더링 프로그램으로 변하게 된다.
한편, 단계 S30에서, 다시점 영상 렌더링부(17)가, 렌더링 프로그램 넘버 P의 값이 렌더링 프로그램의 총 수 Np 이상이라고 판단한 경우(단계 S30:아니오), 다시점 영상 렌더링부(17)는 부분 영역 넘버 R을 1만큼 증가시키고(단계 S31), 부분 영역 넘버 R의 값이 부분 영역의 총 수 Nr 보다 작은지 여부를 판단한다(단계 S32).
단계 S32에서, 다시점 영상 렌더링부(17)가 부분 영역 넘버 R의 값이 부분 영역의 총 수 Nr 보다 작다고 판단한 경우(단계 S32:예), 프로세스는 단계 S22로 돌아가서, 프로세스의 타겟이 다음 부분 영역으로 변하게 된다.
한편, 단계 S320에서, 다시점 영상 렌더링부(17)가 부분 영역 넘버 R의 값이 부분 영역의 총 수 Nr 이상이라고 판단한 경우(단계 S32:아니오), 프로세스는 종료된다. 상술한 바와 같이, 다시점 영상 렌더링부(17)에 의해 수행되는 다시점 영상 렌더링 프로세스는, 부분 시점 넘버에 관련된 단계 S25 내지 S28에서의 루프(즉, 부분 시점 루프)와, 렌더링 프로그램에 관련된 단계 S23 내지 S30에서의 루프, 및 부분 영역에 관련된 단계 S22 내지 S32에서의 루프를 포함하는 3중 구조를 갖는다.
하나의 부분 영역에 대응하는 다시점 영상이 다시점 영상 렌더링부(17)에 의해 렌더링될 때마다, 부분 다시점 영상 저장부(18)는 하나의 부분 영역에 대응하는 렌더링된 다시점 영상을 다시점 영상 저장부(13)에 출력한다. 따라서, 다시점 영상 저장부(13)는 다시점 영상 저장부(13)는 그 안에, 각각이 부분 영역들 중 서로 다른 부분 영역에 대응하며, 부분 다시점 영상 저장부(18)에 의해 입력된 다시점 영상을 순차적으로 저장하여, 결국 모든 부분 영역들에 대응하는 다시점 영상을 그 내부에 저장한다. 그 결과, 다시점 영상 저장부(13)는 모든 시점들에 개별적으로 대응하는 타일들로 구성된 하나의 다시점 영상을 그 내부에 저장한다.
도 16 내지 21은, 다시점 영상이 상술한 다시점 영상 프로세스를 통해 렌더링되는 단계까지의 프로세스를 설명하기 위한 도면이다. 이 예에서는, Nf[0]=Nf[1]=Nf[2]=6, Np=3, Nr=3을 만족하는 것으로 가정한다.
도 16에 도시된 바와 같이, R=0 및 P=0이 만족되는 제1 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 0에서 5로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 0 내지 5로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 A의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다.
또한, 도 17에 도시된 바와 같이, R=0 및 P=1이 만족되는 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 0에서 5로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 0 내지 5로 식별된 시점에서 보아 얻어진 렌더링 타 겟 대상 B의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다.
또한, 도 18에 도시된 바와 같이, R=0 및 P=2가 만족되는 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 2로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 0에서 5로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 0 내지 5로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 C 및 D의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 이 때, 부분 영역 0에 대한 렌더링 프로세스가 완료된다.
부분 다시점 영상 저장부(18)는, 다시점 영상 렌더링부(17)에 의해 다시점 영상 저장부(13) 내의 시점 넘버 0 내지 5에 대응하는 타일로 렌더링되며, 부분 영역 0에 대응하는 다시점 영상을 복사한다. 그 후, 부분 다시점 영상 저장부(18)는 그 저장 영역으로부터 저장된 다시점 영상을 지운다. 도 19에서, 부분 영역 0에 대응하는 다시점 영상을 내부에 저장한 다시점 영상 저장부(13)의 상태가 도시된다.
R=1 및 P=0이 만족되는 다음의 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 6에서 11로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 6 내지 11로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 A의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 렌더링 프로세스의 결과가 도 16에 도시된 것과 유사하기 때문에, 그 도면은 생략한다.
또한, R=1 및 P=1이 만족되는 부분 시점 루프에서, 다시점 영상 렌더링 부(17)는 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 6에서 11로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 6 내지 11로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 B의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 렌더링 프로세스의 결과가 도 17에 도시된 것과 유사하기 때문에, 그 도면은 생략한다.
또한, R=1 및 P=2가 만족되는 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 2로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 6에서 11로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 6 내지 11로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 C 및 D의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 이 때, 부분 영역 1에 대한 렌더링 프로세스가 완료된다. 렌더링 프로세스의 결과가 도 18에 도시된 것과 유사하기 때문에, 그 도면은 생략한다.
부분 다시점 영상 저장부(18)는, 다시점 영상 렌더링부(17)에 의해 다시점 영상 저장부(13) 내의 시점 넘버 6 내지 11에 대응하는 타일로 렌더링되며, 부분 영역 1에 대응하는 다시점 영상을 복사한다. 그 후, 부분 다시점 영상 저장부(18)는 그 저장 영역으로부터 저장된 다시점 영상을 지운다. 도 20에서, 부분 영역 0 및 1에 대응하는 다시점 영상을 내부에 저장한 다시점 영상 저장부(13)의 상태가 도시된다.
R=2 및 P=0이 만족되는 다음의 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램을 실행시키고, 그 동안 시점 넘버 E는 12에서 17로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 12 내지 17로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 A의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 렌더링 프로세스의 결과가 도 16에 도시된 것과 유사하기 때문에, 그 도면은 생략한다.
또한, R=2 및 P=1이 만족되는 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 12에서 17로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 12 내지 17로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 B의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 렌더링 프로세스의 결과가 도 17에 도시된 것과 유사하기 때문에, 그 도면은 생략한다.
또한, R=2 및 P=2가 만족되는 부분 시점 루프에서, 다시점 영상 렌더링부(17)는 렌더링 프로그램 넘버 2로 식별되는 렌더링 프로그램을 실행시키고, 그동안 시점 넘버 E는 12에서 17로 변한다. 그 결과, 다시점 영상 렌더링부(17)는, 시점 넘버 12 내지 17로 식별된 시점에서 보아 얻어진 렌더링 타겟 대상 C 및 D의 영상을 부분 다시점 영상 저장부(18)로 렌더링한다. 이 때, 부분 영역 2에 대한 렌더링 프로세스가 완료된다. 렌더링 프로세스의 결과가 도 18에 도시된 것과 유사하기 때문에, 그 도면은 생략한다.
부분 다시점 영상 저장부(18)는, 다시점 영상 렌더링부(17)에 의해 다시점 영상 저장부(13) 내의 시점 넘버 12 내지 17에 대응하는 타일로 렌더링되며, 부분 영역 2에 대응하는 다시점 영상을 복사한다. 그 후, 부분 다시점 영상 저장부(18) 는 그 저장 영역으로부터 저장된 다시점 영상을 지운다. 도 21에서, 부분 영역 0, 1 및 2에 대응하는 다시점 영상을 내부에 저장한 다시점 영상 저장부(13)의 상태가 도시된다.
상술한 바와 같이, 제2 실시예에 따른 다시점 영상 렌더링 장치(200)가 사용되면, 다시점 영상이 타일의 경계부에 따라 복수의 부분 영역들로 분할되어, 다시점 영상이 부분 영역 각각에 대해 렌더링된다. 그 결과, 다시점 영상 저장부(13)보다 더 큰 메모리 대역폭을 갖는 부분 다시점 영상 저장부(18)를 효율적으로 활용할 수 있다. 결과적으로, 고속으로 고품질의 입체 영상을 생성할 수 있다는 특유의 유익한 효과를 얻는다.
다음으로, 본 발명의 제3 실시예에 따른 다시점 영상 렌더링 장치가 설명될 것이다. 상술한 제1 및 제2 실시예와 동일한 일부 구성은 동일한 참조 부호를 사용해서 참조되며, 그 설명은 생략될 것이다.
도 22는 제3 실시예에 따른 다시점 영상 렌더링 장치(300)의 기능적 구성을 도시하는 블록도이다. 다시점 영상 렌더링 장치(300)는 도 1에 도시된 바와 같은 하드웨어 구성을 갖는다.
도 22에 도시된 바와 같이, 상술한 CG 데이터 저장부(11), 다시점 영상 저장부(13), 다시점 영상 변환부(14), 프리젠팅부(15), 분할 방법 결정부(16), 및 부분 다시점 영상 저장부(18)에 더하여, 다시점 영상 렌더링 장치(300)는 씬(scene) 그래프 처리부(19) 및 다시점 영상 렌더링부(20)를 포함한다.
상술한 제1 및 제2 실시예에서, Np만큼의 렌더링 프로그램이 순차적으로 실 행되며, 렌더링 프로그램 넘버 0으로 식별되는 것에서 시작하고, 렌더링 프로그램 넘버 Np-1로 식별되는 것에서 종료한다. 그러나, 실제 CG 화상에 있어서, 렌더링 프로그램이 실행되는 순서는 항상 동일하지는 않으며, 렌더링된 씬에 따라서 동적으로 변한다. 또한, Np만큼의 모든 렌더링 프로그램이 항상 실행되어야 하는 것은 아니다.
이러한 상황을 대처하기 위해서, 제3 실시예에 따른 다시점 영상 렌더링 장치(300)는 씬에 적합한 만큼의 도 23에 도시된 씬 그래프를 CG 데이터 저장부(11)에 저장한다. 렌더링될 씬 각각에 대해 씬 그래프들 중 하나를 선택적으로 사용해서, 다시점 영상 렌더링 장치(300)는 씬에 적합한 렌더링 방법을 사용하여 다시점 영상을 렌더링한다. 여기에서, 도 23에 도시된 바와 같이, 씬 그래프 각각은, 씬 그래프의 페어런트(parent) 노드로서 제공되는 루트 노드, 렌더링 프로그램 넘버가 정의된 내부 노드, 및 렌더링 타겟 대상이 정의된 리프(leaf) 노드와 같은 3층을 갖는 트리(tree) 구조를 갖는다.
씬 그래프 처리부(19)는, 렌더링될 씬과 통신하여 CG 데이터 저장부(11)에 저장된 씬 그래프들 중 하나를 판독한다. 깊이 방향에서 제1차의 판독 씬 그래프를 횡단함으로써, 씬 그래프 처리부(19)는, 렌더링 프로그램이 실행되어야 하는 순서(렌더링 프로그램 넘버로 표시됨)가, 렌더링 프로그램 넘버 각각으로 식별되는 렌더링 프로그램을 사용하여 렌더링될 렌더링 타겟 대상에 따라서 도시되는 정보(이후, "씬 정보")를 다시점 영상 렌더링부(20)에 출력한다.
예를 들어, 도 23에 도시된 씬 그래프의 예에서, 다음 절차를 지시하는 씬 정보는 다시점 영상 렌더링부(20)에 출력된다: 우선, 렌더링 타겟 대상 A는 렌더링 프로그램 넘버 2로 식별되는 렌더링 프로그램을 사용해서 렌더링되고, 두번째로, 렌더링 타겟 대상 B는 렌더링 프로그램 넘버 1로 식별되는 렌더링 프로그램을 사용해서 렌더링되고, 그 다음, 렌더링 타겟 대상 B는 2중으로 렌더링되고, 또한 렌더링 프로그램 넘버 3으로 식별되는 렌더링 프로그램을 사용해서 렌더링 타겟 대상 C 및 D도 렌더링되고, 마지막으로, 렌더링 프로그램 넘버 0으로 식별되는 렌더링 프로그램을 사용해서 렌더링 타겟 대상 E, F, G가 렌더링된다.
또한, 씬이 새로운 씬으로 변할 때마다, 씬 그래프 처리부(19)는 CG 데이터 저장부(11)로부터 새로운 씬에 대응하는 씬 그래프를 판독하고, 씬 그래프에 대한 씬 정보를 다시점 영상 렌더링부(20)에 출력한다. 씬 그래프에 정의된 렌더링 프로그램이 실행되어야 하는 순서를 변경하고, 렌더링 프로그램 각각을 사용해서 렌더링될 렌더링 타겟 대상을 변경함으로써, 씬 그래프 처리부(19)가, 렌더링될 씬에 따라 새로운 씬 그래프를 동적으로 재구성하는 다른 구성도 가능하다.
다시점 영상 렌더링부(20)는 다시점 영상 렌더링부(17)와 동일한 기능을 갖는다. 또한, 이전 단계에서 제공되는 씬 그래프 처리부(19)로부터 입력되는 씬 정보에 기초하고, 또한, 씬 정보에서 지시된 렌더링 프로그램이 실행되어야 하는 순서에 따라서, 다시점 영상 렌더링부(20)는 렌더링 프로그램을 각각 이용해서 렌더링될 렌더링 타겟 대상의 영상을 순차적으로 렌더링하고, 그동안 시점이 하나씩 변한다.
다음으로, 다시점 영상 렌더링부(20)의 동작이 설명될 것이다. 도 24는, 다 시점 영상 렌더링부(20)에 의해 수행되는 다시점 영상 렌더링 프로세스의 절차를 나타내는 플로차트이다.
우선, 다시점 영상 렌더링부(20)는 부분 영역 넘버 R 내지 0을 초기화한다(단계 S41). 그 후에, 씬 정보에서 지시된 렌더링 프로그램이 실행되어야 하는 순서에 따라서, 다시점 영상 렌더링부(20)는 제1 렌더링 프로그램 넘버를 P로 특정한다(단계 S42). 예를 들어, 도 23에 도시된 씬 그래프가 사용되는 경우, 다시점 영상 렌더링부(20)는 P=2가 만족하는 것으로 특정한다.
그 후, P번째 렌더링 프로그램 특정부는 렌더링 프로그램 넘버 P로 식별되는 렌더링 프로그램에 관련된 파라미터를 특정한다(단계 S43). 후속하여, 다시점 영상 렌더링부(20)는 부분 시점 넘버 V 내지 0을 초기화한다(단계 S44). 그 후, E[R][V]에 대응하는 시점 넘버 E에 대한 E번째 시점 특정부는 시점 넘버 E(즉, E[R][V])로 식별되는 시점에 관련된 파라미터를 특정한다(단계 S45).
영상 렌더링부(124)는, 파라미터가 단계 S43에서 특정된 렌더링 프로그램 넘버 P로 식별되는 렌더링 프로그램을 실행시키고, 단계 S45에서 특정된 시점 넘버 E(즉, E[R][V])의 파라미터에 기초해서, 시점 넘버 E(즉, E[R][V])로 식별된 시점에서 보아 얻어지는 렌더링 타겟 대상의 영상을 렌더링한다(단계 S46). 단계 S46에서 렌더링되는 영상은, 영상의 시점, 즉, 시점 넘버 E(즉, E[R][V])에 대응하는 부분 다시점 영상 저장부(18) 내의 렌더링된 영상 영역에 저장된다.
후속하여, 다시점 영상 렌더링부(20)는 부분 시점 넘버 V를 1만큼 증가시키고(단계 S47), 부분 시점 넘버 V가 시점 넘버 Nf[R]보다 작은지 여부를 판단한다 (단계 S48). 다시점 영상 렌더링부(20)가, 부분 시점 넘버 V의 값이 시점들의 수 Nf[R] 보다 작다고 판단한 경우(단계 S48:예), 프로세스는 단계 S45로 돌아가서, 프로세스의 타겟이 다음 부분 시점 넘버로 변하게 된다.
한편, 단계 S48에서, 다시점 영상 렌더링부(20)가, 부분 시점 넘버 V의 값이 시점의 넘버 Nf[R] 이상이라고 판단한 경우(단계 S48:아니오), 다시점 영상 렌더링부(20)는 씬 정보에서 지시된 모든 렌더링 프로그램이 실행되었는지 여부를 판단한다(단계 S49). 다시점 영상 렌더링부(20)가 아직 실행되지 않은 렌더링 프로그램이 하나 이상 존재한다고 판단한 경우(단계 S48:아니오), 씬 정보에서 지시된 렌더링 프로그램이 실행되어야 하는 순서에 따라서, 다시점 영상 렌더링부(20)는 다음 렌더링 프로그램 넘버를 P로 특정한다(단계 S50). 그 후, 프로세스는 단계 S43으로 돌아간다.
한편, 단계 S49에서, 다시점 영상 렌더링부(20)가 씬 정보에서 지시된 모든 렌더링 프로그램이 실행되었다고 판단한 경우(단계 S48:예), 다시점 영상 렌더링부(20)는 부분 영역 넘버 R을 1만큼 증가시키고(단계 S51), 부분 영역 넘버 R이 부분 영역의 총 수 Nr 보다 작은지 여부를 판단한다(단계 S52).
단계 S52에서, 다시점 영상 렌더링부(20)가, 부분 영역 넘버 R이 부분 영역의 총 수 Nr 보다 작다고 판단한 경우(단계 S52:예), 프로세스는 단계 S42로 돌아가서, 프로세스의 타겟이 다음 부분 영역으로 변하게 된다.
한편, 단계 S52에서, 다시점 영상 렌더링부(20)가, 부분 영역 넘버 R이 부분 영역의 총 수 Nr 이상이라고 판단한 경우(단계 S52:아니오), 프로세스는 종료한다.
상술한 바와 같이, 제3 실시예에 따른 다시점 영상 렌더링 장치(300)에 있어서, 그 내부 노드에 렌더링 프로그램 넘버를 갖는 씬 그래프를 사용함으로써, 씬에 따라서 임의의 순서로 임의의 렌더링 프로그램 세트를 실행시킬 수 있다. 결과적으로, 씬의 변경을 포함하는 실제 다시점 영상을 렌더링할 수 있다.
제3 실시예에서는, 씬 그래프 처리부(19)가 제2 실시예에 따른 구성에 부가된 예가 설명되었다. 그러나, 본 발명은 이 예로 한정되는 것은 아니다. 씬 그래프 처리부(19)가 제1 실시예에 따른 구성에 부가된 다른 구성도 가능하다.
본 발명의 예시적 실시예들이 이제까지 설명되었다. 그러나, 본 발명은 이들 예시적 실시예들로 한정되는 것은 아니다. 본 발명의 사상에서 벗어나지 않으면서, 예시적 실시예들에 다양한 수정, 치환, 및 부가가 적용될 수 있다.
예를 들어, 다시점 영상 렌더링 장치(100, 200, 또는 300)에서 수행되는 상술한 프로세스를 실행하는 프로그램이, 읽기 전용 콤팩트 디스크 기억 장치(CD-ROM), 플로피(등록 상표) 디스크(FD), 또는 디지털 다기능 디스크(DVD)와 같은 컴퓨터 판독가능 기록 매체 상에, 설치가능 또는 실행가능 포맷으로 기록되어 제공되는 구성이 가능하다.
다시점 영상 렌더링 장치(100, 200, 또는 300)에서 수행되는 프로세스를 실행하는 프로그램이, 인터넷과 같은 네트워크에 접속된 컴퓨터에 저장되어 통신부(7)를 통해 네트워크로 다운로드되는 다른 구성도 가능하다.
여기에서, 프로그램이 기록 매체로부터 판독되어 다시점 영상 렌더링 장치(100, 200, 또는 300)에서 실행되면, 프로그램은 RAM/VRAM(5)에 로딩되어, 소프 트웨어 구성의 상세에서 설명되는 구성 요소가 RAM/VRAM(5)에서 생성된다.
당업자는 용이하게 부가적인 장점 및 변형들을 도출해 낼 수 있을 것이다. 따라서, 광의의 관점에서 본 발명은 본 명세서에서 도시 및 기술된 상세한 설명 및 대표적 실시예들로 한정되는 것은 아니다. 이에 따라, 첨부된 청구항 및 그 등가물에 의해 정의되는 바와 같이, 본 발명의 포괄적인 개념의 사상 및 범위에서 벗어나지 않으면서 다양한 변형들이 이루어질 수 있다.
도 1은 다시점 영상 렌더링 장치의 하드웨어 구성을 도시한 도면.
도 2는 도 1에 도시된 표시부의 구조를 설명하기 위한 도면.
도 3은 본 발명의 제1 실시예에 따른 다시점 영상 렌더링 장치의 기능적 구성을 나타내는 블록도.
도 4는 렌더링 프로그램을 사용해서 렌더링된 영상의 일례를 도시하는 도면.
도 5는 다시점 영상 렌더링부를 도시하는 도면.
도 6은 제1 실시예에 따른 다시점 영상 렌더링 프로세스에서의 절차를 나타내는 플로차트.
도 7은 다시점 영상 저장부내의 저장 영역을 도시하는 개략도.
도 8은 제1 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 도면.
도 9는 제1 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 다른 도면.
도 10은 제1 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 또 다른 도면.
도 11은 비교의 다시점 영상 렌더링 방법을 설명하기 위한 도면.
도 12는 비교의 다시점 영상 렌더링 방법을 설명하기 위한 다른 도면.
도 13은 본 발명의 제2 실시예에 따른 다시점 영상 렌더링 장치의 기능적 구성을 나타내는 블록도.
도 14는 부분 영역의 일례를 도시하는 도면.
도 15는 제2 실시예에 따른 다시점 영상 렌더링 프로세스에서의 절차를 나타내는 플로차트.
도 16은 제2 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 도면.
도 17은 제2 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 다른 도면.
도 18은 제2 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 또 다른 도면.
도 19는 제2 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 또 다른 도면.
도 20은 제2 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 또 다른 도면.
도 21은 제2 실시예에 따른 다시점 영상 렌더링 프로세스를 설명하기 위한 또 다른 도면.
도 22는 본 발명의 제3 실시예에 따른 다시점 영상 렌더링 장치의 기능적 구성을 나타내는 도면.
도 23은 씬 그래프의 일례를 도시하는 도면.
도 24는 제3 실시예에 따른 다시점 영상 렌더링 장치에서의 절차를 나타내는 플로차트.

Claims (9)

  1. 다시점(multi-viewpoint) 영상 렌더링(rendering) 장치로서,
    렌더링 타겟 대상의 형태를 지시하는 형태 데이터, 각각에 렌더링 절차가 기술된 복수의 렌더링 프로그램, 및 서로 상이한 복수의 시점 위치들에 관한 정보를 정의하는 시점 데이터를 저장하는 제1 저장부;
    상기 렌더링 프로그램, 및 상기 렌더링 프로그램 각각에 대한 렌더링 타겟 중 하나를 특정하는 제1 특정부;
    상기 렌더링 프로그램 각각이 실행될 때 사용되는 렌더링 조건으로서 상기 시점 데이터에 정의된 각각의 시점 위치를 특정하는 제2 특정부;
    상기 렌더링 프로그램 각각의 실행을 위해, 상기 렌더링 조건으로서 특정된 상기 시점 위치 각각에 대해, 상기 렌더링 프로그램에 대한 렌더링 타겟으로서 특정된 상기 형태 데이터를 순차적으로 렌더링하여, 상기 시점 위치에 각각 대응하는 복수의 렌더링된 영상으로 구성되는 다시점 영상을 생성하는 렌더링부; 및
    상기 렌더링부에 의해 생성된 상기 다시점 영상을 저장하는 제2 저장부
    를 포함하는 다시점 영상 렌더링 장치.
  2. 제1항에 있어서,
    상기 다시점 영상을 복수의 부분 영역들로 분할하는데 사용되는 분할 방법을 결정하는 분할 방법 결정부; 및
    상기 부분 영역들에 각각 대응하는 다시점 영상을 저장하는 제3 저장부
    를 더 포함하고,
    상기 렌더링부는, 상기 각각의 부분 영역들에 대한 다시점 영상을 생성하고, 상기 제3 저장부가, 상기 부분 영역들에 각각 대응하는 다시점 영상을 상기 제2 저장부에 출력하도록 하는 다시점 영상 렌더링 장치.
  3. 제2항에 있어서,
    상기 분할 방법 결정부는, 상기 다시점 영상의 볼륨 및 상기 제3 저장부의 저장 용량에 따라 상기 분할 방법을 결정하는 다시점 영상 렌더링 장치.
  4. 제2항에 있어서,
    상기 제3 저장부의 메모리 대역폭은 상기 제2 저장부의 메모리 대역폭보다 큰 다시점 영상 렌더링 장치.
  5. 제4항에 있어서,
    상기 제3 저장부의 저장 용량은 상기 제2 저장부의 저장 용량보다 작은 다시점 영상 렌더링 장치.
  6. 제2항에 있어서,
    씬(scene)들 중 상이한 하나의 씬에 대해, 상기 렌더링 프로그램의 실행 순 서와, 상기 렌더링 프로그램 각각에 대한 상기 렌더링 타겟으로서 제공되는 렌더링 타겟 대상 간의 관계를 각각 정의하는 복수의 씬 그래프를 저장하는 제4 저장부; 및
    상기 제4 저장부로부터 렌더링될 씬에 대응하는 상기 씬 그래프들 중 하나를 판독하고, 상기 판독된 씬 그래프에 정의된 렌더링 프로그램의 실행 순서, 및 상기 렌더링 프로그램 각각에 대한 렌더링 타겟으로서 제공되는 상기 렌더링 타겟 대상의 형태 데이터를 지시하는 씬 정보를 상기 렌더링부에 출력하는 씬 그래프 처리부
    를 더 포함하고,
    상기 렌더링부는, 상기 씬 정보에서 지시된 상기 렌더링 프로그램의 실행 순서에 따라, 상기 렌더링 조건으로서 특정된 상기 시점 위치 각각에 대해, 상기 렌더링 프로그램 각각에 대한 렌더링 타겟으로서 지시되는 상기 형태 데이터를 렌더링하는 다시점 영상 렌더링 장치.
  7. 제6항에 있어서,
    상기 씬 그래프 처리부는, 렌더링될 씬 각각과 통신하여, 상기 씬 그래프에서 정의된 상기 렌더링 프로그램의 실행 순서와, 상기 렌더링 프로그램 각각을 이용해서 렌더링될 상기 렌더링 타겟 대상 간의 관계를 재구성하는 다시점 영상 렌더링 장치.
  8. 제1항에 있어서,
    상기 제2 저장부에 저장된 상기 다시점 영상에 포함된 화소 배열을 변환하고, 입체 영상을 표시하기 위한 복합 영상을 생성하는 다시점 영상 변환부; 및
    상기 복합 영상으로 표현되는 상기 입체 영상을 프리젠트(present)하는 프리젠팅부
    를 더 포함하는 다시점 영상 렌더링 장치.
  9. 다시점(multi-viewpoint) 영상 렌더링(rendering) 방법으로서,
    렌더링 타겟 대상의 형태를 지시하는 형태 데이터, 각각에 렌더링 절차가 기술된 복수의 렌더링 프로그램, 및 서로 상이한 복수의 시점 위치들에 관한 정보를 정의하는 시점 데이터로부터 복수의 렌더링 각각에 대한 렌더링 프로그램 및 렌더링 타겟을 특정하는 단계;
    상기 렌더링 프로그램 각각이 실행될 때 사용되는 렌더링 조건으로서 서로 상이한 시점 위치를 특정하는 단계; 및
    상기 렌더링 프로그램 각각의 실행을 위해, 상기 렌더링 조건으로서 특정된 상기 시점 위치 각각에 대해, 상기 렌더링 프로그램에 대한 렌더링 타겟으로서 특정된 상기 형태 데이터를 순차적으로 렌더링하여, 상기 시점 위치에 각각 대응하는 복수의 렌더링된 영상으로 구성되는 다시점 영상을 생성하는 단계
    를 포함하는 다시점 영상 렌더링 방법.
KR1020080088224A 2007-09-20 2008-09-08 다시점 영상을 렌더링하기 위한 장치 및 방법 KR20090031230A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-00244295 2007-09-20
JP2007244295A JP2009075869A (ja) 2007-09-20 2007-09-20 多視点画像描画装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20090031230A true KR20090031230A (ko) 2009-03-25

Family

ID=40110960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080088224A KR20090031230A (ko) 2007-09-20 2008-09-08 다시점 영상을 렌더링하기 위한 장치 및 방법

Country Status (5)

Country Link
US (1) US20090079761A1 (ko)
EP (1) EP2040479A2 (ko)
JP (1) JP2009075869A (ko)
KR (1) KR20090031230A (ko)
CN (1) CN101393649A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9832458B2 (en) 2014-04-14 2017-11-28 Samsung Electronics Co., Ltd. Multi view image display method in which viewpoints are controlled and display device thereof

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502419B1 (ko) * 2008-07-11 2015-03-13 삼성디스플레이 주식회사 다시점 영상 표시방법, 이를 수행하기 위한 표시장치
JP4770948B2 (ja) * 2009-03-03 2011-09-14 ソニー株式会社 表示装置
JP5238887B2 (ja) 2009-09-25 2013-07-17 株式会社東芝 多視点画像生成方法および装置
BR112012007115A2 (pt) * 2009-10-02 2020-02-27 Koninklijke Philips Electronics N.V. Método de codificação de um sinal de dados de vídeo 3d, método de decodificação de um sinal de vídeo 3d, codificador para codificar um sinal de dados de vídeo 3d, decodificador para decodificar um sinal de dados de vídeo 3d, produto de programa de computador para codificar um sinal de dados de vídeo, produto de programa de computador para decodificar um sinal de vídeo, sinal de dados de vídeo 3d, e portador de dados digitais
TW201216684A (en) 2010-10-12 2012-04-16 Unique Instr Co Ltd Stereoscopic image display device
CN102985013B (zh) * 2011-05-23 2015-04-01 株式会社东芝 医用图像诊断装置、图像处理装置以及超声波诊断装置
CN102271271B (zh) * 2011-08-17 2013-04-03 清华大学 生成多视点视频的装置及方法
CN102752537B (zh) * 2011-11-29 2017-06-13 新奥特（北京）视频技术有限公司 一种实现多种特技效果同时输出的方法
JP5818674B2 (ja) * 2011-12-21 2015-11-18 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、画像表示装置
JP6099892B2 (ja) * 2012-07-09 2017-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像表示装置
CN103079084B (zh) * 2013-02-21 2015-10-21 厦门市羽星智能科技有限责任公司 一种有利于实时融合播放的多视点裸眼立体片源存储方式
CN105635707A (zh) * 2014-11-06 2016-06-01 福州瑞芯微电子股份有限公司 一种图像生成方法和装置
CN104835198B (zh) * 2015-05-19 2018-09-14 网易（杭州）网络有限公司 游戏场景展示方法和装置
GB2546811B (en) 2016-02-01 2020-04-15 Imagination Tech Ltd Frustum rendering
US11412145B2 (en) * 2017-09-15 2022-08-09 Motorola Mobility Llc Electronic display and corresponding method for presenting an overlay on a display
CN109448088B (zh) * 2018-10-22 2023-02-21 广州视源电子科技股份有限公司 渲染立体图形线框的方法、装置、计算机设备和存储介质
US11605222B2 (en) * 2019-11-01 2023-03-14 Robert Bosch Gmbh Apparatus and system related to an intelligent helmet
US11943271B2 (en) * 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388206A (en) * 1992-11-13 1995-02-07 The University Of North Carolina Architecture and apparatus for image generation
JP3358466B2 (ja) 1996-10-18 2002-12-16 凸版印刷株式会社 視差画像のデータ処理方法および装置
GB0003311D0 (en) * 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Autostereoscopic display driver
US6731304B2 (en) * 2000-12-06 2004-05-04 Sun Microsystems, Inc. Using ancillary geometry for visibility determination

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9832458B2 (en) 2014-04-14 2017-11-28 Samsung Electronics Co., Ltd. Multi view image display method in which viewpoints are controlled and display device thereof

Also Published As

Publication number Publication date
CN101393649A (zh) 2009-03-25
US20090079761A1 (en) 2009-03-26
JP2009075869A (ja) 2009-04-09
EP2040479A2 (en) 2009-03-25

Similar Documents

Publication Publication Date Title
KR20090031230A (ko) 다시점 영상을 렌더링하기 위한 장치 및 방법
US20090079733A1 (en) Apparatus, method, and computer program product for processing three-dimensional images
US7652674B2 (en) On the fly hardware based interdigitation
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
JP4958233B2 (ja) 多眼視画像作成システム及び多眼視画像作成方法
JP2006115246A (ja) 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
KR20100067656A (ko) 3차원 디스플레이에 대한 렌더링 개선
KR20080071475A (ko) 3차원 디스플레이용 컴퓨터 그래픽스 화상 생성장치 및생성방법
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
KR20110093828A (ko) 3ｄ 이미지 신호를 인코딩하기 위한 방법 및 시스템, 인코딩된 3ｄ 이미지 신호, 3ｄ 이미지 신호를 디코딩하기 위한 방법 및 시스템
JP4960119B2 (ja) ポイント基盤のレンダリング装置及び方法
AU2015289185B2 (en) Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor
JP5763208B2 (ja) 立体画像表示装置、画像処理装置および画像処理方法
CN109643462B (zh) 基于渲染引擎的实时图像处理方法以及显示设备
JP4703635B2 (ja) 立体視画像生成方法、その装置、及び立体視画像表示装置
TWI603290B (zh) 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
US8693767B2 (en) Method and device for generating partial views and/or a stereoscopic image master from a 2D-view for stereoscopic playback
TWI503788B (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
KR20160068125A (ko) 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법
CN113409436A (zh) 一种菱形像素排列的体绘制方法
JP4645142B2 (ja) インテグラル・フォトグラフィ画像生成方法
TWI508523B (zh) 三維影像處理方法
JP4956574B2 (ja) 立体画像描画装置および描画方法
JP2006261816A (ja) 立体画像データ生成装置、コンピュータを立体画像データ生成装置として機能させるための立体画像データ生成プログラム、記録媒体および立体画像データ生成方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application