KR20040090711A

KR20040090711A - 화상합성 방법, 장치, 및 프로그램, 및 입체모델의 렌더링방법, 장치, 및 프로그램

Info

Publication number: KR20040090711A
Application number: KR1020040025659A
Authority: KR
Inventors: 아오야마치아키
Original assignee: 혼다 기켄 고교 가부시키가이샤
Priority date: 2003-04-17
Filing date: 2004-04-14
Publication date: 2004-10-26
Also published as: KR100686952B1; US20050007385A1; JP4217100B2; JP2004318612A; US7256782B2

Abstract

자연스러운 느낌으로 실사 화상과 CG를 합성하는 것을 목적으로 한다.

입체모델(OB), 투영면(PL), 광원(L), 기준시점(O)을 계산상의 공간에 설정한다. 그리고, 기준시점(O)으로부터 입체모델(OB), 광원(L)을 추적하는 추적 시선(LC)을 정할 때에, 실사 화상을 촬영한 카메라의 촬영 화소에의 입사광선에 맞추도록, 투영 화소(PP)마다, 기준시점(O)으로부터 변위량(V_D)만큼 어긋난 위치로부터 추적 시선(LC)을 정했다.

Description

화상합성 방법, 장치, 및 프로그램, 및 입체모델의 렌더링 방법, 장치, 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR COMPOSITING IMAGES, AND METHOD, APPARATUS AND PROGRAM FOR RENDERING THREE-DIMENSIONAL MODEL}

본 발명은, 카메라에 의한 실사 화상과, 입체모델을 합성하는 화상합성 방법, 장치, 및 프로그램, 및 입체모델의 렌더링 방법, 장치 및 프로그램에 관한 것이다

종래부터, 계산기(컴퓨터)로 생성한 입체모델로부터 이차원 화상을 생성하는(이것을 「렌더링」이라고 함.) 방법으로서, 레이트레이싱법이 알려져 있다(예를 들면 특허문헌 1 참조).

레이트레이싱법은, 도 5에 도시하는 바와 같이, 계산기의 가상공간상에 입체모델(101)을 생성하고, 이 입체모델(101)을 시점(視點)(103)으로부터 보았을 때의 이차원 화상을 생성하는 방법이다. 레이트레이싱을 행할 때는, 시점(103)으로부터 입체모델(101)을 본 방향으로 투영면(102)을 설정하고, 공간의 적당한 위치에 광원(104)을 설정한다. 그리고 투영면(102)상에, 화면과 동일한 화소(105)를 설정하고, 화소(105)로부터 시점(103)에 들어오는 광선(106)을 역으로 추적하고, 입체모델(101)의 색을 화소(105)의 색으로 결정한다. 이 조작을 모든 화소(105)에 대하여 행함으로써, 투영면(102)상에 입체모델(101)이 투영된다.

그리고, 최근에는 컴퓨터의 성능 향상에 의해, 영화나 TV의 영상에서, 카메라로 촬영한 실사 화상과 컴퓨터 그래픽스(CG: Computer Graphics)로 제작한 캐릭터나 상품 등의 화상을 합성하여, 새로운 영상 표현이 행해지고 있다.

이러한 합성 화상을 제작하기 위해서는, 우선, 계산기내에서 입체모델을 생성하고, 이 입체모델을 레이트레이싱법으로 이차원 화상으로 할 때에, 실사 화상을 촬영한 카메라와, 동일한 촬영 각도(틸트각 등), 화상각이 되도록 시점과 투영면, 투영면상의 화소를 설정한다. 그리고 투영면상에 완성된 이차원 화상을 실사 화상과 중첩한다.

(특허문헌 1)

일본 특개 2000-207576호 공보(도 7, 단락 0002∼0004 등)

그러나, 상기한 바와 같은 화상합성 방법은, 카메라가 핀홀 카메라 모델에 기초하고 있는 것을 전제로 하고 있고, 실사 화상과 CG를 중첩했을 때에, 미묘한 어긋남이 발생한다.

여기에서, 핀홀 카메라 모델과, 실제의 렌즈계를 갖는 카메라의 차이에 대하여 설명한다.

핀홀 카메라 모델이란, 도 6에 도시하는 바와 같이 기점 위치(바늘구멍: 핀홀(H))을 통하여 입사하는 광(입사광)만이, 화상면상에 도달하고, 삼차원 공간이,화상면상의 이차원 공간에 대응되는 모델을 말한다. 이와 같이 핀홀 카메라 모델은, 입사광선이 1점의 핀홀을 통과하여 화상이 형성되는 것을 상정하고 있다. 그런데, 핀홀 카메라가 아니라, 렌즈계를 갖는 카메라로는 입사광선을 연장해도 1점으로 수속하지 않는다. 그 때문에 렌즈계를 갖는 카메라로 촬상한 화상에는, 비선형의 왜곡이 존재하여, 주변시야일 수록 그 왜곡이 크다.

한편, 입체모델의 렌더링시에, 1점의 고정된 시점으로부터 광선을 추적하는 것은, 입체모델을 핀홀 카메라 모델로 촬영하는 것과 동일한 관계에 있어, 실제의 카메라에 입사해 오는 광선과 비교하면, 미묘하게 상이한 방향으로부터 광선이 입사되는 계산 방법이 된다.

이와 같이, 종래의 화상합성 방법에서는, 실사 화상에 대한 CG의 보이는 방향이 미묘하게 어긋나 있으므로, 정지하고 있는 화상에서는 신경쓰이지 않아도, 동영상으로 하면, CG가 약간 요동하여, 위화감을 준다.

예를들면, 자동차의 운전석으로부터 인스트루먼트 패널과 앞 유리의 밖의 경치가 보이도록 카메라로 촬영하고, 이 실사 화상에, CG의 계기류를 인스트루먼트 패널에 합성했다고 한다. 그리고 카메라의 팬을 바꾸는 씬을 제작하면, 본래, CG의 계기류는 인스트루먼트 패널과 일체로 움직이지 않으면 안되지만, 종래의 화상합성 방법에서는, 인스트루먼트 패널에 대하여, 상대적으로 흔들리면서 움직여버린다.

이러한 현상은, 실사 화상의 촬영 거리가 근거리로부터 원거리까지 광범위하게 걸치고, 또한 카메라(시점)에 대해 설정된 CG(입체모델)의 거리가 가까우면 현저하게 된다. 이러한 문제로부터, 종래의 합성 영상 작성시에는, 손으로, CG의 위치 등을 수정할 필요가 있었다.

본 발명은, 이상과 같은 문제점을 감안하여 이루어진 것으로서, 종래의 실사 화상과 CG의 화상 합성에 있어서, 핀홀 카메라 모델을 전제로 한 오차의 근본 원인을 제거하고, 자연스러운 느낌의 합성 화상을 만드는 것이 가능한 화상합성 방법, 장치, 및 프로그램, 그리고 입체모델의 렌더링 방법, 장치, 및 프로그램을 제공하는 것을 목적으로 한다.

도 1은 실시형태에 관계되는 화상합성 장치의 구성을 도시하는 블록도이다.

도 2는 실시형태에 관계되는 화상합성 장치에서 사용되는 렌더링 방법을 설명하는 도면이다.

도 3은 교정 테이블의 일례를 도시하는 도면이다.

도 4는 실시형태에 관계되는 화상합성 장치의 처리를 도시하는 흐름도이다.

도 5는 일반적인 레이트레이싱법의 개념을 설명하는 도면이다.

도 6은 핀홀 카메라 모델의 개념을 설명하는 도면이다.

도 7은 렌즈계를 갖는 카메라의 모식도이다.

도 8은 캘리브레이션 데이터의 내용을 설명하는 도면이다.

도 9는 캘리브레이션 데이터의 생성 방법을 설명하는 도면이다.

(부호의 설명)

1 화상합성 장치

1' 렌더링 장치

10 모델 설정 수단

20 교정 테이블 축적 수단

21 교정 테이블

30 추적 시선 산출 수단

40 이차원 화상 생성 수단

50 화상합성 수단

본 발명은, 상기 목적을 달성하기 위해서 창안된 것이며, 우선, 청구항 1에 기재된 화상합성 방법은, 입체모델, 투영면, 시점을 계산상의 공간에 설정하고, 상기 시점으로부터 상기 투영면상의 투영 화소를 향하는 방향을 추적하여, 상기 입체모델의 속성을 취득하고, 상기 투영면상에 상기 입체모델의 이차원 화상을 생성하는 동시에, 카메라로 촬영한 실사 화상에 상기 이차원 화상을 겹쳐서 합성 화상을 생성하는 화상합성 방법으로서, 상기 시점으로부터 상기 투영 화소를 향하는 추적 시선을, 상기 투영 화소에 상당하는 상기 카메라의 촬영화소에의 입사광선에 맞추어서 설정하는 것을 특징으로 한다.

이와 같이, 본 발명은 계산상의 공간에서, 시점으로부터 입체모델을 보고, 투영면의 투영 화소에 입체모델의 이차원 화상을 투영하는 방법(소위 레이트레이싱법)에 있어서, 시점을 합성할 실사 화상을 촬영한 카메라에 맞추고, 투영 화소마다 설정하는 것이다. 즉, 카메라로 촬영한 화면중의 화소 위치(촬영 화소)에 따라,그 화소에 들어오는 입사광선의 방향을 미리 측정해 두고, 투영 화소에 입체모델의 색을 투영하는 추적 시선을, 그 투영 화소에 상당하는 촬영 화소에의 입사광선에 맞추도록 한다.

이 투영 화소의 색을 정할 때는, 입체모델의 속성, 예를들면 색(색조, 명도 등)이나, 반사율, 투명도, 및 기준시점(O)으로부터의 거리 등이 고려된다.

이렇게 함으로써, 카메라로 촬영한 실제의 공간과 실사 화상의 광학적 관계와, 계산상의 공간(입체모델)과 이차원 화상의 광학적 관계가 정확하게 일치하므로, 이들 실사 화상과, 이차원 화상을 합성했을 때에 자연스러운 화상 또는 영상이 된다.

청구항 2에 기재된 화상합성 장치는, 카메라로 촬영한 실사 화상과, 입체모델을 투영면상에 투영하여 생성한 이차원 화상을 겹쳐서 합성 화상을 생성하는 화상합성 장치로서, 상기 카메라로 촬영되는 실사 화상의 화소 위치와, 그 화소에 입사되는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 축적한 교정 테이블 축적 수단과, 투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 상기 카메라로 촬영했을 때의 입사광선에 맞춘 추적 시선을 산출하는 추적 시선 산출 수단과, 상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체 모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단과, 상기 실사 화상에, 상기 이차원 화상 생성 수단으로 생성한 이차원 화상을 겹치는 화상합성 수단을 구비하는 것을 특징으로 한다.

이와 같이, 교정 테이블 축적 수단에 교정 테이블을 준비해 두고, 추적 시선 산출 수단이, 투영 화소마다, 입사광선의 방향 및 위치를 특정하는 정보를 취득하고, 추적 시선, 즉, 입체모델을 투영면에 투영하기 위한 시선을 산출한다. 그리고 이차원 화상 생성 수단이, 상기 추적 시선과 입체모델과의 관계로부터 투영 화소의 색을 결정하면, 카메라로 촬영한 실제의 공간과 실사 화상의 광학적 관계와 동일한 관계에서, 입체모델로부터 이차원 화상을 생성할 수 있다. 그 때문에 화상합성 수단으로, 실사 화상과 이차원 화상을 겹치면, 자연스러운 합성 화상 혹은 합성 영상이 된다.

상기한 교정 테이블의 입사광선의 방향 및 위치를 특정하는 정보로서는, 예를들면 상기 입사광선의 방향과, 기준위치로부터 상기 입사광선에의 변위량으로 구성할 수 있다(청구항 3). 또, 이것에 한정하지 않고, 예를들면 카메라와 일정한 관계에 있는 위치를 원점으로 하고, 상기 입사광선상의 2점의 좌표에 의해 특정해도 좋다(청구항 4).

또, 이러한 화면합성 장치의 각 수단은, 카메라로 촬영한 실사 화상과, 입체모델을 투영면상에 투영하여 생성한 이차원 화상을 겹쳐서 합성 화상을 생성하기 위해서, 상기 카메라로 촬영되는 화상의 화소 위치와, 그 화소에 입사하는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 이용하여, 컴퓨터를, 투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향및 위치에 기초하여, 상기 카메라로 촬영했을 때의 입사광선에 맞춘 추적 시선을 산출하는 추적 시선 산출 수단과, 상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단과, 상기 실사 화상에, 상기 이차원 화상 생성 수단으로 생성한 이차원 화상을 겹치는 화상합성 수단으로서 기능시키도록 구성할 수도 있다(청구항 5).

그리고, 청구항 6에 기재된 발명은, 카메라로 촬영한 실사 화상에 컴퓨터 그래픽스를 합성하기 위해서, 입체모델을 이차원 화상으로 투영하는 입체모델의 렌더링 방법으로서, 입체모델, 투영면, 시점을 계산상의 공간에 설정하는 스텝과, 상기 시점으로부터 상기 투영면상의 투영 화소를 향하는 추적 시선을, 상기 투영 화소에 상당하는 상기 카메라의 촬영 화소에의 입사광선에 맞추어서 설정하는 스텝과, 상기 시점으로부터 상기 투영면상의 투영 화소를 향하는 방향을 추적하고, 상기 입체모델의 색을 취득하는 스텝과, 취득한 입체모델의 색을 상기 투영면상의 상기 투영 화소에 배치하여 이차원 화상을 생성하는 스텝을 갖는 것을 특징으로 한다.

또, 청구항 7에 기재된 발명은, 카메라로 촬영한 실사 화상에 컴퓨터 그래픽스를 합성하기 위해서, 입체모델을 이차원 화상으로 투영하는 입체모델의 렌더링 장치로서, 상기 카메라로 촬영되는 화상의 화소 위치와, 그 화소에 입사하는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 축적한 교정 테이블 축적 수단과, 투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 추적 시선을 산출하는 추적 시선 산출 수단과, 상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상생성 수단을 구비하는 것을 특징으로 한다.

또, 이와 같은 렌더링 장치의 각 수단은, 카메라로 촬영한 실사 화상에 컴퓨터 그래픽스를 합성하기 위해서, 상기 카메라로 촬영되는 화상의 화소 위치와, 그 화소에 입사되는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 이용하여, 입체모델을 이차원 화상으로 투영하는 입체모델의 렌더링 프로그램으로서, 컴퓨터를, 투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 추적 시선을 산출하는 추적 시선 산출 수단과, 상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단으로서 기능시키도록 구성할 수도 있다(청구항 8).

(발명의 실시형태)

다음에 도면을 참조하면서 본 발명의 실시형태에 대하여 설명한다.

우선, 일반적으로 핀홀 카메라 모델이라고 불리는 카메라에서, 화상의 왜곡의 원인이 되는, 입사광선이 1점에서 교차하지 않는 카메라의 비핀홀성에 대하여 설명하고, 그 비핀홀성을 갖는 카메라의 특성을 수치화한 캘리브레이션 데이터에 대하여 설명한다. 그리고 카메라의 촬영 화소마다의 캘리브레이션 데이터를 측정하여 교정 테이블을 생성하는 방법에 대하여 설명하고, 이 교정 테이블을 갖는 화상합성 장치(렌더링 장치)에 대하여 순차적으로 설명한다.

[카메라의 비핀홀성에 대하여]

우선, 도 7을 참조하여, 렌즈계를 갖는 카메라로 촬상한 화상에서, 왜곡이 발생하는 원인에 대하여 설명한다. 도 7은, 렌즈계를 갖는 카메라의 모식도이다. 여기에서는, 설명을 간략화하기 위해서, 렌즈계를 판유리(G)로 하고, 조리개(F)에 의해 핀홀(H)이 생성되어 있는 것으로 한다. 이 카메라(C)의 판유리(G)에 수직으로 입사되는 입사광선(r1)은, 핀홀(H)을 통과하여 촬영 화상(I)상의 화소(R1)에 촬상된다. 또, 판유리(G)에 비스듬히 입사된 입사광선(r2 및 r3)은, 판유리(G)내에서 굴절한 후에 핀홀(H)을 통과하여 촬영 화상(I)상의 화소(R2 및 R3)에 촬상된다.

그러나, 이 카메라(C)는, 판유리(G)를 통과하기 전의 입사광선(r2 및 r3)의 연장선인 r2' 및 r3'과, 입사광선(r1)과는, 1점에서는 교차하지 않아, 실제로는 핀홀 카메라 모델로는 되지 않았다는 것을 알 수 있다. 이 때문에, 촬영 화상(I)상의 화소(R3)에는, 핀홀 카메라 모델에서 상정하고 있는 입사광선(rr)과는, 거리 D분량만큼 어긋난 입사광선(r3)이 촬상되게 된다.

이와 같이, 렌즈계(여기에서는 판유리(G))에 입사되는 입사광선에 의해 상을 촬상하는 카메라는, 핀홀성이 붕괴되어 있게 된다(비핀홀성). 이하, 렌즈계를 갖는 카메라를 「비핀홀 카메라」라고 부르기로 한다.

[캘리브레이션 데이터에 대하여]

다음에 도 8을 참조하여, 비핀홀 카메라의 특성을 수치화한 캘리브레이션 데이터에 대하여 설명한다. 도 8은, 캘리브레이션 데이터의 내용을 설명하기 위한 설명도이다. 도 8에 도시하는 바와 같이 렌즈(1)에 입사되는 입사광선(R)은 2점으로 특정할 수 있다. 여기에서는, 제 1 광원 위치(P1)와, 제 2 광원 위치(P2)로부터 발광되는 광이 동일한 화소(도시 생략)에 촬상되었을 때에, 입사광선(R)이 그 화소에 대응하는 입사광선이라고 특정한다.

여기에서, 모든 입사광선과의 거리의 제곱 합이 최소가 되는 점을 광학중심(O)으로 정의하고, 각 촬영 화소에 대응하는 입사광선(R)과 광학중심(O)과의 거리가 최소가 되는 점을, 그 입사광선(R)의 입사광 기점(K)으로 정의한다.

즉, 광학중심(O)(x_o, y_o, z_o)은, 모든 입사광선에서, 광원 위치(P1)(x₁, y₁, z₁)과 광원 위치(P2)(x₂, y₂, z₂)로 특정되는, 입사광선(R)으로부터의 거리(d)의 제곱((1)식)합이 최소가 되는 위치를, 최소제곱법에 의해 구한 위치가 된다.

d²= -(A²/B)+C…(1)

단,

A=(x₂-x₁)(x₁-x₀)+(y₂-y₁)(y₁-y₀)+(z₂-z₁)(z₁-z₀)

B=(x₂-x₁)²+(y₂-y₁)²+(z₂-z₁)²,

C=(x₁-x₀)²+(y₁-y₀)²+(z₁-z₀)²

으로 한다.

이것에 의해, 입사광선의 방향(광원 위치(P1 및 P2)에서 특정되는 방향)과, 광학중심(O)으로부터 입사광 기점(K)에의 변위량(삼차원 벡터 V_D(dx, dy, dz)로 표현)과를 대응시킨 데이터를 캘리브레이션 데이터로 함으로써 비핀홀 카메라의 특성을 수치화 할 수 있다.

또한, 캘리브레이션 데이터는, 이것에 한정되는 것은 아니다. 예를들면, 상기한 예에서는, 광학중심(O)을 기준위치로 하고, 광학중심(O)으로부터 입사광선에 내린 수선의 발까지의 벡터를 변위량으로 하고 있지만, 기준위치는, 광학 중심에 한하지 않고, 카메라와 일정 관계에 있는 고정점이면, 어떤 점이라도 상관없다. 그리고 변위량(V_D)은, 기준위치로부터 입사광선상의 임의의 1점을 향하는 벡터이면 되고, 기준위치로부터 입사광선에 내린 수선의 발에는 한정되지 않는다.

[교정 테이블의 생성 방법]

다음에 도 9를 참조하여, 비핀홀 카메라의 특성을 수치화한 캘리브레이션 데이터를 카메라의 촬영 화소(투영 화소에 상당)마다 관련지은 교정 테이블을 생성하는 방법에 대하여 설명한다. 도 9는, 교정 테이블을 생성하는 방법의 원리를 도시하는 개념도이다. 또, 도 9(a)는, 특정한 입사광선에 대해, 카메라의 팬 및 틸트를 변화시킴으로써, 캘리브레이션 데이터를 측정하는 원리를 도시하는 개념도이며, 도 9(b)은, 고정한 카메라에 대해, 입사광선을 변화시킴으로써 캘리브레이션 데이터를 측정하는 원리를 도시하는 개념도이다.

도 9(a)에 도시하는 바와 같이 캘리브레이션 데이터를 촬영 화소마다 관련지은 교정 테이블을 생성하기 위해서는, 비핀홀성을 갖는 카메라(C)에 대해, 광원 위치를 P1 및 P2의 1방향으로 이동시켜(1축 이동), 광원 위치(P1 및 P2)에서 특정되는 입사광선(R)을 결정하고, 광원 위치(P1 및 P2)로부터 발광되는 광이 함께, 측정을 행하는 촬영화소에 입사되도록, 카메라(C)의 팬 및 틸트를 조정(2축 회전)함으로써, 카메라(C)의 촬영 화소마다 입사되는 입사광선(R)의 방향을 특정한다.

또한 도 9(b)에 도시하는 바와 같이 카메라(C)는 고정해 두고, 광원 위치(P1 및 P2)의 2점에서 발광한 입사광선(R)이, 측정 화소에 입사되도록, 광원 위치(P1 및 P2)를 XYZ방향으로 이동(3축 이동)시킴으로써, 그 측정 화소에 입사되는 광원 위치(P1 및 P2)의 2점에서 정해지는 입사광선(R)의 방향을 특정하는 것으로 해도 좋다.

도 9(a) 또는 (b)에서, 측정을 행한 각 촬영 화소마다 특정된 입사광선(R)에 기초하여, 입사광선(R)의 방향과, 광학중심(O)으로부터 입사광 기점(K)(도 8 참조)으로의 변위량을 캘리브레이션 데이터로 하여 촬영 화소(투영 화소)마다 관련지음으로써 교정 테이블을 생성할 수 있다.

또한, 교정 테이블은, 화소마다의 입사광선의 방향과 위치를, 카메라에 대해 특정할 수 있으면 되는 것으므로, 예를 들면 입사광선을 2개의 점의 좌표에 의해 특정해서 테이블화 할 수도 있다.

[화상합성 장치의 구성]

다음에 도 1 및 도 2를 참조하여, 화상구성 장치에 대하여 설명을 행한다. 도 1은, 본 발명의 실시형태인 화상합성 장치의 구성을 도시한 블록도이며, 도 2는, 실시형태에 관계되는 화상합성 장치에서 사용되는 렌더링 방법을 설명하는 도면이다. 도 1에 도시한 화상합성 장치(1)는, 카메라(도시 생략)로 촬영한 실사 화상과, 계산기로 생성한 입체모델을 합성하는 장치이다.

여기에서는, 화상합성 장치(1)를, 모델 설정 수단(10)과, 교정 테이블 축적 수단(20)과, 추적 시선 산출 수단(30)과, 이차원 화상 생성 수단(40)과, 화상합성 수단(50)과 를 갖추어서 구성했다. 또한, 화상합성 장치(1)로부터 화상합성 수단(50)을 제외한, 모델 설정 수단(10), 교정 테이블 축적 수단(20), 추적 시선 산출 수단(30), 이차원 화상 생성 수단(40)이 특허청구범위에 말하는 렌더링 장치(1')에 상당한다.

이들 각 수단은, CPU, 입출력 장치, 기억 장치를 갖는 컴퓨터에, 컴퓨터 프로그램을 실행시키고, 또는 기억장치에 데이터를 기억시킴으로써 구성할 수 있다.

모델 설정 수단(10)은, 화상합성 장치(1)(계산기)내의 공간좌표에, 입체모델(OB), 투영면(PL), 기준시점(O), 광원(L)의 위치나 모델의 위치, 자세를 설정하는 수단이다. 구체적으로는, 이것들을 화상합성 장치(1)에 입력하기 위한 입력 인터페이스에 상당한다. 이 각 값은, CG의 합성 대상이 되는 배경 등의 실사 화상(영상)을 카메라로 촬영했을 때의 상황에 맞추어서 설정된다. 예를들면, 지면에 대한 카메라의 틸트 각이나, 카메라에 대한 광원(L)의 위치 등을 설정한다.

여기에서, 입체모델(OB)은, 삼차원 CAD등에 의해 생성되고, 또는 실제로 측정에 기초하여 생성한 계산기상의 모델이며, 화상합성 장치(1)의 외부로부터 입력하고, 또는 화상합성 장치(1)가 갖는 기억장치로부터 읽어내어 설정한다.

투영면(PL)은, 계산상의 공간내에서 입체모델(OB)을 투영하는 면이다. 투영면(PL)과 기준시점(O)의 관계는, 모든 시선이 투영면(PL)을 통과하도록 설정한다. 또, 투영면(PL)상에 설정하는 투영 화소(PP)는, 촬영 화소마다 생성되는 시선이 통과하는 위치에 설정한다. 또, 투영 화소(PP)의 프레임은, 카메라의 화각에 맞는 화상 프레임이 되도록 설정한다.

기준시점(O)은, 투영면(PL)에 입체모델(OB)을 투영하기 위한 시점이 되는 위치이며, 그 위치로부터 각 투영 화소(PP)를 향하여 추적 시선(LC)을 늘리고, 입체모델(OB)의 색을 취득하는데 사용된다. 또, 후기하는 바와 같이, 추적 시선(LC)의 시점은, 정확하게는 기준시점(O)과 동일하지 않고, 변위량(V_D) 분량만큼 변위한 위치의 변위시점(OP)이 된다. 또, 청구항 1 및 청구항 6에 말하는 시점은, 기준시점(O) 및 변위시점(OP)을 포함한다.

광원(L)은, 계산상의 공간내의 가상의 광원이고, 카메라로 촬영할 때의 상황에 맞추어서 설정된다. 예를들면, 카메라 촬영이 밖에서 행해지면, 태양의 위치에 맞추어 밝기, 색, 위치 등이 결정된다. 또한, 광원(L)은 하나로 한정하는 것이 아니라, 카메라 촬영시의 상황에 맞추어 복수 설정해도 상관없다.

교정 테이블 축적 수단(20)은, 추적 시선(LC)을 결정하기 위한 교정 테이블(21)을 축적하는 기억장치이다. 교정 테이블(21)은, 도 3에 도시하는 바와 같이 투영면(PL)상의 좌표(화소 위치)(x, y)마다, 변위시점(OP)의 기준시점(O)으로부터의 변위량(V_D)(dx, dy, dz), 방향 벡터(V_c)(Cx, Cy, Cz)를 대응시켜서 기억하고있다.

변위량(V_D)은, 기준시점(O)으로부터 변위시점(OP)까지의 삼차원 벡터이다. 기준시점(O)은, 임의의 고정점이지만, 카메라의 광학 중심에 상당하는 점을 기준시점(O)으로 하는 것이 간편해서 좋다. 또, 변위량(V_D)의 종점위치는, 카메라에 들어오는 광선의 연장선상의 점이면, 어느 점이라도 상관없지만, 카메라의 입사광선에 내린 수선의 발에 상당하는 점으로 하면 간편하다.

방향 벡터(V_c)는, 변위시점(OP)으로부터, 투영 화소(PP)를 향하는 벡터이다.

즉, 기준시점(O), 변위량(V_D), 및 방향 벡터(V_c)에 의해, 추적 시선(LC)을 특정할 수 있다.

추적 시선 산출 수단(30)은, 상기한 교정 테이블 축적 수단(20)(교정 테이블(21))로부터, 투영 화소(PP)의 위치에 따른 변위량(V_D)과 방향 벡터(V_c)를 읽어 내어, 추적 시선(LC)을 산출하는 수단이다. 구체적으로는, 기준시점(O)의 좌표에 변위량(V_D)의 값을 더하여 변위시점(OP)의 좌표를 계산하고, 변위시점(OP)의 좌표와, 방향벡터(V_c)로부터 추적 시선(LC)의 식을 구하면 된다.

이차원 화상 생성 수단(40)은, 추적 시선 산출 수단(30)이 산출한 추적 시선(LC)에 기초하여, 입체모델(OB)의 색을 취득하고, 투영 화소(PP)의 색을 결정하는 수단이다. 구체적으로는, 추적 시선(LC)을 변위시점(OP)으로부터 입체모델(OB)을 향해서 추적하고, 예를들면 입체모델(OB)의 표면의 색이나 반사율을 취득하고, 광원(L)까지 추적하고, 투영 화소(PP)의 색을 포함하는 모델 정보(명도, 색조, 기준시점(O)로부터의 거리)를 결정한다. 또, 입체모델(OB)이 투명체인 경우에는, 입체모델(OB)의 내부까지 추적해서 색을 결정한다. 또, 상기 기준시점(O)으로부터의 거리는, 실사 화상에의 합성 때에 필요하게 되는 경우가 있으므로, 이것을 부가하여 기억해 두는 것이 바람직하다.

그리고 모든 투영 화소(PP)에 대하여 색을 결정함으로써, 이차원 화상을 투영면(PL)상에 생성한다.

화상합성 수단(50)은, 이차원 화상 생성 수단(40)이 생성한 이차원 화상과 실사 화상을 합성하는 수단이다. 실사 화상은, 적당한 입력 수단에 의해, 화상합성 장치(1)의 외부로부터 입력해도 좋고, 화상합성 장치(1)가 갖는 기억장치내에서 읽어내도 좋다. 화상의 합성은, 기본적으로, 실사 화상상에 기준시점(O)으로부터의 거리에 따라 이차원 화상을 겹침으로써 생성된다. 즉, 실사 화상중에서, 입체모델(OB)이 실사 화상내의 구성물보다 가깝게 찍히고 있는 화소의 색을 이차원 화상의 색으로 치환하면 된다.

또한 화상 프레임의 크기가 맞추어져 있지 않은 경우에는, 양자의 화상 프레임을 맞춘뒤에 중첩을 행한다.

다음에 도 4의 플로우차트를 참조하면서 실시형태에 관계되는 화상합성 장치(1)(렌더링 장치(1'))의 동작에 대하여 설명한다.

화상합성 장치(1)에, 우선 모델 설정 수단(10)에 의해, 입체모델(OB), 투영면(PL), 투영 화소(PP) 및 그 프레임, 기준시점(O), 광원(L)을 설정한다(스텝S1).즉, 입체모델(OB)의 데이터나, 그 계산상의 공간내의 위치를 설정하고, 기준시점(O)를 카메라 촬영시의 카메라의 위치에, 그리고 투영면(PL), 투영 화소(PP)를 촬영면의 위치에, 광원(L)이나, 기준시점(O), 투영면(PL), 투영 화소(PP)의 위치 관계를 카메라 촬영시에 맞추어서 설정한다.

그리고 교정 테이블(21)을 참조하여, 투영 화소(PP)에 대응하는 변위량(V_D) 및 방향 벡터(V_c)를 취득한다(스텝S2).

다음에, 추적 시선 산출 수단(30)이, 변위량(V_D) 및 방향 벡터(V_c)에 기초하여, 추적 시선(LC)을 산출한다(스텝S3).

추적 시선(LC)을 산출하면, 이차원 화상 생성 수단(40)이, 변위시점(OP)으로부터 추적 시선(LC)을 따라 입체모델(OB)의 속성(예를들면 표면·내부의 색이나, 반사율, 투명도 등), 광원(L)을 추적하고(스텝S4), 투영 화소(PP)의 색을 결정한다(스텝S5).

그리고, 모든 투영 화소(PP)에 대하여 색을 결정하고 있지 않으면(스텝S6, No), 스텝S2∼스텝S5를 반복하고, 모든 투영 화소(PP)에 대하여 색을 결정하면(스텝S6, Yes), 이차원 화상이 완성된다(스텝S7).

최후에, 실사 화상에 완성된 이차원 화상을 중첩하면(스텝S8), 합성 화상이 완성된다.

이상과 같은 실시형태의 화상합성 장치(1)(렌더링 장치(1'))에 의하면, 실사 화상을 촬영한 카메라의 입사광선과 동일한 추적 시선으로 입체모델을 투영면에 투영할 수 있다. 그 때문에 투영면으로 생성한 이차원 화상을 실사 화상에 겹쳐서 합성 화상을 작성하면, 실사 화상상의 정확한 위치, 방향에서 이차원 화상(CG)이 합성된다. 그 때문에 이 화상합성 장치(1)(렌더링 장치(1'))를 사용하여 CG와 실사 화상을 합성하고, 각 화면을 생성하면, 실사 영상과 CG영상이 자연스럽게 융합된 영상을 용이하게 제작할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 관계되는 화상합성 방법, 화상합성 장치, 또는 화상합성 프로그램에 의하면, 카메라의 비핀홀성을 고려해서, 광학중심과 실제로 카메라의 렌즈계에 입사하는 광의 어긋남을 보정하여, 실사 화상과 CG화상을 자연스럽게 융합한 화상을 얻을 수 있다.

또, 본 발명에 관계되는 렌더링 방법, 렌더링 장치, 또는 렌더링 프로그램에 의하면, 실사 화상과 합성하기 위한 이차원 화상을 용이하고 또한 정확하게 생성할 수 있다.

Claims

입체모델, 투영면, 시점을 계산상의 공간에 설정하고, 상기 시점으로부터 상기 투영면상의 투영 화소를 향하는 방향을 추적하고, 상기 입체모델의 속성을 취득하고, 상기 투영면상에 상기 입체모델의 이차원 화상을 생성하는 동시에, 카메라로 촬영한 실사 화상에 상기 이차원 화상을 겹쳐서 합성 화상을 생성하는 화상합성 방법으로서,

상기 시점으로부터 상기 투영 화소를 향하는 추적 시선을, 상기 투영 화소에 상당하는 상기 카메라의 촬영화소에의 입사광선에 맞추어 설정하는 것을 특징으로 하는 화상합성 방법.
카메라로 촬영한 실사 화상과, 입체모델을 투영면상에 투영하여 생성한 이차원 화상을 겹쳐서 합성 화상을 생성하는 화상합성 장치로서,

상기 카메라로 촬영되는 실사 화상의 화소 위치와, 그 화소에 입사하는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 축적한 교정 테이블 축적 수단과,

투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 상기 카메라로 촬영했을 때의 입사광선에 맞춘 추적 시선을 산출하는 추적 시선 산출 수단과,

상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단과,

상기 실사 화상에, 상기 이차원 화상 생성 수단으로 생성한 이차원 화상을 겹치는 화상합성 수단을 구비하는 것을 특징으로 하는 화상합성 장치.
제 2 항에 있어서, 상기 교정 테이블의 입사광선의 방향 및 위치를 특정하는 정보는, 상기 입사광선의 방향과, 기준위치로부터 상기 입사광선에의 변위량으로 이루어지는 것을 특징으로 하는 화상합성 장치.
제 2 항에 있어서, 상기 교정 테이블의 입사광선의 방향 및 위치를 특정하는 정보는, 상기 입사광선상의 2점의 좌표인 것을 특징으로 하는 화상합성 장치.
카메라로 촬영한 실사 화상과, 입체모델을 투영면상에 투영하여 생성한 이차원 화상을 겹쳐서 합성 화상을 생성하기 위해서, 상기 카메라로 촬영되는 화상의 화소 위치와, 그 화소에 입사하는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 사용하여, 컴퓨터를,

투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 상기 카메라로 촬영했을 때의 입사광선에 맞춘 추적 시선을산출하는 추적 시선 산출 수단과,

상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단과,

상기 실사 화상에, 상기 이차원 화상 생성 수단으로 생성한 이차원 화상을 겹치는 화상합성 수단으로서 기능시키는 것을 특징으로 하는 화상합성 프로그램.
카메라로 촬영한 실사 화상에 컴퓨터그래픽스를 합성하기 위해, 입체모델을 이차원 화상으로 투영하는 입체모델의 렌더링 방법으로서,

입체모델, 투영면, 시점을 계산상의 공간에 설정하는 스텝과,

상기 시점으로부터 상기 투영면상의 투영 화소를 향하는 추적 시선을, 상기 투영 화소에 상당하는 상기 카메라의 촬영 화소에의 입사광선에 맞추어서 설정하는 스텝과,

상기 시점으로부터 상기 투영면상의 투영 화소를 향하는 방향을 추적하고, 상기 입체모델의 색을 취득하는 스텝과,

취득한 입체모델의 색을 상기 투영면상의 상기 투영 화소에 배치하여 이차원 화상을 생성하는 스텝을 갖는 것을 특징으로 하는 입체모델의 렌더링 방법.
카메라로 촬영한 실사 화상에 컴퓨터 그래픽스를 합성하기 위해, 입체모델을 이차원 화상으로 투영하는 입체모델의 렌더링 장치로서,

상기 카메라로 촬영되는 화상의 화소 위치와, 그 화소에 입사하는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 축적한 교정 테이블 축적 수단과,

투영면상의 투영 화소마다에, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 추적 시선을 산출하는 추적 시선 산출 수단과,

상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단을 구비하는 것을 특징으로 하는 입체모델의 렌더링 방법.
카메라로 촬영한 실사 화상에 컴퓨터 그래픽스를 합성하기 위해, 상기 카메라로 촬영되는 화상의 화소 위치와, 그 화소에 입사하는 입사광선의 방향 및 위치를 특정하는 정보를 관련지은 교정 테이블을 사용하여, 입체모델을 이차원 화상으로 투영하는 입체모델의 렌더링 프로그램으로서, 컴퓨터를,

투영면상의 투영 화소마다, 그 투영 화소의 화소 위치로부터, 상기 교정 테이블을 참조하여 상기 입사광선의 방향 및 위치를 취득하고, 이들 입사광선의 방향 및 위치에 기초하여, 추적 시선을 산출하는 추적 시선 산출 수단과,

상기 추적 시선 산출 수단으로 산출한 추적 시선과, 상기 입체모델과의 관계로부터, 상기 투영 화소의 색을 결정하고, 투영면상의 이차원 화상을 생성하는 이차원 화상 생성 수단으로서 기능시키는 것을 특징으로 하는 입체모델의 렌더링 프로그램.