KR101273531B1

KR101273531B1 - 모션 컨트롤 카메라를 이용한 실사와 ｃｇ 합성 애니메이션 제작 방법 및 시스템

Info

Publication number: KR101273531B1
Application number: KR1020100036980A
Authority: KR
Inventors: 최철영; 김기홍; 최규돈; 채일진
Original assignee: 동서대학교산학협력단
Priority date: 2010-04-21
Filing date: 2010-04-21
Publication date: 2013-06-14
Also published as: KR20110117487A

Abstract

본 발명은 실사와 CG 합성 애니메이션 제작의 효율성을 극대화하는 방법에 관한 것으로, 보다 상세하게는, 모션캡쳐를 통한 CG 캐릭터의 애니메이팅 데이터를 사용하고, 스톱모션 애니메이션의 재질감을 유지하기 위해 실사 배경과의 합성을 통해 콘텐츠를 완성하는 과정에서 프로그램상의 CG 카메라의 움직임에 연동하여 실사 촬영용 카메라의 움직임을 제어하여 실사 배경을 촬영하는 과정과, 합성이 원할히 이루어지도록 하기 위해 실사 조명을 CG 공간에 적용한 CG 조명세트를 적용하는 과정, CG와 실사 이미지의 합성과정에서 레이어 분류 및 적정 수치 규정 등이 포함된 애니메이션을 제작하는 기술 및 공정에 관한 것이다.모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법은, (a) 오브젝트의 움직임으로부터 모션 캡쳐 장비를 이용하여 모션 캡쳐 데이터를 생성하고, 상기 모션 캡쳐 데이터를 이용하여 3D 모델링 툴에 의해 CG 캐릭터가 생성되는 단계; (b) 실제 공간에 제작된 배경 세트로부터 촬영에 의해 배경맵이 생성되며, 상기 배경맵이 포함되고, 상기 CG 캐릭터와 상기 배경맵에 비춰주는 가상 조명의 환경을 설정하는 CG 조명 세트가 설정되고, 가상 조명의 환경이 반영된 상기 CG 캐릭터의 캐릭터 이미지를 렌더링하는 단계; (c) 상기 CG 캐릭터의 움직임에 따라 위치 제어되는 카메라 제어 유닛의 제어에 의해 이동 촬영하여 상기 배경 세트의 배경 이미지를 생성하는 단계; (d) 상기 캐릭터 이미지와 상기 배경 이미지 합성에 의해 애니메이션 프레임을 생성하는 단계;를 포함한다.

Description

모션 컨트롤 카메라를 이용한 실사와 ＣＧ 합성 애니메이션 제작 방법 및 시스템{Between Real image and CG Composed Animation authoring method and system by using motion controlled camera}

본 발명은 실사와 CG 합성에 의한 애니메이션 제작 방법에 관한 것으로, 보다 상세하게는, 애니메이션 제작시 프로그램상의 CG 카메라의 움직임에 연동하여 촬영용 카메라의 움직임을 제어하여 촬영하고, 그에 따른 조명 연출 기술 및 배경 합성 기술을 통해 애니메이션을 제작하는 공정 시스템에 관한 것이다.

애니메이션은, 주지된 바와 같이, 컴퓨터로 CG 캐릭터와 배경을 제작하여 애니메이션을 완성하는 컴퓨터 그래픽 애니메이션(CG animation), 캐릭터 인형의 정지 동작을 한 프레임씩 촬영하는 스톱 모션 애니메이션(stop-motion animation), 일일이 종이 위에 그림을 그려 촬영하는 셀 애니메이션(cells animation), 그림자를 이용하는 실루엣 애니메이션(silhouette animation)등을 포함하여 수십 종이 있다.

스톱 모션 애니메이션은 영화가 초당 24프레임으로 구성되는 점에 착안하여 개별적인 움직임을 한 프레임씩 촬영하여 시각 효과를 얻는 스톱 모션 촬영 기법을 이용한 것으로, 점성이 있는 재료로 캐릭터 인형을 제작하고 이 캐릭터 인형의 자세를 한 프레임씩 변형시키면서 촬영하여 제작된다.

스톱 모션 애니메이션은 특히, 아동이 좋아하는 인형을 소재로 하기 때문에 친근감이 있어 3D 애니메이션보다 관객들에게 친숙하지만 한 프레임씩 개별 촬영을 하므로 제작 기간이 길고, 수정이 어려운 단점이 있다.

따라서, 제작 효율을 높이기 위해서는 제작 효율을 낮추는 인형 등을 소재로 한 캐릭터 애니메이팅을 배제하고, 이를 모션캡쳐를 이용한 3D CG 캐릭터의 애니메이팅을 이용한 기술로 대치하여 제작 기간 및 제작 인력을 대폭 감소시킴으로써, 제작 효율을 향상시킬 수 있다.

이때, CG 데이터 사용으로 인한 스톱모션 애니메이션만의 독특한 재질감이 감소되는 것을 방지하기 위해 CG와 실사 배경 합성을 통해 최종 결과물을 산출하는 제작 공정이 필요하다.

그런데 모션캡쳐 애니메이팅 데이터를 이용하여 제작한 콘텐츠에서 스톱모션의 감성을 이끌어내기 위해서는 미니어쳐 실사 배경을 제작하여 CG 캐릭터 데이터와의 합성을 통해 이루어질 수 있다. 전체 화면의 3분의 2이상을 배경이 차지하므로 배경이 가지는 재질감이 관객에게 CG에서 구현하는 질감의 어색함을 감소시키며, 심지어 배경의 재질감으로 이해시키게 된다. 하지만, 이 과정을 효과적으로 수행하기 위해서는 다음 기술 및 과정이 필요하다.

효율적인 CG와 실사 배경의 합성을 통한 애니메이션 제작을 위해서는 실사 배경의 조명과 유사한 CG 라이팅 세트 구현 기술 및 CG 카메라의 움직임을 실사 촬영용 카메라의 움직임에 연동시켜 움직이게 하는 기술, CG 이미지와 실사 이미지 합성을 위한 기술들이 필요하다.

본 발명은 상기한 필요성을 감안하여 창안된 것으로, 효율적인 CG와 실사 배경의 합성을 위해 3D 모델링 툴을 이용하여 CG 캐릭터를 제작하고, 배경이미지만을 촬영하여 합성하되, CG 카메라와 연동하여 CG 캐릭터의 움직임에 따라 움직임이 제어되는 카메라로 배경이미지를 촬영함으로써, 자연스러운 합성이 가능하도록 된 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법 및 시스템을 구현하는 것을 목적으로 한다.

또한, 본 발명은 CG 캐릭터와 실사 배경 이미지의 자연스러운 합성을 위해 배경 세트에서의 조명 세트 설정과 동일하도록 가상의 CG 조명 세트를 설정하여 CG 캐릭터에 적용하여 캐릭터 이미지를 렌더링하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법 및 시스템을 구현하는 것을 다른 목적으로 한다.

오브젝트의 움직임으로부터 모션 캡쳐 장비를 이용하여 모션 캡쳐 데이터를 생성하고, 상기 모션 캡쳐 데이터를 이용하여 3D 모델링 툴에 의해 CG 캐릭터가 생성되는 단계; (b) 실제 공간에 제작된 배경 세트로부터 촬영에 의해 배경맵이 생성되는 과정과, 상기 배경맵이 포함되고, 상기 CG 캐릭터와 상기 배경맵에 비춰주는 가상 조명의 환경을 설정하는 CG 조명 세트가 설정되는 과정과, 가상 조명의 환경이 반영된 상기 CG 캐릭터의 캐릭터 이미지를 렌더링하는 과정으로 이루어지는 단계; (c) 상기 CG 캐릭터의 움직임에 따라 위치 제어되는 카메라 제어 유닛의 제어에 의해 이동 촬영하여 상기 배경 세트의 배경 이미지를 생성하는 단계; (d) 상기 캐릭터 이미지와 상기 배경 이미지 합성에 의해 애니메이션 프레임을 생성하는 단계;를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 애니메이션 제작 시스템은, 오브젝트를 대상으로 모션 캡쳐 장비에 의해 생성된 모션 캡쳐 데이터를 이용하여 3D 모델링 툴로 CG(computer graphics) 캐릭터를 생성하고, 실제 배경 세트로부터 촬영된 배경맵(env map)과 실제 조명 환경과 동일한 가상 조명 환경 설정을 포함한 CG 조명 세트(lighting set)를 생성하고, 가상 조명의 환경이 반영된 상기 CG 캐릭터를 렌더링하며, 상기 CG 캐릭터를 촬영하는 CG 카메라로부터 카메라 움직임 데이터를 추출하는 제어용 컴퓨터; 상기 제어용 컴퓨터와 통신하여 상기 카메라 움직임 데이터를 전송받아 위치 제어용 모터 드라이버를 구동하는 메인제어기; 및 상기 메인제어기로부터 구동된 모터 드라이버에 따라 X축, Y축 또는 Z축의 위치값에 의해 위치 제어되거나 Pan/Tilt 제어되며, 배경 세트 촬영용 카메라가 설치되는 카메라 제어 유닛(400)을 포함하되, 상기 제어용 컴퓨터는 상기 카메라로부터 촬영된 배경 이미지와, 상기 CG 캐릭터를 합성하여 애니메이션 프레임을 생성하는 것을 포함한다.

본 발명에 따르면, 캐릭터의 연출 이미지를 컴퓨터 그래픽으로 제작 및 렌더링하고, 배경 이미지만을 촬영하여 캐릭터 이미지와 합성함으로써, 스톱모션 애니메이션의 재질감을 유지하도록 실사와 CG가 합성된 애니메이션 제작 시스템을 통해 기존의 스톱모션 애니메이션보다 제작 인력, 기간 및 예산을 대폭 감소할 수 있고, 애니메이팅 수정 및 모션캡쳐 데이터의 재활용을 통해 시리즈 콘텐츠를 제작할 수 있어, 시리즈 콘텐츠에 대한 예산 및 기간이 줄어들며, 따라서, 지속적으로 제작 효율을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법의 순서도이다.도 2a는 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법에서 CG 조명 세트를 설정하는 과정을 도시한 순서도이다.도 2b는 CG 조명 세트를 설정하는 과정에 대하여 그림으로 나타낸 도면이다.도 3은 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템을 개략적으로 도시한 도면이다.도 4는 본 발명의 일 실시예에 따른 모션 컨트롤을 이용한 실사와 CG 합성 애니메이션 제작 시스템을 나타낸 블록도이다.도 5는 어클루전 이미지 생성규칙과, 렌더링 이미지 레이어 합성 규칙에 대해 설명한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법의 순서도이다.

먼저, 오브젝트를 대상으로 모션 캡쳐 장비를 통하여 모션 캡쳐 데이터를 생성한다(S100).

이때, 오브젝트는 사람, 다양한 소재의 인형, 로봇 등이 될 수 있다.

모션 캡쳐 장비를 이용한 모션 캡쳐 데이터 획득은 마커(marker)라고 불리는 자기 센서 등을 이용하여 가능하며, 이는 공지된 기술인 바, 구체적인 설명은 생략한다.

이 모션 캡쳐 데이터에는 오브젝트의 움직임에 따른 뼈대 구조 및 회전 정보를 포함하게 된다.

이러한 모션 캡쳐 데이터를 이용하여 3D 모델링 툴에서 CG(computer graphics) 캐릭터를 제작할 수 있다.

본 실시예에서는 3D 모델링 툴로 MAYA를 이용하며, 그 외에 3D MAX 등과 같은 소프트웨어도 이용할 수 있다. 따라서, 모션 캡쳐 데이터는 .fbx 확장자 포맷으로 MAYA 소프트웨어에 제공되는 것이 바람직하다.

일반적으로 모션 캡쳐 데이터는 초당 프레임 수를 30 즉, 30 fps(frame per second; fps, 초당 프레임 수)로 생성되는데, 본 발명의 실시예에서는 스톱 모션 애니메이션을 제작하므로, 부드러운 움직임보다는 움직임을 단순화할 필요성이 있으므로, 10 fps로 변환한다(S102).

이때, 제작된 캐릭터를 변형시킬 필요가 있을 때-예컨데, 물건을 들게 하거나 움직임을 변화시킬 필요가 있을 때-수정이 용이하도록 캐릭터의 각 FK(forward kinermatics) 조인트에 데이터가 입력되도록 한다. 구체적으로, 캐릭터 세트(character set)는 FK 캐릭터 세트와 IK(inverse kinermatics) 캐릭터 세트 두 종류가 콘스트레인으로 연결되어 캐릭터의 동작 수정이 필요한 경우 IK 조인트를 이용하여 수정한다.

다음 과정으로는, 제작된 CG 캐릭터가 실사 배경 속에 존재하는 느낌을 만들어주기 위해 배경 세트의 조명 설정과 유사한 가상의 CG 조명 세트(lighting set)를 설정한다(S104). 이 과정은 이후 실제로 촬영되는 배경 이미지와의 합성 시 자연스러운 조명 연출을 위한 과정으로, CG 조명 세트를 설정하는 구체적인 과정은 후술하여 설명하기로 한다.

이제, 기 설정된 CG 조명 세트에서 CG 캐릭터 이미지를 렌더링한다(S106).

이때, 렌더링 방식은 멘탈레이의 파이널 개더링(final gathering) 방식으로 렌더링하여 이미지 시퀀스로 제작한다.

또한, 렌더링되는 CG 캐릭터 이미지는 배경 이미지와 어울리도록 적절한 조명에 의해 캐릭터, 그림자, 캐릭터 어클루전(Occlusion), 그림자 어클루전으로 나눠 렌더링된다. 캐릭터 어클루전과 그림자 어클루전은 캐릭터에 비춰지는 그림자의 깊이감을 만들고, 바닥과 캐릭터의 접촉면인 콘택 쉐도우(contact shadow)를 만들기 위해 렌더링된다.

한편, 애니메이션 프레임을 제작하기 위해 배경 이미지가 필요한데, 배경 이미지는 스톱모션 애니메이션의 느낌을 주기 위하여 실제보다 축소된 크기의 배경 세트로부터 촬영에 의해 생성시킨다.

이때, CG 캐릭터와는 별도로 배경 이미지가 촬영되기 때문에 CG 캐릭터의 움직임에 맞춰 배경 이미지를 이동 촬영하는 과정이 필요하게 된다.

따라서, 프로그램상의 CG 카메라를 이용하여 CG 캐릭터의 움직임을 포착하고, 이때의 CG 카메라로부터 카메라 움직임 데이터를 추출한다(S108).

추출된 카메라 움직임 데이터를 이용하여 위치 제어되도록 구성된 카메라 제어 유닛이 프로그램 제어된다. 이때, 카메라 제어 유닛의 초기 위치값을 설정하여 초기 위치에서 카메라 움직임 데이터에 따라 카메라를 상하 또는 좌우로 위치 제어되는 것이 바람직하다(S110).

이제, CG 카메라의 카메라 움직임 데이터에 따라 연동하여 카메라 제어 유닛에 설치된 카메라가 이동하면서 배경 세트를 촬영하게 되고, 배경 이미지를 생성시킨다(S112). 즉, 카메라 제어 유닛에 설치되는 카메라가 모션 컨트롤 카메라가 되며, 이 모션 컨트롤 카메라는 예컨데, DSLR(digital single-lens reflex; DSLR) 카메라가 될 수 있으며, 자동 촬영 기능(타이머 촬영 기능) 등을 사용하여 촬영할 수도 있다.

마지막으로, S106 단계에서 렌더링된 캐릭터 이미지와 S114단계에서 생성된 배경 이미지를 합성한다.

도 5는 어클루전 이미지 생성규칙과, 렌더링 이미지 레이어 합성 규칙에 대해 설명한 도면이다.

도 5를 참조하여 합성 규칙에 대하여 구체적으로 설명하면, 촬영된 배경과 렌더링된 CG 캐릭터 이미지와의 합성은 캐릭터 어클루전 이미지- CG 캐릭터 이미지(RGB) -그림자 어클루전- 이미지 그림자 -배경 이미지(실사)가 위에서 아래순으로 합성된다. 이때, 도 5에 도시된 바와 같이, 캐릭터 어클루전은 레이어스타일 형태가 multiply, 투명도는 50%, 캐릭터 이미지는 레이어스타일 형태가 normal, 투명도는 100%, 그림자 어클루전은 레이어스타일 형태가 multiply, 투명도는 60%를 가진다. 그림자는 레이어스타일 형태가 normal, 투명도는 60%이며, 배경 이미지는 레이어스타일 형태가 normal, 투명도는 100%를 갖는 것이 바람직하다. 물론, 레이어스타일 형태와 투명도는 당업자가 필요에 따라 변경이 가능하다.

나아가, 어클루전 이미지에서 캐릭터 어클루전은 캐릭터의 형태에 따른 약간의 깊이감을 생성하도록 하고, 그림자 어클루전은 캐릭터와 바닥의 접촉부위에 강한 그림자를 생성해 캐릭터의 공간 내 존재감을 강하게 표현하기 위해 사용된다. 캐릭터 어클루전과 그림자 어클루전 사이에 얇고 퍼져나가는 차이가 필요하므로, 생성 규칙 어클루전의 패러미터 수치 변경이 필요하다. 예컨데, 각 패러미터 수치는 도 5에 도시된 바와 같이, 캐릭터 어클루전의 경우, 어클루전 패러미터(Occlusion Parameter)로써, Samples=32, Bright=0,0,1 (HSV), Dark= 35,1,0.15 (HSV), Spread=1, Max Distance=0.8로 셋팅하며, 그림자 어클루전의 경우, Samples=32, Bright=0,0,1 (HSV), Dark= 35,1,0.15 (HSV), Spread=0.3, Max Distance=0으로 셋팅될 수 있으나, 이는 당업자가 필요에 따라 변경이 가능함은 물론이다.

이러한 합성 과정을 거쳐 하나의 애니메이션 프레임을 제작하게 되며, 다수의 애니메이션 프레임을 제작하여 애니메이션이 제작된다.

도 2a는 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법에서 CG 조명 세트를 설정하는 과정을 도시한 순서도이며, 도 2b는 CG 조명 세트를 설정하는 과정에 대하여 그림으로 나타낸 도면이다.

CG 캐릭터에 적용할 CG 조명 세트는 CG 캐릭터에 실제 배경 세트에서의 실제 조명과 같은 조명 설정이 이루어져야 한다. 예를 들면, 실제 배경 세트에 실제로 캐릭터가 있다고 가정할 때, 캐릭터에 조명을 비춰주게 되면, 배경 반사가 이루어져 캐릭터의 의상이나 특정 신체부위에 배경 이미지가 나타날 수도 있다. 그렇기 때문에 캐릭터상에 나타나는 배경 반사와 같은 실제 조명에서의 느낌을 주기 위해서 먼저, 실제 배경 세트의 배경 이미지를 촬영하여 배경맵(env map)을 제작한다.

배경맵을 제작하기 위해서 실제 배경 세트로부터 피쉬아이 렌즈를 장착한 카메라로 배경 이미지를 촬영한다(S200). 피쉬아이 렌즈는 180도의 시야만을 갖는 렌즈이다. 스톱모션 애니메이션의 배경은 연극 무대와 흡사한 180도 구간만 요구하기 때문에, 이 피쉬아이 렌즈로 무대의 정면만을 촬영하는 것이 효율적이다.

피쉬아이 렌즈로 같은 장면(무대 정면)에 대해서 6장 이상의 이미지를 노출을 달리하여 촬영하고, 합성하여 HDRI(high dynamic ranging imaging; HDRI) 이미지로 생성시킨다(S202). 이 HDRI 이미지의 노출 정도를 조절하여 밝기를 조절함으로써, CG 조명 세트의 설정을 바꿀 필요 없이 낮과 밤의 분위기를 연출할 수도 있어, 제작의 편리성을 도모할 수 있다.

다음 과정으로, 구(求) 상의 HDRI 이미지를 평면 상의 이미지로 변환하는 작업을 수행한다(S204).

평면 상의 이미지로 변환되고 나면, 해당 이미지를 복사하여 미러링(mirroring)에 의해 360도 구간의 이미지(배경맵)로 만든다(S206). 대개, 관객이나 감독이 위치하는 어두운 공간인 무대 뒷면의 촬영은 배경맵으로서의 의미가 없으므로 무대 정면의 이미지를 복사 후 미러링하여 붙임으로써, 360도 구간의 이미지를 완성하는 것이다.

이제, 360도 구간으로 보정된 이미지(배경맵)를 적용하여 CG 조명 세트를 설정한다(S208).

CG 조명 세트는 배경맵을 3D 공간에 붙이기 위한 폴리곤 스피어와 3D상의 CG 캐릭터의 그림자 및 어클루전 이미지를 추출하기 위한 폴리곤 바닥, 그리고 가상 조명, 3D 큐브로 이루어진다.

실제 배경 세트와의 위치와 크기 문제를 고려하여 10cm * 10 cm 규격으로 실제 배경 세트에서 기준 큐브를 기준점으로 설정한다. 기준 크기인 3D 공간의 3D 큐브와 일치하게 하여 CG 조명 세트의 크기와 조명의 위치를 애니메이션 장면(scene)별로 일치하여 일정 크기를 유지하도록 한다. 이러한 실제 배경 세트와 CG 조명 세트간의 공간 크기의 기준이 되는 큐브 설정은 공간별 일정한 조명을 연출하기 위해서 필요하다.

한편, 3D 가상 조명은 그림자를 만들어내는 키라이트와 필라이트, 바운스라이트 세 개로 구성되는 것이 바람직하다. 즉, 캐릭터 렌더링할 때 배경의 이미지가 반사되어 캐릭터에 입혀지게 되므로, 양쪽에서 비춰주는 라이트와 캐릭터 앞쪽에서 얼굴에 그림자를 방지하는 바운스라이트가 설치될 수 있다.

즉, 가상 조명의 환경이 실제 배경 세트의 조명의 환경과 동일한 설정이 되도록 가상 조명의 세기, 위치, 각도 또는 세기를 설정한다.

이러한 반복 과정을 거쳐, 다양한 실제 배경 세트로부터 배경맵을 제작한다. 즉, 배경맵은 에피소드별, 장면(scene)별로 별도로 제작된다.

제작된 배경맵은 다양한 조명 조건이 설정된 배경 세트별로 배경맵 이미지를저장하며, 배경 세트별로 조명 설정 또한 저장한다(S210). 저장된 배경맵과 조명 설정은 다양한 에피소드와 장면(scene) 연출 시에 프로그램 상에서 배경맵 또는 조명 설정 선택 후 적용(지정)에 의해 간단하게 CG 조명 세트를 설정할 수 있으므로(S212), 제작의 효율성을 향상시킬 수 있다.

도 3은 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템을 개략적으로 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템을 나타낸 블록도이다.

도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템은 제어용 컴퓨터(100), 메인제어기(200), 카메라 제어 유닛(400), 카메라 제어 유닛(400)에 장착된 카메라로 구성될 수 있다.

제어용 컴퓨터(100)는 3D 모델링 툴인 MAYA가 설치되며, 모션 캡쳐 장비와 연동하여 모션 캡쳐 데이터를 획득할 수 있는 환경을 구축한다.

이때, 모션 캡쳐 데이터로부터 초당 프레임 수를 변환할 수 있으며, 3D 모델링 툴에 의해 3차원(3D) CG 캐릭터를 생성시킨다.

나아가, 실제 배경 세트로부터 촬영에 의해 제작된 배경맵을 이용하여 CG 조명 세트를 구성할 수 있으며, 실제 배경 세트와 동일한 조명 환경을 반영한 CG 조명 세트를 적용하여 CG 캐릭터가 랜더링된다.

또한, 카메라 제어 유닛(400)을 위치 제어하기 위하여 프로그램 상에서 CG 카메라를 생성하여 CG 캐릭터의 움직임에 따라 카메라 움직임 데이터를 추출한다.

제어용 컴퓨터(100)의 명령에 의해 이 카메라 움직임 데이터는 메인제어기(200)를 거쳐, 카메라 제어 유닛(400)에 전송되고, 카메라 제어 유닛(400)을 위치 제어하게 된다.

이때, 제어용 컴퓨터(100)와 메인제어기(200)와의 통신은 LAN에 의해 이루어질 수 있다.

메인제어기(200)는 제어용 컴퓨터(100)로부터 명령을 받아 전송된 카메라 움직임 데이터로부터 카메라 제어 유닛(400)을 위치 제어하기 위하여 위치 제어용 모터 드라이버를 구동하여 카메라 제어 유닛(400)에 위치 제어하도록 명령하는 역할을 수행한다.

메인제어기(200)는 컴퓨터통신부(210), 원격통신부(220), PLC제어부(230), LCD컨트롤러(240), 위치제어부(250), Pan/Tilt제어부(260), 회전각도제어부(270)를 더 포함할 수 있다.

컴퓨터통신부(210)는 LAN통신모듈(211), 통신인터페이스보드(212)를 더 포함할 수 있으며, LAN통신모듈(211)은 제어용 컴퓨터(100)와 LAN통신을 수행하며, 통신인터페이스보드(212)는 LAN통신 및 원격통신부(220)와 원격 통신이 가능하도록 통신 프로토콜을 구성한다.

원격통신부(220)는 후술할 리모콘(500)과 원격 통신에 의해 제어용 컴퓨터(100) 및 카메라 제어 유닛(400)을 원격 제어가 가능하게 한다.

PLC제어부(230)는 제어용 컴퓨터(100)로부터 전송된 카메라 움직임 데이터를 이용하여 카메라 제어 유닛(400)을 프로그램 제어하는 기능을 수행한다. 즉, 카메라 제어 유닛(400)을 위치 제어하기 위한 위치값을 연산 수행하고, 위치제어부(250)에 위치값을 전송하여 위치제어부(250)에서 모터드라이브를 구동하도록 한다. 또한, LCD컨트롤러(240)에 LCD화면표시부(300)를 통해 카메라 움직임에 따른 위치값을 표시하도록 명령하는 기능을 수행한다.

LCD컨트롤러(240)는 PLC제어부(230)로부터의 명령에 의해 LCD화면표시부(300)에 위치값을 표시하도록 제어한다.

위치제어부(250)는 PLC제어부(230)로부터 위치값을 전송받아 X축, Y축, Z축 방향의 서보모터를 구동하기 위하여 X축모터드라이버(251), Y축모터드라이버(252), Z축모터드라이버(253)를 구동하게 된다.

Pan/Tilt제어부(260)는 제어용 컴퓨터(100)로부터 전송된 카메라 움직임 데이터를 이용하여 카메라 제어 유닛(400)을 팬(Pan) 또는 틸트(Tilt)제어하기 위한 위치값을 연산 수행한다.

회전각도제어부(270)는 Pan/Tilt제어부(260)로부터 연산된 위치값을 전송받아 Pan모터드라이버(271)와, Tilt모터드라이버(272)를 구동시킨다.

카메라 제어 유닛(400)은 X축모터드라이버(251), Y축모터드라이버(252), Z축모터드라이버(253)에 따라 각각 구동되는 X축 서보모터(410), Y축 서보모터(420), Z축 서보모터(430)와, Pan모터드라이버(271), Tilt모터드라이버(272)에 따라 각각 구동되는 Pan축 스텝모터(440), Tilt축 스텝모터(450), 모션 컨트롤 카메라(600)를 포함하여 구성될 수 있다.

카메라 제어 유닛(400)에 장착된 모션 컨트롤 카메라(600)는 자동 촬영 기능이나 수동 촬영에 의해 배경 세트의 배경 이미지를 촬영하게 된다.

리모콘(500)은 원격통신부(220)와 원격통신에 의해 제어용 컴퓨터(100)에 카메라 제어 유닛(400)의 위치 제어를 원격으로 명령하고, 제어용 컴퓨터(100)와 연동하여 카메라 제어 유닛(400)을 원격 조종하게 한다.

원격 통신 방식은 예컨데, CAN 통신이 될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야 한다.

100 : 제어용 컴퓨터 200 : 메인제어기
210 : 컴퓨터통신부 211 : LAN통신모듈
212 : 통신인터페이스보드 220 : 원격통신부
230 : PLC제어부 240 : LCD컨트롤러
250 : 위치제어부 251 : X축모터드라이버
252 : Y축모터드라이버 253 : Z축모터드라이버
260 : Pan/Tilt제어부 270 : 회전각도제어부
271 : Pan모터드라이버 272 : Tilt모터드라이버
300 : LCD화면표시부 400 : 카메라 제어 유닛
410 : X축 서보모터 420 : Y축 서보모터
430 : Z축 서보모터 440 : Pan축 스텝모터
450 : Tilt축 스텝모터 500 : 리모콘
600 : 모션 컨트롤 카메라

Claims

오브젝트의 움직임으로부터 모션 캡쳐 장비를 이용하여 모션 캡쳐 데이터를 생성하고, 상기 모션 캡쳐 데이터를 이용하여 3D 모델링 툴에 의해 CG 캐릭터의 움직임을 생성하는 (a) 단계;
실제 공간에 제작된 배경 세트를 촬영하여 생성한 배경맵이 적용되며, 상기 CG 캐릭터와 상기 배경맵을 비춰주는 가상 조명의 환경인 CG 조명 세트를 설정하고, 상기 설정된 CG 조명 세트에서 상기 CG 캐릭터의 캐릭터 이미지를 렌더링하는 (b) 단계;
상기 CG 캐릭터의 움직임에 따라 위치 제어되는 카메라 제어 유닛을 제어하여 이동 촬영으로 상기 배경 세트의 배경 이미지를 생성하는 (c) 단계; 및
상기 캐릭터 이미지와 상기 배경 이미지의 합성에 의해 애니메이션 프레임을 생성하는 (d) 단계;를 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법.
제 1항에 있어서, 상기 (a)단계는,
(a-1) 상기 CG 캐릭터의 움직임을 조절하기 위해 상기 모션 캡쳐 데이터의 초당 프레임 수를 변환하는 단계;를 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법.
제 1항에 있어서, 상기 (b)단계는,
(b-1) 상기 배경 세트의 촬영은 피쉬아이 렌즈를 사용하여 180도 구간을 촬영하는 단계;
(b-2) 피쉬아이 렌즈에 의해 촬영된 구(求)상의 왜곡된 이미지를 평면상의 이미지로 변환하는 단계;
(b-3) 상기 변환된 이미지를 미러링에 의해 복사하여 360도 구간으로 보정된 배경맵을 생성하는 단계; 및
(b-4) 상기 배경 세트 내의 실제 조명의 세기, 위치, 각도 또는 크기와 동일한 설정이 되도록 가상 조명의 환경이 설정되고, 상기 배경맵이 구현된 CG 조명 세트를 설정하는 단계;를 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법.
제 1항 또는 제 3항에 있어서, 상기 배경맵은 에피소드별 또는 장면별로 별도의 배경 세트에서 제작되어 생성되며, 상기 배경맵에 따라 상기 CG 조명 세트가 설정되는 것을 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법.
제 1항에 있어서, 상기 (c)단계는,
(c-1) 컴퓨터의 가상 공간 상에서 상기 CG 캐릭터를 촬영하고 있는 CG 카메라로부터 CG 카메라의 카메라 움직임 데이터를 추출하는 단계;
(c-2) 상기 카메라 제어 유닛의 초기 위치값을 설정하는 단계; 및
(c-3) 상기 추출된 카메라 움직임 데이터에 따라 상기 카메라 제어 유닛을 좌/우 또는 상/하로 위치 제어하며, 상기 카메라 제어 유닛에 설치된 카메라로 상기 배경 세트를 이동 촬영하여 배경 이미지를 생성하는 단계;를 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 방법.
오브젝트를 대상으로 모션 캡쳐 장비에 의해 생성된 모션 캡쳐 데이터를 이용하여 3D 모델링 툴로 CG캐릭터를 생성하고, 실제 배경 세트로부터 촬영된 배경맵과 실제 조명 환경과 동일한 가상 조명 환경 설정을 포함한 CG 조명 세트를 생성하고, 가상 조명의 환경이 반영된 상기 CG 캐릭터를 렌더링하며, 상기 CG 캐릭터를 촬영하는 CG 카메라로부터 카메라 움직임 데이터를 추출하는 제어용 컴퓨터;
상기 제어용 컴퓨터와 통신하여 상기 카메라 움직임 데이터를 전송받아 위치 제어용 모터 드라이버를 구동하는 메인제어기; 및
상기 메인제어기로부터 구동된 모터 드라이버에 따라 X축, Y축 또는 Z축의 위치값에 의해 위치 제어되거나 팬 또는 틸트 제어되며, 배경 세트 촬영용 카메라가 설치되는 카메라 제어 유닛을 포함하되,
상기 제어용 컴퓨터는 상기 카메라로부터 촬영된 배경 이미지와, 상기 CG 캐릭터를 합성하여 애니메이션 프레임을 생성하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템.
제 6항에 있어서, 상기 제어용 컴퓨터는 상기 CG 캐릭터의 움직임을 조절하기 위해 상기 모션 캡쳐 데이터의 초당 프레임 수를 변환하는 것을 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템.
제 6항에 있어서, 상기 배경맵은 에피소드별 또는 장면별로 별도의 배경 세트에서 제작되어 생성되며, 상기 제어용 컴퓨터로부터 상기 배경맵에 따라 상기 CG 조명 세트가 설정되는 것을 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템.
제 6항에 있어서,
상기 메인제어기는,
상기 제어용 컴퓨터와 통신하여 상기 카메라 움직임 데이터를 전송받는 컴퓨터통신부;
상기 카메라 움직임 데이터에 의해 상기 카메라 제어 유닛을 프로그램 제어하는 PLC제어부;
상기 제어용 컴퓨터에 의해 상기 카메라 제어 유닛을 제어하기 위하여 카메라 움직임 데이터 또는 유닛 위치값을 포함한 상태 정보를 표시하도록 명령하는 LCD컨트롤러;
상기 카메라 제어 유닛을 축 구동 모터의 X축, Y축 또는 Z축의 위치값에 의해 위치 제어하는 위치제어부;
상기 카메라 제어 유닛을 회전 구동 모터의 팬 또는 틸트 제어하는 회전각도제어부;
상기 제어용 컴퓨터에 의해 상기 카메라 제어 유닛을 제어하기 위하여 카메라 움직임 데이터 또는 유닛 위치값을 포함한 상태 정보를 표시하는 LCD 화면표시부; 및
외부로부터 원격 통신에 의해 상기 제어용 컴퓨터로부터 카메라 움직임 데이터를 전송받는 원격통신부;를 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템.
제 9항에 있어서,
상기 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템은,
상기 원격통신부와 원격 통신에 의해 상기 제어용 컴퓨터와 연동하여 상기 카메라 제어 유닛을 원격으로 위치 제어하는 리모콘을 더 포함하는 모션 컨트롤 카메라를 이용한 실사와 CG 합성 애니메이션 제작 시스템.