KR102215290B1 - 컴퓨터 그래픽 합성 시스템 및 방법 - Google Patents

Abstract

본 발명은 고인의 생전 사진이나 동영상을 이용하여 고인의 활동 모습을 홀로그램 영상으로 재현하는, 컴퓨터 그래픽 합성 시스템 및 방법에 관한 것이다.
본 발명에 따른 컴퓨터 그래픽 합성 시스템은, 크로마키 배경 스튜디오에서 적어도 하나 이상의 카메라를 통해 대역 배우를 촬영해 대역 영상을 생성하는 촬영 장치; 상기 대역 영상과 합성할 고인의 영상을 저장하고 있는 저장 장치; 및 상기 대역 영상에서 배경을 제거하고 투명도 값을 출력하며, 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 상기 더미 오브젝트에 상기 대역 영상을 트래킹(Tracking)하여 고인의 얼굴에 맞게 수정하여 모델 데이터를 생성하며, 상기 모델 데이터를 면 분할하고 디테일 모델링하여 적어도 하나 이상의 폴리곤(Polygon) 데이터를 생성하며, 상기 폴리곤 데이터로부터 로우 폴리곤 데이터를 추출하고 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링(Rendering)하여 홀로그램 영상을 생성하는 합성 장치를 포함한다.

Description

컴퓨터 그래픽 합성 시스템 및 방법{Computer graphics synthesis system and method thereof}

본 발명은 컴퓨터 그래픽 합성 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 고인의 생전 사진이나 동영상을 이용하여 고인의 활동 모습을 홀로그램 영상으로 재현하는, 컴퓨터 그래픽 합성 시스템 및 방법에 관한 것이다.

컴퓨터 그래픽 합성은 물체를 컴퓨터 그래픽으로 제작하고 배경을 실사로 만들어 합성하는 방식이다. 즉, 움직임의 수정이 어렵고 제작자의 의존도가 높은 물체는 컴퓨터 그래픽으로 대체하고, 단기간에 제작이 가능한 배경은 실사로 하여 인공적인 재질감의 감성을 보완한다.

제작하는 방법은 물체의 움직임을 가상 공간에서 연출하고 컴퓨터로 렌더링을 통해 이미지로 만들어 낸 후 촬영된 실사 배경과 합성하여 최종 컨텐츠를 만들어낸다.

그러나, 고인의 생전 사진이나 영상을 컴퓨터 그래픽으로 합성하는 경우에는 기존의 방식대로 합성하는데 어려움이 있다.

한국 등록특허공보 제10-1223085호(등록일자: 2013년01월10일)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 고인의 생전 사진이나 동영상을 이용하여 고인의 활동 모습을 홀로그램 영상으로 재현하는, 컴퓨터 그래픽 합성 시스템 및 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 방법은, 대역 배우를 촬영하는 촬영 장치; 고인의 영상을 저장하고 있는 저장 장치; 및 영상을 합성하는 합성 장치를 포함하는 시스템의 컴퓨터 그래픽 합성 방법으로서, (a) 상기 촬영 장치가, 대역 배우를 촬영해 대역 영상을 생성하는 단계; (b) 상기 합성 장치가, 상기 고인의 영상을 이용해 CG(Computer Graphic) 영상을 생성하는 단계; (c) 상기 합성 장치가, 상기 대역 영상과 상기 CG 영상을 합성하는 단계; 및 (d) 상기 합성 장치가, 상기 합성된 영상을 편집하여 홀로그램 영상을 생성하는 단계를 포함한다.

여기서, 상기 대역 영상을 생성하는 단계는, (a-1) 상기 촬영 장치가 크로마키 배경 스튜디오에서 대역 배우를 촬영해 대역 영상을 획득하는 실사 촬영 단계; (a-2) 상기 합성 장치가 상기 대역 영상에서 배경을 제거하고 투명도 값이 포함된 대역 데이터를 추출하는 데이터 추출 단계; 및 (a-3) 상기 합성 장치가 상기 대역 데이터에 대해, 밝기와 색상 및 채도의 차이를 후반 작업(post-production)으로 일치시키고, 색 보정(color correction)을 비롯한 교정 작업을 실행하는 DI(Digital Intermediate) 단계를 포함한다.

또한, 상기 (a) 단계에서 상기 촬영 장치는, 적어도 하나 이상의 카메라를 일정 각도마다 배치하고, 각 카메라의 시야각(Field of View)에 따라 대역 배우를 촬영하여, 각각의 시야각 별로 대역 영상을 생성할 수 있다.

또한, 상기 (a-2) 단계에서 상기 합성 장치는, 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 상기 더미 오브젝트를 상기 대역 영상에 트래킹(Tracking)하여 상기 대역 데이터를 생성할 수 있다.

또한, 상기 합성 장치는, 상기 트래킹에 대해, 상기 더미 오브젝트에 마커 포인트를 여러 각도에서 설정하고 특정 프로그램을 사용하여 계산해 정확한 3차원 상의 위치를 추출하는 마커 방식과, 뎁스(Depth) 카메라를 활용하는 마커리스 방식을 모두 이용할 수 있다.

또한, 상기 합성 장치는, 상기 마커 방식에 대해, 상기 대역 영상에서 트래킹 된 점을 따라 본 컨트롤러를 이동할 때 주위의 피부도 같이 이동하며, 특정 위치를 정의한 미리 정해둔 위치로 수치 값에 따라 이동하도록 제어할 수 있다.

또한, 상기 합성 장치는, 상기 마커리스 방식에 대해, 상기 대역 영상에서 표정을 실시간으로 트래킹하여 입 모양, 눈썹 모양, 눈알의 각도에 대한 상태 값을 0 내지 100 %의 값으로 설정할 수 있다.

또한, 상기 CG 데이터를 생성하는 단계는, (b-1) 상기 합성 장치가 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 3차원의 더미 오브젝트(Dummy Object)를 생성하고, 상기 고인의 얼굴 이미지를 복수의 카메라를 통해 상기 더미 오브젝트에 투영하여, 상기 더미 오브젝트의 외곽 라인을 상기 고인의 얼굴 이미지에 맞게 수정하여 모델 데이터를 생성하는 베이스 모델링(Base Modeling) 단계; (b-2) 상기 합성 장치가 상기 모델 데이터를 면 분할하고 디테일 모델링하여 적어도 하나 이상의 폴리곤(Polygon) 데이터를 생성하는 언렙(Unwrap) 제거 단계; (b-3) 상기 합성 장치가 상기 디테일 모델링 된 모델 데이터에 대해 피부의 질감을 처리하는 텍스처 모델링(Texture Modeling) 단계; (b-4) 상기 합성 장치가 상기 모델 데이터의 얼굴 표정을 위해 상기 모델 데이터를 다수의 템플릿 리그 중 하나와 융합하는 모양 혼합(Blending Shape) 단계; (b-5) 상기 합성 장치가 상기 모델 데이터에 대해 머리 모양과 색상을 처리하는 헤어 메이킹(Hair Making) 단계; (b-6) 상기 모델 데이터에 대해 표면의 벡터를 칼라 이미지로 처리하고, 표면의 높이 차를 색으로 처리하는 애니메이션 작업(Animation Working) 단계를 포함할 수 있다.

그리고, 상기 애니메이션 작업은, 상기 폴리곤 데이터로부터 로우 폴리곤 데이터를 추출하고 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링(Rendering)하되, 상기 질감 맵은 표면의 벡터를 RGB 칼라 이미지로 표현하고, 상기 변위 맵은 높이 값을 흑백 이미지로 표현하며, 상기 로우 폴리곤 데이터와 상기 하이 폴리곤 데이터의 표면 높이 차이 값을 색으로 표현하는 텍스처(Texture) 이미지로 처리할 수 있다.

한편, 전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 시스템은, 크로마키 배경 스튜디오에서 적어도 하나 이상의 카메라를 통해 대역 배우를 촬영해 대역 영상을 생성하는 촬영 장치; 상기 대역 영상과 합성할 고인의 영상을 저장하고 있으며, 일반적인 사람의 표정을 분석하여, 눈의 방향과 눈썹의 위치, 입 꼬리의 위치, 팔자 주름을 포함하는 표정을 표현할 수 있는 68 개의 템플릿 리그를 데이터로 저장하고 있는 저장 장치; 및 상기 대역 영상에서 배경을 제거하고 투명도 값을 출력하며, 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 상기 더미 오브젝트에 상기 대역 영상을 트래킹(Tracking)하여 고인의 얼굴에 맞게 수정하여 모델 데이터를 생성하며, 상기 모델 데이터를 면 분할하고 디테일 모델링하여 적어도 하나 이상의 폴리곤(Polygon) 데이터를 생성하며, 상기 폴리곤 데이터로부터 로우 폴리곤 데이터를 추출하고 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링(Rendering)하여 홀로그램 영상을 생성하는 합성 장치를 포함할 수 있다.

여기서, 상기 촬영 장치는, 적어도 하나 이상의 카메라를 일정 각도마다 배치하고, 각 카메라의 시야각(Field of View)에 따라 대역 배우를 촬영하여, 각각의 시야각 별로 대역 영상을 생성할 수 있다.

상기 합성 장치는 상기 촬영 장치가 크로마키 배경 스튜디오에서 대역 배우를 촬영해 대역 영상을 획득하면, 크로마키 배경 이미지를 제거한 후 대역 영상에 대한 투명도 값이 포함된 대역 데이터를 추출한다.

상기 합성 장치는 상기 대역 데이터에 대해, DI(Digital Intermediate) 작업을 실행하여 밝기와 색상 및 채도의 차이를 후반 작업(post-production)으로 일치시키고, 색 보정(color correction)을 비롯한 교정 작업을 진행한다.

상기 합성 장치는, 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 상기 더미 오브젝트를 상기 대역 영상에 트래킹(Tracking)하여 상기 대역 데이터를 생성할 수 있다.

상기 트래킹에 대해, 상기 합성 장치는, 상기 더미 오브젝트에 마커 포인트를 여러 각도에서 설정하고 특정 프로그램을 사용하여 계산하고 정확한 3차원 상의 위치를 추출하는 마커 방식과, 뎁스(Depth) 카메라를 활용하는 마커리스 방식을 모두 이용할 수 있다.

상기 합성 장치는, 상기 마커 방식에 대해, 상기 대역 영상에서 트래킹 된 점을 따라 본 컨트롤러를 이동할 때 주위의 피부도 같이 이동시키며, 특정 위치를 정의한 미리 정해둔 위치로 수치 값에 따라 이동하도록 제어할 수 있다.

상기 저장 장치는, 일반적인 사람의 표정을 분석하여, 눈의 방향과 눈썹의 위치, 입 꼬리의 위치, 팔자 주름 등의 표정을 표현할 수 있는 68 개의 템플릿 리그를 데이터로 저장하고 있다.

상기 합성 장치는, 상기 더미 오브젝트에 여러 각도로 상기 고인의 영상을 투영하는 복수 개의 카메라를 통해 상기 고인의 영상을 투영하여 고인의 로우 폴리곤 데이터를 생성하고, 로우 폴리곤 데이터를 면 분할하고 디테일 모델링하여, 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링하여 사실적인 애니메이션 데이터를 생성할 수 있다.

본 발명에 의하면, 고인의 생전 사진이나 동영상을 이용하여 용이하게 고인의 모습이 담긴 홀로그램 영상을 생성할 수 있다.

또한, 본 발명은 일반적인 사람의 표정을 분석하여, 눈의 방향과 눈썹의 위치, 입 꼬리의 위치, 팔자 주름 등의 표정을 표현할 수 있는 68 개의 템플릿 리그를 데이터로 저장하였다가 언제든지 필요할 때마다 영상 제작 시에 활용할 수 있다.

또한, 카메라를 통해 대역 배우의 얼굴을 스캔하여 더미 오브젝트를 생성하고, 더미 오브젝트에 여러 각도로 고인의 영상을 투영하는 복수 개의 카메라를 통해 고인의 영상을 투영하여 고인의 로우 폴리곤 데이터를 생성하고, 로우 폴리곤 데이터를 면 분할하고 디테일 모델링하여, 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링하여 사실적인 애니메이션 데이터를 생성할 수 있다.

도 1은 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 대역 배우에 대한 크로마키 촬영을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 대역 영상에서 크로마키 배경을 제거하고 투명도 값을 출력하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 대역 배우의 촬영 시 카메라의 아이레벨을 발목으로 맞추어 촬영하는 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 대역 배우의 촬영 시 카메라의 아이레벨이 잘 맞는 경우를 예시한 도면이다.
도 7은 본 발명의 실시 예에 따른 대역 배우의 촬영 시 카메라의 아이레벨이 높을 경우에 얻게 되는 잘못된 촬영 결과물의 예시를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 합성 장치에서 고인의 영상을 3D 모델로 복원하는 프로그램의 한 예로 AGI Soft를 실행하는 화면을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 대역 배우의 얼굴을 스캔하고 촬영 영상에 트래킹하여 고인의 얼굴 제작 베이스로 사용하는 예를 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 합성 장치에서 고인의 사진을 투영시키는 카메라를 대역 데이터에 여러 대로 투영시켜 외각을 보정하는 화면을 나타낸 도면이다.
도 11은 본 발명의 실시 예에 따른 합성 장치에서 대역 모델의 외각을 보정한 후 고인의 영상을 중첩시킨 상태 이미지를 나타낸 도면이다.
도 12는 본 발명의 실시 예에 따른 합성 장치에서 로우 폴리곤 모델을 면분할하여 디테일한 모델링을 실행하는 화면을 나타낸 도면이다.
도 13은 본 발명의 실시 예에 따른 합성 장치에서 68 개의 템플릿 리그를 로우 폴리곤 데이터로 미리 보기 한 화면을 나타낸 도면이다.
도 14는 본 발명의 실시 예에 따라 피부의 투명도와 질감을 주기 위한 텍스처 일부와 랜더링 된 이미지들을 나타낸 도면이다.
도 15는 본 발명의 실시 예에 따른 합성 장치의 마커 방식을 위한 본 세팅을 나타낸 도면이다.
도 16은 본 발명의 실시 예에 따른 합성 장치의 마커리스 방식에 따라 실시간 트래킹 사진 68 개의 로우 폴리곤 표정 데이터를 나타낸 도면이다.
도 17은 본 발명의 실시 예에 따른 합성 장치에서 촬영본의 머리 부분을 포함하여 목의 1/3 지점까지 지워주는 것을 나타내는 도면이다.
도 18은 본 발명의 실시 예에 따른 합성 장치에서 점으로 된 키 작업을 실행하는 예를 나타낸 도면이다.
도 19는 본 발명의 실시 예에 따른 합성 장치에서 옷깃 부분을 로토스코핑 한 후 CG 데이터의 필요없는 부분을 덮어주는 예를 나타낸 도면이다.
도 20은 본 발명의 실시 예에 따른 합성 장치에서 CG 데이터의 머리 위로 올라가는 팔 움직임 로토스코핑 작업을 나타내는 도면이다.
도 21은 본 발명의 실시 예에 따른 합성 장치에서 CG 데이터와 촬영 데이터를 합성한 후 생긴 홀을 메꾸는 클린업 및 페인팅 작업을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 소자 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다. 층, 막, 영역, 판 등의 부분이 다른 부분 "위에" 있다고 할 때, 이는 다른 부분 "바로 위에" 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 "바로 위에" 있다고 할 때에는 중간에 다른 부분이 없는 것을 뜻한다. 또한, 층, 막, 영역, 판 등의 부분이 다른 부분 "아래에" 있다고 할 때, 이는 다른 부분 "바로 아래에" 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 "바로 아래에" 있다고 할 때에는 중간에 다른 부분이 없는 것을 뜻한다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)"또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 그에 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 제1, 제2, 제3 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 이러한 구성 요소들은 상기 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위로부터 벗어나지 않고, 제1 구성 요소가 제2 또는 제3 구성 요소 등으로 명명될 수 있으며, 유사하게 제2 또는 제3 구성 요소도 교호적으로 명명될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 도 1 내지 도 21을 참조하여 본 발명에 따른 컴퓨터 그래픽 합성 시스템 및 방법을 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 시스템(100)은, 촬영 장치(110), 저장 장치(120) 및 합성 장치(130)를 포함한다.

촬영 장치(110)는 복수 개의 카메라(111~113)를 포함하고, 대역 배우를 촬영하여 대역 영상을 생성한다. 촬영 장치(110)는, 적어도 하나 이상의 카메라(111~113)를 일정 각도마다 배치하고, 각 카메라의 시야각(Field of View)에 따라 대역 배우를 촬영하여, 각각의 시야각 별로 대역 영상을 생성할 수 있다.

또한, 촬영 장치(110)는 대역 배우를 촬영하여 얻은 대역 영상으로부터 대역 배우의 얼굴을 스캔하여 3차원 모델 데이터로 생성한 더미 오브젝트에 여러 각도로 고인의 영상을 투영하기 위한 복수 개의 카메라(111~113)를 포함할 수 있다.

저장 장치(120)는 대역 영상과 합성할 고인의 영상을 저장하고 있다. 여기서, 저장 장치(120)는 컴퓨터 장치의 내부에 포함된 하드 디스크 형태일 수 있고, 사용자가 휴대할 수 있는 외장 하드 디스크 형태일 수 있으며, 클라우드 컴퓨팅이 가능한 클라우드 서버 상에 구비된 클라우드 저장 장치도 포함할 수 있다.

또한, 저장 장치(120)는, 일반적인 사람의 표정을 분석하여, 눈의 방향과 눈썹의 위치, 입 꼬리의 위치, 팔자 주름 등의 표정을 표현할 수 있는 68 개의 템플릿 리그를 데이터로 저장하고 있다.

합성 장치(130)는 고인의 영상을 이용해 CG(Computer Graphic) 영상을 생성하고, 대역 영상과 CG 영상을 합성하며, 합성된 영상을 편집하여 홀로그램 영상을 생성 및 출력할 수 있다.

또한, 합성 장치(130)는 촬영 장치(110)가 크로마키 배경 스튜디오에서 대역 배우를 촬영해 대역 영상을 획득하면, 크로마키 배경 이미지를 제거한 후 대역 영상에 대한 투명도 값이 포함된 대역 데이터를 추출한다.

이러한 방식은 컴퓨터 그래픽 합성을 위해 녹색이나 파란색의 크로마키 배경 스튜디오의 선정을 필요로 한다. 크로마키 스튜디오에서 촬영된 영상은 컴퓨터 그래픽 합성을 위해 배경을 제거한 후 촬영 인물의 투명도 값을 출력할 수 있다. 배경을 제거한 뒤 색보정을 통해 홀로그램의 영상이 돋보이는 색으로 다듬어준다.

크로마 키(Chroma key)는 두 개의 영상을 합성하는 기술이다. A와 B 이렇게 두 개의 영상이 있으면, B 영상으로부터 '좁은 범위의 색'을 제거하거나 투명하게 만들어서 뒤의 A 영상이 비치게 할 수 있다. 이 기술은 또한 컬러 키, 색 분리 오버레이, 그린스크린, 블루스크린이라고도 일컬을 수 있다. 보통 기상 예보 방송에서 쓰이는데, 예보자가 큰 지도 앞에서 서 있는 것처럼 보여주지만 실제로는 파란색 배경이나 초록색 배경의 스튜디오 안에 있는 것이다.

실시간 영상이나 방송 송출을 위해서는 크로마 키잉을 사용할 수 있는 영상 믹서를 사용하며, 영화 제작 등에 쓰이는 후반 작업(포스트 프로덕션)과 같이 비선형 영상 편집을 위해서는 프리미어 프로와 같은 영상 편집 프로그램을 가지고 여러 개의 계층을 사용하여 크로마 키를 활용할 수 있다.

크로마 키를 반드시 파란색과 초록색만 사용할 수 있는 것은 아니다. 영상 믹서 기기나 영상 편집 소프트웨어를 사용하여 직접 색을 고를 수도 있고, 스로틀 기능을 이용하여 겹치는 부분의 모서리를 부드럽게 표현할 수 있다. 대한민국에서는 보통 파란색을 사용하는데, 이때 파란색이 아닌 다른 옷을 입은 채 동작을 취할 수 있다. 그러면 파란색이 투명해지면서 배경과 합성이 될 것이다. 그러나 서양에서는 초록색을 자주 사용한다. 그 이유는 서양 사람들의 눈이 파란색인 경우도 있기 때문에 블루스크린을 사용하면 파란색의 눈이 투명하게 바뀌는 결과를 낳을 수 있기 때문이다.

또한, 합성 장치(130)는 대역 데이터에 대해, DI(Digital Intermediate) 작업을 실행하여 밝기와 색상 및 채도의 차이를 후반 작업(post-production)으로 일치시키고, 색 보정(color correction)을 비롯한 교정 작업을 진행한다.

또한, 합성 장치(130)는 촬영 장치(110)를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 더미 오브젝트를 대역 영상에 트래킹(Tracking)하여 대역 데이터를 생성할 수 있다.

또한, 합성 장치(130)는 트래킹에 대해, 더미 오브젝트에 마커 포인트를 여러 각도에서 설정하고 특정 프로그램을 사용하여 계산하고 정확한 3차원 상의 위치를 추출하는 마커 방식과, 뎁스(Depth) 카메라를 활용하는 마커리스 방식을 모두 이용할 수 있다.

또한, 합성 장치(130)는 마커 방식에 대해, 대역 영상에서 트래킹 된 점을 따라 본 컨트롤러를 이동할 때 주위의 피부도 같이 이동시키며, 특정 위치를 정의한 미리 정해둔 위치로 수치 값에 따라 이동하도록 제어할 수 있다.

그리고, 합성 장치(130)는 더미 오브젝트에 여러 각도로 상기 고인의 영상을 투영하는 복수 개의 카메라를 통해 고인의 영상을 투영하여 고인의 로우 폴리곤 데이터를 생성하고, 로우 폴리곤 데이터를 면 분할하고 디테일 모델링하여, 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링하여 사실적인 애니메이션 데이터를 생성할 수 있다.

도 2는 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 컴퓨터 그래픽 합성 시스템(100)에서, 촬영 장치(110)는 대역 배우를 촬영해 대역 영상을 생성한다(S210).

이어, 합성 장치(120)는 고인의 영상을 이용해 CG(Computer Graphic) 영상을 생성한다(S220).

이어, 합성 장치(120)는 대역 영상과 CG 영상을 합성한다(S230).

이어, 합성 장치(120)는 합성된 영상을 편집하여 홀로그램 영상을 생성한다(S240).

여기서, 대역 영상을 생성하는 단계(S210)는, 실사 촬영 단계와 데이터 추출 단계 및 DI(Digital Intermediate) 단계를 포함한다.

실사 촬영 단계는 촬영 장치(110)가 도 3에 도시된 바와 같이 크로마키 배경 스튜디오에서 대역 배우를 촬영해 대역 영상을 획득하는 것이다. 도 3은 본 발명의 실시 예에 따른 대역 배우에 대한 크로마키 촬영을 나타내는 도면이다. 대역 배우의 촬영 시에 CG 합성을 위해 녹색이나 파란색의 크로마키 배경 스튜디오를 선정한다. 촬영 장치(110)는 선정된 크로마키 배경 스튜디오에서 대역 배우를 촬영하여 도 3에 도시된 크로마키 배경의 대역 영상을 획득하는 것이다.

데이터 추출 단계는 합성 장치(120)가 도 4에 도시된 바와 같이 크로마키 배경의 대역 영상에서 크로마키 배경을 제거하고 투명도 값이 포함된 대역 데이터를 추출하는 것이다. 도 4는 본 발명의 실시 예에 따른 대역 영상에서 크로마키 배경을 제거하고 투명도 값을 출력하는 예를 나타낸 도면이다. 이때, 투명도 값을 출력하는 것은 홀로그램 영상에 필수적인 합성 작업들이 가능하기 때문이다.

촬영 장치(110)는 대역 배우의 촬영 시에 도 5에 도시된 바와 같이 카메라의 아이레벨(eye level)을 발목으로 맞추어 대역 배우를 촬영한다. 도 5는 본 발명의 실시 예에 따른 대역 배우의 촬영 시 카메라의 아이레벨을 발목으로 맞추어 촬영하는 예를 나타낸 도면이다. 즉, 촬영 장치(110)는 대역 배우의 촬영 시에 대역 배우의 신체가 모두 영상에 나타나도록 하기 위해서 카메라의 아이레벨을 대역 배우의 발목으로 잘 맞추어야 한다.

이 때, 카메라의 아이레벨이 대역 배우의 발목에 잘 맞추어진 경우에, 촬영 장치(110)는 도 6에 도시된 바와 같이 대역 배우의 발이 바닥의 라인과 잘 붙어 있는 대역 영상을 얻게 된다. 도 6은 본 발명의 실시 예에 따른 대역 배우의 촬영 시 카메라의 아이레벨이 잘 맞는 경우를 예시한 도면이다. 도 6에 도시된 바와 같이 카메라의 아이레벨이 대역 배우의 발목에 잘 맞추어진 경우에 촬영 장치(110)는 대역 배우의 발이 바닥에 잘 붙어 있는 안정된 모습의 대역 배우 영상을 얻을 수 있다.

그러나, 카메라의 아이레벨이 발목보다 더 높을 경우에, 촬영 장치(110)는 도 7에 도시된 바와 같이 대역 배우의 발바닥이 바닥의 라인에 맞지 않고 허공에 붕 떠있게 되어 홀로그램 영상으로 출력 시에 부적절하게 보이게 된다. 도 7은 본 발명의 실시 예에 따른 대역 배우의 촬영 시 카메라의 아이레벨이 높을 경우에 얻게 되는 잘못된 촬영 결과물의 예시를 나타낸 도면이다. 도 7에 도시된 바와 같이 촬영 장치(110)는 카메라의 아이레벨이 대역 배우의 발목에 맞지 않아 오른발 뒷꿈치가 떠 있는 현상이 발생되어 잘못된 촬영 결과물을 얻게 된다.

한편, 촬영 장치(110)는, 대역 배우를 촬영할 때, 적어도 하나 이상의 카메라를 일정 각도마다 배치하고, 각 카메라의 시야각(Field of View)에 따라 대역 배우를 촬영하여, 각각의 시야각 별로 대역 영상을 생성할 수 있다.

DI 단계는, 합성 장치(120)가 투명도 값이 포함된 대역 데이터에 대해, 밝기와 색상 및 채도의 차이를 후반 작업(post-production)으로 일치시키고, 색 보정(color correction/Digital Intermediate)을 비롯한 교정 작업을 실행한다.

색 보정은 영상에 대하여 전반적인 색감이나, 특정 장면에 대한 톤을 원하는 방향으로 수정하거나, 촬영 여건상 부득이하게 낮에 촬영한 영상을 밤에 촬영한 것처럼 보이도록 조정하거나, 실사 촬영 영상에 CG로 만든 물체를 실사와 구별되지 않도록 합성하는 것 등을 말한다.

도 8은 본 발명의 실시 예에 따른 합성 장치에서 고인의 영상을 3D 모델로 복원하는 프로그램의 한 예로 AGI Soft를 실행하는 화면을 나타낸 도면이다.

보편적으로 제작되는 3D 합성 영상은 3D 스캐너 또는 AGI soft를 통해 불러들인 이미지에서 3D 추출을 실행하여 수정하는 방식으로 제작된다.

본 발명에서 제작하는 홀로그램 영상은 인물의 3D 데이터 추출이 불가한 고인의 영상을 전문적으로 복원한다.

고인의 영상 복원은 생전의 사진들로 제작하기 때문에 일반 3D 스캔 기법과는 비교도 안되는 고난도의 기술이 요구된다. 사진마다 같은 환경, 같은 렌즈와 주위 환경(light)을 사용하지 않기 때문에 정확한 위치와 시야각(FOV)을 계산할 수 없어 AGI soft와 같은 3D 추출이 불가능하다.

본 발명은 다음과 같은 공정을 거쳐 최종 모델링을 완성한다. 즉, 본 발명은 고인에 대해 같은 조건의 여러 각도의 사진 데이터를 얻을 수 없기 때문에 고인과 최대한 비슷한 모델을 3D 스캔 및 여러 각도의 이미지 촬영을 동시에 진행하여 3D 데이터로 추출한 후 이미지 투영 방식을 사용하여 고인을 모델링한다.

한편, CG 영상을 생성하는 단계(S220)는, 베이스 모델링(Base Modeling) 단계와, 언렙(Unwrap) 제거 단계, 텍스처 모델링(Texture Modeling) 단계, 모양 혼합(Blending Shape) 단계, 헤어 메이킹(Hair Making) 단계 및 애니메이션 작업(Animation Working) 단계를 포함한다.

여기서, 베이스 모델링 단계는, 합성 장치(120)가 촬영 장치(110)를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 도 9에 도시된 바와 같이 3차원의 더미 오브젝트(Dummy Object)를 생성하고, 고인의 얼굴 이미지를 복수의 카메라를 통해 더미 오브젝트에 투영하여, 도 10에 도시된 바와 같이 더미 오브젝트의 외곽 라인을 고인의 얼굴 이미지에 맞게 수정하여 도 11에 도시된 바와 같은 모델 데이터를 생성한다. 도 9는 본 발명의 실시 예에 따른 대역 배우의 얼굴을 스캔하고 촬영 영상에 트래킹하여 고인의 얼굴 제작 베이스로 사용하는 예를 나타낸 도면이다. 도 9에서, 첫 번째 영상은 대역을 AGI soft로 3D 데이터를 추출한 것이고, 세 번째 영상은 모델을 단순화시켜 대역 촬영 영상에 트래킹시켜 헤드 움직임을 추출하는 이미지이다. 본 발명에 따른 합성 장치(120)는, 도 9에 도시된 바와 같이 촬영 장치(110)를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 더미 오브젝트를 대역 영상에 트래킹(Tracking)하여 고인의 얼굴 제작 베이스로 사용하는 대역 데이터를 생성한다. 도 10은 본 발명의 실시 예에 따른 합성 장치에서 고인의 사진을 투영시키는 카메라를 대역 데이터에 여러 대로 투영시켜 외각을 보정하는 화면을 나타낸 도면이다. 본 발명에 따른 합성 장치(120)는, 도 9의 세번째 영상에 고인의 사진을 투영하는 카메라를 설치해서 이미지를 더미 오브젝트에 비추게 되는데, 추출된 더미 오브젝트 베이스를 카메라를 통해 이미지를 투영시켜 고인의 얼굴로 수정한다. 즉, 합성 장치(120)는 도 10에 도시된 바와 같이 고인의 사진을 투영시키는 여러 대의 카메라를 통해 대역 모델로 만들어진 로우 폴리 데이터에 고인의 영상을 투영시켜 외각을 보정하게 된다. 이때, 합성 장치(120)는 외곽 라인이 자연스럽게 나오도록 각 카메라의 시야각(FOV)과 위치 값 및 회전 값을 수정하여 매칭시킨다. 즉, 합성 장치(120)는 대역의 3D 데이터에 투영된 사진으로 정점의 좌표에 대해 여러 각도의 외곽선 수정을 통하여(외곽선 보정) 최종 영상에 얼굴을 합성시킬 모델을 완성한다. 도 11은 본 발명의 실시 예에 따른 합성 장치에서 대역 모델의 외각을 보정한 후 고인의 영상을 중첩시킨 상태 이미지를 나타낸 도면이다. 본 발명에 따른 합성 장치(120)는 도 11에 도시된 바와 같이 대역 모델링 외곽을 기준으로 고인의 얼굴을 모델링한 후 대역 모델에 고인의 얼굴 영상을 겹쳐서 모델 데이터를 생성하는 것이다. 즉, 대역 배우의 얼굴 더미와 고인의 얼굴을 모델링한 것이 합쳐진 것으로서, 고인의 모델링이 대역 배부의 오브젝트(회색)의 움직임을 그대로 따라 움직이게 된다.

한편, 언랩 제거 단계는, 합성 장치(120)가 도 12에 도시된 바와 같이 모델 데이터를 면 분할하고 디테일 모델링하여 적어도 하나 이상의 폴리곤(Polygon) 데이터를 생성한다. 도 12는 본 발명의 실시 예에 따른 합성 장치에서 로우 폴리곤 모델을 면분할하여 디테일한 모델링을 실행하는 화면을 나타낸 도면이다. 본 발명에 따른 합성 장치(120)는 전술한 바와 같이 생성한 고인의 로우 폴리곤 모델을 도 12에 도시된 바와 같이 면분할하여 디테일하게 모델링할 수 있다. 즉, 도 12에 도시된 영상은 카메라 투영을 통하여 고인의 얼굴로 변형된 오브젝트를 면분할하여 피부의 질감 등을 자세하게 제작하는 베이스 모델로서 68개의 템플릿을 만들기 이전의 이미지이다.

텍스처 모델링 단계는, 합성 장치(120)가 전술한 디테일 모델링 된 모델 데이터에 대해 피부의 질감을 처리한다.

본 발명에 따른 합성 장치(120)는 기본 모델링이 완성되면 표정 작업을 진행하는데, 일반적인 사람의 표정을 분석하여 만들어 둔 도 13에 도시된 바와 같은 68 개 이상의 고퀄리티(High Quality)의 템플릿 리그(표정)를 이용하여 피부의 질감을 처리한다. 도 13은 본 발명의 실시 예에 따른 합성 장치에서 68 개의 템플릿 리그를 로우 폴리곤 데이터로 미리 보기 한 화면을 나타낸 도면이다. 도 13에 도시된 바와 같이 각 템플릿 리그는 눈의 방향과 눈썹의 위치, 입 꼬리의 위치, 팔자 주름 등의 표정을 표현한 데이터이다. 도 14는 본 발명의 실시 예에 따라 피부의 투명도와 질감을 주기 위한 텍스처 일부와 랜더링 된 이미지들을 나타낸 도면이다. 도 14에서 화면 상단 좌측은 피부의 투명도와 질감을 주기 위한 텍스처(textures) 일부를 나타낸 것이고, 나머지는 랜더링 된 이미지들을 나타낸 것이다.

일반적인 리그 애니메이션은 각 정점이 본 컨트롤러에 웨이팅(Vertex Weight)되어 본 컨트롤러의 조작 작업으로 애니메이션을 제작하기 때문에 예를 들면, 노래 한 곡(3~4분; 8,000 frame(초당 30 frame 기준) 정도 분량의 애니메이션을 제작하는 경우에도 많은 인력과 비용이 발생하며, 퀄리티 또한 좋지 않은 결과를 얻게 된다. 팔을 예로 들면, 피부가 관절뼈를 따라 움직이게 될 때, 웨이트 값이라 하여 각 뼈에 얼마만큼의 장력을 가지게 되느냐에 따라 부드럽게 피부의 움직임이 나오게 되는 것을 의미한다. 얼굴을 표현할 때는 근육의 움직임을 표현하려면 많은 수의 본(콘트롤러)을 심어서 피부에 웨이트 값을 주어 본을 따라 움직이게 하는 것이다. 따라서 표정의 복잡한 움직임을 일일이 애니메이터가 본 컨트롤러 조작으로 애니메이션 키를 잡게 되면 상당히 오랜 기간이 걸리게 되고, 팔자 주름과 같이 주름진 곳을 표현하기에 많이 부족하게 된다는 것이다.

본 발명에 따른 합성 장치(120)는 각 템플릿 리그(표정)를 다음과 같이 제작하여 생성한다.

먼저, 모음을 기준으로 입술 모양을 제작하는 경우, 합성 장치(120)는아, 에, 이, 오, 우의 모음 조합을 좀 더 세분화 하여 윗 입술과 아랫 입술의 위치를 4 단계로 분리하고, 추가 표정 데이터(예를 들면, 입을 팽팽하게 부풀리는 표현 등)를 좌우로 나누어 혼합(Blend)시켜 좀 더 자연스러운 표정 데이터로 표현 가능하게 하여 총 40 개의 템플릿 리그를 생성할 수 있다.

예를 들면, 아, 에, 이, 오, 우를 만들게 되면 5 개의 표정 데이터로 대부분의 입모양을 표현할 수 있지만 다양한 움직임을 표현하기에 한계가 있으나, 같은 '아' 발음이라 하더라도 입 꼬리의 위치에 따라 다양한 모양을 만들 수 있으며, 그것을 표현하기 위해 입 꼬리의 위치와 윗 입술과 아래 입술의 위치 및 각도를 세분화 해서 입모양을 표현하는 40 개의 표정 데이터를 생성할 수 있다.

본 발명에 따른 합성 장치(120)는 눈동자의 움직임에 따른 눈 주위의 근육을 4 방향과 눈 깜박임, 그리고 좌, 우 눈으로 분리해 14 개의 템플릿 리그를 생성할 수 있다.

본 발명에 따른 합성 장치(120)는 콧구멍의 벌어짐과 늘어짐 관련 4 개의 템플릿 리그를 생성할 수 있다.

본 발명에 따른 합성 장치(120)는 웃을 때나 화날 때의 피부의 밀림과 주름을 추가 표현하는 3 개의 템플릿과, 눈썹의 높낮이에 따른 눈 주위 피부의 모양과 주름을 세세하게 표현한 7 개의 템플릿 리그를 생성할 수 있다.

따라서, 모양 혼합 단계는, 합성 장치(120)가 모델 데이터의 얼굴 표정을 위해 모델 데이터를 다수의 템플릿 리그 중 하나와 융합할 수 있다.

헤어 메이킹 단계는, 합성 장치(120)가 모델 데이터에 대해 머리 모양과 색상을 처리하는 것이다.

애니메이션 작업(Animation Working) 단계는 합성 장치(120)가 모델 데이터에 대해 표면의 벡터를 칼라 이미지로 처리하고, 표면의 높이 차를 색으로 처리하는 것이다.

합성 장치(120)는 애니메이션 작업에 대해, 폴리곤 데이터로부터 로우 폴리곤 데이터를 추출하고 질감 맵(Normal Map)과 변위 맵(Displacemement Map)에 따라 하이 폴리곤 데이터로 렌더링(Rendering) 할 수 있다. 질감 맵은 표면의 벡터를 RGB 칼라 이미지로 표현하고, 변위 맵은 높이 값을 흑백 이미지로 표현하는 것이다.

합성 장치(120)는 로우 폴리곤 데이터와 하이 폴리곤 데이터의 표면 높이 차이 값을 색으로 표현하는 텍스처(Texture) 이미지로 처리할 수 있다.

본 발명에 따른 합성 장치(120)는, 대역 배우의 얼굴을 스캔하여 생성한 더미 오브젝트를 대역 영상에 트래킹(Tracking)하고, 68 개의 세분화된 템플릿 리그를 사용하여 영상을 제작 생성할 수 있다.

본 발명에 따른 합성 장치(120)는 트래킹에 대해, 더미 오브젝트에 마커 포인트를 여러 각도에서 설정하고 특정 프로그램을 사용하여 계산해 정확한 3차원 상의 위치를 추출하는 마커 방식과, 뎁스(Depth) 카메라를 활용하는 마커리스 방식을 모두 이용할 수 있다.

합성 장치(120)는 68 개의 템플릿 리그를 수작업으로 키 애니메이션을 만드는 경우에 많은 시간이 필요로 하게 되므로, 영상에서 3d animation points 데이터를 추출하여 매칭시키는 방법을 사용한다.

즉, 합성 장치(120)는 3d animation points 트래킹에 대해, 촬영된 영상의 마커의 위치를 트래킹 한 3D animation point들을 정점의 위치에 미리 정의해 둔 각 표정의 point 데이터 값의 변화량을 백분율 수치 데이터로 템플릿 리그에 적용하여 거의 모든 표정을 표현할 수 있도록 제작 생성한다.

여기서, 촬영된 영상은 대역 배우의 얼굴에 마커를 찍어 촬영한 영상을 의미하며, 3D animation point는 마커 방식의 마커 포인트를 여러 각도에서 찍은 영상으로 특정 프로그램을 사용하여 계산하여 정확한 3d 상의 위치를 추출하는 것이다.

합성 장치(120)는 3D 애니메이션 포인트를 상대 좌표로 표현하여 정의를 내리게 되는데, 기준점은 헤드의 움직임(목과 머리의 조인트)이다. 예를 들면, 스마일을 표현한다면, 입 꼬리 마커의 위치가 약간 위쪽으로 올라가면서 벌어질 것이고. 그것이 최대로 간 위치를 Smile이라고 정의를 내려주게 되면, 기본 표정에선 0의 값을 가지고 최대로 간 위치는 100의 값을 가지게 된다.

또한, 합성 장치(120)는 약간 웃는 모습이 입 꼬리가 조금 아래로 내려가 있다면 그것은 Dimple이란 템플릿 값으로 정의를 내려 위치에 따라 템플릿의 데이터를 추출하게 된다.

오른쪽 입 꼬리가 올라가 있고 왼쪽 입 꼬리는 조금 내려가게 웃었다면, 합성 장치(120)는 Mouth_smile_R=100, Mouth_Smile_L=80 Mouth_Dimple_L=20이라는 식으로 입 꼬리의 위치에 따라 수치가 변하면서 조합되게 하는 것이다.

본 발명에 따른 합성 장치(120)는 2d 영상에서 마커 방식으로 3d 데이터를 추출하는 데는 많이 시간이 필요하기 때문에 마커 방식과 마커리스 방식을 혼합하여 사용한다. 즉, 합성 장치(120)는 정밀한 표현, 빠른 표정의 변화나 뎁스(Depth)로 감지하기 힘든 부분에 마커 방식을 활용하고 일반적인 움직임에 마커리스 방식을 사용한다.

본 발명에 따른 합성 장치(120)는 마커 방식에 대해, 도 15에 도시된 바와 같이 대역 영상에서 트래킹 된 점을 따라 본 컨트롤러가 이동할 때 주위의 피부도 같이 이동하도록 제어하며, 특정 위치를 정의한 미리 정해둔 위치로 수치 값에 따라 이동하도록 제어할 수 있다. 도 15는 본 발명의 실시 예에 따른 합성 장치의 마커 방식을 위한 본 세팅을 나타낸 도면이다. 도 15에서, 삼각형 형태가 본 컨트롤러이다. 즉, 합성 장치(120)는 영상에서 트레킹 된 점(마커)을 따라 본 컨트롤러를 이동하게 되면 주위의 피부도 같이 이동하도록 제어한다.

합성 장치(120)는 트래킹 마커의 좌표를 그대로 따라 움직이는 게 아니라 특정 위치를 정의내린 값으로 미리 정해둔 위치로 수치 값에 따라 이동하도록 제어하는 것이다. 그 이유는 대역과 고인의 얼굴이 다르기 때문에 정확한 좌표를 따라가게 되면 완전 다른 얼굴처럼 생성될 수 있기 때문이다.

본 발명은 마커 방식이든 마커리스 방식이든 각 표정에 대한 정의(템플릿)를 가지게 되며, 추출되는 데이터 값은 Mouth_Smile_L=30)과 같은 값으로 추출되며, 도 15에 도시된 이미지는 본 리그 방식으로 삼각형 본을 움직여 표정을 만든 후 각 표정을 정의해 두면 그 위치로 본이 이동하는 방식이다.

그러나 합성 장치(120)는 마커리스 방식을 본으로 제어하지 않고 모델링으로 제어한다.

합성 장치(120)는, 마커리스 방식에 대해, 도 16에 도시된 바와 같이 대역 영상에서 표정을 실시간으로 트래킹하여 입 모양, 눈썹 모양, 눈알의 각도에 대한 상태 값을 0 내지 100 %의 값으로 설정할 수 있다. 도 16은 본 발명의 실시 예에 따른 합성 장치의 마커리스 방식에 따라 실시간 트래킹 사진 68 개의 로우 폴리곤 표정 데이터를 나타낸 도면이다. 도 16의 영상은 뎁스 카메라로 촬영하여 획득한 것이다. 도 16에서 왼쪽 화면과 같이 합성 장치(120)는 표정을 실시간으로 트래킹하여 입 모양 및 눈썹 모양 및 눈알의 각도 등의 상태 값을 0~100%의 값으로 설정할 수 있다.

웃는 얼굴을 예로 들면, 합성 장치(120)는Mouth_smile_L=100, Mouth_smile_R=100와 같은 데이터가 들어오게 되면, 미리 모델링(템플렛 리그) 으로 만들어 둔 Mouth_smile_L Mouth_smile_R 모델링이 실시간 트래킹 데이터 값의 양만큼 더해져서 표정 이미지를 생성하는 것이다.

본 발명은 표정을 생성하는 작업에 대해 고인의 사진을 투영하여 제작한 베이스 모델을 변형하여 별도로 모델링을 하여 레이어로 만들게 되는데, 기본 표정과 템플릿 표정 정점의 위치 값이 변화하여 표정 이미지를 생성하게 되는 것이다.

본 발명은, 68 개의 정교하게 제작된 템플릿을 그대로 사용하면 애니메이션 확인이 힘들고 렌더링 시간이 오래 걸리기 때문에, 1억 이상의 폴리곤 데이터를 최적화하여 로우 폴리곤을 추출하고, 질감 맵과 변위 맵을 추출하여 렌더링 시 하이 폴리곤 모델과 같이 렌더링되게 진행한다.

본 발명에 따른 합성 장치(120)는 다음과 같은 공정을 거쳐 더욱 실감나는 다양한 표정을 표현할 수 있다.

즉, 합성 장치(120)는 각 템플릿의 디테일 노멀 텍스처(normal Texture) 및 디스플레이스먼트 맵(displacement map)을 3D 애니메이션 포인트(animation points)의 백분율 결과 값으로 이미지를 합성하고, 피부의 모공과 같은 디테일 값을 오버레이로 최종 덧입힘으로 노멀 맵과 디스플레이스먼트 맵에 적용하여 사실적인 표정을 렌더링한다. 일반적인 이미지로는 투명한 인간의 피부를 표현하기에는 무리가 있다. 노멀(Normal) 이미지와 디스플레이스먼트 맵은 피부의 곡면의 퀼리티에 영항을 끼치지만 그것만으로 사실적인 사람의 얼굴을 렌더링 하기에는 부족하다.

따라서 본 발명에 따른 합성 장치(120)는 피부 쉐이더의 서브서페이스 맵을 전술한 방법과 같이 합성하여 피부의 두께에 따른 질감을 표현한다. 피부가 늘어나거나 두께가 다른 부분을 각 템플릿 리그의 3D 애니메이션 포인트(animation points)의 백분율 결과 값만큼을 더하여 피부가 늘어나거나 두꺼워지는 피부 질감 표현을 가능하게 한다.

본 발명에 따른 합성 장치(120)는 립 싱크 및 표정 믹스에 대해 마커리스 방식을 이용해 처리한다. 마커리스 방식은 뎁스 카메라를 사용하며, 영상 촬영과는 별도로 표정 데이터만 따로 뎁스 카메라를 이용해 별도로 녹화하여 추출한다. 원본 영상과는 립싱크의 타이밍과 머리 회전이 다른 결과가 나오기 때문에 눈동자의 초점이 흔들리는 현상이 나타날 수 있다. 이때, 합성 장치(120)는 다음과 같은 방식으로 보정 작업을 실행하게 된다. 합성 장치(120)는 눈동자의 움직임에 대해 2D 원본 영상 트레킹 데이터에서 나온 3D 애니메이션 포인트(animation points)의 회전 값을 템플릿 리그의 수치 값이 자동 변화되는 리액션 작업에 적용하여, 68 개의 템플릿 리그 중 40 개의 입모양 템플릿 리그의 애니메이션으로 타이밍 보정을 행한다. 따라서 합성 장치(120)는 별도의 웃는 모습 같은 감정 표현을 촬영하여 레이어(layer)로 합성시켜 최대한 자연스러운 표정이 나오는 보정 작업을 실행한 후 최종 완성한다.

마커 방식의 경우에 촬영 중 마이크 등 방해물이 있으면 제대로 트래킹이 되지 않아서 정확한 표정을 만들기 힘들다. 그래서 마커리스 방식을 사용하여 별도의 표정 연기를 따로 하게 된다. 얼굴 표정만 따로 작업을 한다는 것이다. 그때 대역배우가 촬영한 것처럼 자연스럽지 못하게 되는 현상이 발생할 수 있다. 그 이유는 아무리 자연스럽게 최대한 비슷하게 연기를 해도 원본(대역배우)과 머리의 각도나 동작이 같지 않아서 표정을 적용했을 때 눈 같은 경우는 초점이 없는 것처럼 움직이게 보일 수 있다. 이때 대역배우의 눈 움직임의 트래킹 포인트를 마커리스 방식으로 따로 촬영한 데이터에 넣게 되면 눈 주위 근육이 달라서 이상한 눈모양이 나오게 된다. 이때, 합성 장치(120)는 리액션 메니져라는 툴을 사용하여 각도에 따른 템플릿의 데이터 값을 정의해 두어서 자동으로 눈알의 각도에 따른 눈 주위 근육의 자동 애니메이션 보정이 되도록 별도의 리깅 작업을 실행하는 것이다. 그리고 합성 장치(120)는 아무리 정확히 따라 부른다고 해도 립싱크가 정확하지 않아 입모양에 해당하는 40 개의 템플릿 리그의 애니메이션 값을 별도로 보정할 수 있다.

합성 장치(120)는 촬영된 데이터와 CG로 생성한 머리 이미지를 다음과 같이 합성한다. 즉, 합성 장치(120)는 대역 모델과 CG로 만든 머리 이미지를 합성하기 위해 도 17에 도시된 바와 같이 대역 모델의 머리 부분을 마스킹 작업으로 머리 부분을 포함하여 목의 1/3 지점까지 지워준다. 도 17은 본 발명의 실시 예에 따른 합성 장치에서 촬영본의 머리 부분을 포함하여 목의 1/3 지점까지 지워주는 것을 나타내는 도면이다.

이어 합성 장치(120)는 다음과 같이 키 프레임 작업을 실행한다. 즉, 합성 장치(120)는 마스킹 작업 시 도 18에 도시된 바와 같이 타임라인에 1 프레임 내지 5 프레임 간격마다 점 형태로 키(Key)를 찍어 마스킹이 대역 배우의 머리 움직임을 따라다니며, 애니메이션으로 움직이도록 작업을 실행한다. 도 18은 본 발명의 실시 예에 따른 합성 장치에서 점으로 된 키 작업을 실행하는 예를 나타낸 도면이다. 도 18에서 키와 키 사이는 자동으로 마스킹 애니메이션이 연결된다.

이어 합성 장치(120)는 CG 데이터와 촬영 데이터를 다음과 같이 합성한다. 즉, 합성 장치(120)는 대역모델의 머리 부분을 지워준 후 CG로 만든 머리 이미지를 붙여 주고, 도 19에 도시된 바와 같이 대역모델의 옷깃 부분을 로토스코핑 한 후 CG 영상의 필요없는 부분을 덮어줌으로써 자연스런 합성을 실행할 수 있다. 도 19는 본 발명의 실시 예에 따른 합성 장치에서 옷깃 부분을 로토스코핑 한 후 CG 데이터의 필요없는 부분을 덮어주는 예를 나타낸 도면이다. 도 19에서 로토스코핑은 예를 들어 움직이는 영상의 1 프레임에 펜 툴로 분리하고자 하는 모양 그대로를 신해철 이미지의 옷깃 부분처럼 작업을 하고, 뒷 프레임으로 좀 더 가서, 1 프레임에 작업된 펜 툴 마스크 작업을 다시 이동시켜 주어 움직임대로 맞춰주어 필요한 부분을 각각 레이어로 분리시키는 작업을 의미한다.

이어 합성 장치(120)는 CG 데이터의 머리 이미지가 촬영 데이터와 합성되면서 덮어버린 마이크와 손을 도 20에 도시된 바와 같이 로토스코핑 작업을 실행하여 CG 데이터의 머리 위로 올려준다. 도 20은 본 발명의 실시 예에 따른 합성 장치에서 CG 데이터의 머리 위로 올라가는 팔 움직임 로토스코핑 작업을 나타내는 도면이다.

합성 장치(120)는 CG 데이터와 촬영 데이터의 합성에 대해, 영상의 길이만큼 마스킹, 로토스코핑 작업으로 타임라인에 키를 잡아 대역 배우의 움직임에 맞추어 애니메이션을 생성한다

한편, 대역 모델의 움직임과 CG 데이터의 애니메이션 움직임이 완벽하게 일치 할 수가 없다

마스킹으로 지운 대역 모델의 몸과 CG로 만든 머리의 크기가 달라 몸의 일부분에 홀이 생기는 현상이 발생할 수 있는데 이를 메꾸거나 지우는 작업을 클린업 및 페인팅 작업이라 한다. 홀로그램 영상의 퀄리티를 높이기 위해서 클린업 및 페인팅 작업은 반드시 필요하다

합성 장치(120)는 마스킹 작업을 실행하고, CG 데이터와 촬영 데이터를 합성한 후 생긴 홀에 대해 도 21에 도시된 바와 같이 클린업 및 페인팅 작업을 실행하여 메꾸게 된다. 도 21은 본 발명의 실시 예에 따른 합성 장치에서 CG 데이터와 촬영 데이터를 합성한 후 생긴 홀을 메꾸는 클린업 및 페인팅 작업을 나타낸 도면이다.

도 21에서, 합성 장치(120)는 페인팅 작업에 대해 다음과 같이 실행한다. 즉, 합성 장치(120)는 소프트웨어의 도장 툴을 이용하여 다른 프레임의 이미지를 복사하여 덮는 방법, 소프트웨어의 브러쉬 툴을 이용하여 비슷한 색감으로 칠해 주는 방법, 마스크 작업을 이용해 다른 프레임의 이미지를 잘라내서 덮는 방법, 매트 파일을 이용하여 이미지를 잘라내서 덮는 방법 중 하나 또는 그 이상을 사용할 수 있다.

본 발명에 따른 합성 장치(120)는 영상의 홀의 크기나 프레임의 소스 이미지의 유무에 따라 작업 방식이 달라지지만 최종 결과물이 홀을 채우는데 있어 품질만 좋다면 어떤 방식을 사용해도 무관하다.

합성 장치(120)는 영상 작업에 대해 이미지 시퀀스로 출력하여 작업을 진행하며, 이를 다시 나중에 영상으로 출력한다. 영상의 구간마다 움직임이 빠른 곳은 한 프레임씩 작업을 해야 하지만, 어떤 구간은 가만히 있는 부분이 있어서 첫 프레임 작업 후 한참 뒤 프레임으로 가도 첫 프레임에서 작업한 결과를 그대로 반영하는 곳들이 있다. 예를 들어, 인물이 반복적으로 점프를 하게 된다면 점프 타이밍에 맞춰 움직임을 계속 따라가며 작업을 진행해야 하지만, 가만히 정면을 응시하고 있다면 움직임이 없어 한 프레임을 작업한 후 다음 움직임이 발생 할 때까지는 작업 진행을 하지 않아도 될 수 있다.

전술한 바와 같이 본 발명에 의하면, 고인의 생전 사진이나 동영상을 이용하여 고인의 활동 모습을 홀로그램 영상으로 재현하는, 컴퓨터 그래픽 합성 시스템 및 방법을 실현할 수 있다.

이상에서 설명한 본 발명은 상술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

100: 컴퓨터 그래픽 합성 시스템
110: 촬영 장치
120: 저장 장치
130: 합성 장치

Claims (10)

1. 대역 배우를 촬영하는 촬영 장치; 고인의 영상을 저장하고 있는 저장 장치; 및 영상을 합성하는 합성 장치를 포함하는 시스템의 컴퓨터 그래픽 합성 방법으로서,
   (a) 상기 촬영 장치가, 대역 배우를 촬영해 대역 영상을 생성하는 단계;
   (b) 상기 합성 장치가, 상기 고인의 영상을 이용해 CG(Computer Graphic) 영상을 생성하는 단계;
   (c) 상기 합성 장치가, 상기 대역 영상과 상기 CG 영상을 합성하는 단계; 및
   (d) 상기 합성 장치가, 상기 합성된 영상을 편집하여 홀로그램 영상을 생성하는 단계;를 포함하며,
   상기 CG 영상을 생성하는 단계는,
   (b-1) 상기 합성 장치가 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 3차원의 더미 오브젝트(Dummy Object)를 생성하고, 상기 고인의 얼굴 이미지를 복수의 카메라를 통해 상기 더미 오브젝트에 투영하여, 상기 더미 오브젝트의 외곽 라인을 상기 고인의 얼굴 이미지에 맞게 수정하여 모델 데이터를 생성하는 베이스 모델링(Base Modeling) 단계;
   (b-2) 상기 합성 장치가 상기 모델 데이터를 면 분할하고 디테일 모델링하여 적어도 하나 이상의 폴리곤(Polygon) 데이터를 생성하는 언렙(Unwrap) 제거 단계;
   (b-3) 상기 합성 장치가 상기 디테일 모델링 된 모델 데이터에 대해 피부의 질감을 처리하는 텍스처 모델링(Texture Modeling) 단계;
   (b-4) 상기 합성 장치가 상기 모델 데이터의 얼굴 표정을 위해 상기 모델 데이터를 다수의 템플릿 리그 중 하나와 융합하는 모양 혼합(Blending Shape) 단계;
   (b-5) 상기 합성 장치가 상기 모델 데이터에 대해 머리 모양과 색상을 처리하는 헤어 메이킹(Hair Making) 단계; 및 (b-6) 상기 모델 데이터에 대해 표면의 벡터를 칼라 이미지로 처리하고, 표면의 높이 차를 색으로 처리하는 애니메이션 작업(Animation Working) 단계;를 포함하는 컴퓨터 그래픽 합성 방법.
   
2. 제1 항에 있어서,
   상기 대역 영상을 생성하는 단계는,
   (a-1) 상기 촬영 장치가 크로마키 배경 스튜디오에서 대역 배우를 촬영해 대역 영상을 획득하는 실사 촬영 단계;
   (a-2) 상기 합성 장치가 상기 대역 영상에서 배경을 제거하고 투명도 값이 포함된 대역 데이터를 추출하는 데이터 추출 단계; 및
   (a-3) 상기 합성 장치가 상기 대역 데이터에 대해, 밝기와 색상 및 채도의 차이를 후반 작업(post-production)으로 일치시키고, 색 보정(color correction)을 비롯한 교정 작업을 실행하는 DI(Digital Intermediate) 단계;
   를 포함하는 컴퓨터 그래픽 합성 방법.
   
3. 제1 항에 있어서,
   상기 (a) 단계에서 상기 촬영 장치는, 적어도 하나 이상의 카메라를 일정 각도마다 배치하고, 각 카메라의 시야각(Field of View)에 따라 대역 배우를 촬영하여, 각각의 시야각 별로 대역 영상을 생성하는, 컴퓨터 그래픽 합성 방법.
   
4. 제2 항에 있어서,
   상기 (a-2) 단계에서 상기 합성 장치는, 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 상기 더미 오브젝트를 상기 대역 영상에 트래킹(Tracking)하여 상기 대역 데이터를 생성하는, 컴퓨터 그래픽 합성 방법.
   
5. 제4 항에 있어서,
   상기 합성 장치는, 상기 트래킹에 대해, 상기 더미 오브젝트에 마커 포인트를 여러 각도에서 설정하고 특정 프로그램을 사용하여 계산해 정확한 3차원 상의 위치를 추출하는 마커 방식과, 뎁스(Depth) 카메라를 활용하는 마커리스 방식을 모두 이용하는, 컴퓨터 그래픽 합성 방법.
   
6. 제 5 항에 있어서,
   상기 합성 장치는, 상기 마커 방식에 대해, 상기 대역 영상에서 트래킹 된 점을 따라 본 컨트롤러를 이동할 때 주위의 피부도 같이 이동하며, 특정 위치를 정의한 미리 정해둔 위치로 수치 값에 따라 이동하도록 제어하는, 컴퓨터 그래픽 합성 방법.
   
7. 제 5 항에 있어서,
   상기 합성 장치는, 상기 마커리스 방식에 대해, 상기 대역 영상에서 표정을 실시간으로 트래킹하여 입 모양, 눈썹 모양, 눈알의 각도에 대한 상태 값을 0 내지 100 %의 값으로 설정하는, 컴퓨터 그래픽 합성 방법.
   
8. 삭제
9. 제 1 항에 있어서,
   상기 애니메이션 작업은, 상기 폴리곤 데이터로부터 로우 폴리곤 데이터를 추출하고 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링(Rendering)하되,
   상기 질감 맵은 표면의 벡터를 RGB 칼라 이미지로 표현하고, 상기 변위 맵은 높이 값을 흑백 이미지로 표현하며,
   상기 로우 폴리곤 데이터와 상기 하이 폴리곤 데이터의 표면 높이 차이 값을 색으로 표현하는 텍스처(Texture) 이미지로 처리하는, 컴퓨터 그래픽 합성 방법.
   
10. 크로마키 배경 스튜디오에서 적어도 하나 이상의 카메라를 통해 대역 배우를 촬영해 대역 영상을 생성하는 촬영 장치;
    상기 대역 영상과 합성할 고인의 영상을 저장하고 있으며, 일반적인 사람의 표정을 분석하여, 눈의 방향과 눈썹의 위치, 입 꼬리의 위치, 팔자 주름을 포함하는 표정을 표현할 수 있는 68 개의 템플릿 리그를 데이터로 저장하고 있는 저장 장치; 및
    상기 대역 영상에서 배경을 제거하고 투명도 값을 출력하며, 상기 촬영 장치를 통해 촬영되는 대역 배우의 얼굴을 스캔하여 더미 오브젝트(Dummy Object)를 생성하고, 상기 더미 오브젝트에 상기 대역 영상을 트래킹(Tracking)하여 고인의 얼굴에 맞게 수정하여 모델 데이터를 생성하며, 상기 모델 데이터를 면 분할하고 디테일 모델링하여 적어도 하나 이상의 폴리곤(Polygon) 데이터를 생성하며, 상기 폴리곤 데이터로부터 로우 폴리곤 데이터를 추출하고 질감 맵(Normal Map)과 변위 맵(Displacement Map)에 따라 하이 폴리곤 데이터로 렌더링(Rendering)하여 홀로그램 영상을 생성하는 합성 장치;
    를 포함하는 컴퓨터 그래픽 합성 시스템.
    

Images