KR101335391B1 - 영상 합성 장치 및 그 방법 - Google Patents
영상 합성 장치 및 그 방법 Download PDFInfo
- Publication number
- KR101335391B1 KR101335391B1 KR1020100033310A KR20100033310A KR101335391B1 KR 101335391 B1 KR101335391 B1 KR 101335391B1 KR 1020100033310 A KR1020100033310 A KR 1020100033310A KR 20100033310 A KR20100033310 A KR 20100033310A KR 101335391 B1 KR101335391 B1 KR 101335391B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- factor
- motion capture
- image
- motion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
본 발명은 영상 합성 기법에 관한 것으로, 모션 캡쳐 장비와 촬영 카메라를 동기화한 후에, 모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 획득하고, 촬영 카메라를 통해 녹화된 비디오 영상에서 마커의 2차원 위치 데이터를 획득하며, 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 이용하여 촬영 카메라의 외부 인자 및 내부 인자를 추적한 후에, 추적된 외부 인자 및 내부 인자를 이용하여 촬영 카메라의 모든 인자를 보정하고, 실사 촬영 영상과 애니메이션 영상을 효과적으로 합성할 수 있다.
Description
본 발명은 영상 합성 기법에 관한 것으로, 더욱 상세하게는 영상 콘텐츠 제작에 사용되는 CG/실사 영상 합성(computer-generated/real image composition)을 위해 고해상도 비디오 촬영 카메라의 모션을 추적(tracking)하여 영상을 합성(composing)하는데 적합한 영상 합성 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-051-03, 과제명: 디지털 크리쳐 제작 S/W 개발].
잘 알려진 바와 같이, CG/실사 영상 합성에 이용되는 고해상도 비디오 촬영 카메라 모션 추적 및 합성 기술은 컴퓨터 그래픽스(computer graphics) 기술 기반의 시각 효과를 이용한 영화, 드라마, 광고와 같은 영화/방송용 영상 콘텐츠 제작 분야에서, 실제 배우 및 소품의 모션 캡쳐(motion capture) 데이터를 이용하여 만들어진 CG 영상과 현장에서 모션 캡쳐와 동시에 촬영된 고해상도 실사 비디오 영상을 합성하여 보다 자연스럽고 사실감 있는 CG/실사 합성 영상 콘텐츠를 제작하는데 반드시 필요한 기술이다.
종래의 시각 효과를 위한 CG/실사 영상 합성을 위해 촬영 카메라의 모션을 추적하기 위한 기술은 팬(pen)/틸트(tilt) 센서, 인코더(encoder) 등을 포함하는 모션 센서 시스템(motion sensor system)과 복수의 자이로스코프(gyroscope), 가속도계(accelerometer) 등을 포함하는 관성 항법 시스템(inertial navigation system)을 촬영 카메라에 장착하여 카메라 모션을 추적하는 센서 부착 방식, 카메라 모션 추적을 위한 카메라 표적(camera-target)을 촬영 카메라에 장착하여 이를 별도의 카메라 표적 추적 장비를 통해서 추적하여 촬영 카메라 모션을 역으로 산출하는 표적 부착 방식 등이 제안되어 있다.
하지만, 상술한 바와 같은 종래의 센서 부착 방식이나 표적 부착 방식은 카메라 추적을 위하여 별도의 모션 추적 센서나 추적용 카메라 표적의 사전 제작 과정, 복잡한 설치 과정 등을 실행해야 하는 제약이 따르며, 카메라 모션이나 촬영 조건에 따라서 각기 다른 모션 센서를 사용해야 하거나 표적 부착 방식을 변경해야 하는 문제점이 있다.
예를 들면, 센서 부착 방식의 경우 카메라의 회전 모션만이 변하는 고정 촬영 카메라의 모션 추적은 팬/틸트 센서, 인코더 등을 포함하는 카메라 센서 시스템만으로 충분하지만, 카메라의 이동 모션도 함께 변하는 이동 촬영 카메라의 모션 추적을 위해서는 카메라 센서 시스템뿐만 아니라 복수의 자이로스코프, 가속도계 등을 포함하는 관성 항법 시스템을 추가적으로 사용해야 한다.
또한, 표적 부착 방식의 경우에는 카메라에 부착된 표적을 추적하는 표적 추적 장치로부터 촬영 카메라가 멀어지는 경우에는 표적이 부착된 영역을 크도록, 반대로 가까워지는 경우에는 표적이 부착된 영역을 작게 하는 등 표적 제작 및 부착 방식을 변경해 주어야 하는 것과 같이 추적용 카메라 표적의 사전 제작 및 설치 과정이 복잡한 문제점이 있었다.
한편, 촬영 카메라의 추적 기술은 촬영 카메라의 회전과 이동 모션 관련된 카메라 외부 인자는 추적할 수 있으나, 촬영 카메라의 렌즈와 관련된 카메라 내부 인자는 추적과 보정을 수행하기 어려운 점이 있는데, 예를 들어 센서 부착 방식의 경우에는 카메라 줌(zoom)과 포커스(focus) 변화에 따른 렌즈 초점 길이의 변화를 추적하기 위해서는 별도의 줌/포커스 센서와 추가적인 인코더를 카메라 센서 시스템에 설치해야 할 뿐만 아니라, 인코딩 값을 카메라 내부 인자 값으로 변환하기 위해서는 복잡한 사전 보정(calibration) 과정을 수행해야 하는 문제점이 있다.
또한, 표적 부착 방식의 경우에는 촬영 카메라의 회전과 이동 모션과 관련된 외부 인자는 카메라 표적으로부터 역으로 추적할 수 있으나, 방식 자체의 특성상 카메라 렌즈와 관련된 내부 인자는 추적과 보정을 할 수 없는 문제점이 있다.
상술한 바와 같은 문제점들 때문에, 종래에 제안된 센서 부착 방식의 촬영 카메라 추적 기술은 모션 센서 시스템과 관성 항법 시스템과 같은 하드웨어 구현 및 장착에 많은 비용과 시간이 소요되며, 표적 부착 방식의 카메라 추적 기술은 내부 인자의 추적과 보정을 할 수 없는 제약으로 내부 인자는 변하지 않고 모션과 관련된 외부 인자만이 변하는 경우에만 사용할 수 있지만, 고해상도 비디오 촬영 카메라를 사용할 경우에는 내부 인자 값에 작은 변화라도 있으면 정확하게 CG 영상과 촬영 비디오 영상을 합성할 수 없으므로 반드시 카메라 모션과 관련된 외부 인자와 함께 렌즈와 관련된 내부 인자도 추적 및 보정되어야 한다.
뿐만 아니라, 종래의 촬영 카메라 추적 기술은 촬영 카메라 좌표계를 기준으로 카메라 모션을 추적하기 때문에 모션 캡쳐 좌표계를 기준으로 복원되는 모션 캡쳐 데이터와 촬영 카메라 모션 데이터의 합성이 용이하지 않아, 모션 캡쳐 데이터를 이용한 실제 배우 및 소품의 CG 영상과 실사 촬영 영상을 합성하기 위한 CG/실사 영상 합성 시스템에 적용하는데 또한 어려운 점이 있다.
이에 따라, 본 발명은 모션 캡쳐 데이터와 촬영 카메라의 모션을 이용하여 영상을 합성할 수 있는 영상 합성 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 모션 캡쳐 데이터를 이용하여 촬영 카메라 인자를 보정함으로써, 효과적으로 영상을 합성할 수 있는 영상 합성 장치 및 그 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따르면, 모션 캡쳐 장비와 촬영 카메라를 동기화시키는 동기화부와, 모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 복원하는 3차원 복원부와, 상기 촬영 카메라를 통해 촬영된 비디오 영상에서 상기 마커의 2차원 위치 데이터를 검출하는 2차원 검출부와, 상기 복원된 3차원 모션 캡쳐 데이터 및 검출된 2차원 위치 데이터를 이용하여 상기 비디오 영상의 모든 프레임에 대한 상기 촬영 카메라의 외부 인자 및 내부 인자를 추적하는 추적부와, 상기 모든 프레임에 대한 추적이 완료되면, 상기 추적된 외부 인자 및 내부 인자를 보정하는 보정부와, 상기 보정된 외부 인자 및 내부 인자를 이용하여 기 설정된 CG 영상과 상기 비디오 영상을 합성하는 합성부를 포함하는 영상 합성 장치가 제공된다.
또한, 상기 동기화부는, 젠락 신호와 타임 코드 신호를 이용하여 상기 모션 캡쳐 장비 및 촬영 카메라의 내부 클락을 상호 동기화하는 영상 합성 장치가 제공된다.
또한, 상기 동기화부는, 상기 타임 코드 신호를 이용하여 상기 모션 캡쳐 장비의 동작 속도를 상기 촬영 카메라의 녹화 속도의 정수배가 되도록 제어하고, 상기 모션 캡쳐와 상기 비디오 영상의 녹화 실행 시작 시간 및 종료 시간을 제어하는 영상 합성 장치가 제공된다.
또한, 상기 3차원 복원부는, 모션 캡쳐 좌표계의 X축, Y축, Z축 상의 좌표 값에 따라 상기 3차원 모션 캡쳐 데이터를 복원하는 영상 합성 장치가 제공된다.
또한, 상기 2차원 검출부는, 영상 좌표계의 U축과 V축 상의 좌표 값을 이용하여 광학적 오차 함수 값이 최소값을 갖도록 상기 2차원 위치 데이터를 검출하는 영상 합성 장치가 제공된다.
또한, 상기 추적부는, 상기 촬영 카메라의 모션과 관련된 상기 외부 인자와, 상기 촬영 카메라의 렌즈와 관련된 상기 내부 인자를 추적하는 영상 합성 장치가 제공된다.
또한, 상기 추적부는, 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자를 추적하는 영상 합성 장치가 제공된다.
또한, 상기 추적부는, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 상기 내부 인자를 추적하는 영상 합성 장치가 제공된다.
또한, 상기 보정부는, 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자와, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 상기 내부 인자에 대한 최적화를 통해 상기 외부 인자 및 내부 인자를 보정하는 영상 합성 장치가 제공된다.
또한, 상기 합성부는, 모션 캡쳐 좌표계를 기준으로 상기 외부 인자 및 내부 인자가 추적 및 보정된 상기 촬영 카메라를 렌더링을 위한 그래픽 카메라로 설정하고, 상기 설정된 그래픽 카메라를 이용하여 상기 CG 영상 및 비디오 영상을 합성하는 영상 합성 장치가 제공된다.
본 발명의 다른 실시 예에 따르면, 모션 캡쳐 장비와 촬영 카메라를 동기화시키는 단계와, 모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 복원하는 단계와, 상기 촬영 카메라를 통해 촬영된 비디오 영상에서 상기 마커의 2차원 위치 데이터를 검출하는 단계와, 상기 복원된 3차원 모션 캡쳐 데이터 및 검출된 2차원 위치 데이터를 이용하여 상기 비디오 영상의 모든 프레임에 대한 상기 촬영 카메라의 외부 인자 및 내부 인자를 추적하는 단계와, 상기 모든 프레임에 대한 추적이 완료되면, 상기 추적된 외부 인자 및 내부 인자를 보정하는 단계와, 상기 보정된 외부 인자 및 내부 인자를 이용하여 기 설정된 CG 영상과 상기 비디오 영상을 합성하는 단계를 포함하는 영상 합성 방법이 제공된다.
또한, 상기 동기화시키는 단계는, 젠락 신호와 타임 코드 신호를 이용하여 상기 모션 캡쳐 장비 및 촬영 카메라의 내부 클락을 상호 동기화하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 동기화시키는 단계는, 상기 타임 코드 신호를 이용하여 상기 모션 캡쳐 장비의 동작 속도를 상기 촬영 카메라의 녹화 속도의 정수배가 되도록 제어하고, 상기 모션 캡쳐와 상기 비디오 영상의 녹화 실행 시작 시간 및 종료 시간을 제어하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 3차원 모션 캡쳐 데이터를 복원하는 단계는, 모션 캡쳐 좌표계의 X축, Y축, Z축 상의 좌표 값에 따라 상기 3차원 모션 캡쳐 데이터를 복원하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 2차원 위치 데이터를 검출하는 단계는, 영상 좌표계의 U축과 V축 상의 좌표 값을 이용하여 광학적 오차 함수 값이 최소값을 갖도록 상기 2차원 위치 데이터를 검출하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 외부 인자 및 내부 인자를 추적하는 단계는, 상기 촬영 카메라의 모션과 관련된 상기 외부 인자와, 상기 촬영 카메라의 렌즈와 관련된 상기 내부 인자를 추적하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 외부 인자 및 내부 인자를 추적하는 단계는, 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자를 추적하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 외부 인자 및 내부 인자를 추적하는 단계는, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 상기 내부 인자를 추적하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 추적된 외부 인자 및 내부 인자를 보정하는 단계는, 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자와, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 상기 내부 인자에 대한 최적화를 통해 상기 외부 인자 및 내부 인자를 보정하는 방식으로 수행되는 영상 합성 방법이 제공된다.
또한, 상기 비디오 영상을 합성하는 단계는, 모션 캡쳐 좌표계를 기준으로 상기 외부 인자 및 내부 인자가 추적 및 보정된 상기 촬영 카메라를 렌더링을 위한 그래픽 카메라로 설정하고, 상기 설정된 그래픽 카메라를 이용하여 상기 CG 영상 및 비디오 영상을 합성하는 방식으로 수행되는 영상 합성 방법이 제공된다.
본 발명은, CG/실사 영상 합성에 있어서 모션 캡쳐 데이터를 이용하여 고해상도의 비디오 촬영 카메라의 모션을 추적 및 합성하는 기법에 관한 것으로, 모션 추적을 위한 별도의 카메라 모션 센서의 사용이나 카메라 표적을 카메라에 부착하지 않고, 실제 배우 및 소품에 부착된 마커의 모션 캡쳐 데이터를 이용하여 현장에서 녹화에 사용된 고해상도의 비디오 촬영 카메라의 모션을 정확하게 추적하며, 이를 모션 캡쳐 데이터와 합성할 수 있다.
즉, 본 발명은 모션 캡쳐 장비를 통해 복원된 배우 및 소품의 마커 기반 3차원 모션 캡쳐 데이터와 촬영 카메라를 통해 녹화된 배우 및 소품의 마커에 대한 2차원 위치 데이터를 동기화시킴으로써, 촬영 카메라의 모션과 관련된 외부 인자를 매 프레임에서 추적할 수 있을 뿐만 아니라, 고해상도 카메라 렌즈와 관련된 내부 인자들도 동시에 추적 및 보정할 수 있으며, CG/실사 영상 합성에 있어서 실제 배우 및 소품의 모션 캡쳐 데이터와 고해상도 촬영 카메라 모션의 자연스러운 합성을 수행함으로써, 고해상도 CG/실사 합성 영상 콘텐츠 제작에 필요한 고해상도 비디오 촬영 카메라 추적의 정확성과 안정성을 확보할 수 있다.
도 1은 본 발명의 일 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는데 적합한 영상 합성 장치의 블록 구성도,
도 2는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 것을 설명하기 위한 도면,
도 3은 본 발명의 다른 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 과정을 도시한 플로우차트,
도 4a 및 도 4b는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 제 1 예시도,
도 5a 및 도 5b는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 제 2 예시도.
도 2는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 것을 설명하기 위한 도면,
도 3은 본 발명의 다른 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 과정을 도시한 플로우차트,
도 4a 및 도 4b는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 제 1 예시도,
도 5a 및 도 5b는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 제 2 예시도.
본 발명은, 모션 캡쳐 장비와 촬영 카메라를 동기화한 후에, 모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 획득하고, 촬영 카메라를 통해 녹화된 비디오 영상에서 마커의 2차원 위치 데이터를 획득하며, 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 이용하여 촬영 카메라의 외부 인자 및 내부 인자를 추적한 후에, 추적된 외부 인자 및 내부 인자를 이용하여 촬영 카메라의 모든 인자를 보정하고, 실사 촬영 영상과 애니메이션 영상을 합성한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는데 적합한 영상 합성 장치의 블록 구성도로서, 동기화부(102), 3차원 복원부(104), 2차원 검출부(106), 추적부(108), 보정부(110), 합성부(112) 등을 포함할 수 있다.
도 1을 참조하면, 동기화부(102)는 모션을 캡쳐하는 모션 캡쳐 장비와 영상 녹화를 수행하는 촬영 카메라를 시간적으로 동기화시키는 것으로, 서로 다른 동작 속도를 갖는 모션 캡쳐 장비와 촬영 카메라에 젠락(gen-lock) 신호와 타임 코드(time-code) 신호를 연결하여 모션 캡쳐 장비와 촬영 카메라의 내부 클락(clock)을 상호 동기화한다.
또한, 동기화부(102)는 타임 코드 기반으로 모션 캡쳐와 영상 녹화의 실행 시작 시간 및 종료 시간을 제어하는데, 모션 캡쳐 장비의 동작 속도를 촬영 카메라의 녹화 속도의 정수배가 되도록 제어한다. 이에 따라 모션 캡쳐 장비를 통해 복원된 3차원 모션 캡쳐 데이터와 촬영 카메라를 통해 녹화된 고해상도의 비디오 영상이 오차없이 동기화될 수 있다.
예를 들면, 동기화부(102)는 모션 캡쳐를 수행하는 모션 캡쳐 장비와 비디오 녹화를 수행하는 고해상도의 촬영 카메라의 서로 다른 동작 속도에 대해 시간적 동기화를 수행하는데, 모션 캡쳐 장비의 동작 속도를 촬영 카메라의 동작 속도의 정수배(예를 들면, 2배, 3배, 4배 등)로 설정함으로써, 모션 캡쳐 장비를 통해 복원된 모션 캡쳐 데이터 프레임과 촬영 카메라를 통해 녹화된 고해상도의 비디오 영상 프레임이 오차없이 동기화될 수 있다.
또한, 동기화부(102)는 젠락 신호를 통해 모션 캡쳐 장비와 촬영 카메라의 내부 클락을 동기화하고, 타임 코드 신호를 기반으로 모션 캡쳐와 영상 녹화의 시작 시간 및 종료 시간이 일치하도록 제어함으로써, 동일한 길이의 모션 캡쳐 데이터와 고해상도의 비디오 데이터를 획득할 수 있으며, 동기화된 모션 캡쳐 데이터와 녹화 영상의 총 프레임수(
)와 각 프레임의 인덱스(
)는 각각의 데이터와 함께 저장될 수 있다.
그리고, 3차원 복원부(104)는 모션 캡쳐 장비를 통해 마커의 모션을 캡쳐한 모션 캡쳐 데이터를 복원하는 것으로, 모션 캡쳐 장비를 통해 실제 배우, 실제 소품 등에 부착된 마커의 모션 캡쳐 데이터를 복원하여 촬영 카메라의 모션 추적을 위한 3차원 모션 데이터를 획득한다.
예를 들면, 모션 캡쳐를 위해 예를 들면, 실제 배우, 실제 소품 등에 부착된 마커에 대한 모션 캡쳐와 영상 녹화를 수행하는데, 마커의 총 개수는 
, 각 마커의 인덱스는 
으로 저장되고, t 번째 프레임 상의 m 번째 3차원 위치값을 
로 나타내며, 고해상도의 비디오 영상의 t 번째 프레임 영상을 
로 나타낼 경우 3차원 복원부(104)는 t 번째 프레임 상의 모든 마커에 대한 3차원 위치를 복원한다.
이 때, 모션 캡쳐 장비는 도 2에 도시한 바와 같이 3차원 공간상의 모션 캡쳐 좌표계(
)를 기준으로 마커의 3차원 위치를 복원하며, 모션 캡쳐 좌표계를 기준으로 외부 인자와 내부 인자가 모두 미리 보정된 2대 이상의 모션 캡쳐 카메라로 구성되고, 예를 들면, 삼각법(triangulation method) 등을 통해 t 번째 프레임 상의 
개의 모든 마커에 대한 3차원 위치(
)를 고속으로 정밀 복원한다. 여기에서, 복원된 t 번째 프레임 상의 m 번째 마커의 3차원 위치(
)는 모션 캡쳐 좌표계(
)를 기준으로 
와 같이 정의되며, 
는 각각 모션 캡쳐 좌표계의 X축, Y축, Z축 상의 좌표 값을 의미한다.
다음에, 2차원 검출부(106)는 촬영 카메라를 통해 녹화된 비디오 영상에서 마커의 2차원 위치를 검출하는 것으로, 촬영 카메라를 통해 녹화된 고해상도의 각 비디오 프레임 영상에서 마커의 2차원 위치를 검출하여 촬영 카메라의 모션 추적을 위한 2차원 위치 데이터를 획득한다.
예를 들면, 2차원 검출부(106)는 촬영 카메라를 통해 녹화된 t 번째 비디오 프레임 영상(
)으로부터 
개의 모든 마커에 대한 2차원 위치(
)를 검출하는데, t 번째 프레임 영상에서 m 번째 마커의 2차원 위치(
)는 도 2에 도시한 바와 같이 영상 좌표계(
)를 기준으로 
로 정의되며, 
와 
는 각각 영상 좌표계(
)의 U축과 V축 상의 좌표 값을 의미할 경우 아래의 수학식 1에 나타낸 바와 같은 광학적 오차 함수(photometric error function) 값이 최소값을 갖도록 2차원 위치 데이터를 검출할 수 있다.
여기에서, 
은 m 번째 마커 고유의 외형, 색상, 질감 등의 특징을 작은 크기의 영상 영역으로 표현하는 마커 패치(patch)를 의미하고, 
는 그 마커 패치의 영상 영역 사이즈로서 
로 정의될 수 있으며, 
는 마커 패치의 인덱스로서 
로 정의될 수 있고, 
와 
의 범위는 각각 
로 나타낼 수 있다.
한편, 다수의 모션 캡쳐 카메라를 사용하는 모션 캡쳐 장비와는 달리 하나의 촬영 카메라로 비디오 영상을 녹화하는 경우 마커의 가려짐(occlusion) 현상이 발생할 수 있으며, 이 경우 비디오 영상에서 마커의 위치를 검출할 수 없기 때문에, 이러한 마커의 가려짐 현상이 발생하여 t 번째 비디오 프레임 영상(
)에서 M 번째 마커가 검출되지 않는 경우를 고려하기 위해 가려짐 식별자(
)를 적용할 수 있다. 즉, 
인 경우에는 마커가 정상적으로 검출된 것을 나타내고, 
인 경우에는 가려짐 현상으로 인해 마커가 검출되지 않는 것을 나타낸다.
그리고, 추적부(108)는 3차원 모션 캡쳐 데이터와 2차원 위치 데이터를 이용하여 촬영 카메라의 외부 인자 및 내부 인자를 추적하는 것으로, 예를 들면, 실제 배우, 실제 소품 등에 부착된 마커의 3차원 모션 캡쳐 데이터와 2차원 위치 데이터를 이용하여 모션 캡쳐 데이터 좌표계를 기준으로 하는 촬영 카메라의 모션에 관련된 외부 인자와 촬영 카메라 렌즈의 초점 거리와 관련된 내부 인자를 각 영상 프레임에서 연속적으로 계산하는 방식으로 촬영 카메라의 외부 인자 및 내부 인자를 추적한다.
예를 들면, 추적부(108)는 t 번째 프레임에서 복원된 마커의 모드 3차원 위치(
)와 동일 프레임 영상에서 추출된 마커의 모든 2차원 위치(
)로부터 촬영 카메라의 모션을 추적하는데, t 번째 프레임에서 촬영 카메라의 모션과 관련된 외부 인자는 
로 정의될 수 있다. 여기에서, 
는 카메라 회전 모션의 인자로서 
로 나타낼 수 있는 세 개의 각도(angle) 값으로 정의되는 3ㅧ3 회전 행렬(rotation matrix)을 의미하고, 
는 카메라 이동 모션의 인자로서 
로 나타내는 3ㅧ1 벡터로 정의될 수 있다.
또한, t 번째 프레임에서 촬영 카메라의 렌즈와 관련된 내부 인자는 
로 정의될 수 있다. 여기에서, 
는 촬영 카메라 렌즈의 초점 거리 인자로서 
로 정의될 수 있고, 
는 촬영 카메라 렌즈의 광중심 인자로서 
로 정의될 수 있으며, 
는 촬영 카메라 렌즈의 방상 방향 및 접선 방향 왜곡과 관련된 인자로서 
로 정의될 수 있고, 내부 인자 
와 
는 영상 촬영 중에는 변하지 않는 모든 비디오 프레임 영상에서 동일한 것으로 가정할 수 있다.
그리고, 추적부(108)는 촬영 카메라의 인자 중에서 t 번째 프레임에 대한 외부 인자(
)와 내부 인자(
)를 마커의 3차원 위치(
)와 2차원 위치(
), 내부 인자인 
와 
로부터 아래의 수학식 2와 같은 기하학적 오차 함수(geometric error function) 값이 최소값을 갖도록 계산할 수 있다.
여기에서, 벡터 함수 
는 방상 방향과 접선 방향으로의 렌즈 왜곡을 고려한 촬영 카메라의 기하학적인 비선형 투영(nonlinear projection) 모델과 카메라 렌즈의 방상 방향과 접선 방향 왜곡 모델로부터 아래의 수학식 3과 같이 정의될 수 있다.
상기한 수학식 3에서, 
는 
로 정의되는 2차원 좌표를 나타내는 것으로, 촬영 카메라의 회전 행렬(
)과 이동 벡터(
)를 이용하여 
와 같이 모션 캡쳐 좌표계(
) 상의 마커의 3차원 좌표(
)가 촬영 카메라 좌표계(
) 상의 3차원 좌표의 
축, 
축, 
축 상의 좌표( 
)를 아래의 수학식 4와 같이 핀홀(pinhole) 카메라 투영 모델을 이용하여 투영 변환할 수 있다.
또한, 상기 수학식 3에서 
은 
와 같이 계산될 수 있고, 
는 카메라 렌즈의 접선 방향 렌즈 왜곡 모델로부터 아래의 수학식 5와 같이 계산될 수 있다.
한편, 보정부(110)는 촬영 카메라의 외부 인자 및 내부 인자를 보정하여 최적화하는 것으로, 모든 영상 프레임에 대한 촬영 카메라의 외부 인자 및 내부 인자의 추적이 완료되면, 추적된 촬영 카메라의 외부 인자 및 내부 인자를 이용하여 촬영 카메라 렌즈의 광중심 및 왜곡과 관련된 내부 인자를 포함하는 촬영 카메라의 외부 인자 및 외부 인자를 보정하여 모든 인자에 대한 최적화를 수행한다.
예를 들면, 보정부(110)는 모든 프레임에 대한 촬영 카메라의 모션의 추적이 완료되면 아래의 수학식 6과 같은 오차 함수가 최소값을 갖도록 모든 프레임 상에서의 촬영 카메라 모션과 관련된 외부 인자(
)와, 모든 프레임 상에서의 촬영 카메라 렌즈의 초점 길이 인자(
)와, 촬영 카메라 렌즈의 광중심 내부 인자(
)와, 촬영 카메라 렌즈의 렌즈 왜곡 인자(
) 등을 포함하는 모든 촬영 카메라 인자에 대한 보정을 수행할 수 있다.
이어서, 합성부(112)는 모델 및 소품과 합성될 애니메이션을 설정하여 실사 촬영 영상과 애니메이션 영상을 합성하는 것으로, 모션 캡쳐 데이터를 이용하여 배우 및 소품과 합성될 CG 모델의 애니메이션을 설정한 후, 각 프레임에서 모션 캡쳐 좌표계를 기준으로 추적 및 보정된 촬영 카메라를 렌더링을 위한 그래픽 카메라로 설정하고, 배우 및 소품에 대한 고해상도의 실사 촬영 영상과 그래픽 카메라를 통해 렌더링된 CG 애니메이션 영상을 합성한다.
예를 들면, 합성부(112)는 모든 프레임 상에서의 마커의 3차원 위치 데이터(
)를 이용하여 배우 및 소품과 합성될 CG 모델의 애니메이션을 설정한 후에, 모든 프레임에서 모션 캡쳐 좌표계를 기준으로 추적 및 보정된 촬영 카메라의 모션 정보(
)와, 촬영 카메라의 렌즈 정보(
)를 렌더링하기 위해 도 2에 도시한 바와 같이 그래픽 좌표계(
)의 
축, 
축, 
축을 기준으로 하는 가상 카메라의 외부 인자(
)와 내부 인자(
)를 다음의 수학식 7과 같이 설정할 수 있다.
다음에, 그래픽 좌표계(
) 상의 가상 카메라를 통해 렌더링된 CG 애니메이션 영상(
)과, 배우 및 소품에 대한 고해상도의 실사 촬영 영상(
)을 아래의 수학식 8에 따라 합성하여 CG/실사 합성 영상(
)을 생성할 수 있다.
여기에서, 
는 t 번째 프레임에 해당하는 알파 맵(alpha map)으로 CG 영상(
)과 촬영 영상(
) 상의 픽셀 값을 합성할 경우 필요한 
범위의 합성 가중치 맵을 의미한다.
따라서, 모션 캡쳐 장비와 촬영 카메라를 동기화한 후에, 모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 획득하고, 촬영 카메라를 통해 녹화된 비디오 영상에서 마커의 2차원 위치 데이터를 획득하며, 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 이용하여 촬영 카메라의 외부 인자 및 내부 인자를 추적한 후에, 추적된 외부 인자 및 내부 인자를 이용하여 촬영 카메라의 모든 인자를 보정하고, 실사 촬영 영상과 애니메이션 영상을 효과적으로 합성할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 영상 합성 장치에서 모션 캡쳐 장비와 촬영 카메라를 동기화한 후에, 마커의 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 획득하며, 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 이용하여 촬영 카메라의 외부 인자 및 내부 인자를 추적 및 보정하고, 실사 촬영 영상과 애니메이션 영상을 합성하는 과정에 대해 설명한다.
도 3은 본 발명의 다른 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 과정을 도시한 플로우차트이다.
도 3을 참조하면, 영상 합성 장치의 영상 합성 모드에서(단계302), 동기화부(102)에서는 모션 캡쳐를 수행하는 모션 캡쳐 장비와 비디오 녹화를 수행하는 고해상도의 촬영 카메라의 서로 다른 동작 속도에 대해 시간적 동기화를 수행한다(단계304). 여기에서, 시간적 동기화는 모션 캡쳐 장비의 동작 속도를 촬영 카메라의 동작 속도의 정수배(예를 들면, 2배, 3배, 4배 등)로 설정하는 방식으로 수행됨으로써, 모션 캡쳐 장비를 통해 복원된 모션 캡쳐 데이터 프레임과 촬영 카메라를 통해 녹화된 고해상도의 비디오 영상 프레임이 오차없이 동기화될 수 있다.
또한, 동기화부(102)에서는 젠락 신호를 통해 모션 캡쳐 장비와 촬영 카메라의 내부 클락을 동기화하고, 타임 코드 신호를 기반으로 모션 캡쳐와 영상 녹화의 시작 시간 및 종료 시간이 일치하도록 제어함으로써, 동일한 길이의 모션 캡쳐 데이터와 고해상도의 비디오 데이터를 획득할 수 있으며, 동기화된 모션 캡쳐 데이터와 녹화 영상의 총 프레임수와 각 프레임의 인덱스는 각각의 데이터와 함께 저장될 수 있다.
그리고, 모션 캡쳐를 위해 예를 들면, 실제 배우, 실제 소품 등에 모션 캡쳐용 마커를 부착한다(단계306).
다음에, 모션 캡쳐용 마크에 대한 모션 캡쳐와 예를 들면, 실제 배우, 실제 소품 등에 대한 영상 녹화를 수행한다(단계308).
한편, 3차원 복원부(104)에서는 모션 캡쳐 장비를 통해 실제 배우, 실제 소품 등에 부착된 마커의 모션 캡쳐 데이터를 복원하여 촬영 카메라의 모션 추적을 위한 3차원 모션 데이터(즉, 3차원 마커 위치)를 획득한다(단계310). 여기에서, 마커의 총 개수는 
, 각 마커의 인덱스는 
으로 저장되고, t 번째 프레임 상의 m 번째 3차원 위치값을 
로 나타내며, 고해상도의 비디오 영상의 t 번째 프레임 영상을 
로 나타낼 경우 3차원 복원부(104)에서는 t 번째 프레임 상의 모든 마커에 대한 3차원 위치를 복원할 수 있다.
이 때, 모션 캡쳐 장비는 도 2에 도시한 바와 같이 3차원 공간상의 모션 캡쳐 좌표계(
)를 기준으로 마커의 3차원 위치를 복원하며, 모션 캡쳐 좌표계를 기준으로 외부 인자와 내부 인자가 모두 미리 보정된 2대 이상의 모션 캡쳐 카메라로 구성되고, 예를 들면, 삼각법 등을 통해 t 번째 프레임 상의 
개의 모든 마커에 대한 3차원 위치(
)를 고속으로 정밀 복원한다. 여기에서, 복원된 t 번째 프레임 상의 m 번째 마커의 3차원 위치(
)는 모션 캡쳐 좌표계(
)를 기준으로 
와 같이 정의되며, 
는 각각 모션 캡쳐 좌표계의 X축, Y축, Z축 상의 좌표 값을 의미한다.
다음에, 2차원 검출부(106)에서는 촬영 카메라를 통해 녹화된 고해상도의 각 비디오 프레임 영상에서 마커의 2차원 위치를 검출하여 촬영 카메라의 모션 추적을 위한 2차원 위치 데이터를 획득한다(단계312).
일 예로서, 2차원 검출부(106)에서는 촬영 카메라를 통해 녹화된 t 번째 비디오 프레임 영상(
)으로부터 
개의 모든 마커에 대한 2차원 위치(
)를 검출하는데, t 번째 프레임 영상에서 m 번째 마커의 2차원 위치(
)는 도 2에 도시한 바와 같이 영상 좌표계(
)를 기준으로 
로 정의되며, 
와 
는 각각 영상 좌표계(
)의 U축과 V축 상의 좌표 값을 나타낼 경우 상기 수학식 1에 나타낸 바와 같은 광학적 오차 함수 값이 최소값을 갖도록 2차원 마커 위치를 검출할 수 있다.
이 때, 다수의 모션 캡쳐 카메라를 사용하는 모션 캡쳐 장비와는 달리 하나의 촬영 카메라로 비디오 영상을 녹화하는 경우 마커의 가려짐 현상이 발생할 수 있으며, 이 경우 비디오 영상에서 마커의 위치를 검출할 수 없기 때문에, 이러한 마커의 가려짐 현상이 발생하여 t 번째 비디오 프레임 영상(
)에서 M 번째 마커가 검출되지 않는 경우를 고려하기 위해 가려짐 식별자(
)를 적용할 수 있다. 즉, 
인 경우에는 마커가 정상적으로 검출된 것을 나타내고, 
인 경우에는 가려짐 현상으로 인해 마커가 검출되지 않는 것을 나타내는 방식으로 적용할 수 있다.
그리고, 추적부(108)에서는 마커의 3차원 모션 캡쳐 데이터와 2차원 위치 데이터를 이용하여 모션 캡쳐 데이터 좌표계를 기준으로 하는 촬영 카메라의 모션에 관련된 외부 인자와 촬영 카메라 렌즈의 초점 거리와 관련된 내부 인자를 각 영상 프레임에서 연속적으로 계산하는 방식으로 촬영 카메라의 외부 인자 및 내부 인자를 추적한다(단계314).
일 예로서, 추적부(108)에서는 t 번째 프레임에서 복원된 마커의 모드 3차원 위치(
)와 동일 프레임 영상에서 추출된 마커의 모든 2차원 위치(
)로부터 촬영 카메라의 모션을 추적하는데, t 번째 프레임에서 촬영 카메라의 모션과 관련된 외부 인자는 
로 정의될 수 있다. 여기에서, 
는 카메라 회전 모션의 인자로서 
로 나타낼 수 있는 세 개의 각도 값으로 정의되는 3ㅧ3 회전 행렬을 의미하고, 
는 카메라 이동 모션의 인자로서 
로 나타내는 3ㅧ1 벡터로 정의될 수 있다.
또한, t 번째 프레임에서 촬영 카메라의 렌즈와 관련된 내부 인자는 
로 정의될 수 있는데, 
는 촬영 카메라 렌즈의 초점 거리 인자를 의미하고, 
는 촬영 카메라 렌즈의 광중심 인자를 의미하며, 
는 촬영 카메라 렌즈의 방상 방향 및 접선 방향 왜곡과 관련된 인자를 의미하고, 내부 인자 
와 
는 영상 촬영 중에는 변하지 않는 모든 비디오 프레임 영상에서 동일한 것으로 가정할 수 있다.
이 때, 추적부(108)에서는 촬영 카메라의 인자 중에서 t 번째 프레임에 대한 외부 인자(
)와 내부 인자(
)를 마커의 3차원 위치(
)와 2차원 위치(
), 내부 인자인 
와 
로부터 상기 수학식 2와 같은 기하학적 오차 함수 값이 최소값을 갖도록 계산할 수 있다.
상기 수학식 2에서, 벡터 함수 
는 방상 방향과 접선 방향으로의 렌즈 왜곡을 고려한 촬영 카메라의 기하학적인 비선형 투영 모델과 카메라 렌즈의 방상 방향과 접선 방향 왜곡 모델로부터 상기 수학식 3과 같이 정의될 수 있고, 
는 
로 정의되는 2차원 좌표를 나타내는 것으로, 촬영 카메라의 회전 행렬(
)과 이동 벡터(
)를 이용하여 
와 같이 모션 캡쳐 좌표계(
) 상의 마커의 3차원 좌표(
)가 촬영 카메라 좌표계(
) 상의 3차원 좌표의 
축, 
축, 
축 상의 좌표(
)를 상기 수학식 4와 같이 핀홀 카메라 투영 모델을 이용하여 투영 변환할 수 있다.
또한, 상기 수학식 3에서 
은 
와 같이 계산될 수 있고, 
는 카메라 렌즈의 접선 방향 렌즈 왜곡 모델로부터 상기 수학식 5와 같이 계산될 수 있다.
다음에, 모든 영상 프레임에 대해 단계310의 3차원 마크 위치 복원과, 단계312의 2차원 마커 위치 검출과, 단계314의 카메라 인자 추적 과정을 반복 수행한다(단계316).
그리고, 보정부(110)에서는 모든 영상 프레임에 대한 촬영 카메라의 외부 인자 및 내부 인자의 추적이 완료되면, 추적된 촬영 카메라의 외부 인자 및 내부 인자를 이용하여 촬영 카메라 렌즈의 광중심 및 왜곡과 관련된 내부 인자를 포함하는 촬영 카메라의 외부 인자 및 외부 인자를 보정하여 모든 인자에 대한 최적화를 수행한다(단계318).
예를 들면, 보정부(110)에서는 모든 프레임에 대한 촬영 카메라의 모션의 추적이 완료되면 상기 수학식 6과 같은 오차 함수가 최소값을 갖도록 모든 프레임 상에서의 촬영 카메라 모션과 관련된 외부 인자(
)와, 모든 프레임 상에서의 촬영 카메라 렌즈의 초점 길이 인자(
)와, 촬영 카메라 렌즈의 광중심 내부 인자(
)와, 촬영 카메라 렌즈의 렌즈 왜곡 인자(
) 등을 포함하는 모든 촬영 카메라 인자에 대한 보정을 수행할 수 있다.
이어서, 합성부(112)에서는 모션 캡쳐 데이터를 이용하여 배우 및 소품과 합성될 CG 모델의 애니메이션을 설정한 후, 각 프레임에서 모션 캡쳐 좌표계를 기준으로 추적 및 보정된 촬영 카메라를 렌더링을 위한 그래픽 카메라로 설정하고, 배우 및 소품에 대한 고해상도의 실사 촬영 영상과 그래픽 카메라를 통해 렌더링된 CG 애니메이션 영상을 합성한다(단계320).
예를 들면, 모든 프레임 상에서의 마커의 3차원 위치 데이터(
)를 이용하여 배우 및 소품과 합성될 CG 모델의 애니메이션을 설정한 후에, 모든 프레임에서 모션 캡쳐 좌표계를 기준으로 추적 및 보정된 촬영 카메라의 모션 정보(
)와, 촬영 카메라의 렌즈 정보(
)를 렌더링하기 위해 도 2에 도시한 바와 같이 그래픽 좌표계(
)의 
축, 
축, 
축을 기준으로 하는 가상 카메라(즉, 그래픽 카메라)의 외부 인자(
)와 내부 인자(
)를 상기 수학식 7과 같이 설정할 수 있다.
다음에, 그래픽 좌표계(
) 상의 가상 카메라를 통해 렌더링된 CG 애니메이션 영상(
)과, 배우 및 소품에 대한 고해상도의 실사 촬영 영상(
)을 상기 수학식 8에 따라 합성하여 CG/실사 합성 영상(
)을 생성할 수 있다.
여기에서, 
는 t 번째 프레임에 해당하는 알파 맵(alpha map)으로 CG 영상(
)과 촬영 영상(
) 상의 픽셀 값을 합성할 경우 필요한 
범위의 합성 가중치 맵을 의미한다.
예를 들면, 도 4a 및 도 4b는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 제 1 예시도이고, 도 5a 및 도 5b는 본 발명의 실시 예에 따라 모션 캡쳐 데이터를 통해 촬영 카메라의 모션을 추적하여 영상을 합성하는 제 2 예시도로서, 도 4a 및 도 5a는 1920ㅧ1080 픽셀의 고해상도 실사 영상을 나타내고, 소품에 부착된 마커에 대한 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 이용하여 촬영 카메라 모션을 추적한 후, 촬영 카메라의 외부 인자 및 내부 인자를 보정하여 CG 영상과 실사 영상을 합성하면, 도 4b 및 도 5b와 같이 1920ㅧ1080 픽셀의 합성 영상이 효과적으로 생성될 수 있음을 알 수 있다.
따라서, 모션 캡쳐 장비와 촬영 카메라를 동기화한 후에, 모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 획득하고, 촬영 카메라를 통해 녹화된 비디오 영상에서 마커의 2차원 위치 데이터를 획득하며, 3차원 모션 캡쳐 데이터 및 2차원 위치 데이터를 이용하여 촬영 카메라의 외부 인자 및 내부 인자를 추적한 후에, 추적된 외부 인자 및 내부 인자를 이용하여 촬영 카메라의 모든 인자를 보정하고, 실사 촬영 영상과 애니메이션 영상을 효과적으로 합성할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독할 수 있는 매체에 기록될 수 있는데, 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있고, 이러한 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
그리고, 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있고, 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
102 : 동기화부 104 : 3차원 복원부
106 : 2차원 검출부 108 : 추적부
110 : 보정부 112 : 합성부
106 : 2차원 검출부 108 : 추적부
110 : 보정부 112 : 합성부
Claims (20)
- 모션 캡쳐 장비와 촬영 카메라를 동기화시키는 동기화부와,
모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 복원하는 3차원 복원부와,
상기 촬영 카메라를 통해 촬영된 비디오 영상에서 상기 마커의 2차원 위치 데이터를 검출하는 2차원 검출부와,
상기 복원된 3차원 모션 캡쳐 데이터 및 상기 검출된 2차원 위치 데이터로부터 상기 3차원 모션 캡쳐 데이터 좌표계를 기준으로 하는 촬영 카메라의 모션에 관련된 외부 인자와 촬영 카메라 렌즈의 초점 거리와 관련된 내부 인자를 각 영상 프레임에서 연속적으로 계산하여 상기 비디오 영상의 모든 프레임에 대한 상기 촬영 카메라의 외부 인자 및 내부 인자를 추적하는 추적부와,
상기 모든 프레임에 대한 추적이 완료되면, 상기 추적된 외부 인자 및 내부 인자를 보정하는 보정부와,
상기 보정된 외부 인자 및 내부 인자를 이용하여 기 설정된 CG(computer-generated) 영상과 상기 비디오 영상을 합성하는 합성부를 포함하고,
상기 외부인자와 내부인자는 상기 마커의 3차원 위치데이터와 2차원 위치 데이터로부터 기 설정된 기하학적 오차함수 값이 최소값을 갖도록 계산되는
영상 합성 장치. - 제 1 항에 있어서,
상기 동기화부는, 젠락(gen-lock) 신호와 타임 코드(time-code) 신호를 이용하여 상기 모션 캡쳐 장비 및 촬영 카메라의 내부 클락(clock)을 상호 동기화하는
영상 합성 장치. - 제 2 항에 있어서,
상기 동기화부는, 상기 타임 코드 신호를 이용하여 상기 모션 캡쳐 장비의 동작 속도를 상기 촬영 카메라의 녹화 속도의 정수배가 되도록 제어하고, 상기 모션 캡쳐와 상기 비디오 영상의 녹화 실행 시작 시간 및 종료 시간을 제어하는
영상 합성 장치. - 제 1 항에 있어서,
상기 3차원 복원부는, 모션 캡쳐 좌표계의 X축, Y축, Z축 상의 좌표 값에 따라 상기 3차원 모션 캡쳐 데이터를 복원하는
영상 합성 장치. - 제 4 항에 있어서,
상기 2차원 검출부는, 영상 좌표계의 U축과 V축 상의 좌표 값을 이용하여 광학적 오차 함수 값이 최소값을 갖도록 상기 2차원 위치 데이터를 검출하는
영상 합성 장치. - 제 1 항에 있어서,
상기 추적부는, 상기 촬영 카메라의 모션과 관련된 상기 외부 인자와, 상기 촬영 카메라의 렌즈와 관련된 상기 내부 인자를 추적하는
영상 합성 장치. - 제 6 항에 있어서,
상기 추적부는, 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자를 추적하는
영상 합성 장치. - 제 7 항에 있어서,
상기 추적부는, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 상기 내부 인자를 추적하는
영상 합성 장치. - 제 1 항에 있어서,
상기 보정부는, 기 설정된 오차함수가 최소값을 갖도록 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자와, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 모든 촬영 카메라 인자에 대해 보정하여 최적화를 수행하는
영상 합성 장치. - 제 9 항에 있어서,
상기 합성부는, 모션 캡쳐 좌표계를 기준으로 상기 외부 인자 및 내부 인자가 추적 및 보정된 상기 촬영 카메라를 렌더링을 위한 그래픽 카메라로 설정하고, 상기 설정된 그래픽 카메라를 이용하여 상기 CG 영상 및 비디오 영상을 합성하는
영상 합성 장치. - 모션 캡쳐 장비와 촬영 카메라를 동기화시키는 단계와,
모션 캡쳐를 위해 부착된 마커의 3차원 모션 캡쳐 데이터를 복원하는 단계와,
상기 촬영 카메라를 통해 촬영된 비디오 영상에서 상기 마커의 2차원 위치 데이터를 검출하는 단계와,
상기 복원된 3차원 모션 캡쳐 데이터 및 상기 검출된 2차원 위치 데이터로부터 상기 3차원 모션 캡쳐 데이터 좌표계를 기준으로 하는 촬영 카메라의 모션에 관련된 외부 인자와 촬영 카메라 렌즈의 초점 거리와 관련된 내부 인자를 각 영상 프레임에서 연속적으로 계산하여 상기 비디오 영상의 모든 프레임에 대한 상기 촬영 카메라의 외부 인자 및 내부 인자를 추적하는 단계와,
상기 모든 프레임에 대한 추적이 완료되면, 상기 추적된 외부 인자 및 내부 인자를 보정하는 단계와,
상기 보정된 외부 인자 및 내부 인자를 이용하여 기 설정된 CG(computer-generated) 영상과 상기 비디오 영상을 합성하는 단계를 포함하고,
상기 외부인자와 내부인자는 상기 마커의 3차원 위치데이터와 2차원 위치 데이터로부터 기 설정된 기하학적 오차함수 값이 최소값을 갖도록 계산되는
영상 합성 방법. - 제 11 항에 있어서,
상기 동기화시키는 단계는, 젠락(gen-lock) 신호와 타임 코드(time-code) 신호를 이용하여 상기 모션 캡쳐 장비 및 촬영 카메라의 내부 클락(clock)을 상호 동기화하는 방식으로 수행되는
영상 합성 방법. - 제 12 항에 있어서,
상기 동기화시키는 단계는, 상기 타임 코드 신호를 이용하여 상기 모션 캡쳐 장비의 동작 속도를 상기 촬영 카메라의 녹화 속도의 정수배가 되도록 제어하고, 상기 모션 캡쳐와 상기 비디오 영상의 녹화 실행 시작 시간 및 종료 시간을 제어하는 방식으로 수행되는
영상 합성 방법. - 제 11 항에 있어서,
상기 3차원 모션 캡쳐 데이터를 복원하는 단계는, 모션 캡쳐 좌표계의 X축, Y축, Z축 상의 좌표 값에 따라 상기 3차원 모션 캡쳐 데이터를 복원하는 방식으로 수행되는
영상 합성 방법. - 제 14 항에 있어서,
상기 2차원 위치 데이터를 검출하는 단계는, 영상 좌표계의 U축과 V축 상의 좌표 값을 이용하여 광학적 오차 함수 값이 최소값을 갖도록 상기 2차원 위치 데이터를 검출하는 방식으로 수행되는
영상 합성 방법. - 제 11 항에 있어서,
상기 외부 인자 및 내부 인자를 추적하는 단계는, 상기 촬영 카메라의 모션과 관련된 상기 외부 인자와, 상기 촬영 카메라의 렌즈와 관련된 상기 내부 인자를 추적하는 방식으로 수행되는
영상 합성 방법. - 제 16 항에 있어서,
상기 외부 인자 및 내부 인자를 추적하는 단계는, 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자를 추적하는 방식으로 수행되는
영상 합성 방법. - 제 17 항에 있어서,
상기 외부 인자 및 내부 인자를 추적하는 단계는, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 상기 내부 인자를 추적하는 방식으로 수행되는
영상 합성 방법. - 제 11 항에 있어서,
상기 추적된 외부 인자 및 내부 인자를 보정하는 단계는, 기 설정된 오차함수가 최소값을 갖도록 카메라 회전 모션 인자와 카메라 이동 모션 인자를 포함하는 상기 외부 인자와, 카메라 렌즈의 초점 거리 인자와, 상기 카메라 렌즈의 광중심 내부 인자와, 상기 카메라 렌즈의 방상 방향 및 접선 방향에 대한 렌즈 왜곡 인자를 포함하는 모든 촬영 카메라 인자에 대해 최적화를 통해 상기 외부 인자 및 내부 인자를 보정하는 방식으로 수행되는
영상 합성 방법. - 제 19 항에 있어서,
상기 비디오 영상을 합성하는 단계는, 모션 캡쳐 좌표계를 기준으로 상기 외부 인자 및 내부 인자가 추적 및 보정된 상기 촬영 카메라를 렌더링을 위한 그래픽 카메라로 설정하고, 상기 설정된 그래픽 카메라를 이용하여 상기 CG 영상 및 비디오 영상을 합성하는 방식으로 수행되는
영상 합성 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100033310A KR101335391B1 (ko) | 2010-04-12 | 2010-04-12 | 영상 합성 장치 및 그 방법 |
| US12/874,587 US20110249095A1 (en) | 2010-04-12 | 2010-09-02 | Image composition apparatus and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100033310A KR101335391B1 (ko) | 2010-04-12 | 2010-04-12 | 영상 합성 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110113949A KR20110113949A (ko) | 2011-10-19 |
| KR101335391B1 true KR101335391B1 (ko) | 2013-12-03 |
Family
ID=44760649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100033310A KR101335391B1 (ko) | 2010-04-12 | 2010-04-12 | 영상 합성 장치 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20110249095A1 (ko) |
| KR (1) | KR101335391B1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9398210B2 (en) * | 2011-02-24 | 2016-07-19 | Digimarc Corporation | Methods and systems for dealing with perspective distortion in connection with smartphone cameras |
| US8457484B2 (en) * | 2011-05-25 | 2013-06-04 | Echostar Technologies L.L.C. | Apparatus, systems and methods for acquiring information from film set devices |
| WO2012168322A2 (en) | 2011-06-06 | 2012-12-13 | 3Shape A/S | Dual-resolution 3d scanner |
| US8696450B2 (en) | 2011-07-27 | 2014-04-15 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for analyzing and providing feedback for improved power generation in a golf swing |
| FR2984057B1 (fr) | 2011-12-13 | 2014-01-03 | Solidanim | Systeme de tournage de film video |
| GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
| US20210249116A1 (en) * | 2012-06-14 | 2021-08-12 | Medibotics Llc | Smart Glasses and Wearable Systems for Measuring Food Consumption |
| US9508146B2 (en) * | 2012-10-31 | 2016-11-29 | The Boeing Company | Automated frame of reference calibration for augmented reality |
| EP2852143A1 (en) * | 2013-09-18 | 2015-03-25 | Nokia Corporation | Creating a cinemagraph |
| US10495843B2 (en) | 2015-08-25 | 2019-12-03 | Electronics And Telecommunications Research Institute | Imaging apparatus with adjustable lens and method for operating the same |
| EP3466080A4 (en) * | 2016-06-07 | 2020-01-08 | Visbit Inc. | 360 DEGREE VIDEO CAMERA SYSTEM FOR VIRTUAL REALITY AND LIVE STREAMING |
| US11176716B2 (en) * | 2020-02-28 | 2021-11-16 | Weta Digital Limited | Multi-source image data synchronization |
| CN112037264B (zh) * | 2020-11-03 | 2021-02-05 | 浙江清鹤科技有限公司 | 一种视频融合系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050008245A (ko) * | 2003-07-14 | 2005-01-21 | (주)워치비젼 | 일반 동영상에서의 3차원 그래픽 영상합성을 위한 장치 및그 방법 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5675495A (en) * | 1995-05-18 | 1997-10-07 | Hella K.G. Hueck & Co. | Process for the design of free form reflectors which accounts for manufacturing tolerances |
| US6891518B2 (en) * | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| JP4532982B2 (ja) * | 2004-05-14 | 2010-08-25 | キヤノン株式会社 | 配置情報推定方法および情報処理装置 |
| JP4434890B2 (ja) * | 2004-09-06 | 2010-03-17 | キヤノン株式会社 | 画像合成方法及び装置 |
| KR20080024476A (ko) * | 2005-06-14 | 2008-03-18 | 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 | 위치 검출 장치, 위치 검출 방법, 위치 검출 프로그램 및복합 현실 제공 시스템 |
| US20070236514A1 (en) * | 2006-03-29 | 2007-10-11 | Bracco Imaging Spa | Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation |
| WO2008026463A1 (fr) * | 2006-08-30 | 2008-03-06 | Nec Corporation | Système, procédé, programme et robot de localisation de source sonore |
| KR101221449B1 (ko) * | 2009-03-27 | 2013-01-11 | 한국전자통신연구원 | 카메라간 영상 보정 장치 및 방법 |
| KR101259559B1 (ko) * | 2009-12-18 | 2013-04-30 | 한국전자통신연구원 | 멀티 카메라 연동 장치 및 방법 |
-
2010
- 2010-04-12 KR KR1020100033310A patent/KR101335391B1/ko active IP Right Grant
- 2010-09-02 US US12/874,587 patent/US20110249095A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050008245A (ko) * | 2003-07-14 | 2005-01-21 | (주)워치비젼 | 일반 동영상에서의 3차원 그래픽 영상합성을 위한 장치 및그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110113949A (ko) | 2011-10-19 |
| US20110249095A1 (en) | 2011-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101335391B1 (ko) | 영상 합성 장치 및 그 방법 | |
| US10504293B2 (en) | Augmenting multi-view image data with synthetic objects using IMU and image data | |
| KR101221449B1 (ko) | 카메라간 영상 보정 장치 및 방법 | |
| JP6775776B2 (ja) | 自由視点移動表示装置 | |
| JP2008299669A (ja) | 頭部装着型表示装置、及びその制御方法 | |
| US20170374256A1 (en) | Method and apparatus for rolling shutter compensation | |
| KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
| US20220067968A1 (en) | Motion capture calibration using drones with multiple cameras | |
| JP2004213355A (ja) | 情報処理方法 | |
| JP4272966B2 (ja) | ３ｄｃｇ合成装置 | |
| JP4144960B2 (ja) | 撮像装置及び画像合成装置並びに方法 | |
| JP2008041107A (ja) | 撮像装置及び画像合成装置 | |
| KR102218843B1 (ko) | 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법 | |
| Chandaria et al. | Realtime camera tracking in the MATRIS project | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| KR20220155829A (ko) | 영상 제작 시 합성 기법 | |
| JP6641525B2 (ja) | 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム | |
| US11682175B2 (en) | Previsualization devices and systems for the film industry | |
| JP2004069442A (ja) | 景観情報取得装置、景観情報取得方法、景観情報取得プログラムおよび記録媒体 | |
| US11600022B2 (en) | Motion capture calibration using drones | |
| US11636621B2 (en) | Motion capture calibration using cameras and drones | |
| US11948257B2 (en) | Systems and methods for augmented reality video generation | |
| WO2021117552A1 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
| KR20230056161A (ko) | 증강현실 가상 스튜디오 시스템 및 그 구현 방법 | |
| CA3191221A1 (en) | Motion capture calibration using drones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20171024 Year of fee payment: 5 |