KR100916588B1 - 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법 - Google Patents

3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법 Download PDF

Info

Publication number
KR100916588B1
KR100916588B1 KR1020070089855A KR20070089855A KR100916588B1 KR 100916588 B1 KR100916588 B1 KR 100916588B1 KR 1020070089855 A KR1020070089855 A KR 1020070089855A KR 20070089855 A KR20070089855 A KR 20070089855A KR 100916588 B1 KR100916588 B1 KR 100916588B1
Authority
KR
South Korea
Prior art keywords
background
motion
motion capture
camera
dimensional geometric
Prior art date
Application number
KR1020070089855A
Other languages
English (en)
Other versions
KR20080050283A (ko
Inventor
박창준
유정재
이재광
이인호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/948,923 priority Critical patent/US8340398B2/en
Publication of KR20080050283A publication Critical patent/KR20080050283A/ko
Application granted granted Critical
Publication of KR100916588B1 publication Critical patent/KR100916588B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과 이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 시스템 및 방법에 관한 것으로, 실사 배경을 촬영하는 장소(야외 혹은 스튜디오)에 모션 캡쳐를 위한 카메라를 설치하고, 합성할 인체형 캐릭터를 위한 모션 캡쳐 수행 이전에, 모션 캡쳐를 위한 고정 카메라와 실사 배경 영상 촬영 카메라간의 3차원 기하학적 상호 위치를 구해 3차원 모션 데이터를 캡쳐함으로써 촬영 공간 내에 존재하는 제3의 인물이나 의자, 탁자 등과 같은 실제 소품과의 인터랙션(interaction)이 있는 경우에도 매우 용이하게 인체형 캐릭터를 실사 배경에 합성할 수 있는 효과가 있다.
모션 캡쳐, 상관 관계, 3차원 모션 데이터

Description

3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과 이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 시스템 및 방법{CORELATION EXTRACT METHOD FOR GENERATING 3D MOTION DATA AND MOTION CAPTURE SYSTEM AND METHOD FOR EASY COMPOSITION OF HUMANOID CHARACTER TO REAL BACKGROUND IMAGE USING AS THE SAME}
본 발명은 실사 배경 영상에 인체형 캐릭터를 손쉽게 합성하기 위한 모션 캡쳐 방법에 관한 것으로, 더욱 상세하게는 본 발명은 실사 배경을 촬영하는 장소(야외 혹은 스튜디오)에 모션 캡쳐를 위한 카메라를 설치하고, 합성할 인체형 캐릭터를 위한 모션 캡쳐 수행 이전에, 모션 캡쳐를 위한 고정 카메라와 실사 배경 영상 촬영 카메라간의 3차원 기하학적 상호 위치를 구함으로써, 실사 배경 영상 촬영 카메라에 정확하게 정합될 수 있는 3차원 모션 데이터를 캡쳐할 수 있는 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2005-S-003-02, 과제명: 실사 수준의 디지털 영상 콘텐츠 제작 소프트웨어 개발].
종래 특허에서, 적외선 반사체 또는 발광체, 초음파 발생체, 자기식 센서, 광섬유 등을 관절에 착용한 후, 센서의 3차원 위치를 복원함으로써 인체형 캐릭터를 위한 모션 데이터 생성 방법이 있었다.
이 방법은 인체형 캐릭터를 위한 모션 캡쳐에서 마커나 센서를 관절에 부착하여 관절의 3차원 위치를 검출하여 캐릭터 자체의 모션 데이터는 정확하게 캡쳐할 수 있었지만, 합성된 배경 영상과의 3차원 기하학적 상호 위치가 없었기 때문에 합성된 실사 영상 내의 실제 소품이나 제3의 인물과의 인터랙션(interaction)이 있는 경우에는 캡쳐된 데이터에 상당한 수정을 가해야 하므로 이로 인해 합성과정에 많은 시간이 소요되었다.
그리고 배경 촬영 영상에 대해 카메라 트래킹(tracking)을 수행하여 배경 기하 정보를 추출하는 방법에 있어서 실사 배경의 소품의 3차원 기하 구조를 추출하는 방법이 있었지만, 인체를 대상으로 하는 모션 캡쳐 데이터 생성을 하지 못하였다.
따라서 기존에는 모션 캡쳐와 실사 배경 영상 촬영을 별도로 하여야 했기 때문에 실사 배경에 모션 캡쳐된 데이터가 적용된 캐릭터를 합성하는 데에 어려움이 있다. 특히, 실제 소품이나 제3의 실제 인물과의 인터랙션(interaction)이 있는 경우에는 많은 수작업이 필요하고, 이로 인해 합성과정에 많은 시간이 소요되는 문제점이 있다.
따라서 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 실제 배경 촬영 영상 내에서 실제 인물을 자동으로 정합할 수 있는 3차원 인체형 캐릭터 모션 데이터를 생성하는 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 모션 캡쳐 시스템은 모션 캡쳐용 고정 카메라 및 실사 배경 촬영용 이동 카메라의 위치를 캘리브레이션 하기 위한 보정틀과, 상기 보정틀 및 배경 마커 또는 배경에 존재하는 코너 포인트를 촬영하고, 동작자의 움직임을 모션 캡쳐하는 모션 캡쳐용 고정 카메라와, 위치를 이동하며 실사 배경을 촬영하는 실사 배경 촬영용 이동 카메라와, 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 기하학적 상호 위치를 추출하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성하는 모션 캡쳐 처리 장치를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 모션 캡쳐 처리 장치는 상기 모션 캡쳐용 고정 카메라와 상기 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 파악하여 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라간의 3차원 기하학적 상호 위치를 추출하는 상관 관계 추출부와, 상기 추출한 3차원 기하학적 상호 위치에 따라 실제 촬영한 동작자의 움직임을 모션 캡쳐하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성하는 3차원 모션 데이터 생성부를 포함하여 구성되는 것을 특징으로 한다.
한편 본 발명의 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법은 보정틀과 배경 마커 또는 배경에 존재하는 코너 포인트의 3차원 기하학적 상호 위치(a)를 구하는 단계와, 상기 구한 3차원 기하학적 상호 위치(a)로부터 상기 보정틀을 매개로 모션 캡쳐용 고정 카메라와 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치(b)를 구하는 단계와, 상기 구한 3차원 기하학적 상호 위치(b)로부터 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 기하학적 상호 위치(c)를 구해 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 모션 데이터를 추출하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
한편, 본 발명의 모션 캡쳐 방법은 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라를 이용해 모션 캡쳐를 수행하는 방법에 있어서, 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 기하학적 상호 위치를 추출하는 1단계와, 상기 추출한 3차원 기하학적 상호 위치를 이용해 실제 동작자의 모션 캡쳐를 수행하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성하는 2단계를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 1단계는 상기 모션 캡쳐용 고정 카메라와 보정틀의 3차원 기하학적 상호 위치를 구하는 1-1단계와, 상기 보정틀과 상기 실사 배경 촬영용 이동 카메라에 의해 촬영된 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 구하는 1-2단계와, 상기 1-2단계에서 구한 3차원 기하학적 상호 위치를 이용해 보정틀을 매개로 모션 캡쳐용 고정 카메라와 상기 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 구하는 1-3단계와, 상기 1-3에서 구한 3차원 기하학적 상호 위치로부터 상기 모션 캡쳐용 고정 카메라와 상기 실사 배경 촬영용 이동 카메라간의 3차원 기하학적 상호 위치를 추출하는 1-4단계를 포함하여 이루어지는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 모션 캡쳐 장치 및 방법은 모션 캡쳐용 고정 카메라와 실사 배경 영상 촬영용 이동 카메라의 3차원 기하학적 상호 위치를 이용해 실사 배경과 정확하게 자동으로 정합될 수 있는 3차원 모션 데이터가 생성됨으로써 촬영 공간 내에 존재하는 제3의 인물이나 의자, 탁자 등과 같은 실제 소품과의 인터랙션(interaction)이 있는 경우에도 매우 용이하게 인체형 캐릭터를 실사 배경에 합성할 수 있는 효과가 있다.
이하, 본 발명의 모션 캡쳐 방법에 대하여 첨부된 도 1 및 도 2를 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 3차원 모션 데이터를 생성하는 모션 캡쳐 장치를 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 모션 캡쳐 처리 장치(100)는 보정틀 및 배경 마커 또는 배경에 존재하는 코너 포인트를 촬영하고, 동작자의 움직임을 모션 캡쳐하는 모션 캡쳐용 고정 카메라(103)와, 위치를 이동하며 실사 배경을 촬영하는 실사 배경 촬영용 이동 카메라(101)의 3차원 기하학적 상호 위치를 추출하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성한다.
이러한 모션 캡쳐 처리 장치(100)는 모션 캡쳐용 고정 카메라(103)와 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 파악하여 모션 캡쳐용 고정 카메라(103)와 실사 배경 촬영용 이동 카메라(101)간의 3차원 기하학적 상호 위치를 추출하는 상관 관계 추출부(110)와, 추출한 3차원 기하학적 상호 위치에 따라 실제 촬영한 동작자의 움직임을 모션 캡쳐하여 실사 배경과 자동 정합할 수 있는 3차원 모션 데이터를 생성하는 3차원 모션 데이터 생성부(120)를 포함하여 구성된다.
그리고 보정틀은 모션 캡쳐용 고정 카메라(103) 및 실사 배경 촬영용 이동 카메라(101)의 위치를 캘리브레이션 하기 위한 것이다.
도 2는 본 발명에 따른 고정 카메라(103)와 이동 카메라(101)의 3차원 기하학적 상호 위치를 이용한 3차원 모션 데이터 생성 과정을 나타낸 순서도이다.
본 발명은 크게 두 과정으로 준비 과정과 실제 동작 과정으로 이루어진다. 우선 준비 과정에서는 모션 캡쳐용 고정 카메라(103)와 실사 배경 촬영용 이동 카메라(101)간의 3차원 기하학적 상호 위치를 추출하여 저장한다.
구체적으로는, 시스템 및 프로그램을 시작하면(S310), 이동 카메라(101)를 보정틀(102)과 배경 마커(104)(또는 배경 코너 포인트)를 동시에 관측되게끔 설치하고, 복수의 고정 카메라(103)는 삼각대나 소품 속에 삽입한 형태로 고정하여 설치한다(S311).
그런 다음, 보정틀(102)을 이용해 모션 캡쳐용 고정 카메라(103)와 실사 배경 촬영용 이동 카메라(101)를 각각 캘리브레이션(보정틀과의 상대적인 위치 계산)하고, 이를 통해 실사 배경 촬영용 이동 카메라(101)와 모션 캡쳐용 고정 카메라(103)의 3차원 기하학적 상호 위치를 파악한다(S311).
캘리브레이션된 두 고정 카메라(103)를 이용하여 삼각화(Triangulation) 방법을 통해 보정틀에 대한 배경 마커(104)(또는 배경 코너 포인트)의 기하학적 위치를 계산함으로서 보정틀에 대한 이동 카메라(101), 고정 카메라(103) 그리고 배경 마커(104)(또는 배경 코너 포인트)의 3차원 기하학적 상호 위치를 파악한다(S311).
보정틀에 대한 모션 캡쳐용 고정 카메라(103)와 실사 배경 촬영용 이동 카메라(101)의 상호 위치를 파악함으로서 고정 카메라(103)와 이동 카메라(101)의 3차원 기하학적 상호 위치(상관 관계)도 파악할 수 있게 된다(S312).
상술한 바와 같은 준비과정을 통해 고정 카메라와 이동 카메라간의 3차원 기하학적 상호 위치를 추출해 저장한 다음, 실제 동작 과정(S313 ~ S314)을 수행한다.
고정 카메라는 실제 동작자의 모션 캡쳐를 수행하고(S313), 추출한 3차원 기하학적 상호 위치를 도입하여 이동 카메라를 통해 촬영한 실사 배경 영상에 정확하게 정합되는 3차원 모션 데이터를 생성한다(S314).
그러면 상기와 같은 모션 캡쳐 방법에 따라 준비 과정을 거친 후, 본격적인 모션 캡쳐를 수행하는 과정에 대해 도 3 및 도 4를 참조하여 설명하기로 한다.
도 3은 도 2에 따른 모션 캡쳐를 위한 고정 카메라와 실사 배경 영상 촬영을 위한 이동 카메라에 대한 3차원 기하학적 상호 위치를 추출하기 위한 예시도이다.
도 3(a)는 모션 캡쳐를 위한 고정 카메라와 실사 배경 영상 촬영을 위한 이동 카메라에 대한 초기 3차원 기하학적 상호 위치를 추출하기 위한 예시도로서, 실사 배경 영상 촬영을 위한 이동 카메라(101), 보정틀(102), 모션 캡쳐를 위한 고정 카메라(103), 배경 마커(104)를 설치하고, 고정 카메라(103)는 삼각대 또는 소품속에 삽입한 형태로 설치한다.
이와 같이 실사 배경을 촬영하는 장소(야외 또는 스튜디오)에 모션 캡쳐를 위한 고정 카메라(103)를 설치하고, 고정 카메라(103)와 이동 카메라(101)간의 초기 3차원 기하학적 상호 위치를 구한다.
모션 캡쳐를 위한 고정 카메라(103)와 실사 배경 영상 촬영을 위한 이동 카메라(101)간의 초기 3차원 기하학적 상호 위치는 고정 카메라들간의 상호 위치 사전 계산을 위한 보정틀(102)을 매개로 하여 우선적으로 구한다.
즉, 보정틀(102)과 실사 배경 정보와의 3차원 기하학적 상호 위치를 이동 카메라(101) 내에서 구함으로써 고정 카메라(103)와 이동 카메라(101)와의 초기 3차원 기하학적 상호 위치를 구한다.
이때, 고정 카메라(103)의 보정을 위한 보정틀(102)과 배경에 설치된 마커 또는 배경에 존재하는 코너 포인트를 동시에 관측되게끔 이동 카메라(101, 201, 301)를 위치시킨다.
도 3(b)는 고정 카메라(103)와 타시점의 이동 카메라(201)와의 3차원 기하학적 상호 위치를 추출하기 위한 예시도이고, 도 3(c)는 고정 카메라(103)와 또 다른 타시점의 이동 카메라(301)와의 3차원 기하학적 상호 위치를 추출하기 위한 예시도이다.
도 3의 (b) 및 (c)에서 나타낸 바와 같이 위치한 타시점의 이동 카메라(201, 301)에서 촬영된 배경 마커(104)(또는 배경 코너 포인트)의 정합을 통해 타시점의 이동 카메라(201, 301)의 위치를 계산함과 동시에 배경 마커(104)와 고정 카메라(103)의 상대 위치를 통하여 타시점의 이동 카메라(201, 301)와 고정 카메라(103)의 3차원 기하학적 상호 위치를 추출한다.
따라서, 도 3의 (a) 내지 (c)와 같이 위치한 이동 카메라(101, 201, 301)와 고정 카메라(103)의 3차원 기하학적 상호 위치 추출을 통해 모션 캡쳐용 고정 카메라(103)와 배경 마커(104) 또는 배경에 존재하는 코너 포인트와의 3차원 상호 위치 관계가 구해진다.
상술한 바와 같이 고정 카메라(103)와 이동 카메라(101, 201, 301)의 3차원 기하학적 상호 위치를 미리 추출해 둠으로써, 실제 모션 캡쳐시 캡쳐 대상 영역에서 보정틀이 제거되어 없어져도 배경 마커 또는 배경의 코너 포인트를 매개로 하여 모션 캡쳐용 고정 카메라와 실사 배경 영상 촬영용 이동 카메라와의 3차원 기하학적 상호 위치가 추출가능하다.
또한, 본 발명에서 사용되는 배경 보정 마커(104) 또는 배경의 코너 포인트는 마커 또는 코너 포인트만을 한정하는 것이 아니며, 배경의 3차원 기하 정보를 추출하는데 도움이 되는 모든 유형의 특이점, 선, 면 등을 포함한다.
도 4는 도 2에 따라 실사 배경 영상 내에 자동 정합될 수 있는 3차원 모션 데이터를 생성하는 과정을 나타낸 예시도로서, (a)는 제1의 실사 배경 영상 촬영용 이동 카메라 시점, (b)는 제2의 실사 배경 영상 촬영용 이동 카메라 시점, (c)는 제3의 실사 배경 영상 촬영용 카메라 시점을 나타낸다.
우선, 도 3의 (a) 내지 (c)와 같이 고정 카메라와 이동 카메라를 설치하고, 각 이동 카메라의 위치에 따라 고정 카메라와 이동 카메라의 3차원 기하학적 상호 위치를 추출하여 저장한다.
이후 인체형 캐릭터 모션 데이터 취득을 위한 대역을 통해 모션 캡쳐를 수행하게 되면, 실제 모션 캡쳐로부터 생성되는 3차원 모션 캡쳐 데이터는 자동적으로 실사 배경 영상 촬영용 이동 카메라와 연동되는 3차원 데이터로 생성되게 된다.
즉, 촬영 공간 내에 존재하는 제3의 인물이나 의자, 탁자 등과 같은 실제 소품과의 인터랙션(interaction)으로 발생하는 모션 데이터가 실사 배경 영상 촬영용 이동 카메라에 정확하게 정합될 수 있는 3차원 모션 데이터로 생성되기 때문에, 실사 배경 영상과 인체형 캐릭터의 용이한 합성이 가능해진다.
도 4를 참조하여 설명하면, 도 4(a)에서는 제1시점 위치의 이동 카메라(401)는 배경 마커(104)를 포함하여 실사 배경을 촬영한다. 마찬가지로, 도 4(b)에서는 제2시점 위치의 이동 카메라(501)는 배경 마커(104)를 포함하여 실사 배경을 촬영하고, 도 4(c)에서는 제3시점 위치의 이동 카메라(601)는 배경 마커(104)를 포함하여 실사 배경을 촬영한다.
그런 다음, 각각의 시점별로 고정 카메라(103)는 실제 동작자(402)를 촬영하여 그 움직임을 추출한다.
이동 카메라(401 내지 601)와 고정 카메라(103)의 3차원 기하학적 상호 위치에 따라 추출한 실제 동작자의 움직임에 대해 이동 카메라(401 내지 601)에서 촬영한 각 시점별 실사 배경에 자동 정합될 수 있는 3차원 모션 데이터를 생성한다(등록특허 제0507780호, "잡음에 강건한 고속 마커프리 모션캡쳐 방법")
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
도 1은 본 발명에 따른 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 3차원 모션 데이터를 생성하는 모션 캡쳐 장치를 나타낸 구성도,
도 2는 본 발명에 따른 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 3차원 모션 데이터를 생성하는 모션 캡쳐 과정을 나타낸 순서도,
도 3은 본 발명에 따른 모션 캡쳐를 위한 고정 카메라와 실사 배경 영상 촬영을 위한 이동 카메라에 대한 3차원 기하학적 상호 위치를 추출하기 위한 예시도로서, (a)는 고정 카메라와 이동 카메라의 초기 3차원 기하학적 상호 위치를 추출, (b)는 고정 카메라와 타시점의 이동 카메라의 3차원 기하학적 상호 위치 추출, (c)는 고정 카메라와 또 다른 타시점의 이동 카메라의 3차원 기하학적 상호 위치 추출을 나타낸 예시도,
도 4는 도 2의 모션 캡쳐 과정에 따라 실사 배경 영상 내에 자동 정합될 수 있는 3차원 모션 데이터를 생성하는 예시도로서, (a)는 제1의 이동 카메라 시점, (b)는 제2의 이동 카메라의 시점, (c)는 제3의 이동 카메라의 시점을 나타낸 예시도이다.
<도면의 주요 부호에 대한 설명>
101, 201, 301, 401, 501, 601. 실사 배경 촬영용 이동 카메라
100. 모션 캡쳐 처리부 102. 보정틀
103. 모션 캡쳐용 고정 카메라 104. 배경 마커
110. 상관 관계 추출부 120. 3차원 모션 데이터 생성부

Claims (12)

  1. 모션 캡쳐용 고정 카메라의 위치를 보정하기 위해 설치되는 보정틀과 배경 마커 또는 배경에 존재하는 코너 포인트의 3차원 기하학적 상호 위치(a)를 구하는 단계;
    상기 구한 3차원 기하학적 상호 위치(a)로부터 상기 보정틀을 매개로 모션 캡쳐용 고정 카메라와 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치(b)를 구하는 단계; 및
    상기 구한 3차원 기하학적 상호 위치(b)로부터 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 기하학적 상호 위치(c)를 구해 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 모션 데이터를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 배경 마커 또는 배경에 존재하는 코너 포인트는 모든 유형의 특이점, 선, 면 중 어느 하나를 포함하는 것을 특징으로 하는 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법.
  4. 모션 캡쳐용 고정 카메라 및 실사 배경 촬영용 이동 카메라의 위치를 캘리브레이션 하기 위한 보정틀;
    상기 보정틀 및 배경 마커 또는 배경에 존재하는 코너 포인트를 촬영하고, 동작자의 움직임을 모션 캡쳐하는 모션 캡쳐용 고정 카메라;
    위치를 이동하며 실사 배경을 촬영하는 실사 배경 촬영용 이동 카메라; 및
    상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라와의 3차원 기하학적 상호 위치를 추출하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성하는 모션 캡쳐 처리 장치를 포함하는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 시스템.
  5. 제4항에 있어서,
    상기 배경 마커 또는 배경에 존재하는 코너 포인트는 모든 유형의 특이점, 선, 면 중 어느 하나를 포함하는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 시스템.
  6. 제4항에 있어서, 상기 모션 캡쳐 처리 장치는
    상기 모션 캡쳐용 고정 카메라와 상기 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 파악하여 상기 모션 캡쳐용 고정 카메라와 실사 배경 촬영용 이동 카메라간의 3차원 기하학적 상호 위치를 추출하는 상관 관계 추출부; 및
    상기 추출한 3차원 기하학적 상호 위치에 따라 실제 촬영한 동작자의 움직임을 모션 캡쳐하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성하는 3차원 모션 데이터 생성부를 포함하는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 시스템.
  7. 제 6항에 있어서,
    상기 모션 캡쳐용 고정 카메라와 상기 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치는 상기 고정 카메라에서 촬영한 보정틀과 상기 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치로부터 구해지는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 시스템.
  8. 삭제
  9. a. 모션 캡쳐용 고정 카메라와 보정틀의 3차원 기하학적 상호 위치를 구하는 단계;
    b. 상기 보정틀과 실사 배경 촬영용 이동 카메라에 의해 촬영된 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 구하는 단계;
    c. 상기 b. 단계에서 구한 3차원 기하학적 상호 위치를 이용해 보정틀을 매개로 모션 캡쳐용 고정 카메라와 상기 배경 마커 또는 배경에 존재하는 코너 포인트와의 3차원 기하학적 상호 위치를 구하는 단계;
    d. 상기 c. 단계에서 구한 3차원 기하학적 상호 위치로부터 상기 모션 캡쳐용 고정 카메라와 상기 실사 배경 촬영용 이동 카메라간의 3차원 기하학적 상호 위치를 추출하는 단계; 및
    e. 상기 d. 단계에서 구한 3차원 기하학적 상호 위치를 이용해 실제 동작자의 모션 캡쳐를 수행하여 실사 배경과 자동 정합하는 3차원 모션 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 방법.
  10. 제9항에 있어서,
    상기 보정틀은 상기 모션 캡쳐용 고정 카메라의 위치를 보정하기 위해 설치되는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 방법.
  11. 제9항에 있어서,
    상기 실사 배경 촬영용 이동 카메라는 보정틀과 배경에 설치된 배경 마커 또는 배경에 존재하는 코너 포인트를 동시에 관측하게 위치시키는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 방법.
  12. 제9항에 있어서,
    상기 배경 마커 또는 배경에 존재하는 코너 포인트는 모든 유형의 특이점, 선, 면 중 어느 하나를 포함하는 것을 특징으로 하는 실사 배경 영상에 인체형 캐릭터의 용이한 합성을 위한 모션 캡쳐 방법.
KR1020070089855A 2006-12-02 2007-09-05 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법 KR100916588B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/948,923 US8340398B2 (en) 2006-12-02 2007-11-30 Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060121097 2006-12-02
KR1020060121097 2006-12-02

Publications (2)

Publication Number Publication Date
KR20080050283A KR20080050283A (ko) 2008-06-05
KR100916588B1 true KR100916588B1 (ko) 2009-09-11

Family

ID=39805776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070089855A KR100916588B1 (ko) 2006-12-02 2007-09-05 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100916588B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906775B2 (en) 2015-02-09 2018-02-27 Electronics And Telecommunications Research Institute Device and method for multiview image calibration

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101221449B1 (ko) 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
KR102227260B1 (ko) * 2018-09-07 2021-03-12 (주)위지윅스튜디오 리그 결합형 가상 카메라를 활용한 실시간 cg 영상 제작 시스템
KR102589194B1 (ko) 2023-02-07 2023-10-13 (주)로코모스튜디오 서로 다른 캐릭터 사이의 애니메이션 데이터를 호환 가능하게 연결하는 모션 커버 방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041060A (ko) * 2004-11-08 2006-05-11 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR20060133671A (ko) * 2005-06-21 2006-12-27 이인권 컴퓨터그래픽 캐릭터와의 상호 작용을 위한 실사 배경이미지 내의 오브젝트의 변형 기법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041060A (ko) * 2004-11-08 2006-05-11 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR20060133671A (ko) * 2005-06-21 2006-12-27 이인권 컴퓨터그래픽 캐릭터와의 상호 작용을 위한 실사 배경이미지 내의 오브젝트의 변형 기법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:ETRI*
논문2:ETRI

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906775B2 (en) 2015-02-09 2018-02-27 Electronics And Telecommunications Research Institute Device and method for multiview image calibration

Also Published As

Publication number Publication date
KR20080050283A (ko) 2008-06-05

Similar Documents

Publication Publication Date Title
JP6587421B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101754599B1 (ko) 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
JP4115117B2 (ja) 情報処理装置および方法
JP5762525B2 (ja) 画像処理方法および熱画像カメラ
US20030202120A1 (en) Virtual lighting system
US8340398B2 (en) Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
KR20110070660A (ko) 3차원 도시 모델링 장치 및 방법
JP7489960B2 (ja) 画像の合成のための方法及びデータ処理システム
KR20130068193A (ko) 멀티 영상 제공 시스템 및 그것의 멀티 영상 입력 장치
KR100916588B1 (ko) 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법
JP2006513509A (ja) 合成情報の投影
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
CN103500471A (zh) 实现高分辨率增强现实系统的方法
JP5363878B2 (ja) ステレオ画像撮影装置及びその方法
KR100940860B1 (ko) 디지털 크리쳐의 이동 동작 생성 방법 및 장치
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
CN110288707B (zh) 一种三维动态建模的方法及其系统
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
CN113507575B (zh) 一种人体自拍镜头生成方法及系统
CN112422848B (zh) 一种基于深度图和彩色图的视频拼接方法
JP4178878B2 (ja) 画像処理方法及び装置
KR101375708B1 (ko) 복수 영상을 이용한 모션 캡처 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 매체
CN113763545A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120831

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 11