KR20110070058A - 동적 개체 모션 캡쳐 방법 및 그 장치 - Google Patents

동적 개체 모션 캡쳐 방법 및 그 장치 Download PDF

Info

Publication number
KR20110070058A
KR20110070058A KR1020090126716A KR20090126716A KR20110070058A KR 20110070058 A KR20110070058 A KR 20110070058A KR 1020090126716 A KR1020090126716 A KR 1020090126716A KR 20090126716 A KR20090126716 A KR 20090126716A KR 20110070058 A KR20110070058 A KR 20110070058A
Authority
KR
South Korea
Prior art keywords
information
dynamic object
dimensional
image
dimensional model
Prior art date
Application number
KR1020090126716A
Other languages
English (en)
Other versions
KR101307341B1 (ko
Inventor
김호원
임성재
주한별
강현
구본기
추창우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090126716A priority Critical patent/KR101307341B1/ko
Priority to US12/970,561 priority patent/US8659594B2/en
Publication of KR20110070058A publication Critical patent/KR20110070058A/ko
Application granted granted Critical
Publication of KR101307341B1 publication Critical patent/KR101307341B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

본 발명은 동적 개체 모션 캡쳐 방법 및 그 장치에 관한 것으로, 골격계를 기반으로 골격계의 움직임을 통해 동작을 취하는 인체와 같은 동적 개체의 움직임 정보를 멀티카메라를 이용하여 촬영한 다시점 비디오 영상으로부터 동적 모션을 취하는 객체의 외형정보 및 주요 관절의 모션 정보를 복원하도록 한다. 본 발명에 따르면, 가시광 영역의 영상 센서만을 이용하여 동적 모션을 취하는 개체의 모션 정보를 복원할 수 있으며, 복원된 정보를 효율적으로 저장하여 다시점 영상을 재현할 수 있는 이점이 있다. 또한, 특정한 마커의 부착 없이 동적 개체의 모션 정보를 복원할 수 있는 이점이 있다.

Description

동적 개체 모션 캡쳐 방법 및 그 장치{Method and apparatus for motion capture of dynamic object}
본 발명은 동적 개체 모션 캡쳐 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 가시광 영역의 영상센서만을 이용하여 동적 모션을 취하는 개체의 외형정보 및 주요 관절의 모션 정보를 복원하는 동적 개체 모션 캡쳐 방법 및 그 장치에 관한 것이다.
본 발명은 문화체육관광부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-030-02, 과제명: 방통융합형 Full 3D 복원 기술 개발].
동적 모션을 취하는 개체의 외형 및 모션 정보를 캡쳐하는 종래의 기술은 주로 인체에 대하여 행하여 지고 있으며 크게 2가지로 분류해 볼 수 있다.
먼저, 레이저나 패턴광과 같은 액티브 센서를 이용하여 개체의 정적 외형정보를 스캐닝하고 동적 효과가 크게 나타나는 신체 부위에 마커를 부착하고 마커를 추적하여 관절 모션을 캡쳐하며, 디자이너의 수작업에 의해 두 정보를 결합하여 개 체의 동적 모션을 캡쳐하는 방법이 있다.
이러한 방법은 실제로 영화나 CF 같은 영상 콘텐츠에서의 고품질 특수효과를 위해 많이 활용되고 있으나, 서로 다른 이기종 센서에 의해 얻어진 정보들을 결합하기 위해 숙련된 디자이너 및 아티스트의 수작업과 모델 생성 시간이 많이 소요된다는 단점이 있다.
스캐닝 된 정적 외형정보는 도 1에서와 같이 동적 모션을 표현하기 위해 사용되는 메쉬구조와 상이한 형태를 지니며, 과도한 용량 및 무작위구조에 의해 부드러운 동작생성에 적합하지 못하게 된다. 따라서 수작업에 의해 스캔 된 외형정보를 기반으로 애니메이션에 용이한 메쉬구조를 재생성하는 과정을 필연적으로 거치게 된다. 이 과정에서 실제 동적 개체의 행동특성을 보존하기 위해 많은 튜닝 작업이 요구된다. 또한 메쉬구조를 구성하는 각 정점(vertex)와 동적 개체의 골격계간의 애니메이션 연계 과정인 리깅 과정은 캡쳐한 모션정보를 골격계 관절에 부여하고 이때 변형된 외형정보가 동적 개체의 외형을 그대로 모사할 때까지 반복적 수작업으로 튜닝 된다. 하지만 일단 동적 객체의 3차원 모델이 만들어지고 나면 쉽게 새로운 동작에 대한 애니메이션이나 외형 편집 및 수정이 용이하다는 장점이 있다.
또 다른 기술군은 동적 모션을 행하는 개체를 다양한 시점에 촬영한 다시점 영상을 이용하여 동적 객체의 외형정보와 모션정보를 캡쳐하는 방법들이다. 세부적으로는 초기 모델의 사용유무 및 모델의 초기화 방법, 다시점 영상 정보의 활용 범위, 외형과 모션의 복원 우선순위, 그리고 모델의 외형 변형 방법에 따라 많은 접근들이 존재한다.
최근의 논문들의 추세는 동적 객체의 고유 인체모델을 3차원 스캐너나 주요 프레임의 다시점 영상으로부터 생성하고, 생성된 동적 객체 모델을 각 프레임에 적용하여 입력되는 각 프레임의 다시점 입력 실루엣 정보와 동적 객체 모델을 각 카메라에 투영시켜 얻어진 다시점 실루엣 정보간의 투영 오차를 최소화하도록 동적 객체 모델의 외형을 변형하는 방법으로 동적 객체의 외형과 모션 정보를 복원하는 접근들을 취하고 있다. 하지만 다시점 실루엣 정보를 활용하더라도 복잡한 동작을 취하는 동적 객체의 외형정보를 표현하기에는 정보의 한계가 존재함이 보고되고 있으며, 이러한 문제를 해결하기 위해 다양한 사용자 GUI에 기반한 정정방법들이 제안되고 있다.
3차원 스캐닝 방법의 경우, 인체 외형 변형을 위해 사용되는 메쉬기반 국부 형상 변형 방법의 한계로 인해 초기의 동적 객체모델을 얻을 때 나타나지 않은 고유한 외형변형 특징들이 제대로 복원되지 않는 한계점도 존재한다.
다시점 영상 기술의 경우, 각 프레임의 동작에 따른 동적 객체의 외형 변형을 초기 동적 객체모델의 외형정보를 이용하여 복원하기 때문에 초기 동적 객체 모델의 외형 정밀도에 대한 의존도가 높다는 단점이 있다.
상기한 문제를 해결하기 위하여, 본 발명은 가시광 영역의 영상센서만을 이용하여 동적 모션을 취하는 개체의 외형정보 및 주요 관절의 모션 정보를 복원하는 동적 개체 모션 캡쳐 방법 및 그 장치를 제공함에 그 목적이 있다.
또한, 본 발명은 특정한 마커의 부착 없이 동적 개체의 모션 정보를 복원할 수 있는 동적 개체 모션 캡쳐 방법 및 그 장치를 제공함에 다른 목적이 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 동적 개체 모션 캡쳐 방법은, 동적 개체의 해부학적 특성과, 상기 동적 개체의 움직임을 촬영한 다시점 비디오 영상을 기반으로 상기 동적 개체에 대한 3차원 모델을 생성하는 단계, 상기 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 상기 동적 개체의 움직임에 대한 상기 3차원 모델의 기하학적 외형정보를 복원하는 단계, 상기 복원하는 단계의 상기 기하학적 외형정보로부터 획득된 비주얼 헐을 구성하는 각 복셀(voxel)의 가시성 정보를 이용하여 상기 프레임의 동작에 대한 3차원 스켈렉톤을 근사화하는 단계, 근사화된 상기 스켈렉톤 정보와 상기 동적 개체의 3차원 모델 정보를 입력 받아 해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 상기 3차원 모델의 자세를 추정하는 단계, 및 상기 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 상기 다시점 영상 에 투영시켜 생성된 다시점 합성영상과, 상기 다시점 영상을 비교하여 그 오차에 따라 상기 기하학적 외형 정보를 보정하여 상기 3차원 모델의 형상을 추정하는 단계를 포함하는 것을 특징으로 한다.
상기 3차원 모델은, 기하학적 외형을 표현하는 메쉬구조와 사진학적(photometric) 외형을 표현하는 텍스쳐맵, 동적 개체의 해부학정보를 기반으로 구축된 골격계(skeleta structure), 및 상기 골격계에 종속되는 근육계(muscle structure)로 구성되는 것을 특징으로 한다.
상기 3차원 모델은, 상기 동적 개체의 골격계 구조를 기반으로 형상을 유지하며, 상기 골격계를 구성하는 하부 관절의 회전 및 관절 간에 해부학을 기반으로 표현되는 상기 근육계의 수축/이완을 통해 형상 변형 및 동작을 취하는 것을 특징으로 한다.
상기 스켈렉톤을 근사화하는 단계는, 복원된 상기 기하학적 외형정보를 상기 다시점 영상에 투영하는 단계, 상기 기하학적 외형정보가 투영된 다시점 영상의 2D 실루엣의 접선(tangential line)을 따라 일정 간격으로 샘플링하며 상기 2D 실루엣과 교차하는 3차원 복셀을 추출하는 단계, 추출된 상기 3차원 복셀을 포함하고, 최단거리로 복원된 외형을 교차하는 3차원 단면을 생성하는 단계, 및 생성된 상기 3차원 단면과 교차하는 상기 3차원 복셀들의 무게중심을 연결하여 스켈렉톤을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 자세를 추정하는 단계는, 상기 3차원 모델의 관절 간의 길이정보와 현재 복원 중인 프레임의 이전 프레임에 복원된 3차원 모델의 골격계 자세정보를 이 용하여, 현재 프레임에 복원된 스켈렉톤 커브를 관절길이를 유지한 3차원 폴리곤 라인으로 근사화하여 상기 3차원 모델의 각 관절에 대응되는 관절 위치를 추정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 자세를 추정하는 단계는, 상기 3차원 모델의 골격계를 구성하는 관절 중에 상기 다시점 영상에서 가시성을 가지는 관절과 이에 대응하는 스켈렉톤 상의 관절 위치 정보를 이용하여 전신 역방향 운동학을 기반으로 한 자코비안 행렬을 계산하는 단계를 포함하며, 상기 자코비안 행렬을 이용하여 가시성을 가지지 못한 관절을 포함하는 3차원 모델의 모든 관절의 자세 정보를 추정하는 것을 특징으로 한다.
상기 자코비안 행렬을 계산하는 단계는, 전신 역방향 운동학은 동적 개체의 순방향 운동학의 중심점(Root)을 기준으로 각 단말(end effector)에 대해 세 점 이상의 다시점 영상에서 가시성을 가지는 3차원 대응점을 모두 이용하여 전신의 관절 모션에 대해 자코비안 행렬을 계산하는 것을 특징으로 한다.
상기 자세를 추정하는 단계는, 인체계측학적 관절 회전각의 제약조건 유지하며 상기 3차원 대응점의 차분벡터를 최소화하는 전신 관절모션을 추정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 형상을 추정하는 단계는, 복원된 상기 3차원 복셀의 외형정보를 상기 동적 객체의 각 부위정보로 분류하는 단계, 상기 다시점 영상에 투영된 부위정보의 경계에 인접하며 유사한 법선 정보를 가진 영상 내 칼라에지 정보를 추출하여 자기가림(self-occlusion)에 의해 소실된 2D 실루엣 정보를 추정하는 단계, 및 상기 다 시점 영상의 실루엣 오차를 최소화하도록 형상을 변형하는 단계를 포함하는 것을 특징으로 한다.
상기 형상을 추정하는 단계는, 상기 3차원 모델의 메쉬구조의 각 정점에 대해 정점을 포함하는 3차원 단면의 중심점에서 정점으로의 방사선을 생성하고 가시성을 가지는 다시점 영상에 투영된 방사선을 따라 3차원 비주얼 헐(Visual hull)의 경계까지 템플릿 매칭을 수행하여 칼라오차를 최소화며 각 정점의 고유한 접선방향의 곡면정보를 최대한 보장하는 정점의 위치를 추정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 형상을 추정하는 단계는, 상기 골격계를 구성하는 조인트의 회전에 의한 자세를 제어하는 단계, 상기 변경된 자세 정보에 기반하여 상기 골격계에 연결된 근육의 수축/이완 작업을 수행하는 단계, 상기 골격계의 자세 정보에 의해 파라미트릭 표현되는 스윕 곡면의 전역적 형상을 변형시키는 단계, 상기 근육과 연계된 스윕 곡면의 근육의 수축/이완에 의한 국부적 형상을 변형시키는 단계, 및 상기 스윕 곡면에 연계된 메쉬구조의 각 정점(vertex)의 표면을 변형시키는 단계를 포함하는 것을 특징으로 한다.
상기 형상을 추정하는 단계에서의 형상 추정 잔존(residual) 오차와, 상기 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다.
상기 모션 정보를 저장하는 단계에서 저장된 모션 정보에 근거하여 상기 각 프레임의 다시점 영상을 재현하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 상기한 목적을 달성하기 위한 본 발명에 따른 동적 개체 모션 캡쳐 장치는, 동적 개체의 해부학적 특성을 기반으로 상기 동적 개체에 대한 3차원 모델을 생성하는 3차원 모델 생성부, 상기 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 상기 동적 개체의 움직임에 대한 상기 3차원 모델의 기하학적 외형정보를 복원하는 외형정보 복원부, 상기 기하학적 외형정보로부터 상기 프레임의 동작에 대한 3차원 스켈렉톤을 근사화하는 스켈렉톤 근사화부, 해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 상기 3차원 모델의 자세를 추정하는 자세 추정부, 상기 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 상기 다시점 영상에 투영시켜 생성된 다시점 합성영상과, 상기 다시점 영상의 오차에 따라 상기 3차원 모델의 형상을 추정하는 형상 추정부를 포함하는 것을 특징으로 한다.
상기 골격계의 움직임에 대응하여 상기 메쉬구조를 변형시켜 상기 동적 개체의 외형적 움직임을 표현하는 파라미트릭 제어부(Parametric controller)를 더 포함하는 것을 특징으로 한다.
형상 추정 잔존(residual) 오차와, 상기 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보가 저장되는 저장부를 더 포함하는 것을 특징으로 한다.
상기 저장부에 저장된 모션 정보에 근거하여 상기 각 프레임의 다시점 영상 을 재현하는 재현부를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 근육과 스윕모델의 제어 파라미터들을 변경하여 형상추정과정을 통해 복원한 3차원 모델의 각 정점의 3차원 위치와 파라미트릭 제어부를 통해 변형된 3차원 모델의 각 정점 위치에 대한 3차원 방향성 오차성분을 최소화하는 효과가 있다.
또한, 자세추정과정을 통해 추정된 골격계의 자세정보와 파라미트릭 제어부의 파라미터 정보, 형상추정과정에서 남은 잔존 3차원 방향성 오차성분, 그리고 복원된 외형정보에 대한 다시점 영상의 가시성을 이용해 얻은 텍스쳐맵 정보를 저장하여 최소한의 저장 정보를 이용하여 해당 프레임의 다시점 영상을 재현할 수 있는 이점이 있다.
또한, 특정한 마커의 부착 없이 동적 개체의 모션 정보를 복원할 수 있는 이점이 있다.
이하, 본 발명에 따른 다시점 카메라를 이용한 동적 모션을 행하는 개체의 삼차원 외형 및 모션 복원에 대해 도면을 참조하여 설명하기로 한다.
본 발명에서 대상으로 하는 동적 개체는 인체나 개, 고양이와 같이 골격계 구조를 기반으로 형상을 유지하며, 골격계를 구성하는 하부 관절의 회전 및 관절간에 해부학을 기반으로 표현되는 근육계의 수축/이완을 통해 형상 변형 및 동작을 취하는 생명체를 복원대상으로 한다.
본 발명은 동적 개체를 바라보며 동적 개체 주변에 분포된 멀티카메라에서 얻어진 다시점 비디오 영상과 동적 개체의 해부학 정보를 기반으로 구축된 3차원 모델을 입력 받아 동적 개체의 각 프레임 별로 외형과 모션 정보를 복원함으로써 일련의 마커 없이 개체의 기하학적 및 사진학적으로 사실적인 동적 개체의 모션 캡쳐하는 장치 및 방법에 관한 것이다.
먼저, 도 1은 본 발명에 따른 동적 개체 모션 캡쳐 장치의 구성을 설명하는데 참조되는 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 동적 개체 모션 캡쳐 장치는 영상 입력부(10), 3차원 모델 생성부(20), 외형정보 복원부(30), 스켈렉톤 생성부(40), 자세 추정부(50), 형상 추정부(60), 파라미트릭 제어부(Parametric controller)(70), 저장부(80), 및 재현부(90)를 포함한다.
영상 입력부(10)는 동적 개체의 움직임을 촬영한 다시점 비디오 영상이 입력되는 수단이다.
3차원 모델 생성부(20)는 동적 개체의 해부학적 특성과, 동적 개체의 움직임을 촬영한 다시점 비디오 영상을 기반으로 동적 개체에 대한 3차원 모델을 생성한다.
외형정보 복원부(30)는 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 동적 개체의 움직임에 대한 3차원 모델의 기하학적 외형정보를 복원한다.
스켈렉톤 생성부(40)는 외형정보 복원부(30)에 의해 복원된 기하학적 외형정보로부터 획득된 비주얼 헐을 구성하는 각 복셀(voxel)의 가시성 정보를 이용하여 프레임의 동작에 대한 3차원 스켈렉톤을 근사화한다.
자세 추정부(50)는 근사화된 상기 스켈렉톤 정보와 동적 개체의 3차원 모델 정보를 입력 받아 해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 3차원 모델의 자세를 추정한다.
형상 추정부(60)는 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 다시점 영상에 투영시켜 생성된 다시점 합성영상과, 다시점 영상을 비교하여 그 오차에 따라 상기 기하학적 외형 정보를 보정하여 3차원 모델의 형상을 추정한다.
파라미트릭 제어부(70)는 골격계의 움직임에 대해 메쉬를 변형시켜 동적 개체의 외형적 움직임을 표현한다.
저장부(80)는 형상 추정 잔존(residual) 오차와, 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보가 저장된다.
재현부(90)는 저장부(80)에 저장된 모션 정보에 근거하여 각 프레임의 다시점 영상을 재현한다.
도 2는 본 발명에 따른 동적 개체 모션 캡쳐 방법의 진행과정을 나타낸 흐름도이다.
먼저, 다시점 비디오 영상에 입력된 개체의 해부학적 특성을 기반으로 동작제어를 통해 외형변형이 가능한 3차원 모델을 생성하는 과정(S100)을 거친다. 3차원 모델은 대표적인 동적 개체인 인체를 예제로 한다.
도 3과 같은 인체 구조에서는, 도 4와 같이 동적 개체의 기하학적 외형을 표현하는 메쉬구조와 사진학적(photometric)외형을 표현하는 메쉬구조 내 각 정점들로 구성되는 면(face)들과 매핑관계를 가지는 텍스쳐맵, 동적 개체의 해부학정보를 기반으로 구축된 골격계(skeletal structure)와 골격계에 종속되는 근육계(muscle structure), 그리고 골격계의 움직임에 대해 메쉬를 변형시켜 동적 개체의 외형적 움직임을 표현하는 파라미트릭 제어부(Parametric controller)(70)로 구성되어 동적 개체의 골격계를 구성하는 관절들의 회전제어를 통해 동적 개체의 움직임에 의한 외형변형을 모사할 수 있는 특성을 지닌다.
실제적인 외형변형을 생성시키는 파라미트릭 제어부(70)는 도 5와 같이 골격계를 구성하는 조인트의 회전에 의한 자세 제어, 변경된 자세정보에 기반한 골격계에 연결된 근육의 수축/이완, 골격계의 자세정보에 의해 근육의 수축/이완과 병행하여 발생하는 파라미트릭 표현되는 스윕곡면의 전역적 형상 변형, 근육과 연계된 스윕곡면의 근육의 수축/이완에 의한 국부적 형상 변형, 그리고 스윕곡면에 연계된 메쉬구조의 각 정점(vertex)의 3차원 공간상의 위치를 결정하는 표면 변형의 일련 의 과정을 통해 움직임에 기인한 외형의 기하학적 형상을 변형한다.
입력되는 다시점 비디오 영상은 동기화된 멀티카메라로부터 촬영된 것으로 매 프레임 별로 동일한 시간에 동적 개체의 움직임에 대한 정지영상을 캡쳐한 것과 동일하다.
외형복원 과정(S110)은 특정 프레임의 다시점 영상에서 모션캡쳐를 수행하고자 하는 대상체의 영상부분을 전경으로 분리하고, 각 카메라의 전경영역에 해당하는 2D 실루엣 정보와 전경내의 칼라 정보를 이용하여 실루엣 교차(silhouette intersection) 방식으로 비주얼 헐(visual hull)을 구한다.
구해진 비주얼 헐은 복원된 3차원 외형의 단면을 잘라보면 도 6의 예시와 같이 폴리곤으로 근사화된 형태를 취하며 반드시 내부에 실제 동적 개체의 3차원 외형 중 해당 단면에 해당하는 실제 3차원 정보를 포함하고 있는 특성을 지닌다. 또한 복원 대상체의 단면이 볼록한(convex) 특성을 지닐 경우, 단면의 각 폴리곤은 다시점 영상에서 해당 폴리곤에 대해 가시성을 가지는 다시점 영상 내 카메라의 수에 따라 폴리곤과 복원 대상체의 실제 3차원 정보간의 오차가 줄어드는 특성을 지닌다. 이러한 특성을 모션캡쳐 과정에 이용하기 위해 복원된 비주얼 헐을 구성하는 복셀(voxel)별로 해당 복셀이 다시점 영상에 대한 가시성 정도의 정보를 기록한다.
스켈렉톤 근사화 과정(S120)은 도 7에서 보는 바와 같이 동작된다.
외형복원 과정에서 얻어진 비주얼 헐과 비주얼 헐을 구성하는 각 복셀의 가 시성 정보를 이용하여 특정프레임의 동작에 대한 기하학적 외형정보를 가장 잘 근사화하는 스켈렉톤을 추출한다. 스켈렉톤 근사화를 위해 복원된 비주얼 헐 정보를 다시점 영상에 투영한다(S121).
이에 대한 실시예는, 도 8을 참조한다. 도 8에서와 같이 투영된 다시점 영상의 2D 실루엣의 접선(tangential line)을 따라 일정 간격으로 샘플링하며 2D 실루엣과 교차하는 3차원 복셀을 추출하고, 추출된 복셀들로부터 최단거리로 복원된 외형을 교차하는 3차원 단면을 추정한다(S122). 이때, 추정된 단면과 교차하는 복셀들을 추출한다(S123).
또한, 단면과 교차하는 복셀들의 가시성 정보를 이용하여 해당 단면에 해당하는 3차원 모델 상의 복원 대상체의 기하학적 형상(예: 원, 타원)을 추정하고(S124), 추정된 형상모델 중심점을 연결하여 전신에 대한 근사화된 스켈렉톤을 생성한다(S125).
이러한 복셀의 가시성 정보와 기하학적 형상모델의 사용은 어깨와 같은 2개 이상의 부위가 결합되는 곳에서의 스켈렉톤 추정의 안정성을 보장한다.
한편, 다시점 비디오영상의 특정 프레임에 대한 근사화된 스켈렉톤 정보와 동적 개체의 3차원 모델 정보를 입력 받아 해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 자세를 추정하는 자세 추정 과정(S130)을 거친다. 이에 대한 구체적인 동작 흐름은 도 9를 참조한다.
자세추정 과정(S130)은 3차원 모델의 골격계를 이루는 관절 중에 다시점 영 상에서 가시성을 가지는 관절과 이에 대응하는 스켈렉톤 상의 관절 위치 정보를 이용하여 전신 역방향 운동학(Inverse Kinematics)을 기반으로 한 자코비안(Jacobian) 행렬을 계산함으로써 가시성을 가지지 못한 관절을 포함한 3차원 모델의 전신의 모든 관절의 자세정보를 추정할 수 있다.
3차원 모델의 골격계 관절 중 다시점 영상의 가시성 테스트를 위해 현재 자세를 추정하고자 하는 프레임의 이전 프레임에 추정된 골격계 자세정보에 의해 변형된 3차원 모델의 외형정보를 각 다시점 영상에 투영하고, 투영된 외형에 대한 카메라의 가시성 정보를 이용하여 각 부위별로 부위의 말단(end effector)에 근접한 관절을 우선으로 2개 이상의 관절을 선택한다.
이렇게 찾아진 가시성을 가지는 관절에 대해 스켈렉톤 상의 대응 관절 위치 정보는 3차원 모델의 해당 관절의 인접 관절간의 길이정보와 현재 복원중인 프레임의 이전 프레임에 복원된 3차원 모델의 골격계 자세정보를 이용하여 현재 프레임에 복원된 스켈렉톤 커브를 도 10에서와 같이 관절길이를 유지한 3차원 폴리곤 라인으로 근사화함으로써 3차원 모델의 각 관절에 대응되는 관절위치를 추정한다(S131).
이전 프레임의 가시성을 가지는 관절의 3차원 위치와 현재 프레임의 각 관절에 대응되는 스켈렉톤상의 3차원 위치간의 차분벡터(e)를 계산하고(S132), 이전 프레임의 골격계의 각 관절의 자세정보와 가시성을 가지는 말단 관절의 3차원 위치 정보를 이용해 자코비안(Jacobian) 행렬(J)을 구성한다(S133).
자코비안 행렬에 이전프레임의 골격계의 모든 관절의 자세값에서 현재 프레임으로의 자세값 증분을 더한 총 자세값 벡터(r)를 곱하면 차분벡터와 등가가 된 다.
그러나, 자세추정과정(S134)은 자세값 벡터를 찾는 과정이므로 자코비안 행렬의 의사역행렬을 구하고, 이를 차분벡터와 곱하게 되면 자세값 벡터(S135)를 구할 수 있게 된다.
상기의 일련의 과정을 통해 'S135' 과정의 현재 프레임의 동적 개체의 자세정보를 3차원 모델의 골격계를 구성하는 관절들의 자세정보로 표현할 수 있게 된다.
다음으로 이렇게 추정된 자세정보를 이용해 3차원 모델의 파라미트릭 형상제어부를 통해 3차원 모델의 기하학적 외형을 표현하는 메쉬구조의 각 정점들의 3차원 위치를 계산할 수 있게 된다.
다시점 합성영상 생성 과정(S140)은 파라미트릭 제어부(70)를 통해 변형된 형상정보를 멀티카메라의 기하보정(geometric calibration) 정보를 이용하여 다시점 영상에 투영하고 투영된 메쉬구조의 각 카메라의 가시성 정보를 이용하여 각 메쉬의 텍스쳐 맵의 칼라값을 추정할 수 있게 된다. 이렇게 해당 프레임의 다시점 영상을 통해 추정된 텍스쳐맵을 다시 각 메쉬의 가시성 정보를 이용해 각 카메라에 렌더링하게 되면 다시점 합성영상을 생성할 수 있게 된다.
형상추정 과정(S150)은 상기의 합성영상 생성과정에서 얻어진 다시점 합성영상과 입력된 다시점 영상간의 2D 실루엣 오차 및 칼라 재현 오차정보를 이용하여 3 차원 모델의 메쉬구조상의 각 정점들의 3차원 위치를 추정하는 과정이다.
이에 대한 구체적인 설명은 도 11을 참조한다. 형상추정 과정에서 기하학적 외형복원의 정밀도를 향상하기 위해 복원된 복셀 외형정보를 자세추정 과정에서 예측된 인체의 팔/다리와 같은 다중 말단의 각 부위정보로 분류하고(S151), 다시점 영상에 투영된 부위정보의 경계에 인접하며 유사한 법선 정보를 가진 영상 내 칼라에지 정보를 추출하여 자기가림(self-occlusion)에 의해 소실된 2D 실루엣 정보를 추정하고(S152), 찾아진 다시점 영상의 실루엣 오차를 최소화하도록 형상을 변형한다(S153).
또한, 3차원 모델 메쉬구조의 각 정점에 대해 정점을 포함하는 3차원 단면의 중심점에서 정점으로의 방사선을 생성하고 가시성을 가지는 다시점 영상에 투영된 방사선을 따라 3차원 비주얼 헐(Visual hull)의 경계까지 템플릿 매칭을 수행하여 칼라오차를 최소화며 각 정점의 고유한 접선방향의 곡면정보를 최대한 보장하는 정점의 위치를 추정한다.
상기의 두 과정을 통하여 얻어진 3차원 모델의 외형정보를 이용하여 3차원 모델내의 파라미트릭 제어부(70)의 근육과 스윕모델의 제어 파라미터들을 변경하여 형상추정과정을 통해 복원한 3차원 모델의 각 정점의 3차원 위치와 파라미트릭 제어부(70)를 통해 변형된 3차원 모델의 각 정점 위치에 대한 3차원 방향성 오차성분이 최소가 되도록 파라미터값들을 제어함으로써(S154), 3차원 모델의 파라미트릭 제어부(70)가 이후 프레임에서 동적 개체의 움직임 정보를 잘 표현할 수 있도록 한 다.
마지막으로, 모션저장 과정(S160)은 자세추정과정(S130)을 통해 추정된 골격계의 자세정보와 파라미트릭 제어부(70)의 파라미터 정보, 형상추정과정(S150)에서 메쉬구조의 각 정점들의 남은 잔존 3차원 방향성 오차성분, 그리고 복원된 외형정보에 대한 다시점 영상의 가시성을 이용해 얻은 텍스쳐맵 정보를 저장한다.
모션저장 과정(S160)은 최소한의 저장 정보를 이용하여 해당 프레임의 다시점 영상을 재현할 수 있는 장점이 있으며, 대용량의 다시점 비디오 영상을 저장 혹은 전송 필요 없이 소용량의 모션저장값들을 저장 혹은 전송하여 동일한 다시점 영상을 생성할 수 있는 특징을 가진다.
이상의 과정을 통해 별도의 마커나 모션캡쳐 장비 없이 다시점 비디오 영상만을 이용하여 동적 개체의 모션을 캡쳐할 수 있다.
이상에서와 같이 본 발명에 따른 동적 개체 모션 캡쳐 방법 및 그 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
도 1 은 본 발명에 따른 동적 개체 모션 캡쳐 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2 는 본 발명에 따른 동적 개체 모션 캡쳐 방법의 진행과정을 나타낸 흐름도이다.
도 3 내지 도 6 은 본 발명에 따른 동적 개체 모션 캡쳐 방법에 대한 동작 예를 나타낸 예시도이다.
도 7 은 본 발명에 따른 스켈렉톤 근사화 과정에 대한 동작 흐름을 도시한 순서도이다.
도 8 은 스켈렉톤 근사화 과정을 설명하는데 참조되는 예시도이다.
도 9 는 본 발명에 따른 자세 추정 과정에 대한 동작 흐름을 도시한 순서도이다.
도 10 은 본 발명에 따른 자세 추정 과정을 설명하는데 참조되는 예시도이다.
도 11 은 본 발명에 따른 형상 추정 과정에 대한 동작 흐름을 도시한 순서도이다.

Claims (17)

  1. 동적 개체의 해부학적 특성과, 상기 동적 개체의 움직임을 촬영한 다시점 비디오 영상을 기반으로 상기 동적 개체에 대한 3차원 모델을 생성하는 단계;
    상기 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 상기 동적 개체의 움직임에 대한 상기 3차원 모델의 기하학적 외형정보를 복원하는 단계;
    상기 복원하는 단계의 상기 기하학적 외형정보로부터 획득된 비주얼 헐을 구성하는 각 복셀(voxel)의 가시성 정보를 이용하여 상기 프레임의 동작에 대한 3차원 스켈렉톤을 근사화하는 단계;
    근사화된 상기 스켈렉톤 정보와 상기 동적 개체의 3차원 모델 정보를 입력 받아 해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 상기 3차원 모델의 자세를 추정하는 단계; 및
    상기 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 상기 다시점 영상에 투영시켜 생성된 다시점 합성영상과, 상기 다시점 영상을 비교하여 그 오차에 따라 상기 기하학적 외형 정보를 보정하여 상기 3차원 모델의 형상을 추정하는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  2. 청구항 1에 있어서,
    상기 3차원 모델은,
    기하학적 외형을 표현하는 메쉬구조와 사진학적(photometric) 외형을 표현하는 텍스쳐맵;
    동적 개체의 해부학정보를 기반으로 구축된 골격계(skeleta structure); 및
    상기 골격계에 종속되는 근육계(muscle structure);를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  3. 제 2 항에 있어서,
    상기 3차원 모델은,
    상기 동적 개체의 골격계 구조를 기반으로 형상을 유지하며,
    상기 골격계를 구성하는 하부 관절의 회전 및 관절 간에 해부학을 기반으로 표현되는 상기 근육계의 수축/이완을 통해 형상 변형 및 동작을 취하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  4. 청구항 1에 있어서,
    상기 스켈렉톤을 근사화하는 단계는,
    복원된 상기 기하학적 외형정보를 상기 다시점 영상에 투영하는 단계;
    상기 기하학적 외형정보가 투영된 다시점 영상의 2D 실루엣의 접선(tangential line)을 따라 일정 간격으로 샘플링하며 상기 2D 실루엣과 교차하는 3차원 복셀을 추출하는 단계;
    추출된 상기 3차원 복셀을 포함하고, 최단거리로 복원된 외형을 교차하는 3 차원 단면을 생성하는 단계; 및
    생성된 상기 3차원 단면과 교차하는 상기 3차원 복셀들의 무게중심을 연결하여 스켈렉톤을 생성하는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  5. 청구항 1에 있어서,
    상기 자세를 추정하는 단계는,
    상기 3차원 모델의 관절 간의 길이정보와 현재 복원 중인 프레임의 이전 프레임에 복원된 3차원 모델의 골격계 자세정보를 이용하여, 현재 프레임에 복원된 스켈렉톤 커브를 관절길이를 유지한 3차원 폴리곤 라인으로 근사화하여 상기 3차원 모델의 각 관절에 대응되는 관절 위치를 추정하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  6. 청구항 1에 있어서,
    상기 자세를 추정하는 단계는,
    상기 3차원 모델의 골격계를 구성하는 관절 중에 상기 다시점 영상에서 가시성을 가지는 관절과 이에 대응하는 스켈렉톤 상의 관절 위치 정보를 이용하여 전신 역방향 운동학을 기반으로 한 자코비안 행렬을 계산하는 단계;를 포함하며,
    상기 자코비안 행렬을 이용하여 가시성을 가지지 못한 관절을 포함하는 3차원 모델의 모든 관절의 자세 정보를 추정하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  7. 청구항 6에 있어서,
    상기 자코비안 행렬을 계산하는 단계는,
    전신 역방향 운동학은 동적 개체의 순방향 운동학의 중심점(Root)을 기준으로 각 단말(end effector)에 대해 세 점 이상의 다시점 영상에서 가시성을 가지는 3차원 대응점을 모두 이용하여 전신의 관절 모션에 대해 자코비안 행렬을 계산하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  8. 청구항 7에 있어서,
    상기 자세를 추정하는 단계는,
    인체계측학적 관절 회전각의 제약조건 유지하며 상기 3차원 대응점의 차분벡터를 최소화하는 전신 관절모션을 추정하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  9. 청구항 1에 있어서,
    상기 형상을 추정하는 단계는,
    복원된 상기 3차원 복셀의 외형정보를 상기 동적 객체의 각 부위정보로 분류하는 단계;
    상기 다시점 영상에 투영된 부위정보의 경계에 인접하며 유사한 법선 정보를 가진 영상 내 칼라에지 정보를 추출하여 자기가림(self-occlusion)에 의해 소실된 2D 실루엣 정보를 추정하는 단계; 및
    상기 다시점 영상의 실루엣 오차를 최소화하도록 형상을 변형하는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  10. 청구항 1에 있어서,
    상기 형상을 추정하는 단계는,
    상기 3차원 모델의 메쉬구조의 각 정점에 대해 정점을 포함하는 3차원 단면의 중심점에서 정점으로의 방사선을 생성하고 가시성을 가지는 다시점 영상에 투영된 방사선을 따라 3차원 비주얼 헐(Visual hull)의 경계까지 템플릿 매칭을 수행하여 칼라오차를 최소화며 각 정점의 고유한 접선방향의 곡면정보를 최대한 보장하는 정점의 위치를 추정하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  11. 청구항 1에 있어서,
    상기 형상을 추정하는 단계는,
    상기 골격계를 구성하는 조인트의 회전에 의한 자세를 제어하는 단계;
    상기 변경된 자세 정보에 기반하여 상기 골격계에 연결된 근육의 수축/이완 작업을 수행하는 단계;
    상기 골격계의 자세 정보에 의해 파라미트릭 표현되는 스윕 곡면의 전역적 형상을 변형시키는 단계;
    상기 근육과 연계된 스윕 곡면의 근육의 수축/이완에 의한 국부적 형상을 변형시키는 단계; 및
    상기 스윕 곡면에 연계된 메쉬구조의 각 정점(vertex)의 표면을 변형시키는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  12. 청구항 2에 있어서,
    상기 형상을 추정하는 단계에서의 형상 추정 잔존(residual) 오차와, 상기 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보를 저장하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  13. 청구항 12에 있어서,
    상기 모션 정보를 저장하는 단계에서 저장된 모션 정보에 근거하여 상기 각 프레임의 다시점 영상을 재현하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법.
  14. 동적 개체의 해부학적 특성을 기반으로 상기 동적 개체에 대한 3차원 모델을 생성하는 3차원 모델 생성부;
    상기 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 상기 동적 개체의 움직임에 대한 상기 3차원 모델의 기하학적 외형정보를 복원하는 외형정보 복원부;
    상기 기하학적 외형정보로부터 상기 프레임의 동작에 대한 3차원 스켈렉톤을 근사화하는 스켈렉톤 근사화부;
    해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 상기 3차원 모델의 자세를 추정하는 자세 추정부;
    상기 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 상기 다시점 영상에 투영시켜 생성된 다시점 합성영상과, 상기 다시점 영상의 오차에 따라 상기 3차원 모델의 형상을 추정하는 형상 추정부;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치.
  15. 청구항 14에 있어서,
    상기 골격계의 움직임에 대응하여 상기 메쉬구조를 변형시켜 상기 동적 개체의 외형적 움직임을 표현하는 파라미트릭 제어부(Parametric controller);를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치.
  16. 청구항 14에 있어서,
    형상 추정 잔존(residual) 오차와, 상기 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보가 저장되는 저장부;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치.
  17. 청구항 16에 있어서,
    상기 저장부에 저장된 모션 정보에 근거하여 상기 각 프레임의 다시점 영상을 재현하는 재현부;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치.
KR1020090126716A 2009-12-18 2009-12-18 동적 개체 모션 캡쳐 방법 및 그 장치 KR101307341B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090126716A KR101307341B1 (ko) 2009-12-18 2009-12-18 동적 개체 모션 캡쳐 방법 및 그 장치
US12/970,561 US8659594B2 (en) 2009-12-18 2010-12-16 Method and apparatus for capturing motion of dynamic object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090126716A KR101307341B1 (ko) 2009-12-18 2009-12-18 동적 개체 모션 캡쳐 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20110070058A true KR20110070058A (ko) 2011-06-24
KR101307341B1 KR101307341B1 (ko) 2013-09-11

Family

ID=44150383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090126716A KR101307341B1 (ko) 2009-12-18 2009-12-18 동적 개체 모션 캡쳐 방법 및 그 장치

Country Status (2)

Country Link
US (1) US8659594B2 (ko)
KR (1) KR101307341B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130010278A (ko) * 2011-07-18 2013-01-28 한국전자통신연구원 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
KR20130119383A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
KR101496440B1 (ko) * 2013-11-01 2015-02-27 한국과학기술연구원 임의로 입력된 객체의 자동 애니메이션 방법 및 장치
WO2016021830A1 (ko) * 2014-08-06 2016-02-11 스타십벤딩머신 주식회사 Nui 장치에 의해 수집된 동작정보의 보정 방법 및 장치
US9378559B2 (en) 2014-03-31 2016-06-28 Electronics And Telecommunications Research Institute System and method for motion estimation
KR20190065859A (ko) * 2017-12-04 2019-06-12 한국전자통신연구원 인체 자세 및 행동 모니터링 장치 및 방법
KR20200022800A (ko) * 2018-08-23 2020-03-04 전자부품연구원 4d 영상 복원 장치 및 방법
KR20210074165A (ko) * 2019-12-11 2021-06-21 한국전자기술연구원 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
KR20210119654A (ko) * 2020-03-25 2021-10-06 (주)코어센스 접선 속도 벡터를 이용한 휴먼 모션 구현의 오차 제거 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2036045A1 (en) * 2007-07-11 2009-03-18 Cairos technologies AG Video tracking method and appartus arrangement for performing the method
EP2646986A1 (en) * 2010-11-29 2013-10-09 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Computer-implemented method and apparatus for tracking and re-shaping a human shaped figure in a digital video
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
KR101587962B1 (ko) * 2010-12-22 2016-01-28 한국전자통신연구원 모션 캡처 장치 및 방법
KR101181199B1 (ko) * 2011-01-03 2012-09-18 한국과학기술원 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
TW201314621A (zh) * 2011-09-21 2013-04-01 Univ Nat Cheng Kung 電子人模之特徵資料結構
US9111349B2 (en) * 2011-12-16 2015-08-18 Microsoft Technology Licensing, Llc Object identification using 3-D curve matching
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
CN104145276B (zh) * 2012-01-17 2017-05-03 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
KR101849373B1 (ko) * 2012-01-31 2018-04-17 한국전자통신연구원 인체의 관절구조를 추정하기 위한 장치 및 방법
US9158380B2 (en) * 2012-07-09 2015-10-13 Net Power And Light, Inc. Identifying a 3-D motion on 2-D planes
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
CN103337094B (zh) * 2013-06-14 2016-05-18 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR102106135B1 (ko) 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
JP6287382B2 (ja) * 2014-03-12 2018-03-07 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
KR102178177B1 (ko) 2014-03-12 2020-11-12 에스케이플래닛 주식회사 단말, 서비스 제공 장치, 그 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 이미지 검색 시스템
KR102178172B1 (ko) 2014-03-12 2020-11-12 에스케이플래닛 주식회사 단말, 서비스 제공 장치, 그 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 이미지 검색 시스템
KR102178170B1 (ko) 2014-03-18 2020-11-12 에스케이플래닛 주식회사 객체의 자세 정보를 구비한 이미지 생성 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101469851B1 (ko) * 2014-06-03 2014-12-09 한양대학교 산학협력단 인체 자세 예측을 위한 다목적 최적화 기반의 방법
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10110858B2 (en) * 2015-02-06 2018-10-23 Conduent Business Services, Llc Computer-vision based process recognition of activity workflow of human performer
KR102238794B1 (ko) 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
US20170255719A1 (en) * 2016-03-04 2017-09-07 Xarkin Software Dynamic motion solver methods and systems
US10733797B2 (en) * 2016-07-13 2020-08-04 Naked Labs Austria Gmbh Skeleton estimation from body mesh
JP6806264B2 (ja) * 2017-09-22 2021-01-06 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
GB201717011D0 (en) * 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
CN108510577B (zh) * 2018-01-31 2021-03-23 中国科学院软件研究所 基于已有动作数据的真实感动作迁移和生成方法及系统
US11282543B2 (en) * 2018-03-09 2022-03-22 Apple Inc. Real-time face and object manipulation
US10950043B1 (en) 2018-04-03 2021-03-16 A9.Com, Inc. Rendering three-dimensional models on mobile devices
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11127206B2 (en) 2019-01-29 2021-09-21 Realmotion Inc. Device, system, and method of generating a reduced-size volumetric dataset
CN110298306B (zh) * 2019-06-27 2022-08-05 北京百度网讯科技有限公司 目标对象运动信息的确定方法、装置及设备
CN110458940B (zh) * 2019-07-24 2023-02-28 兰州未来新影文化科技集团有限责任公司 动作捕捉的处理方法和处理装置
US11120611B2 (en) * 2019-08-22 2021-09-14 Microsoft Technology Licensing, Llc Using bounding volume representations for raytracing dynamic units within a virtual space
US11804076B2 (en) 2019-10-02 2023-10-31 University Of Iowa Research Foundation System and method for the autonomous identification of physical abuse
US10813715B1 (en) * 2019-10-16 2020-10-27 Nettelo Incorporated Single image mobile device human body scanning and 3D model creation and analysis
CN111611997B (zh) * 2020-04-30 2023-04-18 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111798486B (zh) * 2020-06-16 2022-05-17 浙江大学 基于人体运动预测的多视角人体运动捕捉方法
US11908098B1 (en) * 2022-09-23 2024-02-20 Apple Inc. Aligning user representations
CN116418967B (zh) * 2023-04-13 2023-10-13 青岛图海纬度科技有限公司 水下动态环境激光扫描的色彩还原方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763578B1 (ko) 2005-12-01 2007-10-04 한국전자통신연구원 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법
US7804998B2 (en) 2006-03-09 2010-09-28 The Board Of Trustees Of The Leland Stanford Junior University Markerless motion capture system
JP4934806B2 (ja) 2006-05-26 2012-05-23 国立大学法人 東京大学 モーションキャプチャを用いたリンク機構モデルのリンク長パラメータの推定法及び装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130010278A (ko) * 2011-07-18 2013-01-28 한국전자통신연구원 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
KR20130119383A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
KR101496440B1 (ko) * 2013-11-01 2015-02-27 한국과학기술연구원 임의로 입력된 객체의 자동 애니메이션 방법 및 장치
US9378559B2 (en) 2014-03-31 2016-06-28 Electronics And Telecommunications Research Institute System and method for motion estimation
WO2016021830A1 (ko) * 2014-08-06 2016-02-11 스타십벤딩머신 주식회사 Nui 장치에 의해 수집된 동작정보의 보정 방법 및 장치
US10310622B2 (en) 2014-08-06 2019-06-04 Starship Vending-Machine Corp. Method and device for correcting motion information collected by NUI device
KR20190065859A (ko) * 2017-12-04 2019-06-12 한국전자통신연구원 인체 자세 및 행동 모니터링 장치 및 방법
KR20200022800A (ko) * 2018-08-23 2020-03-04 전자부품연구원 4d 영상 복원 장치 및 방법
KR20210074165A (ko) * 2019-12-11 2021-06-21 한국전자기술연구원 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
WO2021256640A1 (ko) * 2019-12-11 2021-12-23 한국전자기술연구원 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
KR20210119654A (ko) * 2020-03-25 2021-10-06 (주)코어센스 접선 속도 벡터를 이용한 휴먼 모션 구현의 오차 제거 방법

Also Published As

Publication number Publication date
US20110148875A1 (en) 2011-06-23
KR101307341B1 (ko) 2013-09-11
US8659594B2 (en) 2014-02-25

Similar Documents

Publication Publication Date Title
KR101307341B1 (ko) 동적 개체 모션 캡쳐 방법 및 그 장치
CN108665537B (zh) 联合优化人体体态与外观模型的三维重建方法及系统
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
Plankers et al. Articulated soft objects for multiview shape and motion capture
US9378589B2 (en) Apparatus and method for generating digital clone
KR101221451B1 (ko) 다시점 영상기반 동적 개체의 디지털 클론 생성 방법
CN104680582B (zh) 一种面向对象定制的三维人体模型创建方法
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
Hornung et al. Character animation from 2d pictures and 3d motion data
US20130107003A1 (en) Apparatus and method for reconstructing outward appearance of dynamic object and automatically skinning dynamic object
US8610710B2 (en) Method for automatic rigging and shape surface transfer of 3D standard mesh model based on muscle and nurbs by using parametric control
KR101744079B1 (ko) 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
EP2710557A1 (en) Fast articulated motion tracking
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
CN112562082A (zh) 一种三维人脸重建方法及系统
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
D'Apuzzo et al. Modeling human bodies from video sequences
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN115951784A (zh) 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
KR20110070736A (ko) 근육 및 외형 곡면 기반 개체 표준 메쉬 모델의 파라메트릭 제어를 통한 자동 리깅 및 형상 전이 방법
Fua et al. From synthesis to analysis: Fitting human animation models to image data
Alcoverro et al. Skeleton and shape adjustment and tracking in multicamera environments
Remondino et al. Human motion reconstruction and animation from video sequences
Kim et al. Tracking 3D human body using particle filter in moving monocular camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 4

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20170905

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 6

R401 Registration of restoration