KR102571744B1 - 3차원 콘텐츠 생성 방법 및 장치 - Google Patents

3차원 콘텐츠 생성 방법 및 장치 Download PDF

Info

Publication number
KR102571744B1
KR102571744B1 KR1020210058372A KR20210058372A KR102571744B1 KR 102571744 B1 KR102571744 B1 KR 102571744B1 KR 1020210058372 A KR1020210058372 A KR 1020210058372A KR 20210058372 A KR20210058372 A KR 20210058372A KR 102571744 B1 KR102571744 B1 KR 102571744B1
Authority
KR
South Korea
Prior art keywords
model
performer
node
images
cameras
Prior art date
Application number
KR1020210058372A
Other languages
English (en)
Other versions
KR20220151306A (ko
Inventor
김재헌
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210058372A priority Critical patent/KR102571744B1/ko
Priority to US17/545,476 priority patent/US20220358720A1/en
Publication of KR20220151306A publication Critical patent/KR20220151306A/ko
Application granted granted Critical
Publication of KR102571744B1 publication Critical patent/KR102571744B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 콘텐츠 생성 장치에서 공연자의 공연에 대한 3차원 콘텐츠를 생성하는 방법이 제공된다. 3차원 콘텐츠 생성 장치는 공간 내에 위치한 공연자의 영상을 이용하여 상기 공연자의 3차원 외형 모델 및 텍스처 정보를 획득하고, 상기 공연자의 3차원 외형 모델 내부에 복수의 노드를 설정하고 상기 텍스처 정보를 이용하여 상기 공연자의 3차원 탄성 모델을 생성하며, 공연장에 설치된 복수의 제1 카메라로부터 상기 공연자의 실제 공연 장면을 촬영한 복수의제1 영상과 상기 복수의 제1 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제1 가상 카메라를 통해 상기 공연자의 3차원 탄성 모델에서 각 노드의 위치 변화에 따른 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링된 영상간 색 차이를 이용하여 상기 각 노드의 최적 위치를 결정하며, 상기 각 노드의 최적 위치에 해당되는 3차원 탄성 모델 인자 값들을 상기 3차원 탄성 모델에 적용하여 상기 공연 장면을 묘사하는 메쉬 모델을 생성한다.

Description

3차원 콘텐츠 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING THREE DIMENSION CONTENTS}
본 발명은 3차원 콘텐츠 생성 방법 및 장치에 관한 것으로, 보다 상세하게는 공연자의 활동에 방해를 주지 않고 카메라를 이용하여 공연자의 공연에 대한 3차원 정보를 획득할 수 있는 3차원 콘텐츠 생성 방법 및 장치에 관한 것이다.
공연자의 공연에 대한 증강현실 3차원 정보를 얻기 위해서는 대상 주위에 배치된 다양한 센서가 이용된다. 이러한 센서의 종류는 크게 능동적 센서와 수동적 센서로 나뉜다. 능동적 센서는 3차원 정보 획득 대상에게 특정 패턴의 가시광이나 레이저를 조사하여 반사되는 빛의 패턴 변화를 보고 대상의 3차원 형상을 획득한다. 이 방법은 한 장의 영상을 이용하는 방법과 여러 장의 영상을 이용하는 방법이 있다. 한 장의 영상을 이용하는 방법은 하나의 패턴에 인식을 위한 코드를 넣어야 해서 정밀도에 한계가 있으며, 여러 장의 영상을 이용하는 방법은 여러 패턴에 코드를 넣으므로 정밀도에 이로움이 있으나 하나의 장면에 여러 패턴을 조사하고 이를 촬영해야 하기 때문에 이 기간 동안 움직이는 물체의 3차원 정보 획득은 불가능하다. 한편, 수동적 센서는 조사하는 빛이 없이 영상의 획득만으로 3차원 형상 획득이 가능하나, 대상 물체의 표면에 서로 다른 표면 영역과 구분이 가능한 텍스처의 존재가 필요하다. 이러한 텍스처의 선명도나 존재 여부에 따라 정밀도의 영향을 받고 누락 구간이 생길 수 있다.
공연에 대한 3차원 정보를 획득하는 기존의 방식은 고수준의 정밀도와 동적인 특성을 고려하여 수동적 센서를 사용하는 방식이 보편적이다. 그러나 기존의 방식은 카메라에 의해 촬영된 영상의 해상도는 높으나 획득된 3차원 콘텐츠의 품질이 상업화 입장에서는 부족한 것이 현실이다. 이러한 이유는 기존의 방식이 영상의 픽셀 정보로부터 삼각법에 의해 3차원 복원을 수행하기 때문이다. 공연을 위해 필요한 공간을 충분히 확보하기 위해 공연장 주변에 카메라를 배치하는 경우에 카메라 픽셀 수에 의한 공간의 분해능이 거리의 제곱에 반비례하여 낮아진다.
한편, 공연에 대한 3차원 정보를 획득하기 위해 사용자의 외형을 미리 고품질 모델로 복원하고, 현장에서 모션정보만 획득하여 이 모션정보에 모델을 정합시키는 방법도 있다. 그러나 사용자에게 영상기반 모션 캡처용 의상을 입히고 마커를 부착하여 작업을 수행하게 되면 공연자에게 실제 공연과 다른 환경을 강요하는 것이므로 적절한 접근이 아니라고 볼 수 있다. 더욱이 이러한 방법은 공연자 신체 부분 이외에 의상 등의 동적인 동작은 획득하기 어렵다.
따라서 공연자의 공연 활동에 방해가 되지 않으면서 공연 콘텐츠를 고품질로 획득하는 방법의 개발이 요구되는 상황이다.
본 발명이 해결하려는 과제는 공연자의 공연 활동에 방해를 주지 않고 공연에 대한 고품질의 3차원 정보를 획득할 수 있는 3차원 콘텐츠 생성 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 3차원 콘텐츠 생성 장치에서 공연자의 공연에 대한 3차원 콘텐츠를 생성하는 방법이 제공된다. 3차원 콘텐츠 생성 방법은 공간 내에 위치한 공연자의 영상을 이용하여 상기 공연자의 3차원 외형 모델 및 텍스처 정보를 획득하는 단계, 상기 공연자의 3차원 외형 모델 내부에 복수의 노드를 설정하고 상기 텍스처 정보를 이용하여 상기 공연자의 3차원 탄성 모델을 생성하는 단계, 공연장에 설치된 복수의 제1 카메라로부터 상기 공연자의 공연 장면을 촬영한 복수의 제1 영상을 획득하는 단계, 상기 복수의 제1 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제1 가상 카메라를 통해 상기 공연자의 3차원 탄성 모델에서 각 노드의 위치 변화에 따른 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링하는 단계, 상기 복수의 제1 영상과 상기 복수의 제1 가상 카메라에 의한 복수의 제1 렌더링된 영상간 색 차이를 이용하여 상기 각 노드의 최적 위치를 결정하는 단계, 그리고 상기 각 노드의 최적 위치에 해당되는 3차원 탄성 모델 인자 값들을 상기 3차원 탄성 모델에 적용하여 상기 공연 장면을 묘사하는 메쉬 모델을 생성하는 단계를 포함한다.
상기 결정하는 단계는 상기 3차원 탄성 모델에서 상기 각 노드의 위치 변화와 관련된 3차원 탄성 모델 인자 값을 변화시면서 상기 복수의 제1 영상과 상기 복수의 제1 렌더링된 영상간 색 차이를 고려한 제1 비용함수의 값을 계산하는 단계, 그리고 상기 제1 비용함수의 값이 최소화되는 상기 각 노드의 3차원 탄성 모델 인자 값을 결정하는 단계를 포함할 수 있다.
상기 각 노드의 위치 변화와 관련된 3차원 탄성 모델 인자 값은 상기 각 노드의 병진 인자와 회전 인자를 포함할 수 있다.
상기 공연자의 3차원 탄성 모델을 생성하는 단계는 상기 공간에 설치된 복수의 제2 카메라로부터 상기 공연자의 임의의 연속된 동작 자세를 촬영한 복수의 제2 영상을 획득하는 단계, 상기 복수의 제2 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제2 가상 카메라로부터 상기 공연자의 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자 값들의 변화에 따른 상기 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링하는 단계, 그리고 상기 복수의 제2 영상과 상기 복수의 제2 가상 카메라에 의한 복수의 제2 렌더링된 영상간 색 차이를 고려한 제2 비용함수를 이용하여 상기 3차원 탄성 모델 인자 값들을 결정하는 단계를 포함할 수 있다.
상기 3차원 탄성 모델 인자 값들을 결정하는 단계는 상기 3차원 탄성 모델 인자 값들을 변화시키면서 상기 제2 비용함수의 값을 계산하는 단계, 그리고 상기 제2 비용함수의 값이 최소화되는 상기 3차원 탄성 모델 인자 값들을 결정하는 단계를 포함할 수 있다.
상기 3차원 탄성 모델 인자 값들은 상기 각 노드의 지오데식 이웃 거리, 상기 각 노드와 상기 각 노드의 지오데식 이웃 거리 내에 있는 노드간 탄성계수, 상기 각 노드의 위치 변화와 관련된 인자 및 상기 각 노드의 위치 변화가 상기 3차원 외형 모델의 각 메쉬 꼭지점의 변화에 미치는 영향을 나타내는 물성계수를 포함할 수 있다.
상기 획득하는 단계는 고정된 자세를 취한 상기 공연자에 대해 상기 공간에 설치된 복수의 제2 카메라로부터 촬영된 복수의 영상을 이용하여 상기 공연자의 3차원 외형 모델 및 상기 텍스처 정보를 생성하는 단계를 포함할 수 있다.
상기 획득하는 단계는 상기 공간에서 상기 복수의 제2 카메라를 이용한 상기 공연자의 근접 촬영을 통해 상기 공연자의 3차원 외형 모델 및 텍스처 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 공연자의 공연에 대한 3차원 콘텐츠를 생성하는 3차원 콘텐츠 생성 장치가 제공된다. 3차원 콘텐츠 생성 장치는 3차원 외형 모델 생성부, 3차원 탄성 모델 생성부, 영상 획득부, 가상 영상 생성부, 그리고 3차원 정보 생성부를 포함한다. 상기 3차원 외형 모델 생성부는 공간 내에 위치한 공연자에 대한 영상을 이용하여 3차원 외형 모델과 텍스처 정보를 생성한다. 상기 3차원 탄성 모델 생성부는 상기 3차원 외형 모델 내에 복수의 노드를 설정하고, 상기 복수의 노드에 대한 3차원 탄성 모델 인자 값들을 결정하여 상기 공연자의 3차원 탄성 모델을 생성한다. 상기 영상 획득부는 상기 공연자의 실제 공연 장면에 대해 공연장에 설치된 복수의 제1 카메라로부터 촬영된 복수의 제1 영상을 획득한다. 상기 가상 영상 생성부는 상기 복수의 제1 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제1 가상 카메라로부터 상기 3차원 탄성 모델 인자 값 중에서 위치 변화에 관련된 값들의 변화에 따른 상기 3차원 탄성 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링한다. 그리고 상기 3차원 정보 생성부는 상기 복수의 제1 영상과 상기 복수의 제1 가상 카메라에 의해 복수의 제1 렌더링된 영상간 색 차이를 이용하여 상기 각 노드의 최적 위치를 결정한다.
상기 3차원 정보 생성부는 상기 각 노드의 최적 위치에 해당되는 3차원 탄성 모델 인자 값들을 상기 공연자의 3차원 탄성 모델에 적용하여 상기 공연자의 공연 장면을 묘사하는 메쉬 모델을 생성할 수 있다.
상기 3차원 정보 생성부는 상기 3차원 탄성 모델의 각 노드의 위치 변화와 관련된 3차원 탄성 모델 인자 값을 변화시면서 상기 복수의 제1 영상과 상기 복수의 제1 렌더링된 영상간 색 차이를 고려한 제1 비용함수의 값을 계산하고, 상기 제1 비용함수의 값이 최소화되는 상기 각 노드의 3차원 탄성 모델 인자 값을 결정할 수 있다.
상기 영상 획득부는 상기 공간 내에 설치된 복수의 제2 카메라로부터 상기 공연자의 연속된 동작 자세에 대한 복수의 제2 영상을 획득할 수 있고, 상기 가상 영상 생성부는 상기 복수의 제2 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제2 가상 카메라로부터 상기 3차원 탄성 모델 인자 값들의 변화에 따른 상기 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링할 수 있으며, 상기 3차원 타성 모델 생성부는 상기 복수의 제2 영상과 상기 복수의 제2 가상 카메라에 의한 복수의 제2 렌더리된 영상간 색 차이를 고려한 제2 비용함수를 이용하여 상기 3차원 탄성 모델 인자 값들을 결정할 수 있다.
상기 3차원 타성 모델 생성부는 상기 3차원 탄성 모델 인자 값들을 변화시키면서 상기 제2 비용함수의 값을 계산하고, 상기 제2 비용함수의 값이 최소화되도록 상기 3차원 탄성 모델 인자 값들을 결정할 수 있다.
상기 3차원 탄성 모델 인자 값들은 상기 각 노드의 지오데식 이웃 거리, 상기 각 노드와 상기 각 노드의 지오데식 이웃 거리 내에 있는 노드간 탄성계수, 상기 각 노드의 위치 변화와 관련된 인자 및 상기 각 노드의 위치 변화가 상기 3차원 외형 모델의 각 메쉬 꼭지점의 변화에 미치는 영향을 나타내는 물성계수를 포함할 수 있다.
상기 가상 영상 생성부는 상기 공연자의 실제 공연 시, 상기 3차원 탄성 모델 인자 값 중에서 상기 위치 변화에 관련된 값들을 제외한 나머지 값들은 고정해서 사용할 수 있다.
상기 3차원 탄성 모델 인자 값 중에서 위치 변화에 관련된 값들은 상기 각 노드의 병진 인자와 회전 인자를 포함할 수 있다.
상기 영상 획득부는 상기 공간 내에 설치된 복수의 제2 카메라로부터 상기 공연자의 근접 촬영을 통한 복수의 영상을 이용하여 상기 3차원 외형 모델 및 텍스터 정보를 생성할 수 있다.
본 발명의 실시 예에 의하면, 공연자의 공연 활동에 방해를 주지 않으면서 공연자와 카메라 사이의 거리 요소에 의한 콘텐츠의 품질 저하를 방지할 수 있다.
도 1은 본 발명의 실시 예에 따른 3차원 콘텐츠 생성 방법을 설명하는 흐름도이다.
도 2는 본 발명의 실시 예에 따른 공연자의 3차원 외형 모델을 획득하는 방법의 일 예를 설명하는 도면이다.
도 3은 본 발명의 실시 예에 따른 공연자의 3차원 탄성 모델 생성 시 필요한 3차원 탄성 모델 인자를 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자를 결정하는 방법을 설명하는 개념도이다.
도 5는 본 발명의 실시 예에 따른 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자를 결정하는 방법을 설명하는 흐름도이다.
도 6은 본 발명의 실시 예에 따른 3차원 탄성 모델을 이용하여 공연 시 공연자의 3차원 정보를 획득하는 방법을 설명하는 개념도이다.
도 7은 본 발명의 실시 예에 따른 3차원 탄성 모델을 이용하여 공연 시 공연자의 3차원 정보를 획득하는 방법을 나타낸 흐름도이다.
도 8은 본 발명의 한 실시 예에 따른 3차원 콘텐츠 생성 장치를 나타낸 도면이다.
도 9는 본 발명의 다른 실시 예에 따른 3차원 콘텐츠 생성 장치를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 3차원 콘텐츠 생성 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 3차원 콘텐츠 생성 방법을 설명하는 흐름도이다.
도 1을 참고하면, 3차원 콘텐츠 획득 장치는 공연자의 고정된 자세에 대해 서로 다른 위치에 설치되어 있는 다수의 카메라로 촬영된 다수의 영상을 획득하고(S110), 획득된 다수의 영상 정보를 기반으로 공연자의 3차원 외형 모델 및 텍스처 정보를 획득한다(S120).
3차원 콘텐츠 획득 장치는 공연자의 임의의 연속된 동작 자세에 대해 다수의 카메라로 촬영된 다수의 영상을 획득하고(S130), 획득된 다수의 영상 정보를 기반으로 3차원 외형 모델을 이용하여 공연자의 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자들을 획득한다(S140).
공연자에 대한 3차원 외형 모델과 3차원 탄성 모델의 생성은 공연자별로 개별적으로 이루어진다. 따라서, 공연자를 촬영할 공간이 넓게 필요하지 않아 근접 촬영이 가능하며, 이러한 근접 촬영을 통해 고화질 영상 및 고품질의 3차원 외형 모델과 3차원 탄성 모델이 생성될 수 있다.
다음, 공연자가 공연장에서 실제 공연을 하게 되면, 3차원 콘텐츠 획득 장치는 다수의 카메라로 촬영된 공연자의 공연 장면에 대한 다수의 영상을 획득하고(S150), 획득된 공연 장면에 대한 다수의 영상 정보를 기반으로 앞서 생성된 3차원 탄성 모델을 이용하여 공연자의 공연에 대한 3차원 탄성 모델 인자를 획득한다(S160).
각 공연자의 공연 장면에 대한 3차원 탄성 모델 인자를 획득하면, 이를 이용하여 공연에 대한 3차원 콘텐츠의 생성이 가능해진다.
도 2는 본 발명의 실시 예에 따른 공연자의 3차원 외형 모델을 획득하는 방법의 일 예를 설명하는 도면이다.
도 2를 참고하면, 소정의 공간 내 공연자(1)가 제자리에 서서 고정된 자세를 취하면, 해당 공간 내 서로 다른 위치에 설치된 복수의 카메라(10, 20, 30, 40)는 공연자(1)를 촬영한다.
3차원 콘텐츠 획득 장치는 복수의 카메라(10, 20, 30, 40)로부터 촬영된 영상을 획득하고, 카메라(10, 20, 30, 40)로부터 촬영된 영상을 이용하여 공연자(1)의 3차원 외형 모델(50) 및 텍스처 정보(60)를 획득한다.
3차원 외형 모델(50)은 메쉬 구조로 생성될 수 있으며, 텍스처 정보(60)를 포함할 수 있다. 이러한 3차원 외형 모델(50)은 다양한 방법을 사용하여 획득될 수 있다.
도 3은 본 발명의 실시 예에 따른 공연자의 3차원 탄성 모델 생성 시 필요한 3차원 탄성 모델 인자를 설명하는 도면이다. 도 3에서는 설명의 편의를 위해 3차원 외형 모델의 팔 부분만을 도시하였다.
도 3을 참고하면, 3차원 콘텐츠 획득 장치는 3차원 외형 모델의 내부에 균일하게 노드들을 설정한다. 아래에서는 노드들 중에서 하나의 노드(ni)를 기준으로 설명하며, 다른 노드에도 동일하게 적용될 수 있다.
3차원 콘텐츠 획득 장치는 노드(ni)에 대한 지오데식 이웃 거리[d(ni)]를 할당하고, 이 이웃 거리[d(ni)] 안에 있는 노드들(nk)을 노드(ni)의 이웃 집합[N(ni)]으로 설정한다.
3차원 콘텐츠 획득 장치는 노드(ni)와 이웃 집합[N(ni)]에 속해 있는 각 노드(nk)간 각 노드쌍에 대해 탄성계수(wik)를 부여한다.
3차원 콘텐츠 획득 장치는 노드(ni)에 회전 인자 Ri과 병진 인자 ti를 할당한다.
3차원 탄성 모델의 병진 인자 ti의 변화에 따라 3차원 탄성 모델이 어떻게 변하는지를 나타내면 다음과 같다.
우선, 특정 노드(ni)의 원하는 최종 위치를 δi라고 할 때, 노드(ni)의 이동 비용 fi는 수학식 1과 같이 정의된다.
또한 노드간의 상호 영향력 관계를 설정하면 탄성 효과를 구현할 수 있다.
노드(ni)와 노드(nk)의 위치를 각각 ti와 tk로 설정하면, 노드(ni)와 이웃 집합[N(ni)]에 속해 있는 각 노드(nk)간 노드쌍에 할당되는 이동 비용 Cik는 수학식 2와 같이 나타낼 수 있다.
이때, 수학식 3에 정의된 비용 함수가 최소화되는 방향으로 노드(ni)의 위치 변화를 나타내는 병진 인자 ti와 회전 인자 Ri가 계산된다.
여기서, N은 노드의 총 개수이다.
이때 노드들의 강체 변환에 따라 3차원 외형 모델의 메쉬 꼭지점 vj의 새로운 위치 vj'는 수학식 4와 같이 결정된다.
수학식 4에서, λji는 물성계수를 나타낸다. 물성계수는 노드(ni)의 위치 변화가 메쉬의 꼭지점 vj의 변화에 얼마나 영향을 미치는지 결정하는 가중치를 나타낸다.
도 4는 본 발명의 실시 예에 따른 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자를 결정하는 방법을 설명하는 개념도이고, 도 5는 실시 예에 따른 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자를 결정하는 방법을 설명하는 흐름도이다.
도 4 및 도 5를 참고하면, 공연자(1)의 임의의 연속된 동작 자세를 취하고, 다수의 카메라(10, 20, 30, 40)는 공연자(1)를 촬영한다.
3차원 콘텐츠 획득 장치는 공연자의 임의의 연속된 동작 자세에 대해 다수의 카메라(10, 20, 30, 40)로 촬영된 다수의 영상을 획득한다(S510). 3차원 콘텐츠 획득 장치는 3차원 탄성 모델 생성을 위해 다수의 카메라(10, 20, 30, 40)로 촬영된 다수의 영상을 이용한다.
3차원 탄성 모델 생성을 위해 결정이 필요한 3차원 탄성 모델 인자는 모든 노드에 대한 지오데식 이웃 거리, 각 노드와 각 노드의 지오데식 이웃 거리에 있는 노드간 탄성계수, 각 노드의 위치 변화와 관련된 회전 인자와 병진 인자, 그리고 각 노드의 위치 변화가 3차원 외형 모델의 각 메쉬 꼭지점의 변화에 미치는 영향을 나타내는 각 노드와 메쉬 꼭지점간 물성계수이다. 이러한 3차원 탄성 모델 인자 값의 변화에 따라 공연자의 3차원 탄성 모델은 형태가 변화하게 된다.
3차원 콘텐츠 획득 장치는 3차원 탄성 모델 인자 값에 따라 변하는 공연자의 3차원 탄성 모델이 적용된 3차원 외형 모델과 이전 단계(도 1의 S120)에서 획득된 텍스처 정보를 이용하여 다수의 가상 카메라를 통해 촬영된 다수의 가상 영상을 렌더링한다(S520). 이때 다수의 가상 카메라는 공연자를 촬영하는 실제 카메라(10, 20, 30, 40)에 대응되며, 다수의 가상 카메라의 내부 및 외부 인자는 대응되는 실제 카메라(10, 20, 30, 40)의 내부 및 외부 인자와 동일하게 설정된다. 따라서 각 가상 카메라의 가상 영상은 대응하는 실제 카메라의 영상에 대응한다.
3차원 콘텐츠 획득 장치는 각 가상 카메라의 영상으로부터 렌더링된 영상과 각 가상 카메라에 대응하는 실제 카메라의 영상간 색 차이를 이용하여 3차원 탄성 모델 생성을 위해 결정이 필요한 3차원 탄성 모델 인자들의 값을 결정한다(S530).
예를 들어, 가상 카메라(10', 20', 30', 40')의 내부 및 외부 인자가 실제 카메라(10, 20, 30, 40)의 내부 및 외부인자와 일치하고 조명인자와 3차원 외형 모델이 완벽하다면, 3차원 탄성 모델의 인자 변화에 따른 공연자의 3차원 외형 모델(1')을 촬영한 가상 카메라(예를 들면, 10')의 영상으로부터 텍스처가 반영된 렌더링된 영상(410')과 공연자(1)를 촬영한 실제 카메라(예를 들면, 10)의 영상(410)은 일치할 것이다. 도 4에서는 설명의 편의상 하나의 카메라(10)에서 촬영된 하나의 영상(410)과 이에 대응하는 가상 카메라(10')의 영상으로부터 렌더링된 영상(410')만을 도시하였다.
따라서, 3차원 콘텐츠 획득 장치는 가상 카메라(10', 20', 30' 40')의 영상으로부터 렌더링된 영상과 가상 카메라(10', 20', 30' 40')에 대응하는 실제 카메라(10, 20, 30, 40)의 영상간 색 차이를 고려한 비용함수를 이용하여 3차원 탄성 모델 인자들을 결정한다. 두 영상간 색 차이를 고려한 비용함수는 수학식 5와 같이 설정될 수 있다.
여기서, D={d(ni)|i=1,…,N}, W={Wik|i=1,…,N, k=1,…,N }, Δt={δit |i=1,…,N}, Λ={λji |i=1,…,N, j=1,…,V}, V는 메쉬 꼭지점의 총 개수이고, T는 총 촬영 횟수이며, M은 3차원 탄성 모델이 적용된 3차원 외형 모델(1') 또는 공연자(1)를 촬영하는 카메라의 수이다. B(t,c)는 시간 t에 실제 카메라 c의 영상(410)에서 공연자가 차지하는 픽셀 p의 집합이다. Icp(t)는 시간 t에 실제 카메라 c의 영상(410)에서 픽셀 p의 색(412)을 나타낸다. πcp는 3차원 탄성 모델의 인자 변화에 따른 3차원 외형 모델(1')을 촬영한 가상 카메라 c'의 영상으로부터 렌더링된 영상(410')에 대해 픽셀 p의 색(412')을 의미한다. 가상 카메라 c'는 실제 카메라 c와 내부 및 외부 인자가 동일하게 설정된다. δit는 시간 t에 노드(ni)의 최종 위치 δi를 나타낸다. 여기서, 조명 상태와 촬영에 쓰인 각 카메라는 보정이 되어 있다고 가정하고, 실제 카메라 c와 가상 카메라 c의 내/외부 인자는 같도록 설정된다.
3차원 콘텐츠 획득 장치는 수학식 5에 도시된 비용함수의 값이 최소가 되도록 3차원 탄성 모델 인자 즉, 노드(ni)에 대한 지오데식 이웃 거리[d(ni)], 노드(ni)와 이웃 집합[N(ni)]에 속해 있는 노드(nk)간 탄성계수(Wik), 노드(ni)의 위치 변화를 나타내는 회전 인자 Ri와 병진 인자 ti, 노드의 최종 위치 δit 그리고 노드(ni)의 위치 변화가 메쉬 꼭지점 vj에 미치는 가중치를 나타내는 물성계수 λji를 결정한다.
3차원 콘텐츠 획득 장치는 3차원 탄성 모델 인자[d(ni), Wik, (Ri, ti), δit, λji]의 값을 변화시키며 수학식 5에 도시된 비용함수의 값이 최소값이 나올 때까지 최적의 인자값을 찾는다. 이러한 최적화를 거치면, 3차원 탄성 모델 인자[d(ni), Wik, (Ri, ti), δit, λji]가 결정된다.
이렇게 결정된 3차원 탄성 모델 인자[d(ni), Wik, (Ri, ti), δit, λji]를 통해 공연자의 3차원 탄성 모델이 생성된다. 여기서, Δt 및 위치 변화 인자 (Ri, ti)는 3차원 탄성 모델을 구하는 과정에서의 얻은 노드들의 움직임 정보이므로, 실제 공연시의 움직임과는 무관한 부가적인 인자이다. 따라서, 3차원 콘텐츠 획득 장치는 실제 공연 시에는 앞에서 설명된 과정을 통해 생성된 3차원 탄성 모델 인자 중에서 일부 인자[d(ni), Wik, λji]를 그대로 사용하고, 공연자의 실제 공연에 의한 노드들의 움직임 정보를 표현하는 탄성 모델 인자[(Ri, ti), δit]를 결정해야 한다. 공연자의 실제 공연 시 인자[(Ri, ti), δit]를 결정하는 방법에 대해 도 6 및 도 7을 참고로 하여 설명한다.
도 6은 실시 예에 따른 3차원 탄성 모델을 이용하여 공연 시 공연자의 3차원 정보를 획득하는 방법을 설명하는 개념도이고, 도 7은 실시 예에 따른 3차원 탄성 모델을 이용하여 공연 시 공연자의 3차원 정보를 획득하는 방법을 나타낸 흐름도이다.
도 6 및 도 7을 참고하면, 공연자가 실제 공연을 하면, 3차원 콘텐츠 획득 장치는 공연자의 실제 공연을 촬영한 다수의 실제 카메라(610~660)로부터 각각 다수의 영상을 획득한다(S710).
3차원 콘텐츠 획득 장치는 공연자에 대해 노드별 결정된 3차원 탄성 모델 인자[d(ni), Wik, λji]가 적용된 3차원 탄성 모델에서 노드의 위치 변화에 따른 3차원 외형 모델과 이전 단계(도 1의 S120)에서 획득된 텍스처 정보를 이용하여 다수의 가상 카메라(610'~660')를 통해 촬영된 다수의 가상 영상을 렌더링한다(S720).
3차원 콘텐츠 획득 장치는 각 가상 카메라(610'~660')의 가상 영상으로부터 텍스처가 적용된 렌더링된 영상과 각 가상 카메라에 대응하는 실제 카메라(610~660)의 영상간 색 차이를 고려한 비용함수를 이용하여 각 노드의 위치 변화 값을 결정한다(S730). 실제 공연 시에는 각 공연자의 움직임 정보만을 결정하면 되므로, 노드의 위치 변화 값을 결정하기 위한 비용함수는 수학식 6과 같이 설정될 수 있다.
여기서, Δt={δit |i=1,…,N}이고, B(c)는 실제 카메라 c(610)의 영상(670)에서 공연자가 차지하는 픽셀 p의 집합이다. Icp(t)는 시간 t에 실제 카메라 c(예를 들면, 610)의 영상(670)에서 픽셀 p의 색(672)을 나타낸다. πcp는 3차원 탄성 모델 인자 δit의 변화에 따른 3차원 외형 모델을 촬영한 가상 카메라 c'(예를 들면, 610')의 영상으로부터 렌더링된 영상(670')에 대해 픽셀 p의 색(672')을 나타낸다. L은 실제 공연에서 사용되는 카메라의 수이다.
수학식 5와 마찬가지로, 수학식 6에 도시된 비용함수의 값 또한 가상 카메라(610'~660')의 영상으로부터 렌더링된 영상과 공연자의 실제 공연 장면을 촬영한 실제 카메라(610~660)의 영상이 일치할수록 작아진다.
수학식 6의 경우, 3차원 탄성 모델의 형태를 변화시키며 가상 카메라의 영상에 대해 렌더링을 수행할 때 3차원 탄성 모델 인자[d(ni), Wik, λji]는 3차원 탄성 모델 생성 시에 결정된 값을 고정해서 사용하고, 공연자의 움직임과 관련된 노드의 위치 변화를 나타내는 탄성 모델 인자[(Ri, ti), δit]를 계산한다.
3차원 콘텐츠 획득 장치는 3차원 탄성 모델에서 노드의 위치 변화를 나타내는 탄성 모델 인자[(Ri, ti), δit]를 변화시키며 수학식 6에 도시된 비용함수의 값이 최소화되는 노드의 탄성 모델 인자[(Ri, ti), δit]를 결정할 수 있다.
이렇게 결정된 각 노드의 탄성 모델 인자[(Ri, ti), δit]를 3차원 탄성 모델에 적용하면, 공연자의 공연 모습을 묘사하는 메쉬 모델이 생성된다. 이 메쉬 모델은 어느 시점에서나 렌더링할 수 있는 증강현실 콘텐츠로 활용될 수 있다.
또한 이상에서 설명한 방법을 공연장의 각각의 공연자에게 적용하면, 여러 명이 등장하는 공연장면의 증강현실 콘텐츠가 생성될 수 있다.
3차원 콘텐츠 획득 장치는 공연자별로 3차원 외형 모델을 생성하고, 3차원 탄성 모델을 생성한 후, 실제 공연에서 획득한 실제 카메라의 영상에 대해 수학식 6에 도시된 비용함수를 적용하여 공연자별 각 노드의 위치 변화 인자를 계산한다. 다음, 공연자별 각 노드의 위치 변화 인자를 공연자별 3차원 탄성 모델에 적용함으로써, 공연자별 공연 모습을 묘사하는 메쉬 모델을 생성할 수 있다. 또한 3차원 탄성 모델은 공연자의 신체뿐만 아니라 착용하고 있는 소품이나 의상에도 적용하여 3차원 정보를 획득하는데 사용될 수 있다.
도 8은 한 실시 예에 따른 3차원 콘텐츠 생성 장치를 나타낸 도면이다.
도 8을 참고하면, 3차원 콘텐츠 생성 장치(800)는 영상 획득부(810), 3차원 외형 모델 생성부(820), 가상 영상 생성부(830), 3차원 탄성 모델 생성부(840) 및 3차원 정보 생성부(850)를 포함한다.
영상 획득부(810)는 소정의 공간 내 있는 공연자의 고정된 자세에 대해 해당 공간 내 서로 다른 위치에 설치되어 있는 다수의 카메라로 촬영된 다수의 영상을 획득한다. 또한 영상 획득부(810)는 공연자의 임의의 연속된 동작 자세에 대해 다수의 카메라로 촬영된 다수의 영상을 획득한다. 또한 영상 획득부(810)는 공연자의 실제 공연 장면에 대해 공연장의 서로 다른 위치에 설치되어 있는 다수의 카메라로 촬영된 다수의 영상을 획득한다.
3차원 외형 모델 생성부(820)는 공연자의 고정된 자세에 대한 다수의 영상을 이용하여 공연자의 3차원 외형 모델과 각 카메라에 대응하는 텍스처 정보를 생성한다.
가상 영상 생성부(830)는 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자들의 값에 따라 변하는 공연자의 3차원 탄성 모델이 적용된 3차원 외형 모델에 대해 다수의 가상 카메라를 통해 촬영된 다수의 가상 영상을 텍스처 정보를 이용하여 렌더링한다. 또한 가상 영상 생성부(830)는 공연자의 실제 공연 시에는 이전에 생성된 3차원 탄성 모델에서 공연자의 움직임과 관련된 3차원 탄성 모델 인자만 적용된 3차원 탄성 모델에서 노드의 위치 변화에 따른 3차원 외형 모델에 대해 다수의 가상 카메라를 통해 촬영된 다수의 가상 영상을 텍스처 정보를 이용하여 렌더링한다.
3차원 탄성 모델 생성부(840)는 공연자의 3차원 외형 모델 내에 균일하게 복수의 노드를 설정하고, 공연자의 임의의 연속된 동작 자세에 대해 다수의 실제 카메라로부터 촬영된 다수의 영상과 다수의 가상 카메라로부터 렌더링된 영상간 색 차이를 고려한 비용함수를 이용하여 3차원 탄성 모델 생성을 위해 각 노드들에 대한 3차원 탄성 모델 인자들을 결정하고, 결정된 3차원 탄성 모델 인자들을 이용하여 3차원 탄성 모델을 생성한다. 3차원 탄성 모델 생성부(840)는 수학식 5에 도시된 비용함수를 이용하여 3차원 탄성 모델 인자들을 결정할 수 있다.
3차원 정보 생성부(850)는 공연자가 실제 공연을 할 때, 공연자의 실제 공연 장면에 대해 다수의 카메라로부터 촬영된 다수의 영상과 다수의 가상 카메라로부터 렌더링된 영상간 색 차이를 고려한 비용함수를 이용하여 공연자의 움직임과 관련된 노드의 위치 변화를 나타내는 3차원 탄성 모델 인자 값을 결정한다. 공연자의 실제 공연에 대한 3차원 정보를 획득하기 위해서, 3차원 탄성 모델 생성부(840)로부터 생성된 3차원 탄성 모델에서 노드의 위치 변화를 나타내는 3차원 탄성 모델 인자 값의 변화에 따른 3차원 외형 모델을 다수의 가상 카메라를 통해 렌더링된 가상 영상이 사용된다. 실제 공연 시에는 3차원 탄성 모델 생성부(840)로부터 생성된 3차원 탄성 모델을 이용하여 공연자의 움직임과 관련된 노드의 위치 변화를 나타내는 3차원 탄성 모델 인자만을 계산하면 되므로, 3차원 정보 생성부(850)는 수학식 6에 도시된 비용함수를 이용하여 각 노드의 위치 변화를 나타내는 3차원 탄성 모델 인자의 값을 결정할 수 있다.
3차원 정보 생성부(850)는 각 노드의 위치 변화를 나타내는 3차원 탄성 모델 인자의 값을 3차원 탄성 모델에 적용하여 공연자의 공연 모습을 묘사하는 메쉬 모델을 생성한다.
도 9는 다른 실시 예에 따른 3차원 콘텐츠 생성 장치를 나타낸 도면이다.
도 9를 참고하면, 3차원 콘텐츠 생성 장치(900)는 앞에서 설명한 3차원 콘텐츠 생성 방법이 구현된 컴퓨팅 장치를 나타낼 수 있다.
3차원 콘텐츠 생성 장치(900)는 프로세서(910), 메모리(920), 입력 인터페이스 장치(930), 출력 인터페이스 장치(940) 및 저장 장치(950) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 공통 버스(bus)(960)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(960)가 아니라, 프로세서(910)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.
프로세서(910)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(920) 또는 저장 장치(950)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(910)는 메모리(920) 및 저장 장치(950) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(910)는 위의 도 1 내지 도 8을 토대로 설명한 3차원 콘텐츠 생성 방법을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(910)는 도 8에서 설명한 영상 획득부(810), 3차원 외형 모델 생성부(820), 가상 영상 생성부(830), 3차원 탄성 모델 생성부(840) 및 3차원 정보 생성부(850)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(920)에 저장하여, 도 1 내지 도 8을 토대로 설명한 동작이 수행되도록 제어할 수 있다.
메모리(920) 및 저장 장치(950)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(920)는 ROM(read-only memory)(921) 및 RAM(random access memory)(922)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(920)는 프로세서(910)의 내부 또는 외부에 위치할 수 있고, 메모리(920)는 이미 알려진 다양한 수단을 통해 프로세서(910)와 연결될 수 있다.
입력 인터페이스 장치(930)는 데이터를 프로세서(910)로 제공하도록 구성된다.
출력 인터페이스 장치(940)는 프로세서(910)로부터의 데이터를 출력하도록 구성된다.
또한 본 발명의 실시 예에 따른 사용자 데이터 처리 방법 중 적어도 일부는 컴퓨팅 장치에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
또한 본 발명의 실시 예에 따른 사용자 데이터 처리 방법 중 적어도 일부는 컴퓨팅 장치와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (17)

  1. 3차원 콘텐츠 생성 장치에서 공연자의 공연에 대한 3차원 콘텐츠를 생성하는 방법에서,
    공간 내에 위치한 공연자의 영상을 이용하여 상기 공연자의 3차원 외형 모델 및 텍스처 정보를 획득하는 단계,
    상기 공연자의 3차원 외형 모델 내부에 복수의 노드를 설정하고 상기 텍스처 정보를 이용하여 상기 공연자의 3차원 탄성 모델을 생성하는 단계,
    공연장에 설치된 복수의 제1 카메라로부터 상기 공연자의 공연 장면을 촬영한 복수의 제1 영상을 획득하는 단계,
    상기 복수의 제1 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제1 가상 카메라를 통해 상기 공연자의 3차원 탄성 모델에서 각 노드의 위치 변화에 따른 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링하는 단계,
    상기 복수의 제1 영상과 상기 복수의 제1 가상 카메라에 의한 복수의 제1 렌더링된 영상간 색 차이를 이용하여 상기 각 노드의 최적 위치를 결정하는 단계, 그리고
    상기 각 노드의 최적 위치에 해당되는 3차원 탄성 모델 인자 값들을 상기 3차원 탄성 모델에 적용하여 상기 공연 장면을 묘사하는 메쉬 모델을 생성하는 단계
    를 포함하는 3차원 콘텐츠 생성 방법.
  2. 제1항에서,
    상기 결정하는 단계는
    상기 3차원 탄성 모델에서 상기 각 노드의 위치 변화와 관련된 3차원 탄성 모델 인자 값을 변화시면서 상기 복수의 제1 영상과 상기 복수의 제1 렌더링된 영상간 색 차이를 고려한 제1 비용함수의 값을 계산하는 단계, 그리고
    상기 제1 비용함수의 값이 최소화되는 상기 각 노드의 3차원 탄성 모델 인자 값을 결정하는 단계를 포함하는 3차원 콘텐츠 생성 방법.
  3. 제2항에서,
    상기 각 노드의 위치 변화와 관련된 3차원 탄성 모델 인자 값은 상기 각 노드의 병진 인자와 회전 인자를 포함하는 3차원 콘텐츠 생성 방법.
  4. 제1항에서,
    상기 공연자의 3차원 탄성 모델을 생성하는 단계는
    상기 공간에 설치된 복수의 제2 카메라로부터 상기 공연자의 임의의 연속된 동작 자세를 촬영한 복수의 제2 영상을 획득하는 단계,
    상기 복수의 제2 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제2 가상 카메라로부터 상기 공연자의 3차원 탄성 모델 생성을 위해 필요한 3차원 탄성 모델 인자 값들의 변화에 따른 상기 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링하는 단계, 그리고
    상기 복수의 제2 영상과 상기 복수의 제2 가상 카메라에 의한 복수의 제2 렌더링된 영상간 색 차이를 고려한 제2 비용함수를 이용하여 상기 3차원 탄성 모델 인자 값들을 결정하는 단계를 포함하는 3차원 콘텐츠 생성 방법.
  5. 제4항에서,
    상기 3차원 탄성 모델 인자 값들을 결정하는 단계는
    상기 3차원 탄성 모델 인자 값들을 변화시키면서 상기 제2 비용함수의 값을 계산하는 단계, 그리고
    상기 제2 비용함수의 값이 최소화되는 상기 3차원 탄성 모델 인자 값들을 결정하는 단계를 포함하는 3차원 콘텐츠 생성 방법.
  6. 제4항에서,
    상기 3차원 탄성 모델 인자 값들은 상기 각 노드의 지오데식 이웃 거리, 상기 각 노드와 상기 각 노드의 지오데식 이웃 거리 내에 있는 노드간 탄성계수, 상기 각 노드의 위치 변화와 관련된 인자 및 상기 각 노드의 위치 변화가 상기 3차원 외형 모델의 각 메쉬 꼭지점의 변화에 미치는 영향을 나타내는 물성계수를 포함하는 3차원 콘텐츠 생성 방법.
  7. 제1항에서,
    상기 획득하는 단계는 고정된 자세를 취한 상기 공연자에 대해 상기 공간에 설치된 복수의 제2 카메라로부터 촬영된 복수의 영상을 이용하여 상기 공연자의 3차원 외형 모델 및 상기 텍스처 정보를 생성하는 단계를 포함하는 3차원 콘텐츠 생성 방법.
  8. 제1항에서,
    상기 획득하는 단계는 상기 공간에서 상기 복수의 제2 카메라를 이용한 상기 공연자의 근접 촬영을 통해 상기 공연자의 3차원 외형 모델 및 텍스처 정보를 생성하는 단계를 포함하는 3차원 콘텐츠 생성 방법.
  9. 공연자의 공연에 대한 3차원 콘텐츠를 생성하는 3차원 콘텐츠 생성 장치에서,
    공간 내에 위치한 공연자에 대한 영상을 이용하여 3차원 외형 모델과 텍스처 정보를 생성하는 3차원 외형 모델 생성부,
    상기 3차원 외형 모델 내에 복수의 노드를 설정하고, 상기 복수의 노드에 대한 3차원 탄성 모델 인자 값들을 결정하여 상기 공연자의 3차원 탄성 모델을 생성하는 3차원 탄성 모델 생성부,
    상기 공연자의 실제 공연 장면에 대해 공연장에 설치된 복수의 제1 카메라로부터 촬영된 복수의 제1 영상을 획득하는 영상 획득부,
    상기 복수의 제1 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제1 가상 카메라로부터 상기 3차원 탄성 모델 인자 값 중에서 위치 변화에 관련된 값들의 변화에 따른 상기 3차원 탄성 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링하는 가상 영상 생성부, 그리고
    상기 복수의 제1 영상과 상기 복수의 제1 가상 카메라에 의해 복수의 제1 렌더링된 영상간 색 차이를 이용하여 상기 각 노드의 최적 위치를 결정하는 3차원 정보 생성부
    를 포함하는 3차원 콘텐츠 생성 장치.
  10. 제9항에서,
    상기 3차원 정보 생성부는 상기 각 노드의 최적 위치에 해당되는 3차원 탄성 모델 인자 값들을 상기 공연자의 3차원 탄성 모델에 적용하여 상기 공연자의 공연 장면을 묘사하는 메쉬 모델을 생성하는 3차원 콘텐츠 생성 장치.
  11. 제9항에서,
    상기 3차원 정보 생성부는 상기 3차원 탄성 모델의 각 노드의 위치 변화와 관련된 3차원 탄성 모델 인자 값을 변화시면서 상기 복수의 제1 영상과 상기 복수의 제1 렌더링된 영상간 색 차이를 고려한 제1 비용함수의 값을 계산하고, 상기 제1 비용함수의 값이 최소화되는 상기 각 노드의 3차원 탄성 모델 인자 값을 결정하는 3차원 콘텐츠 생성 장치.
  12. 제9항에서,
    상기 영상 획득부는 상기 공간 내에 설치된 복수의 제2 카메라로부터 상기 공연자의 연속된 동작 자세에 대한 복수의 제2 영상을 획득하고,
    상기 가상 영상 생성부는 상기 복수의 제2 카메라와 내부 및 외부 인자가 동일하게 설정된 복수의 제2 가상 카메라로부터 상기 3차원 탄성 모델 인자 값들의 변화에 따른 상기 3차원 외형 모델을 촬영한 복수의 가상 영상을 상기 텍스처 정보를 이용하여 렌더링하며,
    상기 3차원 탄성 모델 생성부는 상기 복수의 제2 영상과 상기 복수의 제2 가상 카메라에 의한 복수의 제2 렌더리된 영상간 색 차이를 고려한 제2 비용함수를 이용하여 상기 3차원 탄성 모델 인자 값들을 결정하는 3차원 콘텐츠 생성 장치.
  13. 제12항에서,
    상기 3차원 탄성 모델 생성부는 상기 3차원 탄성 모델 인자 값들을 변화시키면서 상기 제2 비용함수의 값을 계산하고, 상기 제2 비용함수의 값이 최소화되도록 상기 3차원 탄성 모델 인자 값들을 결정하는 3차원 콘텐츠 생성 장치.
  14. 제12항에서,
    상기 3차원 탄성 모델 인자 값들은 상기 각 노드의 지오데식 이웃 거리, 상기 각 노드와 상기 각 노드의 지오데식 이웃 거리 내에 있는 노드간 탄성계수, 상기 각 노드의 위치 변화와 관련된 인자 및 상기 각 노드의 위치 변화가 상기 3차원 외형 모델의 각 메쉬 꼭지점의 변화에 미치는 영향을 나타내는 물성계수를 포함하는 3차원 콘텐츠 생성 장치.
  15. 제9항에서,
    상기 가상 영상 생성부는 상기 공연자의 실제 공연 시, 상기 3차원 탄성 모델 인자 값 중에서 상기 위치 변화에 관련된 값들을 제외한 나머지 값들은 고정해서 사용하는 3차원 콘텐츠 생성 장치.
  16. 제15항에서,
    상기 3차원 탄성 모델 인자 값 중에서 위치 변화에 관련된 값들은 상기 각 노드의 병진 인자와 회전 인자를 포함하는 3차원 콘텐츠 생성 장치.
  17. 제9항에서,
    상기 영상 획득부는 상기 공간 내에 설치된 복수의 제2 카메라로부터 상기 공연자의 근접 촬영을 통한 복수의 영상을 이용하여 상기 3차원 외형 모델 및 텍스터 정보를 생성하는 3차원 콘텐츠 생성 장치.
KR1020210058372A 2021-05-06 2021-05-06 3차원 콘텐츠 생성 방법 및 장치 KR102571744B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210058372A KR102571744B1 (ko) 2021-05-06 2021-05-06 3차원 콘텐츠 생성 방법 및 장치
US17/545,476 US20220358720A1 (en) 2021-05-06 2021-12-08 Method and apparatus for generating three-dimensional content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210058372A KR102571744B1 (ko) 2021-05-06 2021-05-06 3차원 콘텐츠 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220151306A KR20220151306A (ko) 2022-11-15
KR102571744B1 true KR102571744B1 (ko) 2023-08-29

Family

ID=83900547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210058372A KR102571744B1 (ko) 2021-05-06 2021-05-06 3차원 콘텐츠 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US20220358720A1 (ko)
KR (1) KR102571744B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11887251B2 (en) * 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612890B1 (ko) 2005-02-17 2006-08-14 삼성전자주식회사 3차원 이미지의 다중 특수 효과 표현 방법 및 장치
JP2007249280A (ja) 2006-03-13 2007-09-27 Omron Corp 特徴点検出装置、特徴点検出方法および特徴点検出プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337987B2 (ja) * 2004-08-02 2009-09-30 国立大学法人京都大学 情報処理装置およびプログラム
US7589720B2 (en) * 2004-08-04 2009-09-15 Microsoft Corporation Mesh editing with gradient field manipulation and user interactive tools for object merging
US20100110073A1 (en) * 2006-11-15 2010-05-06 Tahg Llc Method for creating, storing, and providing access to three-dimensionally scanned images
US8384714B2 (en) * 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
JP5451135B2 (ja) * 2009-03-26 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
KR20140001532A (ko) * 2012-06-27 2014-01-07 한국전자통신연구원 중강 공간 콘텐츠 저작 장치 및 그 방법
KR20140137250A (ko) * 2013-05-22 2014-12-02 삼성전자주식회사 페이지의 형태를 변형하여 표시하는 방법 및 장치
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
US10733797B2 (en) * 2016-07-13 2020-08-04 Naked Labs Austria Gmbh Skeleton estimation from body mesh
CN106685716B (zh) * 2016-12-29 2019-04-26 平安科技（深圳）有限公司 网络拓扑自适应的数据可视化方法及装置
US10891788B2 (en) * 2017-12-13 2021-01-12 Dassault Systemes Simulia Corp. Systems and methods for finite element mesh repair
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612890B1 (ko) 2005-02-17 2006-08-14 삼성전자주식회사 3차원 이미지의 다중 특수 효과 표현 방법 및 장치
JP2007249280A (ja) 2006-03-13 2007-09-27 Omron Corp 特徴点検出装置、特徴点検出方法および特徴点検出プログラム

Also Published As

Publication number Publication date
KR20220151306A (ko) 2022-11-15
US20220358720A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
Achenbach et al. Fast generation of realistic virtual humans
US8781161B2 (en) Image processing method and apparatus for generating a 3D model of a target object
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
JP4679033B2 (ja) 深度マップのメジアン値融合のためのシステムおよび方法
JP5093053B2 (ja) 電子カメラ
KR101613721B1 (ko) ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
KR20190118213A (ko) 의류 맞음새 시각화를 위한 3차원 의류 메시 변형 및 레이어링을 위한 시스템 및 방법
KR102571744B1 (ko) 3차원 콘텐츠 생성 방법 및 장치
JP2004280776A (ja) 画像内のオブジェクトの形状を決定する方法
CN111742352B (zh) 对三维对象进行建模的方法和电子设备
WO2021187157A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2000155831A (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
JP2003216970A (ja) 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム
US20220245885A1 (en) Volumetric Imaging
JP2001118074A (ja) ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体
JP3625624B2 (ja) テクスチャ情報付与方法、テクスチャ情報付与プログラムを記録した媒体およびテクスチャ情報付与装置
JP2015197374A (ja) ３次元形状推定装置及び３次元形状推定方法
KR102195762B1 (ko) 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
KR20190029842A (ko) 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
JP6545847B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20210119700A (ko) 증강현실에서 실제 객체를 지우는 방법 및 장치
JP2020149163A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant