KR20220163930A - 구동 가능한 3d 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체 - Google Patents
구동 가능한 3d 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체 Download PDFInfo
- Publication number
- KR20220163930A KR20220163930A KR1020227024901A KR20227024901A KR20220163930A KR 20220163930 A KR20220163930 A KR 20220163930A KR 1020227024901 A KR1020227024901 A KR 1020227024901A KR 20227024901 A KR20227024901 A KR 20227024901A KR 20220163930 A KR20220163930 A KR 20220163930A
- Authority
- KR
- South Korea
- Prior art keywords
- mesh model
- human body
- human
- skeletal
- drivable
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 244000256297 Euphorbia tirucalli Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
본 발명은 컴퓨터 비전과 딥 러닝 등의 인공지능에 분야에 관한 것이고, 3D비전 등의 시나리오에 적용될 수 있는 구동 가능한 3D 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체를 제공하고, 그 중의 방법은 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는 단계; 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는 단계; 및 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득하는 단계;를 포함할 수 있다. 본 발명에 기재된 해결책에 적용하면, 자원 소비 등을 줄일 수 있다.
Description
본 발명은 인공 지능 기술 분야에 관한 것으로, 특히, 컴퓨터 비전과 딥 러닝 등 분야의 구동 가능한 3D캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체에 관한 것이다.
<관련 출원의 상호 참조>
본 출원은 출원일이 2021년 6월 1일이고, 출원 번호가 202110609318.X이며, 발명 명칭이 "구동 가능한 3D 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체(Drivable three-dimensional character generation method, device, electronic equipment and storage medium)”인 중국 특허 출원의 우선권을 주장한다.
현재, 한 장의 2차원(2D, 2 Dimension) 이미지에 기반하여 구동 가능한 3차원(3D, 3 Dimension) 캐릭터를 생성하고, 즉 2D 이미지에 기반하여 3D 캐릭터 구동(Image-based 3D animation)을 구현할 수 있다.
구동 가능한 3D 캐릭터를 획득하기 위해, 일반적으로, 하기의 구현 방식을 사용한다. End to End의 트레이닝 방식에 기반하여, 임의의 2D 이미지에 대해, 미리 트레이닝된 네트워크 모델을 사용하여 구동 가능한 3D 인체 메쉬(mesh) 모델을 직접 생성하고, 즉 미리 트레이닝된 시맨틱 공간, 시맨틱 변형 필드 및 표면 암시적 함수(surface implicit function) 등을 통해, 구동 가능한 3D 인체 메쉬 모델을 생성할 수 있다. 그러나, 이러한 방식의 모델 트레이닝은 복잡하고, 대량의 트레이닝 자원 등을 소모해야 한다.
본 발명은 구동 가능한 3D 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체를 제공한다.
구동 가능한 3D 캐릭터 생성 방법에 있어서,
처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는 단계이라고,
상기 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는 단계; 및
골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득하는 단계;를 포함한다.
구동 가능한 3D 캐릭터 생성 장치에 있어서, 제1 처리 모듈, 제2 처리 모듈 및 제3 처리 모듈을 포함하고,
상기 제1 처리 모듈은, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는데 사용되고,
상기 제2 처리 모듈은, 상기 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는데 사용되고,
상기 제3 처리 모듈은, 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득하는데 사용된다.
전자 기기에 있어서, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 통신 연결되는 메모리;를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서에 의해 상술한 방법이 수행되도록 한다.
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터가 상술한 방법을 수행하도록 한다.
컴퓨터 프로그램 제품에 있어서, 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램이 프로세서에 의해 수행될 때, 상술한 방법을 구현한다.
상술한 발명의 하나의 실시예는 하기의 이점 또는 유익한 효과를 구비한다. 종래 방식과 같이 미리 트레이닝된 네트워크 모델을 직접 사용하여 구동 가능한 3D 인체 메쉬 모델을 생성하지 않으며, 먼저, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하고, 그 후, 획득된 3D 인체 메쉬 모델에 따라 골격 임베딩과 피부 바인딩 처리를 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득할 수 있고, 자원의 소비 등을 줄일 수 있다.
본 명세서에서 설명된 내용은 본 발명의 실시예의 키 또는 중요한 특징을 식별하려는 것이 아니고, 또한 본 발명의 범위를 제한하려는 것도 아닌 것을 이해하여야 한다. 본 발명의 다른 특징은 하기의 명세서를 통해 용이하게 이해할 수 있다.
상술한 발명의 하나의 실시예는 하기의 이점 또는 유익한 효과를 구비한다. 종래 방식과 같이 미리 트레이닝된 네트워크 모델을 직접 사용하여 구동 가능한 3D 인체 메쉬 모델을 생성하지 않으며, 먼저, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하고, 그 후, 획득된 3D 인체 메쉬 모델에 따라 골격 임베딩과 피부 바인딩 처리를 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득할 수 있고, 자원의 소비 등을 줄일 수 있다.
본 명세서에서 설명된 내용은 본 발명의 실시예의 키 또는 중요한 특징을 식별하려는 것이 아니고, 또한 본 발명의 범위를 제한하려는 것도 아닌 것을 이해하여야 한다. 본 발명의 다른 특징은 하기의 명세서를 통해 용이하게 이해할 수 있다.
첨부 도면은 본 해결수단을 더 잘 이해하기 위한 것으로, 본 발명에 대해 한정하는 것으로 구성되지 않는다.
도 1은 본 발명에 따른 구동 가능한 3D 캐릭터 생성 방법의 제1 실시예의 순서도이다.
도 2는 본 발명에 따른 구동 가능한 3D 캐릭터 생성 방법의 제2 실시예의 순서도이다.
도 3은 본 발명에 따른 3D 인체 애니메이션의 개략도이다.
도 4는 본 발명에 따른 구동 가능한 3D 캐릭터 생성 장치(400)의 실시예의 구성의 개략적인 구조도이다.
도 5는 본 발명의 실시예를 실시하는데 사용될 수 있는 예시적인 전자 기기(500)의 개략적인 블록도를 도시한다.
도 1은 본 발명에 따른 구동 가능한 3D 캐릭터 생성 방법의 제1 실시예의 순서도이다.
도 2는 본 발명에 따른 구동 가능한 3D 캐릭터 생성 방법의 제2 실시예의 순서도이다.
도 3은 본 발명에 따른 3D 인체 애니메이션의 개략도이다.
도 4는 본 발명에 따른 구동 가능한 3D 캐릭터 생성 장치(400)의 실시예의 구성의 개략적인 구조도이다.
도 5는 본 발명의 실시예를 실시하는데 사용될 수 있는 예시적인 전자 기기(500)의 개략적인 블록도를 도시한다.
하기는 첨부된 도면을 결부하여 본 발명의 예시적 실시예를 설명하되, 여기에는 이해를 돕기 위한 본 발명의 실시예의 다양한 세부 사항이 포함되며, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상 기술자는 본 발명의 범위와 사상을 벗어나지 않으면서, 여기서 설명되는 실시예에 대한 다양한 변경과 수정이 이루어질 수 있음을 이해해야 한다. 마찬가지로, 명확성 및 간결성을 위해, 아래의 설명에서 공지된 기능과 구조에 대한 설명을 생략한다.
또한, 본 명세서의 용어 “및/또는”은 관련 대상의 관련 관계를 설명하며 3가지 관계가 존재함을 나타낸다. 예를 들어 A 및/또는 B는, A가 단독으로 존재; A와 B가 동시에 존재; B가 단독으로 존재하는 3가지 경우를 표현할 수 있다. 캐릭터 "/"는 일반적으로 전후 관련 대상이 "또는”의 관계를 가짐을 나타낸다.
도 1은 본 발명에 따른 구동 가능한 3D 캐릭터 생성 방법의 제1 실시예의 순서도이다. 도 1에 도시된 바와 같이, 하기의 구체적인 구현 방식을 포함한다.
단계 101에서, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득한다.
단계 102에서, 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행한다.
단계 103에서, 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득한다.
상술한 방법의 실시예에 기재된 해결책에서, 종래 방식과 같이 미리 트레이닝된 네트워크 모델을 직접 사용하여 구동 가능한 3D 인체 메쉬 모델을 생성하지 않으며, 먼저, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하고, 그 후, 획득된 3D 인체 메쉬 모델에 따라 골격 임베딩과 피부 바인딩 처리를 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득할 수 있고, 자원의 소비 등을 줄일 수 있다.
그 중, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는 방법은 한정되지 않는다. 예를 들어, 픽셀 정렬 암시적 함수(PIFu, Pixel-Aligned Implicit Function) 또는 고해상도 3D 인체 디지털화를 위한 다중 레벨 픽셀 정렬 암시적 함수(PIFuHD, Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization) 등의 알고리즘을 사용하여, 약 20만(w) 정점과 40만 패치를 포함하는 3D 인체 메쉬 모델 등과 같은, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득할 수 있다.
획득된 3D 인체 메쉬 모델에 대해, 후속 처리를 직접 수행할 수 있고, 예를 들어, 이에 대해 골격 임베딩 등을 수행한다. 바람직하게는 먼저, 획득된 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행하고, 또한, 다운 샘플링 처리 후의 3D 인체 메쉬 모델에 대해 골격 임베딩 등을 수행할 수도 있다.
다운 샘플링 처리를 통해, 정점과 패치수가 더 적은 3D 인체 메쉬 모델을 획득할 수 있고, 후속 처리에 필요한 시간을 줄이고, 처리 효율 등을 향상시킬 수 있다.
상기 다운 샘플링의 구체적인 값은 실제 수요에 따라 결정할 수 있고, 예를 들어, 실제 자원의 수요에 따라 결정할 수 있다. 또한, 어떻게 다운 샘플링하는 가는 한정하지 않는다. 예를 들어, 에지 붕괴(edge collapse), 2차 오차 간소화(quadric error simplification), 또는 등방성 메쉬 재구성(isotropic remeshing) 등의 알고리즘을 사용하여 획득된 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행할 수 있다.
그 후, 순차적으로 다운 샘플링 처리 후의 3D 인체 메쉬 모델에 대해 골격 임베딩과 피부 바인딩 처리를 수행할 수 있다.
그 중, 미리 구축된 N개의 정점의 골격 트리를 사용하여, 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행할 수 있고, N은 1보다 큰 양의 정수이며, 구체적인 값은 실제 수요에 따라 결정할 수 있다.
골격 트리의 본질은 복수의 그룹 xyz 좌표이며, N개의 정점의 골격 트리를 어떻게 정의할지는 기존 기술이다. 또한, 어떻게 골격 트리를 사용하여 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행할지는 한정하지 않고, 예를 들어, 미리 트레이닝된 네트워크 모델을 사용하여 상기 골격 임베딩을 구현할 수 있고, 즉 미리 구축된 N개의 정점의 골격 트리 및 3D 인체 메쉬 모델을 입력으로 하고, 네트워크 모델에 의해 출력된 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델을 획득할 수 있다.
구축된 골격 트리를 통해, 상술한 방식으로 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델을 정확하고 효율적으로 획득하고, 후속 처리에 양호한 기초를 쌓을 수 있다.
골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해, 또한, 이에 대해 피부 바인딩 처리를 수행할 수 있고, 즉 상기 N개의 정점에 골격 위치에 대한 하나의 가중치를 각각 부여하여, 구동 가능한 3D 인체 메쉬 모델을 획득할 수도 있다.
가중치의 할당이 정확할 경우, 후속의 골격이 이동할 때에 피부가 심하게 찢어지거나 변형되지 않고, 더 자연스럽게 보인다.
어떻게 3D 인체 메쉬 모델에 대해 피부 바인딩을 할지는 마찬가지로 한정하지 않고, 예를 들어, 미리 트레이닝된 네트워크 모델을 사용하여 상기 피부 바인딩을 구현할 수 있다.
상술한 일련의 처리 후에, 즉 필요한 구동 가능한 3D 인체 메쉬 모델을 획득할 수 있다. 바람직하게, 획득된 구동 가능한 3D 인체 메쉬 모델에 기반하여, 또한, 3D 인체 애니메이션을 생성할 수도 있다.
상응하게, 도 2는 본 발명에 따른 구동 가능한 3D 캐릭터 생성 방법의 제2 실시예의 순서도이다. 도 2에 도시된 바와 같이, 하기의 구체적인 구현 방식을 포함한다.
단계 201에서, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득한다.
예를 들어, PIFu 또는 PIFuHD 등의 알고리즘을 사용하여, 처리할 2D 이미지에 대해, 대응하는 3D 인체 메쉬 모델을 생성할 수 있다.
단계 202에서, 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행한다.
단계 201에서 획득된 3D 인체 메쉬 모델에 대해, 후속 처리를 직접 수행할 수 있고, 예를 들어, 골격 임베딩을 수행한다.
또는, 먼저, 단계 201에서 획득된 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행할 수도 있고, 또한, 다운 샘플링 처리 후의 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행할 수 있다.
그 중, 미리 구축된 N개의 정점의 골격 트리를 사용하여, 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행할 수 있고, N은 1보다 큰 양의 정수이다.
단계 203에서, 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득한다.
골격 임베딩과 피부 바인딩 처리를 순차적으로 완료한 후, 즉 구동 가능한 3D 인체 메쉬 모델을 획득할 수 있다. 획득된 구동 가능한 3D 인체 메쉬 모델에 기반하여, 3D 인체 애니메이션을 생성할 수도 있다.
단계 204에서, 액션 시퀀스를 획득한다.
바람직하게, 상기 액션 시퀀스는 스킨 다인칭 선형 모델(SMPL, Skinned Multi-Person Linear Model) 액션 시퀀스일 수 있다.
어떻게 SMPL 액션 시퀀스를 생성할지는 기존 기술이다.
단계 205에서, 액션 시퀀스와 구동 가능한 3D 인체 메쉬 모델에 따라 3D 인체 애니메이션을 생성한다.
구체적으로, 먼저 SMPL 액션 시퀀스를 마이그레이션하여, N개의 키 포인트 액션 시퀀스를 획득할 수 있고, N개의 키 포인트는 골격 트리 내의 N개의 정점이며, 그 후, N개의 키 포인트 액션 시퀀스를 사용하여 구동 가능한 3D 인체 메쉬 모델을 구동하여, 필요한 3D 인체 애니메이션을 획득할 수 있다.
표준화된 SMPL 액션 시퀀스는 일반적으로, 24개의 키 포인트에 대응하고, N의 값은 일반적으로 24가 아니고, 예를 들어, 17일 경우, SMPL 액션 시퀀스를 마이그레이션하여, N개의 정점(키 포인트)의 골격 트리에 마이그레이션하고, N개의 키 포인트 액션 시퀀스를 획득할 필요가 있다.
설명해야 하는 바로는, N의 값이 24일 경우, 상술한 마이그레이션 처리를 수행할 필요가 없다.
어떻게 N개의 키 포인트 액션 시퀀스를 획득할지는 한정하지 않고, 예를 들어, 기존의 다양한 액션 마이그레이션 방법을 사용할 수 있거나, 미리 트레이닝된 네트워크 모델을 사용할 수 있고, 입력은 SMPL 액션 시퀀스이며, 출력은 N개의 키 포인트 액션 시퀀스이다.
그 중, 네트워크 모델을 트레이닝할 때, 손실 함수는 대응하는 키 포인트에 3D 공간에서의 유클리드 거리로 정의할 수 있고, 대응하는 키 포인트는 매칭된 키 포인트를 가리키고, 예를 들어, SMPL 액션 시퀀스에 대응하는 24개의 키 포인트 내의, 17(N의 값)개의 키 포인트가 골격 트리 내의 N개의 키 포인트에 매칭하고, 그렇다면, 나머지 7개의 키 포인트는 매칭되지 않는 키 포인트이며, 매칭되지 않는 키 포인트에 대해, 그 위치 차이의 가중치를 줄이거나, 또는 0등으로 직접 설치할 수 있다.
N개의 키 포인트 액션 시퀀스를 획득한 후, N개의 키 포인트 액션 시퀀스에 의해 구동하기 전에 획득된 구동 가능한 3D 인체 메쉬 모델을 사용하여, 3D 인체 애니메이션을 획득할 수 있다. 도 3에 도시된 바와 같이, 도 3은 본 발명에 따른 3D 인체 애니메이션의 개략도이다.
상술한 설명으로부터 알 수 있는 것은, 본 발명에 기재된 구동 가능한 3D 인체 메쉬 모델은 표준화된 SMPL 액션 시퀀스를 겸용할 수 있고, 구동 가능한 3D 인체 메쉬 모델과 SMPL 액션 시퀀스에 따라 대응하는 3D 인체 애니메이션을 정확하고 효율적으로 생성할 수 있다.
요컨대, 본 발명에 기재된 방법에서 하나의 파이프라인(pipeline)을 구축하고, 입력된 임의의 2D 이미지 및 SMPL 액션 시퀀스에 대해, 구동 가능한 3D 인체 메쉬 모델 및 3D 인체 애니메이션을 생성할 수 있고, 일부 네트워크 모델을 사용할 가능성도 있지만, 이러한 네트워크 모델은 상대적으로 모두 비교적 간단하여, 기존 기술에서 트레이닝 획득된 네트워크 모델을 직접 사용하여 구동 가능한 3D 인체 메쉬 모델을 생성하는 방식과 비교하여, 자원에 대한 소비를 줄이고, 임의의 의복을 입고 있는 인체 및 임의의 액션 시퀀스에 적용될 수 있고, 광범위한 적용성 등을 가진다.
설명해야 하는 바로는, 전술한 각 방법의 실시예에 대해, 간단한 설명을 위해, 이를 모두 일련의 동작 결합으로 묘사하지만, 당업자는 본 공개가 묘사된 동작 순서의 제한을 받지 않는다는 것을 알아야 한다. 왜냐하면 본 공개에 따라 일부 단계는 다른 순서를 채택하거나 동시에 진행할 수 있기 때문이다. 그 다음에, 본 명세서에 기재된 실시예는 모두 바람직한 실시예에 속하고, 관련되는 동작 및 모듈은 반드시 본 발명에 필수적이지 않다. 또한, 일부 실시예에서, 상세하게 기재되지 않은 부분은, 다른 실시예의 설명을 참조할 수 있다.
이상은 방법의 실시예에 관한 설명이며, 이하는 장치의 실시예로, 본 발명에 기재된 해결책을 더 설명한다.
도 4는 본 발명에 따른 구동 가능한 3D 캐릭터 생성 장치(400)의 실시예의 구성의 개략적인 구조도이다. 도 4에 도시된 바와 같이, 제1 처리 모듈(401), 제2 처리 모듈(402) 및 제3 처리 모듈(403)을 포함한다.
제1 처리 모듈(401)은, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는데 사용된다.
제2 처리 모듈(402)은, 획득된 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는데 사용된다.
제3 처리 모듈(403)은, 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득하는데 사용된다.
그 중, 제1 처리 모듈(401)이 어떻게 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는 가는 한정하지 않는다. 예를 들어, PIFu 또는 PIFuHD 등의 알고리즘을 사용하여, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득할 수 있다.
획득된 3D 인체 메쉬 모델에 대해, 제2 처리 모듈(402)은 이에 대해 후속 처리를 직접 수행할 수 있고, 예를 들어, 이에 대해 골격 임베딩 등을 수행한다. 바람직하게, 제2 처리 모듈(402)은, 먼저, 획득된 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행할 수도 있고, 그 후, 다운 샘플링 처리 후의 3D 인체 메쉬 모델에 대해 골격 임베딩 등을 수행할 수 있다.
어떻게 다운 샘플링하는 가는 마찬가지로 한정하지 않는다. 예를 들어, 에지 붕괴(edge collapse) 2차 오차 간소화(quadric error simplification) 또는 등방성 메쉬 재구성(isotropic remeshing) 등의 알고리즘을 사용하여 획득된 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행할 수 있다.
또한, 제2 처리 모듈(402)은 미리 구축된 N개의 정점의 골격 트리를 사용하여, 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행할 수 있고, N은 1보다 큰 양의 정수이다.
어떻게 골격 트리를 사용하여 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행할지는 한정하지 않고, 예를 들어, 미리 트레이닝된 네트워크 모델을 사용하여 상기 골격 임베딩을 구현할 수 있고, 즉 미리 구축된 N개의 정점의 골격 트리 및 3D 인체 메쉬 모델을 입력으로 하고, 네트워크 모델에 의해 출력된 골격 임베딩을 수행한 후의 3D 인체 메쉬 모델을 획득할 수 있다.
골격 임베딩을 수행한 후의 3D 인체 메쉬 모델에 대해, 제3 처리 모듈(403)은, 또한, 이에 대해 피부 바인딩 처리를 수행할 수 있고, 즉 상기 N개의 정점에 골격 위치에 대한 하나의 가중치를 각각 부여하여, 구동 가능한 3D 인체 메쉬 모델을 획득할 수도 있다. 어떻게 3D 인체 메쉬 모델에 대해 피부 바인딩을 할지는 마찬가지로 한정하지 않고, 예를 들어, 미리 트레이닝된 네트워크 모델을 사용하여 상기 피부 바인딩을 구현할 수 있다.
상술한 일련의 처리 후에, 즉 필요한 구동 가능한 3D 인체 메쉬 모델을 획득할 수 있다. 바람직하게, 획득된 구동 가능한 3D 인체 메쉬 모델에 기반하여, 또한, 3D 인체 애니메이션을 생성할 수도 있다.
상응하게, 제3 처리 모듈(403)은, 또한, 액션 시퀀스를 획득하고, 획득된 액션 시퀀스와 구동 가능한 3D 인체 메쉬 모델에 따라 3D 인체 애니메이션을 생성하는데 사용된다.
그 중, 상기 액션 시퀀스는 SMPL 액션 시퀀스일 수 있다.
SMPL 액션 시퀀스에 대해, 제3 처리 모듈(403)은, 먼저, 이를 마이그레이션하고, N개의 키 포인트 액션 시퀀스를 획득할 수 있고, N개의 키 포인트는 즉 골격 트리 내의 N개의 정점이며, 그 후, N개의 키 포인트 액션 시퀀스를 사용하여 구동 가능한 3D 인체 메쉬 모델을 구동하여, 필요한 3D 인체 애니메이션을 획득할 수 있다.
표준화된 SMPL 액션 시퀀스는 일반적으로, 24개의 키 포인트에 대응하고, N의 값은 일반적으로 24가 아니고, 예를 들어, 17일 경우, SMPL 액션 시퀀스를 마이그레이션하여, N개의 정점(키 포인트)의 골격 트리에 마이그레이션하고, N개의 키 포인트 액션 시퀀스를 획득할 필요가 있다.
N개의 키 포인트 액션 시퀀스를 획득한 후, 즉 N개의 키 포인트 액션 시퀀스에 의해 구동하기 전에 획득된 구동 가능한 3D 인체 메쉬 모델을 사용하여, 최종이 필요한 3D 인체 애니메이션을 획득할 수 있다.
도 4에 도시된 장치의 실시예의 구체적인 작업 프로세스는 전술한 방법의 실시예의 관련 설명을 참조할 수 있고, 여기서 상세하게 설명하지 않는다.
요컨대, 본 발명의 장치 실시예에 기재된 해결책을 사용하여, 입력된 임의의 2D 이미지 및 SMPL 액션 시퀀스에 대해, 구동 가능한 3D 인체 메쉬 모델 및 3D 인체 애니메이션을 생성할 수 있고, 일부 네트워크 모델을 사용할 가능성도 있지만, 이러한 네트워크 모델은 상대적으로 모두 비교적 간단하여, 기존 기술에서 트레이닝 획득된 네트워크 모델을 직접 사용하여 구동 가능한 3D 인체 메쉬 모델을 생성하는 방식과 비교하여, 자원에 대한 소비를 줄이고, 임의의 의복을 입고 있는 인체 및 임의의 액션 시퀀스에 적용될 수 있고, 광범위한 적용성 등을 가진다.
본 발명에 기재된 해결책은 인공 지능 분야에 적용될 수 있고, 특히 컴퓨터 비전과 딥 러닝 등의 분야에 관한 것이다.
본 발명에 기재된 해결책은 인공지능 분야에 적용될 수 있고, 특히, 지능형 교통 등의 분야에 관한 것이다. 인공 지능은 연구하여 인간의 일부 사고 과정과 지능행위(예를 들어, 학습, 추리, 사고, 계획 등)을 컴퓨터로 시뮬레이트하는 것을 연구하는 학과이며, 하드웨어 차원의 기술이 있을 뿐만아니라 소프트웨어 차원의 기술도 있으며, 인공 지능 하드웨어 기술은 일반적으로, 예를 들어, 센서, 전용 인공 지능 칩, 클라우드 컴퓨팅, 분산 스토리지, 빅 데이터 처리 등의 기술을 포함하고, 인공 지능 소프트웨어 기술은 주로, 컴퓨터 비전 기술, 음성 인식 기술, 자연 언어 처리 기술 및 기계학습/딥 러닝, 빅 데이터 처리 기술, 지식 그래프 기술 등의 몇 가지 방향을 포함한다.
본 발명의 실시예에 따르면, 본 발명은 전자 기기, 판독 가능 기록 매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 지능형 교통 도로망 획득 방법을 구현할 수 있는 예시적인 전자 기기(500)의 개략적인 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 계산 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 발명의 구현을 한정하지 않는다.
도 5에 도시된 바와 같이, 기기(500)는 컴퓨팅 유닛(501)을 포함하고, 컴퓨팅 유닛(501)은 판독 전용 메모리(ROM)(502)에 저장되어 있는 컴퓨터 프로그램 또는 저장 유닛(508)으로부터 랜덤 액세스 메모리(RAM)(503)에 로드된 컴퓨터 프로그램에 따라, 다양한 적절한 동작과 처리를 실행할 수 있다. RAM(503)에는 기기(500)가 동작하는데 필요한 여러가지 프로그램과 데이터도 저장할 수 있다. 컴퓨팅 유닛(501), ROM(502) 및 RAM(503)는 버스(504)를 통해 서로 연결된다. 입력/출력 (I/O) 인터페이스(505)도 버스(504)에 연결된다.
기기(500) 중의 복수 컴포넌트는 I/O 인터페이스(505)에 연결되고, 키보드, 마우스 등과 같은 입력 유닛(506); 여러가지 타입의 디스플레이, 스피커 등과 같은 출력 유닛(507); 디스크, 광디스크 등과 같은 저장 유닛(508) 및 네트워크 카드, 모뎀, 무선통신 트랜시버 등과 같은 통신 유닛(509)을 포함한다. 통신 유닛(509)은 기기(500)가 인터넷 등과 같은 컴퓨터 네트워크 및 여러가지 통신 네트워크 중의 적어도 하나를 통해 다른 기기와 정보/데이터를 교환할 수 있다.
컴퓨팅 유닛(501)은 여러가지 처리와 계산 능력을 갖춘 범용 처리 컴포넌트 및 전용 처리 컴포넌트 중의 적어도 하나일 수 있다. 컴퓨팅 유닛(501)의 일부 예는, 중앙 처리 유닛(CPU), 그래픽스 처리 유닛(GPU), 다양한 전용 인공지능(AI) 계산 팁, 다양한 기계학습 모델 알고리즘을 실행하는 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적절한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만, 이에 한정되지 않는다. 컴퓨팅 유닛(501)은 본 발명에 기재된 방법 등과 같은 상기의 다양한 방법과 처리를 실행한다. 예를 들면, 일부 실시예에서, 본 발명에 기재된 방법은 저장 유닛(508) 등과 같은 기계 판독 가능 매체에 유형적으로 포함되는 컴퓨터 소프트웨어 프로그램으로 구현할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(502) 및 통신 유닛(509) 중의 적어도 하나를 통해 기기(500)에 로드 및/또는 인스톨될 수 있다. 컴퓨터 프로그램이 RAM(503)에 로드되어 컴퓨팅 유닛(501)에 의해 실행될 경우, 본 발명에 기재된 방법의 하나 또는 복수의 단계를 실행할 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(501)은 다른 임의의 적절한 방식(예를 들면, 펌웨어에 의해)을 통해 본 발명에 기재된 방법을 실행하도록 구성될 수 있다.
설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그래밍 가능한 게이트 어레이(FPGA), 특정 용도 대상 집적 회로(ASIC), 특정 용도 대상 표준제품(ASSP), 시스템 온 칩 시스템(SOC), 부하 프로그래밍 가능 논리 장치(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 결합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
본 발명의 방법을 실시하기 위한 프로그램 코드는 하나 또는 복수의 프로그래밍 언어의 임의의 결합을 사용하여 작성할 수 있다. 이러한 프로그램 코드는 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행될 때 흐름도 및 블록도 중의 적어도 하나에 규정된 기능/동작이 실행되도록, 대형 기계(슈퍼 컴퓨터), 전용 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행되거나, 독립된 소프트웨어 패키지로서 부분적으로 기계에서 실행되고, 부분적으로 리모트 기계에서 실행되거나 또는 완전히 리모트 기계 또는 서버에서 실행될 수 있다.
본 발명의 문맥에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 기기의 사용, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있는 유형적인 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 기록 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치 또는 기기, 또는 상술한 내용의 임의의 적절한 결합을 포함하지만, 이에 한정되지 않는다. 기계 판독 가능 기록 매체의 더 구체적인 예는 하나 또는 복수의 와이어에 기반한 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 포터블 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 상술한 내용의 임의의 적절한 결합을 포함한다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백엔드 부재를 포함하는 계산 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 계산 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 계산 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 네트워크 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 결합을 포함하는 계산 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예는, 근거리 통신망(LAN), 광역망(WAN), 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있고, 클라우드 계산 또는 클라우드 호스트일 수도 있으며, 클라우드 계산 서비스 시스템 중의 하나의 호스트 제품일 수 있어, 종래의 물리 호스트와 VPS 서비스(VPS）에 존재하는 관리 곤란도가 높고, 업무 확장성이 약한 것을 해결한다. 서버는 분산 시스템의 서버일 수 있거나, 또는 블록 체인을 결합한 서버일 수도 있다. 클라우드 컴퓨팅은 네트워크 액세스를 통해 탄력적이고 확장 가능한 공유 물리적 또는 가상 리소스 풀을 가리키며, 리소스는 서버, 운영 체제, 네트워크 소프트웨어, 애플리케이션 및 저장 기기 등을 포함할 수 있으며, 온 디맨드 셀프 서비스 방식으로 리소스를 배포하고 관리할 수 있는 기술 체계이고, 클라우드 컴퓨팅 기술을 통해 인공 지능, 블록체인 등 기술 응용, 모델 트레이닝을 위해 고효율적이고 강력한 데이터 처리 능력을 제공할 수 있다.
위에서 설명된 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 동시에, 순차적으로, 또는 상이한 순서로 수행될 수 있으며, 본 발명에 개시된 기술적 해결수단이 이루고자 하는 결과를 구현할 수 있는 한, 본문은 여기서 한정되지 않는다.
상기 구체적인 실시형태는 본 발명의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는, 설계 요구 및 다른 요소에 따라 다양한 수정, 결합, 서브 결합 및 대체를 진행할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.
Claims (15)
- 구동 가능한 3D 캐릭터 생성 방법(drivable three-dimensional character generation method)에 있어서,
처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는 단계;
상기 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는 단계; 및
상기 골격 임베딩을 수행한 후의 상기 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득하는 단계;를 포함하는,
구동 가능한 3D 캐릭터 생성 방법. - 제1항에 있어서,
상기 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행하는 단계; 및
상기 다운 샘플링 처리 후의 상기 3D 인체 메쉬 모델에 대해 상기 골격 임베딩을 수행하는 단계;를 더 포함하는,
구동 가능한 3D 캐릭터 생성 방법. - 제1항 또는 제2항에 있어서,
상기 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는 단계는,
미리 구축된 N개의 정점의 골격 트리를 사용하여, 상기 3D 인체 메쉬 모델에 대해 상기 골격 임베딩을 수행하는 단계를 포함하고, 여기서 상기 N은 1보다 큰 양의 정수인,
구동 가능한 3D 캐릭터 생성 방법. - 제3항에 있어서,
액션 시퀀스를 획득하는 단계; 및
상기 액션 시퀀스와 상기 구동 가능한 3D 인체 메쉬 모델에 따라 3D 인체 애니메이션을 생성하는 단계;를 더 포함하는,
구동 가능한 3D 캐릭터 생성 방법. - 제4항에 있어서,
상기 액션 시퀀스는 SMPL 액션 시퀀스를 포함하는,
구동 가능한 3D 캐릭터 생성 방법. - 제5항에 있어서,
상기 액션 시퀀스와 상기 구동 가능한 3D 인체 메쉬 모델에 따라 3D 인체 애니메이션을 생성하는 단계는,
상기 SMPL 액션 시퀀스를 마이그레이션하여, N개의 키 포인트 액션 시퀀스를 획득하는 단계 - 상기 N개의 키 포인트는 상기 골격 트리 내의 N개의 정점임 -; 및
상기 N개의 키 포인트 액션 시퀀스를 사용하여 상기 구동 가능한 3D 인체 메쉬 모델을 구동하여, 상기 3D 인체 애니메이션을 획득하는 단계;를 포함하는,
구동 가능한 3D 캐릭터 생성 방법. - 구동 가능한 3D 캐릭터 생성 장치(drivable three-dimensional character generation device)에 있어서,
제1 처리 모듈, 제2 처리 모듈 및 제3 처리 모듈을 포함하고,
상기 제1 처리 모듈은, 처리할 2D 이미지에 대응하는 3D 인체 메쉬 모델을 획득하는데 사용되고,
상기 제2 처리 모듈은, 상기 3D 인체 메쉬 모델에 대해 골격 임베딩을 수행하는데 사용되고,
상기 제3 처리 모듈은, 상기 골격 임베딩을 수행한 후의 상기 3D 인체 메쉬 모델에 대해 피부 바인딩을 수행하여, 구동 가능한 3D 인체 메쉬 모델을 획득하는데 사용되는,
구동 가능한 3D 캐릭터 생성 장치. - 제7항에 있어서,
상기 제2 처리 모듈은 또한, 상기 3D 인체 메쉬 모델에 대해 다운 샘플링 처리를 수행하고, 상기 다운 샘플링 처리 후의 상기 3D 인체 메쉬 모델에 대해 상기 골격 임베딩을 수행하는데 사용되는,
구동 가능한 3D 캐릭터 생성 장치. - 제7항 또는 제8항에 있어서,
상기 제2 처리 모듈은, 미리 구축된 N개의 정점의 골격 트리를 사용하여, 상기 3D 인체 메쉬 모델에 대해 상기 골격 임베딩을 수행하고, 여기서 상기 N은 1보다 큰 양의 정수인,
구동 가능한 3D 캐릭터 생성 장치. - 제9항에 있어서,
상기 제3 처리 모듈은 또한, 액션 시퀀스를 획득하고, 상기 액션 시퀀스와 상기 구동 가능한 3D 인체 메쉬 모델에 따라 3D 인체 애니메이션을 생성하는데 사용되는,
구동 가능한 3D 캐릭터 생성 장치. - 제10항에 있어서,
상기 액션 시퀀스는 SMPL 액션 시퀀스를 포함하는,
구동 가능한 3D 캐릭터 생성 장치. - 제11항에 있어서,
상기 제3 처리 모듈은, 상기 SMPL 액션 시퀀스를 마이그레이션하여, N개의 키 포인트 액션 시퀀스를 획득하고, 상기 N개의 키 포인트는 상기 골격 트리 내의 N개의 정점이며, 상기 N개의 키 포인트 액션 시퀀스를 사용하여 상기 구동 가능한 3D 인체 메쉬 모델을 구동하여, 상기 3D 인체 애니메이션을 획득하는,
구동 가능한 3D 캐릭터 생성 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 통신 연결되는 메모리;를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서에 의해 제1항 내지 제6항 중 어느 한 항의 방법이 수행되도록 하는,
전자 기기. - 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항의 방법을 수행하도록 하는,
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 기록 매체. - 컴퓨터 프로그램 제품에 있어서,
컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램이 프로세서에 의해 수행될 때, 제1항 내지 제6항 중 어느 한 항의 방법을 구현하는
컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110609318.XA CN113409430B (zh) | 2021-06-01 | 2021-06-01 | 可驱动三维人物生成方法、装置、电子设备及存储介质 |
| CN202110609318.X | 2021-06-01 | ||
| PCT/CN2022/075024 WO2022252674A1 (zh) | 2021-06-01 | 2022-01-29 | 可驱动三维人物生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220163930A true KR20220163930A (ko) | 2022-12-12 |
Family
ID=77675758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227024901A KR20220163930A (ko) | 2021-06-01 | 2022-01-29 | 구동 가능한 3d 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240144570A1 (ko) |
| JP (1) | JP7376006B2 (ko) |
| KR (1) | KR20220163930A (ko) |
| CN (1) | CN113409430B (ko) |
| WO (1) | WO2022252674A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409430B (zh) * | 2021-06-01 | 2023-06-23 | 北京百度网讯科技有限公司 | 可驱动三维人物生成方法、装置、电子设备及存储介质 |
| CN117576280B (zh) * | 2023-07-12 | 2024-04-19 | 杭州雪爪文化科技有限公司 | 一种基于3d数字人的智能端云一体化生成方法及系统 |
| CN116912433B (zh) * | 2023-09-15 | 2023-12-19 | 摩尔线程智能科技(北京)有限责任公司 | 三维模型骨骼绑定方法、装置、设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197049B (zh) * | 2007-12-21 | 2010-12-01 | 西北工业大学 | 基于三维运动参数的三维运动模型全自动驱动方法 |
| CN108597015A (zh) * | 2018-01-08 | 2018-09-28 | 江苏辰锐网络科技有限公司 | 三维生物模型骨骼自动绑定系统、方法、设备及计算机程序产品 |
| CN109785415A (zh) * | 2018-12-18 | 2019-05-21 | 武汉西山艺创文化有限公司 | 一种基于外骨骼技术的动作采集系统及其方法 |
| US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
| CN109993819B (zh) * | 2019-04-09 | 2023-06-20 | 网易（杭州）网络有限公司 | 虚拟角色的蒙皮方法及装置、电子设备 |
| WO2020254448A1 (en) * | 2019-06-17 | 2020-12-24 | Ariel Ai Inc. | Scene reconstruction in three-dimensions from two-dimensional images |
| CN110660017A (zh) * | 2019-09-02 | 2020-01-07 | 北京航空航天大学 | 一种基于三维姿态识别的舞谱记录与演示方法 |
| JP2022512262A (ja) | 2019-11-21 | 2022-02-03 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | 画像処理方法及び装置、画像処理機器並びに記憶媒体 |
| CN110992454B (zh) * | 2019-11-29 | 2020-07-17 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN111445561B (zh) | 2020-03-25 | 2023-11-17 | 北京百度网讯科技有限公司 | 虚拟对象的处理方法、装置、设备及存储介质 |
| CN111462274A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于smpl模型的人体图像合成方法及系统 |
| CN112330805B (zh) | 2020-11-25 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
| CN112652057B (zh) * | 2020-12-30 | 2024-05-07 | 北京百度网讯科技有限公司 | 生成人体三维模型的方法、装置、设备以及存储介质 |
| CN112598773A (zh) * | 2020-12-31 | 2021-04-02 | 珠海金山网络游戏科技有限公司 | 骨骼蒙皮动画的实现方法及装置 |
| CN113409430B (zh) * | 2021-06-01 | 2023-06-23 | 北京百度网讯科技有限公司 | 可驱动三维人物生成方法、装置、电子设备及存储介质 |
| CN113379932B (zh) * | 2021-06-28 | 2024-01-09 | 北京百度网讯科技有限公司 | 人体三维模型的生成方法和装置 |
-
2021
- 2021-06-01 CN CN202110609318.XA patent/CN113409430B/zh active Active
-
2022
- 2022-01-29 JP JP2022543546A patent/JP7376006B2/ja active Active
- 2022-01-29 KR KR1020227024901A patent/KR20220163930A/ko not_active Application Discontinuation
- 2022-01-29 WO PCT/CN2022/075024 patent/WO2022252674A1/zh active Application Filing
- 2022-01-29 US US17/794,081 patent/US20240144570A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022252674A1 (zh) | 2022-12-08 |
| CN113409430A (zh) | 2021-09-17 |
| JP7376006B2 (ja) | 2023-11-08 |
| US20240144570A1 (en) | 2024-05-02 |
| CN113409430B (zh) | 2023-06-23 |
| JP2023533404A (ja) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220163930A (ko) | 구동 가능한 3d 캐릭터 생성 방법, 장치, 전자 기기 및 기록 매체 | |
| CN113643412B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| US20230419592A1 (en) | Method and apparatus for training a three-dimensional face reconstruction model and method and apparatus for generating a three-dimensional face image | |
| CN113658309B (zh) | 三维重建方法、装置、设备以及存储介质 | |
| CN112785674A (zh) | 纹理贴图的生成方法、渲染方法、装置、设备及存储介质 | |
| CN113963110B (zh) | 纹理图生成方法、装置、电子设备及存储介质 | |
| CN112581573A (zh) | 虚拟形象驱动方法、装置、设备、介质和程序产品 | |
| CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
| CN114549728A (zh) | 图像处理模型的训练方法、图像处理方法、装置及介质 | |
| CN113870399A (zh) | 表情驱动方法、装置、电子设备及存储介质 | |
| CN113052962A (zh) | 模型训练、信息输出方法，装置，设备以及存储介质 | |
| CN116309983B (zh) | 虚拟人物模型的训练方法、生成方法、装置和电子设备 | |
| CN112669431A (zh) | 图像处理方法、装置、设备、存储介质以及程序产品 | |
| CN116402914A (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| EP4155670A1 (en) | Intersection vertex height value acquisition method and apparatus, electronic device and storage medium | |
| CN115222895A (zh) | 图像生成方法、装置、设备以及存储介质 | |
| CN115688917A (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| CN115170703A (zh) | 虚拟形象驱动方法、装置、电子设备及存储介质 | |
| CN114078184A (zh) | 数据处理方法、装置、电子设备和介质 | |
| CN113408304A (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
| CN113792876A (zh) | 骨干网络的生成方法、装置、设备以及存储介质 | |
| CN113570067A (zh) | 分布式系统的同步方法、装置及程序产品 | |
| CN113344213A (zh) | 知识蒸馏方法、装置、电子设备及计算机可读存储介质 | |
| CN113610992B (zh) | 骨骼驱动系数确定方法、装置、电子设备及可读存储介质 | |
| CN115034198B (zh) | 语言模型中嵌入模块计算优化的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |