KR20230012078A - 가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체 - Google Patents

가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체 Download PDF

Info

Publication number
KR20230012078A
KR20230012078A KR1020230001091A KR20230001091A KR20230012078A KR 20230012078 A KR20230012078 A KR 20230012078A KR 1020230001091 A KR1020230001091 A KR 1020230001091A KR 20230001091 A KR20230001091 A KR 20230001091A KR 20230012078 A KR20230012078 A KR 20230012078A
Authority
KR
South Korea
Prior art keywords
model
surface reduction
target
rendering
virtual shape
Prior art date
Application number
KR1020230001091A
Other languages
English (en)
Inventor
제 리
하오제 류
옌 장
쉐천 선
루이즈 천
천 자오
위차오 텅
얼루이 딩
톈 우
하이펑 왕
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20230012078A publication Critical patent/KR20230012078A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체를 제공하는 바, 딥러닝, 컴퓨터 비전, 증강 현실, 가상 현실 등 인공 지능 기술 분야에 관한 것이며, 가상 형상 생성 등 장면에 응용될 수 있다. 상기 방법은, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 단계; 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는 단계; 및 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는 단계를 포함한다. 상기 방법은 가상 형상에 대응되는 모델에 대해 표면 감소를 수행하여 모델 복잡도를 감소하는 동시에, 가상 형상의 사실감 및 핍진성을 최대한 보존할 수도 있다.

Description

가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체{VIRTUAL IMAGE GENERATION METHOD, DEVICE, ELECTRONIC DEVIDE AND READABLE STORAGE MEDIUM}
본 발명은 인공 지능 기술 분야에 관한 것으로, 구체적으로는 딥러닝, 컴퓨터 비전, 증강 현실(AR), 가상 현실 등 기술 분야에 관한 것이며, 가상 형상 생성 등 장면에 응용될 수 있고, 특히는 가상 형상 생성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
가상 형상은 메타버스 가상 세계를 구축하는 관건적인 구성 부분이다. 가상 메타버스 세계의 구축은 높은 세밀함, 높은 몰입도, 저지연 등 주관적 및 객관적의 필수 요구에 수립된다.
상이한 응용 장면 하의 상이한 요구에 따라, 가상 형상, 예를 들어 가상 디지털 휴먼은 2D, 3D, 카툰, 사실, 하이퍼 리얼리즘 등 몇 가지로 나뉠 수 있으나, 현재 하이퍼 리얼리즘 가상 디지털 휴먼의 생성 및 구동 렌더링은 흔히 고성능 기기를 필요로 한다.
본 발명의 실시예에서는 가상 형상 생성 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 제공한다.
제1 양태에 따르면, 본 발명의 실시예에서는 가상 형상 생성 방법을 제공하고, 상기 방법은, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 단계; 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는 단계; 및 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는 단계를 포함한다.
제2 양태에 따르면, 본 발명의 실시예에서는 가상 형상 생성 장치를 제공하고, 상기 장치는, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 표면 감소 처리 유닛; 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는 영역 분할 렌더링 유닛; 및 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는 타깃 가상 형상 생성 유닛을 포함한다.
제3 양태에 따르면, 본 발명의 실시예에서는 전자 기기를 제공하고, 상기 전자 기기는, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하되; 여기서, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서가 실행될 경우 제1 양태 중 어느 한 실시형태에 따른 가상 형상 생성 방법을 구현할 수 있도록 한다.
제4 양태에 따르면, 본 발명의 실시예에서는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 컴퓨터가 실행될 경우 제1 양태 중 어느 한 실시형태에 따른 가상 형상 생성 방법을 구현할 수 있도록 하기 위한 것이다.
제5 양태에 따르면, 본 발명의 실시예에서는 컴퓨터 프로그램을 포함한 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1 양태 중 어느 한 실시형태에 따른 가상 형상 생성 방법의 단계를 구현할 수 있다.
본 발명에서 제공되는 가상 형상 생성의 해결수단은, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하는 것을 통해, 모델 면수를 감소하는 방식으로 모델 복잡도를 감소하고, 아울러 재질 타입에 따른 영역 분할 렌더링에 결부하여, 렌더링 효율을 향상시킨다. 표면 감소 처리가 가상 형상 사실감 및 핍진성에 대해 손실을 초래하는 것을 최대한 방지하기 위해, 화이트 모델 맵 렌더링과 하이퍼 리얼리즘 렌더링 사이의 양방향 맵핑을 구축하는 것을 통해 하이퍼 리얼리즘 렌더링이 맵핑 관계에서 화이트 모델 맵 렌더링에 기록된 결실된 모델의 디테일을 더 학습하도록 하며, 나아가 타깃 가상 형상의 사실감 및 핍진성을 향상시키고, 표면 감소의 동시에 가상 형상의 시각 표현의 효과도 고려한다.
본 부분에 서술된 내용은 본 발명의 실시예의 관건 또는 중요 특징을 표시하기 위한 것이 아니며 본 발명의 범위를 한정하기 위한 것도 아님을 반드시 이해해야 한다. 본 발명의 다른 특징은 하기의 명세서에 의해 더 용이하게 이해될 수 있다.
아래 첨부 도면에 도시된 비 제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 발명의 다른 특징, 목적 및 장점이 보다 명확해질 것이다.
도 1은 본 발명이 그중에 응용될 수 있는 예시적 시스템 아키텍처이다.
도 2는 본 발명의 실시예에서 제공되는 가상 형상 생성 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 제공되는 가상 형상 생성 방법 중 초기 모델에 대해 표면 감소 처리를 수행하는 방법의 흐름도이다.
도 4는 본 발명의 실시예에서 제공되는 가상 형상 생성 방법 중 표면 감소 모델에 대해 영역 분할 렌더링을 수행하는 방법의 흐름도이다.
도 5는 본 발명의 실시예에서 제공되는 가상 형상 생성 방법 중 하이퍼 리얼리즘 렌더링 효과를 최적화하는 방법의 흐름도이다.
도 6은 본 발명의 실시예에서 제공되는 가상 형상 생성 장치의 구조 블록도이다.
도 7은 본 발명의 실시예에서 제공되는 가상 형상 생성 방법을 수행하기 위한 전자 기기의 구조 모식도이다.
아래 도면과 결부시켜 본 발명의 예시적 실시예를 설명하되, 여기에 이해를 돕기 위한 본 발명의 실시예의 다양한 세부사항들이 포함되지만, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에 여기서 설명된 실시예에 대해 다양한 변형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확 및 간략을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다. 모순되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다.
본 발명의 기술적 해결수단에서, 언급된 사용자 개인 정보의 수집, 저장, 사용, 가공, 전송, 제공 및 공개 등 처리는 모두 관련 법률 법규의 규정에 부합되며 공서양속을 위배하지 아니한다.
도 1은 본 발명에 따른 가상 형상 생성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체를 구현할 수 있는 실시예의 예시적 시스템 아키텍처(100)이다.
도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크의 매체를 제공한다. 네트워크(104)는 다양한 연결 타입을 포함할 수 있는 바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등이다.
사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메시지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 정도 통신 애플리케이션이 설치될 수 있는 바, 예를 들면 가상 현실 애플리케이션, 가상 인물 캐릭터 구축 애플리케이션, 모델 렌더링 애플리케이션 등이다
단말 기기(101, 102, 103)는 하드웨어일 수 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우 디스플레이 스크린을 구비하는 다양한 전자 기기일 수 있으며, 스마트폰, 태블릿PC, 휴대형 랩톱 및 데스크톱 등을 포함하나 이에 한정되는 것은 아니다. 단말 기기(101, 102, 103)가 소프트웨어인 경우 상기 열거된 전자 기기에 설치될 수 있고, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다. 서버(105)가 하드웨어인 경우 복수의 서버로 구성된 분산형 서버 클러스터로 구현될 수 있고, 하나의 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우 복수의 소프트웨어 또는 소프트웨어 모듈로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.
서버(105)는 내장된 다양한 애플리케이션을 통해 다양한 서비스를 제공하여, 가상 형상 생성 서비스를 제공할 수 있는 모델 렌더링 애플리케이션을 예로 드는 바, 서버(105)가 상기 모델 렌더링 애플리케이션을 실행할 경우 하기와 같은 효과를 구현할 수 있다. 우선, 네트워크(104)를 통해 사용자가 그 단말 기기(101, 102, 103)를 통해 입력된 가상 형상 파라미터를 수신하고; 그 다음, 상기 가상 형상 파라미터에 따라 대응되는 가상 형상의 초기 모델을 결정하며; 이어서, 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻고; 그 다음, 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻고; 이어서, 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는다.
부가적으로, 서버(105)는 또한 타깃 가상 형상의 화면 형상을 네트워크(104)를 통해 단말 기기(101, 102, 103)에 반환하여, 사용자가 대응되는 가상 형상을 간편하게 볼 수 있도록 하며, 나아가 가상 데이터 공간에 사용 가능하지 여부를 결정하도록 한다.
지적해야 할 것은, 가상 형상 파라미터는 단말 기기(101, 102, 103)에서 네트워크(104)를 통해 외부에서 임시로 획득할 수 있는 외에도, 다양한 방식을 통해 서버(105) 로컬에 미리 저장될 수도 있다. 따라서, 서버(105)가 로컬에 이미 이러한 데이터가 저장된 것을 검출할 경우(예를 들면 이전에 저장된 처리될 태스크를 처리하기 시작함), 로컬에서 이러한 데이터를 획득하는 것을 선택할 수 있고, 이러한 상황에서, 예시적 시스템 아키텍처(100)는 단말 기기(101, 102, 103) 및 네트워크(104)를 포함하지 않을 수도 있다.
본 발명의 후속적인 각 실시예에서 제공되는 가상 형상 생성 방법은 연산 능력이 비교적 강한 서버(105)에 의해 수행될 수 있고, 표면 감소 처리 동작을 포함한, 본 발명의 실시예에서 제공되는 수행 단계의 전부 또는 일부는 상대적으로 비교적 약한 연산 능력을 가지는 단말 기기(101, 102, 103)에 의해 수행될 수 있기에, 본 발명에서 제공되는 가상 형상 생성에 필요한 연산 능력이 단말 기기에 의해 제공된다는 것을 확인하기만 하면 된다.
이해해야 하는 것은, 도 1 중의 단말 기기, 네트워크 및 서버의 개수는 단지 예시적인 것이다. 구현 수요에 따르면, 임의의 개수의 단말 기기, 네트워크 및 서버를 구비할 수 있다.
도 2를 참조하면, 도 2는 본 발명의 실시예에서 제공되는 가상 형상 생성 방법의 흐름도로서, 여기서 흐름(200)은 하기의 단계를 포함한다.
단계(201)에서, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는다.
본 단계에서 가상 형상 생성 방법의 수행 주체(예를 들어 도 1에 도시된 서버(105) 또는 단말 기기(101, 102, 103))는 표면 감소 알고리즘을 이용하여 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 처리를 감소하는 것을 이용하여 초기 모델을 구성하는 삼각형 기반의 개수를 감소하며, 나아가 모델의 복잡도를 감소하여, 표면 감소 모델을 얻는다.
3차원 장면 브라우징 및 인터랙션 동작이 사람들의 현실 환경 중의 관찰 방식 및 느낌, 및 가상 시뮬레이션 기술, 그래픽 기술, 네트워크 기술 및 디지털 도시 기술의 신속한 발전에 더 밀접하기에, 3차원 시뮬레이션 애플리케이션에 대한 수요는 갈수록 커진다. 모델링 도구를 통해 생성되거나 스캐너로 얻어진 3차원 모델을 시뮬레이션 장면의 구성 부분으로 사용하면, 그 데이터량은 흔히 비교적 크므로, 직접 이를 그래픽스 파이프라인으로 처리하면 하드웨어의 감당 능력을 벗어나므로, 실시간 디스플레이의 요구에 도달할 수 없다.
자동 간소화 기술은 처리가 복잡하고 빅 데이터량 모델에 해결 경로를 제시하였다. 장면의 디스플레이가 최대한 왜곡되지 않는 것을 보장하는 전제 하에서, 모델 표면의 중요 정도에 따라 점차 디테일을 간소화함으로써, 하드웨어의 부담을 감소한다. 그 용도는 아래와 같다. 장면 중 물체의 디테일 층차 모델을 생성하여, 전반적인 장면의 렌더링 속도를 향상시키며; 모델 파일 크기를 감축하여, 네트워크의 공표 및 다운로드에 적합하도록 하고; 자동 처리 기술은 인공으로 빅데이터량 3차원 장면을 편집하는 작업 강도를 감소시킬 수도 있다.
현단계에서, 수많은 컴퓨터 그래픽 애플리케이션은 사용이 복잡하고, 높은 디테일 모델을 사용하여 더 리얼한 시각 감각을 선사하기를 요구한다. 이러면, 모델 제조 시, 매우 높은 해상도에 도달하여 이러한 디테일 상의 요구를 만족해야 한다. 그러나, 응용 시 모델이 완전한 모드로 시종일관 표현할 것을 요구하지는 않은데, 모델이 복잡할수록 산출 비용은 커지며, 가끔 하나의 복잡 모델의 간소화 버전을 사용하기만 해도 충분하다. 따라서, 자동으로 이러한 모델의 간소화 버전을 생성하는 것은 매우 중요하다.
통상적으로 비교적 많이 사용되는 간소화 방식은 반복되는 에지 수축 및 2차 오차 측정에 기반한 간소화 알고리즘인 바, 그 특징은 다각형 모델의 고품질 근사를 신속하게 생성할 수 있으며, 이는 효율 및 품질을 모두 고려하는 방안이다. 또한, 다각형 모델은 가하 요소가 비교적 복잡할 뿐만 아니라 예컨대 색상, 패턴 및 표면 법선 벡터 등 상이한 표면 속성과 같은 데이터를 포함할 수도 있다. 이러한 방법의 일반 형식은 모델 표면의 기하 요소를 간소화하는 동시에 정점의 색상 및 패턴의 속성에도 관련된다.
즉 본 단계에서 수행되는 표면 감소 처리는 기존의 간소화 알고리즘을 직접 사용할 수 있고, 기존의 간소화 알고리즘의 기초 상에서 가상 형상의 구축 모델 특성 및 오구 특성을 결부하여 부가적으로 획득될 수도 있다.
단계(202)에서, 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는다.
단계(201)의 기초상에서, 본 단계는 상기 수행 주체로 표면 감소 모델에 대해 영역 분할 렌더링을 수행하고, 영역 분할의 방식은 표면 감소 모델에서 동일한 재질 타입의 영역을 구성하여 하나의 영역으로 구분하는 바, 직렬 렌더링 시 단지 동일한 재질 타입의 영역을 렌더링하기만 하면, 상기 재질 타입 영역의 렌더링을 완성한 후에야만 다른 한 재질 타입의 영역을 렌더링할 수 있고; 병행적인 렌더링 능력을 제공할 수만 있으면, 각각의 렌더링 스레드는 모두 한 가지 재질 타입의 영역만 렌더링하는 것을 담당하면 된다. 본 발명에서 요구되는 가상 형상의 렌더링 목적 및 사용 장면에 결부하면, 렌더링은 또한 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링으로 세분화된다.
모델을 렌더링할 경우, 모델 중 상이한 부위에서 나타나야 되는 특성에 따라, 이를 상이한 재질로 구분할 수 있는 바, 예를 들어 광선의 상이한 반사 특성에 대해 난반사 재질, 광택 재질, 거울면 재질, 혼합 재질 등을 포함할 수 있다. 이외에도, 다른 특성 요구에 따라, 상이한 재질 타입으로 구분할 수도 있는 바, 예를 들어 상이한 금속의 광택 특성, 상이한 유연도에 대한 탄성 특성 등이다.
여기서, 하이퍼 리얼리즘 렌더링은 화이트 모델 맵 렌더링에 비해 렌더링 결과가 더 높은 사실감, 세밀도 및 핍진성을 구비하고, 가상 데이터 공간 하에서 사용자를 충당하는 가상 인물 형상에 더 부합된다.
단계(203)에서, 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는다.
단계(202)의 기초 상에서, 본 단계는 상기 수행 주체로 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 충당하는 최종 모델을 얻을 수 있다. 여기서, 타깃 가상 형상에 대응되는 최종 모델은 제2 타깃 모델의 기초 상에서, 제1 타깃 모델에서 제2 타깃 모델에 없는, 결실된 모델 디테일을 학습한 새로운 모델을 증가한다.
간단하게 말하자면, 타깃 가상 형상에 대응되는 최종 모델은 제2 타깃 모델의 최적화 버전이며, 최적화 방향은 제1 타깃 모델에만 기록된 모델 디테일을 증가한 것이고, 이 역시 본 단계에서 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하는 목적이다.
여기서, 반복 업데이트의 목적은 초기의 양방향 맵핑 관계를 최적화하여, 최적화된 맵핑 관계가 더 정확하도록 하며, 제2 타깃 모델을 최적화하여 더 정확한 최적화 방향을 제공하는 것이다.
본 발명의 실시예에서 제공되는 가상 형상 생성 방법은, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하는 것을 통해, 모델 면수를 감소하는 방식으로 모델 복잡도를 감소하고, 아울러 재질 타입에 따른 영역 분할 렌더링에 결부하여, 렌더링 효율을 향상시킨다. 표면 감소 처리가 가상 형상 사실감 및 핍진성에 대해 손실을 초래하는 것을 최대한 방지하기 위해, 화이트 모델 맵 렌더링과 하이퍼 리얼리즘 렌더링 사이의 양방향 맵핑을 구축하는 것을 통해 하이퍼 리얼리즘 렌더링이 맵핑 관계에서 화이트 모델 맵 렌더링에 기록된 결실된 모델의 디테일을 더 학습하도록 하며, 나아가 타깃 가상 형상의 사실감 및 핍진성을 향상시키고, 표면 감소의 동시에 가상 형상의 시각 표현의 효과도 고려한다.
부가적으로, 단계(202)에서 제공되는 재질 타입에 따라 영역 분할 렌더링을 수행하는 외에도, 유사한 효과를 일으킬 수 있는 다른 방식에 따라 영역 분할을 수행할 수도 있으며, 마찬가지로 영역 분할의 구상을 이용하여 렌더링 효율을 향상하는 바, 예를 들어 연통성을 구비하는 영역에 대해 각각 영역 분할을 수행하고, 가상 형상의 상이한 부위에 따라 영역 분할을 수행하며, 복잡 정도에 따라 영역 분할 등을 수행한다.
도 3을 참조하면, 도 3은 본 발명의 실시예에서 제공되는 초기 모델에 대해 표면 감소 처리를 수행하는 방법의 흐름도인 바, 도 2에 도시된 흐름(200) 중의 단계(201)에 구체적인 실시형태를 제공하는 바, 흐름(200) 중의 다른 단계는 조정하지 않으며, 즉 본 실시예에 제공되는 구체적인 실시형태를 통해 단계(201)을 대체하는 방식으로 하나의 새로운 완전한 실시예를 얻는다. 여기서 흐름(300)은 하기의 단계를 포함한다.
단계(301)에서, 표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 초기 모델에 대해 표면 감소 처리를 수행한다.
본 발명에서 표면 감소하고자 하는 객체가 가상 형상에 대응되는 초기 모델이므로, 가상 형상에서 나머지 영역을 구성하는 정보에 비하면, 안면의 정보는 가장 많이 주목하게 되고 가장 자세하게 주목 받게 되므로, 안면 영역의 모델 디테일이 통일된 표면 감소 동작으로 인해 지나치게 많은 디테일을 소실하는 것을 최대한 방지하기 위해, 본 단계는 미리 표준 표면 감소 알고리즘에 표면 감소 마크를 추가하고, 상기 표면 감소 마크를 이용하여 초기 모델의 안면 영역에 대해 표면 감소 처리를 수행하는 표면 감소 정도가 다른 영역(예를 들어 몸통 부분, 사지 부분 등)에 대해 표면 감소 처리를 수행하는 표면 감소 정도보다 작도록 지시하여, 안면 영역 표면 감소 정도를 감소하는 방식으로 초기 모델의 안면 디테일을 최대한 보장하며, 상대적으로, 비교적 적게 주목하고, 디테일이 비교적 적은 다른 영역(예를 들어 몸통 부분, 사지 부분 등)에 대해서는, 비교적 큰 표면 감소 정도를 사용하여, 초기 모델의 전반적인 표면 감소 정도가 여전히 가관적이도록 할 수 있다.
이 밖에, 다른 장면 하의 초기 모델에 대해 표면 감소 처리를 수행할 필요가 있다면, 역시 마찬가지로 모델 각 부분의 주목도의 상이함에 따라, 상이한 부분의 표면 감소 정도를 적응적으로 설정하여, 나아가 주목도가 비교적 높은 부분이 비교적 큰 정도의 표면 감소 처리로 인해 모델 디테일이 지나치게 많이 소실되지 않는다.
여기서, 표준 표면 감소 알고리즘은 표준적인 이차 오차 측정 간소화 알고리즘일 수 있고, 동일하거나 유사한 간소화 효과를 일으킬 수 있는 간소화 알고리즘일 수도 있다.
단계(302)에서, 표면 감소 처리를 수행한 초기 모델의 2차원 맵 차원의 좌표에 대해 동기화 업데이트를 수행하여, 업데이트된 모델을 얻는다.
본 단계는 상기 수행 주체가 표면 감소 처리를 수행하는 과정에서, 초기 모델을 구성하는 각각의 삼각형 기반의 키포인트의 3차원 좌표에 대해 업데이트를 수행하는 기초 상에서, 표면 감소 처리를 수행하는 초기 모델의 2차원 맵 차원(UV 차원)의 좌표에 대해 동기화 업데이트를 수행하여, 업데이트된 모델을 얻는다.
즉 하나의 업데이트 차원을 부가하는 것을 통해 표면 감소 알고리즘으로 인해 초래된 키포인트 감소의 오프셋 문제를 최적화하여, 키포인트가 감소되도록 하는 정황하에서, 소량의 키포인트가 남겨진 좌표가 원위치에 여전히 남겨지는 것이 아니라 더욱 적합하도록 한다.
부가적으로, 2차원 맵 차원을 증가하는 외에도, RGB(Red Green Blue, 적색, 녹색, 남색) 차원, 각 하나의 표면 패치의 벡터 차원 등을 증가할 수도 있는 바, 표면 감소 모델과 초기 모델 접근 정도를 최적화할 수 있는 다른 차원을 자체로 증가하여, 표면 감소 처리로 인해 모델 디테일이 손실되는 것을 미봉할 수도 있다.
단계(303)에서, 초기 모델의 스킨 메쉬 정보를 이용하여 업데이트된 모델의 안면 오관 영역에 대해 보호 처리를 수행하여, 표면 감소 모델을 얻는다.
본 단계는 상기 수행 주체로 초기 모델의 스킨 메쉬 정보를 이용하여 업데이트된 모델의 안면 오관 영역에 대해 보호 처리를 수행하며, 초기 모델의 스킨 메쉬 정보를 통해 정확한 스킨 메쉬 가중치를 얻고, 나아가 상기 스킨 메쉬 가중치를 통해 업데이트된 모델의 안면 오관 영역의 키포인트의 변위량을 수정하고, 나아가 획득된 표면 감소 모델이 초기 모델에 더욱 근접해지도록 한다.
본 실시예는 단계(301)-단계(303)을 통해 가상 형상에 대응되는 초기 모델에 대한 표면 감소 처리 수단을 제공하였고, 단계(301)은 안면 영역에 안면 경계 보호 마크를 부가하는 것을 통해, 초기 모델에 대해 표면 감소 동작을 수행할 경우, 가장 많이 주목 받고, 가장 자세하게 주목되는 안면 영역에 대해 비교적 낮은 표면 감소 정도에 따라 표면 감소 처리를 수행하여, 안면 영역의 모델 디테일을 최대한 보류할 수 있고; 단계(302)는 통상적인 표면 감소 알고리즘에 의해 제어되고 삼각형 기반을 구성하는 각 키포인트의 3차원 공간 좌표만 업데이트하는 기초 상에서, 2차원 맵 차원 하의 좌표에 대한 업데이트 단계를 증가함으로써, 가상 형상이 최종적으로 UV 공간 하에서 전시 및 사용에 더욱 적합하도록 하며; 단계(303)은 초기 모델의 스킨 메쉬 정보를 사용하는 것을 통해 업데이트된 모델의 안면 오관 영역에 대해 보호 처리를 수행하는 것을 통해, 처리를 거친 후의 업데이트된 모델의 안면 키포인트가 더욱 정확한 스킨 메쉬 가중치를 갖도록 하여, 더 정확한 안면 표정을 구현할 수 있고, 표면 감소 모델의 표정 사실감 및 핍진 정도를 향상시킨다.
설명해야 할 것은, 단계(301)은 단독으로 초기 모델에 대해 표면 감소 처리를 수행하는 하나의 완전한 하위 실시형태일 수 있고, 흐름(300)에 시사된 바와 같이 단계(302)-단계(303)에 결부하여 다른 하나의 더욱 전면적이고 표면 감소 정도를 유지하는 정황 하에서 최대한 모델 사실감 및 핍진 정도를 향상시킬 수 있는 하나의 완전한 하위 실시형태일 수도 있으며, 구체적으로 무엇을 선택할 것인가하는 것은 실제 상황에 따라 유연하게 선택할 수 있으며, 본 실시예는 단지 단계(301) 및 단계(302)-단계(303)을 동시에 포함하는 바람직한 실시예일 뿐이다.
도 3에 도시된 실시예의 기초 상에서, 안면 표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 초기 모델에 대해 표면 감소 처리를 수행하기 전에, 상기 수행 주체의 연산 성능의 강약에 결부하여, 표준 표면 감소 알고리즘에 구체적으로 사용되는 표면 감소 정도 파라미터를 결정할 수도 있다.
포함되지만 한정되지 않는 실시형태는 아래와 같을 수 있는 바, 현재 기기의 기기 타입을 결정하고; 기기 타입이 모바일 단말기인 것에 응답하여, 현재의 모바일 단말기의 연산 성능과 서로 적응되는 타깃 표면 감소 정도 파라미터를 결정하며; 여기서, 연산 성능이 강할수록, 타깃 표면 감소 정도 파라미터가 지시하는 표면 감소 정도가 높다.
그러면 대응되게는, 상기 실시예에서 “안면 경계 보호 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 원시 가상 디지털 휴먼에 대해 표면 감소 처리를 수행한다”라는 것 중의 표준 표면 감소 알고리즘의 표면 감소 정도 파라미터는 구체적으로 타깃 표면 감소 정도 파라미터일 수 있다.
즉 우선 기기 타입을 결정하고, 그 다음 기기 타입의 연산 성능을 결정하여, 최종적으로 연산 성능에 서로 적응되는 표면 감소 정도 파라미터를 후속적으로 사용되는 표준 표면 감소 알고리즘의 표면 감소 정도 파라미터로 결정한다. 이 밖에, 모바일 단말기와 같을지라도, 상이한 시스템, 상이한 모델의 모바일 단말기의 그 연산 성능은 동일하지 않을 수 있고, 모바일 단말기의 연산 성능을 결정할 시 상기 영향 요소에 대해 충분히 고려해야 할 수도 있다.
상기 임의의 실시예의 기초 상에서, 표면 감소 모델과 초기 모델의 접근 정도를 최대한 향상하기 위해, 표면 감소 모델 및 초기 모델에 대해 모델 얼라인먼트 및 2차원 맵 좌표 업데이트 처리를 수행하여, 단지 표면 감소 처리 후 표면 감소 모델과 초기 모델에 뚜렷한 차이가 존재하도록 하는 것을 방지한다.
도 4를 참조하면, 도 4는 본 발명의 실시예에서 제공되는 표면 감소 모델에 대해 영역 분할 렌더링을 수행하는 방법의 흐름도로서, 즉 도 2에 도시된 흐름(200) 중의 단계(202)에 대해 구체적인 실시형태를 제공하였고, 흐름(200) 중의 다른 단계는 조정하지 않으며, 본 실시예에서 제공되는 구체적인 실시형태를 단계(202)로 대체하는 방식으로 하나의 새로운 완전한 실시예를 얻을 수 있다. 여기서 흐름(400)은 하기의 단계를 포함한다.
단계(401)에서, 표면 감소 모델에 대해 재질 타입에 따라 영역 구분을 수행하여, 영역 분할 모델을 얻는다.
본 단계는 상기 수행 주체로 표면 감소 모델에 대해 재질 타입에 따라 영역 구분을 수행하는 바, 표면 감소 모델에서 동일한 재질 타입의 영역을 하나의 영역으로 구분하고, 영역을 구분하는 영역 분할 모델을 얻는다.
단계(402)에서, 미분 가능 렌더러 및 화이트 모델 맵 렌더링 기술을 이용하여, 각 재질 타입 영역의 2차원 맵과 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축하여, 제1 타깃 모델을 얻는다.
본 단계는 상기 수행 주체로 미분 가능 렌더러 및 화이트 모델 맵 렌더링 기술을 이용하여, 각 재질 타입 영역의 2차원 맵과 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축하여, 제1 타깃 모델을 얻는 것이다.
여기서, 화이트 모델 맵 렌더링 기술은 물리적인 렌더링 기술에 기반한 것으로, 영문 전칭은 Physicallly-Based-Rendering이고, 영문 약칭은 PBR이며, 각 재질 타입 영역의 2차원 맵과 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축하는 것이다.
이 밖에, lambert(광조 모델)의 방식을 사용하여 각 재질 타입 영역의 2차원 맵과 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축할 수도 있으며, 실제 상황에 따라 적합한 방식을 자체로 선택 사용할 수 있다.
단계(403)에서, 미분 가능 렌더러 및 하이퍼 리얼리즘 파이프라인을 이용하여, 각 재질 타입 영역의 2차원 맵과 하이퍼 리얼리즘 렌더링 사이의 맵핑 관계를 구축하여, 제2 타깃 모델을 얻는다.
단계(402)에서 수행되는 화이트 모델 맵 렌더링과 구별되게, 본 단계는 상기 수행 주체로 미분 가능 렌더러 및 하이퍼 리얼리즘 파이프라인을 이용하여, 각 재질 타입 영역의 2차원 맵과 하이퍼 리얼리즘 렌더링 사이의 맵핑 관계를 구축하여, 제2 타깃 모델을 얻는 것이다.
하이퍼 리얼리즘 렌더링은 화이트 모델 맵 렌더링과 구별되는 렌더링 방식으로서, 화이트 모델 맵 렌더링보다 더 높은 사실감, 세밀도, 핍진성을 갖는 렌더링 결과를 얻을 수 있고, 가상 데이터 공간의 사용에 더 적합하며, 사용자가 자체 형상을 충당하는 가상 형상에 대한 정밀한 정도 요구에 만족될 수 있다.
본 실시예는 단계(401)-단계(403)를 통해 어떻게 영역 분할을 수행하고, 어떻게 영역 분할 가상 디지털 휴먼에 대해 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행할 것인가를 상세하게 설명하도록 하며, 더 구체적인 실시형태를 통해 수단의 수행 가능성을 향상하였다.
도 5를 참조하면, 도 5는 본 발명의 실시예에서 제공되는 하이퍼 리얼리즘 렌더링 효과를 최적화하는 방법의 흐름도로서, 도 2에 도시된 흐름(200) 중의 단계(203)에 대해 구체적인 실시형태를 제공하는 바, 흐름(200) 중의 다른 단계를 조정하지 않고, 본 실시예에서 제공되는 구체적인 실시형태를 단계(203)로 대체하는 방식으로 새로운 완전한 실시예를 얻을 수 있다. 여기서 흐름(500)은 하기의 단계를 포함한다.
단계(501)에서, 순환 신경망을 이용하여 제1 타깃 모델과 제2 타깃 모델 사이의 제1 맵핑 관계를 구축한다.
단계(502)에서, 순환 신경망을 이용하여 제2 타깃 모델과 제1 타깃 모델 사이의 제2 맵핑 관계를 구축한다.
반드시 이해해야 할 것은, 제1 맵핑 관계는 제1 타깃 모델을 맵핑의 소스로 하고, 제2 타깃 모델을 맵핑의 목적으로 하며, 구축되는 맵핑 관계는 제1 타깃 모델에서 어느 부분, 어느 점, 어느 특징이 제2 타깃 모델의 어느 부분, 어느 점, 어느 특징에 대응되는지 결정한다.
제2 맵핑 관계는 제2 타깃 모델을 맵핑의 소스로 하고, 제1 타깃 모델을 맵핑의 목적으로 하며, 구축되는 맵핑 관계는 제2 타깃 모델에서 어느 부분, 어느 점, 어느 특징이 제1 타깃 모델의 어느 부분, 어느 점, 어느 특징에 대응되는지 결정한다.
반드시 이해해야 할 것은, 맵핑의 소스 및 목적이 상반되므로, 독립적으로 얻은 제1 맵핑 관계와 제2 맵핑 관계는 간단한 가역 관계가 아니며, 더 독립적인 두 그룹의 맵핑 관계이고, 상이한 방향에 의한 상이한 맵핑 관계를 반영하며, 이는 차이가 존재한다.
단계(503)에서, 순환 신경망 중의 인지 손실 함수 및 적대적 손실 함수에 기반하여, 제1 맵핑 관계 및 제2 맵핑 관계에 대해 반복 업데이트를 수행하여, 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 얻는다.
단계(501) 및 단계(502)의 기초 상에서, 본 단계는 상기 수행 주체로 순환 신경망 중의 인지 손실 함수 및 적대적 손실 함수에 기반하여, 원시의 제1 맵핑 관계 및 제2 맵핑 관계에 대해 반복 업데이트를 수행하는 것이며, 그 반복 업데이트의 목적은 초기의 양방향 맵핑 관계를 최적화하여, 최적화된 맵핑 관계가 더 정확해지도록 하고, 나아가 제2 타깃 모델의 최적화에 더 정확한 최적화 방향을 제공한다.
부가적으로, 인지 손실 함수 및 적대적 손실 함수 외에도, 상기 실시예에서는 RGB 차원을 증가한 정황 하에서, RGB의 L1 손실 함수(오차를 최소화하기 위한 것으로, 상기 오차는 실제 값과 예측 값 사이의 모든 절대차의 합임)를 증가하여 RGB 공간의 모델 파라미터를 최적화하도록 지도할 수 있다.
단계(504)에서, 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 이용하여 상기 제2 타깃 모델을 업데이트하여, 타깃 가상 형상을 얻는다.
본 발명에 대한 가상 형상에 대응되는 모델의 최종 렌더링 수요는 하이퍼 리얼리즘 렌더링이므로, 본 단계의 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 이용하여 제2 타깃 모델을 업데이트하여, 타깃 가상 형상을 얻는다.
제2 타깃 모델의 기초 상에서, 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 통해 제1 타깃 모델에서 제2 타깃 모델에 없고, 결실된 모델 디테일로 제2 타깃 모델을 업데이트하여, 모델 디테일이 더 바람직한 타깃 가상 형상을 얻는다.
설명해야 할 것은, 비록 단지 제1 타깃 모델과 제2 타깃 모델의 단방향 맵핑 관계를 구축하고, 상기 단방향 맵핑 관계를 통해 제1 타깃 모델에서 일부 모델 디테일을 학습할 수도 있으나, 본 실시예에서는 양방향 맵핑 관계 및 반복 업데이트를 구축하여, 양방향 맵핑 관계를 통해 단방향 맵핑 관계보다 더 많고 더 정확한 모델 디테일을 얻음으로써, 타깃 가상 형상이 더 높은 사실감, 세밀도 및 핍진성을 구비하도록 한다.
상기 임의의 실시예의 기초 상에서, U-NET(U형 구조를 갖는 신경망) 네트워크 아키텍처을 사용하여, block(모델 기능 유닛) 내부 관련 콘볼루션 산출에 대해 클리핑 최적화할 수도 있으며, float16(하프 정밀도)를 네트워크로 사용하여 산출하여 프론트홀 및 기울기 에코을 산출함으로써, 프론트홀 및 기울기 에코를 산출하여 얻는 복잡도를 감소하고 소모 시간을 단축한다.
상기 임의의 실시예의 기초 상에서, 타깃 가상 형상을 이미 얻은 경우, 타깃 사용자에 의해 입력된 사용자 이미지를 수신하는 것을 통해, 상기 사용자 이미지와 상기 타깃 가상 형상이 결합되도록 하고, 가상 데이터 공간 하에서 상기 타깃 사용자에 사용자 이미지 내 관련 이미지 특성을 구현하는 가상 형상을 생성하여, 상기 타깃 사용자의 개인 전속 가상 형상에 사용되도록 한다.
부가적으로 도 6을 참조하면, 상기 각 도면에 도시된 방법의 구현으로서, 본 발명에서는 가상 형상 생성 장치의 하나의 실시예를 제공하였고, 상기 장치 실시예는 도 2에 도시된 방법 실시예와 서로 대응되며, 상기 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.
도 6에 도시된 바와 같이, 본 실시예의 가상 형상 생성 장치(600)는 표면 감소 처리 유닛(601), 영역 분할 렌더링 유닛(602), 타깃 가상 형상 생성 유닛(603)을 포함할 수 있다. 여기서, 표면 감소 처리 유닛(601)은 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻고; 영역 분할 렌더링 유닛(602)은 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻으며; 타깃 가상 형상 생성 유닛(603)은 제1 타깃 모델과 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는다.
본 실시예에서, 가상 형상 생성 장치(600) 중, 표면 감소 처리 유닛(601), 영역 분할 렌더링 유닛(602), 타깃 가상 형상 생성 유닛(603)의 구체적인 처리 및 이에 수반되는 기술적 효과는 각각 도 2의 대응되는 실시예 중의 단계(201)-단계(203)의 관련 설명을 참조 가능하므로, 여기서 더 서술하지 않는다.
본 실시예의 일부 선택 가능한 실시형태에서, 표면 감소 처리 유닛(601)는,
표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 경계 보호 서브 유닛을 포함할 수 있고; 여기서, 표면 감소 마크는 초기 모델의 안면 영역에 대해 표면 감소 처리를 수행한 표면 감소 정도가 다른 영역에 대해 표면 감소 처리를 수행한 표면 감소 정도보다 작은 것을 지시하기 위한 것이다.
본 실시예의 일부 선택 가능한 실시형태에서, 표면 감소 처리 유닛(601)는,
표면 감소 처리를 수행한 초기 모델의 2차원 맵 차원의 좌표에 대해 동기화 업데이트를 수행하여, 업데이트 모델을 얻는 동기화 업데이트 서브 유닛; 및
초기 모델의 스킨 메쉬 정보를 이용하여 업데이트 모델의 안면 오관 영역에 대해 보호 처리를 수행하는 스킨 메쉬 처리 서브 유닛을 더 포함할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 표면 감소 처리 유닛(601)는,
현재 기기의 기기 타입을 결정하는 기기 타입 결정 서브 유닛; 및
기기 타입이 모바일 단말기인 것에 응답하여, 현재의 모바일 단말기의 연산 성능과 서로 적응되는 타깃 표면 감소 정도 파라미터를 결정하는 타깃 표면 감소 정도 파라미터 결정 유닛을 더 포함할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 경계 보호 서브 유닛은 또한,
안면 경계 보호 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 초기 모델에 대해 표면 감소 처리를 수행할 수 있고; 여기서, 표준 표면 감소 알고리즘의 표면 감소 정도 파라미터는 타깃 표면 감소 정도 파라미터이다.
본 실시예의 일부 선택 가능한 실시형태에서, 가상 형상 생성 장치(600)는,
표면 감소 모델 및 초기 모델에 대해 모델 얼라인먼트 및 2차원 맵 좌표 업데이트 처리를 수행하는 얼라인먼트 및 좌표 업데이트 유닛을 더 포함할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 영역 분할 렌더링 유닛(602)은 또한,
표면 감소 모델에 대해 재질 타입에 따라 영역 구분을 수행하여, 영역 분할 모델을 얻고;
미분 가능 렌더러 및 화이트 모델 맵 렌더링 기술을 이용하여, 각 재질 타입 영역의 2차원 맵과 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축하여, 제1 타깃 모델을 얻으며;
미분 가능 렌더러 및 하이퍼 리얼리즘 파이프라인을 이용하여, 각 재질 타입 영역의 2차원 맵과 하이퍼 리얼리즘 렌더링 사이의 맵핑 관계를 구축하여, 제2 타깃 모델을 얻을 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 타깃 가상 형상 생성 유닛(603)은 또한,
순환 신경망을 이용하여 제1 타깃 모델과 제2 타깃 모델 사이의 제1 맵핑 관계를 구축하고;
순환 신경망을 이용하여 제2 타깃 모델과 제1 타깃 모델 사이의 제2 맵핑 관계를 구축하며;
순환 신경망 중의 인지 손실 함수 및 적대적 손실 함수에 기반하여, 제1 맵핑 관계 및 제2 맵핑 관계에 대해 반복 업데이트를 수행하여, 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 얻고;
업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 이용하여 제2 타깃 모델을 업데이트하여, 타깃 가상 형상을 얻을 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 가상 형상 생성 장치(600)는,
타깃 사용자의 사용자 이미지를 획득하는 사용자 이미지 획득 유닛; 및
사용자 이미지 및 타깃 가상 형상에 따라, 가상 데이터 공간에서 타깃 사용자에 대응되는 가상 형상을 생성하는 사용자 가상 형상 생성 유닛을 더 포함할 수 있다.
본 실시예는 상기 방법의 실시예에 대응되는 장치 실시예로서 존재하고, 본 실시예에서 제공되는 가상 형상 생성 장치는, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하는 것을 통해, 모델 면수를 감소하는 방식으로 모델 복잡도를 감소하고, 아울러 재질 타입에 따른 영역 분할 렌더링에 결부하여, 렌더링 효율을 향상시킨다. 표면 감소 처리가 가상 형상 사실감 및 핍진성에 대해 손실을 초래하는 것을 최대한 방지하기 위해, 화이트 모델 맵 렌더링과 하이퍼 리얼리즘 렌더링 사이의 양방향 맵핑을 구축하는 것을 통해 하이퍼 리얼리즘 렌더링이 맵핑 관계에서 화이트 모델 맵 렌더링에 기록된 결실된 모델의 디테일을 더 학습하도록 하며, 나아가 타깃 가상 형상의 사실감 및 핍진성을 향상시키고, 표면 감소의 동시에 가상 형상의 시각 표현의 효과도 고려한다.
본 발명의 실시예에 따르면, 본 발명에서는 전자 기기를 더 제공하는 바, 상기 전자 기기는, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하되; 여기서, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서가 실행될 경우 상기 임의의 실시예에 따른 가상 형상 생성 방법을 구현할 수 있도록 한다.
본 발명의 실시예에 따르면, 본 발명에서는 판독 가능 저장 매체를 더 제공하는 바, 상기 판독 가능 저장 매체에는 컴퓨터 명령이 저장되고, 상기 컴퓨터 명령은 컴퓨터가 실행될 경우 상기 임의의 실시예에 따른 가상 형상 생성 방법을 구현할 수 있도록 한다.
본 발명의 실시예에 따르면, 본 발명에서는 컴퓨터 프로그램 제품을 더 제공하는 바, 상기 컴퓨터 프로그램은 프로세서가 실행될 경우 상기 임의의 실시예에 따른 가상 형상 생성 방법을 구현할 수 있도록 한다.
도 7은 본 발명의 실시예를 구현하기 위한 예시적 전자 기기(700)의 예시적인 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 발명의 구현을 한정하지 않는다.
도 7에 도시된 바와 같이, 기기(700)는 판독 전용 메모리(ROM)(702)에 저장된 프로그램 또는 저장 유닛(708)으로부터 랜덤 액세스 메모리(RAM)(703)에 로딩된 컴퓨터 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 컴퓨팅 유닛(701)를 포함한다. RAM(703)에는 또한 기기(700)의 조작에 필요한 다양한 프로그램 및 데이터가 저장될 수 있다. 컴퓨팅 유닛(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(705) 역시 버스(704)에 연결된다.
키보드, 마우스와 같은 입력 유닛(706); 다양한 타입의 디스플레이 및 스피커와 같은 출력 유닛(707); 자기 디스크, CD와 같은 저장 유닛(708); 및 LAN 카드, 모뎀, 무선 통신 송수신기와 같은 통신 유닛(709)을 포함하는 기기(700) 중의 복수 개의 부재는 I/O 인터페이스(705)에 연결된다. 통신 유닛(709)은 기기(700)가 인터넷과 같은 네트워크 및/또는 다양한 전자 신호 네트워를 통해 통신 다른 기기와 정보/데이터를 교환할 수 있도록 한다.
컴퓨팅 유닛(701)은 처리 및 컴퓨팅 능력을 구비하는 범용 및/또는 전용 처리 어셈블리일 수 있다. 컴퓨팅 유닛(701)의 일부 구현예는 중앙 처리 유닛 (CPU), 그래픽 처리 유닛(GPU), 다양한 전용 인공 지능(AI) 컴퓨팅 칩, 다양한 머신 러닝 모델 알고리즘을 실행하는 컴퓨팅 유닛, 디지털 신호 프로세서 (DSP), 및 임의의 적절한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만 이에 한정되지 않는다. 컴퓨팅 유닛(701)은 상하문에서 서술되는 각 방법 및 처리를 수행하는 바, 예를 들어 가상 형상 생성 방법이다. 예를 들어, 일부 실시예에서, 가상 형상 생성 방법은 컴퓨터 소프트웨어 프로그램에 의해 구현될 수 있고, 이는 기계 판독 가능 매체에 유형적으로 포함되는 바, 예를 들어 저장 유닛(708)이다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(702) 및/또는 통신 유닛(709)을 거쳐 기기(700)에 다운로드 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되고 컴퓨팅 유닛(701)에 의해 실행될 경우, 상기와 같이 서술된 가상 형상 생성 방법의 하나 이상의 단계를 수행할 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(701)은 다른 임의의 적절한 방식(예를 들어, 펌웨어를 통함)을 통해 가상 형상 생성 방법을 수행하도록 구성된다.
본문에서 위와 같이 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 현장 프로그래머블 게이트 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스템 온 칩의 시스템(SOC), 복합 프로그램 가능 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
본 발명의 방법을 구현하는 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합으로 편집할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서 또는 제어기에 제공될 수 있으며, 프로그램 코드는 프로세서 또는 제어기에 의해 실행될 경우, 흐름도 및/또는 블록도에 지정된 기능/작동이 구현되도록 할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행되거나, 독립형 소프트웨어 패키지로서 기계에서 실행되며, 일부는 원격 기계에서 실행되거나 완전히 원격 기계 또는 서버에서 실행될 수 있다.
본 발명의 컨텍스트에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 기기에 의해 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 상기 내용의 임의의 적절한 조합을 포함할 수 있지만 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예는 하나 이상의 와이어에 기반한 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, CD-ROM, 광학 저장 기기, 자기 저장 기기 또는 상술한 내용의 임의의 적절한 조합을 포함한다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백그라운드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고 칭할 수도 있으며, 클라우드 컴퓨팅 서비스 체계 중의 하나의 호스트 제품으로서, 기존의 물리적 호스트와 가상 전용 서버(VPS, Virtual Private Server) 서비스 중에 존재하는 관리 난이도가 크고 업무 확장성이 약한 흠결을 해결한다.
본 발명의 실시예의 기술적 해결수단에 따르면, 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하는 것을 통해, 모델 면수를 감소하는 방식으로 모델 복잡도를 감소하고, 아울러 재질 타입에 따른 영역 분할 렌더링에 결부하여, 렌더링 효율을 향상시킨다. 표면 감소 처리가 가상 형상 사실감 및 핍진성에 대해 손실을 초래하는 것을 최대한 방지하기 위해, 화이트 모델 맵 렌더링과 하이퍼 리얼리즘 렌더링 사이의 양방향 맵핑을 구축하는 것을 통해 하이퍼 리얼리즘 렌더링이 맵핑 관계에서 화이트 모델 맵 렌더링에 기록된 결실된 모델의 디테일을 더 학습하도록 하며, 나아가 타깃 가상 형상의 사실감 및 핍진성을 향상시키고, 표면 감소의 동시에 가상 형상의 시각 표현의 효과도 고려한다.
위에서 설명한 다양한 형태의 흐름을 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 동시에 수행될 수 있거나 순차적으로 수행될 수 있거나 상이한 순서로 수행될 수 있고, 본 발명에서 공개된 기술적 해결수단이 이루고자 하는 결과를 구현할 수만 있으면, 본문은 여기서 한정하지 않는다.
상기 구체적인 실시형태는 본 발명의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진해할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 진행한 임의의 수정, 등가적 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 속해야 한다.

Claims (20)

  1. 가상 형상 생성 방법으로서,
    가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 단계;
    상기 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 상기 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 상기 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는 단계; 및
    상기 제1 타깃 모델과 상기 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는 단계를 포함하는 가상 형상 생성 방법.
  2. 제1항에 있어서,
    상기 가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 단계는,
    표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 상기 초기 모델에 대해 표면 감소 처리를 수행하여, 상기 표면 감소 모델을 얻는 단계를 포함하되; 상기 표면 감소 마크는 상기 초기 모델의 안면 영역에 대해 표면 감소 처리를 수행한 표면 감소 정도가 다른 영역에 대해 표면 감소 처리를 수행한 표면 감소 정도보다 작은 것을 지시하기 위한 것인 가상 형상 생성 방법.
  3. 제2항에 있어서,
    표면 감소 처리를 수행한 초기 모델의 2차원 맵 차원의 좌표에 대해 동기화 업데이트를 수행하여, 업데이트된 모델을 얻는 단계; 및
    상기 초기 모델의 스킨 메쉬 정보를 이용하여 상기 업데이트된 모델의 안면 오관 영역에 대해 보호 처리를 수행하는 단계를 더 포함하는 가상 형상 생성 방법.
  4. 제2항에 있어서,
    현재 기기의 기기 타입을 결정하는 단계; 및
    상기 기기 타입이 모바일 단말기인 것에 응답하여, 현재의 모바일 단말기의 연산 성능과 서로 적응되는 타깃 표면 감소 정도 파라미터를 결정하는 단계를 더 포함하는 가상 형상 생성 방법.
  5. 제4항에 있어서,
    상기 표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 상기 초기 모델에 대해 표면 감소 처리를 수행하는 단계는,
    상기 표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 상기 초기 모델에 대해 표면 감소 처리를 수행하는 단계를 포함하되; 상기 표준 표면 감소 알고리즘의 표면 감소 정도 파라미터는 상기 타깃 표면 감소 정도 파라미터인 가상 형상 생성 방법.
  6. 제1항에 있어서,
    상기 표면 감소 모델 및 상기 초기 모델에 대해 모델 얼라인먼트 및 2차원 맵 좌표 업데이트 처리를 수행하는 단계를 더 포함하는 가상 형상 생성 방법.
  7. 제1항에 있어서,
    상기 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 상기 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 상기 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는 상기 단계는,
    상기 표면 감소 모델에 대해 재질 타입에 따라 영역 구분을 수행하여, 영역 분할 모델을 얻는 단계;
    미분 가능 렌더러 및 화이트 모델 맵 렌더링 기술을 이용하여, 각 재질 타입 영역의 2차원 맵과 상기 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축하여, 상기 제1 타깃 모델을 얻는 단계; 및
    상기 미분 가능 렌더러 및 하이퍼 리얼리즘 파이프라인을 이용하여, 각 재질 타입 영역의 2차원 맵과 상기 하이퍼 리얼리즘 렌더링 사이의 맵핑 관계를 구축하여, 상기 제2 타깃 모델을 얻는 단계를 포함하는 가상 형상 생성 방법.
  8. 제1항에 있어서,
    상기 제1 타깃 모델과 상기 제2 타깃 모델 사이의 양방향 맵핑을 구축하여, 반복 업데이트를 통해 타깃 가상 형상을 얻는 상기 단계는,
    순환 신경망을 이용하여 상기 제1 타깃 모델과 상기 제2 타깃 모델 사이의 제1 맵핑 관계를 구축하는 단계;
    상기 순환 신경망을 이용하여 상기 제2 타깃 모델과 상기 제1 타깃 모델 사이의 제2 맵핑 관계를 구축하는 단계;
    상기 순환 신경망 중의 인지 손실 함수 및 적대적 손실 함수에 기반하여, 상기 제1 맵핑 관계 및 상기 제2 맵핑 관계에 대해 반복 업데이트를 수행하여, 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 얻는 단계; 및
    상기 업데이트된 제1 맵핑 관계 및 상기 업데이트된 제2 맵핑 관계를 이용하여 상기 제2 타깃 모델을 업데이트하여, 상기 타깃 가상 형상을 얻는 단계를 포함하는 가상 형상 생성 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    타깃 사용자의 사용자 이미지를 획득하는 단계;
    상기 사용자 이미지 및 상기 타깃 가상 형상에 따라, 가상 데이터 공간에서 상기 타깃 사용자에 대응되는 가상 형상을 생성하는 단계를 더 포함하는 가상 형상 생성 방법.
  10. 가상 형상 생성 장치로서,
    가상 형상의 초기 모델에 대해 표면 감소 처리를 수행하여, 표면 감소 모델을 얻는 표면 감소 처리 유닛;
    상기 표면 감소 모델 중 종류별 재질 타입이 존재하는 영역에 대해, 각각 화이트 모델 맵 렌더링 및 하이퍼 리얼리즘 렌더링을 수행하고, 상기 화이트 모델 맵 렌더링을 거쳐 제1 타깃 모델을 얻으며 상기 하이퍼 리얼리즘 렌더링을 거쳐 제2 타깃 모델을 얻는 영역 분할 렌더링 유닛; 및
    상기 제1 타깃 모델과 상기 제2 타깃 모델 사이의 양방향 맵핑을 구축하고, 반복 업데이트를 통해 타깃 가상 형상을 얻는 타깃 가상 형상 생성 유닛을 포함하는 가상 형상 생성 장치.
  11. 제10항에 있어서,
    상기 표면 감소 처리 유닛은,
    표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 상기 초기 모델에 대해 표면 감소 처리를 수행하여, 상기 표면 감소 모델을 얻는 경계 보호 서브 유닛을 포함하되; 상기 표면 감소 마크는 상기 초기 모델의 안면 영역에 대해 표면 감소 처리를 수행한 표면 감소 정도가 다른 영역에 대해 표면 감소 처리를 수행한 표면 감소 정도보다 작은 것을 지시하기 위한 것인 가상 형상 생성 장치.
  12. 제11항에 있어서,
    상기 표면 감소 처리 유닛은,
    표면 감소 처리를 수행한 초기 모델의 2차원 맵 차원의 좌표에 대해 동기화 업데이트를 수행하여, 업데이트된 모델을 얻는 동기화 업데이트 서브 유닛; 및
    상기 초기 모델의 스킨 메쉬 정보를 이용하여 상기 업데이트된 모델의 안면 오관 영역에 대해 보호 처리를 수행하는 스킨 메쉬 처리 서브 유닛을 더 포함하는 가상 형상 생성 장치.
  13. 제11항에 있어서,
    상기 표면 감소 처리 유닛은,
    현재 기기의 기기 타입을 결정하는 기기 타입 결정 서브 유닛; 및
    상기 기기 타입이 모바일 단말기인 것에 응답하여, 현재의 모바일 단말기의 연산 성능과 서로 적응되는 타깃 표면 감소 정도 파라미터를 결정하는 타깃 표면 감소 정도 파라미터 결정 유닛을 더 포함하는 가상 형상 생성 장치.
  14. 제13항에 있어서,
    상기 경계 보호 서브 유닛은 또한,
    상기 표면 감소 마크가 추가된 표준 표면 감소 알고리즘을 이용하여 상기 초기 모델에 대해 표면 감소 처리를 수행하되; 상기 표준 표면 감소 알고리즘의 표면 감소 정도 파라미터는 상기 타깃 표면 감소 정도 파라미터인 가상 형상 생성 장치.
  15. 제10항에 있어서,
    상기 표면 감소 모델 및 상기 초기 모델에 대해 모델 얼라인먼트 및 2차원 맵 좌표 업데이트 처리를 수행하는 얼라인먼트 및 좌표 업데이트 유닛을 더 포함하는 가상 형상 생성 장치.
  16. 제10항에 있어서,
    상기 영역 분할 렌더링 유닛은 또한,
    상기 표면 감소 모델에 대해 재질 타입에 따라 영역 구분을 수행하여, 영역 분할 모델을 얻고;
    미분 가능 렌더러 및 화이트 모델 맵 렌더링 기술을 이용하여, 각 재질 타입 영역의 2차원 맵과 상기 화이트 모델 맵 렌더링 사이의 맵핑 관계를 구축하여, 상기 제1 타깃 모델을 얻으며;
    상기 미분 가능 렌더러 및 하이퍼 리얼리즘 파이프라인을 이용하여, 각 재질 타입 영역의 2차원 맵과 상기 하이퍼 리얼리즘 렌더링 사이의 맵핑 관계를 구축하여, 상기 제2 타깃 모델을 얻는 가상 형상 생성 장치.
  17. 제10항에 있어서,
    상기 타깃 가상 형상 생성 유닛은 또한,
    순환 신경망을 이용하여 상기 제1 타깃 모델과 상기 제2 타깃 모델 사이의 제1 맵핑 관계를 구축하고;
    상기 순환 신경망을 이용하여 상기 제2 타깃 모델과 상기 제1 타깃 모델 사이의 제2 맵핑 관계를 구축하며;
    상기 순환 신경망 중의 인지 손실 함수 및 적대적 손실 함수에 기반하여, 상기 제1 맵핑 관계 및 상기 제2 맵핑 관계에 대해 반복 업데이트를 수행하여, 업데이트된 제1 맵핑 관계 및 업데이트된 제2 맵핑 관계를 얻고;
    상기 업데이트된 제1 맵핑 관계 및 상기 업데이트된 제2 맵핑 관계를 이용하여 상기 제2 타깃 모델을 업데이트하여, 상기 타깃 가상 형상을 얻는 가상 형상 생성 장치.
  18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    타깃 사용자의 사용자 이미지를 획득하는 사용자 이미지 획득 유닛; 및
    상기 사용자 이미지 및 상기 타깃 가상 형상에 따라, 가상 데이터 공간에서 상기 타깃 사용자에 대응되는 가상 형상을 생성하는 사용자 가상 형상 생성 유닛을 더 포함하는 가상 형상 생성 장치.
  19. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하되;
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 전자 기기.
  20. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 하기 위한 것인 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020230001091A 2022-06-24 2023-01-04 가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체 KR20230012078A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210721026.XA CN114820905B (zh) 2022-06-24 2022-06-24 虚拟形象生成方法、装置、电子设备及可读存储介质
CN202210721026.X 2022-06-24

Publications (1)

Publication Number Publication Date
KR20230012078A true KR20230012078A (ko) 2023-01-25

Family

ID=82521201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230001091A KR20230012078A (ko) 2022-06-24 2023-01-04 가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체

Country Status (4)

Country Link
US (1) US20230120253A1 (ko)
JP (1) JP2023029984A (ko)
KR (1) KR20230012078A (ko)
CN (1) CN114820905B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310213A (zh) * 2023-02-23 2023-06-23 北京百度网讯科技有限公司 三维物体模型的处理方法、装置、电子设备与可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345980B (zh) * 2022-10-18 2023-03-24 北京百度网讯科技有限公司 个性化纹理贴图的生成方法及装置
CN115775024B (zh) * 2022-12-09 2024-04-16 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN116843808A (zh) * 2023-06-30 2023-10-03 北京百度网讯科技有限公司 基于点云的渲染、模型训练、虚拟形象生成方法及装置
CN117576280B (zh) * 2023-07-12 2024-04-19 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN117315107B (zh) * 2023-09-21 2024-03-12 支付宝(杭州)信息技术有限公司 数字形象发布方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2997021A1 (en) * 2016-06-10 2017-12-14 Barrie A. Loberg Mixed-reality architectural design environment
US11288857B2 (en) * 2019-04-04 2022-03-29 Google Llc Neural rerendering from 3D models
US10922877B2 (en) * 2019-07-01 2021-02-16 Samsung Electronics Co., Ltd. Higher-order function networks for learning composable three-dimensional (3D) object and operating method thereof
CN111105491B (zh) * 2019-11-25 2020-12-08 腾讯科技（深圳）有限公司 场景渲染方法、装置、计算机可读存储介质和计算机设备
CN114022616B (zh) * 2021-11-16 2023-07-07 北京城市网邻信息技术有限公司 模型处理方法及装置、电子设备及存储介质
CN114549710A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 一种虚拟形象的生成方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310213A (zh) * 2023-02-23 2023-06-23 北京百度网讯科技有限公司 三维物体模型的处理方法、装置、电子设备与可读存储介质

Also Published As

Publication number Publication date
CN114820905B (zh) 2022-09-20
CN114820905A (zh) 2022-07-29
JP2023029984A (ja) 2023-03-07
US20230120253A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
KR20230012078A (ko) 가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체
WO2021164150A1 (zh) 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备
CN111583379B (zh) 虚拟模型的渲染方法、装置、存储介质与电子设备
JP2024004444A (ja) ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置
WO2023109486A1 (zh) 毛发模型的生成方法、装置、电子设备以及存储介质
WO2023142614A1 (zh) 游戏对象的编辑方法、装置和电子设备
CN116228943A (zh) 虚拟对象面部重建方法、面部重建网络训练方法及装置
US11250629B2 (en) Systems and methods for optimizing a model file
CN115965735B (zh) 纹理贴图的生成方法和装置
CN112862934A (zh) 用于处理动画的方法、装置、设备、介质和产品
CN116363288A (zh) 目标物的渲染方法、装置、存储介质及计算机设备
CN116485967A (zh) 一种虚拟模型的渲染方法及相关装置
CN114332339A (zh) 用于对矢量对象着色的系统
US10636210B2 (en) Dynamic contour volume deformation
CN112396680A (zh) 毛发流向图的制作方法及装置、存储介质、计算机设备
CN113487708B (zh) 基于图形学的流动动画实现方法、存储介质及终端设备
CN117745915B (zh) 一种模型渲染方法、装置、设备及存储介质
CN117893663B (zh) 基于WebGPU的Web图形渲染性能优化方法
Lu Lu Large Scale Immersive Holograms with Microsoft Hololens
CN113936083A (zh) 模型渲染方法、装置、存储介质及电子设备
WO2023142945A1 (zh) 3d模型生成方法及相关装置
CN116258803A (zh) 体积云生成方法、装置、计算机可读存储介质及电子设备
Reiling Toward General Purpose 3D User Interfaces: Extending Windowing Systems to Three Dimensions
CN115937389A (zh) 阴影渲染方法、装置、存储介质和电子设备
CN116310022A (zh) 火焰特效制作方法、装置、存储介质与电子设备