KR20230076115A - 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 - Google Patents

이미지 처리 방법, 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20230076115A
KR20230076115A KR1020220158539A KR20220158539A KR20230076115A KR 20230076115 A KR20230076115 A KR 20230076115A KR 1020220158539 A KR1020220158539 A KR 1020220158539A KR 20220158539 A KR20220158539 A KR 20220158539A KR 20230076115 A KR20230076115 A KR 20230076115A
Authority
KR
South Korea
Prior art keywords
texture
image
base
coefficient
facial image
Prior art date
Application number
KR1020220158539A
Other languages
English (en)
Inventor
디 왕
천 자오
제 리
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20230076115A publication Critical patent/KR20230076115A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 증강/가상 현실, 이미지 처리 분야에 관한 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 특히 3차원 안면 재구성에서의 이미지 처리 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다. 구체적인 실시형태는, 2차원 안면 이미지의 제1 텍스처 계수를 획득하고; 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하며; 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하고; 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 것이다.

Description

이미지 처리 방법, 장치, 전자 기기 및 저장 매체{IMAGE PROCESSING METHOD, ELECTRONIC DEVICE, AND STORAGE MEDIUM}
본 발명은 증강/가상 현실, 이미지 처리 분야에 관한 것이며, 특히 3차원 안면 재구성에서의 이미지 처리 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
현재 안면 재구성에서 텍스처 이미지의 생성은 텍스처 베이스의 색상 커버리지 능력과 텍스처 계수의 예측 정확도에 의존하며 3차원 안면 재구성에 사용되는 텍스처 베이스는 오픈 소스 방법이 모두 수동으로 그려져 있다.
본 발명은 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
본 발명의 일 측면에 따르면, 2차원 안면 이미지의 제1 텍스처 계수를 획득하는 단계; 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계; 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하는 단계; 및 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 단계를 포함하는 이미지 처리 방법을 제공한다.
본 발명의 다른 측면에 따르면, 2차원 안면 이미지의 제1 텍스처 계수를 획득하기 위한 획득 유닛; 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하기 위한 생성 유닛; 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하기 위한 업데이트 유닛; 및 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하기 위한 재구성 유닛을 포함하는 이미지 처리 장치를 제공한다.
본 발명의 또 다른 측면에 따르면, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되며, 명령이 적어도 하나의 프로세서에 의해 실행될 경우 적어도 하나의 프로세서가 상술한 방법을 수행할 수 있는 전자 기기를 제공한다.
본 발명의 또 다른 측면에 따르면 컴퓨터가 상술한 방법을 수행하도록 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
본 발명의 또 다른 측면에 따르면 프로세서에 의해 실행될 경우 상술한 방법을 구현하는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 제공한다.
이 부분에서 설명된 내용은 본 발명의 실시예의 핵심 또는 중요한 특징을 식별하도록 의도되지 않으며, 본 발명의 범위를 제한하려는 의도도 아님을 이해해야 한다. 본 발명의 다른 특징들은 다음의 설명으로부터 쉽게 이해될 것이다.
첨부된 도면은 본 해결 수단의 보다 좋은 이해를 위해 사용된 것으로, 본 발명을 제한하지 않는다. 여기서,
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 모식도이고,
도 2는 본 발명의 실시예에 따른 렌더링 이미지의 생성 프로세스 모식도이고,
도 3은 도 2에 도시된 손실도를 계산하는 방법의 모식도이고,
도 4는 본 발명의 실시예의 이미지 처리 장치를 구현하는 구조도이고,
도 5는 본 발명의 실시예에 따른 전자 기기의 예시적 블록도이다.
이하, 도면을 참조하여 본 발명의 예시적인 실시예를 설명하며, 그중에는 본 발명의 실시예의 다양한 세부사항이 포함되는데 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 발명의 범위 및 사상을 벗어나지 않고 여기에서 설명된 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 이하의 설명에서는 명료함과 간결함을 위해 공지의 기능 및 구성에 대한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 이미지 처리 방법을 설명한다.
종래의 컴퓨터 그래픽에서 텍스처 베이스는 고정된 직교 텍스처 이미지를 사용하고 피팅 방식으로 텍스처 계수를 계산한다. 이런 방식은 한계가 있는데, 이런 3차원 안면 재구성 모델이 최종적으로 표현할 수 있는 색상의 범위가 고정된 텍스처 베이스에 의해 결정되고, 예를 들어 유럽인의 안면 베이스를 사용하면 텍스처 계수를 어떻게 트레이닝하여도 아시아인의 안면을 표현할 수는 없다. 텍스처 베이스가 트레이닝 방식으로 생성될 경우, 텍스처 베이스 및 텍스처 계수를 동시에 트레이닝하면 트레이닝이 수렴되지 않고 불안정하다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이다. 도 1에 도시된 바와 같이, 상기 방법은 다음과 같은 단계 S101~ S104를 포함할 수 있다.
단계 S101에서, 2차원 안면 이미지의 제1 텍스처 계수를 획득한다.
본 발명의 상기 단계 S101에 따른 기술 형태에서, 2차원 안면 이미지의 제1 텍스처 계수를 획득하기 전에 한 장의 2차원 안면 이미지를 수집해야 한다.
상기 실시예에서, 제1 텍스처 계수는 수집된 2차원 안면 이미지를 타깃 네트워크 모델에 입력하여 처리를 수행하여 획득한 것일 수 있다.
선택 가능하게, 제1 텍스처 계수는 2차원 안면 이미지를 타깃 네트워크 모델에 입력하여 예측을 수행하여 획득한 것일 수 있고, 예를 들어 2차원 안면 이미지를 컨볼루션 신경망(Convolutional Neural Networks, 약칭 CNN)에 입력하여 예측을 수행하여 제1 텍스처 계수를 획득하며, 컨볼루션 신경망의 입력 계층은 다차원 데이터를 처리할 수 있고, 컨볼루션 신경망은 컴퓨터 비전 분야에서 널리 응용되므로, 이의 구조를 설명할 때 3차원 입력 데이터, 즉 평면 상의 2차원 픽셀 포인트 및 색상 채널(RGB 채널)을 미리 가정한다. 경사 하강 알고리즘을 사용하여 학습이 이루어지기에, 컨볼루션 신경망의 입력 특징은 표준화 처리가 필요하다.
단계 S102에서, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성한다.
본 발명의 상기 단계 S102에 따른 기술 형태에서, 2차원 안면 이미지의 제1 텍스처 계수를 획득한 후, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성할 수 있다.
상기 실시예에서, 제1 텍스처 베이스는 수집된 2차원 안면 이미지의 텍스처 베이스의 값이고, 제1 텍스처 계수와 제1 텍스처 베이스에 대해 선형 합산에 의한 계산을 수행하여 2차원 안면 이미지의 제1 텍스처 이미지를 생성한다.
단계 S103에서, 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득한다.
본 발명의 상기 단계 S103에 따른 기술 형태에서, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성한 후, 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는지 여부를 판단할 수 있다. 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 판단되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득한다.
상기 실시예에서, 제1 타깃 조건은 제1 텍스처 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 차이가 허용 가능한 범위 내에 있는지 여부를 판단하는 데 사용될 수 있고, 생성된 제1 텍스처 이미지가 제1 타깃 조건에 부합될 경우, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득한다.
선택 가능하게, 제1 타깃 조건은 제1 텍스처 이미지의 손실도가 RGB 평균 단일 채널 손실값이 소정 임계값 범위 내로 감소하면, 텍스처 계수의 트레이닝이 안정적이라고 결정할 수 있고, 예를 들어 제1 타깃 조건은 제1 텍스처 이미지의 손실도가 RGB 평균 단일 채널 손실값이 10 이내로 감소한 것일 수 있다.
단계 S104에서, 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득한다.
본 발명의 상기 단계 S104에 따른 기술 형태에서, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득한 후, 제2 텍스처 베이스의 수렴 여부를 판단하여, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득할지 여부를 결정할 수 있다. 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득할 수 있다.
상기 단계 S101 내지 단계 S104를 통해, 2차원 안면 이미지의 제1 텍스처 계수를 획득하고; 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하며; 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하고; 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득한다. 다시 말하면, 본 발명은 텍스처 베이스가 수렴한 것에 응답할 때까지, 텍스처 계수 및 텍스처 베이스에 대한 교대 트레이닝 방식을 사용하고, 텍스처 베이스가 수렴한 것에 응답하는 경우, 수렴한 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득함으로써, 텍스처 이미지의 텍스처 베이스를 트레이닝하여 수렴을 달성하여, 3차원 안면 이미지의 재구성 효율이 낮은 기술적 과제를 해결하며, 3차원 안면 이미지의 재구성 효율을 향상시키는 기술적 효과를 달성한다.
이하, 상기 실시예의 상기 방법을 더 상세히 설명한다.
선택 가능한 일 실시형태에 있어서, 단계 S104에서, 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 단계는, 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하는 단계; 제2 텍스처 이미지를 기반으로 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 계수를 업데이트하여, 제2 텍스처 계수를 획득하는 단계; 및 제2 텍스처 계수를 제1 텍스처 계수로 결정하고, 제2 텍스처 베이스를 제1 텍스처 베이스로 결정하며, 제2 텍스처 베이스가 수렴한 것에 응답할 때까지, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계를 수행하는 단계를 포함한다.
상기 실시예에서, 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하는 것은, 미분 가능한 렌더러에 의해 제2 텍스처 이미지를 렌더링하는 것일 수 있다. 선택 가능하게, 제1 텍스처 계수 및 제2 텍스처 베이스에 대해 선형 연산을 수행하여 제2 안면 이미지를 획득한 다음 제2 안면 이미지를 3D 포인트 클라우드에 붙여넣어 mesh를 획득하고, mesh 및 OBJ를 미분 가능한 렌더러에 입력하여, 제2 텍스처 이미지의 렌더링을 수행하여 제2 텍스처 이미지를 획득한다.
상기 실시예에서, 제2 텍스처 이미지를 기반으로 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 계수를 업데이트하여, 제2 텍스처 계수를 획득한다. 여기서, 제2 타깃 조건은 제2 텍스처 베이스가 요구에 부합되는지 여부를 판단하기 위한 것으로, 텍스처 베이스의 표현 범위가 증가된 것일 수 있다. 제1 텍스처 계수를 업데이트하는 단계 이전에, 타깃 네트워크 모델의 파라미터의 가중치를 업데이트하고, 업데이트된 타깃 네트워크 모델에 의해 제1 텍스처 계수를 제2 텍스처 계수로 조정하는 단계를 더 포함하고, 텍스처 계수가 안정값이 되도록 트레이닝한 경우, 텍스처 베이스를 하나의 텐서로 하여, 그 자체의 경사가 컨볼루션 신경망의 경사 반환 과정에 참여하여, 가중치가 업데이트되기 시작하여 제2 텍스처 계수를 획득한다.
상기 실시예에서, 제2 텍스처 계수를 제1 텍스처 계수로 결정하고, 제2 텍스처 베이스를 제1 텍스처 베이스로 결정하며, 제2 텍스처 베이스가 수렴한 것에 응답할 때까지, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계를 수행하고, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하며, 제1 텍스처 계수는 단계 S101에서 2차원 안면 이미지를 타깃 네트워크 모델 CNN에 입력하여 예측을 거쳐 획득한 것이고, 제1 텍스처 베이스는 상기 타깃 네트워크 모델에 입력된, 제1 텍스처 계수를 예측하기 위한 안면 이미지의 텍스처 베이스의 값이다. 선택 가능하게, 미리 준비된 2차원 안면 이미지의 텍스처 베이스는 155*1024*1024 차원의 텐서(Tensor)일 수 있고, 다시 말하면, 트레이닝이 시작될 경우, 제1 텍스처 베이스는 하나의 고정된 값이고 트레이닝 과정에서 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 렌더링 이미지의 손실도가 텍스처 베이스에 피드백될 때의 경사에 의해 결정한 후, 텍스처 계수를 업데이트하고, 제2 텍스처 베이스는 하나의 텐서로서 트레이닝 과정에 참여하며, 제1 텍스처 계수와 제1 텍스처 베이스는 선형 합산에 의한 계산을 수행하여, 2차원 안면 이미지의 텍스처 이미지를 재생성한다.
선택 가능한 일 실시형태에 있어서, 제2 텍스처 이미지를 기반으로 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하는 단계는, 제2 텍스처 이미지에 대해 렌더링 처리를 수행하여, 제1 렌더링 이미지를 획득하는 단계; 제1 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제1 손실도를 획득하는 단계; 및 제1 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하는 단계를 포함한다.
상기 실시예에서, 제2 타깃 조건은 트레이닝 텍스처 베이스의 표현 범위가 증가된 것일 수 있다.
상기 실시예에서, 제1 텍스처 이미지에 대해 렌더링 처리를 수행할 경우, 생성된 제2 텍스처 이미지를 미분 가능한 렌더러에 입력하여 제1 렌더링 이미지를 획득할 수 있다. 미분 가능한 렌더러에 의해 역방향 렌더링(Inverse rendering)을 수행하는 과정은, 제1 텍스처 이미지와 타깃 네트워크 모델 CNN 중의 3D 모델 파일(OBJ)을 합쳐서 mesh를 획득하고, 즉 제1 텍스처 이미지를 3D 포인트 클라우드에 붙여넣어 mesh를 획득한 다음, mesh를 미분 가능한 렌더러에 입력하여 제2 텍스처 이미지를 렌더링한다.
상기 실시예에서, 상기 OBJ는 모델에 의해 제공되거나, 트레이닝에 의해 생성될수 있고, 여기서는 한정하지 않는다.
상기 실시예에서, 제1 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제1 손실도를 획득하고, 제2 텍스처 이미지에 대해 렌더링 처리를 수행하여 획득한 제1 렌더링 이미지와 2차원 안면 이미지 사이의 차이를 비교하고, 차이를 정량화하여 제1 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제1 손실도를 계산한다.
상기 실시예에서, 제1 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하되, 타깃 임계값 범위는 손실도가 RGB 평균 단일 채널 손실값이 10 이내로 감소한 것일 수 있고, 즉 텍스처 계수 트레이닝이 안정적인 것을 의미하며, 제2 타깃 조건은 트레이닝 텍스처 베이스의 표현 범위가 증가된 것일 수 있고, 제1 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 차이가 더 작아지도록, 타깃 임계값 범위는 하나의 충분히 작은 수치 범위가 되도록 결정하고, 다시 말하면 요구되는 엄격도가 높을 수록 타깃 임계값 범위가 더 작으며, 제1 렌더링 이미지가 2차원 안면 이미지에 대응되는 타깃 참값 맵에 더 가깝다.
선택 가능한 일 실시형태에 있어서, 2차원 안면 이미지의 제1 텍스처 계수를 획득하는 단계 S101는, 2차원 안면 이미지를 타깃 네트워크 모델에 입력하여 처리하여 제1 텍스처 계수를 획득하는 단계를 포함하고, 타깃 네트워크 모델은 입력 이미지의 텍스처 계수를 예측하기 위한 것이며, 제1 텍스처 계수를 업데이트하여 제2 텍스처 계수를 획득하는 단계는, 타깃 네트워크 모델의 파라미터의 가중치를 업데이트하고, 업데이트된 타깃 네트워크 모델에 의해 제1 텍스처 계수를 제2 텍스처 계수로 조정하는 단계를 포함한다.
상기 실시예에서, 2차원 안면 이미지를 타깃 네트워크 모델에 입력하여 처리하여 제1 텍스처 계수를 획득하되, 타깃 네트워크 모델은 입력 이미지의 텍스처 계수를 예측하기 위한 것이며, 타깃 네트워크 모델은 컨볼루션 신경망일 수 있고, 컨볼루션 신경망의 입력 계층은 다차원 데이터를 처리할 수 있으며, 컨볼루션 신경망은 컴퓨터 비전 분야에서 널리 응용되므로 이의 구조를 설명할 때 3차원 입력 데이터, 즉 평면 상의 2차원 픽셀 포인트 및 색상 채널(RGB 채널)을 미리 가정한다. 경사 하강 알고리즘을 사용하여 학습이 이루어지기에, 컨볼루션 신경망의 입력 특징은 표준화 처리가 필요하다.
상기 실시예에서, 제1 텍스처 계수를 업데이트하여 제2 텍스처 계수를 획득하는 단계는, 타깃 네트워크 모델의 파라미터의 가중치를 업데이트하고, 업데이트된 타깃 네트워크 모델에 의해 제1 텍스처 계수를 제2 텍스처 계수로 조정하는 단계; 및 타깃 네트워크 모델의 파라미터의 가중치를 업데이트하고, 업데이트된 타깃 네트워크 모델에 의해 제1 텍스처 계수를 제2 텍스처 계수로 조정하는 단계를 포함하고, 텍스처 계수가 안정값이 되도록 트레이닝한 경우, 텍스처 베이스를 하나의 텐서로 하여, 그 자체의 경사가 컨볼루션 신경망의 경사 반환 과정에 참여하여, 가중치가 업데이트되기 시작하므로, 컨볼루션 신경망이 다시 안면 이미지의 텍스처 계수를 예측하여, 제1 텍스처 계수를 업데이트하여 제1 텍스처 계수가 업데이트된 제2 텍스처 계수를 획득한 다음, 텍스처 계수 및 텍스처 이미지에 대한 교대 트레이닝 과정에서, 텍스처 베이스는 하나의 텐서로서 컨볼루션 신경망 경사 반환 과정에 참여하여 가중치를 업데이트함으로써, 교대 트레이닝 과정 중의 제1 텍스처 계수 업데이트를 구현한다.
선택 가능한 일 실시형태에 있어서, 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정하는 단계 S103은, 제1 텍스처 이미지에 대해 렌더링 처리를 수행하여 제2 렌더링 이미지를 획득하는 단계; 제2 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제2 손실도를 획득하는 단계; 및 제2 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정하는 단계를 포함한다.
상기 실시예에서, 제1 텍스처 이미지에 대해 렌더링 처리를 수행하여, 제2 렌더링 이미지를 획득하는 단계에서, 제1 텍스처 이미지에 대해 렌더링 처리를 수행할 경우, 단계 S102에서 생성된 제1 텍스처 이미지를 미분 가능한 렌더러에 입력하여, 제2 렌더링 이미지를 획득할 수 있다. 미분 가능한 렌더러에 의해 역방향 렌더링(Inverse rendering)을 수행하는 과정은, 제1 텍스처 이미지와 타깃 네트워크 모델 CNN 중의 3D 모델 파일(OBJ)을 합쳐서 mesh를 획득하고, 즉 제1 텍스처 이미지를 3D 포인트 클라우드에 붙여넣어 mesh를 획득한 다음, mesh를 미분 가능한 렌더러에 입력하여 제2 텍스처 이미지를 렌더링한다.
상기 실시예에서, 제2 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제2 손실도를 획득하고, 제2 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제2 손실도를 계산하며, 즉 제2 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 차이를 비교하고, 제2 손실도 이 수치를 사용하여 이런 차이를 정량화한다.
상기 실시예에서, 제2 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정하고, 제2 손실도가 타깃 임계값 범위 내에 있는지 여부를 판단하는 것을 통해, 제1 텍스처 계수가 제1 타깃 조건을 충족하는지 여부를 판단하며, 제2 렌더링 이미지와 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 차이가 더 작아지도록, 타깃 임계값 범위는 하나의 충분히 작은 수치 범위가 되도록 결정하고, 다시 말하면 요구되는 엄격도가 높을 수록 타깃 임계값 범위가 더 작으며, 제2 렌더링 이미지가 2차원 안면 이미지에 대응되는 타깃 참값 맵에 더 가깝고, 제1 타깃 조건은 제2 손실도가 RGB 평균 단일 채널 손실값이 10 이내로 감소한 것일 수 있고, 즉 텍스처 계수 트레이닝이 안정된 것일 수 있다.
선택 가능한 일 실시형태에 있어서, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하는 단계 S103은, 제2 손실도를 기반으로 제1 텍스처 베이스를 제2 텍스처 베이스로 조정하는 단계를 포함한다.
상기 실시예에서, 제2 손실도가 RGB 평균 단일 채널 손실값이 10 이내로 감소하는 것은, 즉 텍스처 계수 트레이닝이 안정된 것을 의미한다.
선택 가능한 일 실시형태에 있어서, 제2 손실도를 기반으로 제1 텍스처 베이스의 텐서를 조정하고; 조정된 텐서에 대응되는 텍스처 베이스를 제2 텍스처 베이스로 결정한다.
상기 실시예에서, 텍스처 베이스는 초기화 시 하나의 텐서(tensor)이고, 텍스처 계수가 트레이닝될 때, 텍스처 베이스는 하나의 텐서로서 이의 경사는 0이고 가중치는 업데이트되지 않으며 텍스처 계수가 안정값이 되도록 트레이닝한 후, 텍스처 베이스가 트레이닝 과정에 참여한다. 제2 손실도가 타깃 임계값 범위 내에 있으면, 제2 손실도를 기반으로, 제1 텍스처 베이스의 텐서를 업데이트한 다음, 업데이트된 텐서에 대응되는 텍스처 베이스를 제2 텍스처 베이스로 결정한다.
선택 가능한 일 실시형태에 있어서, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 단계 S104는, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하는 단계; 및 제2 텍스처 이미지를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 단계를 포함한다.
상기 실시예에서, 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 교대 트레이닝과정은 종료하고, 수렴된 제2 텍스처 베이스 및 제1 텍스처 계수에 대해 선형 합산에 의한 계산을 수행하여 제2 텍스처 이미지를 생성할 수 있으며, 그 후 제1 텍스처 이미지를 3D 포인트 클라우드에 붙여넣어 mesh를 획득하고, mesh를 통해 3차원 안면 이미지를 렌더링한다.
상기 실시예는, 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하고; 제2 텍스처 이미지를 기반으로 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 계수를 업데이트하여, 제2 텍스처 계수를 얻으며; 제2 텍스처 계수를 제1 텍스처 계수로 결정하고, 제2 텍스처 베이스를 제1 텍스처 베이스로 결정하며, 제2 텍스처 베이스가 수렴한 것에 응답할 때까지, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계를 수행함으로써, 텍스처 베이스의 수렴 효과를 보다 확보하고, 3차원 안면 재구성 효율이 낮은 기술적 과제를 해결하며, 3차원 안면 재구성 효율을 향상시키는 기술적 효과를 달성한다.
도 2는 본 발명의 실시예에 따른 렌더링 이미지의 생성 프로세스 모식도이다. 도 2에 도시된 바와 같이, 상기 프로세스는 다음과 같은 단계를 포함할 수 있다.
우선, 한장의 2D 안면 이미지를 준비한다.
다음, 준비된 한장의 2D 안면 이미지를 타깃 네트워크 모델에 입력하여 제1 텍스처 계수를 예측하되, 타깃 네트워크 모델은 컨볼루션 신경망(CNN)일 수 있고, 컨볼루션 신경망은 2D 안면 이미지의 텍스처 계수(Tex param)를 출력한다.
그 다음, 2D 안면 이미지는 텍스처 베이스(Tex base)를 제공하고, 텍스처 베이스 및 텍스처 계수에 대해 선형 합산에 의한 계산을 수행하여 텍스처 이미지를 생성한다.
마지막으로, 생성된 텍스처 이미지와 3D 모델 파일(OBJ)을 합쳐서 mesh를 획득하고, mesh를 미분 가능한 렌더러에 입력하여 2D 렌더링 이미지를 생성한다.
상기 실시예에서, 텍스처 계수 및 텍스처 베이스에 대해 선형 합산에 의한 계산을 수행하여 제1 텍스처 이미지를 획득하고, 텍스처 이미지를 3D 포인트 클라우드에 붙여넣어 mesh를 획득한 다음, mesh를 미분 가능한 렌더러에 입력하여 제2 텍스처 이미지를 렌더링하고, 생성된 렌더링 이미지는 타깃 참값 맵과의 사이에서 손실도 Loss를 계산하고 손실도 Loss가 타깃 임계값 범위 내에 있는지를 결정하기 위한 것이다.
도 3은 도 2에 도시된 렌더링 이미지 생성 프로세스에서 손실도를 계산하는 한가지 방법의 모식도이다. 도면에 도시된 바와 같이, 상기 방법은 다음과 같은 단계 S301~ S305를 포함할 수 있다.
단계 S301에서, 한장의 2차원 안면 이미지를 준비한다.
단계 S302에서, 2차원 안면 이미지를 타깃 네트워크 모델 CNN에 입력한다.
본 발명의 상기 단계 S302에 따른 기술 형태에서, 타깃 네트워크 모델 CNN은 2차원 안면 이미지의 제1 텍스처 계수를 입력하기 위한 것이고, 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하고; 제2 텍스처 이미지를 기반으로 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 계수를 업데이트하여, 제2 텍스처 계수를 획득하며; 제2 텍스처 계수를 제1 텍스처 계수로 결정하고, 제2 텍스처 베이스를 제1 텍스처 베이스로 결정하며, 제2 텍스처 베이스가 수렴한 것에 응답할 때까지, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계를 수행하는 과정에서, 텍스처 계수는 모두 타깃 네트워크 모델 CNN에 의해 예측을 거쳐 획득한 것이고, 타깃 네트워크 모델 CNN에서 텍스처 계수의 가중치도 업데이트된다.
단계 S303에서, 텍스처 계수와 텍스처 베이스에 대해 선형 합산에 의한 계산을 수행하여 텍스처 이미지를 생성한다.
단계 S304에서, 생성된 텍스처 이미지와 모델의 OBJ 파일을 합쳐서 mesh를 획득하고, mesh를 미분 가능한 렌더러에 입력하여, 2D 렌더링 이미지를 생성한다.
단계 S305에서, 2D 안면 렌더링 이미지와 타깃 안면 참값 맵(Gt 맵)의 손실도 Loss를 계산한다.
본 발명의 상기 단계 S305에 따른 기술 형태에서, 손실도 Loss는 RGB 평균 단일 채널 손실이 10 이내로 감소되고, 즉 텍스처 계수 트레이닝이 안정된다.
상기 실시예에서, 트레이닝 과정에서 생성된 텍스처 이미지의 2차원 렌더링 이미지와 타깃 참값 맵 사이의 손실도 Loss를 계산하는 것을 통해, 단계 103에서, 제2 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 나아가 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제2 손실도를 기반으로 제1 텍스처 베이스를 제2 텍스처 베이스로 조정하고, 제2 손실도를 기반으로 제1 텍스처 베이스의 텐서를 조정한다. 또한, 선택 가능한 일 실시예에 있어서, 제2 텍스처 이미지를 기반으로 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하는 단계는, 제1 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하는 단계를 포함한다.
본 발명의 실시예는 도 1에 도시된 실시예를 구현하기 위한 이미지 처리 장치를 더 제공한다.
도 4는 본 발명의 실시예에 따른 이미지 처리 장치의 모식도이다. 도 4에 도시된 바와 같이, 상기 이미지 처리 장치(40)는 획득 유닛(41), 생성 유닛(42), 업이트 유닛(43), 재구성 유닛(44)을 포함할 수 있다.
획득 유닛(41)은 2차원 안면 이미지의 제1 텍스처 계수를 획득하기 위한 것으로, 컨볼루션 신경망(CNN)을 타깃 네트워크 모델로 사용할 수 있고, 2차원 안면 이미지를 CNN에 입력하여 제1 텍스처 계수를 예측하며, 교대 트레이닝 과정에서, 획득 유닛(41)은 제2 텍스처 베이스를 기반으로 생성된 제2 텍스처 이미지의 제2 텍스처 계수를 예측한 다음, 텍스처 베이스가 안정될 때까지, 제2 텍스처 계수를 제1 텍스처 계수로 하여, 계속하여 텍스처 베이스를 트레이닝한다.
생성 유닛(42)은 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하기 위한 것이고, 생성 유닛(42)은 미분 가능한 렌더러를 포함하며, 구체적으로 생성 유닛에서 제1 텍스처 계수 및 제1 텍스처 베이스에 대해 선형 합산에 의한 계산을 수행하여 제1 안면 이미지를 획득한 다음, 제1 안면 이미지를 3D 포인트 클라우드에 붙여넣어 mesh를 획득하고, mesh 및 OBJ를 미분 가능한 렌더러에 입력하여, 텍스처 이미지의 렌더링을 수행하여 제1 텍스처 이미지를 획득한다.
업데이트 유닛(43)은 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하기 위한 것이고, 교대 트레이닝 과정에서, 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하고, 제2 텍스처 이미지를 기반으로 상기 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하되, 제2 타깃 조건은 트레이닝 텍스처 베이스의 표현 범위가 증가된 것일 수 있고, 타깃 네트워크 모델의 파라미터의 가중치를 업데이트하는 것을 통해, 제1 텍스처 계수를 업데이트하고, CNN 모델 예측에 의해 제2 텍스처 계수를 획득한 다음, 제2 텍스처 계수를 제1 텍스처 계수로 결정하고, 제2 텍스처 베이스를 제1 텍스처 베이스로 결정하며, 제2 텍스처 베이스가 수렴한 것에 응답할 때까지, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계를 수행한다.
재구성 유닛(44)은 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하기 위한 것이고, 제2 텍스처 베이스가 수렴한 것에 응답할 경우, 제1 텍스처 계수 및 제2 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제2 텍스처 이미지를 생성하고; 제2 텍스처 이미지를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득한다.
상기 실시예의 이미지 처리 장치에서, 컨볼루션 신경망에 의해 2차원 안면 이미지의 텍스처 계수를 예측하고, 2차원 안면 이미지의 텍스처 베이스 및 텍스처 계수를 교대 트레이닝함으로써, 최종적으로 텍스처 이미지의 텍스처 베이스가 수렴하도록 하여, 3차원 안면 재구성 효율이 낮은 기술적 과제를 해결하며, 3차원 안면 재구성 효율을 향상시키는 기술적 효과를 달성한다.
본 발명의 기술 형태에서, 언급된 사용자 개인 정보의 취득, 저장 및 활용은 모두 관련 법률, 법규를 준수하고, 공서양속에 반하는 행위를 하지 않는다.
본 발명의 실시예에 따르면, 본 발명은 전자 기기, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 제공한다.
본 발명의 실시예는 전자 기기를 제공한다. 상기 전자 기기는 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함할 수 있고, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되며, 명령이 적어도 하나의 프로세서에 의해 실행될 경우 적어도 하나의 프로세서가 본 발명의 실시예에 따른 이미지 처리 방법을 수행할 수 있다.
선택 가능하게, 상기 전자 기기는 상기 프로세서와 연결되는 전송 기기 및 상기 프로세서와 연결되는 입출력 기기를 더 포함할 수 있다.
선택 가능하게, 본 실시예에서, 상기 비일시적 컴퓨터 판독 가능 저장 매체는 다음과 같은 단계 S101~ S104를 수행하는 컴퓨터 프로그램을 저장하도록 구성될 수 있다.
S101에서, 2차원 안면 이미지의 제1 텍스처 계수를 획득한다.
S102에서, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성한다.
S103에서, 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득한다.
S104에서, 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득한다.
선택 가능하게, 본 실시예에서, 상기 비일시적 컴퓨터 판독 가능 저장 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치 또는 기기, 또는 이들의 임의의 적절한 조합을 포함할 수 있지만 이에 제한되지는 않는다. 판독 가능 매체의 보다 구체적인 예시로서는 하나 또는 두개 이상의 유선 기반 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 프로그래밍 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함할 수 있지만 이에 제한되지는 않는다.
본 발명의 실시예에 따르면, 본 발명은 프로세서에 의해 실행될 경우 다음과 같은 단계 S101~ S104를 수행하는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 더 제공한다.
S101에서, 2차원 안면 이미지의 제1 텍스처 계수를 획득한다.
S102에서, 제1 텍스처 계수 및 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 2차원 안면 이미지의 제1 텍스처 이미지를 생성한다.
S103에서, 제1 텍스처 이미지를 기반으로 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 제1 텍스처 이미지를 기반으로 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득한다.
S104에서, 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 제2 텍스처 베이스를 기반으로 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득한다.
도 5는 본 발명의 실시예에 따른 전자 기기의 예시적 블록도이다. 전자 기기는 랩톱, 데스크탑, 워크스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 또한 개인용 디지털 프로세서, 셀룰러 전화기, 스마트폰, 웨어러블 장치 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성요소, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시일 뿐이며, 본 명세서에서 설명 및/또는 요구된 본 발명의 내용의 구현을 제한하도록 의도되지 않는다.
도 5는 본 발명의 실시예들을 구현하는데 사용될 수 있는 예시적인 전자 기기(500)의 예시적 블록도이다. 전자 기기는 랩톱, 데스크탑, 워크스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 또한 개인용 디지털 프로세서, 셀룰러 전화기, 스마트폰, 웨어러블 장치 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성요소, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시일 뿐이며, 본 명세서에서 설명 및/또는 요구된 본 발명의 내용의 구현을 제한하도록 의도되지 않는다.
도 5에 도시된 바와 같이, 기기(500)는 컴퓨팅 유닛(501)을 포함하고, 이는 판독 전용 메모리(ROM, 502)에 저장된 컴퓨터 프로그램 또는 저장 유닛(508) 중의 랜덤 액세스 메모리(RAM, 503)에 로딩된 컴퓨터 프로그램에 따라, 적절한 동작 또는 처리를 수행할 수 있다. RAM(503)에는 또한 기기(500)의 조작에 필요한 다양한 프로그램 및 데이터가 저장될 수 있다. 컴퓨팅 유닛(501), ROM(502) 및 RAM(503)는 버스(504)를 통해 서로 연결된다. 입출력(I/O) 인터페이스(505)도 버스(504)에 연결된다.
기기(500) 중의 다양한 부재는 I/O 인터페이스(505)에 연결되고, 키보드, 마우스 등과 같은 입력 유닛(506), 다양한 유형의 디스플레이, 스피커 등과 같은 출력 유닛(507); 자기 디스크, 광 디스크 등과 같은 저장 유닛(508); 및 네트워크 카드, 모뎀, 무선 통신 트랜시버 등과 같은 통신 유닛(509)을 포함한다. 통신 유닛(509)은 기기(500)가 인터넷의 컴퓨터 네트워크 및/또는 다양한 통신 네트워크를 통해 다른 기기와 정보/데이터를 교환할 수 있도록 한다.
컴퓨팅 유닛(501)은 처리 및 컴퓨팅 능력을 갖는 다양한 범용 및/또는 특수 목적 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(501)의 일부 예는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 다양한 특수 인공 지능(AI) 컴퓨팅 칩, 기계 학습 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적절한 프로세서, 컨트롤러, 마이크로컨트롤러 등를 포함하지만 이에 제한되지 않는다. 컴퓨팅 유닛(501)은 앞에서 기술된 다양한 방법 및 처리를 수행하는데, 예를 들어 일부 실시예에서 본 방법으로 생성된 텍스처 이미지의 2차원 렌더링 이미지와 대상 참값 맵 사이의 손실도를 계산하는 것은, 예를 들어 저장 유닛(508)과 같은 기계 판독 가능 매체에 유형적으로 포함된 컴퓨터 소프트웨어 프로그램에 의해 수행될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(502) 및/또는 통신 유닛(509)을 통해 기기(500)에 로드 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(503)에 로드되고 컴퓨팅 유닛(501)에 의해 실행될 때, 앞에서 기술된 방법에서 텍스처 이미지의 2차원 렌더링 이미지와 타깃 참값 맵 사이의 손실도를 계산하는 하나 또는 두개 이상의 단계를 수행할 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(501)은 다른 임의의 적절한 방식(예를 들어 펌웨어)에 의해 방법에 의해 생성된 텍스처 이미지의 2차원 렌더링 이미지와 타겟 참값 맵 사이의 손실도를 계산하도록 구성될 수 있다.
본문에서 기술된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로, 집적 회로 시스템, 현장 프로그래머블 게이트 어레이(FPGA), 특정 용도 집적 회로(ASIC), 특정 용도 표준 제품(ASSP), 시스템 온 칩 시스템(SOC), 복합 프로그램 가능 논리 장치(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 두개 이상의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 가능 및/또는 해석 가능한 하나 또는 두개 이상의 컴퓨터 프로그램으로 구현되는 것을 포함할 수 있다. 상기 프로그램 가능한 프로세서는 특수 목적 또는 범용 프로그램 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송한다.
본 발명의 방법을 구현하기 위한 프로그램 코드는 하나 또는 두개 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로그램 코드는 프로세서 또는 컨트롤러에 의해 실행될 때 흐름도 및/또는 블록도에 지정된 기능/조작을 수행한다. 프로그램 코드는 완전히 기계에서 수행되거나, 부분적으로 기계에서 수행되거나, 부분적으로 기계에서 그리고 부분적으로 원격 기계에서 독립형 소프트웨어 패키지로 실행되거나 완전히 원격 기계나 서버에서 실행될 수 있다.
본 발명의 맥락에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있는 유형의 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치 또는 기기, 또는 이들의 임의의 적절한 조합을 포함할 수 있지만 이에 제한되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예는 하나 또는 두개 이상의 유선 기반 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 프로그래밍 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함할 수 있지만 이에 제한되지는 않는다.
사용자와의 상호 작용을 제공하기 위해, 여기에 설명된 시스템 및 기술은 컴퓨터에서 구현될 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예: CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 장치(예: 마우스 또는 트랙볼)를 포함한다. 다른 종류의 장치도 사용자와의 상호 작용을 제공하는 데 사용될 수 있고, 예를 들어 사용자에게 제공되는 피드백은 임의의 형태의 감각적 피드백(예: 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 사용자로부터의 입력은 모든 형태(음향적 입력, 음성 입력, 또는 촉각 입력)로 수신될 수 있다.
여기에서 설명된 시스템 및 기술은 백엔드 구성요소를 포함하는 컴퓨팅 시스템(예: 데이터 서버), 또는 미들웨어 구성요소를 포함하는 컴퓨팅 시스템(예: 애플리케이션 서버), 또는 프론트엔드 구성 요소룰 포함하는 컴퓨팅 시스템(예: 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 웹 브라우저를 통해 여기에서 설명된 시스템 및 기술의 실시형태와 상호 작용할 수 있음), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 다양태 형태 또는 매체의 디지털 데이터 통신(예: 통신 네트워크)에 의해 시스템의 구성 요소를 상호 연결할 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역망(WAN) 및 인터넷이 있다.
컴퓨터 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 서버는 클라우드 서버, 분산 시스템 서버 또는 블록체인이 결합된 서버일 수 있다.
위에 표시된 다양한 형태의 프로세스를 사용하여 단계를 재정렬, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 병렬로, 순차적으로, 또는 다른 순서로 실행될 수 있으며, 본 발명에 개시된 기술 형태의 원하는 결과가 달성될 수 있는 한, 여기에 제한이 없다.
상기 구체적인 실시형태는 본 발명의 보호 범위에 대한 제한을 구성하지 않는다. 본 기술분야의 통상의 지식을 가진 자는 설계 요구 및 기타 요인에 따라 다양한 수정, 조합, 하위 조합 및 대체가 발생할 수 있음을 이해해야 한다. 본 발명의 정신과 원칙 내에서 이루어진 모든 수정, 등가 교체 및 개선은 본 발명의 보호 범위에 포함되어야 한다.

Claims (12)

  1. 이미지 처리 방법으로서,
    2차원 안면 이미지의 제1 텍스처 계수를 획득하는 단계;
    상기 제1 텍스처 계수 및 상기 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 상기 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계;
    상기 제1 텍스처 이미지를 기반으로 상기 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 상기 제1 텍스처 이미지를 기반으로 상기 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하는 단계; 및
    상기 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 상기 제2 텍스처 베이스를 기반으로 상기 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 단계를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제2 텍스처 베이스가 수렴하지 않는 것에 응답하는 경우, 상기 제1 텍스처 계수 및 상기 제2 텍스처 베이스를 기반으로, 상기 2차원 안면 이미지의 제2 텍스처 이미지를 생성하는 단계;
    상기 제2 텍스처 이미지를 기반으로 상기 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정되면, 상기 제1 텍스처 계수를 업데이트하여 제2 텍스처 계수를 획득하는 단계;
    상기 제2 텍스처 계수를 상기 제1 텍스처 계수로 결정하고, 상기 제2 텍스처 베이스를 상기 제1 텍스처 베이스로 결정하며, 상기 제2 텍스처 베이스가 수렴한 것으로 결정될 때까지, 상기 제1 텍스처 계수 및 상기 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 상기 2차원 안면 이미지의 제1 텍스처 이미지를 생성하는 단계를 수행하는 단계를 더 포함하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 제2 텍스처 이미지를 기반으로 상기 제2 텍스처 베이스가 제2 타깃 조건을 충족하는 것으로 결정하는 단계는,
    상기 제2 텍스처 이미지에 대해 렌더링 처리를 수행하여, 제1 렌더링 이미지를 획득하는 단계;
    상기 제1 렌더링 이미지와 상기 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제1 손실도를 획득하는 단계; 및
    상기 제1 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 상기 제2 텍스처 베이스가 상기 제2 타깃 조건을 충족하는 것으로 결정하는 단계를 포함하는 이미지 처리 방법.
  4. 제2항에 있어서,
    2차원 안면 이미지의 제1 텍스처 계수를 획득하는 단계는,
    상기 2차원 안면 이미지를 입력 이미지의 텍스처 계수를 예측하기 위한 타깃 네트워크 모델에 입력하여 처리하여, 상기 제1 텍스처 계수를 획득하는 단계를 포함하고,
    상기 제1 텍스처 계수를 업데이트하여 제2 텍스처 계수를 획득하는 단계는,
    상기 타깃 네트워크 모델의 파라미터의 가중치를 업데이트하고, 업데이트된 상기 타깃 네트워크 모델에 의해 상기 제1 텍스처 계수를 상기 제2 텍스처 계수로 조정하는 단계를 포함하는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 제1 텍스처 이미지를 기반으로 상기 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정하는 단계는,
    상기 제1 텍스처 이미지에 대해 렌더링 처리를 수행하여, 제2 렌더링 이미지를 획득하는 단계;
    상기 제2 렌더링 이미지 및 상기 2차원 안면 이미지에 대응되는 타깃 참값 맵 사이의 제2 손실도를 획득하는 단계; 및
    상기 제2 손실도가 타깃 임계값 범위 내에 있는 것으로 결정되면, 상기 제1 텍스처 계수가 상기 제1 타깃 조건을 충족하는 것으로 결정하는 단계를 포함하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 제1 텍스처 이미지를 기반으로 상기 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하는 단계는,
    상기 제2 손실도를 기반으로 상기 제1 텍스처 베이스를 상기 제2 텍스처 베이스로 조정하는 단계를 포함하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 제2 손실도를 기반으로 상기 제1 텍스처 베이스를 상기 제2 텍스처 베이스로 조정하는 단계는,
    상기 제2 손실도를 기반으로 상기 제1 텍스처 베이스의 텐서를 조정하는 단계; 및
    조정된 상기 텐서에 대응되는 텍스처 베이스를 상기 제2 텍스처 베이스로 결정하는 단계를 포함하는 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 제2 텍스처 베이스를 기반으로 상기 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하는 단계는,
    상기 제1 텍스처 계수 및 상기 제2 텍스처 베이스를 기반으로, 상기 2차원 안면 이미지의 제2 텍스처 이미지를 생성하는 단계; 및
    상기 제2 텍스처 이미지를 기반으로 상기 2차원 안면 이미지에 대해 3차원 재구성을 수행하여, 상기 3차원 안면 이미지를 획득하는 단계를 포함하는 이미지 처리 방법.
  9. 이미지 처리 장치로서,
    2차원 안면 이미지의 제1 텍스처 계수를 획득하기 위한 획득 유닛;
    상기 제1 텍스처 계수 및 상기 2차원 안면 이미지의 제1 텍스처 베이스를 기반으로, 상기 2차원 안면 이미지의 제1 텍스처 이미지를 생성하기 위한 생성 유닛;
    상기 제1 텍스처 이미지를 기반으로 상기 제1 텍스처 계수가 제1 타깃 조건을 충족하는 것으로 결정되면, 상기 제1 텍스처 이미지를 기반으로 상기 제1 텍스처 베이스를 업데이트하여 제2 텍스처 베이스를 획득하기 위한 업데이트 유닛; 및
    상기 제2 텍스처 베이스가 수렴한 것에 응답하는 경우, 상기 제2 텍스처 베이스를 기반으로 상기 2차원 안면 이미지에 대해 3차원 재구성을 수행하여 3차원 안면 이미지를 획득하기 위한 재구성 유닛을 포함하는 이미지 처리 장치.
  10. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행할 수 있는 전자 기기.
  11. 컴퓨터가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  12. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제8항 중 어느 한 항에 따른 방법을 구현하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020220158539A 2021-11-23 2022-11-23 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 KR20230076115A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111396686.7 2021-11-23
CN202111396686.7A CN114092673B (zh) 2021-11-23 2021-11-23 图像处理的方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
KR20230076115A true KR20230076115A (ko) 2023-05-31

Family

ID=80303422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220158539A KR20230076115A (ko) 2021-11-23 2022-11-23 이미지 처리 방법, 장치, 전자 기기 및 저장 매체

Country Status (4)

Country Link
US (1) US20230162426A1 (ko)
JP (1) JP2023076820A (ko)
KR (1) KR20230076115A (ko)
CN (1) CN114092673B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581586A (zh) * 2022-03-09 2022-06-03 北京百度网讯科技有限公司 一种模型基底的生成方法、装置、电子设备及存储介质
CN114549728A (zh) * 2022-03-25 2022-05-27 北京百度网讯科技有限公司 图像处理模型的训练方法、图像处理方法、装置及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146199B (zh) * 2017-05-02 2020-01-17 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
US10621779B1 (en) * 2017-05-25 2020-04-14 Fastvdo Llc Artificial intelligence based generation and analysis of 3D models
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
CN111080784B (zh) * 2019-11-27 2024-04-19 贵州宽凳智云科技有限公司北京分公司 一种基于地面图像纹理的地面三维重建方法和装置
CN113327278B (zh) * 2021-06-17 2024-01-09 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113538662B (zh) * 2021-07-05 2024-04-09 北京工业大学 一种基于rgb数据的单视角三维物体重建方法及装置
CN113963110B (zh) * 2021-10-11 2022-10-25 北京百度网讯科技有限公司 纹理图生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114092673B (zh) 2022-11-04
JP2023076820A (ja) 2023-06-02
CN114092673A (zh) 2022-02-25
US20230162426A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
EP4033453A1 (en) Training method and apparatus for target detection model, device and storage medium
CN113643412B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
KR20230076115A (ko) 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN114842123B (zh) 三维人脸重建模型训练和三维人脸形象生成方法及装置
CN112785674A (zh) 纹理贴图的生成方法、渲染方法、装置、设备及存储介质
CN113963110B (zh) 纹理图生成方法、装置、电子设备及存储介质
CN112562069B (zh) 三维模型的构造方法、装置、设备和存储介质
US20240144570A1 (en) Method for generating drivable 3d character, electronic device and storage medium
CN114549710A (zh) 一种虚拟形象的生成方法、装置、电子设备及存储介质
CN113870399B (zh) 表情驱动方法、装置、电子设备及存储介质
JP2022068327A (ja) ノードグループ化方法、装置及び電子機器
CN112862934B (zh) 用于处理动画的方法、装置、设备、介质和产品
CN114708374A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113486276A (zh) 点云压缩、点云渲染方法，装置，设备以及存储介质
CN116524165B (zh) 三维表情模型的迁移方法、装置、设备和存储介质
CN113380269A (zh) 视频图像生成方法、装置、设备、介质和计算机程序产品
CN115423919B (zh) 图像的渲染方法、装置、设备以及存储介质
CN115359166B (zh) 一种图像生成方法、装置、电子设备和介质
CN116524162A (zh) 三维虚拟形象迁移方法、模型更新方法及相关设备
US20220351455A1 (en) Method of processing image, electronic device, and storage medium
EP4155670A1 (en) Intersection vertex height value acquisition method and apparatus, electronic device and storage medium
WO2023015942A1 (zh) 确定图像特征的方法、装置、电子设备和存储介质
CN115908687A (zh) 渲染网络的训练、渲染方法、装置及电子设备
US11417058B2 (en) Anti-aliasing two-dimensional vector graphics using a multi-vertex buffer
CN114399513A (zh) 用于训练图像分割模型和图像分割的方法、装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right