KR102068993B1 - 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치 - Google Patents

다시점 영상 정합을 이용한 아바타 생성 방법 및 장치 Download PDF

Info

Publication number
KR102068993B1
KR102068993B1 KR1020180059170A KR20180059170A KR102068993B1 KR 102068993 B1 KR102068993 B1 KR 102068993B1 KR 1020180059170 A KR1020180059170 A KR 1020180059170A KR 20180059170 A KR20180059170 A KR 20180059170A KR 102068993 B1 KR102068993 B1 KR 102068993B1
Authority
KR
South Korea
Prior art keywords
avatar
point clouds
point
matching
view
Prior art date
Application number
KR1020180059170A
Other languages
English (en)
Other versions
KR20190134030A (ko
Inventor
신후랑
Original Assignee
주식회사 이누씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이누씨 filed Critical 주식회사 이누씨
Priority to KR1020180059170A priority Critical patent/KR102068993B1/ko
Publication of KR20190134030A publication Critical patent/KR20190134030A/ko
Application granted granted Critical
Publication of KR102068993B1 publication Critical patent/KR102068993B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다시점 영상 정합을 이용한 아바타 생성 방법 및 장치를 개시한다.
본 실시예는 다시점 영상 정합을 이용하여 아바타를 생성할 때 연산부하가 최소화되도록 하는 빠른 모델링이 이루어지도록 하여, 가상화 뷰 데이터를 아바타로 빠르게 생성하거나 변형할 수 있을 뿐 아니라, 배경 영상과 합성하거나 타캐릭터와 신체부위를 교체할 수 있도록 하는 다시점 영상 정합 방법 및 장치를 제공한다.

Description

다시점 영상 정합을 이용한 아바타 생성 방법 및 장치{Method And Apparatus Creating for Avatar by using Multi-view Image Matching}
본 실시예는 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
아바타는 가상 공간인 인터넷이나 이동 통신 환경에 존재하는 또 다른 자아를 나타내는 것으로서, 사람의 형상뿐만 아니라 동물이나 식물 등 표현할 수 있는 모든 형태로의 변형이 가능한 존재이다. 아바타의 제작 및 이용은 사용자로 하여금 자신의 모습과 유사하며, 자신의 특징을 나타낼 수 있는 표현 도구로서, 사용자의 호기심이나 대리만족, 개인이 요구하는 이상적인 인물 등의 의미를 내포할 수 있다. 사용자는 개인을 나타내는 아바타의 제작 및 이용에 많은 관심을 가지게 되었다.
일반적으로, 개인의 형상을 나타내기 위한 수단으로서 사진이나 동영상 정보가 있을 수 있지만, 이들 데이터는 방대한 크기로 이루어져 있어서 인터넷이나 이동 통신 단말기에서 전송 및 처리하기가 어렵다. 사용자가 이미지 데이터 또는 동영상 데이터를 편집 또는 제어할 수 없기 때문에, 다른 사용자에게 쉽게 호감을 줄 수 없고, 사용자의 개성을 제대로 나타낼 수 없다.
따라서, 개인의 개성을 잘 나타낼 수 있는 형태로 2차원 또는 3차원의 아바타를 구성하고, 네트워크상에 사용자 사이에 아바타를 주고받거나 아바타를 이용한 데이터 교환이 보다 활발하게 이루어지고 있다.
아바타를 생성하는 방법은 대표적으로 디자이너가 직접 사용자 또는 사용자의 사진을 보며 아바타를 그리는 방법과, 미리 주어진 아바타 중에서 사용자가 원하는 아바타를 선택하는 방법, 데이터베이스(Database)에 저장된 각 항목을 조합하여 아바타를 구성하는 방법으로 구분할 수 있다.
미리 주어진 아바타 중에서 사용자가 원하는 아바타를 선택하는 방법과, 데이터베이스(Database)에 저장된 각 항목을 조합하여 아바타를 구성하는 방법의 경우, 간단한 조작으로 사용자가 자신의 아바타를 생성할 수 있다. 전술한 방법으로 생성된 아바타는 사용자가 원하는 형태의 개성이 강조되도록 제작할 수는 있지만, 사용자의 실재 모습과 유사한 형태로 제작하는 것은 불가능하다.
사용자의 실재 모습과 유사한 형태의 아바타를 제작하는 방법으로는 아바타를 제작하는 디자이너가 사용자의 이미지를 바탕으로 직접 아바타를 생성하는 방법이 있다. 이러한 종래의 아바타 생성 방법은 사용자가 자신의 얼굴이나 전체 모습을 촬영한 사진을 아바타 서비스 업체로 전송하여, 서비스 업체에서 아바타를 제작하는 디자이너가 사용자로부터 제공받은 이러한 이미지에 따라 적절한 아바타를 디자인한다.
사용자가 제공한 이미지를 이용하여 디자이너가 아바타를 제작하면, 사용자의 모습에 가까운 아바타를 제작할 수 있지만, 디자이너에 의하여 아바타가 제작되는 경우에 제작 시간이 많이 소요되고, 아바타 제작에 투입되는 디자이너의 인적 자원 및 노력이 많이 소모된다.
실사 이미지로부터 사용자의 얼굴을 인식하여 모델링하고, 모델링된 얼굴 영상을 기반으로 아바타를 완성시킬 수 있지만 한장의 이미지만으로는 사용자와 높은 유사성을 갖는 아바타를 만들기 어렵다는 문제가 있다. 복수의 이미지를 이용하여 사용자의 유사성이 높은 아바타를 생성하기 위해서는 많은 부하가 걸리고 아바타 생성까지 속도가 느리다는 문제가 있다.
본 실시예는 다시점 영상 정합을 이용하여 아바타를 생성할 때 연산부하가 최소화되도록 하는 빠른 모델링이 이루어지도록 하여, 가상화 뷰 데이터를 아바타로 빠르게 생성하거나 변형할 수 있을 뿐 아니라, 배경 영상과 합성하거나 타캐릭터와 신체부위를 교체할 수 있도록 하는 다시점 영상 정합 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 복수의 카메라로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득하는 영상 획득부; 상기 복수의 다시점 영상 정보 각각으로부터 객체를 인지하고, 상기 객체에 대한 특징점을 추출하고, 상기 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출하는 추출부; 상기 포인트 클라우드 간 상호 위치 정합을 수행한 후 상기 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성하는 중복 확인부; 및 전체 포인트 클라우드 중 상기 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고, 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 하는 정합부를 포함하는 것을 특징으로 하는 영상 정합 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 복수의 카메라로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득하는 과정; 상기 복수의 다시점 영상 정보 각각으로부터 객체를 인지하고, 상기 객체에 대한 특징점을 추출하고, 상기 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출하는 과정; 상기 포인트 클라우드 간 상호 위치 정합을 수행한 후 상기 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성하는 과정; 및 전체 포인트 클라우드 중 상기 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고, 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 하는 과정을 포함하는 것을 특징으로 하는 영상 정합 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 다시점 영상 정합을 이용하여 아바타를 생성할 때 연산부하가 최소화되도록 하는 빠른 모델링이 이루어지도록 하여, 가상화 뷰 데이터를 아바타로 빠르게 생성하거나 변형할 수 있을 뿐 아니라, 배경 영상과 합성하거나 타캐릭터와 신체부위를 교체할 수 있도록 하는 효과가 있다.
도 1a, 1b는 본 실시예에 따른 다시점 영상 정합 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 다시점 영상 정합을 위한 사용자 단말기를 개략적으로 나타낸 블럭 구성도이다.
도 3은 실시예에 따른 다시점 영상 정합 장치를 개략적으로 나타낸 블럭 구성도이다.
도 4는 실시예에 따른 메쉬 모델링을 설명하기 위한 도면이다.
도 5는 본 실시예에 따른 아바타의 외형 변경 및 배경 교체를 설명하기 위한 도면이다.
도 6은 본 실시예에 따른 아바타 회전을 나타낸 도면이다.
도 7은 본 실시예에 따른 다시점 영상 정합을 이용한 아바타 생성 방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1a, 1b는 본 실시예에 따른 다시점 영상 정합 시스템을 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 다시점 영상 정합 시스템은 복수의 카메라(110_1, 110_2, 110_N), 복수의 제어 장치(120_1, 120_2, 120_N), 정합을 위한 사용자 단말기(130), 스트리밍 서버(140)를 포함한다.
복수의 카메라(110_1, 110_2, 110_N)는 특정 객체를 촬영하는 장치로서, 특정 객체(예컨대, 사용자)를 다시점으로 촬영하여 복수의 제어 장치(120_1, 120_2, 120_N)로 전송한다.
복수의 카메라(110_1, 110_2, 110_N)는 별도의 컨트롤러 없이 특정 객체를 인식하여 게임과 엔터테인먼트를 경험할 수 있는 제어 장치(120_1, 120_2, 120_N)와 연결해서 사용하는 주변기기이다. 복수의 카메라(110_1, 110_2, 110_N)는 예컨대, 키넥트(Kinect)와 같은 주변기기가 적용될 수 있다.
복수의 카메라(110_1, 110_2, 110_N)는 별도의 센서를 구비할 수 있으며, 센서를 구비한 경우, 센서를 이용하여 특정 객체(사용자의)의 동작 또는 제스처를 인식하고, 구비된 마이크 모듈로 음성을 인식할 수 있다. 복수의 카메라(110_1, 110_2, 110_N)는 복수의 제어 장치(120_1, 120_2, 120_N)와 연결하기 위해서는 별도의 전원이 필요하다.
복수의 카메라(110_1, 110_2, 110_N)에 구비되는 센서는 뎁스 카메라로써, 실시간으로 깊이 정보뿐만 아니라 RGB영상과 관절 추적 정보를 제공한다.
복수의 카메라(110_1, 110_2, 110_N)는 뎁스 센서로부터 제공되는 데이터를 이용하여 제스처 인식을 위해 필요한 사람/신체부위 검출하거나 포즈를 추정하며, 게임이나 인간-컴퓨터 상호작용하도록 한다.
복수의 제어 장치(120_1, 120_2, 120_N)는 영상을 처리하는 장치로서, 복수의 카메라(110_1, 110_2, 110_N)로부터 수신된 특정 객체(예컨대, 사용자)를 다시점으로 촬영한 정보를 수신하여 다시점 영상 정보를 생성한다. 복수의 제어 장치(120_1, 120_2, 120_N)는 특정 객체(예컨대, 사용자)를 촬영한 다시점 영상 정보를 정합하기 위해 사용자 단말기(130)로 전송한다.
사용자 단말기(130)는 다시점 영상을 연산부하가 최소화되도록 빠르게 정합하여 특정 객체(예컨대, 사용자)에 대응하는 아바타를 생성한다. 사용자 단말기(130)는 영상 정합 프로그램(232)을 탑재하며, 탑재된 영상 정합 프로그램(232)을 이용하여 아바타를 생성한다. 사용자 단말기(130)는 생성된 아바타를 스트리밍 서버(140)로 전송한다.
도 1a에 도시된 바와 같이, 사용자 단말기(130)는 복수의 카메라(110_1, 110_2, 110_N)(적어도 3대의 카메라)를 이용하여 특정 객체(예컨대, 사용자 신체 형상)의 모든 표면(Surface)을 포함하는 아바타를 생성한다.
스트리밍 서버(140)는 사용자 단말기(130)로부터 수신된 아바타를 연동하는 스마트폰, 태블릿, 노트북 등으로 전송한다. 스트리밍 서버(140)는 소리(음악)나 동영상 등의 멀티미디어 파일을 전송하고 재생한다.
보통 파일은 내려받고 난 뒤에 열리는 작업을 하지만, 동영상과 같이 크기가 큰 파일을 재생할 때에는 내려받는 데에 시간이 오래 걸릴 수 있으나, 스트리밍 서버(140)는 파일을 다운로드하는 것과 더불어 재생을 시킴으로써 기다리는 시간을 크게 줄일 수 있다. 스트리밍 서버(140)는 컴퓨터 네트워크 위에 스트리밍(streaming)하여 사용자 단말기(130)로부터 수신된 아바타를 실시간 중계도 가능하다.
도 1b에 도시된 바와 같이, 사용자 단말기(130)는 복수의 카메라(110_1, 110_2, 110_N)로 촬영된 3D 가상화 뷰 영상 데이터를 취합해 3D 아바타를 생성하여 스트리밍 서버(140)로 전송하면, 스트리밍 서버(140)는 사용자 단말기(130)로부터 수신된 3D 아바타를 이용하여 일반 사용자들의 모바일 기기에 송출해 온라인 가상 팬미팅을 서비스에 이용할 수 있다.
도 2는 본 실시예에 따른 다시점 영상 정합을 위한 사용자 단말기를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 사용자 단말기(130)는 CPU(210, Central Processing Unit), 메인메모리(220, Main Memory), 메모리(230), 디스플레이부(240), 입력부(250), 통신부(260)를 포함한다. 사용자 단말기(130)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
사용자 단말기(130)는 사용자의 키 조작에 따라 네트워크를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. 사용자 단말기(130)는 네트워크를 경유하여 게임 서버와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다.
사용자 단말기(130)는 개인용 컴퓨터(PC: Personal Computer)인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), , 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다.
사용자 단말기(130)는 (ⅰ) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다.
CPU(210)는 본 실시예에 따른 영상 정합 프로그램(232)을 메모리(230)로부터 메인메모리(220)에 로딩한다. CPU(210)는 터치스크린, 마우스 및 키보드를 포함하는 입력부(250)를 이용하여 게임이용자의 명령을 입력받는다. CPU(210)는 영상 정합 프로그램(232)을 수행하여 그 결과를 디스플레이부(240)로 출력한다. CPU(210)는 영상 정합 프로그램(232)을 통신부(260)로부터 다운로드하여 메모리(230)에 저장한다.
본 실시예에 따른 영상 정합 프로그램(232)은 복수의 카메라(110_1, 110_2, 110_N)로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득한다. 영상 정합 프로그램(232)은 복수의 다시점 영상 정보 각각으로부터 객체를 인지하고, 객체에 대한 특징점을 추출하고, 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출한다.
영상 정합 프로그램(232)은 포인트 클라우드 간 상호 위치 정합을 수행한 후 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성한다. 영상 정합 프로그램(232)은 전체 포인트 클라우드 중 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고, 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 한다.
통신부(260)는 근거리통신(Near Field Communication, NFC), 2G, 3G, LTE(Long Term Evolution), TD-LTE(Time-Division LTE), Wi-Fi를 포함하는 Wireless LAN(Local Area Network) 및 유선(Wired) 랜(LAN)을 포함하는 유무선 통신을 수행한다. 통신부(260)는 유무선 통신을 수행하여 복수의 제어 장치(120_1, 120_2, 120_N)와 데이터를 송수신한다.
도 3은 실시예에 따른 다시점 영상 정합 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 다시점 영상 정합 장치(200)는 영상 정합 프로그램(232)에 대응되는 장치를 의미한다. 다시 말해, 본 실시예에 따른 영상 정합 프로그램(232)은 하드웨어를 포함하는 별도의 장치로 구현 가능하다.
본 실시예에 따른 다시점 영상 정합 장치(200)는 영상 획득부(310), 추출부(312), 중복 확인부(314), 정합부(316), 센서부(320), 합성 영상 획득부(322), 영상 합성부(324)를 포함한다. 다시점 영상 정합 장치(200)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
다시점 영상 정합 장치(200)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 3에 도시된 다시점 영상 정합 장치(200)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
영상 획득부(310)는 복수의 카메라로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득한다.
추출부(312)는 복수의 다시점 영상 정보 각각으로부터 객체를 인지한다. 추출부(312)는 객체에 대한 특징점을 추출한다. 추출부(312)는 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출한다.
중복 확인부(314)는 포인트 클라우드 간 상호 위치 정합을 수행한다. 중복 확인부(314)는 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성한다.
정합부(316)는 전체 포인트 클라우드 중 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고 최종적으로 남겨진 포인트 클라우드를 산출한다. 정합부(316)는 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 한다.
정합부(316)는 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 영상 획득부(310)로부터 수신된 다시점에 따른 격자(Grid) 정보를 기반으로 남겨진 포인트 클라우드를 정합하여 아바타를 생성한다.
정합부(316)는 격자(Grid) 정보를 기반으로 남겨진 포인트 클라우드 중 이웃하는 포인트 클라우드를 추출하고, 이웃하는 포인트 클라우드가 갖는 메쉬 모델(Mesh Model) 구조들을 그대로 유지한 상태에서 각 메쉬 모델 구조 간에 인접한 포인트 클라우드(정합 부분)들을 빠르게 정합하여 아바타를 생성한다.
정합부(316)는 격자(Grid) 정보 상에 포함된 x,y 좌표 정보들을 추출한다. 정합부(316)는 x,y 좌표 정보들을 비교하여 남겨진 포인트 클라우드 중 동일한 격자(Grid) 상에 위치하는 포인트 클라우드들을 추출한다. 정합부(316)는 동일한 격자(Grid) 상에 위치하는 포인트 클라우드들을 이웃하는 포인트 클라우드로 인지한다.
정합부(316)는 추가 계산없이 얻어진 이웃하는 포인트 클라우드들의 메쉬 모델 구조를 그대로 유지한 상태에서 이웃하는 포인트 클라우드 중 인접한 포인트들 간에 새로운 메쉬 모델링을 수행한다.
정합부(316)는 새로운 메쉬 모델링을 수행하기 위해 이웃하는 포인트 클라우드 중 인접한 포인트만을 이용하여 삼각측량(Triangulation)을 수행한다.
정합부(316)는 아바타의 특정 신체 부위에 대응하는 포인트 클라우드와 기 형성된 다른 아바타의 특정 신체 부위에 대응하는 포인트 클라우드간에 연산부하가 최소화되도록 정합하여 하나의 아바타가 생성되도록 한다.
센서부(320)는 특정 객체에 대한 방향 정보를 센싱하거나 수신한다. 합성 영상 획득부(322)는 실제 영상 정보를 획득한다. 영상 합성부(324)는 아바타를 실제 영상 정보와 하나의 화면 상에 동시에 오버레이 형태로 표시하며, 센서부(320)로부터 수신된 방향 정보를 기반으로 아바타가 회전하도록 한다.
도 4는 실시예에 따른 메쉬 모델링을 설명하기 위한 도면이다.
도 4의 (a)에 도시된 바와 같이, 그래픽스 모델에서 다시점 영상에서 획득한 포인트 클라우드(Point Cloud) 간의 정합을 위하여, 포인트 클라우드 간 상호 위치 정합을 수행한다.
이후, 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 제거하고, 전체 포인트 클라우드 중 최종적으로 남겨진 포인트 클라우드들에서 메쉬 모델링을 수행한다.
하지만, 전체 포인트 클라우드 중 최종적으로 남겨진 포인트 클라우드들에서 메쉬 모델링을 수행하는 과정에서 많은 부하와 시간이 소모되어 실시간으로 영상을 처리하는 데 한계가 있다.
도 4의 (b)에 도시된 바와 같이, 다시점 영상 정합 장치(200)는 다시점 영상에서 획득한 포인트 클라우드 간의 정합을 위하여, 포인트 클라우드 간 상호 위치 정합을 수행한다.
이후, 다시점 영상 정합 장치(200)는 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 제거한다.
포인트 클라우드(Point Cloud)란 어떤 좌표계에 속한 점들의 집합을 의미한다. 3차원 좌표계에서 점은 보통 X, Y, Z 좌표로 정의되며 종종 사물의 표면을 나타내기 위해 사용되기도 한다. 포인트 클라우드는 3차원 스캐닝 작업으로 얻을 수 있다. 다시점 영상 정합 장치(200) 내의 추출부(312)는 3차원 스캐닝 작업을 위해 사물의 표면에서 수많은 점을 자동으로 측정하고, 이를 통해 생성한 포인트 클라우드를 디지털 파일로 생성한다. 포인트 클라우드는 표면 재건 과정을 통해 폴리곤 메시나 삼각형 메시, NURB 모델, CAD 모델로 변환된다.
다시점 영상 정합 장치(200)는 도 4의 (a)에 도시된 바와 같이, 전체 포인트 클라우드 중 최종적으로 남겨진 포인트 클라우드 전체에 대해서 메쉬 모델링을 수행하지 않는다.
다시점 영상 정합 장치(200)는 복수의 카메라(110_1, 110_2, 110_N)로부터 수신된 격자(Grid) 정보상에서 중복이 발생하는 포인트 클라우드들을 제거한 상태에서 정의된 메쉬 모델을 그대로 사용하여 정합한다.
다시 말해, 다시점 영상 정합 장치(200)는 복수의 카메라(110_1, 110_2, 110_N)의 시점에서 손쉽게, 빠른시간에 수행할 수 있도록 격자(Grid) 위에서의 메쉬 구조를 그대로 유지한다.
격자(Grid) 위에서의 메쉬 구조를 그대로 유지한 상태로 정합하는 경우 메쉬 모델링의 정확도는 다소 저하되지만 수행속도를 매우 빠르게 처리할 수 있다.
도 4의 (b)에 도시된 바와 같이, 다시점 영상 정합 장치(200)는 메쉬 모델링을 수행하기 위해 그래픽스 모델 생성시 이웃한 포인트 클라우드 들을 연결하여 페이스(Face)를 정의한다. 다시점 영상 정합 장치(200)에서 메쉬 모델링을 수행하기 위해 세개의 포인트를 이용한 삼각형 페이스(Face)를 할당할 때를 삼각측량(Triangulation)이라 칭한다.
다시점 영상 정합 장치(200)는 격자(Grid) 정보를 기반으로 남겨진 포인트 클라우드 중 이웃하는 포인트 클라우드를 추출하고, 이웃하는 포인트 클라우드가 갖는 메쉬 모델(Mesh Model) 구조들을 그대로 유지한 상태에서 각 메쉬 모델 구조 간에 인접한 포인트 클라우드(정합 부분)들을 빠르게 정합한다.
다시점 영상 정합 장치(200)가 이웃하는 포인트 클라우드가 갖는 메쉬 모델(Mesh Model) 구조들을 그대로 유지한 상태에서 각 메쉬 모델 구조 간에 인접한 포인트 클라우드(정합 부분)들을 빠르게 정합하는 경우, 메쉬 모델링의 정확도는 다소 저하되지만 수행속도를 매우 빠르게 처리할 수 있어 영상의 실시간 처리가 가능하다.
정합된 모든 클라우드 포인트들을 이용하여 새롭게 메쉬 모델링을 수행하면 많은 계산량을 필요로 하지만, 본 실시예에 따른 다시점 영상 정합 장치(200)는 복수의 카메라(110_1, 110_2, 110_N)로부터 수신된 격자 정보(x,y 좌표정보)를 이용하여 계산 필요없이 얻어진 메쉬 모델을 그대로 사용하고 두 포인트 클라우드 간 연결부분에서만 새롭게 메쉬 모델링을 수행하면 된다.
도 5는 본 실시예에 따른 아바타의 외형 변경 및 배경 교체를 설명하기 위한 도면이다.
도 5의 (a)에 도시된 바와 같이, 다시점 영상 정합 장치(200)는 생성된 아바타의 외형을 변경하거나 복사할 수 있다.
다시점 영상 정합 장치(200)는 아바타의 특정 신체 부위를 기 형성된 다른 아바타의 특정 신체 부위와 정합하여 하나의 아바타를 생성한다.
예컨대, 다시점 영상 정합 장치(200)는 아바타의 얼굴(머리)을 기 형성된 다른 아바타의 얼굴(머리)와 정합하여 새로운 아바타를 생성할 수 있다. 또한, 다시점 영상 정합 장치(200)는 아바타의 얼굴(머리)을 기 형성된 다른 아바타의 몸통(몸체)과 정합하여 새로운 아바타를 생성할 수 있다.
다시점 영상 정합 장치(200)는 아바타의 특정 신체 부위에 대응하는 포인트 클라우드와 기 형성된 다른 아바타의 특정 신체 부위에 대응하는 포인트 클라우드간에 연산부하가 최소화되도록 정합하여 하나의 아바타가 생성되도록 한다.
도 5의 (b)에 도시된 바와 같이, 다시점 영상 정합 장치(200)는 생성된 아바타의 배경을 교체하거나 변형할 수 있다.
다시점 영상 정합 장치(200)는 아바타를 실제 영상 정보와 하나의 화면 상에 동시에 오버레이 형태로 표시할 수 있다. 다시점 영상 정합 장치(200)는 아바타를 바닷가 배경 화면에 오버레이 형태로 표시하거나 아바타를 숲속 배경 화면에 오버레이 형태로 표시하거나 거실 배경 화면에 오버레이 형태로 표시할 수 있다.
도 6은 본 실시예에 따른 아바타 회전을 나타낸 도면이다.
다시점 영상 정합 장치(200)는 복수의 카메라(110_1, 110_2, 110_N)로부터 획득한 3D 데이터에서 중복되는 포인트 클라우드를 추출하여 360˚ 자유로운 회전이 가능한 3D 가상화 뷰를 효율적으로 실시간 생성한다.
다시점 영상 정합 장치(200)는 중복되는 포인트 클라우드를 추출하고, 중복되는 포인트 클라우드를 기반으로 가상화 뷰 생성시 소요되는 연산부하를 최소화하고 효율성을 높여 가상화뷰 생성 소요 시간을 최소화한다.
다시점 영상 정합 장치(200)는 3D 가상화 뷰와 센서 기반 방향정보를 보유한 평면적인 2D 뷰가 하나의 화면에서 동시 제어되는 복합적인 비디오 인터페이스를 표시한다.
다시점 영상 정합 장치(200)는 가상 뷰(Virtual View)와 실제 비디오 뷰(Real Video View)를 하나의 화면상에 동시에 오버레이 형태로 표시한다. 이때, 다시점 영상 정합 장치(200)는 실제 비디오 뷰가 방향정보를 포함하고 있어 해당 방향으로 사용자가 회전하고자 하면 회전을 표시하는 인터페이스 구조를 제공한다.
도 7은 본 실시예에 따른 다시점 영상 정합을 이용한 아바타 생성 방법을 설명하기 위한 순서도이다.
다시점 영상 정합 장치(200)는 복수의 카메라로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득한다(S710). 다시점 영상 정합 장치(200)는 복수의 다시점 영상 정보 각각으로부터 객체를 인지한다(S720).
다시점 영상 정합 장치(200)는 객체에 대한 특징점을 추출하고, 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출한다(S730). 다시점 영상 정합 장치(200)는 중복 확인부(314)는 포인트 클라우드 간 상호 위치 정합을 수행한다(S740).
다시점 영상 정합 장치(200)는 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성한다(S750). 다시점 영상 정합 장치(200)의 정합부(316)는 전체 포인트 클라우드 중 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고 최종적으로 남겨진 포인트 클라우드를 산출한다(S760).
다시점 영상 정합 장치(200)는 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 한다(S770).
단계 S770에서, 다시점 영상 정합 장치(200)는 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 영상 획득부(310)로부터 수신된 다시점에 따른 격자(Grid) 정보를 기반으로 남겨진 포인트 클라우드를 정합하여 아바타를 생성한다.
다시점 영상 정합 장치(200)는 격자(Grid) 정보를 기반으로 남겨진 포인트 클라우드 중 이웃하는 포인트 클라우드를 추출하고, 이웃하는 포인트 클라우드가 갖는 메쉬 모델(Mesh Model) 구조들을 그대로 유지한 상태에서 각 메쉬 모델 구조 간에 인접한 포인트 클라우드(정합 부분)들을 빠르게 정합하여 아바타를 생성한다.
다시점 영상 정합 장치(200)는 격자(Grid) 정보 상에 포함된 x,y 좌표 정보들을 추출한다. 다시점 영상 정합 장치(200)는 x,y 좌표 정보들을 비교하여 남겨진 포인트 클라우드 중 동일한 격자(Grid) 상에 위치하는 포인트 클라우드들을 추출한다. 다시점 영상 정합 장치(200)는 동일한 격자(Grid) 상에 위치하는 포인트 클라우드들을 이웃하는 포인트 클라우드로 인지한다.
다시점 영상 정합 장치(200)는 추가 계산없이 얻어진 이웃하는 포인트 클라우드들의 메쉬 모델 구조를 그대로 유지한 상태에서 이웃하는 포인트 클라우드 중 인접한 포인트들 간에 새로운 메쉬 모델링을 수행한다.
다시점 영상 정합 장치(200)는 새로운 메쉬 모델링을 수행하기 위해 이웃하는 포인트 클라우드 중 인접한 포인트만을 이용하여 삼각측량(Triangulation)을 수행한다.
도 7에서는 단계 S710 내지 단계 S770을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 7에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 7은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 7에 기재된 본 실시예에 따른 다시점 영상 정합을 이용한 아바타 생성 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 다시점 영상 정합을 이용한 아바타 생성 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110_1, 110_2, 110_N: 복수의 카메라
120_1, 120_2, 120_N: 복수의 제어 장치
130: 사용자 단말기
140: 스트리밍 서버
210: CPU 220: 메인 메모리
230: 메모리 232: 영상 정합 프로그램
240: 디스플레이부 250: 입력부
260: 통신부
310: 영상 획득부 312: 추출부
314: 중복 확인부 316: 정합부
320: 센서부 322: 합성 영상 획득부
324: 영상 합성부

Claims (9)

  1. 복수의 카메라로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득하는 영상 획득부;
    상기 복수의 다시점 영상 정보 각각으로부터 객체를 인지하고, 상기 객체에 대한 특징점을 추출하고, 상기 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출하는 추출부;
    상기 포인트 클라우드 간 상호 위치 정합을 수행한 후 상기 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성하는 중복 확인부; 및
    전체 포인트 클라우드 중 상기 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고, 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 하는 정합부
    를 포함하되,
    상기 아바타의 특정 신체 부위에 대응하는 포인트 클라우드와 기 형성된 다른 아바타의 특정 신체 부위에 대응하는 포인트 클라우드간에 연산부하가 최소화되도록 정합하여 하나의 아바타가 생성되도록 하는 것
    을 포함하는 것을 특징으로 하는 영상 정합 장치.
  2. 제 1 항에 있어서,
    상기 정합부는,
    상기 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 상기 영상 획득부로부터 수신된 다시점에 따른 격자(Grid) 정보를 기반으로 상기 남겨진 포인트 클라우드를 정합하여 상기 아바타를 생성하는 것을 특징으로 하는 영상 정합 장치.
  3. 제 2 항에 있어서,
    상기 정합부는,
    상기 격자(Grid) 정보를 기반으로 상기 남겨진 포인트 클라우드 중 이웃하는 포인트 클라우드를 추출하고, 상기 이웃하는 포인트 클라우드가 갖는 메쉬 모델(Mesh Model) 구조들을 그대로 유지한 상태에서 각 메쉬 모델 구조 간에 인접한 포인트 클라우드들을 빠르게 정합하여 상기 아바타를 생성하는 것을 특징으로 하는 영상 정합 장치.
  4. 제 3 항에 있어서,
    상기 정합부는,
    상기 격자(Grid) 정보 상에 포함된 x,y 좌표 정보들을 추출하고, 상기 x,y 좌표 정보들을 비교하여 상기 남겨진 포인트 클라우드 중 동일한 격자(Grid) 상에 위치하는 포인트 클라우드들을 추출하고, 상기 동일한 격자(Grid) 상에 위치하는 포인트 클라우드들을 상기 이웃하는 포인트 클라우드로 인지하는 것을 특징으로 하는 영상 정합 장치.
  5. 제 4 항에 있어서,
    상기 정합부는,
    추가 계산없이 얻어진 상기 이웃하는 포인트 클라우드들의 메쉬 모델 구조를 그대로 유지한 상태에서 상기 이웃하는 포인트 클라우드 중 인접한 포인트들 간에 새로운 메쉬 모델링을 수행하는 것을 특징으로 하는 영상 정합 장치.
  6. 제 5 항에 있어서,
    상기 정합부는,
    상기 새로운 메쉬 모델링을 수행하기 위해 상기 이웃하는 포인트 클라우드 중 인접한 포인트만을 이용하여 삼각측량(Triangulation)을 수행하는 것을 특징으로 하는 영상 정합 장치.
  7. 제 1 항에 있어서,
    상기 특정 객체에 대한 방향 정보를 센싱하거나 수신하는 센서부;
    실제 영상 정보를 획득하는 합성 영상 획득부;
    상기 아바타를 상기 실제 영상 정보와 하나의 화면 상에 동시에 오버레이 형태로 표시하며, 상기 방향 정보를 기반으로 상기 아바타가 회전하도록 하는 배경 영상 합성부
    를 추가로 포함하는 것을 특징으로 하는 영상 정합 장치.
  8. 삭제
  9. 복수의 카메라로부터 특정 객체를 다시점으로 촬영한 복수의 다시점 영상 정보를 획득하는 과정;
    상기 복수의 다시점 영상 정보 각각으로부터 객체를 인지하고, 상기 객체에 대한 특징점을 추출하고, 상기 특징점을 기반으로 포인트 클라우드(Point Cloud)를 추출하는 과정;
    상기 포인트 클라우드 간 상호 위치 정합을 수행한 후 상기 포인트 클라우드 간 중복이 발생하는 포인트 클라우드들을 추출하여 중복 포인트 데이터를 생성하는 과정; 및
    전체 포인트 클라우드 중 상기 중복 포인트 데이터에 대응하는 포인트 클라우드들을 제거하고, 최종적으로 남겨진 포인트 클라우드 간에 연산부하가 최소화되도록 하는 모델링을 수행하여 360˚ 회전이 가능한 아바타를 생성하여 3D 가상화 뷰가 가능하도록 하는 과정
    을 포함하되,
    상기 3D 가상화 뷰가 가능하도록 하는 과정은
    상기 아바타의 특정 신체 부위에 대응하는 포인트 클라우드와 기 형성된 다른 아바타의 특정 신체 부위에 대응하는 포인트 클라우드간에 연산부하가 최소화되도록 정합하여 하나의 아바타가 생성되도록 하는 과정
    을 포함하는 것을 특징으로 하는 영상 정합 방법.
KR1020180059170A 2018-05-24 2018-05-24 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치 KR102068993B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180059170A KR102068993B1 (ko) 2018-05-24 2018-05-24 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180059170A KR102068993B1 (ko) 2018-05-24 2018-05-24 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190134030A KR20190134030A (ko) 2019-12-04
KR102068993B1 true KR102068993B1 (ko) 2020-01-22

Family

ID=69004763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180059170A KR102068993B1 (ko) 2018-05-24 2018-05-24 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102068993B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399955B1 (ko) * 2019-12-27 2022-05-20 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR102256383B1 (ko) * 2020-05-18 2021-05-25 권영훈 사용자의 희망시간을 고려하여 응답정보를 제공하고 캐릭터의 외형을 변환하는 챗봇 서비스를 위한 시스템
KR102451419B1 (ko) * 2020-10-30 2022-10-06 주식회사 이엠솔루션 포인트 클라우드를 이용한 게임 리플레이 시스템
KR102314103B1 (ko) * 2021-05-10 2021-10-18 (주)은혜컴퍼니 미용 교육 컨텐츠 생성 장치 및 그 방법
KR102415356B1 (ko) * 2021-08-17 2022-06-30 황은수 폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101747951B1 (ko) * 2016-02-15 2017-06-15 동서대학교 산학협력단 멀티뷰 촬영기반 3ｄ 휴먼 캐릭터 모델링 제공 장치
CN107507127A (zh) * 2017-08-04 2017-12-22 深圳市易尚展示股份有限公司 多视点三维点云的全局匹配方法和系统
JP6278544B1 (ja) 2017-03-22 2018-02-14 国立研究開発法人国立環境研究所 モニタリング装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135753B1 (ko) * 2010-06-25 2012-04-16 건국대학교 산학협력단 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101747951B1 (ko) * 2016-02-15 2017-06-15 동서대학교 산학협력단 멀티뷰 촬영기반 3ｄ 휴먼 캐릭터 모델링 제공 장치
JP6278544B1 (ja) 2017-03-22 2018-02-14 国立研究開発法人国立環境研究所 モニタリング装置
CN107507127A (zh) * 2017-08-04 2017-12-22 深圳市易尚展示股份有限公司 多视点三维点云的全局匹配方法和系统

Also Published As

Publication number Publication date
KR20190134030A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
KR102068993B1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
US10860838B1 (en) Universal facial expression translation and character rendering system
US11861936B2 (en) Face reenactment
KR102616010B1 (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
US10796468B2 (en) Automatic rig creation process
JP2016524221A (ja) 拡張現実（ａｒ）キャプチャおよびプレイ
JP2015531098A (ja) デプスカメラを使用するアバター構築
US20140022238A1 (en) System for simulating user clothing on an avatar
US10964083B1 (en) Facial animation models
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
KR102026172B1 (ko) 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
WO2020017668A1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
US20240020901A1 (en) Method and application for animating computer generated images
US11983819B2 (en) Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject
US11074736B2 (en) Cosmetic transformation through image synthesis
JP2023011218A (ja) マップ情報生成装置、位置特定装置、マップ情報生成方法、位置特定方法、プログラム及び記録媒体
KR20240020948A (ko) 디지털휴먼 컨텐츠 생성 시스템 및 이를 이용한 디지털휴먼 컨텐츠 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant