KR102555414B1 - 개인화 3차원 얼굴 모델 생성장치 - Google Patents

개인화 3차원 얼굴 모델 생성장치 Download PDF

Info

Publication number
KR102555414B1
KR102555414B1 KR1020220007141A KR20220007141A KR102555414B1 KR 102555414 B1 KR102555414 B1 KR 102555414B1 KR 1020220007141 A KR1020220007141 A KR 1020220007141A KR 20220007141 A KR20220007141 A KR 20220007141A KR 102555414 B1 KR102555414 B1 KR 102555414B1
Authority
KR
South Korea
Prior art keywords
face
head shape
face model
model
personalized
Prior art date
Application number
KR1020220007141A
Other languages
English (en)
Inventor
신용선
정미랑
이경동
Original Assignee
주식회사 스칼라웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스칼라웍스 filed Critical 주식회사 스칼라웍스
Priority to KR1020220007141A priority Critical patent/KR102555414B1/ko
Application granted granted Critical
Publication of KR102555414B1 publication Critical patent/KR102555414B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개인화 3차원 얼굴 모델 생성장치는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고, 상기 복수의 머리 형상 템플릿들 각각은 상기 얼굴 영역의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성되는 머리 형상 결정부, 얼굴을 스캔하여 3차원 얼굴 이미지를 생성하는 얼굴 이미지 생성부, 상기 3차원 얼굴 이미지에서 얼굴 특징점들을 추출하여 스케일 가능 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성부 및 상기 적어도 하나의 얼굴 매핑 포인트를 기초로 상기 3차원 얼굴 모델을 상기 머리 형상에 정합하는 머리 형상 완성부를 포함한다.

Description

개인화 3차원 얼굴 모델 생성장치{APPARATUS FOR GENERATING PERSONAL 3D FACE MODEL}
본 발명은 개인화 3차원 얼굴 모델 생성장치에 관한 것으로, 보다 상세하게는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고 3차원 얼굴 모델을 머리 형상에 정합하는 개인화 3차원 얼굴 모델 생성장치에 관한 것이다.
3D 프린팅 기술은 적층 제조기술(AM:Additive Manufacturing)이라고도 하며, 기존의 재료를 절삭이나 드릴을 통해 입체물을 제조 및 조립하는 방식에서 벗어나 다양한 방법의 적층 방법을 통해 3차원의 입체물을 제조하는 방법이다. 3D 프린팅 기술은 기존의 제조 공정에 비해 조립비용을 크게 낮출 수 있으며, 현재의 절삭 위주인 기존의 제조 공정기반 대량 생산을 대체하기 위해 3D 프린팅 기술에 대한 연구가 진행되고 있다. 일반적으로 모델링-프린팅-피니싱의 과정을 거쳐 3D프린팅이 이루어지며, 다양한 방법의 적층 방법이 개발되어 적용되고 있다. 구체적으로 적층방식 및 사용되는 재료에 따라서 다양한 기술들이 존재하며, 현재에는 정밀성 및 효율성이 높은 선택적 레이저 소결 조형(Selective laser sintering), 압출 적층 조형(Fused deposition model) 방식의 3D 프린터가 전 세계 시장에서 제품들의 주류를 형성하고 있다.
3D 프린터를 이용하여 다양한 모양의 출력물을 생성하는 것이 좀 더 편리해지고 있고, 3D 프린터 및 재료의 기술 발달로 출력물의 품질은 올라가고 가격은 낮아지면서 점진적으로 경쟁력을 확보하고 있으나, 여전히 출력에 소요되는 시간 및 가격은 빠르게 하락하지 못하고 있어 3D 모델링에 소요되는 시간과 3D 프린터의 출력시간을 획기적으로 단축할 수 있는 기술에 대한 필요성이 높아지고 있다.
한국 등록특허 제2015-0185070호는 2d사진에서 3d프린팅 기술을 이용하여 3차원적 얼굴 형상을 제작하는 방법에 관한 것으로, 2D 사진 속 인물에서 정보를 획득하는 제1단계; 상기 제1단계에서 획득된 정보를 이용하여 3차원 데이타를 생성하는 제2단계; 상기 3차원 데이타를 이용하여 얼굴의 3차원적 형상을 3D 프린트를 이용하여 3D프린팅 원형을 제작하는 제3단계; 3D프린팅 원형(100)으로 주형틀을 제작하는 제4단계; 상기 주형틀에 주물을 부어서 굳혀서 최종 제품(300)을 완성하는 제5단계;를 포함하는, 3D프린팅 기술을 이용하여 3차원적 얼굴 형상을 제작하는 방법을 제공한다.
한국 등록특허 제2015-0185070호 (2015.12.23)
본 발명의 일 실시예는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고 3차원 얼굴 모델을 머리 형상에 정합하는 개인화 3차원 얼굴 모델 생성장치를 제공하고자 한다.
본 발명의 일 실시예는 복수의 머리 형상 템플릿들 각각을 얼굴 영역의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성하는 개인화 3차원 얼굴 모델 생성장치를 제공하고자 한다.
본 발명의 일 실시예는 복수의 머리 형상 템플릿들 각각의 고유 변곡점을 검출하여 상기 적어도 하나의 얼굴 매핑 포인트를 결정하는 개인화 3차원 얼굴 모델 생성장치를 제공하고자 한다.
본 발명의 일 실시예에 따른 개인화 3차원 얼굴 모델 생성장치는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고, 상기 복수의 머리 형상 템플릿들 각각은 상기 얼굴 영역의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성되는 머리 형상 결정부, 얼굴을 스캔하여 3차원 얼굴 이미지를 생성하는 얼굴 이미지 생성부, 상기 3차원 얼굴 이미지에서 얼굴 특징점들을 추출하여 스케일 가능 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성부 및 상기 적어도 하나의 얼굴 매핑 포인트를 기초로 상기 3차원 얼굴 모델을 상기 머리 형상에 정합하는 머리 형상 완성부를 포함한다.
상기 머리 형상 결정부는 상기 복수의 머리 형상 템플릿들 각각의 고유 변곡점을 검출하여 상기 적어도 하나의 얼굴 매핑 포인트를 결정할 수 있다. 상기 머리 형상 결정부는 상기 머리 형상이 결정되면 사용자의 설정에 따라 상기 머리 형상의 볼륨을 조절하고 상기 볼륨에 따라 상기 적어도 하나의 얼굴 맵핑 포인트를 자동으로 적응시킬 수 있다.
상기 3차원 얼굴 모델 생성부는 상기 적어도 하나의 얼굴 맵핑 포인트를 기초로 상기 3차원 얼굴 이미지의 적어도 하나의 외곽 특징점을 결정할 수 있다. 상기 3차원 얼굴 모델 생성부는 상기 적어도 하나의 외곽 특징점의 결정 과정에서 상기 3차원 얼굴 모델을 스케일할 수 있다. 상기 3차원 얼굴 모델 생성부는 상기 적어도 하나의 얼굴 맵핑 포인트와 상기 적어도 하나의 외곽 특징점 간의 부정합을 검출할 수 있다. 상기 3차원 얼굴 모델 생성부는 특정 기준 범위를 넘어선 부정합이 검출된 경우에는 인접 부정합 외곽 특징점들을 기초로 해당 부정합 외곽 특징점의 위치를 조절하여 상기 3차원 얼굴 모델을 부분적으로 변형할 수 있다.
상기 머리 형상 완성부는 사용자의 설정에 따라 상기 3차원 얼굴 모델의 형상 보정 및 피부 보정을 수행하도록 하고, 상기 형상 보정이 수행된 경우에는 상기 적어도 하나의 얼굴 맵핑 포인트를 고정하면서 상기 3차원 얼굴 모델의 부분적 변형을 수행하도록 할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 개인화 3차원 얼굴 모델 생성장치는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고 3차원 얼굴 모델을 머리 형상에 정합할 수 있다.
본 발명의 일 실시예는 개인화 3차원 얼굴 모델 생성장치는 복수의 머리 형상 템플릿들 각각을 얼굴 영역의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성할 수 있다.
본 발명의 일 실시예는 개인화 3차원 얼굴 모델 생성장치는 복수의 머리 형상 템플릿들 각각의 고유 변곡점을 검출하여 상기 적어도 하나의 얼굴 매핑 포인트를 결정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 개인화 3차원 얼굴 모델 생성 시스템을 도시한 도면이다.
도 2는 도 1의 개인화 3차원 얼굴 모델 시스템의 구성을 설명하는 도면이다.
도 3은 도 1의 개인화 3차원 얼굴 모델 생성장치의 기능적 구성을 설명하는 도면이다.
도 4는 도 1의 개인화 3차원 얼굴 모델 생성장치의 기능 구성을 설명하는 흐름도이다.
도 5는 도 3에 의한 개인화 3차원 얼굴 모델 생성 과정을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 개인화 3차원 얼굴 모델 생성 시스템을 도시한 도면이다.
도 1을 참조하면, 개인화 3차원 얼굴 모델 생성 시스템(100)은 사용자 단말(110), 개인화 3차원 얼굴 모델 생성장치(130) 및 사용자 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 3차원 얼굴 이미지를 생성하고 개인화 3차원 얼굴 모델의 생성 요청을 제공할 수 있다. 일 실시예에서, 사용자 단말(110)은 개인화 3차원 얼굴 모델 생성장치(130)에 병합되어 구현될 수 있거나 또는 스마트폰, 노트북 또는 휴대용 컴퓨터로 별개의 독립 장치로서 구현될 수 있다.
사용자 단말(110)은 개인화 3차원 얼굴 모델 생성장치(130)와 통합 장치로서 로컬 방식 또는 별개 장치로서 원격 방식으로 유무선 연결될 수 있으며, 사용자 단말(110)은 3차원 얼굴 이미지를 생성할 수 있는 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다.
개인화 3차원 얼굴 모델 생성장치(130)는 사용자 단말(110)로부터 3차원 얼굴 이미지를 수신하여 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고 3차원 얼굴 모델을 머리 형상에 정합할 수 있도록 하는 컴퓨터 또는 서버로 구현될 수 있다. 보다 구체적으로, 개인화 3차원 얼굴 모델 생성장치(130)는 3차원 얼굴 이미지를 통한 개인화 3차원 얼굴 모델을 생성하는 서비스를 제공할 수 있다.
개인화 3차원 얼굴 모델 생성장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송수신할 수 있다.
사용자 데이터베이스(150)는 복수의 머리 형상 템플릿들을 저장하고 개인화 3차원 얼굴 모델 생성장치(130)의 요청에 따라 복수의 머리 형상 템플릿들을 제공할 수 있다. 또한, 사용자 데이터베이스(150)는 사용자별로 3차원 얼굴 모델을 저장 및 관리할 수 있다.
사용자 데이터베이스(150)는 복수의 머리 형상 템플릿들의 저장 과정에서 머리 형상 템플릿에 있는 적어도 하나의 얼굴 매핑 포인트를 점검할 수 있고, 이를 통해, 오류가 있는 머리 형상 템플릿을 사전에 제거할 수 있다.
도 2는 도 1의 개인화 3차원 얼굴 모델 시스템의 구성을 설명하는 도면이다.
도 2를 참조하면, 개인화 3차원 얼굴 모델 생성장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 본 발명의 실시예에 따른 개인화 3차원 얼굴 모델 생성 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 개인화 3차원 얼굴 모델 생성장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 개인화 3차원 얼굴 모델 생성장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 개인화 3차원 얼굴 모델 생성장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 학습 데이터베이스 구축 방법을 실행하는 명령들의 집합을 저장할 수 있다.
사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 개인화 3차원 얼굴 모델 생성장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 학습 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 도 1의 개인화 3차원 얼굴 모델 생성장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 개인화 3차원 얼굴 모델 생성장치(130)는 머리 형상 결정부(310), 얼굴 이미지 생성부(320), 3차원 얼굴 모델 생성부(330), 머리 형상 완성부(340) 및 제어부(350)를 포함할 수 있다.
머리 형상 결정부(310)는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정한다. 도 5는 개인화 3차원 얼굴 모델 생성 과정을 설명하는 도면으로, 머리 형상 템플릿(510)은 얼굴 영역(512)이 제외된, 즉, 3D 얼굴 모델 매핑 영역(512)을 포함하고 있으며, 3D 얼굴 모델 매핑 영역(512)에 3D 얼굴 모델(520)을 결합할 수 있다. 여기에서, 복수의 머리 형상 템플릿들(510) 각각은 얼굴 영역(512)의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성될 수 있다.
머리 형상 결정부(310)는 복수의 머리 형상 템플릿들 각각의 고유 변곡점(514)을 검출하여 적어도 하나의 얼굴 매핑 포인트를 결정할 수 있다. 여기에서, 고유 변곡점(514)은 복수의 머리 형상 템플릿들 각각의 형상에 따라 결정될 수 있고, 머리 형상의 특정 기준을 초과하는 변화 방향성을 가지는 지점을 고유 변곡점(514a~f)로 결정할 수 있다.
머리 형상 결정부(310)는 머리 형상이 결정되면 사용자의 설정에 따라 머리 형상의 볼륨을 조절할 수 있다. 일 실시예에서, 머리 형상의 볼륨 조절은 사용자의 마우스 드래그 및 키보드 등 입력장치 제어를 통해 수행될 수 있다. 머리 형상 결정부(310)는 입력장치 제어가 수행된 후 볼륨에 따라 적어도 하나의 얼굴 맵핑 포인트(514a~f)를 자동으로 적응시킬 수 있다. 머리 형상 결정부(310)는 볼륨 조절의 완료 후에 고유 변곡점(514)의 도출 실패로 인해 적어도 하나의 얼굴 맵핑 포인트(514a~f)의 적응을 성공적으로 수행할 수 없는 경우에는 머리 형상의 볼륨을 원래대로 되돌릴 수 있다. 다른 일 실시예에서, 머리 형상의 볼륨 조절은 사용자의 설정이 없더라도 머리 형상에 따라 자동으로 볼륨을 결정할 수 있다.
얼굴 이미지 생성부(320)는 얼굴을 스캔하여 3차원 얼굴 이미지(520)를 생성한다. 여기에서, 3차원 얼굴 이미지(520)는 도 5의 3D 얼굴 모델을 포함할 수 있으므로, 도면 부호는 동일하게 사용한다. 3차원 얼굴 이미지(520)는 딥러닝과 같은 인공지능을 통해 생성된 3차원 얼굴, 저작도구를 통해 생성한 3차원 얼굴 등 다양한 방법으로 생성된 3차원 얼굴 이미지를 포함할 수 있다. 도 1에서 설명한 바와 같이, 얼굴 이미지 생성부(320)는 사용자 단말(110)을 통해 구현될 수 있고, 개인화 3차원 얼굴 모델 생성장치(130)에 통합 장치 또는 별도 장치로 구현될 수 있다.
3차원 얼굴 모델 생성부(330)는 3차원 얼굴 이미지(520)에서 얼굴 특징점들을 추출하여 스케일 가능 3차원 얼굴 모델을 생성한다.
보다 구체적으로, 3차원 얼굴 모델 생성부(330)는 적어도 하나의 얼굴 맵핑 포인트(514a~f)를 기초로 3차원 얼굴 이미지(510)의 적어도 하나의 외곽 특징점을 결정할 수 있고, 적어도 하나의 외곽 특징점은 고유 변곡점(514)에 대응할 수 있다. 3차원 얼굴 모델 생성부(330)는 적어도 하나의 외곽 특징점의 결정을 고유 변곡점(514)의 도출 과정과 동일한 과정을 통해 수행할 수 있다.
3차원 얼굴 모델 생성부(330)는 적어도 하나의 외곽 특징점의 결정 과정에서 3차원 얼굴 모델(520)을 스케일 할 수 있다. 이는 머리 형상 템플릿(510)에 있는 얼굴 영역(512)에 3차원 얼굴 모델(520)을 보다 정교하게 정합시키기 위함이다. 일 실시예에서, 3차원 얼굴 모델 생성부(330)는 적어도 하나의 얼굴 맵핑 포인트와 적어도 하나의 외곽 특징점 간의 부정합을 검출할 수 있고, 특정 기준 범위를 넘어선 부정합이 검출된 경우에는 인접 부정합 외곽 특징점들을 기초로 해당 부정합 외곽 특징점의 위치를 조절하여 3차원 얼굴 모델(520)을 부분적으로 변형할 수 있다. 예를 들어, 3차원 얼굴 모델 생성부(330)는 외곽 특징점(520b)의 부정함이 검출된 경우에는 외곽 특징점(520a 및 520c)를 기초로 외곽 특징점(520b)의 위치를 조절할 수 있고, 조절 과정에서 차원 얼굴 모델(520)을 부분적으로 변형할 수 있다.
머리 형상 완성부(340)는 적어도 하나의 얼굴 매핑 포인트를 기초로 3차원 얼굴 모델(520)을 머리 형상(512)에 정합한다.
일 실시예에서, 머리 형상 완성부(340)는 사용자의 설정에 따라 3차원 얼굴 모델(510)의 형상 보정 및 피부 보정을 수행하도록 할 수 있다. 여기에서, 형상 보정은 3차원 얼굴 모델(510)의 전체적 또는 부분적 크기 및 방향 보정을 포함할 수 있고, 피부 보정은 피부색 보정을 포함할 수 있다.
머리 형상 완성부(340)는 형상 보정이 수행된 경우에는 적어도 하나의 얼굴 맵핑 포인트(514a~f)를 고정하면서 3차원 얼굴 모델(512)의 부분적 변형을 수행하도록 할 수 있다. 즉, 머리 형상 완성부(340)는 고유 변곡점(512)의 위치를 고정한 채 다른 부분의 변형을 수행할 수 있다.
제어부(360)는 개인화 3차원 얼굴 모델 생성장치(130)의 전체적인 동작을 제어하고, 머리 형상 결정부(310), 얼굴 이미지 생성부(320), 3차원 얼굴 모델 생성부(330) 및 머리 형상 완성부(340) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 도 1의 개인화 3차원 얼굴 모델 생성장치의 기능 구성을 설명하는 흐름도이다.
도 4에서, 머리 형상 결정부(310)는 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고(단계 S410), 복수의 머리 형상 템플릿들 각각은 상기 얼굴 영역의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성된다. 얼굴 이미지 생성부(320)는 얼굴을 스캔하여 3차원 얼굴 이미지를 생성한다(단계 S420).
3차원 얼굴 모델 생성부(330)는 3차원 얼굴 이미지에서 얼굴 특징점들을 추출하여 스케일 가능 3차원 얼굴 모델을 생성한다(단계 S430). 머리 형상 완성부(340)는 적어도 하나의 얼굴 매핑 포인트를 기초로 3차원 얼굴 모델을 머리 형상에 정합한다(단계 S440).
한편, 도 1 내지 도 4는 얼굴을 중심으로 설명하였으나, 개인화 3차원 얼굴 모델 생성장치(130)는 얼굴 이외에 팔, 몸통을 포함하는 신체의 특정 부분에 대해서도 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 개인화 3차원 얼굴 모델 생성 시스템
130 : 개인화 3차원 얼굴 모델 생성장치
310 : 머리 형상 결정부
320 : 얼굴 이미지 생성부
330 : 3차원 얼굴 모델 생성부
340 : 머리 형상 완성부
350 : 제어부

Claims (8)

  1. 얼굴 영역이 제외된 복수의 머리 형상 템플릿들 중 하나를 머리 형상으로 결정하고, 상기 복수의 머리 형상 템플릿들 각각은 상기 얼굴 영역의 가장자리를 따라 적어도 하나의 얼굴 매핑 포인트를 형성하도록 생성되는 머리 형상 결정부;
    얼굴을 스캔하여 3차원 얼굴 이미지를 생성하는 얼굴 이미지 생성부;
    상기 적어도 하나의 얼굴 매핑 포인트를 기초로 상기 3차원 얼굴 이미지의 가장자리를 따라 결정되는 적어도 하나의 외곽 특징점을 얼굴 특징점들로서 추출하여 상기 얼굴 영역에 대응되는 스케일 가능 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성부; 및
    상기 적어도 하나의 얼굴 매핑 포인트를 기초로 상기 3차원 얼굴 모델을 상기 머리 형상에 정합하여 상기 3차원 얼굴 이미지가 상기 얼굴 영역 상에서 표현되도록 하는 머리 형상 완성부를 포함하되,
    상기 3차원 얼굴 모델 생성부는 상기 얼굴 모델을 상기 머리 형상 템플릿에 맞춰 스케일하고, 상기 적어도 하나의 얼굴 매핑 포인트와 상기 적어도 하나의 외곽 특징점 간의 부정합을 검출하고, 특정 기준 범위를 넘어선 부정합이 검출된 경우에는 인접 부정합 외곽 특징점들을 기초로 해당 부정합 외곽 특징점의 위치와 주변의 위치를 조절하여 상기 3차원 얼굴 모델을 부분적으로 변형하는 것을 특징으로 하는 개인화 3차원 얼굴 모델 생성장치.
  2. 제1항에 있어서, 상기 머리 형상 결정부는
    상기 복수의 머리 형상 템플릿들 각각의 고유 변곡점을 검출하여 상기 적어도 하나의 얼굴 매핑 포인트를 결정하는 것을 특징으로 하는 개인화 3차원 얼굴 모델 생성장치.
  3. 제2항에 있어서, 상기 머리 형상 결정부는
    상기 머리 형상이 결정되면 사용자의 설정에 따라 상기 머리 형상의 볼륨을 조절하고 상기 볼륨에 따라 상기 적어도 하나의 얼굴 매핑 포인트를 자동으로 적응시키는 것을 특징으로 하는 개인화 3차원 얼굴 모델 생성장치.
  4. 삭제
  5. 제1항에 있어서, 상기 3차원 얼굴 모델 생성부는
    상기 적어도 하나의 외곽 특징점의 결정 과정에서 상기 3차원 얼굴 모델을 스케일하는 것을 특징으로 하는 개인화 3차원 얼굴 모델 생성장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 상기 머리 형상 완성부는
    사용자의 설정에 따라 상기 3차원 얼굴 모델의 형상 보정 및 피부 보정을 수행하도록 하고, 상기 형상 보정이 수행된 경우에는 상기 적어도 하나의 얼굴 매핑 포인트를 고정하면서 상기 3차원 얼굴 모델의 부분적 변형을 수행하도록 하는 것을 특징으로 하는 개인화 3차원 얼굴 모델 생성장치.

KR1020220007141A 2022-01-18 2022-01-18 개인화 3차원 얼굴 모델 생성장치 KR102555414B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220007141A KR102555414B1 (ko) 2022-01-18 2022-01-18 개인화 3차원 얼굴 모델 생성장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220007141A KR102555414B1 (ko) 2022-01-18 2022-01-18 개인화 3차원 얼굴 모델 생성장치

Publications (1)

Publication Number Publication Date
KR102555414B1 true KR102555414B1 (ko) 2023-07-17

Family

ID=87430147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220007141A KR102555414B1 (ko) 2022-01-18 2022-01-18 개인화 3차원 얼굴 모델 생성장치

Country Status (1)

Country Link
KR (1) KR102555414B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014844A (ko) * 2000-07-18 2002-02-27 최창석 3차원 얼굴 모델링 방법
CN103366400A (zh) * 2013-07-24 2013-10-23 深圳市华创振新科技发展有限公司 一种三维头像自动生成方法
KR20180097915A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014844A (ko) * 2000-07-18 2002-02-27 최창석 3차원 얼굴 모델링 방법
CN103366400A (zh) * 2013-07-24 2013-10-23 深圳市华创振新科技发展有限公司 一种三维头像自动生成方法
KR20180097915A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US20220107621A1 (en) System and methods for generating fabrication parameters for fabrication of a part
WO2020098686A1 (zh) 人脸检测模型的训练方法、人脸关键点的检测方法和装置
US9710462B2 (en) System and method for automatically translating an imaged surface of an object
US10747203B2 (en) Modeling process device, modeling process system, and medium
KR102555414B1 (ko) 개인화 3차원 얼굴 모델 생성장치
JP2016168828A (ja) 印刷データ分割装置及びプログラム
US20210342496A1 (en) Geometry-aware interactive design
KR102520759B1 (ko) 인공 지능을 이용하여, 조형물의 표면 조도를 예측하여 제공하는 장치 및 방법, 및 조형 조건을 예측하여 제공하는 장치 및 방법
CN112106054A (zh) 供数据传输的三维模型的制备
JP2020205012A (ja) 文書画像処理装置、情報処理方法及びプログラム
KR102065692B1 (ko) 3차원 프린팅을 위한 두께 모델 생성 장치 및 방법
KR20230147513A (ko) 이미지에 기반한 문서 템플릿 생성 방법 및 장치
JP5996496B2 (ja) 重ね押し印検出装置、方法、およびプログラム
US20220379379A1 (en) Generating supports
JP2015103096A (ja) 情報処理装置、情報処理装置のデータ処理方法、及びプログラム
KR20220163584A (ko) 기계가공 특징형상 인식 방법 및 이를 수행하기 위한 컴퓨팅 장치
Song et al. Feature reconstruction for freeform surface design
TW201828030A (zh) 手寫字服務系統

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant