KR102154470B1 - 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법 - Google Patents

다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법 Download PDF

Info

Publication number
KR102154470B1
KR102154470B1 KR1020207016099A KR20207016099A KR102154470B1 KR 102154470 B1 KR102154470 B1 KR 102154470B1 KR 1020207016099 A KR1020207016099 A KR 1020207016099A KR 20207016099 A KR20207016099 A KR 20207016099A KR 102154470 B1 KR102154470 B1 KR 102154470B1
Authority
KR
South Korea
Prior art keywords
hairstyle
hair
hairstyles
database
searched
Prior art date
Application number
KR1020207016099A
Other languages
English (en)
Other versions
KR20200070409A (ko
Inventor
치레이 장
위안시 마
잉량 장
Original Assignee
플렉스-브이알 디지털 테크놀로지 (상하이) 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 플렉스-브이알 디지털 테크놀로지 (상하이) 씨오., 엘티디. filed Critical 플렉스-브이알 디지털 테크놀로지 (상하이) 씨오., 엘티디.
Publication of KR20200070409A publication Critical patent/KR20200070409A/ko
Application granted granted Critical
Publication of KR102154470B1 publication Critical patent/KR102154470B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00268—
    • G06K9/6212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

다중 특징 검색 및 변형에 기반한 인체 헤어스타일 생성 방법으로서, 헤어스타일 마스크를 획득하는 단계; 얼굴의 특징점을 식별하여 헤어스타일 데이터베이스 내의 얼굴과 매칭시키는 단계; 이미지와 표준 얼굴을 정렬시켜, 대응되는 헤어 영역을 얻는 단계; 상기 헤어 영역 및 헤어스타일 데이터베이스 내의 모든 정면 얼굴의 헤어 마스크의 민코프스키 거리를 계산하고, 오름차순으로 배열한 후 대응되는 가중치를 부여하는 단계; 딥 러닝 네트워크를 트레이닝하여, 상이한 스케일에서 헤어 베이스 블록의 헤어스타일을 검출하는 단계; 및 가장 유사한 헤어 이미지를 추출하는 단계를 포함한다. 본 발명은 단일 정면 얼굴 사진을 사용하고, 데이터베이스를 검색함으로써 대규모 3차원 헤어스타일 데이터베이스에서 사진과 가장 유사한 3차원 헤어 모델을 검색함으로써, 수동 모델링을 방지하여, 효율을 향상시키고, 비교적 높은 충실도(fidelity)를 보장한다.

Description

다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법
본 발명은 3차원 이미지 분야에 관한 것으로, 구체적으로는 다중 특징 검색 및 변형에 기반한 인체 헤어스타일 생성 방법에 관한 것이다.
헤어 모델의 생성은 3차원 헤드부 재구성 기술에 속하며, 가상 캐릭터 이미지의 중요한 부분이자 가상 인물의 가장 중요한 특징 중 하나이다. 일반적으로 헤드부 이미지는 얼굴과 헤어 두 부분으로 나뉜다.
헤어 재구성 기술에 있어서, 현재 널리 사용되는 방법은, 한 장의 정면 샷과 한 장의 측면 샷을 정보 소스로 사용하여, 인물의 정면, 측면의 얼굴 및 헤어 특징점을 추출함으로써 3차원 헤드부 모델을 생성하고, 헤어 특징점에 따라 2차원 헤드부 텍스처를 생성하여 3차원 헤드부 모델에 매핑시키며, 헤어 영역의 특징점에 따라, 쿤스(Coons) 곡면을 이용하여 헤어 영역의 피팅을 수행하고, 쿤스 곡면을 변형시켜, 텍스처 매핑을 수행하는 것이다.
그런데 단일 사진에 기반하여 모델링을 수행하기도 하며, 이는 일반적으로 3차원 얼굴 데이터베이스로부터 유용한 사전 지식을 추출한 다음, 사진 속의 얼굴에 대응되는 3차원 모델을 추측하는 것이다.
또한, WO2016/CN107121호 문서는 사용자 헤어 모델의 재구성 방법, 장치 및 단말기를 공개하였는데, 상기 방법은, 재구성된 사용자의 얼굴 정면 이미지를 획득하는 단계; 이의 헤어 영역 이미지를 결정하는 단계; 헤어 영역을 데이터베이스 내의 3D 헤어 모델과 매칭시켜, 상기 헤어 영역 이미지와 가장 근접한 3D 헤어 모델을 얻는 단계; 및 상기 헤어 영역과 가장 근접한 3D 헤어 모델을 재구성된 사용자의 3D 헤어 모델로서 결정하는 단계를 포함한다.
중국 특허 출원 제 201680025609.1호는 3차원 헤어 모델링 방법 및 장치에 관한 것인데, 상기 방법은, 생성될 헤어의 3D 헤드부 모델 및 기설정된 기준 헤드부 모델 사이의 제1 좌표 변환 관계를 결정하고, 3D 헤드부 모델과 기설정된 3D 헤어 템플릿 사이의 제2 좌표 변환 관계를 결정하며, 제1 좌표 변환 관계 및 제2 좌표 변환 관계에 기반하여 3D 헤드부 모델을 3D 헤어 템플릿과 정합시키는 단계; 3D 헤어 템플릿과 기준 헤드부 모델을 매칭시키는 단계; 및 정합 후의 3D 헤어 템플릿에 오류 영역이 존재할 경우, 레이디얼 기초 함수(RBF)를 사용하여 3D 헤어 템플릿의 오류 영역 내의 헤어를 변형시켜 오류 영역을 보정하는 단계를 포함하되, 오류 영역은 3D 헤어 템플릿 내의 3D 헤드부 모델을 완전히 가리지 않은 두피 계층 영역, 또는 3D 헤어 템플릿 내의 모근 영역이 3D 헤드부 모델을 가린 비 두피 계층 영역을 포함한다.
중국 특허 출원 제201310312500.4호는 3차원 헤드부 이미지 자동 생성 방법에 관한 것인데, 상기 방법은, 3차원 얼굴 데이터베이스를 수집하는 단계; 3차원 헤어스타일 데이터베이스를 수집하는 단계; 입력된 정면 얼굴 사진에 대해, 얼굴 검출 알고리즘을 사용하여 얼굴을 검출하고, 활동적 형상 모델을 사용하여 얼굴 정면 특징점 위치를 결정하는 단계; 3차원 얼굴 데이터베이스, 입력된 얼굴 사진 및 얼굴 특징점 좌표에 기반하여, 변형 모델 방법으로 3차원 얼굴 모델을 생성하는 단계; 입력된 정면 얼굴 사진에 대해, 마르코프 랜덤 필드(Markov Random Field)에 기반한 헤어 방법으로 헤어를 분할하는 단계; 헤어 분할 결과에 따라, 헤어 텍스처를 추출하는 단계; 최종 매칭된 헤어 모델을 획득하는 단계; 얼굴 모델과 헤어 모델을 합성하는 단계를 포함한다. 수작업으로 헤어스타일을 첨가하는 것을 방지하여, 효율을 향상시키고, 비교적 높은 충실도(fidelity)를 보장할 수 있다.
그밖에, 중국 특허 출원 제201410161576.6호는 가상 인물의 헤어 생성 장치를 공개하였는데, 상기 장치는, 얼굴 정면 사진을 획득하는 획득 유닛; 상기 획득한 얼굴 정면 사진에 따라, 3차원 헤드부 모델을 결정하고, 헤어 템플릿의 적응값을 결정하는 제1 결정 유닛; 상기 제1 결정 유닛에 의해 결정된 상기 헤어 템플릿의 적응값에 따라, 기설정된 헤어 템플릿 표준 적응값 및 표준 헤어 템플릿의 설명 정보의 대응 관계에서, 상기 헤어 템플릿의 적응값에 대응되는 표준 헤어 템플릿의 설명 정보를 결정하는 제2 결정 유닛; 상기 제2 결정 유닛에 의해 결정된 상기 표준 헤어 템플릿의 설명 정보 및 상기 제1 결정 유닛에 의해 결정된 상기 3차원 헤드부 모델에 따라, 상기 3차원 헤드부 모델에 적용되는 전용 헤어 템플릿을 얻는 생성 유닛을 포함한다. 사진 속 인물의 헤어를 재구성할 경우, 한 장의 인물 정면 사진만 필요하며, 헤어 특징점을 수집할 필요가 없다.
본 발명은 종래의 문제를 해결하고자, 다중 특징 검색 및 변형에 기반한 인체 헤어스타일 생성 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하고자, 본 발명에서 사용되는 기술적 해결수단은 하기와 같은 단계를 포함한다.
단계 1)로서, 단일 이미지의 헤어스타일의 자동 분할에 기반하여 이에 대응되는 헤어스타일 마스크를 얻는다.
단계 2)로서, 얼굴 특징점 식별 알고리즘을 사용하여, 입력된 이미지 얼굴의 특징점을 식별하고, 또한 이들 특징점 및 헤어스타일 데이터베이스의 표준 얼굴의 특징점에 따라 매칭하여 대응되는 워핑(warphing) 함수를 구한다.
단계 3)으로서, 얻은 워핑 함수를 사용하여, 입력된 이미지의 얼굴과 표준 얼굴을 정렬시킴으로써 대응되게 정렬된 헤어 영역을 얻는다.
단계 4)로서, 형상 영역의 유사성을 얻기 위해, 정렬 후의 검색할 헤어의 마스크와 헤어스타일 데이터베이스 내의 모든 헤어스타일의 정면의 마스크 사이의 대응되는 민코프스키(Minkowski) 거리를 계산하고, 얻은 거리를 오름차순으로 배열한 후에 대응되는 가중치를 부여한다.
단계 5)로서, 헤어의 세부 특징을 유지하기 위해, 하우스도르프(Hausdorff) 거리를 통해 헤어의 세부 유사도에 대해 계산을 수행하고, 단계 4)를 반복하여 가중치를 부여한다. 단계 4)의 가중치를 결합하여 매칭되는 헤어스타일에 대하여 순서대로 배열하고, 가장 유사한 10순위까지의 헤어스타일을 추출한다.
단계 6)으로서, 10개의 가장 유사한 헤어의 플로우 필드를 계산하여, 검출할 헤어스타일과 매칭 연산을 수행함으로써, 5개의 보다 유사한 헤어스타일을 얻는다.
단계 7)로서, 딥 러닝 네트워크를 트레이닝하여, 상이한 스케일에서 헤어 베이스 블록의 헤어스타일을 검출하되，여기에서 스트레이트 헤어, 볼륨 헤어, 작은 볼륨 헤어, 땋은 머리 4가지 기본 헤어스타일로 분류된다. 그리고 나서, 검출할 헤어 이미지와 5개의 후보 헤어에 대해 멀티 스케일의 히스토그램 매칭을 수행하여 상이한 매칭 점수를 획득한다.
여러 거리의 가중치 혼합에 따라, 헤어스타일 데이터베이스의 각각의 헤어스타일의 유사하지 않은 점수를 얻고, 이들 점수를 순서대로 배열하여, 가장 작은 점수를 취한 것이 바로 필요한 헤어 모델이다.
단계 3에서, 입력된 얼굴의 특징점과 표준 얼굴의 특징점을 매칭 정렬시키되,
즉 하나의 2차원 아핀(affine) 변환을 구하며,
Figure 112020086563172-pct00046
상기 식에서, s는 축소 비율이고,
Figure 112020057658568-pct00002
는 회전 각도이며, t는 수평 이동의 변위를 나타내고, R은 하나의 직교 매트릭스이다.
단계 4에서, 우선 민코프스키 거리에 기반하여，헤어스타일 마스크를 검색하고; 그리고 나서, 현저한 특징에 대해, 가중 중첩을 수행하며; 그 다음으로, 하우스도르프 거리에 기반하여, 헤어스타일에 대해 다시 검색하고; 마지막으로, 헤어 플로우 정보를 기반으로 헤어스타일을 검색한다.
단계 4에서, 검색할 헤어스타일의 마스크를 H로 정의하고，헤어스타일 데이터베이스 내의 하나의 헤어스타일의 마스크를 Bi로 정의한다. 서로 대응되는 민코프스키 거리는,
Figure 112020057658568-pct00003
이되,
k는 마스크를 하나의 벡터로 당긴 후의 인덱스이다. P는 민코프스키 거리의 파라미터이며, p는 2를 취할 수 있다. 상기 공식을 통해, 현재 입력된 헤어스타일과 데이터베이스 내의 모든 헤어스타일을 사용하여 민코프스키 거리를 비교할 수 있으며, 마지막으로 오름차순으로 배열하여, 헤어스타일 데이터베이스에서 대응되는 헤어스타일의 점수 순위 벡터 M을 얻는다.
단계 4에서, 헤어스타일의 매우 현저한 특징에 대해, 대응되는 보다 높은 가중치를 부여하고; 검색된 모든 후보 헤어스타일에 대해, 이마 부분을 기반으로 25 % 가중치를 증가시키며;
표준 헤드부의 앞머리 영역을 L로 설정하고, 얼굴과 정렬한 이후, 입력된 사진의 L 영역과 표준 헤드부의 L 영역을 비교하여, 불일치하는 부분이 있으면 가중치를 1.25 배 증가시키며; 이들 현저한 영역과 이전의 민코프스키 거리를 서로 더하여 순서대로 배열함으로써, 개선된 민코프스키 거리 벡터 M2를 얻는다.
단계 4에서, 검색할 헤어스타일 마스크를 H로 정의하고, 헤어스타일 데이터베이스의 표준 헤어스타일을 B로 정의한다. 서로 대응되는 하우스도르프 거리는,
Figure 112020086563172-pct00047
이되,
여기서, sup는 상한을 나타내고, inf는 하한을 나타내며;
상기 공식을 통해 현재 입력된 헤어스타일과 데이터베이스 내의 모든 헤어스타일을 사용하여 민코프스키 거리를 비교할 수 있으며, 마지막으로 오름차순으로 배열하여, 대응되는 순위 벡터 H를 얻는다.
단계 4에서, 구배 기반 방법을 사용하여 헤어의 플로우 필드를 구하고; 입력된 헤어스타일 사진 I에 대해, 우선 헤어의 횡방향 구배를 구하고,
Figure 112020057658568-pct00005
그리고 나서 헤어의 종방향 구배를 구하되,
Figure 112020057658568-pct00006
이 경우, 헤어의 플로우 필드 C는
Figure 112020057658568-pct00007
를 만족하여,
대입하여 플로우 필드 C를 구할 수 있고; C의 유사도를 판단 기준으로서 배열에 추가하여 배열 벡터 L을 얻는다.
단계 5에서, 헤어 볼륨 베이스 블록의 헤어스타일에 기반하여 식별 및 매칭을 수행하고, 라벨링된 상이한 유형의 헤어 데이터 및 딥 러닝 네트워크를 사용하여 모델 트레이닝을 구축함으로써 헤어넷(HairNet)을 얻으며;
입력된 헤어를 가우시안 피라미드(Gaussian pyramid)를 통해 상이한 스케일의 입력된 이미지 및 헤어스타일 데이터베이스의 표준 이미지로 샘플링하고;
헤어 부분을 슈퍼 픽셀 분할한 후, 그리고 나서 이들 헤어 블록을 일치하게 끌어올려, 크기가 동일한 패치를 얻고; 패치를 헤어넷에 도입시킨다.
단계 6에서，다중 특징 융합에 기반하여 검색하며, 즉 M2, H 및 L에 대해, 각각 가중치 a:b:c를 부여하고, 3개의 벡터를 융합하여 종합 배열 벡터 F를 얻으며,
Figure 112020057658568-pct00008
F를 오름차순으로 배열하고, 순위에서 앞 N위까지 선택하여 후보 헤어스타일로 사용하며;
이 N개의 후보 헤어스타일에서, 헤어 볼륨-스트레이트 유사 정도를 순서대로 배열하여, 최상위 순위인 것을 선택하여, 마지막으로 검색할 후보 결과로 사용한다.
종래 기술에 비해, 본 발명은 단일 정면 얼굴 사진을 사용하고, 데이터베이스를 검색함으로써 대규모 3차원 헤어스타일 데이터베이스에서 사진과 가장 유사한 3차원 헤어 모델을 검색하여, 수동 모델링을 방지함으로써 효율을 향상시키고, 또한 검색된 모델에 대하여 일정한 정도로 변형을 수행하여, 생성된 3차원 헤어스타일과 입력된 이미지가 가능한 한 서로 유사하도록 하므로, 비교적 높은 충실도를 보장한다.
도 1은 마스크를 획득하는 동작 설명도이다.
도 2는 얼굴에 특징점을 라벨링하는 모식도이다.
도 3은 얼굴의 핵심 포인트를 획득하는 흐름도이다.
도 4는 상이한 유형의 헤어 데이터의 참조도이다.
도 5는 헤어 볼륨 베이스 블록의 헤어스타일을 식별 및 매칭하는 동작의 흐름도이다.
도면에서, C: CONV 계층(Conv layer), P: 통합 계층(Pooling layer), D: 2d 덴스 블록(2d Dense Block), T: 2d 천이 계층(2d Transition layer)이다.
도 6a-6d는 헤어 볼륨 베이스 블록의 헤어스타일을 식별 및 매칭하는 모식도이다.
첨부된 도면을 결합하여 본 발명에 대해 상세하게 설명한다.
본 실시예는 고정밀도로 인물의 3차원 초상 사진을 생성하기 위해 다중 특징 검색 및 변형에 기반한 인체 헤어스타일 생성 방법과, 단일 인물 정면 사진을 입력하여, 대규모 3차원 헤어스타일 데이터베이스에서 입력된 사진에 따라 상기 사진과 가장 유사한 3차원 헤어 모델을 검색하는 방법을 제안하며, 또한 검색된 모델에 대하여 일정한 정도로 변형을 수행하여, 생성된 3차원 헤어스타일과 입력된 이미지가 가능한 한 유사하도록 함으로써, 인물 초상 사진이 입력된 3차원 헤어스타일을 얻는다.
우선, 데이터 전처리 단계로서, 3차원 헤어스타일 데이터베이스 내의 모든 헤어스타일의 정면 사진과 헤어에 대응되는 마스크 이미지를 렌더링한 다음 2차원 이미지와 비교하여 검색 결과를 결정해야 한다.
단계 1로서, 헤어스타일을 분할한다. 단일 정면 얼굴 이미지 내에서 헤어의 구체적인 위치를 찾기 위해, 우선 이미지에 대해 분할하고 이로써 형상을 가진 마스크(mask)를 얻어 헤어스타일 데이터베이스 중의 마스크와 비교한다. 도 1을 참조하면, 도 1은 마스크를 획득하는 동작의 설명도를 도시하며; 헤어스타일의 분할은 수동으로 구현할 수 있고, 자동으로 구현될 수도 있다. 여기서,
수동 구현은, PS 또는 AE 등 포토샵을 지지하는 소프트웨어를 사용하여, 수동으로 헤어 영역 프레임을 선택함으로써 헤어 마스크를 얻는 것이다.
자동 구현은, 수작업으로 헤어를 포함한 단일 정면 사진과 이와 대응되는 헤어스타일 마스크를 포함하는 대량의 데이터 집합을 제작할 수 있으며; 딥 신경망을 트레이닝하여 헤어의 자동 분할을 수행한다.
단계 2로서, 얼굴 특징점을 식별하고 정렬시킨다.
헤어가 포함된 위치가 대체적으로 동일하도록 하기 위해, 검색하기 전에 우선 입력된 인물 초상 사진을 얼굴의 특징점을 통해 정렬시켜야 한다.
우선, 도 2를 참조하면, 본 실시예에서는 표준 얼굴에 68개의 특징점을 라벨링한다.
그리고 나서, 캐스케이드 회귀 인자를 사용하는 ERT 캐스케이드 회귀 알고리즘을 사용하여 얼굴 특징점을 검출하는데, 우선 일련의 라벨링된 얼굴 이미지를 트레이닝 집합으로 사용하여야 한다. 본 실시예는 약 2000개의 랜드마크(landmark)가 라벨링된 트레이닝 데이터를 포함하는 오픈 소스의 데이터 집합을 사용하며, 상기 데이터 집합을 사용하여 DCNN 초급에 기반한 하나의 얼굴 특징점 예측기를 트레이닝한다. 네트워크는 콘볼루션 신경망(convolutional neural network) 구조를 트레이닝의 기초로 사용한다. 한 장의 이미지를 획득한 후, 하나의 초기 형상(initial shape)을 생성하며, 즉 우선 하나의 대체적인 특징점 위치를 추정하고, 그리고 나서 그래디언트 부스팅(Gradient boosting) 알고리즘을 사용하여 초기 형상과, 결정된 실측 데이터(ground truth)의 제곱 오차 총합을 감소시킨다. 최소 제곱법을 사용하여 오차를 최소화하고 각 레벨의 캐스케이드 회귀 인자를 얻는다. 핵심 공식은 하기 도면에 도시된 바와 같다. S(t)는 현재 S 상태의 추정을 나타낸다. 각각의 리그레서(Regressor)
Figure 112020057658568-pct00009
는 각각의 캐스케이드에서 현재 상태 S(t)와 입력된 사진 I로부터 분석하여 얻으며, 공식은 하기와 같다.
Figure 112020057658568-pct00010
캐스케이드의 가장 핵심 부분은 이의 예측이 특징을 기반으로 한다는 것인데, 예를 들어, 픽셀의 그레이값은 현재 상태와 관련된 I로부터 계산된다.
본 실시예는 그래디언트 부스팅 러닝의 회귀 트리를 사용하여 각각의 rt를 트레이닝하며, 최소 제곱법을 사용하여 오차를 최소화한다. t는 캐스케이드 번호를 나타내고,
Figure 112020086563172-pct00011
는 현재 레벨의 리그레서를 나타낸다. 리그레서의 입력 파라미터는 이미지I 및 앞 레벨의 리그레서가 업데이트된 후의 특징점이고, 사용되는 특징은 그레이값 또는 기타일 수 있다. 각각의 리그레서는 복수의 트리로 조성되고, 각각의 트리 파라미터는 현재 형상(current shape) 및 결정된 실측 데이터(ground truth)의 좌표 차 및 랜덤으로 선택된 픽셀에 따라 트레이닝하여 얻은 것이다.
도 3을 참조하면, ERT는 트리(Tree) 러닝 과정에서, 형상의 업데이트값을 직접 리프 노드(leaf node)에 저장한다. 초기 위치 S가 러닝된 모든 트리를 통과한 후, 평균값 형상(meanshape)에 모든 경과한 리프 노드를 추가하면, 최종 얼굴 핵심 포인트 위치를 얻을 수 있다.
단계 3으로서, 이미지와 표준 얼굴을 정렬시켜, 대응되는 헤어 영역을 얻는다.
얼굴의 정렬에 대해, 입력된 얼굴의 68개의 검출된 특징점과 표준 얼굴의 68개의 특징점을 매칭 정렬시켜야 한다. 즉 하나의 2차원 아핀 변환을 구하며,
Figure 112020086563172-pct00048
상기 식에서, s는 축소 비율이고,
Figure 112020057658568-pct00013
는 회전 각도이며, t는 수평 이동의 변위를 나타내고, R은 하나의 직교 매트릭스이다.
Figure 112020057658568-pct00014
다음으로 최소 제곱법을 사용하여 회전, 수평 이동, 축소 매트릭스를 구하여, 제1 벡터의 포인트가 가능한 한 제2 벡터의 포인트에 정렬되도록 한다. 2개의 형상 매트릭스는 각각 p, q이다. 매트릭스의 각각의 행은 하나의 특징점의 x, y 좌표를 나타내고, 68개의 특징점 좌표가 있다고 가정하면,
Figure 112020086563172-pct00015
이다. 최소 제곱법의 타겟 함수는,
Figure 112020057658568-pct00016
이며,
여기서, pi 매트릭스의 제i행을 매트릭스 형태로 적으면,
Figure 112020057658568-pct00017
이고,
Figure 112020057658568-pct00018
는 F 프로베니우스(Frobenius)를 나타낸다.
상기 방정식은 해석적 해가 존재하며, 우선 수평 이동의 영향은 제거될 수 있고, 각각의 포인트에 대해 다른 모든 68개의 포인트를 뺀 평균값은,
Figure 112020057658568-pct00019
이며,
그리고 나서, 각각의 포인트에서 대응되는 데이터 평균값을 빼면,
Figure 112020057658568-pct00020
이다.
나아가, 이미 처리된 포인트에 대해 제곱 평균 제곱 거리 s로 나누어 스케일링 효과를 줄일 수 있으며, 즉
Figure 112020057658568-pct00021
이다.
이상의 처리를 거친 후, 상기 문제의 해석적 해를 구할 수 있다.
Figure 112020057658568-pct00022
이렇게 R을 구할 수 있다. 이상의 해를 구하는 것을 통해, 얼굴에 대응되게 정렬된 워핑 함수를 구할 수 있으며, 즉 대응되는 s, R, T이다. 얻은 워핑 함수를 도려낸 헤어스타일 마스크에 적용시켜, 정렬된 헤어스타일을 얻을 수 있다.
단계 4로서，상기 헤어 영역 및 헤어스타일 데이터베이스 내의 모든 정면 얼굴의 헤어 마스크의 민코프스키 거리를 계산한다.
우선, 민코프스키 거리에 기반한 헤어스타일 마스크 검색을 수행한다.
대응되는 두 장의 정렬된 헤어스타일 마스크를 추출하고, 민코프스키 거리에 의해 2개의 헤어스타일 마스크의 형상 유사 정도를 비교할 수 있으며, 민코프스키 거리 대부분은 정합되지 않는 영역의 면적을 판단하는 것인데, 정합되지 않는 영역이 많을수록 대응되는 민코프스키 거리값이 더 크다. 따라서, 검색할 헤어스타일의 마스크를 H로 정의하고，헤어스타일 데이터베이스 내의 하나의 헤어스타일의 마스크를 Bi로 정의한다. 서로 대응되는 민코프스키 거리는,
Figure 112020057658568-pct00023
이되,
k는 마스크를 하나의 벡터로 당긴 후의 인덱스이다. P는 민코프스키 거리의 파라미터이며, p는 2를 취할 수 있다. 상기 공식을 통해, 현재 입력된 헤어스타일과 데이터베이스 내의 모든 헤어스타일을 사용하여 민코프스키 거리를 비교할 수 있으며, 마지막으로 오름차순으로 배열하여, 헤어스타일 데이터베이스에서 대응되는 헤어스타일의 점수 순위 벡터 M을 얻는다.
다음으로는, 현저한 특징의 가중 중첩이다.
앞머리와 같은 매우 현저한 특징의 경우, 상응하는 더 높은 가중치를 부여하여, 검색된 헤어스타일이 앞머리 부분에서 가능한 한 유사하도록 한다. 검색된 모든 후보 헤어스타일에 대해, 이마 부분을 기반으로 25 % 가중치가 증가할 것이며; 표준 헤드부 앞머리 영역을 L라고 가정하면, 얼굴을 정렬한 후 입력된 사진의 L 영역에서, 표준 헤드부 L 영역과 비교하여 불일치하는 부분이 있으면, 가중치를 1.25배 증가시켜 서로의 유사도가 더 낮도록 한다. 이들 현저한 영역과 이전의 민코프스키 거리를 서로 더하여, 순서대로 배열시키면, 개선된 민코프스키 거리 벡터 M2가 얻어진다.
그 다음으로, 하우스도르프 거리에 기반한 헤어스타일 검색을 수행한다.
헤어 매칭 정도를 검색할 경우, 헤어스타일의 세부 사항은 매우 중요한 지표이다.
예를 들어, 일부 헤어스타일은 양측에 매우 가늘고 긴 땋은 머리가 있을 수 있는데 그러면, 마스크 정합 면적에서는 중요한 영향을 미치지 않을 수 있지만, 사람의 시각적 인상에 있어서는 매우 중요하다.
하우스도르프 거리를 적용시킴으로써 헤어의 세부 사항이 대응되게 유지될 수 있도록 한다. 하우스도르프 거리는 실제로 2개의 헤어스타일에서 가장 상이한 부분의 차이 크기로 판단된다. 여전히 검색할 헤어스타일 마스크를 H로 정의하고, 헤어스타일 데이터베이스의 표준 헤어스타일을 B로 정의한다. 대응되는 하우스도르프 거리는,
Figure 112020086563172-pct00049
이며,
여기서, sup는 상한을 나타내고, inf는 하한을 나타낸다. 마찬가지로, 이상의 공식을 통해 현재 입력된 헤어스타일과 데이터베이스 내의 모든 헤어스타일에 대해 민코프스키 거리의 비교를 수행하며, 마지막으로 오름차순으로 배열하여 대응되는 순위 벡터 H를 얻는다.
마지막으로, 헤어 플로우 정보를 기반으로 헤어스타일을 검색한다.
검색된 헤어스타일이 플로우 방향, 볼륨 스트레이트 정도에서 가능한 한 유사하도록 하기 위해, 우선 구배에 기반한 방법으로 헤어의 플로우 필드를 구하고; 일반적으로, 헤어의 플로우 방향은 헤어의 구배 필드와 수직되어야 하므로, 따라서 입력된 헤어스타일 사진 I에 대해, 우선 헤어의 횡방향 구배를 구해야 한다.
Figure 112020057658568-pct00025
다시 헤어의 종방향 구배를 구하고,
Figure 112020057658568-pct00026
이 경우, 헤어의 플로우 필드 C는
Figure 112020057658568-pct00027
를 만족하여,
대입하여 플로우 필드 C를 구할 수 있다.
상이한 헤어는 상이한 플로우 필드가 존재하며, 플로우 방향 정보를 획득한 이후, 각각의 헤어의 픽셀 포인트에 기반한 플로우 방향과 후보 헤어 대응 포인트의 플로우 방향을 비교하여, 최종 유사도 정보 C를 얻는다. C의 유사도를 판단 기준으로서 배열에 추가한다. 배열 벡터 L을 얻는다.
도 4를 참조하면, 단계 5로서, 헤어 볼륨 베이스 블록의 헤어스타일에 기반하여 식별 및 매칭을 수행한다. 대량의 라벨링된 4가지 상이한 유형의 헤어 데이터(스트레이트 헤어, 볼륨 헤어, 땋은 머리 및 작은 볼륨 헤어)를 이용하고, 딥 러닝 네트워크 구축 모델로 트레이닝하여 헤어넷(HairNet)을 얻는다.
도 5 및 도 6a-6d를 참조하면, 우선 입력된 헤어를 가우시안 피라미드를 통해 상이한 스케일의 입력된 이미지 및 헤어스타일 데이터베이스의 표준 이미지로 샘플링한다. 이어서, 헤어 부분에 대해 슈퍼 픽셀(super pixel)의 분할을 수행하여 크기가 상이한 헤어 블록을 얻고, 이들 헤어 블록에 대해 일치하게 끌어올려 크기가 동일한 패치(patch)를 얻으며, 이들 패치를 헤어넷에 도입시켜 최종 각각의 패치가 최대 확률로 속하는 유형을 얻는다.
후보 헤어 및 입력된 헤어의 상이한 베이스 블록의 헤어 유형을 획득한 이후, 입력된 헤어 및 헤어스타일 데이터베이스 내의 후보 헤어에 대해 매칭시킨다. 구체적인 방법은, 헤어를 블록으로 분할한 다음 일일이 대응되는 멀티 스케일의 상이한 포인트 계산을 수행함으로써 상이한 후보 헤어의 편이값을 획득한다.
단계 6으로서, 다중 특징 융합 기반의 검색을 수행한다.
입력된 인물의 정면 사진의 경우, 헤어스타일 분할 및 정렬을 거친 후, 이상의 민코프스키 거리 및 헤어의 현저한 특징의 융합에 기반하여 배열 M2를 얻을 수 있으며, 다시 하우스도르프 거리에 따라 계산하여 배열 H를 얻고, 다시 헤어의 플로우 방향을 결합하여 배열 L을 얻어, 각각 가중치 a:b:c를 부여하고, 3개의 벡터를 융합하여 종합 배열 벡터 F를 얻는다.
Figure 112020057658568-pct00028
F를 오름차순으로 배열하고, 순위에서 앞 N위까지 선택하여 후보 헤어스타일로 사용한다. 이 N개의 후보 헤어스타일에서, 이전의 트레이닝된 헤어넷(HairNet)을 사용하여 헤어 볼륨 스트레이트 유사 정도에 대해 순서대로 배열하고, 배열 순위가 가장 앞인 것을 선택하여, 마지막으로 검색할 후보 결과 R로 한다.
이상에서 도면 및 실시예를 결합하여 본 발명의 실시형태를 상세하게 설명하였으나, 본 발명은 실시예에 의해 한정되지 않고, 본 기술분야의 기술자의 수요에 따라 조정할 수 있으며, 첨부된 청구범위 내에서 진행된 다양한 변형 또는 수정은 모두 보호범위 내에 속한다.

Claims (10)

  1. 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법으로서,
    정면 얼굴을 나타내는 단일의 이미지를 입력 받고, 검색할 헤어스타일의 마스크를 상기 이미지 내에서 획득하는 단계 1;
    상기 이미지 내에서 상기 정면 얼굴의 특징점을 식별하여, 헤어스타일 데이터베이스 내의 표준 얼굴의 특징점과 매칭시키는 단계 2;
    상기 이미지 내의 상기 정면 얼굴을 상기 표준 얼굴에 정렬시켜, 정렬된 헤어 영역을 얻는 단계 3;
    정렬된 상기 헤어 영역의 검색할 헤어스타일의 마스크 및 상기 헤어스타일 데이터베이스 내의 각 정면 얼굴의 헤어스타일의 마스크 사이의 민코프스키 거리를 계산하고, 계산된 상기 민코프스키 거리를 오름차순으로 배열한 후에, 배열된 상기 민코프스키 거리에 가중치를 부여하는 단계 4;
    적어도 상기 민코프스키 거리에 기반하여, 상기 검색할 헤어스타일과의 유사도가 높은 상위 복수 개의 헤어스타일을, 상기 헤어스타일 데이터베이스 내의 정면 얼굴의 헤어스타일 중에서 추출하고, 상기 상위 복수 개의 헤어스타일의 플로우 필드를 계산하며, 상기 검색할 헤어스타일과의 매칭 연산을 수행하는 단계 5;
    딥 러닝 네트워크를 트레이닝하고, 상이한 스케일에서 헤어 볼륨 베이스 블록의 헤어스타일을 검출하며, 검출할 헤어스타일의 이미지와 복수의 후보 헤어스타일에 대해 멀티 스케일의 히스토그램 매칭을 수행하여, 상이한 매칭 점수를 획득하는 단계 6; 및
    적어도 상기 민코프스키 거리 및 상기 플로우 필드에 기반한 유사도에 의거하여, 상기 이미지 내의 헤어스타일과 가장 유사한 후보 헤어스타일의 이미지를 추출하는 단계를 포함하는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  2. 제1항에 있어서,
    상기 검색할 헤어스타일 및 상기 헤어스타일 데이터베이스 내의 각 정면 얼굴의 헤어스타일 간의 세부 유사도를 비교하기 위하여, 상기 검색할 헤어스타일의 마스크 및 상기 헤어스타일 데이터베이스 내의 각 정면 얼굴의 헤어스타일의 마스크 사이의 하우스도르프 거리를 계산하고, 계산된 상기 하우스도르프 거리에 가중치를 부여하며; 가중치가 부여된 상기 하우스도르프 거리에 대응되는 상기 헤어스타일 데이터베이스 내의 각 정면 얼굴의 헤어스타일을 배열함으로써 순위를 정하여, 그 중에서 상기 검색할 헤어스타일과 유사한 10순위까지의 정면 얼굴의 헤어스타일을 추출하는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  3. 제1항 또는 제2항에 있어서,
    단계 3에서, 상기 이미지 내의 상기 정면 얼굴의 특징점과 상기 표준 얼굴의 특징점을 매칭시켜 정렬시키는 것은,
    하나의 2차원 아핀 변환을 구하되,

    Figure 112020086563172-pct00050

    여기서, s는 축소 비율이고,
    Figure 112020086563172-pct00051
    는 회전 각도이며, t1, t2는 수평 이동의 변위 T를 나타내고, R은 하나의 직교 매트릭스인 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  4. 제2항에 있어서,
    단계 4에서, 우선 상기 검색할 헤어스타일의 마스크 및 상기 헤어스타일 데이터베이스 내의 각 정면 얼굴의 헤어스타일의 마스크 사이의 민코프스키 거리에 기반하여 헤어스타일을 검색하고; 그리고 나서, 각 마스크에 대해, 마스크의 일부 영역에 가중치를 적용하여 민코프스키 거리를 다시 계산하고, 가중치 적용 이전에 계산한 민코프스키 거리와 더하며; 그리고 나서, 하우스도르프 거리를 기반으로 헤어스타일을 다시 검색하고; 그리고 나서, 플로우 필드를 기반으로 헤어스타일을 또다시 검색하는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  5. 제4항에 있어서,
    단계 4에서, 상기 검색할 헤어스타일의 마스크를 H로 정의하고, 상기 헤어스타일 데이터베이스 내의 하나의 헤어스타일의 마스크를 Bi로 정의하면, 대응되는 민코프스키 거리는,
    Figure 112020086563172-pct00052
    이며,
    여기서, k는 마스크를 하나의 벡터로 당긴 후의 인덱스이고, p는 민코프스키 거리의 파라미터이며, p는 2를 취할 수 있고, 상기 민코프스키 거리를 구하는 식을 통해, 상기 검색할 헤어스타일과 상기 헤어스타일 데이터베이스 내의 모든 정면 얼굴의 헤어스타일을 사용하여 민코프스키 거리를 비교할 수 있으며, 그리고 나서 오름차순으로 배열하여, 상기 헤어스타일 데이터베이스에서 대응되는 헤어스타일의 점수 순위 벡터 M을 얻는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  6. 제5항에 있어서,
    단계 4에서, 상기 표준 얼굴의 앞머리 영역을 L로 설정하고, 상기 이미지 내의 상기 정면 얼굴을 상기 표준 얼굴에 정렬시킨 이후, 상기 이미지 내의 상기 정면 얼굴의 L 영역과 상기 표준 얼굴의 L 영역을 비교하여, 일치되지 않는 부분이 있으면 상기 가중치를 1.25 배 증가시키고; 증가된 가중치에 기초하여 다시 계산된 민코프스키 거리와 가중치 적용 이전에 계산된 민코프스키 거리를 더하여 순서대로 배열시킴으로써 개선된 민코프스키 거리 벡터 M2를 얻는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  7. 제6항에 있어서,
    상기 검색할 헤어스타일의 마스크를 H라고 하고, 상기 헤어스타일 데이터베이스의 표준 얼굴의 헤어스타일을 B라고 하면, 대응되는 하우스도르프 거리는,
    Figure 112020086563172-pct00053
    이되,
    여기서, sup는 상한을 나타내고, inf는 하한을 나타내며;
    상기 하우스도르프 거리를 구하는 식을 통해, 상기 검색할 헤어스타일과 상기 헤어스타일 데이터베이스 내의 모든 정면 얼굴의 헤어스타일을 사용하여 하우스도르프 거리를 비교하고, 그리고 나서 오름차순으로 배열하여, 대응되는 순위 벡터 H를 얻는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  8. 제7항에 있어서,
    단계 4에서, 구배 기반 방법을 사용하여 헤어의 플로우 필드를 구하되, 입력된 헤어스타일 사진 I에 대해, 헤어의 횡방향 구배
    Figure 112020086563172-pct00054

    를 구하고,
    헤어의 종방향 구배
    Figure 112020086563172-pct00055

    를 구하며,
    이 경우, 헤어의 플로우 필드 C가
    Figure 112020086563172-pct00056
    을 만족하므로 종방향 구배 및 횡방향 구배를 대입하여 플로우 필드 C를 구할 수 있고;
    상기 검색할 헤어스타일 및 상기 상위 복수 개의 헤어스타일 사이의 플로우 필드 C의 유사도를 판단 기준으로서 배열에 추가하여 배열 벡터 L을 얻는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  9. 제8항에 있어서,
    단계 6에서, 상기 검출할 헤어스타일의 이미지와 상기 복수의 후보 헤어스타일에 대하여, 상기 헤어 볼륨 베이스 블록에 기반하여 헤어스타일의 식별 및 매칭을 수행하되;
    라벨링된 상이한 유형의 헤어 데이터 및 딥 러닝 네트워크를 사용하여 모델 트레이닝을 구축함으로써 헤어넷을 얻고;
    입력된 헤어를 가우시안 피라미드를 통해 상이한 스케일의 입력된 이미지 및 헤어스타일 데이터베이스의 표준 이미지로 샘플링하고;
    헤어 부분을 슈퍼 픽셀 분할하고 나서, 분할 후의 이들 헤어 블록을 크기가 서로 일치하게 확장하여, 크기가 서로 동일한 패치를 얻고; 패치를 헤어넷에 입력시키는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
  10. 제9항에 있어서,
    단계 6에서, 다중 특징 융합에 기반하여 검색하되, 즉 M2, H 및 L에 대해, 각각 가중치 a:b:c를 부여하고, 3개의 벡터를 융합하여 종합 배열 벡터 F를 얻으며,
    Figure 112020086563172-pct00057

    F를 오름차순으로 배열하고, 순위에서 앞 N위까지 선택하여 후보 헤어스타일로 사용하며;
    상기 N개의 후보 헤어스타일을, 상기 검출할 헤어스타일의 이미지와의 헤어 볼륨-스트레이트 유사 정도에 따라 순서대로 배열하고, 그 중에서 최상위 순위인 상기 헤어 볼륨-스트레이트 유사 정도에 대응하는 후보 헤어스타일을 선택하여, 최종 검색된 후보 결과로 사용하는 것을 특징으로 하는, 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법.
KR1020207016099A 2018-09-30 2019-09-23 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법 KR102154470B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811165895.9A CN109408653B (zh) 2018-09-30 2018-09-30 基于多特征检索和形变的人体发型生成方法
CN201811165895.9 2018-09-30
PCT/CN2019/107263 WO2020063527A1 (zh) 2018-09-30 2019-09-23 基于多特征检索和形变的人体发型生成方法

Publications (2)

Publication Number Publication Date
KR20200070409A KR20200070409A (ko) 2020-06-17
KR102154470B1 true KR102154470B1 (ko) 2020-09-09

Family

ID=65466814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016099A KR102154470B1 (ko) 2018-09-30 2019-09-23 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법

Country Status (6)

Country Link
US (1) US10891511B1 (ko)
JP (1) JP6891351B2 (ko)
KR (1) KR102154470B1 (ko)
CN (1) CN109408653B (ko)
GB (1) GB2581758B (ko)
WO (1) WO2020063527A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408653B (zh) * 2018-09-30 2022-01-28 叠境数字科技（上海）有限公司 基于多特征检索和形变的人体发型生成方法
CN110415339B (zh) * 2019-07-19 2021-07-13 清华大学 计算输入三维形体间的匹配关系的方法和装置
CN110738595B (zh) * 2019-09-30 2023-06-30 腾讯科技（深圳）有限公司 图片处理方法、装置和设备及计算机存储介质
CN110874419B (zh) * 2019-11-19 2022-03-29 山东浪潮科学研究院有限公司 一种人脸数据库快速检索技术
CN111192244B (zh) * 2019-12-25 2023-09-29 新绎健康科技有限公司 一种基于关键点确定舌部特征的方法及系统
WO2021256319A1 (ja) * 2020-06-15 2021-12-23 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体
CN116250014A (zh) * 2020-08-22 2023-06-09 斯纳普公司 用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络
CN113762305B (zh) * 2020-11-27 2024-04-16 北京沃东天骏信息技术有限公司 一种脱发类型的确定方法和装置
CN112819921B (zh) * 2020-11-30 2023-09-26 北京百度网讯科技有限公司 用于改变人物的发型的方法、装置、设备和存储介质
CN112734633A (zh) * 2021-01-07 2021-04-30 京东方科技集团股份有限公司 虚拟发型的替换方法、电子设备及存储介质
KR102507460B1 (ko) * 2021-04-05 2023-03-07 고려대학교 산학협력단 카툰 배경 자동 생성 방법 및 그 장치
CN113112616A (zh) * 2021-04-06 2021-07-13 济南大学 一种基于改进可编辑的三维生成方法
CN113129347B (zh) * 2021-04-26 2023-12-12 南京大学 一种自监督单视图三维发丝模型重建方法及系统
CN113269822B (zh) * 2021-05-21 2022-04-01 山东大学 用于3d打印的人物发型肖像重建方法及系统
CN113538455B (zh) * 2021-06-15 2023-12-12 聚好看科技股份有限公司 三维发型匹配方法及电子设备
KR102542705B1 (ko) * 2021-08-06 2023-06-15 국민대학교산학협력단 얼굴 추적 기반 행위 분류 방법 및 장치
FR3127602A1 (fr) * 2021-09-27 2023-03-31 Idemia Identity & Security France procédé de génération d’une image augmentée et dispositif associé
CN114187633B (zh) * 2021-12-07 2023-06-16 北京百度网讯科技有限公司 图像处理方法及装置、图像生成模型的训练方法及装置
CN115311403B (zh) * 2022-08-26 2023-08-08 北京百度网讯科技有限公司 深度学习网络的训练方法、虚拟形象生成方法及装置
TWI818824B (zh) * 2022-12-07 2023-10-11 財團法人工業技術研究院 用於計算遮蔽人臉影像的人臉擺動方向的裝置及方法
CN116503924B (zh) * 2023-03-31 2024-01-26 广州翼拍联盟网络技术有限公司 人像头发边缘处理方法、装置、计算机设备及存储介质
CN116509118A (zh) * 2023-04-26 2023-08-01 深圳市华南英才科技有限公司 一种超高转速吹风机的控制方法及系统
CN117389676B (zh) * 2023-12-13 2024-02-13 成都白泽智汇科技有限公司 一种基于显示界面的智能发型适配展示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032410A1 (en) * 2014-08-29 2016-03-03 Sagiroglu Seref Intelligent system for photorealistic facial composite production from only fingerprint
CN106372652A (zh) * 2016-08-28 2017-02-01 乐视控股（北京）有限公司 发型识别方法及发型识别装置
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN103366400B (zh) * 2013-07-24 2017-09-12 深圳市华创振新科技发展有限公司 一种三维头像自动生成方法
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法
CN109408653A (zh) 2018-09-30 2019-03-01 叠境数字科技（上海）有限公司 基于多特征检索和形变的人体发型生成方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3611007B2 (ja) 1997-08-12 2005-01-19 株式会社資生堂 ヘアスタイル・イメージマップ
JP2002083318A (ja) * 2000-09-07 2002-03-22 Sony Corp 画像処理装置および方法、並びに記録媒体
KR20050018921A (ko) 2005-02-01 2005-02-28 황지현 헤어스타일 자동 합성 방법 및 시스템
KR100665371B1 (ko) * 2005-05-24 2007-01-04 곽노윤 반자동 필드 모핑을 이용한 다중 가상 헤어스타일 생성방법
JP5698733B2 (ja) * 2009-05-04 2015-04-08 オブロング・インダストリーズ・インコーポレーテッド 三空間入力の検出、表現、および解釈：自由空間、近接、および表面接触モードを組み込むジェスチャ連続体
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
CN102419868B (zh) * 2010-09-28 2016-08-03 三星电子株式会社 基于3d头发模板进行3d头发建模的设备和方法
CN103218838A (zh) * 2013-05-11 2013-07-24 苏州华漫信息服务有限公司 一种用于人脸卡通化的自动头发绘制方法
CN103955962B (zh) 2014-04-21 2018-03-09 华为软件技术有限公司 一种虚拟人头发生成的装置及方法
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
US9928601B2 (en) * 2014-12-01 2018-03-27 Modiface Inc. Automatic segmentation of hair in images
KR20170094279A (ko) * 2014-12-16 2017-08-17 미테일 리미티드 3d 의복 이미지와 조합되는 사람의 3d 가상 신체 모델을 생성하기 위한 방법들, 및 관련 디바이스들, 시스템들 및 컴퓨터 프로그램 제품들
US9864901B2 (en) * 2015-09-15 2018-01-09 Google Llc Feature detection and masking in images based on color distributions
CN105354869B (zh) * 2015-10-23 2018-04-20 广东小天才科技有限公司 一种将用户真实头部特征化身到虚拟头像上的方法及系统
CN105844706B (zh) * 2016-04-19 2018-08-07 浙江大学 一种基于单幅图像的全自动三维头发建模方法
WO2017181332A1 (zh) * 2016-04-19 2017-10-26 浙江大学 一种基于单幅图像的全自动三维头发建模方法
WO2017185301A1 (zh) * 2016-04-28 2017-11-02 华为技术有限公司 一种三维头发建模方法及装置
WO2018094653A1 (zh) 2016-11-24 2018-05-31 华为技术有限公司 一种用户头发模型的重建方法、装置及终端
CN107886516B (zh) * 2017-11-30 2020-05-15 厦门美图之家科技有限公司 一种计算人像中发丝走向的方法及计算设备
US11023710B2 (en) * 2019-02-20 2021-06-01 Huawei Technologies Co., Ltd. Semi-supervised hybrid clustering/classification system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366400B (zh) * 2013-07-24 2017-09-12 深圳市华创振新科技发展有限公司 一种三维头像自动生成方法
WO2016032410A1 (en) * 2014-08-29 2016-03-03 Sagiroglu Seref Intelligent system for photorealistic facial composite production from only fingerprint
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN106372652A (zh) * 2016-08-28 2017-02-01 乐视控股（北京）有限公司 发型识别方法及发型识别装置
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法
CN109408653A (zh) 2018-09-30 2019-03-01 叠境数字科技（上海）有限公司 基于多特征检索和形变的人体发型生成方法

Also Published As

Publication number Publication date
CN109408653B (zh) 2022-01-28
JP6891351B2 (ja) 2021-06-18
GB202009174D0 (en) 2020-07-29
JP2021507394A (ja) 2021-02-22
US20200401842A1 (en) 2020-12-24
KR20200070409A (ko) 2020-06-17
US10891511B1 (en) 2021-01-12
GB2581758B (en) 2021-04-14
CN109408653A (zh) 2019-03-01
GB2581758A (en) 2020-08-26
WO2020063527A1 (zh) 2020-04-02

Similar Documents

Publication Publication Date Title
KR102154470B1 (ko) 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법
CN110263659B (zh) 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
Zhu et al. Discriminative 3D morphable model fitting
CN110853026B (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN109741268B (zh) 一种针对壁画的破损图像补全方法
WO2017181332A1 (zh) 一种基于单幅图像的全自动三维头发建模方法
CN108549873A (zh) 三维人脸识别方法和三维人脸识别系统
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN109034131B (zh) 一种半自动人脸关键点标注方法及存储介质
CN103310481B (zh) 一种基于模糊熵迭代的点云精简方法
CN109829353B (zh) 一种基于空间约束的人脸图像风格化方法
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
US20210158593A1 (en) Pose selection and animation of characters using video data and training techniques
JP2020177620A (ja) アバター用の３ｄ顔モデルを生成する方法及び関連デバイス
CN104077742A (zh) 基于Gabor特征的人脸素描合成方法及系统
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
CN115689869A (zh) 一种视频美妆迁移方法及系统
CN109887009A (zh) 一种点云局部匹配方法
CN108154176A (zh) 一种针对单一深度图像的3d人体姿态估计算法
CN109064547B (zh) 一种基于数据驱动的单幅图像头发重建方法
US20210158565A1 (en) Pose selection and animation of characters using video data and training techniques
CN108665470B (zh) 一种交互式轮廓提取方法
CN114494586B (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法
Felicetti et al. Automatic Mosaic Digitalization: a Deep Learning approach to tessera segmentation

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant