KR20230151821A - 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법 - Google Patents

메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20230151821A
KR20230151821A KR1020220051624A KR20220051624A KR20230151821A KR 20230151821 A KR20230151821 A KR 20230151821A KR 1020220051624 A KR1020220051624 A KR 1020220051624A KR 20220051624 A KR20220051624 A KR 20220051624A KR 20230151821 A KR20230151821 A KR 20230151821A
Authority
KR
South Korea
Prior art keywords
face
landmark
character
vertical
horizontal
Prior art date
Application number
KR1020220051624A
Other languages
English (en)
Inventor
김경아
Original Assignee
주식회사 리본소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리본소프트 filed Critical 주식회사 리본소프트
Priority to KR1020220051624A priority Critical patent/KR20230151821A/ko
Publication of KR20230151821A publication Critical patent/KR20230151821A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 제1 사용자의 2차원 얼굴 이미지를 이용하여 제1 사용자의 얼굴을 이루는 각 랜드마크의 특징이 반영된 3차원의 캐릭터 얼굴을 생성하고, 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 크기를 설정 크기로 조절하며, 각 랜드마크의 가로 위치 및 세로 위치를 조절하여 랜드마크별 세로 및 가로 비율이 설정 비율을 가지는 3차원의 미형 캐릭터 얼굴을 생성하는 3차원 미형 캐릭터 생성 시스템 및 방법에 관한 것이다.

Description

메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법{Systems and methods for creating beautiful three-dimensional characters used in metaverse}
본 발명은 메타버스(metaverse) 등의 가상 공간에 사용되는 캐릭터를 생성하는 기술에 관한 것으로, 특히, 사용자의 특징이 반영되고 아름답게 표현된 3차원의 캐릭터 얼굴을 생성하는 시스템 및 방법에 관한 것이다.
현재 가상세계를 사용자에게 제공하여 사용자가 가상세계에서 다른 사용자와 함께 각종 활동을 할 수 있게 하는 메타버스가 각광받고 있다. 이러한 메타버스의 등장으로 다양한 형태의 가상세계를 제공하는 서비스가 늘어나고 있으며, 그에 따라 이용자의 수도 급속하게 늘어나고 있다.
이와 더불어, 가상세계에 참여시에 타인과 구별되는 즉, 사용자의 특징을 반영한 3차원의 캐릭터 얼굴을 생성하는 니즈가 늘어나고 있으며, 이러한 니즈에 따라 종래의 3차원 캐릭터 얼굴을 생성하는 기술은 사용자의 얼굴과 일치하는 캐릭터 얼굴을 생성하기 위하여 개발되고 있다.
한편, 사람은 현실세계에서 뿐만 아니라 가상세계에서도 자신이 아름답게 보여지고 싶어하는 욕구가 있다.
1. 국내등록특허 제10-0815209호(등록일, 2008.03.13) 2. 국내공개특허 제10-2021-0047920호(공개일, 2021.04.30)
본 발명은 사용자의 얼굴 특징이 반영되면서도 미적(美的)으로 개선된 캐릭터 얼굴을 생성하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템은 제1 사용자의 2차원 얼굴 이미지를 수집하는 샘플 수집부; 상기 2차원 얼굴 이미지를 이용하여 상기 제1 사용자의 얼굴을 이루는 각 랜드마크의 특징이 반영된 3차원의 캐릭터 얼굴을 생성하는 캐릭터 생성부; 상기 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 크기를 설정 크기로 조절하고, 각 랜드마크의 가로 위치 및 세로 위치를 조절하여 랜드마크별 세로 및 가로 비율이 설정 비율을 가지는 3차원의 미형 캐릭터 얼굴을 생성하는 캐릭터 미형부; 및 각종 정보를 화면에 표시하는 디스플레이 장치를 포함할 수 있다.
상기에서 캐릭터 미형부는 상기 3차원의 캐릭터 얼굴에 대해 이마의 끝부분에서 눈의 중심, 눈의 중심에서 코끝 및 코끝에서 턱을 2:1:1의 비율로 조절하고, 2:1:1의 비율로 조절된 얼굴에서 각 랜드마크의 세로 길이와 세로 위치를 조절하는 세로비율 조절부; 및 상기 2:1:1의 비율로 조절된 얼굴에서 각 랜드마크의 가로 길이와 가로 위치를 조절하는 가로비율 조절부를 포함할 수 있다.
상기에서 세로비율 조절부는 상기 2:1:1의 비율로 조절된 얼굴에서 설정된 세로 단위를 구획 기준으로 하여 세로 길이를 12개의 세로칸으로 구획하고, 각 랜드마크의 세로 길이를 각 랜드마크 별로 설정된 위치의 세로칸에 위치하도록 세로 길이를 조절할 수 있고, 상기 가로비율 조절부는 상기 2:1:1의 비율로 조절된 얼굴에서 설정된 가로 단위를 구획 기준으로 하여 가로 길이를 10개의 가로칸으로 구획하고, 각 랜드마크의 가로 길이를 각 랜드마크 별로 설정된 위치의 가로칸에 위치하도록 가로 길이를 조절할 수 있다.
상기에서 캐릭터 생성부는 상기 특징 파악부에서 파악한 각 랜드마크의 영역에 대하여, 평균점 이동 알고리즘을 이용하여 해당 영역의 각 색상값들에 대해서 주변 값들과의 밀도를 계산하고, 주변 색상을 밀도가 높은 색상값으로 이동시켜 밀도가 가장 높은 색상을 해당 랜드마크의 색상으로 파악하는 색상 파악부를 더 포함할 수 있으며, 이 경우에 상기 캐릭터 미형부는 상기 색상 파악부에서 파악한 각 랜드마크의 피부색을 인종에 대응하여 설정된 복수의 컬러 중에서 해당 피부색에 가장 가까운 컬러의 피부색으로 조절하는 피부색 조절부를 더 포함할 수 있다.
상기 세로 비율 조절부와 상기 가로 비율 조절부는 오른쪽 눈과 왼쪽 눈 간의 간격을 전체 세로 길이의 중심을 기준으로 가로 2칸이 되도록 조절하고, 상기 오른쪽 눈과 상기 왼쪽 눈을 세로 2칸과 가로 3칸 내에 위치하도록 조절하며, 상기 오른쪽 눈의 바로 위 세로 한 칸과 가로 4칸에 오른쪽 눈썹이 위치하고 상기 왼쪽 눈의 바로 위 세로 한 칸과 가로 4칸에 왼쪽 눈썹이 위치하게 하며 전체 세로 길이의 중심을 기준으로 상기 오른쪽 눈썹과 왼쪽 눈썹의 간격이 가로 한 칸이 되도록 조절하며, 상기 양쪽 눈의 간격 바로 아래 가로 2칸과 세로 2칸에 코가 위치하도록 조절하고, 상기 코가 위치한 세로 칸 바로 아래 세로 2칸과 가로 4칸에 입술이 위치하도록 조절할 수 있다.
상기 세로 비율 조절부는 이마와 눈썹, 눈, 코 및 입이 위치하는 세로칸 간의 경계를 설정거리만큼 이격시켜 이마와 눈썹 사이, 눈썹과 눈 사이, 눈과 코 사이 및 코와 입 사이가 뚜렷하게 구분되도록 할 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법은 제1 사용자에 대한 2차원 얼굴 이미지를 이용하여 상기 제1 사용자의 얼굴을 이루는 각 랜드마크의 특징을 파악하는 단계; 상기 각 랜드마크의 특징이 반영된 3차원의 캐릭터 얼굴을 생성하는 단계; 상기 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 위치를 설정 위치로 조절하는 단계; 및 상기 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 크기를 설정 크기로 조절하는 단계를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법은 상기 3차원의 캐릭터 얼굴에 대해 이마의 끝부분에서 눈의 중심, 눈의 중심에서 코끝 및 코끝에서 턱을 2:1:1의 비율로 조절하는 단계를 더 포함할 수 있다.
상기에서 3차원의 캐릭터 얼굴을 생성하는 단계는 제1 사용자에 대한 2차원 얼굴 이미지를 이용하여 상기 제1 사용자의 얼굴 형태를 파악하는 단계; 기 저장된 미형화된 복수의 얼굴 형태 중에서 상기 제1 사용자의 얼굴 형태에 가장 가까운 미형화된 얼굴 형태를 추출하는 단계; 및 추출한 상기 미형화된 얼굴 형태에 상기 제1 사용자의 얼굴을 이루는 각 랜드마크를 위치시켜 상기 3차원의 캐릭터 얼굴을 생성하는 단계를 포함하고, 상기 미형화된 얼굴 형태는 이마의 끝부분에서 눈의 중심, 눈의 중심에서 코끝 및 코끝에서 턱을 2:1:1의 비율로 조절되어 있는 얼굴 형태일 수 있다.
상기에서 각 랜드마크의 위치를 설정 위치로 조절하는 단계는 상기 2:1:1의 비율로 조절된 얼굴에서 설정된 세로 단위를 구획 기준으로 하여 세로 길이를 12개의 세로칸으로 구획하는 단계; 각 랜드마크의 세로 길이를 각 랜드마크 별로 설정된 위치의 세로칸에 위치하도록 세로 길이를 조절하는 단계; 상기 2:1:1의 비율로 조절된 얼굴에서 설정된 가로 단위를 구획 기준으로 하여 가로 길이를 10개의 가로칸으로 구획하는 단계; 및 각 랜드마크의 가로 길이를 각 랜드마크 별로 설정된 위치의 가로칸에 위치하도록 가로 길이를 조절하는 단계를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법은 평균점 이동 알고리즘을 이용하여 해당 영역의 각 색상값들에 대해서 주변 값들과의 밀도를 계산하고, 주변 색상을 밀도가 높은 색상값으로 이동시켜 밀도가 가장 높은 색상을 해당 랜드마크의 색상으로 파악하는 단계; 및 상기 평균점 이동 알고리즘을 이용하여 파악한 각 랜드마크의 피부색을 인종에 대응하여 설정된 복수의 컬러 중에서 해당 피부색에 가장 가까운 컬러의 피부색으로 조절하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 뇌기능 향상용 훈련 시스템은 사용자가 적어도 하나의 온라인 뇌기능 향상 프로그램과 하나의 오프라인 뇌기능 향상 프로그램을 선택적으로 할 수 있도록 하여 뇌기능 향상 프로그램의 사용율을 높일 수 있게 한다.
본 발명의 실시 예에 따른 뇌기능 향상용 훈련 시스템은 신체활동을 유도하여 체력을 향상시키는 동시에 뇌를 활성화시키는 놀이를 제공한다.
도 1은 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템의 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 캐릭터 생성부의 블록 구성도이다.
도 3은 본 발명의 실시 예에 따른 캐릭터 미형부의 블록 구성도이다.
도 4는 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법의 개략적인 순서도이다.
도 5는 본 발명의 실시 예에 따른 1차 캐릭터 얼굴을 생성하는 방법을 보인 순서도이다.
도 6은 본 발명의 얼굴 이미지에서 파악되는 특징점을 보인 도면이다.
도 7은 본 발명의 실시 예에 따른 얼굴의 각 랜드마크에 대응된 특정점들을 보인 도면이다.
도 8은 본 발명의 실시 예에 따른 미형 캐릭터를 생성하는 과정을 보인 도면이다.
도 9는 본 발명의 실시 예에 따른 세로 비율 조절 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 랜드마크의 위치를 설명하기 위한 도면이다.
도 11은 본 발명의 제2 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템의 블록 구성도이다.
도 12는 본 발명의 제2 실시 예에 따른 캐릭터 미형부의 블록 구성도이다.
도 13은 본 발명의 제2 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법의 개략적인 순서도이다.
도 14는 본 발명의 제3 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법의 개략적인 순서도이다.
도 15는 본 발명의 실시 예에 따른 3차원 미형캐릭터 얼굴의 5종을 보인 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, 설명되는 각 단계들은 특별한 인과관계에 의해 나열된 순서에 따라 수행되어야 하는 경우를 제외하고, 나열된 순서와 상관없이 수행될 수 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 대해 설명한다.
도 1은 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템의 블록 구성도이다. 도 1을 참고하면, 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템(100)은 사용자 단말(10)이 선택한 2차원의 얼굴 이미지에 대하여 얼굴의 특징이 반영된 3차원의 캐릭터 얼굴을 생성한 후, 생성한 캐릭터 얼굴에 대해 얼굴의 형태 및 각 랜드마크의 세로 비율과 가로 비율을 조절하여 3차원의 미형 캐릭터 얼굴을 생성한다. 여기서, 랜드마크는 눈썹, 눈, 코, 입(입술), 귀 등 얼굴을 구성하는 필수적인 신체 부위이다.
이를 위해, 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템(100)은 사용자 입력부(110), 샘플 수집부(120), 캐릭터 생성부(130), 캐릭터 미형부(140), 표시부(150), 얼굴이미지 저장부(160), 1차캐릭터 저장부(170) 및 미형캐릭터 저장부(180)를 포함한다.
사용자 입력부(110)는 키보드, 터치 패드 등과 같은 장치로서, 사용자의 입력에 대응하는 신호를 출력한다. 샘플 수집부(120)는 사용자 단말(10)에서 제공하는 얼굴 이미지, 인터넷 상의 각종 서버에 저장된 얼굴 이미지, 카메라 등의 촬영장치에서 실시간으로 촬영한 얼굴 이미지를 수집한다.
캐릭터 생성부(130)는 2차원 얼굴 이미지를 이용하여 3차원의 캐릭터 얼굴을 생성한다. 캐릭터 생성부(130)는 특징점을 이용하는 기술, AI 기반의 자동 캐릭터 얼굴 생성 기술 등 2차원 얼굴을 3차원 얼굴로 변환시키는 공지공용의 기술 중 적어도 하나를 이용한다.
캐릭터 미형부(140)는 캐릭터 생성부(130)에 의해 생성한 3차원 캐릭터 얼굴(이하 '1차 캐릭터 얼굴'이라 한다)을 설정된 세로 비율로 조절하고, 설정된 가로 비율로 조절하며, 각 랜드마크의 위치를 설정 위치로 조절하여 사용자 얼굴의 특징이 반영되면서도 좀 더 아름다워진 3차원의 미형 캐릭터 얼굴(도 15 참조)을 생성한다. 여기서, 캐릭터 미형부(140)는 각 랜드마크의 크기(가로 및 세로 길이)를 설정 크기(길이)로 조절할 수 있다.
표시부(150)는 각종 정보를 표시하는 화면을 가지는 디스플레이 장치일 수 있다.
얼굴이미지 저장부(160)는 샘플 수집부(120)에서 수집한 다양한 사람의 얼굴 이미지를 저장하고, 1차캐릭터 저장부(170)는 캐릭터 생성부(130)에서 생성한 1차 캐릭터 얼굴을 저장하며, 미형캐릭터 저장부(180)는 캐릭터 미형부(140)에서 생성한 3차원 미형 캐릭터 얼굴을 저장한다.
도 2는 본 발명의 실시 예에 따른 캐릭터 생성부의 블록 구성도로서, 2차원 얼굴 이미지를 이용하여 3차원 캐릭터 얼굴을 생성하는 공지공용의 기술 중에서 특징점을 이용한 기술을 일 예로 한 것이다.
도 2를 참고하면, 캐릭터 생성부(130)는 얼굴이미지 파악부(131), 랜드마크 파악부(132), 특징 파악부(133), 색상 파악부(134) 및 캐릭터 모델링부(135)를 포함한다.
얼굴이미지 파악부(131)는 얼굴이미지 저장부(160)에 저장된 얼굴 이미지 중에서 사용자 단말(10)이 선택한 하나의 얼굴 이미지를 파악한다.
랜드마크 파악부(132)는 얼굴이미지 파악부(131)에 의해 파악된 얼굴 이미지에서 안면인식 기능을 통해 얼굴의 각 랜드마크 즉, 얼굴의 전체 형상, 눈썹, 눈, 코, 입, 귀 등을 파악하고, 사용자에 의해 라벨링 작업된 각 랜드마크의 복수의 특징점(즉, 각 특징점의 좌표)을 추출한다. 따라서, 얼굴의 전체 형상, 눈썹, 눈, 코, 입, 귀 등의 랜드마크는 복수개의 특징점으로 이루어진다. 라벨링이란 인공지능(AI)이 각종 데이터를 이해하고 학습할 수 있도록 가공하는 작업을 의미하며, 즉, 인공지능에게 이미지에서 어느 것이 사람의 얼굴인지, 사람의 얼굴 중 어느 랜드마크인지를 이해할 수 있도록 컴퓨터의 언어로 데이터를 변환하는 것을 의미한다.
특징 파악부(133)는 각 랜드마크의 특징점들을 이용하여 각 랜드마크의 특징을 파악(추론)한다. 예컨대, 특징 파악부(133)는 하나의 랜드마크에 대하여 해당 랜드마크를 구성하는 특징점 간의 기울기를 이용하여 각 랜드마크의 크기와 모양(형태) 등의 특징을 파악한다. 특징 파악부(133)에 의해 파악된 각 랜드마크의 크기와 모양은 실제 사용자 얼굴의 코, 눈썹, 눈, 입술, 귀 등의 특징이 반영된다.
색상 파악부(134)는 평균점 이동 알고리즘(mean shift clustering algorithm)을 통해 특징 파악부(133)에서 파악한 각 랜드마크의 영역에 대하여, 해당 영역의 각 색상값들에 대해서 주변 값들과의 밀도를 계산하고, 주변 색상을 밀도가 높은 색상값으로 이동시켜 밀도가 가장 높은 색상을 해당 랜드마크의 색상으로 파악한다.
캐릭터 모델링부(135)는 랜드마크 파악부(133)에서 파악한 얼굴의 전체 형상, 각 랜드마크의 크기와 모양 및 색상 파악부(134)에서 파악한 각 랜드마크의 색상을 이용하여 3차원의 캐릭터 얼굴을 생성한다.
한편, 본 발명은 이미지 인식을 통해 랜드마크로는 알 수 없는 상세 신체부위의 특징을 상세 신체부위별 모델을 통해 파악할 수 있다. 상세 신체부위는 남녀의 성별, 나이, 쌍꺼풀, 광대뼈, 헤어스타일, 속눈썹, 수염, 애교살 등이다. 상세 신체부위별 모델은 해당 상세 신체부위에 대한 복수의 이미지 샘플에 대해 라벨링 작업을 하여 데이터 셋을 생성하고, 생성된 데이터 셋을 기반으로 만들어진다.
도 3은 본 발명의 실시 예에 따른 캐릭터 미형부의 블록 구성도이다. 도 3을 참고하면, 본 발명의 제1 실시 예에 따른 캐릭터 미형부(140)는 도 3의 (a)에 도시된 바와 같이, 세로비율 조절부(141), 가로비율 조절부(142) 및 피부색 조절부(143)을 포함한다. 여기서, 가로비율 조절부(142)와 피부색 조절부(143) 중 적어도 하나는 경우에 따라 생략이 가능하다.
세로비율 조절부(141)는 캐릭터 생성부(130)에서 생성한 1차 캐릭터 얼굴에 대해 세로 길이를 눈의 중심과 코끝을 기준으로 2:1:1의 비율로 조절하고, 2:1:1의 비율로 조절된 얼굴에서 세로 길이를 설정된 개수의 칸으로 구획한 후 각 랜드마크의 세로 위치를 각 랜드마크 별로 설정된 세로 구획 칸에 위치하도록 조절한다.
가로비율 조절부(142)는 2:1:1로 조절된 얼굴에서 가로 길이를 설정된 개수의 칸으로 구획한 후 각 랜드마크의 가로 위치를 각 랜드마크 별로 설정된 가로 구획 칸에 위치하도록 조절한다.
각 랜드마크의 가로 길이 또는 가로 위치를 조절한다. 이에 더하여, 가로비율 조절부(142)는 1차 캐릭터 얼굴의 총 가로 길이를 설정된 길이로 줄이거나 늘일 수 있다.
피부색 조절부(143)는 색상 파악부(134)에서 파악한 각 랜드마크의 피부색을 인종(예; 황인, 백인, 흑인)에 대응하여 설정된 복수의 컬러 중에서 가장 가까운 컬러의 피부색으로 조절한다. 설정된 복수의 컬러는 빅데이터 분석을 통해 취득한 각 인종별로 선호하는 피부색으로, 예컨대, RGB 색상표의 코드값으로 표시하면 흑인이 선호하는 피부색은 #b68a6c, #9f704e, #83542c이고, 황인이 선호하는 피부색은 #fae4d5, #f8d7c0, #e2c2ab이며, 백인이 선호하는 피부색은 #fae7df, #f8dace, #dcc0b5이다.
한편, 얼굴 피부는 각 랜드마크마다 피부의 두께가 다르며, 피부막이 얇은 곳은 혈관이 잘 비치기 때문에 붉은색이 돈다. 이러한 적당한 붉은색은 사람을 건강하게 하고 아름답게 보이게 한다. 그러므로, 피부색 조절부(143)는 랜드마크별로 서로 다른 피부색이 반영되도록 할 수 있으며, 예컨대, 눈 주위, 코, 광대, 뺨, 귀에 자연스러운 붉은색의 피부가 반영되게 할 수 있다.
다음으로, 도 3의 (b)를 참고하면 본 발명의 제2 실시 예에 따른 캐릭터 미형부(140)는 세로비율 조절부(141), 가로비율 조절부(142), 피부색 조절부(143) 및 부위별크기 조절부(144)을 포함한다. 여기서, 가로비율 조절부(142)와 피부색 조절부(143) 중 적어도 하나는 경우에 따라 생략이 가능하다.
본 발명의 제2 실시 예에 따른 캐릭터 미형부(140)는 제1 실시 예에 전반적으로 동일하며, 다만 부위별크기 조절부(144)가 추가된 형태이다.
부위별크기 조절부(144)는 특징 파악부(133)에서 파악한 각 랜드마크의 크기를 각 랜드마크별로 설정된 크기로 조절한다. 이때 부위별크기 조절부(144)는 세로비율 조절부(141)와 가로비율 조절부(142)와 연동하여 랜드마크의 크기를 조절한다.
도 4는 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법의 개략적인 순서도로서, 본 발명의 제1 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템을 기반으로 한 것이다.
도 4를 참고하면, 본 발명의 실시 예에 따른 시스템(100)은 접속한 사용자 단말(10)에서 제공한 제1 얼굴 이미지를 수신하거나, 얼굴이미지 저장부(160)에 저장된 얼굴 이미지 중 제1 얼굴 이미지를 선택하면, 사용자가 선택한 제1 얼굴 이미지를 파악한다(S401).
시스템(100)은 파악한 제1 얼굴 이미지에 대하여 안면인식 기술을 통하여 얼굴의 형태를 파악하고(S402), 눈썹, 눈, 코, 입 등 얼굴의 각 랜드마크에 대한 위치, 모양 및 크기를 파악한다(S403).
그럼 다음 시스템(100)은 S402 과정에서 파악한 얼굴 형태에 S403 과정에서 파악한 눈썹, 눈, 코, 입 등의 랜드마크를 위치시켜 3차원의 캐릭터 얼굴을 생성한다(S404).
사용자의 얼굴 특징을 반영한 3차원의 캐릭터 얼굴이 생성되면, 시스템(100)은 3차원 캐릭터 얼굴의 세로 길이를 눈의 중심과 이마의 끝까지의 길이, 눈의 중심과 코끝까지의 길이 및 코끝과 턱까지의 길이가 2:1:1의 비율이 되도록 조절하고(S405), 얼굴 형태의 가로 길이를 미형의 얼굴이 되도록 조절한다(S406). 여기서, S406의 과정은 생략이 가능하다.
그리고 시스템(100)은 세로 및 가로의 길이가 조절된 얼굴 형태에서 각 랜드마크가 표시될 위치를 파악하고(S407), 파악한 위치를 가로 및 세로로 조절된 얼굴 형태에 반영하여 미형화된 캐릭터를 생성하고 저장한다(S408).
이하에서는 도 5 내지 도 7을 참조로 하여 1차 캐릭터 얼굴을 생성하는 일 예를 설명한다.
도 5는 본 발명의 실시 예에 따른 1차 캐릭터 얼굴을 생성하는 방법을 보인 순서도이고, 도 6은 본 발명의 얼굴 이미지에서 파악되는 특징점을 보인 도면이며, 도 7은 본 발명의 실시 예에 따른 얼굴의 각 랜드마크에 대응된 특정점들을 보인 도면이다.
시스템(100)은 사용자가 선택한 하나의 얼굴 이미지를 파악하고(S501), 파악한 얼굴 이미지에서 얼굴 영역을 인식한다(S502). 그리고 작업자가 얼굴의 형태 및 각 랜드마크에 대하여 라벨링 작업을 하면, 시스템(100)은 각 라벨링 작업에 대한 데이터 셋 즉, 얼굴 형태에 대한 특징점의 데이터 셋과, 각 랜드마크에 대한 데이터 셋(즉, 특징점의 데이터 셋)을 생성한다(S503).
이때 얼굴 형태에 대한 특징점과 각 랜드마크에 대한 특징점의 일 예가 도 6에 도시되어 있으며, 각 랜드마크에 대한 특징점의 데이터 셋의 일 예가 도 7에 도시되어 있다.
시스템(1000은 얼굴 형태에 대한 특징점의 데이터 셋 중 이웃하는 데이터 셋끼리 연결하여 기울기와 길이 등을 파악하여 얼굴의 크기와 모양을 파악하고, 각 랜드마크의 데이터 셋 중 이웃하는 데이터 셋 연결하여 각 랜드마크의 크기와 모양(형태) 및 위치를 파악한다(S503).
그리고, 시스템(100)은 파악한 얼굴의 형태와 각 랜드마크의 크기, 모양 및 위치를 이용하여 3차원 캐릭터 얼굴을 생성한다(S505).
이하에서는 도 8 내지 도 10을 참고하여 캐릭터 미형화(140)에서 수행되는 미형 캐릭터를 생성하는 동작을 설명한다. 도 8은 본 발명의 실시 예에 따른 미형 캐릭터를 생성하는 과정을 보인 도면이고, 도 9는 본 발명의 실시 예에 따른 세로 비율 조절 과정을 설명하기 위한 도면이며, 도 10은 본 발명의 실시 예에 따른 랜드마크의 위치를 설명하기 위한 도면이다.
시스템(100)은 캐릭터 생성부(130)에서 생성한 1차 캐릭터 얼굴을 1차캐릭터 저장부(170)에서 호출하여 파악한다. 그리고 시스템(100)은 1차 캐릭터 얼굴에서 얼굴 형태의 세로 길이 즉, 이마의 끝부분(B)에서 턱(D)까지의 길이에 대하여 상부 길이 즉, 1차 캐릭터 얼굴에 표시된 눈의 중심(A)에서 이마의 끝부분(B)까지의 길이와 하부 길이 즉, 1차 캐릭터 얼굴에 표시된 눈의 중심(A)에서 턱(D)까지의 길이를 파악하고 비교한다. 그리고 시스템(100)은 상부 길이와 하부 길이의 비율이 1:1 즉, 동일한지를 파악하고 동일하지 않으면 길이가 짧은 부분을 늘이거나 길이가 긴 부분을 줄여서 상부 길이와 하부 길이의 비율이 1:1이 되게 조절한다(S801).
S801 과정에서, 시스템은 총 세로 길이가 설정된 길이가 되도록 세로 비율을 조절하거나, 설정된 길이와 무관하게 세로 비율을 조절할 수 있다. 이에 따라 설정된 길이로 총 세로 길이를 조절하면 모든 사용자에 대한 캐릭터 얼굴의 세로 길이는 서로 동일하게 되나, 설정된 길이와 무관하게 세로 비율을 조절하게 되면 각 사용자별 캐릭터 얼굴의 세로 길이는 서로 다르거나 일부 다를 수 있다.
시스템(100)은 상부 길이와 하부 길이를 동일하게 한 후, 하부 길이에 대하여 눈의 중심(A)에서 코끝(C)까지의 제1 길이와, 코끝(C)에서 턱(D)까지의 제2 길이를 파악하고 비교하여 두 길이의 비율이 1:1 즉, 동일한지를 파악하고 동일하지 않으면 길이가 짧은 부분을 늘이거나 길이가 긴 부분을 줄여서 제1 길이와 제2 길이의 비율이 1:1이 되게 조절한다(S802).
따라서, 시스템(100)은 얼굴의 세로 길이를 도 9의 (a)와 같이, 눈의 중심(A)에서 이마의 끝부분(B)까지의 길이(상부 길이)와, 눈의 중심(A)에서 코끝(C)까지의 제1 길이 및 코끝(C)에서 턱(D)까지의 길이 간의 비율이 2:1:1이 되게 한다.
시스템(100)은 도 9의 (b)에 도시된 바와 같이 2:1:1의 비율로 조절된 얼굴에 대해 세로 단위(1vd)를 구획 기준으로 하여 세로 길이를 12개의 세로칸(12vd)으로 구획하고(S803), 전체 가로 길이를 가로 단위(1hd)를 구획 기준으로 하여 한 8개의 가로칸(8hd)으로 구획한다(S804).
S804 과정에서 눈썹이 위치하는 가로칸은 9개의 가로칸(9hd)으로 구획되며, 가로의 한 칸(1hd)과 세로의 한 칸(1vd)는 서로 동일한 길이일 수 있으며, 8개의 가로칸(8hd)의 좌측 및 우측 끝칸은 얼굴 형태 크기의 최대치 제한을 위한 구간으로, 다른 가로칸에 비해 길이가 짧을 수 있다.
한편, S803 과정에서 12개의 세로칸(12vd)을 구획할 때에 도 10의 (b)에 도시된 바와 같이, 시스템(100)은 이마, 눈썹, 눈, 코 및 입의 세로 경계가 명확해지도록 이마, 눈썹, 눈, 코 및 입의 구획은 설정된 최소거리만큼 이격하여 구획할 수 있다.
이하에서는 12개의 세로칸 중 첫번째 세로칸은 이마의 끝(B) 부분이고, 순차적으로 내려와서 12번째 세로칸은 턱(D) 부분이라 한다.
시스템(100)은 오른쪽 눈과 왼쪽 눈을 2개의 세로칸(2vd) 즉, 6번째 및 7번째 세로칸에 위치하게 하거나, 오른쪽 눈과 왼쪽 눈의 크기를 조절하여 각 눈이 6번째 및 7번째 세로칸을 모두 채우도록 한다. 그리고 시스템(100)은 오른쪽 눈과 왼쪽 눈 간의 간격이 전체 세로 길이의 중심을 기준으로 가로 2칸(2hd)이 되도록 조절한다(S805).
양쪽 눈썹이 5번째 세로칸에 위치하게 조절하며(S806), 두 눈썹의 간격 즉 미간의 길이가 전체 세로 길이의 중심을 기준으로 가로 1칸이 되도록 조절한다(S807).
그리고 시스템(100)은 코를 설정된 표시영역인 세로 8칸과 9칸 내에 위치하되, 미간의 가로 길이 중간에 위치하게 한다. 그리고, 시스템(100)은 입술을 설정된 표시영역인 코 밑의 세로 2칸 즉, 세로 10칸 및 세로 11칸에 위치시키되, 입술의 중심이 가로 3칸 내지 가로 6칸의 중심에 위치하게 한다(S808). 여기서 가로 3칸과 가로 6칸은 도 10의 (a)에서 왼쪽을 시작으로 하여 호칭한 것이다.
시스템(100)은 각 랜드마크에 대한 위치 조절을 마치면 미형 캐릭터 얼굴을 완성된 것으로 하여 저장한다(S809). 여기서, 본 발명의 실시 예에 따른 미형 캐릭터 얼굴의 일 예가 도 15에 도시되어 있다. 도 15를 참고하면, 본 발명의 실시 예에 따른 미형 캐릭터 얼굴에서 눈썹, 눈, 코 및 입의 위치는 미형 기준에 따라 설정됨에 따라 동일할 수 있으며, 눈썹 간의 간격, 눈의 간격 등이 동일할 수 있다. 다만, 눈썹, 눈, 코 및 입의 형태가 해당 사용자의 특징을 반영하여 서로 다를 수 있다.
한편, 전술한 도 9를 참조로 한 설명은 각 랜드마크의 크기가 1차 캐릭터 얼굴과 동일한 것으로 하여 설명하였다.
그러나, 본 발명은 부위별크기 조절부(144)를 이용하여 각 랜드마크의 크기를 조절할 수 있다. 예컨대, 시스템(100)은 도 9의 (a)에 도시된 바와 같이 눈썹의 크기를 설정된 표시영역인 4개의 가로칸(4vd)과 하나의 세로칸(1vd)에 모두 표시되도록 조절하고, 눈의 크기를 설정된 표시영역인 3개의 가로칸(3hd)과 2개의 세로칸(2vd)에 모두 표시되도록 조절할 수 있다. 그리고 시스템(100)은 코의 크기를 설정된 표시영역인 2개의 가로칸(2hd)과 2개의 세로칸(2vd)에 모두 표시되도록 조절하고, 입술(입)을 설정된 표시영역인 2개의 세로칸(2vd)과 4개의 가로칸(4hd) 모두에 표시되도록 조절할 수 있다.
또 한편, 본 발명의 다른 실시 예에 따르면, 시스템(100)은 S803 과정을 수행하기 전에 가로비율 조절부(142)를 이용하여 1차 캐릭터 얼굴의 총 가로 길이를 설정된 길이로 조절하는 과정을 수행할 수 있다. 이 경우에 단위 가로칸(1vd)는 도 9를 참조로 설명한 단위 가로칸(1vd)과 그 길이가 차이가 날 수 있다.
또 한편, 도 9의 (b)에 도시된 바와 같이 시스템(100)은 가로 구획시에 이마와 눈썹, 눈, 코 및 입이 위치하는 2개의 세로칸(2vd) 간의 경계가 설정거리만큼 구분되도록 하여, 이마와 눈썹 사이, 눈썹과 눈 사이, 눈과 코 사이 및 코와 입 사이가 뚜렷하게 구분되도록 할 수 있다.
이하에서는 도 11을 참조로 하여 본 발명의 제2 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법을 설명한다.
도 11은 본 발명의 제2 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템의 블록 구성도이다. 도 11을 참고하면, 본 발명의 제2 실시 예에 따른 시스템(100a)은 본 발명의 제1 실시 예에 따른 시스템(100)과 전체적으로 동일한 구성을 가진다. 그러나 본 발명의 제1 실시 예는 1차 캐릭터 얼굴을 생성하고, 생성된 1차 캐릭터 얼굴을 이용하여 미형화 캐릭터를 생성하는데 반하여, 본 발명의 제2 실시 예는 각 랜드마크의 형태와 크기만을 파악한 후 기 저장된 일부 미형화된 캐릭터 얼굴에 각 랜드마크를 위치시켜 모델링함으로써 미형화 캐릭터를 생성하는 차이가 있다.
그에 따라 본 발명의 제2 실시 예에 따른 시스템(100a)은 본 발명의 제1 실시 예에 따른 구성인 캐릭터 생성부(130), 1차 캐릭터 미형부(140) 및 1차캐릭터 저장부(170)과는 상이한, 특정부위 파악부(130a), 미형캐릭터 생성부(140a) 기본캐릭터 저장부(170a)를 구성으로 한다.
특정부위 파악부(130a)는 얼굴 이미지에서 얼굴의 전체 형상 및 각 랜드마크의 크기와 형상을 파악한다. 특정부위 파악부(130a)에서 이용되는 각 랜드마크의 크기와 형상을 파악하는 기술은 다양하며, 또한 통상의 기술로 공지되어 있으므로 자세한 설명은 생략한다.
미형캐릭터 생성부(140a)는 얼굴의 전체 형상과 동일하거나 유사한 기 저장된 기본 캐릭터 얼굴에 각 랜드마크를 위치시키고 각 랜드마크의 가로 위치, 세로 위치 또는/및 크기를 조절하여 3차원의 미형 캐릭터를 생성한다.
기본캐릭터 저장부(170a)는 다양한 얼굴의 외형에 대응하는 기본 캐릭터 얼굴을 저장하고 있다. 기본캐릭터 저장부(170a)에 저장된 3차원의 기본 캐릭터 얼굴은 도 10의 (a)와 같이 눈의 중심(A)에서 이마의 끝부분(B)까지의 길이(상부 길이)와, 눈의 중심(A)에서 코끝(C)까지의 제1 길이 및 코끝(C)에서 턱(D)까지의 길이 간의 비율이 2:1:1로 만들어져 있고, 12개의 세로칸(12vd)과 10개의 가로칸(10hd)이 구획되어 있으며, 각 랜드마크가 종류별로 표시될 위치가 정해져 있는 3차원 캐릭터이다.
이하에서 도 12를 참고하여 미형캐릭터 생성부(140a)를 보다 상세히 설명한다. 도 12는 본 발명의 실시 예에 따른 미형캐릭터 생성부의 블록 구성도이다.
도 12의 (a)를 참고하면, 본 발명의 제1 실시 예에 따른 미형캐릭터 생성부(140a)는 가로비율 조절부(142), 피부색 조절부(143) 및 기본 모델링부(145)을 포함한다. 여기서, 가로비율 조절부(142)와 피부색 조절부(143) 중 적어도 하나는 경우에 따라 생략이 가능하다.
기본 모델링부(145)는 특정부위 파악부(130a)에서 파악한 얼굴의 전체 형상, 각 랜드마크의 크기와 모양을 수신하고, 수신한 얼굴 전체 형상과 동일하거나 유사한 하나의 3차원 기본 캐릭터를 기본캐릭터 저장부(170a)에서 추출한다. 그리고, 기본 모델링부(145)는 특정부위 파악부(130a)로부터 수신한 각 랜드마크를 크기와 모양 그대로 하여 설정된 해당 위치에 표시하여 1차 미형캐릭터 얼굴을 생성한다.
가로비율 조절부(142)는 기본 모델링부(145)에서 생성한 1차 미형캐릭터 얼굴에 대해 각 랜드마크의 가로 위치를 조절한다. 예컨대, 두 눈썹의 간격을 조절하거나, 두 눈의 간격을 조절하거나, 코 또는 입의 가로 위치를 조절한다.
피부색 조절부(143)는 색상 파악부(134)에서 파악한 각 랜드마크의 피부색을 인종(예; 황인, 백인, 흑인)에 대응하여 설정된 복수의 컬러에 가장 가까운 컬러의 피부색으로 조절한다. 설정된 복수의 컬러는 빅데이터 분석을 통해 취득한 각 인종별로 선호하는 피부색이다. 한편, 얼굴 피부는 각 랜드마크마다 피부의 두께가 다르며, 피부막이 얇은 곳은 혈관이 잘 비치기 때문에 붉은색이 돈다. 이러한 적당한 붉은색은 사람을 건강하게 하고 아름답게 보이게 한다. 그러므로, 피부색 조절부(143)는 랜드마크별로 서로 다른 피부색이 반영되도록 할 수 있으며, 예컨대, 눈 주위, 코, 광대, 뺨, 귀에 자연스러운 붉은색의 피부가 반영되게 할 수 있다.
다음으로, 도 12의 (b)를 참고하면 본 발명의 제2 실시 예에 따른 미형캐릭터 생성부(140a)는 가로비율 조절부(142a), 피부색 조절부(143), 부위별크기 조절부(144) 및 기본 모델링부(145)를 포함한다. 여기서, 가로비율 조절부(142)와 피부색 조절부(143) 중 적어도 하나는 경우에 따라 생략이 가능하다.
본 발명의 제2 실시 예에 따른 캐릭터 미형부(140)는 제1 실시 예에 전반적으로 동일하며, 다만 부위별크기 조절부(144)가 추가된 형태이다.
부위별크기 조절부(144)는 랜드마크 파악부(133)에서 파악한 각 랜드마크의 크기를 각 랜드마크별로 설정된 크기로 조절한다.
이하에서는 도 13을 참고하여 본 발명의 제2 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법을 설명한다. 도 13은 본 발명의 제2 실시 예에 따른 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법의 개략적인 순서도이다.
도 13을 참고하면, 시스템(100a)은 접속한 사용자 단말(10)에서 제공한 제1 얼굴 이미지를 수신하거나, 얼굴이미지 저장부(160)에 저장된 얼굴 이미지 중 제1 얼굴 이미지를 선택하면, 사용자가 선택한 제1 얼굴 이미지를 파악한다(S1301).
시스템(100a)은 파악한 제1 얼굴 이미지에 대하여 안면인식 기술을 통하여 얼굴의 형태를 파악하고(S1302), 눈썹, 눈, 코, 입 등 얼굴의 각 랜드마크에 대한 모양 및 크기를 파악한다(S1303).
그럼 다음 시스템(100a)은 S1302 과정에서 파악한 얼굴 형태에 일치하는 또는 가장 유사한 3차원 기본 캐릭터 얼굴을 저장부(170a)으로부터 추출하고(S1304), 추출한 3차원 기본 캐릭터 얼굴에서 기 설정된 각 랜드마크 표시영역에 해당 랜드마크를 위치시켜 3차원의 기본 미형캐릭터 얼굴을 생성한다(S1305).
3차원의 기본 미형캐릭터 얼굴이 생성되면, 시스템(100a)은 3차원의 기본 미형캐릭터 얼굴에서 오른쪽 눈과 왼쪽 눈 간의 가로 간격이 가로 2칸(2hd)이 되도록 조절하고(S1306), 양쪽 눈썹의 간격(즉, 미간)의 길이가 가로 1칸이 되도록 조절한다(S1307).
또한 시스템(100a)는 코끝이 미간의 중심 즉, 가로 5칸과 가로 6칸의 경계에 위치하였는지를 파악하고, 위치하지 않았다면 위치조절을 한다(S1308). 그리고 시스템(100a)은 입술에 대해서도 입술의 중심이 가로 5칸과 가로 6칸의 경계에 위치하였는지를 파악하고, 위치하지 않았다면 위치조절을 한다(S1309).
이렇게 각 랜드마크에 대한 위치조절을 수행하면, 시스템(100a)은 미형화된 캐릭터가 완성되었다고 판단하고 저장한다(S1310).
이하에서는 도 14를 참고하여 본 발명의 제2 실시 예에 따른 3차원 미형 캐릭터 생성 방법을 설명한다. 도 14는 본 발명의 제3 실시 예에 따른 3차원 미형 캐릭터 생성 방법의 개략적인 순서도이다.
도 14를 참고하면, 시스템(100a)은 접속한 사용자 단말(10)에서 제공한 제1 얼굴 이미지를 수신하거나, 얼굴이미지 저장부(160)에 저장된 얼굴 이미지 중 제1 얼굴 이미지를 선택하면, 사용자가 선택한 제1 얼굴 이미지를 파악한다(S1401).
시스템(100a)은 파악한 제1 얼굴 이미지에 대하여 안면인식 기술을 통하여 얼굴의 형태를 파악하고(S1402), 눈썹, 눈, 코, 입 등 얼굴의 각 랜드마크에 대한 모양 및 크기를 파악한다(S1403).
그럼 다음 시스템(100a)은 S1402 과정에서 파악한 얼굴 형태에 일치하는 또는 가장 유사한 3차원 기본 캐릭터 얼굴을 저장부(170a)으로부터 추출하고(S1404), S1403 과정에서 파악한 각 랜드마크의 크기를 3차원 기본 캐릭터 얼굴에 설정되어 있는 각 랜드마크의 표시영역의 크기에 맞게 조절한다(S1405).
그런 다음 시스템(100a)는 3차원 기본 캐릭터 얼굴에서 크기를 조절한 각 랜드마크를 해당 랜드마크의 표시영역에 위치시켜 3차원의 기본 미형캐릭터 얼굴을 생성한다(S1406).
3차원의 기본 미형캐릭터 얼굴이 생성되면, 시스템(100a)은 3차원의 기본 미형캐릭터 얼굴에서 오른쪽 눈과 왼쪽 눈 간의 가로 간격이 가로 2칸(2hd)이 되도록 조절하고, 양쪽 눈썹의 간격(즉, 미간)의 길이가 가로 1칸이 되도록 조절한다(S1407).
또한 시스템(100a)는 코끝이 미간의 중심에 위치하도록 위치조절을 하고, 입술에 대해서도 입술의 중심이 가로 5칸과 가로 6칸의 경계에 위치하도록 위치조절을 한다(S1408).
이렇게 각 랜드마크에 대한 위치조절을 수행하면, 시스템(100a)은 미형화된 캐릭터가 완성되었다고 판단하고 저장한다(S1409).
본 발명의 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 서로 양립 불가능하지 않은 이상, 각 실시예에 개시된 기술적 특징들은 서로 다른 실시예에 병합되어 적용될 수 있다.
따라서, 각 실시예에서는 각각의 기술적 특징을 위주로 설명하지만, 각 기술적 특징이 서로 양립 불가능하지 않은 이상, 서로 병합되어 적용될 수 있다.
본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100, 100a: 시스템 110: 사용자 입력부
120: 샘플 수집부 130: 캐릭터 생성부
140: 캐릭터 미형부 150: 표시부
160: 얼굴이미지 저장부 170: 1차캐릭터 저장부
180: 미형캐릭터 저장부 130a: 특정부위 파악부
140a: 미형캐릭터 생성부 170a: 기본캐릭터 저장부
131: 얼굴이미지 파악부 132: 랜드마크 파악부
133: 특징 파악부 134: 색상 파악부
135: 캐릭터 모델링부 141: 세로비율 조절부
142: 가로비율 조절부 143: 피부색 조절부
144: 부위별크기 조절부 145: 기본 모델링부

Claims (11)

  1. 제1 사용자의 2차원 얼굴 이미지를 수집하는 샘플 수집부;
    상기 2차원 얼굴 이미지를 이용하여 상기 제1 사용자의 얼굴을 이루는 각 랜드마크의 특징이 반영된 3차원의 캐릭터 얼굴을 생성하는 캐릭터 생성부;
    상기 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 크기를 설정 크기로 조절하고, 각 랜드마크의 가로 위치 및 세로 위치를 조절하여 랜드마크별 세로 및 가로 비율이 설정 비율을 가지는 3차원의 미형 캐릭터 얼굴을 생성하는 캐릭터 미형부; 및
    각종 정보를 화면에 표시하는 디스플레이 장치를 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  2. 제1 항에 있어서,
    상기 캐릭터 미형부는 상기 3차원의 캐릭터 얼굴에 대해 이마의 끝부분에서 눈의 중심, 눈의 중심에서 코끝 및 코끝에서 턱을 2:1:1의 비율로 조절하고, 2:1:1의 비율로 조절된 얼굴에서 각 랜드마크의 세로 길이와 세로 위치를 조절하는 세로비율 조절부; 및
    상기 2:1:1의 비율로 조절된 얼굴에서 각 랜드마크의 가로 길이와 가로 위치를 조절하는 가로비율 조절부를 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  3. 제2 항에 있어서,
    상기 세로비율 조절부는 상기 2:1:1의 비율로 조절된 얼굴에서 설정된 세로 단위를 구획 기준으로 하여 세로 길이를 12개의 세로칸으로 구획하고, 각 랜드마크의 세로 길이를 각 랜드마크 별로 설정된 위치의 세로칸에 위치하도록 세로 길이를 조절하고, 상기 가로비율 조절부는 상기 2:1:1의 비율로 조절된 얼굴에서 설정된 가로 단위를 구획 기준으로 하여 가로 길이를 10개의 가로칸으로 구획하고, 각 랜드마크의 가로 길이를 각 랜드마크 별로 설정된 위치의 가로칸에 위치하도록 가로 길이를 조절하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  4. 제1 항 또는 제3 항에 있어서,
    상기 캐릭터 생성부는 상기 특징 파악부에서 파악한 각 랜드마크의 영역에 대하여, 평균점 이동 알고리즘을 이용하여 해당 영역의 각 색상값들에 대해서 주변 값들과의 밀도를 계산하고, 주변 색상을 밀도가 높은 색상값으로 이동시켜 밀도가 가장 높은 색상을 해당 랜드마크의 색상으로 파악하는 색상 파악부를 더 포함하며,
    상기 캐릭터 미형부는 상기 색상 파악부에서 파악한 각 랜드마크의 피부색을 인종에 대응하여 설정된 복수의 컬러 중에서 해당 피부색에 가장 가까운 컬러의 피부색으로 조절하는 피부색 조절부를 더 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  5. 제4 항에 있어서,
    상기 세로 비율 조절부와 상기 가로 비율 조절부는 오른쪽 눈과 왼쪽 눈 간의 간격을 전체 세로 길이의 중심을 기준으로 가로 2칸이 되도록 조절하고, 상기 오른쪽 눈과 상기 왼쪽 눈을 세로 2칸과 가로 3칸 내에 위치하도록 조절하며, 상기 오른쪽 눈의 바로 위 세로 한 칸과 가로 4칸에 오른쪽 눈썹이 위치하고 상기 왼쪽 눈의 바로 위 세로 한 칸과 가로 4칸에 왼쪽 눈썹이 위치하게 하며 전체 세로 길이의 중심을 기준으로 상기 오른쪽 눈썹과 왼쪽 눈썹의 간격이 가로 한 칸이 되도록 조절하며, 상기 양쪽 눈의 간격 바로 아래 가로 2칸과 세로 2칸에 코가 위치하도록 조절하고, 상기 코가 위치한 세로 칸 바로 아래 세로 2칸과 가로 4칸에 입술이 위치하도록 조절하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  6. 제5 항에 있어서,
    상기 세로 비율 조절부는 이마와 눈썹, 눈, 코 및 입이 위치하는 세로칸 간의 경계를 설정거리만큼 이격시켜 이마와 눈썹 사이, 눈썹과 눈 사이, 눈과 코 사이 및 코와 입 사이가 뚜렷하게 구분되도록 하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  7. 제1 사용자에 대한 2차원 얼굴 이미지를 이용하여 상기 제1 사용자의 얼굴을 이루는 각 랜드마크의 특징을 파악하는 단계;
    상기 각 랜드마크의 특징이 반영된 3차원의 캐릭터 얼굴을 생성하는 단계;
    상기 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 위치를 설정 위치로 조절하는 단계; 및
    상기 3차원의 캐릭터 얼굴에서 상기 각 랜드마크의 크기를 설정 크기로 조절하는 단계를 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  8. 제7 항에 있어서,
    상기 3차원의 캐릭터 얼굴에 대해 이마의 끝부분에서 눈의 중심, 눈의 중심에서 코끝 및 코끝에서 턱을 2:1:1의 비율로 조절하는 단계를 더 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  9. 제7 항에 있어서,
    상기 3차원의 캐릭터 얼굴을 생성하는 단계는,
    제1 사용자에 대한 2차원 얼굴 이미지를 이용하여 상기 제1 사용자의 얼굴 형태를 파악하는 단계;
    기 저장된 미형화된 복수의 얼굴 형태 중에서 상기 제1 사용자의 얼굴 형태에 가장 가까운 미형화된 얼굴 형태를 추출하는 단계; 및
    추출한 상기 미형화된 얼굴 형태에 상기 제1 사용자의 얼굴을 이루는 각 랜드마크를 위치시켜 상기 3차원의 캐릭터 얼굴을 생성하는 단계를 포함하고,
    상기 미형화된 얼굴 형태는 이마의 끝부분에서 눈의 중심, 눈의 중심에서 코끝 및 코끝에서 턱을 2:1:1의 비율로 조절되어 있는 얼굴 형태인 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템.
  10. 제8 항 또는 제9 항에 있어서,
    상기 각 랜드마크의 위치를 설정 위치로 조절하는 단계는,
    상기 2:1:1의 비율로 조절된 얼굴에서 설정된 세로 단위를 구획 기준으로 하여 세로 길이를 12개의 세로칸으로 구획하는 단계;
    각 랜드마크의 세로 길이를 각 랜드마크 별로 설정된 위치의 세로칸에 위치하도록 세로 길이를 조절하는 단계;
    상기 2:1:1의 비율로 조절된 얼굴에서 설정된 가로 단위를 구획 기준으로 하여 가로 길이를 10개의 가로칸으로 구획하는 단계; 및
    각 랜드마크의 가로 길이를 각 랜드마크 별로 설정된 위치의 가로칸에 위치하도록 가로 길이를 조절하는 단계를 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법.
  11. 제7 항에 있어서,
    평균점 이동 알고리즘을 이용하여 해당 영역의 각 색상값들에 대해서 주변 값들과의 밀도를 계산하고, 주변 색상을 밀도가 높은 색상값으로 이동시켜 밀도가 가장 높은 색상을 해당 랜드마크의 색상으로 파악하는 단계; 및
    상기 평균점 이동 알고리즘을 이용하여 파악한 각 랜드마크의 피부색을 인종에 대응하여 설정된 복수의 컬러 중에서 해당 피부색에 가장 가까운 컬러의 피부색으로 조절하는 단계를 더 포함하는 메타버스에 이용되는 3차원 미형 캐릭터 생성 방법.
KR1020220051624A 2022-04-26 2022-04-26 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법 KR20230151821A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220051624A KR20230151821A (ko) 2022-04-26 2022-04-26 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220051624A KR20230151821A (ko) 2022-04-26 2022-04-26 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230151821A true KR20230151821A (ko) 2023-11-02

Family

ID=88747672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220051624A KR20230151821A (ko) 2022-04-26 2022-04-26 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230151821A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815209B1 (ko) 2001-05-09 2008-03-19 주식회사 씨알이에스 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
KR20210047920A (ko) 2019-05-15 2021-04-30 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 모델의 생성

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815209B1 (ko) 2001-05-09 2008-03-19 주식회사 씨알이에스 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
KR20210047920A (ko) 2019-05-15 2021-04-30 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 모델의 생성

Similar Documents

Publication Publication Date Title
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
US11348300B2 (en) Avatar customization for optimal gaze discrimination
US11656680B2 (en) Technique for controlling virtual image generation system using emotional states of user
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
Varona et al. Hands-free vision-based interface for computer accessibility
US20200090392A1 (en) Method of Facial Expression Generation with Data Fusion
AU2019227506A1 (en) Matching meshes for virtual avatars
CN113156650A (zh) 利用映像的增强现实系统和方法
CN110023814A (zh) 由可穿戴设备进行面部模型捕获
CN115185366A (zh) 用户界面菜单的情景感知
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
CN101779218A (zh) 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
JP2022522667A (ja) メイクアップ処理方法、装置、電子デバイス、及び記録媒体
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
KR20170002100A (ko) 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
JPWO2018079255A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Borges et al. A virtual makeup augmented reality system
KR20230151821A (ko) 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법
KR20220080576A (ko) 아바타 캐릭터 생성 시스템 및 방법
KR20230134832A (ko) 실감형 형상 모델링 생성 방법
KR102372521B1 (ko) 유저의 페이셜 인식을 통한 커뮤니케이션 중 웨어링 이펙트 실시간 반영 시스템
KR20220053466A (ko) 유저의 페이셜 인식을 통한 커뮤니케이션 중 이벤트 쉐어링 시스템
KR20220019611A (ko) 메이크업 이펙트의 선택적 적용과 클래시파잉텀을 활용한 이미지 포스팅 시스템
Fantoni et al. Comparative judgements of facial emotions are affected by semantic congruity not by SNARC

Legal Events

Date Code Title Description
E902 Notification of reason for refusal