KR20230134832A - 실감형 형상 모델링 생성 방법 - Google Patents

Abstract

본 발명은 실감형 사용자 형상 모델링 생성방법에 관한 기술로서, 얼굴 모델의 하위 모델로서 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 각각에 대하여 모델들을 생성하여 저장하는 단계, 얼굴 기하학 분석 모델을 이용하여 사용자 얼굴 영상으로부터 3차원 얼굴에 대한 다수의 랜드마크를 검출하는 단계, 상기 얼굴 윤곽, 눈, 코, 입에 대한 검출된 랜드마크들의 2차원 벡터정보와 상기 저장된 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 간의 코사인 유사도 방식을 이용하여 계산된 벡터 유사도를 이용하여 가장 유사도가 높은 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델을 기본 얼굴 모델로 결정하는 단계, 사용자 얼굴 영상으로부터 피부색을 검출하는 단계, 상기 얼굴 영상 또는 사용자 선택정보에 기초하여 헤어 모델과 체형 모델을 결정하는 단계 및 상기 결정된 모델들을 결합하여 사용자 형상을 모델링하는 단계를 포함한다.
상기와 같은 본 발명에 따르면, 자신의 모습과 흡사한 아바타를 이용하여 메타버스 등의 가상 현실의 서비스를 이용함으로써 몰입도를 보다 높일 수 있고, 그에 따라 관련 서비스의 활성화를 유도할 수 있는 장점이 있다.

Description

실감형 형상 모델링 생성 방법{A Method For Creating realistic shape Model}

본 발명은 실감형 형상 모델링 생성 방법에 관한 것으로서, 보다 상세하게는 메타버스 등의 증강현실 또는 혼합현실에서 사용되는 아바타 등의 캐릭터를 사용자의 외모와 유사한 형태로 모델링할 수 있는 기술에 관한 것이다.

증강현실 또는 혼합현실을 사용자에게 제공하는 대표적인 서비스로서, 메타버스(Meta-verse)가 있다. 이 메타버스는 가공, 추상을 의미하는 '메타(Meta)'와 현실세계를 의미하는 '유니버스(Universe)'의 합성어로 3차원 가상세계를 의미한다. 메타버스는 기존의 가상현실 환경(Virtual reality environment)이라는 용어보다 진보된 개념으로서, 웹과 인터넷 등의 가상세계가 현실세계에 흡수된 증강 현실 환경을 제공한다.

사용자는 메타버스 공간 상에서 자신의 모습이 투영된 아바타를 통해 여러 가지 활동을 하게 되는데, 사용자의 몰입감을 높이기 위해서는 사용자의 얼굴이나 체형이 실감적으로 모델링된 아바타를 생성하는 것이 중요하다.

유사도가 높은 아바타를 생성하기 위한 기술로서 일본등록특허 제5632469호와 일본등록특허 제5420056호 등의 기술이 제시되어 있다. 이들 선행기술들은 사용자 얼굴의 특정점 데이터와 기억부에 저장되어 있는 특징점 데이터베이스를 비교하여 가장 유사한 아바타의 파트 화상을 선택하는 기술로서, 사용자가 직접 아바타의 파트 화상을 선택하는 과정에서 사용자의 개입이 요구되므로 작업이 번거롭고 정확성이 떨어지는 단점이 있다.

한편, 한국등록특허 제2194480호에는 안면의 특징점을 추출한 후 특징점 간의 길이정보를 이용하여 가장 유사한 캐릭터 이미지를 추출하여 캐릭터 이미지를 생성하는 기술이 제시되어 있다. 이 선행기술은 사용자의 개입이 요구되지 않은 점에서 장점이 있으나, 특징점 간의 길이정보를 이용하여 가장 유사한 캐릭터 이미지를 찾는 방법으로서 사용자마다 고유한 형상을 갖는 눈, 코, 입 등 주요 특징부위를 개별적으로 반영하지 않으므로 실감도가 낮은 단점이 있다.

이에 보다 사용자를 실감적으로 투영하는 아바타의 생성 기술에 대한 요구가 높아지고 있다.

1. 한국등록특허 제2241153호 (2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템) 2. 한국등록특허 제2194480호 (캐릭터 생성 장치 및 그 방법) 3. 일본등록특허 제5632469호 (캐릭터 생성 시스템, 캐릭터 생성 방법 및 프로그램) 4. 일본등록특허 제5420056호 (이미지 생성 시스템, 화상 작성 애플리케이션 서버, 화상 작성 방법 및 프로그램)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 얼굴 윤곽, 눈, 코, 입 등의 하위 모델별로 유사도 비교를 통해 유사성이 높은 개별 모델을 결정한 후 이들을 결합하여 아바타 형상을 생성함으로써 메타버스 등의 가상 현실에서 몰입도를 높일 수 있도록 하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 일측면에 따르면, 얼굴 모델의 하위 모델로서 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 각각에 대하여 모델들을 생성하여 저장하는 단계, 얼굴 기하학 분석 모델을 이용하여 사용자 얼굴 영상으로부터 3차원 얼굴에 대한 다수의 랜드마크를 검출하는 단계, 상기 얼굴 윤곽, 눈, 코, 입에 대한 검출된 랜드마크들의 2차원 벡터정보와 상기 저장된 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 간의 코사인 유사도 방식을 이용하여 계산된 벡터 유사도를 이용하여 가장 유사도가 높은 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델을 기본 얼굴 모델로 결정하는 단계, 사용자 얼굴 영상으로부터 피부색을 검출하는 단계, 상기 얼굴 영상 또는 사용자 선택정보에 기초하여 헤어 모델과 체형 모델을 결정하는 단계 및 상기 결정된 모델들을 결합하여 사용자 형상을 모델링하는 단계를 포함하는 것을 특징으로 하는 실감형 사용자 형상 모델링 생성방법이 제공된다.

여기서, 상기 얼굴 기하학 분석 모델은 미디어파이프 페이스 메시 모델이 사용될 수 있다.

그리고, 상기 얼굴 윤곽모델은 턱부터 귀 옆부분까지의 11개 랜드마크를 포함할 수 있다.

그리고, 상기 피부색을 검출하는 단계는 상기 랜드마크 정보를 기초로 턱과 아랫 입술 사이의 영역을 지정하여 피부색을 검출하는 것이 바람직하다.

그리고, 사용자로부터 선호 얼굴 모델 선택 신호를 수신하는 단계, 상기 선택된 선호 얼굴 모델의 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델과 그에 대응되는 사용자의 상기 얼굴 윤곽, 눈, 코, 입의 특징점들의 2차원 벡터정보를 비교하여 유사도가 기준값 이상인 모델들을 검출하는 단계 및 상기 유사도가 기준값 이상인 모델과 상기 기본 얼굴 모델 중 이에 대응되는 모델들을 블렌딩하여 2차 얼굴 모델을 생성하는 단계가 더 포함되는 것이 보다 바람직하다.

본 발명에 의하면, 자신의 모습과 흡사한 아바타를 이용하여 메타버스 등의 가상 현실의 서비스를 이용함으로써 몰입도를 보다 높일 수 있고, 그에 따라 관련 서비스의 활성화를 유도할 수 있는 장점이 있다.

도1은 본 발명에 따른 실감형 형상 모델링 생성 방법이 수행되는 과정을 도시한 흐름도이다.
도 2는 얼굴 중요 부위의 랜드마크 추출 방법을 설명하는 도면이다.
도 3은 얼굴 모델 추출에 사용되는 얼굴 각 부위의 랜드마크들을 표시한 것이다.
도 4는 얼굴에서의 블렌딩 포인트들을 표시한 것이다.
도5는 본 발명의 다른 실시예에서 사용자 선호 얼굴 모델을 반영한 2차 얼굴모델을 생성하는 과정을 도시한 흐름도이다.

본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다. 이하의 설명에서 랜드마크 추출, 유사도 비교, 얼굴 모델 생성, 얼굴 모델 수정 등의 동작은 아바타 형상 모델 생성 서비스를 제공하는 기업의 서버를 통해 영상 처리 장치와 관련 소프트웨어를 통해 이루어지는 것으로서 관련 장치 또는 시스템 구성에 대해서는 생략하고 서버에서 소프트웨어적으로 처리가 이루어지는 과정을 중심으로 설명하기로 한다.

도1은 본 발명에 따른 실감형 형상 모델링 생성 방법이 수행되는 과정을 도시한 흐름도, 도 2는 얼굴 중요 부위의 랜드마크 추출 방법을 설명하는 도면, 도 3은 얼굴 모델 추출에 사용되는 얼굴 각 부위의 랜드마크들을 표시한 것, 도 4는 얼굴에서의 블렌딩 포인트들을 표시한 것이다.

도 1을 참조하면, 우선 카메라 등을 이용하여 사용자의 얼굴을 촬영하여 사용자 얼굴 영상을 생성한다(S10). 도 2의 (a)에는 모바일 카메라 또는 웹 카메라를 이용하여 캡쳐된 사용자 얼굴 영상이 예시되어 있다.

사용자 얼굴 영상이 생성되면, 얼굴 기하학 분석 모델을 이용하여 사용자 얼굴 영상으로부터 3차원 얼굴에 대한 다수의 랜드마크를 검출한다(도 2의 b 참조). 얼굴 기하학 분석 모델은 미디어파이프 페이스 메시(MediaPipe Face Mesh) 모델이 사용될 수 있다. MediaPipe Face Mesh 모델은 이미지 파일의 텍스처에서 얼굴의 특징점(landmark) 468개를 머신러닝(ML)을 통해 검출한다. 검출된 랜드마크의 수가 468개 보다 적을 경우, 혹은 검출된 랜드마크 Vector4.w 값(정확도)이 임계값보다 낮을 경우 S10 단계를 다시 진행한다.

그다음, 기본 얼굴모델과 검출된 랜드마크 간의 벡터 유사도가 산출된다(S20). 기본 얼굴모델은 얼굴 모델의 하위 모델로서 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 각각에 대하여 복수 개의 모델들이 미리 생성되어 저장된다.

얼굴 윤곽 모델은 턱부터 귀 옆부분까지 11개의 랜드마크(L1)의 위치값에 따라 여러 얼굴 형태 모델이 생성된다. 예를 들어 얼굴 윤곽 모델은 둥근형, 타원형, 사각형 등의 다양한 얼굴 윤곽 모델을 포함할 수 있다.

눈 모델은 실사와 유사한 형태의 범눈, 소눈, 거북이 눈 등의 다양한 형태의 눈을 모사하는 모델을 포함하며, 눈의 대표적인 10개의 랜드마크(L2)의 위치값에 따라 눈 모델이 결정된다.

코 모델은 기본형, 들창코, 메부리코, 버선코 등의 모델을 포함하며, 코의 대표적인 13개의 랜드마크(L3)의 위치값에 따라 코 모델이 결정된다.

입 모델은 두툼한 입술, 산이 뽀족한 입술, 동그란 입술 등의 모델을 포함하며, 입의 대표적인 11개의 랜드마크(L4)의 위치값에 따라 입 모델이 결정된다.

기본 얼굴모델과 검출된 랜드마크 간의 벡터 유사도 비교는 얼굴 기하학 분석 모델을 통해 검출된 얼굴 윤곽, 눈, 코, 입들의 랜드마크들의 2차원 벡터정보와 저장된 기본 얼굴모델의 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 간의 코사인 유사도 방식을 이용하여 계산된 벡터 유사도를 이용하여 가장 유사도가 높은 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델을 기본 얼굴 모델로 결정한다(S40).

즉, 본 발명에서는 전체적인 얼굴 모델과 검출된 랜드마크들과 비교하여 유사한 얼굴 모델을 결정하는 방식이 아니라, 얼굴 윤곽, 눈, 코, 입에 대하여 각각 유사성이 높은 모델들을 추출한 후 이들을 블렌딩하여 사용자 아바타의 형상을 생성하는 것이 특징이다.

얼굴 모델이 결정되면, 사용자 얼굴 영상으로부터 피부색을 검출한다(S50). 피부색 검출은 랜드마크의 정보를 바탕으로 턱과 아랫입술 사이의 영역을 지정하여 해당 영역의 색상을 검출하는 방식으로 수행된다. HSV 색 공간에서 피부색의 H채널 값 범위에 있는 요소들을 판단하여 손실된 부분을 제외한 영역의 얼굴 피부색이 검출된다.

검출된 피부색 데이터는 RGB 포맷으로 문자열 형태로 저장하며, 텍스쳐 정보 취득 완료 후, 사용자 아바타 정보에 반환된다.

얼굴 영상 또는 사용자 선택정보에 기초하여 헤어 모델과 체형 모델을 결정한다(S60).

헤어 모델은 사용자가 복수의 헤어 모델 중에서 어느 하나의 모델을 선택하는 방식 또는 사용자 얼굴 영상에서 헤어 부분을 분석하여 가장 유사한 헤어 모델을 결정하는 방식이 사용될 수 있다.

헤어 모델이 결정되면 단발머리, 긴머리, 웨이브 긴머리 등의 모델에 대한 선택된 헤어의 배열 인덱스가 반환된다. 선택된 헤어 모델의 인덱스는 정수형 데이터로 저장되고 모델 및 텍스처 정보 취득 완료 후, 유저 아바타 정보로 반환된다.

체형 모델은 사용자가 다양한 체형 모델 중에서 어느 한 모델을 선택하는 방식을 이루어질 수 있다. 연령(아동, 청소년, 성인) 및 체형(뚱뚱함, 마름, 보통)에 따라 분류되어 선택된 체형의 배열 인덱스가 반환된다.

아바타 형상 생성 모듈은 위에서 결정된 모델들을 결합하여 사용자 형상을 모델링한다. 아바타 형상 생성모듈은 Json 포맷으로 구성된 사용자 아바타 정보를 취합한다.

사용자 아바타 정보의 Json 포맷은 다음과 표 1과 같다.

얼굴 모델 인덱스	얼굴 모델 정보 정수형
얼굴 색상	얼굴 색상 정보 문자열
헤어 모델 인덱스	헤어 모델 정보 정수형
체형 모델 인덱스	체형 모델 정보 정수형
얼굴 랜드마크[2][17]	얼굴 특징점 실수형 2차원 배열

스토리지에 저장되어 있는 얼굴 모델은 얼굴 윤곽, 눈, 코, 입에 메시(Mash)에 블렌드 쉐이프 설정이 되어있는 모델이며, 유저 아바타 정보의 특징점(Landmark)에 기반하여 눈, 코, 입, 얼굴 윤곽에 블렌딩(Blending) 한다. 도 4에는 위에서 결정된 각 모델들을 결합하여 얼굴 형상을 생성하기 위한 블렌딩 포인트가 적색 점으로 표시되어 있다. 따라서, 기본 얼굴 모델에 S20 및 S30 단계에서 결정된 하위 얼굴 모델들의 랜드마크를 블렌딩 포인트로 적용하여 사용자 얼굴과 유사한 실감형 얼굴 이미지를 생성하게 된다.

블렌드셰이프는 기본 얼굴 표정로부터 얼굴의 표정을 이루는 다양한 표정들을 동일한 토폴로지(topology)로 미리 만들어 놓고, 기본 얼굴 표정과 제작된 표정을 하나의 정해진 수치로 내삽(interpolation)하는 방식으로 얼굴을 블렌딩하여 얼굴 표정을 표현하는 방식이다. 본 발명에서는 얼굴을 구성하는 각 영역(얼굴 윤곽, 눈, 코, 입 등)의 다양한 형태를 동일한 토폴로지로 미리 만들어 놓고, 기본 얼굴 모델에 이를 내삽하는 형태로 얼굴을 블렌딩하여 얼굴 형상을 생성하게 된다.

여기서, 스토리지는 주성분 분석(Principal Component Analysis) 연관 데이터를 포함 할 수 있다. 주성분 분석은(Principal Component Analysis)는 다차원 데이터를 저차원 데이터로 축소를 위한 기법이다.

도5는 본 발명의 다른 실시예에서 사용자 선호 얼굴 모델을 반영한 2차 얼굴모델을 생성하는 과정을 도시한 흐름도이다.

본 실시예는 위에서 생성된 사용자 얼굴 이미지에 사용자가 선호하는 얼굴 형태를 반영하도록 변형하는 방법에 관한 것이다. 예를 들어 사용자가 선호하는 유명인이나 좋아하는 얼굴 형태에 대한 이미지를 선택하여 본인의 아바타 이미지를 보다 아름답게 보이도록 하는 방법을 제공할 수 있다.

이를 위해 사용자로부터 선호 얼굴 모델 선택 신호를 수신한다(S41). 선호 얼굴 모델은 미리 모델의 메시 구조가 결정되어 있는 이미지 중에서 선택하도록 하는 것이 바람직하다.

사용자가 선호하는 얼굴 모델이 선택되면, 선택된 선호 얼굴 모델의 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델과 그에 대응되는 사용자의 상기 얼굴 윤곽, 눈, 코, 입의 특징점들의 2차원 벡터정보를 비교하여 유사도가 기준값 이상인 모델들을 검출한다(S42).

이러한 과정을 통해 유사도가 기준값 이상인 모델을 검출한다(S43). 예를 들어, 사용자가 특정 선호얼굴을 선택하였고, 얼굴 기하학 분석 모델을 통해 추출된 얼굴 윤곽, 눈, 코, 입의 랜드마크들과 사용자 선호 얼굴의 얼굴 윤곽, 눈, 코, 입의 메시 구조를 비교하여 눈과 입의 벡터 유사도가 미리설정된 기준값 이상으로 유사한 경우, 눈 모델과 입 모델을 변형 대상 모델로 결정할 수 있다.

최종적으로, 유사도가 기준값 이상인 모델과 기본 얼굴 모델 중 이에 대응되는 모델들을 블렌딩하여 2차 얼굴 모델을 생성한다(S44). 위의 예에서 눈과 입이 미리설정된 기준값 이상으로 유사한 경우 생성된 사용자 아바타 얼굴 형상에서 선호 얼굴 모델의 눈 모델과 입 모델의 랜드마크 값들을 이용하여 눈 부분과 입 부분을 블렌딩하여 사용자 선호가 반영된 아바타 얼굴이 형성된다.

본 실시예에서 결정된 사용자 아바타 모델에 선호 얼굴 모델 중 하위 모델 중에서 유사도가 높은 모델들을 선별하여 블렌딩하여 2차 얼굴 모델을 생성함으로써, 사용자 얼굴과 유사성을 유지하면서도 아바타의 이미지에 한층 심미감을 부여한 얼굴 이미지 생성이 가능하게 된다.

비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.

L1 : 얼굴 윤곽 대표 랜드마크 L2 : 눈 대표 랜드마크
L3 : 코 대표 랜드마크 L4 : 입 대표 랜드마크
BP : 블렌딩 포인트

Claims (5)

1. 얼굴 모델의 하위 모델로서 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 각각에 대하여 모델들을 생성하여 저장하는 단계;
   얼굴 기하학 분석 모델을 이용하여 사용자 얼굴 영상으로부터 3차원 얼굴에 대한 다수의 랜드마크를 검출하는 단계;
   상기 얼굴 윤곽, 눈, 코, 입에 대한 검출된 랜드마크들의 2차원 벡터정보와 상기 저장된 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델 간의 코사인 유사도 방식을 이용하여 계산된 벡터 유사도를 이용하여 가장 유사도가 높은 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델을 기본 얼굴 모델로 결정하는 단계;
   사용자 얼굴 영상으로부터 피부색을 검출하는 단계;
   상기 얼굴 영상 또는 사용자 선택정보에 기초하여 헤어 모델과 체형 모델을 결정하는 단계; 및
   상기 결정된 모델들을 결합하여 사용자 형상을 모델링하는 단계를 포함하는 것을 특징으로 하는 실감형 사용자 형상 모델링 생성방법.
   
2. 제1 항에 있어서,
   상기 얼굴 기하학 분석 모델은 미디어파이프 페이스 메시 모델인 것을 특징으로 하는 실감형 사용자 형상 모델링 생성방법.
   
3. 제1 항에 있어서,
   상기 얼굴 윤곽모델은 턱부터 귀 옆부분까지의 11개 랜드마크를 포함하는 것을 특징으로 하는 실감형 사용자 형상 모델링 생성방법.
   
4. 제1 항에 있어서,
   상기 피부색을 검출하는 단계는 상기 랜드마크 정보를 기초로 턱과 아랫 입술 사이의 영역을 지정하여 피부색을 검출하는 것을 특징으로 하는 실감형 사용자 형상 모델링 생성방법.
   
5. 제1 항에 있어서,
   사용자로부터 선호 얼굴 모델 선택 신호를 수신하는 단계;
   상기 선택된 선호 얼굴 모델의 얼굴 윤곽 모델, 눈 모델, 코 모델, 입 모델과 그에 대응되는 사용자의 상기 얼굴 윤곽, 눈, 코, 입의 특징점들의 2차원 벡터정보를 비교하여 유사도가 기준값 이상인 모델들을 검출하는 단계; 및
   상기 유사도가 기준값 이상인 모델과 상기 기본 얼굴 모델 중 이에 대응되는 모델들을 블렌딩하여 2차 얼굴 모델을 생성하는 단계가 더 포함되는 것을 특징으로 하는 실감형 사용자 형상 모델링 생성방법.