KR101653592B1 - 3차원 모델링 서비스 제공 방법 - Google Patents

3차원 모델링 서비스 제공 방법 Download PDF

Info

Publication number
KR101653592B1
KR101653592B1 KR1020150016921A KR20150016921A KR101653592B1 KR 101653592 B1 KR101653592 B1 KR 101653592B1 KR 1020150016921 A KR1020150016921 A KR 1020150016921A KR 20150016921 A KR20150016921 A KR 20150016921A KR 101653592 B1 KR101653592 B1 KR 101653592B1
Authority
KR
South Korea
Prior art keywords
face
feature points
model
coordinates
facial
Prior art date
Application number
KR1020150016921A
Other languages
English (en)
Other versions
KR20160095533A (ko
Inventor
권오영
박찬영
안창주
계동현
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020150016921A priority Critical patent/KR101653592B1/ko
Publication of KR20160095533A publication Critical patent/KR20160095533A/ko
Application granted granted Critical
Publication of KR101653592B1 publication Critical patent/KR101653592B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 서비스 서버가 상기 하나의 정면 얼굴사진에 대하여 ASM알고리즘을 이용하여 77개의 특징점을 추출하고, 상기 하나의 측면 얼굴 사진을 피부 이진화 처리를 수행하고 에지 디텍팅을 하여 이마의 높이, 코의 높이, 윗입술의 높이 그리고 턱의 높이를 포함하는 얼굴 높낮이 정보를 파악하며, 상기 77개의 특징점 각각의 좌표를 x축의 좌표와 y축의 좌표로 하고 상기 얼굴 높낮이 정보를 z축의 좌표로 하여 77개의 3차원 좌표를 생성하며, 상기 77개의 3차원 좌표를 RBF(Radial Basis Function) 보간법을 이용하여 1999개의 3차원 좌표를 생성한 후, 기 저장된 표준 3D얼굴모델의 1999개 3차원 좌표를 상기 1999개의 3차원 좌표로 변환하여 상기 표준 3D얼굴모델을 변형시키고, 상기 77개의 특징점을 이용하여 생성한 텍스처 맵을 상기에서 변형시킨 3D얼굴모델에 맵핑하여 최종적으로 상기 하나의 정면 얼굴사진과 상기 하나의 측면 얼굴사진에 대응하는 3D얼굴모델을 완성한다.

Description

3차원 모델링 서비스 제공 방법{ METHOD FOR PROVIDING SERVICE OF THREE DIMENSIONAL FACE MODELING }
본 발명은 사용자의 요청에 따라 2차원의 얼굴 영상을 3차원의 얼굴 모델을 생성하여 제공하는 3차원 모델링 서비스 제공 방법에 관한 것이다.
최근 들어, 3D(3 dimension: 3차원) 관련 기술은 3D TV, 키넥트, 그리고 3D 프린터 등 IT 관련 분야에서 큰 화두가 되고 있으며, 활용 기술 또한 점점 더 늘어나고 있다. 예컨대 NASA(National Aeronautics and Space Administration)에서는 국제우주정거장(ISS)의 부품조달을 위해 3D프린팅 기술을 적극 도입하였으며 덴마크의 LEGO에서는 맞춤형 브릭과 피규어 생산에 이 기술을 도입할 예정이다. 이처럼 3D 관련 기술은 앞으로 더욱 더 늘어날 것이다.
하지만, 3D 모델을 생성하는 기술은 아직 보급되지 못하였으며, 이러한 기술들은 다수의 2D 이미지나 이미지의 뎁스(depth)를 측정할 수 있는 고가의 장비가 별도로 필요하다. 또한 이러한 기술들을 일반인들이 실생활에 적용하기에 아직까지 많은 어려움이 있다.
한국등록특허 제10-0474352호(등록일자: 2005년 02월 22일) 한국등록특허 제10-0720309호(등록일자: 2007년 05월 15일)
따라서 본 발명이 이루고자 하는 기술적 과제는 휴대단말기 또는 컴퓨터 등의 사용자 단말로부터 수신된 2장의 인물 정면사진과 측면사진만을 사용하여 3D 모델을 생성하고 생성한 3D 모델을 사용자에게 제공하며, 사용자 단말에서 3차원 모델을 화면상으로 표시할 수 있게 하는 3차원 모델링 서비스 제공 방법을 제공하는 것이다.
본 발명의 특징에 따른 3차원 모델링 서비스 제공 방법은 서비스 서버가 사용자 단말로부터 하나의 정면 얼굴사진과 하나의 측면 얼굴사진을 수신하는 단계, 상기 서비스 서버가 상기 하나의 정면 얼굴사진에 대하여 ASM((Active Shape Model) 알고리즘을 이용하여 77개의 특징점을 추출하는 단계, 상기 서비스 서버가 상기 하나의 측면 얼굴 사진을 피부 이진화 처리를 수행하고 에지 디텍팅을 하여 이마의 높이, 코의 높이, 윗입술의 높이 그리고 턱의 높이를 포함하는 얼굴 높낮이 정보를 파악하는 단계, 상기 서비스 서버가 상기 77개의 특징점 각각의 좌표를 x축의 좌표와 y축의 좌표로 하고 상기 얼굴 높낮이 정보를 z축의 좌표로 하여 77개의 3차원 좌표를 생성하는 단계, 상기 서비스 서버가 상기 77개의 3차원 좌표를 RBF(Radial Basis Function) 보간법을 이용하여 1999개의 3차원 좌표를 생성하는 단계, 상기 서비스 서버가 기 저장된 표준 3D얼굴모델의 1999개 3차원 좌표를 상기 1999개의 3차원 좌표로 변환하여 상기 표준 3D얼굴모델을 변형시키는 단계, 상기 서비스 서버가 상기 77개의 특징점을 이용하여 텍스처 맵을 생성하는 단계, 상기 서비스 서버가 상기 텍스처 맵을 상기에서 변형시킨 3D얼굴모델에 맵핑하여 최종적으로 상기 하나의 정면 얼굴사진과 상기 하나의 측면 얼굴사진에 대응하는 3D얼굴모델을 완성하는 단계를 포함한다.
상기 77개의 특징점은 16개의 얼굴형 특징점, 6개의 왼쪽눈썹 특징점, 6개의 오른쪽눈썹 특징점, 10개의 왼눈 특징점, 10개의 오른눈 특징점, 11개의 코 특징점, 그리고 18개의 입 특징점으로 구성된다.
상기 텍스처 맵을 생성하는 단계는 상기 77개의 특징점 각각의 좌표를 설정된 텍스처 변환값에 따라 좌표 변환하여 고정 설정된 사각형의 텍스처 맵 영역 내의 점으로 표시하는 단계, 상기 텍스처 맵 영역 내의 각 점을 연결하여 복수의 삼각형을 생성하는 단계, 그리고 상기 하나의 정면 얼굴사진을 이용하여 상기 복수의 삼각형 각각에 대한 텍스처를 생성하는 단계를 포함한다.
상기 3D얼굴모델을 완성하는 단계는 상기 3D얼굴모델의 측면은 16개의 얼굴형 특징점을 연결한 삼각형에 적용된 텍스처를 이용한다.
본 발명의 실시 예에 따르면, 별도의 장비 없이, 정면과 측면 사진만을 사용하여 3D 얼굴 모델을 생성할 수 있게 됨으로써, 3D 모델을 생성하는데 비용을 절감할 수 있으며, 일반인들도 쉽게 자신의 3D 얼굴 모델을 확인할 수 있다. 또한, 생성된 3D 얼굴 모델을 이용하여 가상성형이나 기타 다양한 응용에 활용할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 방법을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 시스템의 구성도이다.
도 3은 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 방법에 대한 순서도이다.
도 4는 본 발명의 실시 예에 따른 정면 사진에서 추출한 특징점을 보인 도면이다.
도 5는 본 발명의 실시 예에 따른 측면 사진에서 추출한 높낮이 정보를 보인 도면이다.
도 6은 본 발명의 실시 예에 따른 표준 3D얼굴모델을 이용하여 3D 모델링 결과를 보인 도면이다.
도 7은 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 방법에 사용되는 텍스처 맵을 보인 도면이다.
도 8은 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 방법에 의해 생성된 3D 모델의 일 예를 보인 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도 1 내지 도 8을 참조하여 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 방법을 설명한다.
도 1은 본 발명의 실시 예에 따른 3차원 모델링 서비스를 개략적으로 도시한 도면이다. 도 1에 도시된 바와 같이 본 발명의 실시 예에 따른 3차원 모델링 서비스는 사용자 단말(100)의 요청에 따라 서비스 서버(200)에서 제공된다.
구체적으로, 사용자는 휴대단말기 또는 컴퓨터 등과 같이 인터넷을 이용하여 서비스 서버(200)에 접속 가능하고 3D 영상을 디스플레이할 수 있는 사용자 단말(100)을 이용하여 얼굴 정면사진 1장과 얼굴 측면사진 1장을 서비스 서버(200)에 제공한다(S1). 이때 정면사진과 측면사진은 동일 인물의 사진이다.
서비스 서버(200)는 1장의 얼굴 정면사진과 1장의 얼굴 측면사진을 이용하여 3D 얼굴(3D 모델)을 생성하고(S2), 생성한 3D 얼굴을 사용자 단말(100)에 제공하며, 사용자 단말(100)은 3D 얼굴을 화면상에 표시하여 사용자가 3D 얼굴을 확인할 수 있게 한다.
이때 서비스 서버(200)로 사진을 전송하고 3D 얼굴의 데이터를 처리하여 3차원 영상을 표시할 수 있도록 하는 애플리케이션이 사용자 단말(100)에 설치되어 있어야 한다.
사용자 단말(100)과 서비스 서버(200)에 대하여 보다 상세히 설명하면, 사용자 단말(100)은 도 2에 도시된 바와 같이 제1 통신부(110), 3D처리요청부(120), 3D영상처리부(130), 일반영상 저장부(140), 3D영상 저장부, 그리고 표시부(160)를 포함한다.
제1 통신부(110)는 인터넷 통신을 담당하며, 사용자 단말(100)과 서비스 서버(200) 간에 데이터 통신이 가능하게 한다. 3D처리요청부(120)는 사용자에게 일반영상 저장부(140)에 저장된 사진 중에서 1장의 얼굴 정면사진과 1장의 얼굴 측면사진을 선택할 수 있게 하고, 사용자가 선택한 2장의 사진을 제1 통신부(110)를 통해 서비스 서버(200)에 제공하여 3D 모델 생성을 요청한다.
3D영상처리부(130)는 서비스 서버(200)로부터 수신된 3D 모델에 대한 데이터를 처리하여 3D 모델이 화면상에 3차원으로 표시될 수 있게 하고, 표시부(160)는 각종 정보 및 3D 모델을 화면상에 표시한다. 일반영상 저장부(140)는 사용자 단말(100)에 의해 촬영된 촬영영상이나 외부 장치나 외부 메모리로부터 다운받은 영상을 저장하며, 3D영상 저장부(150)는 서비스 서버(200)로부터 수신된 3D 모델을 저장한다.
그리고, 본 발명의 실시 예에 따른 서비스 서버(200)는 도 2에 도시된 바와 같이 제2 통신부(210), 특징점(feature vertex) 추출부(220), 높낮이 파악부(230), 3차원좌표 생성부(240), 3D모델 생성부(250), 가공전영상 저장부(260), 가공후영상 저장부(270), 그리고 표준3D모델 저장부(280)를 포함한다.
제2 통신부(210)는 인터넷 통신을 담당하며, 사용자 단말(100)과 서비스 서버(200) 간에 데이터 통신이 가능하게 한다.
특징점 추출부(220)는 ASM(Active Shape Model) 알고리즘을 수행하여 도 4의 (a)에 도시된 원본의 얼굴 정면사진의 데이터로부터 도 4의 (b)에 도시된 바와 같이 77개의 특징점을 추출한다. ASM 알고리즘은 점 분포 모델(point distribution model)로 입력 영상에서 특정 영역을 가장 잘 표현한 점의 분포를 찾는 알고리즘이다. 이때 77개의 특징점은 16개의 얼굴형 특징점, 6개의 왼쪽눈썹 특징점, 6개의 오른쪽눈썹 특징점, 10개의 왼눈 특징점, 10개의 오른눈 특징점, 11개의 코 특징점, 그리고 18개의 입 특징점으로 구성된다. 여기서 얼굴형 특징점은 얼굴형의 파악하기 위한 것으로 턱과 이마를 포함한다.
높낮이 파악부(230)는 1장의 얼굴 측면사진의 데이터로부터 얼굴의 높이 정보를 추출한다. 구체적으로 높낮이 파악부(230)는 도 5의 (a)에 도시된 원본의 측면사진에서 얼굴 피부를 도 5의 (b)에 도시된 바와 같이 이진화하고 이진화한 데이터에서 에지(edge) 검출 방식을 이용하여 도 5의 (b)에 표시된 각 점의 높낮이 즉, 이마의 높이, 코의 높이, 윗입술의 높이 그리고 턱의 높이를 파악한다. 도 5의 (b)에 도시된 바와 같이 피부 이진화를 하게 되면, 얼굴의 피부는 흰색으로 나타나고, 그외의 부분은 검정색으로 나타난다.
3차원좌표 생성부(240)는 특징점 추출부(220)에 의해 추출된 77개의 특징점에 대한 좌표값과 높낮이 파악부(230)에 의해 파악된 높낮이값을 이용하여 77개의 3차원 좌표값을 생성한다. 즉, 3차원좌표 생성부(240)는 2차원값(x, y)으로 표시된 77개의 특징점에 대한 좌표값에 높낮이값을 z축의 값으로 하여 3차원 좌표값을 생성한다. 그리고 3차원좌표 생성부(240)는 77개의 특징점에 대응하는 3차원 좌표값을 제어점으로 하고, 각 제어점에 대하여 RBF(Radial Basis Function) 보간법으로 표준 3D얼굴모델을 구성하는 1999개의 기준점에 대응하는 1999개의 점(즉, 좌표값)을 생성한다. 이때 생성되는 1999개의 좌표값은 3차원 좌표값이다.
3D모델 생성부(250)는 표준3D모델 저장부(280)에 저장된 표준 3D얼굴모델을 읽어온 후, 표준 3D얼굴모델의 1999개 좌표값을 3차원좌표 생성부(240)에서 생성한 1999개의 좌표값으로 바꾼다. 이에 따라 도 6의 (a) 및 (b)에 도시된 바와 같이 표준 3D 모델은 얼굴 정면사진 및 얼굴 측면사진의 얼굴 형태로 변형된다. 여기서 도 6의 (a) 및 (b)에서 좌측은 표준 3D 얼굴모델이고, 우측은 3차원좌표 생성부(240)에서 생성한 1999개의 좌표값을 적용하여 생성한 3D 얼굴모델 즉, 표준 3D얼굴모델에서 변형된 3D 얼굴 모델이다.
그리고 3D모델 생성부(250)는 변형된 3D 얼굴모델에 텍스처(texture)를 입히기 위해 텍스처 맵을 생성하고, 생성한 텍스처 맵을 변형된 3D 얼굴모델에 맵핑하여 최종적으로 3D 얼굴 모델을 완성한다. 여기서 3D모델 생성부(250)는 특징점 추출부(220)에서 추출한 얼굴 정면사진에 대한 77개의 특징점 각각의 좌표를 설정된 텍스처변환값(함수 또는 행렬값)을 이용하여 설정된 고정크기의 사각형 영역 내에 하나의 점(좌표값)으로 표시하고, 사각형 영역 내의 각 점을 연결하여 복수의 삼각형을 만든다.
그런 다음 3D모델 생성부(250)는 각 삼각형 영역에 해당하는 텍스처(피부색 등)를 얼굴 정면사진으로부터 획득하고, 획득한 각 삼각형 영역의 텍스처를 각 삼각형 영역에 적용하여 텍스처 맵을 생성한다. 3D모델 생성부(250)에 의해 최종적으로 생성한 얼굴 정면의 텍스처 맵의 일 예가 도 7에 도시되어 있다.
그리고 생성한 텍스처 맵을 3D 얼굴모델에 맵핑하기 위해 3D모델 생성부(250)는 변형된 3D 얼굴모델에서 77개의 특징점을 추출하고, 텍스처 맵 생성시와 동일하게 77개의 특징점 각각을 연결하여 복수의 삼각형을 만들며, 3D 얼굴모델의 각 삼각형에 텍스처 맵의 각 삼각형을 매칭시켜 텍스처를 입힌다. 그리고 D 얼굴모델의 측면의 경우에는 3D 얼굴모델의 텍스처로부터 파악한 피부색과 동일한 피부색을 입힌다.
이때 텍스처 맵의 삼각형과 이에 대응하는 3D 얼굴모델의 삼각형의 크기가 다르면 삼각형의 꼭지점을 텍스처 맵의 삼각형의 꼭지점을 3D 얼굴모델의 삼각형의 꼭지점에 대응되도록 변형함으로써 2개의 삼각형의 크기가 같아지게 한다. 이에 따라 3D모델 생성부(250)에서 생성한 얼굴 정면, 얼굴 좌측 및 얼굴 우측의 3D 얼굴모델은 일 예로 도 8에 도시된 바와 같이 나타낸다.
가공전영상 저장부(260)는 사용자 단말(100)로부터 수신된 각 사용자별 정면 얼굴사진과 측면 얼굴사진을 저장하고, 가공후영상 저장부(270)는 3D모델 생성부(250)에 의해 완성된 3D 얼굴모델을 저장하며, 표준3D모델 저장부(280)는 표준 3D 얼굴모델을 저장한다.
이하에서는 도 3을 참조로 하여 본 발명의 실시 예에 따른 3차원 모델링 서비스 방법을 설명한다. 도 3은 본 발명의 실시 예에 따른 3차원 모델링 서비스 제공 방법에 대한 순서도이다.
사용자가 사용자 단말(100)에 설치된 3차원 모델링 서비스용 애플리케이션의 실행을 명령하고, 사용자 단말(100)은 사용자의 요청에 따라 서비스 애플리케이션을 실행시킨다(S301). 여기서 서비스 애플리케이션은 3D처리요청부(120)에 해당한다.
사용자 단말(100)은 3D처리요청부(120) 즉, 서비스 애플리케이션을 통해 3차원 모델링 서비스의 서비스 항목을 나타내는 화면창을 화면상에 표시한 후 사용자 입력을 대기한다.
이러한 상태에서 사용자가 서비스 항목 중 3D 모델링 처리를 요청하는 항목을 선택하면, 사용자 단말(100)은 일반영상 저장부(140)에 저장된 사진 정보를 화면상에 표시하고 사용자가 3D 모델링 처리를 할 하나의 정면사진과 하나의 측면 사진을 선택하게 한다. 그리고 사용자가 하나의 정면사진과 하나의 측면 사진을 선택하면, 사용자 단말(100)은 사용자가 선택한 사진을 3D 모델링 처리할 사진으로 판단한다(S302).
그리고 사용자 단말(100)은 사용자로부터 처리 요청 명령을 입력받으면(S303), 제1 통신부(110)를 통해 서비스 서버(200)에 접속하고, 사용자가 선택한 하나의 정면사진과 하나의 측면사진을 서비스 서버(200)에 제공하여 3D 얼굴 모델링 처리를 요청한다(S304).
서비스 서버(200)는 사용자 단말(100)로부터 3D 얼굴 모델링 처리 요청을 수신하면 사용자 단말(100)의 식별정보(예; 전화번호, MAC 어드레스 등)를 파악하고, 사용자 단말의 식별정보에 매칭시켜 수신한 하나의 정면사진과 하나의 측면 사진을 저장한다(S305).
그리고 서비스 서버(200)는 ASM 알고리즘을 통해 하나의 정면사진으로부터 77개의 특징점을 추출하고(S306), 피부 이진화 기법 및 에지 디텍팅 기법을 통해 하나의 측면사진으로부터 이마, 코, 턱, 윗입술 등에 대한 높낮이 정보를 추출한다(S307). 서비스 서버(200)는 추출한 77개의 특징점에 대한 좌표를 2차원의 x축 및 y축의 좌표값으로 활용하고, 높낮이 정보를 z축의 좌표로 활용하여 77개의 특징점에 대응한 3차원 좌표를 생성하며(S308), 표준 3D얼굴모델에 적용된 1999 개의 특징점에 대응하도록 77개의 3차원 좌표를 BRF 보간법을 이용하여 1999개의 3차원 좌표를 생성한다(S309).
서비스 서버(200)는 이렇게 생성된 1999개의 3차원 좌표를 기 저장된 표준 3D얼굴모델을 적용하여 표준 3D얼굴모델의 1999개 특징점에 대한 좌표를 생성한 1999개의 3차원 좌표로 바꾸며, 이에 따라 표준 3D얼굴모델은 하나의 정면사진 및 하나의 측면사진의 얼굴이 가진 특징을 반영한 새로운 3D 얼굴모델로 변형된다(S309).
서비스 서버(200)는 새로운 3D 얼굴모델에 텍스처를 입히기 위하여 정면 얼굴사진으로부터 파악된 77개의 특징점을 이용하여 텍스처 맵을 생성하고(S310), 생성한 텍스처 맵을 새로운 3D 얼굴모델에 맵핑시켜 3D 얼굴모델을 완성한다(S311).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 사용자 단말 200 : 서비스 서버
110 : 제1 통신부 120 : 3D처리요청부
130 : 3D영상처리부 140 : 일반영상 저장부
150 : 3D영상 저장부 160 : 표시부
210 : 제2 통신부 220 : 특징점 추출부
230 : 높낮이 파악부 240 : 3차원좌표 생성부
250 : 3D모델 생성부 260 : 가공전영상 저장부
270 : 가공후영상 저장부 280 : 표준3D모델 저장부

Claims (4)

  1. 서비스 서버가 사용자 단말로부터 하나의 정면 얼굴사진과 하나의 측면 얼굴사진을 수신하는 단계,
    상기 서비스 서버가 상기 하나의 정면 얼굴사진에 대하여 ASM((Active Shape Model) 알고리즘을 이용하여 77개의 특징점을 추출하는 단계,
    상기 서비스 서버가 상기 하나의 측면 얼굴 사진을 피부 이진화 처리를 수행하고 에지 디텍팅을 하여 이마의 높이, 코의 높이, 윗입술의 높이 그리고 턱의 높이를 포함하는 얼굴 높낮이 정보를 파악하는 단계,
    상기 서비스 서버가 상기 77개의 특징점 각각의 좌표를 x축의 좌표와 y축의 좌표로 하고 상기 얼굴 높낮이 정보를 z축의 좌표로 하여 77개의 3차원 좌표를 생성하는 단계,
    상기 서비스 서버가 상기 77개의 3차원 좌표를 RBF(Radial Basis Function) 보간법을 이용하여 1999개의 3차원 좌표를 생성하는 단계,
    상기 서비스 서버가 기 저장된 표준 3D얼굴모델의 1999개 3차원 좌표를 상기 1999개의 3차원 좌표로 변환하여 상기 표준 3D얼굴모델을 변형시키는 단계,
    상기 서비스 서버가 상기 77개의 특징점을 이용하여 텍스처 맵을 생성하는 단계, 그리고
    상기 서비스 서버가 상기 텍스처 맵을 상기에서 변형시킨 3D얼굴모델에 맵핑하여 최종적으로 상기 하나의 정면 얼굴사진과 상기 하나의 측면 얼굴사진에 대응하는 3D얼굴모델을 완성하는 단계
    를 포함하고,
    상기 텍스처 맵을 생성하는 단계는,
    상기 77개의 특징점 각각의 좌표를 설정된 텍스처 변환값에 따라 좌표 변환하여 고정 설정된 사각형의 텍스처 맵 영역 내의 점으로 표시하는 단계,
    상기 텍스처 맵 영역 내의 각 점을 연결하여 복수의 삼각형을 생성하는 단계, 그리고
    상기 하나의 정면 얼굴사진을 이용하여 상기 복수의 삼각형 각각에 대한 텍스처를 생성하는 단계
    를 포함하는 3차원 모델링 서비스 제공 방법.
  2. 제1항에서,
    상기 77개의 특징점은 16개의 얼굴형 특징점, 6개의 왼쪽눈썹 특징점, 6개의 오른쪽눈썹 특징점, 10개의 왼눈 특징점, 10개의 오른눈 특징점, 11개의 코 특징점, 그리고 18개의 입 특징점으로 구성되는 3차원 모델링 서비스 제공 방법.
  3. 삭제
  4. 제1항에서,
    상기 3D얼굴모델을 완성하는 단계는
    상기 3D얼굴모델의 측면은 16개의 얼굴형 특징점을 연결한 삼각형에 적용된 텍스처를 이용하는 3차원 모델링 서비스 제공 방법.
KR1020150016921A 2015-02-03 2015-02-03 3차원 모델링 서비스 제공 방법 KR101653592B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150016921A KR101653592B1 (ko) 2015-02-03 2015-02-03 3차원 모델링 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016921A KR101653592B1 (ko) 2015-02-03 2015-02-03 3차원 모델링 서비스 제공 방법

Publications (2)

Publication Number Publication Date
KR20160095533A KR20160095533A (ko) 2016-08-11
KR101653592B1 true KR101653592B1 (ko) 2016-09-02

Family

ID=56714195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016921A KR101653592B1 (ko) 2015-02-03 2015-02-03 3차원 모델링 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR101653592B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474352B1 (ko) 2001-05-14 2005-03-08 주식회사 페이스쓰리디 2차원 영상으로부터 3차원 얼굴형상의 획득 시스템 및 방법
US7123263B2 (en) 2001-08-14 2006-10-17 Pulse Entertainment, Inc. Automatic 3D modeling system and method
KR100912872B1 (ko) * 2002-10-09 2009-08-19 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법
KR20080068988A (ko) * 2007-01-22 2008-07-25 뷰웨이 주식회사 점진적 활성형상모델을 이용한 얼굴 윤곽 검출

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3차원 깊이 추정 정보를 이용한 능동적 외양모델 기반 3차원 얼굴 모델 피팅 기법(정보과학회논문지 : 소프트웨어 및 응용 제39권2호(2012.02.)*
두 장의 영상을 이용한 스마트폰에서의 3차원 얼굴 모델링(정보과학회논문지 : 시스템 및 이론 제38권5호(2011.10.)*

Also Published As

Publication number Publication date
KR20160095533A (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
EP2852935B1 (en) Systems and methods for generating a 3-d model of a user for a virtual try-on product
CN107484428B (zh) 用于显示对象的方法
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN104346612B (zh) 信息处理装置和显示方法
US8933928B2 (en) Multiview face content creation
JP2019057248A (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US20150235416A1 (en) Systems and methods for genterating a 3-d model of a virtual try-on product
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN109711472B (zh) 训练数据生成方法和装置
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN111508033A (zh) 相机参数确定方法、图像处理方法、存储介质及电子装置
CN111653175B (zh) 一种虚拟沙盘展示方法及装置
JP4474546B2 (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
CN107203961B (zh) 一种表情迁移的方法及电子设备
KR20180083608A (ko) 3d 프린팅을 위한 단일 영상 기반 3d 모델링 장치 및 그 방법
CN110163794B (zh) 图像的转换方法、装置、存储介质和电子装置
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
KR101653592B1 (ko) 3차원 모델링 서비스 제공 방법
JP2013008137A (ja) 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
TW202221656A (zh) 頭戴式顯示器系統以及建構建築空間的虛擬環境的方法
KR102638368B1 (ko) 가상 현실 공간 생성 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant