KR100523742B1 - 3차원 안경 시뮬레이션 시스템 및 방법 - Google Patents

3차원 안경 시뮬레이션 시스템 및 방법 Download PDF

Info

Publication number
KR100523742B1
KR100523742B1 KR10-2004-7016313A KR20047016313A KR100523742B1 KR 100523742 B1 KR100523742 B1 KR 100523742B1 KR 20047016313 A KR20047016313 A KR 20047016313A KR 100523742 B1 KR100523742 B1 KR 100523742B1
Authority
KR
South Korea
Prior art keywords
glasses
model
user
face
dimensional
Prior art date
Application number
KR10-2004-7016313A
Other languages
English (en)
Other versions
KR20040097349A (ko
Inventor
김소운
이승원
조항신
최성일
Original Assignee
김소운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김소운 filed Critical 김소운
Publication of KR20040097349A publication Critical patent/KR20040097349A/ko
Application granted granted Critical
Publication of KR100523742B1 publication Critical patent/KR100523742B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

안경 선택 및 구입에 관한 의사결정 정보를 가상 시뮬레이션의 형태로 제공하기 위한 3차원 안경 시뮬레이션 시스템 및 방법을 제시한다.
3차원 안경 시뮬레이션 시스템은 사용자 인증을 수행하고, 사용자의 3차원 얼굴 모델을 생성하기 위한 사용자 정보 처리부, 사용자가 상기 데이터베이스에 저장된 다양한 안경 중에서 원하는 안경을 선택함에 따라 3차원 안경 모델을 생성하며, 생성된 3차원 안경 모델과 3차원 얼굴 모델을 합성하여 사용자가 안경을 가상으로 착용한 결과를 그래픽으로 제공하기 위한 그래픽 시뮬레이션부 이러한 컨텐츠를 인터넷과 같은 온라인 환경 또는 통신망에 접속된 오프라인 단말기에 임대 형식으로 제공하는 ASP(Application Service Provider) 송출부 및 패션 전문가의 자문 데이터, 상품 또는 소비자 구매 이력을 기초로 신경향 학습 및 자문 데이터를 생성하고 이에 따라 미래의 패션 트랜드를 예측하며, 그래픽 시뮬레이션부에서 사용자가 상품을 선택할 때 자문 데이터를 제공하기 위한 지능형 CRM 엔진부 CRM 엔진의 분석을 통하여 사용자의 패션 성향을 데이터베이스화 하고 새로운 상품이 출시될 때마다 이를 가상으로 사용자 얼굴에 착용 시켜 이를 email 또는 멀티미디어 메시지 등의 전자 홍보물을 통해 유선 또는 무선 단말기로 전송하는 마케팅 도구부
이와 같은 안경 시뮬레이션 시스템에 의하면 실제 안경 착용시의 모습과 가장 유사한 형태의 결과를 도출할 수 있고, 전문가 자문 시스템에 의해 제품을 보다 정확하게 선택하여 각 사용자별 맞춤 안경의 제작이 가능하게 된다.
안경의 기하학적 특징을 분석하고 적용시킬 수 있는 역모델링(reverse modeling) 기법을 개발하고 이를 통하여 3차원 안경의 모델 및 이의 라이브러리를 제작한다.

Description

3차원 안경 시뮬레이션 시스템 및 방법{System and Method for 3-Dimension Simulation of Glasses}
본 발명은 안경 시뮬레이션 시스템에 관한 것으로, 보다 상세하게는 안경 선택 및 구입에 관한 의사결정 정보를 가상 시뮬레이션의 형태로 제공하기 위한 3차원 안경 시뮬레이션 시스템 및 방법에 관한 것이다.
안경은 의학적인 기능을 하는 광학 제품이면서 동시에 패션상품이기도 하다. 이와 같은 상품을 구매할 때 의사결정 과정상의 가장 큰 변수는 제품의 특성 즉, 디자인, 소재, 가격의 만족도 등이다. 이러한 변수는 오프라인 구매의 경우 대부분 개인의 감각적인 의사결정, 유행 또는 판매자(안경사)의 의견 등을 통하여 결정된다.
이러한 전통적인 오프라인 거래방식은 현재 보편화된 각종 온라인 환경의 거래를 원활하게 하는 데 몇 가지 장애요소를 갖고 있다. 그 대표적인 문제점을 살펴보면, 첫째, 온라인 공간에서는 사용자가 안경을 착용할 수 없거나 가상으로 착용할 수 있다 하더라도 그 범위가 매우 제한적이다. 현재 온라인 상에서 제공되는 안경 착용 시뮬레이션 기법은 대부분 얼굴사진과 안경 사진을 단순히 합성시키는 방식으로서 실제의 입체적인 모습을 재현하는 데 한계가 있다.
둘째, 온라인 공간에서는 대부분의 의사결정을 사용자 스스로 수행하여야 하고 전문가의 조언이 매우 제한적이며, 이러한 조언 역시 개인의 특성을 반영한 것이라고 보기 어렵다. 따라서, 온라인 공간의 구매를 원활하게 하기 위해서는 오프라인 공간에서의 즉각적인 조언에 필적하는 강력한 의사결정 지원도구가 필요하다.
셋째, 온라인 거래가 원활해지기 위해서는 오프라인 공간에서 발생되는 전통적인 문제점 즉, 재고에 의존하는 제품 디스플레이, 전문가 조언상의 개인적인 편차, 가격에 대한 불신 등을 해소시켜 온라인 거래만의 장점을 부각시켜 줄 수 있는 기술의 개발이 필요하다.
한편, 오프라인의 거래 역시 새로운 온라인 기술 또는 소프트웨어 기술의 도입으로 진일보된 상거래 환경을 구축할 수 있게 되었다. 전술한 바와 같이 오프라인 거래는 상품의 진열이 재고에 의존하기 때문에 매장에 진열되어 있지 않은 상품을 고객에게 판매하기 어렵고, 이에 대한 정보를 전달하는 도구 역시 카탈로그 정도의 인쇄매체를 제외하면 찾아보기 어렵다. 따라서, 매장에 진열되어 있지 않은 상품을 고객이 착용해 보기 어렵고 이로 인하여 판매의 범위가 제한적일 수밖에 없다.
이러한 오프라인 상에서의 안경 판매 방식을 개선하기 위하여 온라인 분야의 경우 지금까지 주로 이미지 기반의 소프트웨어 기술들이 시도되어 왔다. 이러한 기술은 2차원적인 시도와 3차원적인 시도로 분류될 수 있다.
먼저, 2차원 이미지 방식은 대부분의 온라인 상거래에서 시도하였던 가장 초보적인 방식으로 사용자 또는 특정 인물의 정면 사진 위에 특정 제품의 정면 사진을 2차원적으로 중첩시키는 방식이다. 이 방식은 컨텐츠의 제작이 용이하기는 하나 안경 제품의 특성을 정확하게 관찰할 수 없으며 착용시 모습을 정면에서 밖에 모사할 수 없다는 제약이 있다.
이와 같은 2차원적인 시도를 개선하기 위하여 3차원 영상을 사용하는 방식이 시도되었다. 3차원 영상 기법은 얼굴 및 안경 제품을 여러 각도에서 촬영한 영상 이미지를 일종의 파노라마 형식으로 연결하여 의사 3차원 이미지로 합성시키는 방식이다. 그러나 이 방식은 사진 촬영 과정이 복잡할 뿐만 아니라, 실제 3차원 모델이 생성되는 것이 아닌 단순히 사진 영상을 3차원적으로 합성시키는 데 그치기 때문에 가상 모델을 실시간으로 변형한다거나 텍스쳐를 변경시키는 것이 불가능하다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 실제 안경 착용시의 모습과 가장 유사한 형태의 결과를 도출할 수 있는 3차원 안경 시뮬레이션 시스템 및 방법을 제공하는 데 그 기술적 과제가 있다.
본 발명의 다른 기술적 과제는 패션 트랜드 학습 기능, 사용자 거동 분석 및 가격 정보 분석 기능을 갖는 지능형 CRM 엔진에 의해 패션 경향, 개인적 성향에 따른 안경 디자인을 조언해 줌으로써 사용자가 구매하고자 하는 상품을 보다 자신 있게 결정하여 사용자별 맞춤 안경을 제공하는 데 있다.
본 발명의 상기 기술된 기술 요소들은 사용자의 노력과 의지에 의하여 제공되는 Pull 형태의 기술인 반면, 신상품의 홍보를 가상 시뮬레이션을 통하여 사전에 고객 얼굴모델에 안경을 착용 시킨 후 그 영상을 이를 유무선 단말기로 전송 시켜 고객이 신상품에 대한 정보를 자신의 의지가 없이도 인지할 수 있게 하는 Push 형태의 마케팅 도구를 포함한다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 안경 시뮬레이션 시스템은 통신망에 의해 개인용 컴퓨터와 접속되며, 사용자 정보, 안경 제품 정보, 3차원 모델 정보 및 지식 정보를 저장하는 데이터베이스를 구비하여, 사용자의 얼굴을 3차원 얼굴 모델로 생성하고, 사용자가 안경을 선택함에 따라 상기 3차원 얼굴 모델과 상기 선택한 안경을 피팅하고 시뮬레이션 하기 위한 시스템으로서, 3차원 안경 시뮬레이션 서비스를 이용하고자 하는 사용자에 대하여 사용자 인증을 수행하고, 상기 사용자의 3차원 얼굴 모델을 생성하기 위한 사용자 정보 처리부; 상기 사용자가 상기 데이터베이스에 저장된 다양한 안경 중에서 원하는 안경을 선택함에 따라, 상기 선택한 안경 모델에 대하여 3차원 안경 모델을 생성하며, 생성된 3차원 안경 모델과 상기 사용자 정보 처리부에서 생성한 얼굴 모델을 합성하여 사용자가 안경을 가상으로 착용한 결과를 그래픽으로 제공하기 위한 그래픽 시뮬레이션부; 및 패션 전문가의 자문 데이터, 상품 또는 소비자 구매 이력을 기초로 신경향 학습 및 자문 데이터를 생성하고 이에 따라 미래의 패션 트랜드를 예측하며, 상기 그래픽 시뮬레이션부에서 상기 사용자가 상품을 선택할 때 자문 데이터를 제공하기 위한 지능형 CRM 엔진;을 구비한다.
상기 3차원 안경 시뮬레이션 시스템은 상기 사용자 정보 처리부는 상기 데이터베이스를 구비하여 상기 3차원 안경 시뮬레이션 시스템에 접속하여 서비스를 이용하고자 하는 사용자가 적법한 사용자인지 판단하고, 서비스 이용 후 변경된 정보에 따라 상기 데이터베이스를 갱신하기 위한 사용자 관리 수단; 및 상기 사용자의 얼굴 정보에 따라 3차원 얼굴 모델을 생성하기 위한 3차원 얼굴 모델 생성 수단을 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 사용자의 개인용 컴퓨터에 연결된 촬영 수단에 의해 입력받아 상기 사용자의 얼굴 정보를 생성하거나, 사용자로부터 자신의 정면 및 이와 직교하는 측면 사진을 이미지 파일로 입력받아 생성하거나, 상기 3차원 영상 시뮬레이션 시스템의 데이터베이스에 저장되어 있는 얼굴 정보를 사용자에 의해 조작하도록 하여 상기 사용자의 얼굴 정보를 생성할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 사용자로부터 입력된 2장의 얼굴 영상정보로부터 3차원 얼굴 모델을 생성하는 수단으로서, 상기 2장의 영상정보를 디스플레이하여 사용자가 영상정보의 윤곽선 및 특징형상의 점을 입력함에 따라 기본 3차원 모델을 생성하는데 기준이되는 기준점을 추출하고, 상기 기본 3차원 모델을 생성시키는 얼굴 기본점 추출부; 를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 시스템은 상기 사용자로부터 상기 기준점들 중 하나 이상의 기준점들의 정확한 위치에 관한 정보를 입력받고, 상기 기준점을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 기준점의 이동량에 의해 상기 기본 3차원 모델을 변형하기 위한 얼굴 변형부를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 기본점은 상기 영상정보의 외곽선 상의 점 및 영상정보의 눈, 코, 입, 귀 상의 점을 포함하는 특징형상의 점으로 구성되는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 얼굴 기본점 추출부는 상기 사용자로부터 입력된 상기 영상정보의 외곽선 상의 점에 의해 상기 영상정보의 윤곽선을 추출하기 위한 윤곽선 추출 수단; 및 상기 사용자로부터 입력된 상기 영상정보의 눈, 코, 입, 귀의 위치를 포함하는 특징형상의 점에 의해 상기 영상정보의 특정 부위를 추출하는 특징형상의 점 추출 수단;을 구비하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 얼굴 변형부로부터 생성된 3차원 얼굴 모델 및 상기 사용자로부터 입력된 제3의 영상정보를 이용하여 상기 3차원 얼굴 모델을 변형 및 가공하여 표정을 생성하기 위한 얼굴 표정 변형부를 더 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 얼굴 변형부로부터 생성된 3차원 얼굴 모델과 타 얼굴 모델을 합성하여 캐릭터를 생성하기 위한 얼굴 합성부를 더 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 정면 사진과 측면 사진을 합성하거나, 상기 정면 사진의 텍스쳐로부터 측면 및 후면의 텍스쳐를 생성하기 위한 얼굴 텍스쳐 제어부를 더 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 3차원 얼굴 모델의 변형 과정을 실시간으로 디스플레이하기 위한 실시간 프리뷰 제공부를 더 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 얼굴 모델 생성 수단은 상기 생성된 3차원 얼굴 모델을 다양한 이미지 파일 형식으로 변환하고 저장하기 위한 파일 생성 및 제어부를 더 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 그래픽 시뮬레이션부는 상기 사용자가 데이터베이스를 참조하여 안경을 다양한 형태로 모사하도록 하고 그 결과를 상기 데이터베이스에 저장하기 위한 3차원 안경 모델링 수단; 상기 사용자가 선택한 안경의 색상, 또는 무늬를 변경할 수 있도록 하기 위한 텍스쳐 생성 수단; 및 상기 사용자 정보 처리부에서 생성된 사용자의 3차원 얼굴 모델에, 상기 사용자가 선택한 안경을 착용시켜 디스플레이하기 위한 시뮬레이션 수단;을 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 안경 모델링 수단은 상기 사용자 정보 처리부에서 생성한 3차원 안경 모델에 상기 사용자가 선택한 안경을 합성하기 위한 안경 모델 피팅부; 사용자의 3차원 얼굴 모델로부터 깊이 참조점, 안경 힌지 참조점 및 귀 참조점을 포함하는 얼굴 메쉬 파라미터를 추출하기 위한 얼굴 모델 제어부; 사용자가 선택한 안경 모델로부터 깊이 참조점, 안경 힌지 참조점 및 귀 참조점을 포함하는 안경 메쉬 파라미터를 추출하기 위한 안경 모델 제어부; 상기 사용자 정보 처리부에서 생성한 얼굴 모델을 배경 화면으로 모니터에 로딩하기 위한 텍스쳐 제어부; 상기 얼굴 모델 제어부에서 추출한 얼굴 메쉬 파라미터를 참조하여, 상기 안경 모델 제어부에서 스케일된 안경을 합성하기 위한 애니메이션 처리부; 및 상기 안경과 얼굴 모델을 다양한 각도에서 디스플레이하고, 사용자의 움직임에 따라 모델의 회전, 확대/축소 및 이동하도록 하기 위한 실시간 렌더링부를 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 그래픽 시뮬레이션부는 사용자가 데이터베이스를 참조하여 안경의 디자인, 색상 및 재질을 선택하여 모사한 결과를 사용자별 맞춤 안경 데이터를 상기 데이터베이스에 저장하는 기능을 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 그래픽 시뮬레이션부는 사용자가 이름 또는 캐릭터를 안경에 새기거나 부착하도록 하여 생성한 사용자별 맞춤 안경 데이터를 상기 데이터베이스에 저장하는 기능을 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 3차원 안경 시뮬레이션 시스템은 상기 사용자가 3차원 얼굴 모델링 및 선택한 안경 모델링 과정을 수행한 후 원하는 안경을 선택하고 구매하고자 함에 따라 결제 과정을 처리하기 위한 상거래 처리부를 더 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 상거래 처리부는 사용자의 구매 내역에 따라 데이터베이스를 관리하기 위한 구매 관리 수단; 상기 구매 관리 수단에서 생성한 정보에 따라 상품의 결제를 수행하고 입금 상태를 확인하며, 상품 배송 업체로 해당 상품을 배송 의뢰하기 위한 배송 관리 수단; 및 결제 및 배송 처리 완료 후 안경의 재고 내역을 관리하기 위한 재고 관리 수단;을 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 지능형 CRM 엔진은 3차원 안경 시뮬레이션 서비스를 이용하는 사용자의 개인적, 주변적 특성별로 선택한 안경 정보를 분석하고 분석 결과를 지식 데이터베이스에 저장하기 위한 제품 선호도 분석 수단; 상기 3차원 안경 시뮬레이션 서비스를 이용하는 각 사용자별로 안경을 선택하는 성향을 분석하고 그 결과를 데이터베이스에 저장하기 위한 사용자 거동 분석 수단; 상기 제품 선호도 분석 수단 및 상기 사용자 거동 분석 수단의 분석 결과와, 패션 전문가에 의해 결정된 패션 경향 정보를 통합하고 분석하여 그 결과에 따라 미래의 패션 경향을 예측하기 위한 패션 경향 인공지능 학습 수단; 및 상기 패션 경향 인공지능 학습 수단에서 분석한 패션 경향에 따라 자문 데이터를 생성하고 데이터베이스에 저장하며, 사용자의 요구에 따라 사용자에게 적합한 안경 디자인 정보, 패션 경향을 조언하기 위한 인공지능 자문 데이터 생성 수단;을 구비할 수 있다.
상기 3차원 안경 시뮬레이션 시스템의 상기 지식 데이터베이스는 로그 분석 데이터베이스 및 패션 경향 자문 데이터베이스를 구비할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 상기 3차원 안경 시뮬레이션 방법은 통신망에 의해 개인용 컴퓨터와 접속되며, 사용자 정보, 안경 제품 정보, 3차원 모델 정보 및 지식 정보를 저장하는 데이터베이스를 구비하여, 사용자의 얼굴을 3차원 얼굴 모델로 생성하고, 사용자가 안경을 선택함에 따라 상기 3차원 얼굴 모델과 상기 선택한 안경을 피팅하고 시뮬레이션 하기 위한 3차원 안경 시뮬레이션 시스템에서의 안경 시뮬레이션 방법으로서, 상기 사용자가 자신의 얼굴 정보를 상기 3차원 안경 시뮬레이션 시스템으로 전송하거나, 상기 3차원 안경 시뮬레이션 시스템의 상기 데이터베이스에 저장되어 있는 얼굴 모델 중 하나를 선택함에 따라, 상기 사용자의 3차원 얼굴 모델을 생성하는 단계; 상기 3차원 안경 시뮬레이션 시스템의 데이터베이스에 저장되어 있는 다수의 안경 모델 중 어느 하나를 선택하도록 하고, 사용자가 선택한 내역에 따라 안경 모델을 생성하는 단계; 및 상기 사용자의 3차원 얼굴 모델에 맞게 상기 안경을 피팅하고, 이에 따라 조정된 안경을 3차원 얼굴 모델에 합성하며, 합성된 화면을 다양한 각도에서 모니터에 시뮬레이션 하는 단계; 를 포함한다.
상기 3차원 안경 시뮬레이션 방법의 상기 사용자의 3차원 얼굴 모델을 생성하는 단계는 상기 사용자로부터 소정의 영상정보를 입력받아 디스플레이하는 단계; 상기 사용자가 디스플레이된 영상정보의 기본점을 선택함에 따라 상기 영상정보의 윤곽선 및 특징형상의 점을 추출하여 표시하는 단계; 및 상기 사용자가 상기 기본점을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 기본점의 움직임을 이용하여 얼굴 모델을 변형하여 3차원 얼굴 모델을 생성하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 윤곽선 및 특징형상의 점을 추출하는 단계에서, 상기 윤곽선 추출 단계는 상기 사용자가 상기 영상정보의 윤곽선 상의 점 및 특징형상의 점을 포함하는 기본점을 입력함에 따라 기본 스네이크를 생성하는 단계; 상기 기본 스네이크의 각 점에 대해 수직 방향으로 상기 스네이크가 움직일 지점의 이웃을 설정하는 단계; 및 상기 스네이크의 각 점이 상기 영상정보의 얼굴색이 존재하는 방향으로 이동하도록 상기 스네이크를 이동시키는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법은 상기 윤곽선 및 특징형상의 점을 추출하는 단계에서, 상기 특징형상의 점 추출 단계는 표준 3차원 모델의 특징 부위에 해당하는 영상정보를 저장하여 두고, 상기 사용자에 의해 입력되는 영상정보의 특징 부위와의 유사도를 비교하여 추출할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 얼굴 모델을 변형하는 단계는 상기 기본점의 초기 위치에 대해 집슨 좌표를 생성하는 단계; 상기 기본점을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 각 기본점의 이동량을 추출하는 단계; 상기 기본점의 초기 위치와 이동량의 합에 의해 상기 기본점의 새로운 위치를 추출하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 얼굴 모델을 변형하는 단계는 기본점의 이동량에 따라 이동계수를 추출하는 단계; 및 상기 기본점과 이동성이 유사한 기본점에 대해 상기 이동계수의 곱에 의해 상기 이동성이 유사한 기본점의 새로운 위치를 계산하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 3차원 얼굴 모델을 생성하는 단계 이후, 상기 생성된 3차원 얼굴 모델 및 상기 사용자로부터 입력된 제3의 영상정보를 이용하여 상기 3차원 얼굴 모델을 변형 및 가공하여 새로운 표정을 생성하는 얼굴 표정 변형 단계를 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 얼굴 표정 변형 단계는 상기 3차원 얼굴 모델 표면의 모든 점에서 제1 빛의 세기를 추출하는 단계; 상기 제3의 영상정보로부터 제2 빛의 세기를 추출하는 단계; 상기 제2 빛의 세기에 대한 상기 제1 빛의 세기의 비율에 의해 ERI(Expression Ratio Intensity)를 계산하는 단계; 및 상기 ERI를 상기 3차원 영상정보에 폴리곤 와핑하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 3차원 얼굴 모델을 생성하는 단계 이후, 상기 정면 및 측면 영상정보를 합성하거나, 정면 영상정보의 텍스쳐로부터 측면과 후면의 텍스쳐를 생성하기 위한 얼굴 텍스쳐 생성 단계를 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 텍스쳐 생성 단계는 상기 3차원 얼굴 모델의 3차원 좌표를 생성하고, 상기 3차원 좌표에 의해 정면 및 측면의 텍스쳐 좌표를 생성하는 단계; 상기 정면과 측면의 각 텍스쳐 좌표가 만나게 되는 경계를 추출하고, 상기 경계를 각각 정면 및 측면의 텍스쳐로 투영시켜 정면 및 측면의 경계 텍스쳐를 생성하는 단계; 및 상기 정면 및 측면의 경계 텍스쳐를 상기 경계를 기준으로 합성하고 블랜딩하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 3차원 얼굴 모델을 생성하는 단계를 수행하기 전 상기 사용자가 상기 3차원 안경 시뮬레이션 시스템에 접속함에 따라 상기 사용자의 얼굴 모델이 저장되어 있는지 확인하는 제1 단계; 상기 사용자의 얼굴 모델이 저장되어 있는 경우, 저장되어 있는 모델을 선택할 것인지 다른 모델로 변경할 것인지 확인하는 제2 단계; 상기 사용자가 저장되어 있는 모델을 선택하고자 하는 경우에는 해당 모델을 선택하도록 한 후, 선택한 모델이 사용자의 실제 얼굴로부터 생성된 모델인지 시스템의 초기값으로 설정되어 있는 모델인지 확인하는 제3 단계; 및 상기 사용자가 선택한 모델이 사용자의 실제 얼굴로부터 생성한 모델인 경우 해당 모델을 화면에 로딩하는 제4 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 제1 단계에서 상기 사용자의 얼굴 모델이 저장되어 있지 않은 경우에는 새로운 모델을 생성할 것인지 확인하는 제5 단계; 상기 사용자가 새로운 모델을 생성하고자 하지 않은 경우에는 초기값으로 설정되어 있는 모델을 모니터에 로딩하는 제6 단계; 상기 사용자가 새로운 모델을 생성하고자 하는 경우에는 모델 생성을 위한 프로그램이 개인용 컴퓨터에 설치되어 있는지 확인하여, 모델 생성 프로그램이 설치되어 있지 않은 경우에는 해당 프로그램이 개인용 컴퓨터에 설치되도록 하여 상기 사용자가 자신의 얼굴 사진으로부터 3차원 얼굴 모델로부터 아바타를 생성하도록 하는 제7 단계; 및 상기 생성된 아바타를 사용자 정보와 함께 등록하고 상기 제3 단계의 모델 선택 단계로 진행하는 제8 단계; 를 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법은 상기 제2 단계에서 상기 사용자가 모델을 변경하고자 하는 경우에는 상기 제7 단계로 진행하여 이후의 과정을 수행하도록 할 수 있다.
상기 3차원 안경 시뮬레이션 방법은 상기 사용자가 선택한 모델이 사용자의 실제 얼굴로부터 생성한 모델인지 시스템에 초기값으로 설정되어 있는 모델인지 확인하는 제3 단계에서, 상기 모델이 초기값으로 설정되어 있는 모델인 경우 해당 모델을 모니터에 로딩하는 단계를 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법은 상기 제1 단계를 수행하기 전 상기 사용자가 상기 3차원 안경 시뮬레이션 서비스를 이전에 이용한 경험이 있는지 확인하여, 상기 사용자가 이용 경험이 없는 사용자인 경우에는 상기 사용자에게 로그인 과정을 수행하도록 한 후 초기값으로 설정된 모델을 사용할 것인지 확인하는 단계;상기 확인 결과 초기값으로 설정된 모델을 사용하고자 하는 경우에는 해당 모델을 모니터에 로딩하는 단계;상기 확인 결과 초기값으로 설정된 모델을 사용하지 않을 경우에는 새로운 모델을 생성할 것인지 확인하는 상기 제7 단계로 진행할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 안경 모델을 선택하는 단계는 상기 사용자에게 안경 및 렌즈의 디자인, 브랜드, 재질, 색깔을 선택하도록 하는 과정을 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 안경 모델을 선택하는 단계는, 패션 전문가의 자문 데이터, 상품 또는 소비자 구매 이력을 기초로 신경향 학습 및 자문 데이터를 생성하고 이에 따라 미래의 패션 트랜드를 예측하며, 상기 그래픽 시뮬레이션부에서 상기 사용자가 상품을 선택할 때 자문 데이터를 제공하기 위한 지능형 CRM 엔진에 의해 상기 사용자에게 자문 데이터를 제공하는 과정을 더 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 안경을 피팅하는 단계는 얼굴 메쉬의 깊이 참조점, 안경 힌지 참조점 및 귀 참조점과, 안경 메쉬의 깊이 참조점, 안경 힌지 참조점 및 귀 참조점을 입력으로 하여 x방향에서 안경의 스케일을 조정하는 단계; 상기 x방향에서 조정된 안경의 스케일에 따라 y축 및 z축 방향에서 안경의 좌표 및 위치를 변환하는 단계; 및 상기 안경의 다리의 각도를 변환하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 x방향에서 안경의 스케일은 안경(G), 스케일 조정된 안경(g)에 대하여 g = G×스케일계수이며, 얼굴 메쉬의 안경 힌지 참조점(B)과 안경 메쉬의 안경 힌지 참조점(B')의 각 x좌표 XB, XB'에 대하여 스케일 계수=XB/XB'로 조정되는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 y축 및 z축 방향에서 안경의 좌표 및 위치를 변환하는 단계에서 y축의 이동 계수는 얼굴 메쉬의 안경 힌지 참조점과 안경 메쉬의 안경 힌지 참조점과의 차로 나타낼 수 있으며, 얼굴 메쉬의 안경 힌지 참조점 B=(XB, YB, ZB)는, 스케일이 조정된 안경 g에서의 B'의 좌표값은 x방향으로의 스케일 계수가 XB/XB'일 때 이며, 이동계수(Move_Y)는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 y축 및 z축 방향에서 안경의 좌표 및 위치를 변환하는 단계에서 z축의 이동 계수는 얼굴 메쉬의 깊이 참조점과 안경 메쉬의 깊이 참조점과의 차로 나타낼 수 있으며, A=(XA, YA, ZA)는, 스케일이 조정된 안경 g에서의 B'의 좌표값은 x방향으로의 스케일 계수가 XB/XB'일 때 이며, 안경을 눈썹보다 지정된 거리 앞에 위치시키기 위한 편차α= k ×(XB/XB')라 할 때, 이동계수(Move_Z)는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 안경의 다리 각도를 변환하는 단계에서 y축에 대한 회전각 θy는 상기 스케일 계수 및 이동 계수를 적용한 후 안경 메쉬의 안경 힌지 참조점(B') 및 귀 참조점(C'), 얼굴 메쉬의 귀 참조점(C)에 대하여 C = (CX, CY, CZ), B' = (BX', BY', BZ'), C' = (CX', CY', CZ')에서, 각 점의 y좌표를 0으로 설정하면 CY0= (CX, CZ), BY0' = (BX', BZ'), CY0' = (CX', CZ')가 되며, 회전각 θy는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 안경의 다리 각도를 변환하는 단계에서 y축에 대한 회전각 θx는 상기 스케일 계수 및 이동 계수를 적용한 후 안경 메쉬의 안경 힌지 참조점(B') 및 귀 참조점(C'), 얼굴 메쉬의 귀 참조점(C)에 대하여 C = (CX, CY, CZ), B' = (BX', BY', BZ'), C' = (CX', CY', CZ')에서, 각 점의 x좌표를 0으로 설정하면 CX0= (CY, CZ), BX0' = (BY', BZ'), CX0' = (CY', CZ')가 되며, 회전각 θx는 인 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 얼굴 모델 생성방법은 (a) 소정의 얼굴이 정면으로 촬영된 2차원 영상정보인 입력영상정보를 입력받아, 이를 표시하는 단계; (b) 소정의 사용자로부터 상기 표시된 입력영상정보의 얼굴을 특징짓는 적어도 하나 이상의 기본점을 입력받는 단계; (c) 상기 기본점을 기초로 상기 얼굴의 윤곽선 및 상기 얼굴을 구성하는 눈, 코, 입에 대응되는 점을 포함하는 특징형상의 점을 추출하는 단계; (d) 상기 얼굴의 윤곽선 및 상기 특징형상의 점을 기초로 상기 입력영상정보를 3차원으로 변환시키는 단계를 포함하는 것을 특징으로 한다.
상기 3차원 얼굴 모델 생성방법의 상기 기본점에는 상기 얼굴의 윤곽선 상의 적어도 하나 이상의 점들을 포함되며, 상기 (c) 단계에서 상기 얼굴의 윤곽선을 추출하는 방법은 (c1) 상기 기본점을 기초로 상기 영상정보의 얼굴상에 기본 스네이크를 생성시키는 단계; (c2) 상기 스네이크를 상기 얼굴에서 얼굴색이 존재하는 방향으로 이동시켜 상기 얼굴의 윤곽선을 추출하는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 기본점에는 상기 얼굴의 눈, 코, 입에 대응되는 적어도 하나 이상의 점들을 포함되며, 상기 (c) 단계에서 특징 형상의 점을 추출하는 방법은 (c1) 3차원 얼굴의 표준이 되는 표준 영상정보를 구비하는 단계; (c2) 상기 입력영상정보 중 상기 표준 영상정보 중 상기 특징형상의 점에 대응되는 부위의 영상정보인 특징형상의 점 영상정보와 유사한 부위를 탐색하여 상기 입력영상정보의 특징형상의 점을 추출하는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 (a) 단계에서 상기 입력영상의 표시는 소정의 사용자의 요구에 따라 상기 입력영상을 확대 또는 축소시켜 표시하거나 또는 상기 입력영상을 회전시켜 표시하고, 상기 (b) 단계는 (b1) 상기 사용자로부터 상기 입력영상의 크기 및 회전 정도를 입력받는 단계; (b2) 상기 입력영상의 얼굴의 세로방향으로 정중앙을 지나는 중앙선을 생성시키고, 상기 얼굴의 외곽선을 지나는 기준점을 입력받는 단계를 포함하고, 상기 (c) 단계는 (c1) 상기 기본점을 기초로 상기 영상정보의 얼굴상에 기본 스네이크를 생성시키는 단계; (c2) 상기 스네이크를 상기 얼굴에서 얼굴색이 존재하는 방향으로 이동시켜 상기 얼굴의 윤곽선을 추출하는 단계; (c3) 3차원 얼굴의 표준이 되는 표준 영상정보를 구비하는 단계; (c4) 상기 입력영상정보 중 상기 표준 영상정보 중 상기 특징형상의 점에 대응되는 부위의 영상정보인 특징형상의 점 영상정보와 유사한 부위를 탐색하여 상기 입력영상정보의 특징형상의 점을 추출하는 단계; (c5) 상기 얼굴의 윤곽선 또는 특징형상의 점을 표시하여 상기 사용자에게 제공하고, 상기 사용자로부터 상기 윤곽선 또는 특징형상의 점의 위치를 수정받아 상기 윤곽선 및 특징형상의 점의 위치를 확정짓는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법은 (e) 상기 사용자가 상기 추출된 기본점을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 제어점의 움직임을 이용하여 상기 입력영상정보의 얼굴을 변형시켜 3차원 얼굴 모델을 생성하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 (e) 단계는 (e1) 상기 얼굴 모델을 변형하는 단계는 상기 추출된 기본점의 초기 위치에 대해 집슨 좌표를 생성하는 단계; (e2) 상기 추출된 기본점을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 각 기본점의 이동량을 추출하는 단계; (e3) 상기 기본점의 초기 위치와 이동량의 합에 의해 상기 기본점의 새로운 위치를 추출하는 단계; (e4) 상기 새로운 위치를 기초로 상기 입력영상정보의 얼굴에 대응되는 3차원 얼굴 모델을 생성시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 (e) 단계는 (e1) 상기 기본점의 이동량에 따라 이동계수를 추출하는 단계; 및 (e2) 상기 기본점과 이동성이 유사한 기본점에 대해 상기 이동계수의 곱에 의해 상기 이동성이 유사한 점의 새로운 위치를 계산하는 단계; (e3) 상기 새로운 위치를 기초로 상기 입력영상정보의 얼굴에 대응되는 3차원 얼굴 모델을 생성시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 (f) 상기 생성된 3차원 얼굴 모델 및 상기 사용자로부터 입력받은 상기 입력영상정보와 다른 영상정보를 이용하여 상기 3차원 얼굴 모델을 변형시켜 상기 생성된 3차원 얼굴 모델의 표정을 변형시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 (f) 단계는 (f1) 상기 3차원 얼굴 모델을 표면을 구성하는 모든 점의 빛의 세기인 제1 값을 추출하는 단계; (f2) 상기 다른 영상정보의 얼굴을 구성하는 모든 점의 빛의 세기인 제2 값를 추출하는 단계; (f3)상기 제2 값 대한 상기 제1 값의 비율을 기초로 ERI(Expression Ratio Intensity)를 계산하는 단계; 및 (f4) 상기 ERI를 상기 3차원 영상정보에 폴리곤 와핑하여 상기 3차원 얼굴 모델의 얼굴 표정을 변형시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 (g) 상기 입력영상정보의 얼굴의 측면 영상정보를 더 입력받고, 상기 정면 및 측면 영상정보를 합성하여 상기 3차원 얼굴 모델의 측면 또는 후면의 텍스쳐를 생성하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 (g) 단계는 (g1) 상기 3차원 얼굴 모델의 3차원 좌표를 생성하고, 상기 3차원 좌표에 의해 정면 및 측면의 텍스쳐 좌표를 생성하는 단계; (g2) 상기 정면과 측면의 각 텍스쳐 좌표가 만나게 되는 경계를 추출하고, 상기 경계를 각각 정면 및 측면의 텍스쳐로 투영시켜 정면 및 측면의 경계 텍스쳐를 생성하는 단계; 및 (g3) 상기 정면 및 측면의 경계 텍스쳐를 상기 경계를 기준으로 합성하고 블랜딩하여 상기 3차원 얼굴 모델의 측면 또는 후면의 텍스쳐를 생성시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 (h) 미리 구비되어 있는 3차원 헤어 모델 중 어느 하나를 상기 사용자로부터 지정받아, 사이 헤어 모델을 상기 3차원 얼굴 모델에 피팅시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성방법의 상기 (h) 단계는 (h1) 소정의 스타일을 갖는 3차원 헤어 모델을 미리 구비하는 단계; (h2) 상기 사용자로부터 상기 구비되어 있는 헤어 모델 중 어느 하나를 선택받는 단계; (h2) 상기 3차원 얼굴 모델의 세로로 정중앙을 지나는 선상에 위치하며 상기 3차원 얼굴 모델의 정수리 부분에 위치하는 한 점이 헤어피팅 기준점을 추출하는 단계; (h3) 상기 3차원 얼굴 모델의 머리 크기 정보를 구하고, 상기 머리 크기 정보 및 상기 헤어피팅 기준점을 기초로 상기 선택받은 헤어 모델과 상기 3차원 얼굴 모델을 피팅시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 안경 모델 생성 방법은 (a) 투명재질의 눈금자가 부설된 소정의 상자에 들어 있는 소정의 안경을 정면, 측면 및 윗면에서 촬영한 안경영상정보를 입력받는 단계; (b) 상기 안경영상정보에 포함된 눈금자의 개수를 기초로 상기 안경의 치수를 산출하고, 상기 산출된 치수를 기초로 상기 안경의 기본적인 3차원 모델인 기초 모델을 생성시키는 단계; (c) 상기 기초 모델의 렌즈 모양에 관하여 렌즈의 곡률, 모양 및 시선각에 관한 정보를 포함하는 렌즈정보를 입력받고, 상기 렌즈정보를 기초로 상기 안경의 렌즈를 생성시키는 단계; (d) 상기 기초 모델의 프레임의 모양정보, 프레임간의 브릿지의 모양정보를 입력받고, 상기 기초 모델의 프레임 및 브릿지의 모양을 생성시켜 상기 안경의 3차원 모델을 생성시키는 단계를 포함하는 것을 특징으로 한다.
상기 3차원 안경 모델 생성 방법의 상기 (c)단계는 (c1) 상기 안경의 곡률정보를 입력받고, 상기 곡률정보와 일치하는 구를 생성시켜 사용자에게 제공하는 단계; 및 (c2) 상기 사용자로부터 상기 구의 표면의 일부에 상기 안경의 렌즈모양을 입력받고 상기 입력받은 모양에 따라 상기 구로부터 렌즈의 모양을 분리시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 방법의 (c3) 상기 분리된 렌즈의 모양에 미리 설정된 두께를 부여하고, 미리 설정된 소정의 기준에 따라서 렌즈를 회전시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 방법의 상기 (d)단계는 (d1) 상기 기초 모델을 표시하여 사용자에게 제공하고, 상기 기초 모델의 프레임의 모양을 수정할 내용에 관한 프레임 수정정보를 입력받고, 상기 수정정보에 따라 상기 기초모델의 프레임의 모양을 수정하는 단계; 및 (d2) 상기 기초 모델의 렌즈 및 프레임를 대칭적으로 복사하여 또 다른 렌즈를 생성시키고, 상기 안경의 두개의 렌즈간의 거리 값을 입력받아 상기 거리에 두개의 렌즈 및 상기 프레임를 위치시킨 후 상기 프레임간의 브릿지의 모양에 관한 정보를 입력받아 상기 브릿지를 생성시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 방법의 (d3) 상기 안경의 프레임과 안경다리의 연결 부분에 관한 모양정보를 입력받아 상기 안경의 프레임과 안경다리의 연결 부분의 모양을 생성시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 방법의 (e) 상기 기초 모델의 프레임과 안경 다리간의 연결부분의 두께와 동일하게 상기 안경 다리의 전체 길이를 육면체의 폴리곤 형태로 변환시키는 단계; (f) 상기 안경의 측면에 해당하는 안경영상정보에서 측정되는 상기 안경 다리의 휜 각도와 동일하도록 상기 안경 다리를 DEFORM 방식을 이용하여 수정하는 단계; (g) 상기 생성된 안경 다리와 대칭이 되도록 반대쪽 안경 다리를 생성시키고, 상기 기초 모델의 안경 다리 모양을 상기 생성된 안경 다리로 대치시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 방법의 (h) 상기 안경의 코받침 또는 안경 프레임과 다리를 연경하는 경첩 또는 상기 안경에 필요한 나사들의 모양에 관한 정보를 입력받아 상기 코받침 또는 경첩 또는 나사의 모양을 생성시키고, 상기 기초 모델에 상기 생성된 모양을 적용시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 안경 시뮬레이션 방법은 (a) 적어도 하나 이상의 3차원 얼굴 모델 정보 및 적어도 하나 이상의 3차원 안경 모델 정보를 구비하는 단계; (b) 소정의 사용자로부터 상기 구비되어 있는 3차원 얼굴 모델 정보 중 어느 하나의 3차원 얼굴 모델 정보와 어느 하나의 3차원 안경 모델 정보를 선택받는 단계; (c) 상기 선택받은 3차원 얼굴 모델 과 상기 3차원 안경 모델을 소정의 기준에 따라 피팅시키는 단계; (d) 상기 피팅된 3차원 얼굴 모델 과 3차원 안경 모델을 하나의 영상정보로 합성시키고, 상기 합성된 영상정보를 상기 사용자의 요구에 따른 방향으로 표시하여 제공하는 단계를 포함하는 것을 특징으로 한다.
상기 3차원 안경 시뮬레이션 방법의 상기 (c) 단계는 (c1) 상기 3차원 얼굴 모델에 상기 3차원 안경 모델을 피팅시켰을 때, 상기 3차원 안경 모델의 힌지 부분인 안경 메쉬의 안경 힌지 참조점, 상기 안경 힌지 참조점과 대응되는 상기 3차원 얼굴 모델의 부분인 얼굴 메쉬의 안경 힌지 참조점, 상기 3차원 얼굴 모델의 귀부분 중 상기 3차원 안경 모델과 접촉하게 되는 부분인 얼굴 메쉬의 귀 참조점, 상기 3차원 안경 모델의 몸체 부분과 상기 3차원 얼굴 모델의 얼굴의 눈 부위 중 가장 가까운 거리에 위치하는 부위인 얼굴 메쉬의 깊이 참조점을 입력받고, 이를 기초로 상기 3차원 얼굴 모델의 좌우 가로 방향에 해당하는 X축 방향에서 상기 3차원 안경 모델의 스케일을 조절하는 단계; (c2) 상기 x방향에서 조정된 상기 3차원 안경 모델의 스케일에 따라 상기 3차원 얼굴 모델의 위아래 세로방향에 해당하는 y축 및 상기 3차원 얼굴 모델의 앞뒤 방향에 해당하는 z축 방향에서 안경의 좌표 및 위치를 변환하는 단계; 및 (c3) 상기 3차원 얼굴 모델을 위에서 보았을 때 상기 3차원 얼굴 모델과 상기 3차원 안경 모델의 다리의 각도가 일치하도록 상기 3차원 안경 모델의 다리의 각도를 변환하는 단계; 를 포함할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 (c1) 단계는 상기 x방향에서 상기 3차원 안경 모델의 스케일은 스케일 조정전의 3차원 안경 모델(G), 스케일 조정된 3차원 안경 모델(g)에 대하여 g = G×스케일계수이며, 얼굴 메쉬의 안경 힌지 참조점(B)과 안경 메쉬의 안경 힌지 참조점(B')의 각 x좌표 XB, XB' 에 대하여 스케일 계수=XB/XB'로 조정되는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 y축 및 z축 방향에서 안경의 좌표 및 위치를 변환하는 단계에서 y축의 이동 계수는 얼굴 메쉬의 안경 힌지 참조점과 안경 메쉬의 안경 힌지 참조점과의 차로 나타낼 수 있으며, 얼굴 메쉬의 안경 힌지 참조점 B=(XB, YB, ZB)는, 스케일이 조정된 안경 g에서의 B'의 좌표값은 x방향으로의 스케일 계수가 XB/XB'일 때 이며, 이동계수(Move_Y)는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 y축 및 z축 방향에서 안경의 좌표 및 위치를 변환하는 단계에서 z축의 이동 계수는 얼굴 메쉬의 깊이 참조점과 안경 메쉬의 깊이 참조점과의 차로 나타낼 수 있으며, A=(XA, YA, ZA)는, 스케일이 조정된 안경 g에서의 B'의 좌표값은 x방향으로의 스케일 계수가 XB/XB'일 때 이며, 안경을 눈썹보다 지정된 거리 앞에 위치시키기 위한 편차 α= k ×(XB/XB')라 할 때, 이동계수(Move_Z)는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 안경의 다리 각도를 변환하는 단계에서 y축에 대한 회전각 θy는 상기 스케일 계수 및 이동 계수를 적용한 후 안경 메쉬의 안경 힌지 참조점(B') 및 귀 참조점(C'), 얼굴 메쉬의 귀 참조점(C)에 대하여 C = (CX, CY, CZ), B' = (BX', BY', BZ'), C' = (CX', CY', CZ')에서, 각 점의 y좌표를 0으로 설정하면 CY0= (CX, CZ), BY0' = (BX', BZ'), CY0' = (CX', CZ')가 되며, 회전각 θy는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 3차원 안경 모델의 다리 각도를 변환하는 단계에서 y축에 대한 회전각 θx는 상기 스케일 계수 및 이동 계수를 적용한 후 상기 안경 메쉬의 안경 힌지 참조점(B') 및 귀 참조점(C'), 얼굴 메쉬의 귀 참조점(C)에 대하여 C = (CX, CY, CZ), B' = (BX', BY', BZ'), C' = (CX', CY', CZ')에서, 각 점의 x좌표를 0으로 설정하면 CX0= (CY, CZ), BX0' = (BY', BZ'), CX0' = (CY', CZ')가 되며, 회전각 θx는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 (c) 단계는 (c1) 상기 3차원 얼굴 모델에 상기 3차원 안경 모델이 접촉하는 위치의 중심점으로써 상기 3차원 얼굴 모델의 중심점인 NF, 상기 3차원 얼굴 모델에 상기 3차원 안경 모델이 씌워질때 상기 3차원 안경 모델의 다리가 접촉되는 상기 3차원 얼굴 모델의 귀 부위의 점인 CF, 상기 3차원 얼굴 모델의 정수리 부위의 점인 DF, 상기 3차원 안경모델이 상기 3차원 얼굴 모델에 씌워질때 상기 3차원 얼굴 모델의 코 부위에 접촉되는 상기 3차원 안경 모델의 부위인 NG, 상기 3차원 안경 모델의 다리가 접히는 부위의 축위의 점인 HG, 상기 3차원 안경 모델과 상기 3차원 얼굴 모델이 접촉하는 상기 3차원 안경 모델의 다리의 안쪽 부위인 CG 점들의 제1 좌표 값을 입력받는 단계; (c2) 상기 입력받은 NF, CF, DF, NG, HG, CG의 좌표 값을 기초로 상기 3차원 안경 모델을 상기 3차원 얼굴 모델에 씌울 때 필요한 상기 3차원 안경 모델의 제2 좌표 값을 구하는 단계; (c3) 상기 제2 좌표 값에 따라 상기 3차원 안경 모델과 상기 3차원 얼굴 모델을 피팅시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 (c2) 단계는 (c2i) 상기 NF와 상기 NG의 차를 이용하여 상기 3차원 안경 모델을 상기 3차원 얼굴 모델의 의 알맞은 위치로 이동시키는 단계; (c2ii) 소정의 사용자로부터 자신의 두 동공 사이의 거리 값인 사용자 PD 값을 입력받고, 상기 3차원 안경 모델의 두 동공 사이의 거리 값인 안경 PD 값 및 상기 3차원 얼굴 모델의 두 동공 사이의 거리 값인 얼굴 PD 값을 구한 후, 상기 값들을 기초로 상기 3차원 안경 모델의 스케일 값을 구하는 단계; (c2iii) 상기 CF, HG 값을 기초로 상기3차원 얼굴 모델에 상기 3차원 안경 모델이 맞도록 상기 3차원 안경 모델의 다리를 접거나 벌릴 각도를 구하는 단계; (c2iv) 상기 스케일 값 및 상기 각도에 기초하여 상기 3차원 안경 모델을 변형시켜 상기 3차원 얼굴 모델에 피팅시키는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 방법의 상기 (c2ii) 단계의 사용자 PD 값은 상기 사용자로부터 입력받지 않고, 63 내지 72의 범위 값 중 어느 하나를 사용하는 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 안경 마케팅 방법은 (a) 사람의 얼굴을 촬영한 영상정보를 입력받아 이를 3차원 얼굴 모델을 만들고, 미리 저장된 3차원 안경모델 중 소정의 사용자로부터 선택받은 3차원 안경모델과 상기 3차원 얼굴 모델이 결합된 영상정보를 생성하여 사용자에게 제공하는 단계; (b) 상기 사용자로부터 상기 미리 저장된 3차원 안경모델 중 어느 하나 이상을 선택받고, 상기 선택받은 3차원 안경모델에 대응되는 안경에 대한 구매요청에 대한 정보인 구매요청정보를 입력받아 관리하는 단계; (c) 상기 구매요청정보에 대응되는 사용자에 대한 분석 또는 상기 구매요청정보에 대응되는 안경에 대한 분석 또는 시기를 포함하는 상기 구매요청이 발생된 환경에 대한 분석을 실시하고 그 결과를 관리하는 단계; (d) 상기 구매요청정보에 입력한 사용자별로 안경을 선택하는 취향을 분석하고 그 결과를 관리하는 단계; (e) 상기 제품 선호도 분석 수단 및 상기 사용자 거동 분석 수단에서 분석된 결과정보 및 입력받은 안경의 패션정보를 취합하여 미래의 패션 경향을 예측하는 단계; (f) 상기 패션 경향 인공지능 학습수단으로부터 예측되는 미래의 패션 경향정보를 제공받고, 상기 사용자의 요구에 따라 상기 사용자에게 적합한 디자인 또는 패션 경향에 관한 정보에 관한 자문정보를 생성시켜 상기 사용자에게 제공하는 단계; (g) 상기 사용자 거동 분석 수단으로부터 제공받은 사용자별 취향정보, 상기 인공지능 자문 데이터 생성수단으로부터 제공받은 자문정보, 상기 패션 경향 인공지능 학습수단으로부터 제공받은 미래의 패션 경향정보를 기초로 상기 사용자에게 적합한 안경제품 홍보 컨텐츠를 생성시키는 단계; (h) 상기 사용자와 관련된 이-메일 주소 또는 유무선 전화번호를 포함하는 사용자 정보를 상기 사용자로부터 입력받아 관리하고, 상기 1:1 마케팅 데이터 처리 수단으로부터 제공받은 상기 홍보 컨텐츠 정보를 상기 사용자에게 전송하는 단계를 포함하는 것을 특징으로 한다.
상기 안경 마케팅 방법의 상기 (g) 단계는 상기 사용자를 미리 설정된 소정의 기준에 따라 분류하고, 상기 분류에 기초하여 상기 홍보 컨텐츠를 생성시키는 것을 특징으로 한다.
상기 안경 마케팅 방법의 상기 (d) 또는 (e) 단계에서 상기 사용자와 관련된 분석은 사용자의 3차원 얼굴 모델의 헤어 텍스쳐, 얼굴의 LIGHTING, 피부색, 얼굴의 폭, 얼굴의 길이, 입의 크기, 양쪽 동공사이의 거리값, 인종 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기 안경 마케팅 방법의 상기 (d) 단계에서 안경과 관련된 성향분석에 사용되는 파라미터에는 안경의 크기, 형태, 가격대, 재질, 브랜드, 프레임 색상, 렌즈 색상 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기 안경 마케팅 방법의 상기 (d) 단계에서 상기 제품 선호도 분석 수단에서 안경의 선호도와 관련된 분석에 사용되는 파라미터에는 시즌별 유행성, 시즌별 안경의 형태, 얼굴 폭에 따른 선호도, 인종에 따른 선호도, 피부색에 따른 선호도, 양쪽 동공간의 거리에 따른 선호도, 3차원 얼굴 모델의 헤어스타일에 따른 선호도 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 얼굴 모델 생성장치는 소정의 얼굴이 정면으로 촬영된 2차원 영상정보인 입력영상정보를 입력받아, 이를 표시하고, 소정의 사용자로부터 상기 표시된 입력영상정보의 얼굴을 특징짓는 적어도 하나 이상의 기본점을 입력받는 입출력부; 상기 기본점을 기초로 상기 얼굴의 윤곽선 및 상기 얼굴을 구성하는 눈, 코, 입에 대응되는 점을 포함하는 특징형상의 점을 추출하는 기본점 추출부; 상기 얼굴의 윤곽선 및 상기 특징형상의 점을 기초로 상기 입력영상정보를 3차원으로 변환시키는 3차원 모델 생성부를 포함하는 것을 특징으로 한다.
상기 3차원 얼굴 모델 생성장치의 상기 기본점에는 상기 얼굴의 윤곽선 상의 적어도 하나 이상의 점들을 포함되며, 상기 기본점 추출부는 상기 기본점을 기초로 상기 영상정보의 얼굴상에 기본 스네이크를 생성시키고, 상기 스네이크를 상기 얼굴에서 얼굴색이 존재하는 방향으로 이동시켜 상기 얼굴의 윤곽선을 추출하는 윤곽선 추출부를 포함하는 것을 특징으로 한다.
상기 3차원 얼굴 모델 생성장치의 상기 기본점에는 상기 얼굴의 눈, 코, 입에 대응되는 적어도 하나 이상의 점들을 포함되며, 상기 기본점 추출부는 3차원 얼굴의 표준이 되는 표준 영상정보를 구비하는 표준 영상 데이터베이스; 상기 입력영상정보 중 상기 표준 영상정보 중 상기 특징형상의 점에 대응되는 부위의 영상정보인 특징형상의 점 영상정보와 유사한 부위를 탐색하여 상기 입력영상정보의 특징형상의 점을 추출하는 특징형상 추출부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 입출력부는 소정의 사용자의 요구에 따라 상기 입력영상을 확대 또는 축소시켜 표시하거나 또는 상기 입력영상을 회전시켜 표시하고, 상기 사용자로부터 상기 입력영상의 크기 및 회전 정도, 상기 입력영상의 얼굴의 세로방향으로 정중앙을 지나는 중앙선을 생성시키고, 상기 얼굴의 외곽선을 지나는 기준점을 입력받으며, 상기 기본점 추출부는 상기 기본점을 기초로 상기 영상정보의 얼굴상에 기본 스네이크를 생성시킨 후 상기 스네이크를 상기 얼굴에서 얼굴색이 존재하는 방향으로 이동시켜 상기 얼굴의 윤곽선을 추출하는 윤곽선 추출부; 3차원 얼굴의 표준이 되는 표준 영상정보를 구비하는 표준 영상 데이터베이스; 상기 입력영상정보 중 상기 표준 영상정보 중 상기 특징형상의 점에 대응되는 부위의 영상정보인 특징형상의 점 영상정보와 유사한 부위를 탐색하여 상기 입력영상정보의 특징형상의 점을 추출하는 특징형상 추출부; 상기 얼굴의 윤곽선 또는 특징형상의 점을 표시하여 상기 사용자에게 제공하고, 상기 사용자로부터 상기 윤곽선 또는 특징형상의 점의 위치를 수정받아 상기 윤곽선 및 특징형상의 점의 위치를 확정짓는 기본점 확정부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 사용자가 상기 기본점 중 어느 하나 이상을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 기본점을 제외한 다른 기본점들의 움직임을 이용하여 상기 입력영상정보의 얼굴을 변형시켜 3차원 얼굴 모델을 생성하는 얼굴 변형부를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 얼굴 변형부는 상기 얼굴 모델을 변형하는 단계는 상기 추출된 기본점의 초기 위치에 대해 집슨 좌표를 생성시키고, 상기 추출된 기본점을 상기 영상정보의 해당 위치로 이동시킴에 따라 상기 각 제어점의 이동량을 추출한 후에 상기 제어점의 초기 위치와 이동량의 합에 의해 상기 제어점의 새로운 위치를 추출하여 상기 새로운 위치를 기초로 상기 입력영상정보의 얼굴에 대응되는 3차원 얼굴 모델을 생성시키는 것 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 얼굴 변형부는 상기 기본점의 이동량에 따라 이동계수를 추출하고, 상기 기본점과 이동성이 유사한 다른 기본점에 대해 상기 이동계수의 곱에 의해 상기 이동성이 유사한 기본점의 새로운 위치를 계산하여 상기 새로운 위치를 기초로 상기 입력영상정보의 얼굴에 대응되는 3차원 얼굴 모델을 생성시키는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 생성된 3차원 얼굴 모델 및 상기 사용자로부터 입력받은 상기 입력영상정보와 다른 영상정보를 이용하여 상기 3차원 얼굴 모델을 변형시켜 상기 생성된 3차원 얼굴 모델의 표정을 변형시키는 얼굴 표정 변형부를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 3차원 얼굴 표정 변형부는 상기 3차원 얼굴 모델을 표면을 구성하는 모든 점의 빛의 세기인 제1 값을 추출하고, 상기 다른 영상정보의 얼굴을 구성하는 모든 점의 빛의 세기인 제2 값를 추출한 후에 상기 제2 값 대한 상기 제1 값의 비율을 기초로 ERI(Expression Ratio Intensity)를 계산하여 구하고, 상기 ERI를 상기 3차원 영상정보에 폴리곤 와핑하여 상기 3차원 얼굴 모델의 얼굴 표정을 변형시키는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치는 상기 입력영상정보의 얼굴의 측면 영상정보를 더 입력받고, 상기 정면 및 측면 영상정보를 합성하여 상기 3차원 얼굴 모델의 측면 또는 후면의 텍스쳐를 생성하는 텍스쳐 생성부를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 텍스쳐 생성부는 상기 3차원 얼굴 모델의 3차원 좌표를 생성하고, 상기 3차원 좌표에 의해 정면 및 측면의 텍스쳐 좌표를 생성한 후에 상기 정면과 측면의 각 텍스쳐 좌표가 만나게 되는 경계를 추출하고, 상기 경계를 각각 정면 및 측면의 텍스쳐로 투영시켜 정면 및 측면의 경계 텍스쳐를 생성하고, 상기 정면 및 측면의 경계 텍스쳐를 상기 경계를 기준으로 합성하고 블랜딩하여 상기 3차원 얼굴 모델의 측면 또는 후면의 텍스쳐를 생성시키는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치는 미리 구비되어 있는 3차원 헤어 모델 중 어느 하나를 상기 사용자로부터 지정받아, 사이 헤어 모델을 상기 3차원 얼굴 모델에 피팅시키는 헤어 피팅부를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 얼굴 모델 생성장치의 상기 헤어 피팅부는 소정의 스타일을 갖는 3차원 헤어 모델을 미리 구비하는 헤어 모델 데이터베이스; 상기 사용자로부터 상기 구비되어 있는 헤어 모델 중 어느 하나를 선택받는 입력부; 상기 3차원 얼굴 모델의 세로로 정중앙을 지나는 선상에 위치하며 상기 3차원 얼굴 모델의 정수리 부분에 위치하는 한 점이 헤어피팅 기준점을 추출하는 헤어 피팅 기준점 추출부; 상기 3차원 얼굴 모델의 머리 크기 정보를 구하고, 상기 머리 크기 정보 및 상기 헤어피팅 기준점을 기초로 상기 선택받은 헤어 모델과 상기 3차원 얼굴 모델을 피팅시키는 최종 피팅부를 포함하는 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 안경 모델 생성 장치는 투명재질의 눈금자가 부설된 소정의 상자에 들어 있는 소정의 안경을 정면, 측면 및 윗면에서 촬영한 안경영상정보를 입력받는 입력부; 상기 안경영상정보에 포함된 눈금자의 개수를 기초로 상기 안경의 치수를 산출하고, 상기 산출된 치수를 기초로 상기 안경의 기본적인 3차원 모델인 기초 모델을 생성시키는 기초모델 생성부; 상기 기초 모델의 렌즈 모양에 관하여 렌즈의 곡률, 모양 및 시선각에 관한 정보를 포함하는 렌즈정보를 입력받고, 상기 렌즈정보를 기초로 상기 안경의 렌즈를 생성시키는 렌즈 생성부; 상기 기초 모델의 프레임의 모양정보, 프레임간의 브릿지의 모양정보를 입력받고, 상기 기초 모델의 프레임 및 브릿지의 모양을 생성시켜 상기 안경의 3차원 모델을 생성시키는 3차원 모델 생성부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 장치의 상기 렌즈 생성부는 상기 안경의 곡률정보를 입력받고, 상기 곡률정보와 일치하는 구를 생성시켜 사용자에게 제공하는 구 생성부; 및 상기 사용자로부터 상기 구의 표면의 일부에 상기 안경의 렌즈모양을 입력받고 상기 입력받은 모양에 따라 상기 구로부터 렌즈의 모양을 분리시키는 렌즈 분리부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 장치는 상기 분리된 렌즈의 모양에 미리 설정된 두께를 부여하고, 미리 설정된 소정의 기준에 따라서 렌즈를 회전시키는 렌즈 회전부를 더 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 장치의 상기 3차원모델 생성부는 상기 기초 모델을 표시하여 사용자에게 제공하고, 상기 기초 모델의 프레임의 모양을 수정할 내용에 관한 프레임 수정정보를 입력받고, 상기 수정정보에 따라 상기 기초모델의 프레임의 모양을 수정하는 프레임 모양 수정부; 및 상기 기초 모델의 렌즈 및 프레임를 대칭적으로 복사하여 또 다른 렌즈를 생성시키고, 상기 안경의 두개의 렌즈간의 거리 값을 입력받아 상기 거리에 두개의 렌즈 및 상기 프레임를 위치시킨 후 상기 프레임간의 브릿지의 모양에 관한 정보를 입력받아 상기 브릿지를 생성시키는 브릿지 생성부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 모델 생성 장치의 상기 3차원모델 생성부는 상기 안경의 프레임과 안경다리의 연결 부분에 관한 모양정보를 입력받아 상기 안경의 프레임과 안경다리의 연결 부분의 모양을 생성시키는 안경다리 생성부를 더 포함하는 것을 특징으로 할 수 있다.
상기 상기 3차원 안경 모델 생성 장치는 상기 기초 모델의 프레임과 안경 다리간의 연결부분의 두께와 동일하게 상기 안경 다리의 전체 길이를 육면체의 폴리곤 형태로 변환시키는 안경다리 생성부; 상기 안경의 측면에 해당하는 안경영상정보에서 측정되는 상기 안경 다리의 휜 각도와 동일하도록 상기 안경 다리를 DEFORM 방식을 이용하여 수정하는 안경다리 수정부; 상기 생성된 안경 다리와 대칭이 되도록 반대쪽 안경 다리를 생성시키고, 상기 기초 모델의 안경 다리 모양을 상기 생성된 안경 다리로 대치시키는 안경다리 결합부를 더 포함하는 것을 특징으로 할 수 있다.
상기 상기 3차원 안경 모델 생성 장치는 상기 안경의 코받침 또는 안경 프레임과 다리를 연경하는 경첩 또는 상기 안경에 필요한 나사들의 모양에 관한 정보를 입력받아 상기 코받침 또는 경첩 또는 나사의 모양을 생성시키고, 상기 기초 모델에 상기 생성된 모양을 적용시키는 안경악세사리부 생성부를 더 포함하는 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 3차원 안경 시뮬레이션 장치는 적어도 하나 이상의 3차원 얼굴 모델 정보 및 적어도 하나 이상의 3차원 안경 모델 정보를 구비하는 모델 데이터베이스; 소정의 사용자로부터 상기 구비되어 있는 3차원 얼굴 모델 정보 중 어느 하나의 3차원 얼굴 모델 정보와 어느 하나의 3차원 안경 모델 정보를 선택받는 입력부; 상기 선택받은 3차원 얼굴 모델 과 상기 3차원 안경 모델을 소정의 기준에 따라 피팅시키는 안경모델 피팅부; 상기 피팅된 3차원 얼굴 모델 과 3차원 안경 모델을 하나의 영상정보로 합성시키고, 상기 합성된 영상정보를 상기 사용자의 요구에 따른 방향으로 표시하여 제공하는 애니메이션 제어부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 안경모델 피팅부는 상기 3차원 얼굴 모델에 상기 3차원 안경 모델을 피팅시켰을 때, 상기 3차원 안경 모델의 힌지 부분인 안경 메쉬의 안경 힌지 참조점, 상기 안경 힌지 참조점과 대응되는 상기 3차원 얼굴 모델의 부분인 얼굴 메쉬의 안경 힌지 참조점, 상기 3차원 얼굴 모델의 귀부분 중 상기 3차원 안경 모델과 접촉하게 되는 부분인 얼굴 메쉬의 귀 참조점, 상기 3차원 안경 모델의 몸체 부분과 상기 3차원 얼굴 모델의 얼굴의 눈 부위 중 가장 가까운 거리에 위치하는 부위인 얼굴 메쉬의 깊이 참조점을 입력받고, 이를 기초로 상기 3차원 얼굴 모델의 좌우 가로 방향에 해당하는 X축 방향에서 상기 3차원 안경 모델의 스케일을 조절하는 스케일 조절부; 상기 x방향에서 조정된 상기 3차원 안경 모델의 스케일에 따라 상기 3차원 얼굴 모델의 위아래 세로방향에 해당하는 y축 및 상기 3차원 얼굴 모델의 앞뒤 방향에 해당하는 z축 방향에서 안경의 좌표 및 위치를 변환하는 안경위치 변환부; 및 상기 3차원 얼굴 모델을 위에서 보았을 때 상기 3차원 얼굴 모델과 상기 3차원 안경 모델의 다리의 각도가 일치하도록 상기 3차원 안경 모델의 다리의 각도를 변환하는 안경다리 변환부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 스케일 조절부는 상기 x방향에서 상기 3차원 안경 모델의 스케일은 스케일 조정전의 3차원 안경 모델(G), 스케일 조정된 3차원 안경 모델(g)에 대하여 g = Gㅧ스케일계수이며, 얼굴 메쉬의 안경 힌지 참조점(B)과 안경 메쉬의 안경 힌지 참조점(B')의 각 x좌표 XB, XB' 에 대하여 스케일 계수=XB/XB'로 조정되는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 스케일 조절부의 y축의 이동 계수는 얼굴 메쉬의 안경 힌지 참조점과 안경 메쉬의 안경 힌지 참조점과의 차로 나타낼 수 있으며, 얼굴 메쉬의 안경 힌지 참조점 B=(XB, YB, ZB)는, 스케일이 조정된 안경 g에서의 B'의 좌표값은 x방향으로의 스케일 계수가 XB/XB'일 때 이며, 이동계수(Move_Y)는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 안경위치 변환부의 z축의 이동 계수는 얼굴 메쉬의 깊이 참조점과 안경 메쉬의 깊이 참조점과의 차로 나타낼 수 있으며, A=(XA, YA, ZA)는, 스케일이 조정된 안경 g에서의 B'의 좌표값은 x방향으로의 스케일 계수가 XB/XB'일 때 이며, 안경을 눈썹보다 지정된 거리 앞에 위치시키기 위한 편차 α= k ×(XB/XB')라 할 때, 이동계수(Move_Z)는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 안경다리 변환부의 y축에 대한 회전각 θy는 상기 스케일 계수 및 이동 계수를 적용한 후 안경 메쉬의 안경 힌지 참조점(B') 및 귀 참조점(C'), 얼굴 메쉬의 귀 참조점(C)에 대하여 C = (CX, CY, CZ), B' = (BX', BY', BZ'), C' = (CX', CY', CZ')에서, 각 점의 y좌표를 0으로 설정하면 CY0= (CX, CZ), BY0' = (BX', BZ'), CY0' = (CX', CZ')가 되며, 회전각 θy는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 안경다리 변환부의 y축에 대한 회전각 θx는 상기 스케일 계수 및 이동 계수를 적용한 후 상기 안경 메쉬의 안경 힌지 참조점(B') 및 귀 참조점(C'), 얼굴 메쉬의 귀 참조점(C)에 대하여 C = (CX, CY, CZ), B' = (BX', BY', BZ'), C' = (CX', CY', CZ')에서, 각 점의 x좌표를 0으로 설정하면 CX0= (CY, CZ), BX0' = (BY', BZ'), CX0' = (CY', CZ')가 되며, 회전각 θx는 인 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 안경모델 피팅부는 상기 3차원 얼굴 모델에 상기 3차원 안경 모델이 접촉하는 위치의 중심점으로써 상기 3차원 얼굴 모델의 중심점인 NF, 상기 3차원 얼굴 모델에 상기 3차원 안경 모델이 씌워질때 상기 3차원 안경 모델의 다리가 접촉되는 상기 3차원 얼굴 모델의 귀 부위의 점인 CF, 상기 3차원 얼굴 모델의 정수리 부위의 점인 DF, 상기 3차원 안경모델이 상기 3차원 얼굴 모델에 씌워질때 상기 3차원 얼굴 모델의 코 부위에 접촉되는 상기 3차원 안경 모델의 부위인 NG, 상기 3차원 안경 모델의 다리가 접히는 부위의 축위의 점인 HG, 상기 3차원 안경 모델과 상기 3차원 얼굴 모델이 접촉하는 상기 3차원 안경 모델의 다리의 안쪽 부위인 CG 점들의 제1 좌표 값을 입력받는 입력부; 상기 입력받은 NF, CF, DF, NG, HG, CG의 좌표 값을 기초로 상기 3차원 안경 모델을 상기 3차원 얼굴 모델에 씌울 때 필요한 상기 3차원 안경 모델의 제2 좌표 값을 구하는 기준점 추출부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 기준점 추출부는 상기 NF와 상기 NG의 차를 이용하여 상기 3차원 안경 모델을 상기 3차원 얼굴 모델의 알맞은 위치로 이동시킨 후, 소정의 사용자로부터 자신의 두 동공 사이의 거리 값인 사용자 PD 값을 입력받고, 상기 3차원 안경 모델의 두 동공 사이의 거리 값인 안경 PD 값 및 상기 3차원 얼굴 모델의 두 동공 사이의 거리 값인 얼굴 PD 값을 구한 후, 상기 값들을 기초로 상기 3차원 안경 모델의 스케일 값을 안경스케일 조정부; 상기 CF, HG 값을 기초로 상기3차원 얼굴 모델에 상기 3차원 안경 모델이 맞도록 상기 3차원 안경 모델의 다리를 접거나 벌릴 각도를 구하고 상기 안경다리의 각도를 변화시키는 안경다리각 변환부를 포함하는 것을 특징으로 할 수 있다.
상기 3차원 안경 시뮬레이션 장치의 상기 안경스케일 조정부의 사용자 PD 값은 상기 사용자로부터 입력받지 않고, 63 내지 72의 범위 값 중 어느 하나를 사용하는 것을 특징으로 할 수 있다.
상기 문제점을 해결하기 위한 본 발명에 따른 안경 마케팅 장치는 사람의 얼굴을 촬영한 영상정보를 입력받아 이를 3차원 얼굴 모델을 만들고, 미리 저장된 3차원 안경모델 중 소정의 사용자로부터 선택받은 3차원 안경모델과 상기 3차원 얼굴 모델이 결합된 영상정보를 생성하여 사용자에게 제공하는 안경시뮬레이션 수단; 상기 사용자로부터 상기 미리 저장된 3차원 안경모델 중 어느 하나 이상을 선택받고, 상기 선택받은 3차원 안경모델에 대응되는 안경에 대한 구매요청에 대한 정보인 구매요청정보를 입력받아 관리하는 구매정보관리 수단; 상기 구매요청정보에 대응되는 사용자에 대한 분석 또는 상기 구매요청정보에 대응되는 안경에 대한 분석 또는 시기를 포함하는 상기 구매요청이 발생된 환경에 대한 분석을 실시하고 그 결과를 관리하는 제품 선호도 분석 수단; 상기 구매요청정보에 입력한 사용자별로 안경을 선택하는 취향을 분석하고 그 결과를 관리하는 사용자 거동 분석 수단; 상기 제품 선호도 분석 수단 및 상기 사용자 거동 분석 수단에서 분석된 결과정보 및 입력받은 안경의 패션정보를 취합하여 미래의 패션 경향을 예측하는 패션 경향 인공지능 학습수단; 상기 패션 경향 인공지능 학습수단으로부터 예측되는 미래의 패션 경향정보를 제공받고, 상기 사용자의 요구에 따라 상기 사용자에게 적합한 디자인 또는 패션 경향에 관한 정보에 관한 자문정보를 생성시켜 상기 사용자에게 제공하는 인공지능 자문 데이터 생성수단; 상기 사용자 거동 분석 수단으로부터 제공받은 사용자별 취향정보, 상기 인공지능 자문 데이터 생성수단으로부터 제공받은 자문정보, 상기 패션 경향 인공지능 학습수단으로부터 제공받은 미래의 패션 경향정보를 기초로 상기 사용자에게 적합한 안경제품 홍보 컨텐츠를 생성시키는 1:1 마케팅 처리 수단; 상기 사용자와 관련된 이-메일 주소 또는 유무선 전화번호를 포함하는 사용자 정보를 상기 사용자로부터 입력받아 관리하고, 상기 1:1 마케팅 데이터 처리 수단으로부터 제공받은 상기 홍보 컨텐츠 정보를 상기 사용자에게 전송하는 1:1 마케팅 데이터 발송수단을 포함하는 것을 특징으로 할 수 있다.
상기 안경 마케팅 장치의 상기 1:1 마케팅 처리 수단은 상기 사용자를 미리 설정된 소정의 기준에 따라 분류하고, 상기 분류에 기초하여 상기 홍보 컨텐츠를 생성시키는 것을 특징으로 할 수 있다.
상기 안경 마케팅 장치의 상기 제품 선호도 분석 수단 또는 상기 사용자 거동 분석 수단에서 상기 사용자와 관련된 분석은 사용자의 3차원 얼굴 모델의 헤어 텍스쳐, 얼굴의 LIGHTING, 피부색, 얼굴의 폭, 얼굴의 길이, 입의 크기, 양쪽 동공사이의 거리값, 인종 중 어느 하나 이상을 포함하는 것을 특징으로 할 수 있다.
상기 안경 마케팅 장치의 상기 제품 선호도 분석 수단에서 안경과 관련된 성향분석에 사용되는 파라미터에는 안경의 크기, 형태, 가격대, 재질, 브랜드, 프레임 색상, 렌즈 색상 중 어느 하나 이상을 포함하는 것을 특징으로 할 수 있다.
상기 안경 마케팅 장치의 상기 제품 선호도 분석 수단에서 안경의 선호도와 관련된 분석에 사용되는 파라미터에는 시즌별 유행성, 시즌별 안경의 형태, 얼굴 폭에 따른 선호도, 인종에 따른 선호도, 피부색에 따른 선호도, 양쪽 동공간의 거리에 따른 선호도, 3차원 얼굴 모델의 헤어스타일에 따른 선호도 중 어느 하나 이상을 포함하는 것을 특징으로 할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 보다 상세히 설명하기로 한다. 이하의 설명에서, 텍스쳐란 얼굴 영상 정보(사진)에서 동질이라고 간주되는 영역에 공통적으로 사용되는 배경 이미지를 의미하고, 텍스쳐 매칭이란 3차원 얼굴 모델을 생성시키는데 기준이 되는 기본점에 의해 생성된 얼굴 모델에 텍스쳐를 입히는 과정을 의미한다. 또한, 블랜딩이란 두 이미지 사이의 경계면이 부드러워지도록 처리하는 과정을 뜻한다.
도 1은 본 발명의 3차원 안경 시뮬레이션 시스템이 적용되는 통신망의 일 예시도이다.
도시한 것과 같이, 3차원 안경 시뮬레이션 시스템(10)은 인터넷과 같은 통신망(30)을 통해 구매자(사용자)의 통신도구(20)와 접속될 수 있으며 사용자가 통신 도구(20)를 이용하여 서비스 관리자(70)를 통해 3차원 안경 시뮬레이션 시스템(10)에 접속하여 자신에게 어울리는 안경을 선택하고자 함에 따라 사용자의 얼굴 모델을 생성하고, 생성한 사용자 얼굴 모델과 사용자가 선택한 안경모델을 이용하여 3차원 안경 시뮬레이션을 수행한다. 여기에서 3차원 안경 시뮬레이션 시스템(10)은 지능형 CRM엔진을 구비하며, 이를 이용하여 패션트랜드 분석, 사용자 거동 분석 등에 의해 전문가 조언 서비스를 사용자 통신도구(컴퓨터, 유무선 단말기를 포함한다)를 통하여 제공함으로써 사용자가 자신의 얼굴에 어울리는 가장 적합한 안경을 선택할 수 있도록 한다.
여기에서, 사용자 얼굴 모델은 사용자의 통신도구(20)에 접속된 디지털 카메라, 웹캠 등의 영상 장비 또는 이미지 스캐너와 같은 영상 변환장치에 의해서 생성된 디지털 파일을 입력 받아 생성하거나, 3차원 안경 시뮬레이션 시스템(10)에 내장되어 있는 얼굴 모델의 샘플 데이터를 사용자에게 제공함으로서 이 샘플 데이터를 이용하여 생성할 수 있다. 지능형 CRM엔진에 대한 상세한 설명은 후술할 것이다.
또한 3차원 안경 시뮬레이션 시스템(10)은 3차원 얼굴 모델링 및 안경 시뮬레이션 과정의 처리 후 사용자가 선택한 안경을 구매 하고자 하면 결제 처리를 수행한다. 3차원 안경 시뮬레이션 시스템(10)은 안경 제조자(40) 또는 안경 판매자(50)에 의해 직접 운영되거나 안경 제조자(40) 또는 안경 판매자(50)와 제휴한 독립적인 사업자에 의해 운영될 수 있으며, 독립적인 사업자에 의해 운영되는 경우 3차원 안경 시뮬레이션 시스템(10)에서 사용자가 선택한 안경 정보는 안경 제조자(40)에게 전송된다. 이후, 안경 제조자(40)은 전송된 데이터에 따라 안경을 제작하거나 매장 혹은 창고에 있는 상품을 사용자 또는 안경 판매자(50)에게 배달한다.
서비스관리자(70)는 구매자 또는 사용자(20), 안경 제조자(40), 안경 판매자(50) 또는 통신장치(60) 등이 3차원 안경시뮬레이션 시스템(10)을 사용하도록 허가하거나 권한을 부여하거나 3차원 안경 시뮬레이션 시스템(10)을 이용하는데 필요한 정보를 분산시켜 줌으로서 효율적으로 서비스 할 수 있도록 한다. 또한 안경 제조자(40), 안경 판매자(50) 그리고 통신 장치(60)에서 전자 카탈로그를 제작하여 3차원 안경 시뮬레이션 시스템과 연계할 수 있도록 해주며, 이것은 사용자뿐만 아니라 다른 기업으로의 상거래를 가능하게 해준다.
안경제조자(40), 안경판매자(50) 그리고 통신장치(60)는 일반 구매자 또는 사용자(20), 다른 안경제조자(40), 다른 안경판매자(50) 또는 다른 통신장치(60)에게 전자적 우편이나 모바일 서비스를 이용하여 안경 상품을 3차원 안경 시뮬레이션 시스템(10)에서 생성된 3차원 모델 및 관련 정보를 전송하는 방법으로 상품을 홍보하거나 마케팅 도구로 사용한다.
3차원 안경 시뮬레이션 시스템(10)은 통신망(30)을 통하여 접속하는 온라인 사용자에게 서비스를 제공하는 것뿐만 아니라, 3차원 얼굴 모델링 과정 및 안경 시뮬레이션 과정을 소프트웨어로 제작하고, 이 소프트웨어 및 데이터베이스를 키오스크, 태블릿PC(Tablet PC), 포켓PC, 모바일 핸드폰과 같은 통신장치(60)와 같은 이동성을 갖는 하드웨어에 이식하여 온라인뿐만 아니라 오프라인 사용자도 편리하게 사용할 수 있도록 한다.
안경 시뮬레이션 서비스를 소프트웨어로 제작하고 기록매체에 저장하여 제공하는 경우, 안경 선택 과정은 안경시뮬레이션 소프트웨어가 설치된 장치에서 사용자에 의해 오프라인으로 수행되고, 사용자에 의한 안경 선택 과정이 완료되면 해당 선택 정보를 안경 시뮬레이션 시스템(10)에 온라인으로 전송하여 이후의 과정(안경 제작 및 판매)이 진행될 수 있도록 한다. 이러한 과정은 안경원에 들른 고객의 사진을 현장에서 찍어주어 디자인 맞춤 서비스를 통하여 고객에게 제공하는 온오프라인 연동 사업에 이용한다. 특히 이 부분에서 서비스 관리자(70)는 안경제조자(40), 안경판매자(50) 그리고 통신장치(60)의 추천에 의해서 제공받은 3차원 안경 시뮬레이션 시스템(10)을 구매자 또는 사용자(20) 영역에서 통신망을 이용하여 확인하고 시뮬레이션 할 수 있는 서비스를 받을 수 있게 해 준다.
1. 안경 시뮬레이션 시스템
도 2는 도 1에 도시한 안경 시뮬레이션 시스템의 상세 구성도이다.
도시한 것과 같이, 본 발명의 3차원 안경 시뮬레이션 시스템(10)은 인터페이스부(100), 사용자 정보 처리부(110), 그래픽 시뮬레이션부(120), 상거래 처리부(130), 지능형 CRM 엔진(140) 및 데이터베이스(150)를 구비한다. 여기에서, 데이터베이스(150)는 개인정보 DB(152), 제품정보 DB(154), 3차원 모델 DB(156), 상거래 정보 DB(158) 및 지식 정보 DB(160)를 포함하며, 이 데이터베이스들은 하나의 테이블로 구성할 수도 있고, 각각 독립적인 테이블로 구성할 수도 있다.
먼저, 인터페이스부(100)는 개인용 컴퓨터(20) 및 안경 제조자(40)와 3차원 안경 시뮬레이션 시스템(10) 간의 통신을 담당하는 인터페이스부로서, 컨텐츠 제공 서버로 접속한 사용자 정보를 암호화하고, 추후 구매 과정 등에서 발생된 사용자의 이력 정보를 되돌려 주는 역할을 한다. 사용자 인터페이스부(100)는 시스템 서버와 컨텐츠 서버가 동일한 경우에는 별도의 동작을 수행하지 않고 시스템 서버와 컨텐츠 서버가 동일하지 않은 경우에만 동작한다.
사용자 정보 처리부(110)는 3차원 안경 시뮬레이션 시스템(10)에 접속한 사용자에 대하여 사용자 인증을 수행하고, 해당 사용자의 3차원 얼굴 모델을 생성하기 위한 부분으로서, 사용자 관리 수단(112) 및 3차원 얼굴 모델 생성 수단(114)을 구비한다.
여기에서, 사용자 관리 수단(116)은 개인정보 DB(152)를 참조하여, 3차원 안경 시뮬레이션 시스템(10)에 접속하여 서비스를 이용하고자 하는 사용자가 적법한 사용자인지 판단하고 적법한 사용자에게만 서비스를 제공하며, 서비스 이용 후 변경된 정보에 따라 개인정보 DB(152), 상거래 정보 DB(158)를 갱신한다.
3차원 얼굴 모델 생성 수단(114)은 사용자로부터 얼굴 정보를 입력받아 이를 바탕으로 3차원 얼굴 모델을 생성하기 위한 수단으로, 사용자의 얼굴 영상 정보는 개인용 컴퓨터(20)에 연결된 디지털 카메라와 같은 영상 수단에 의해 입력받아 생성하거나, 사용자로부터 자신의 정면 및 이와 직교하는 측면 사진을 이미지 파일로 입력받아 생성하거나, 3차원 영상 시뮬레이션 시스템(10)의 3차원 모델 DB(156)에 기 저장되어 있는 얼굴 정보를 사용자에 의해 조작하도록 하여 생성할 수 있다.
다음으로, 그래픽 시뮬레이션부(120)는 지능형 CRM 엔진(140)과 연동하여 사용자가 적합한 안경을 선택할 수 있도록 함은 물론 선택한 안경 모델에 대하여 3차원 안경 모델을 생성하고, 생성된 3차원 안경 모델과 3차원 얼굴 모델 생성 수단(118)에서 생성한 얼굴 모델을 이용하여 사용자가 안경을 가상 착용한 결과를 그래픽으로 제공한다. 그래픽 시뮬레이션부(120)는 3차원 안경 모델링 수단(122), 텍스쳐 생성 수단(124) 및 시뮬레이션 수단(126)으로 구성된다.
그래픽 시뮬레이션부(120)는 사용자가 데이터베이스를 참조하여 안경의 디자인, 색상 및 재질을 선택하여 모사한 결과를 사용자별 맞춤 안경 데이터를 데이터베이스에 저장하는 기능을 가지며, 아울러 사용자가 이름 또는 캐릭터를 안경에 새기거나 부착하도록 하여 생성한 사용자별 맞춤 안경 데이터를 상기 데이터베이스에 저장하는 기능을 수행한다. 먼저, 3차원 안경 모델링 수단(122)은 사용자가 제품정보 DB(154)를 참조하여 제품의 다양한 옵션 사항, 즉 안경 및 렌즈의 브랜드, 색상, 스타일, 기능 등을 선택하도록 하여 다양한 안경 모델을 모사할 수 있도록 할 뿐만 아니라, 자신이 직접 안경의 부품들을 조합하여 새로운 형태의 맞춤 안경을 모사하는 것을 가능하게 한다. 또한 안경 형태의 맞춤뿐만 아니라 안경의 재질의 모사 및 안경테에 사용자 이름을 새기거나 부착하여 주는 등의 컨텐츠 운용이 가능하다. 이러한 개인화된 사용자의 거동은 지능형 CRM 엔진(140)에 저장되어 추후 해당 사용자의 제언을 보다 지능적으로 처리하는 데 활용된다.
텍스쳐 생성 수단(124)은 사용자가 선택한 안경의 색이나 무늬 등을 변경 할 수 있게 하는 수단으로 사용자가 기호에 맞는 안경의 색이나 텍스쳐를 선택 할 수 있게 한다. 도 3a는 텍스쳐 생성 수단의 흐름도를 나타낸다. 사용자는 안경의 구성요소를 선택한다. 도 3b에서처럼 안경의 프레임, 코 다리, 다리 연결부, 안경다리 등을 사용자가 원하는 형을 선택할 수 있다. 각 구성요소들은 사용자의 취향에 따라 프레임, 테 그리고 렌즈 등의 색을 선택할 수 있다. 선택을 함과 동시에 시뮬레이션을 해 볼 수 있는데 시뮬레이션 기능은 회전 및 이동을 통하여 상용자가 직접 안경의 디자인을 판단할 수 있다. 마지막으로 완성된 안경은 파일형태로 저장되어 조합된 저장 정보를 바탕으로 맞춤 안경 주문 또는 안경 착용 시뮬레이션 등에 사용된다. 시뮬레이션 수단(126)은 사용자 정보 처리부(110)에서 생성된 사용자의 3차원 얼굴 모델에, 사용자가 지능형 CRM 엔진(140)의 자문 정보를 참조하여 선택한 안경을 착용시켜 구매자 또는 사용자(20)의 모니터에 디스플레이하는 역할을 한다. 도32는 사용자가 안경의 색, 무늬 ,텍스쳐 및 부품 등을 선택한 맞춤 텍스쳐 생성 수단의 실 예를 보여준다. 도 3b는 구매자 또는 사용자(20)의 모니터에 맞춤 안경이 디스플레이된 실 예이다.
상거래 처리부(130)는 사용자가 3차원 얼굴 모델링 및 선택한 안경 모델링 과정을 수행한 후 원하는 안경을 선택하고 구매하고자 함에 따라 결제 등의 과정을 처리하기 위한 부분으로서, 구매 관리 수단(132), 배송 관리 수단(134) 및 재고 관리 수단(136)을 구비한다. 구매 관리 수단(132)은 해당 사용자의 구매 내역(상품 관련 정보, 구매자 정보, 상품 수령자 정보, 기타 요구사항 등)에 따라 개인정보 DB(152) 및 상거래 정보 DB(158)를 관리한다. 또한, 배송 관리 수단(134)은 구매 관리 수단(132)에서 생성한 정보에 따라 상품의 결제를 수행하고 입금 상태를 확인하며, 상품 배송 업체로 해당 상품을 배송 의뢰한다. 재고 관리 수단(136)은 결제 및 배송 처리 완료 후 3차원 안경 시뮬레이션 시스템(10)에서 보유하고 있는 안경의 재고 내역을 관리한다.
지능형 CRM 엔진(140)은 상품 또는 소비자 이력으로부터 미래의 트랜드를 예측하기 위한 부분으로, 본 발명의 3차원 안경 시뮬레이션 시스템(10)은 이 지능형 CRM 엔진(140)에 의하여 기존의 시뮬레이션 시스템과 가장 현저하게 차별화된다. 패션 상품은 산업의 특성상 과거의 상품 또는 소비자 이력으로부터 미래의 트랜드를 예측하는 모델의 정량화가 매우 어렵다. 예를 들어, 현재까지는 유명 연예인이 착용한 패션 상품이 급속하게 유행한다거나 하는 현상을 정량화된 이력 모델로서 예측하는 것이 불가능하지만 본 발명의 지능형 CRM 엔진(140)을 적용하게 되면 패션 전문가의 자문 DB를 기초로 신경향을 학습시킬 수 있고, 이를 바탕으로 자문 데이터를 생성하기 때문에 미래의 트랜드를 효과적으로 예측할 수 있다.
본 발명의 3차원 안경 시뮬레이션 시스템(10)은 다양한 항목을 갖는 데이터베이스(150)와 이를 통합 제어하는 지능형 CRM 엔진(140), 사용자 정보 처리부(110), 그래픽 시뮬레이션부(120) 및 상거래 처리부(130)가 상호 연동하여 시스템 기반 구조를 형성한다. 도 2에는 개인정보 DB(152), 제품정보 DB(154), 3차원 모델 DB(156), 상거래 정보 DB(158) 및 지식정보 DB(160)를 도시하였으며, 각 데이터베이스의 구체적인 필드 내역은 도 3a 및 3b에 도시하였다.
도 4a 및 4b를 참조하면, 개인정보 DB(152)는 회원으로 가입한 사용자의 일련번호, 가입일, 마지막 접속일, 접속 횟수, 접속 IP, 접근 권한, ID, 비밀번호, 이름, 주민등록번호, 성별, 나이, 전화번호, 우편번호, 주소, 이메일 주소, 직업, 사진, 아바타, 얼굴형, 미간거리, 측면거리, 실제 구매 횟수, 구매시도 횟수, 구매 취소 횟수 등의 정보가 포함된다.
이하의 설명에서 '아바타'라 함은 사용자의 3차원 얼굴 모델을 뜻하는 것으로, 사용자의 실제 얼굴로부터 생성한 모델과 3차원 안경 시뮬레이션 시스템에 저장된 초기 데이터로부터 생성한 모델을 모두 포함하는 개념이다.
제품정보 DB(154)는 상품 정보, 프레임 정보, 렌즈 정보, 상품 수량 정보 등으로 분류할 수 있는데, 상품 정보에는 일련번호, 상품 등록일, 브랜드, 상품명, 재질, 안경 폭, 다리 길이, 코걸이 높이, 프레임 모양, 무게, 가격, 목표 고객, 코디형, 상품 설명 등에 대한 정보가 포함되고, 프레임 정보에는 일련번호, 프레임 코드, 상품 등록일, 견본 정보, 텍스쳐 정보, 프레임 설명 등에 대한 정보가 포함된다. 또한, 렌즈 정보에는 일련번호, 렌즈 코드, 견본 정보, 텍스쳐 정보, 렌즈 설명 등에 대한 정보가 포함되며, 상품 수량 정보에는 일련번호, 상품코드, 총 상품 수량, 총 판매량 등에 대한 정보가 포함된다.
3차원 모델 DB(156)는 아바타 정보 및 헤어스타일 정보로 분류할 수 있는데, 아바타 정보에는 일련번호, 등록일, 아바타 이름, 아바타 위치, 성별, 나이, 얼굴형, 신장, 몸무게 등에 관한 정보가 포함되고, 헤어스타일 정보에는 일련번호, 등록일, 헤어스타일 이름, 헤어스타일 경로, 성별, 나이, 얼굴형 등에 관한 정보가 포함된다.
상거래 정보 DB(158)에는 임시 주문 정보, 실제 구매 정보, 배송 정보, 구매자 특성 정보가 포함되는데, 임시 주문 정보 및 실제 구매 정보에는 일련번호, 주문코드, 상품 코드, 상품명, 색상코드, 사이즈 코드, 주문일, 상품 주문 개수, 가격, 사용자 ID, 주문자 정보, 수령자 정보 등에 관한 정보가 포함되고, 배송 정보에는 일련번호, 주문코드, 사용자 정보, 판매 가격, 배송료, 결제 방법, 결제 은행 정보, 입금자 정보, 운송장 번호, 배송 완료일, 거래 결과 등에 관한 정보가 포함되며, 구매자 특성 정보에는 일련번호, 상품코드, 상품명, 재질, 정가, 색상코드, 구매자 신상 정보 등에 관한 정보가 포함된다.
데이터베이스 필드는 이상에서 설명한 것에 한정되는 것이 아니라 서비스 내용에 따라 추가 및 삭제가 가능하며, 각각의 데이터베이스를 별도의 테이블로 생성하거나 하나의 테이블로 생성할 수 있다. 또한, 지식 정보 DB(160)의 종류는 후술할 것이다.
2. 3차원 얼굴 모델 생성 수단 및 3차원 얼굴 모델 생성 방법
도 5는 도 2에 도시한 3차원 얼굴 모델 생성 수단의 상세 구성도이고, 도 6 내지 도 8는 본 발명에 의한 3차원 얼굴 모델 생성 수단에서의 얼굴 모델 생성 방법을 설명하기 위한 도면이다.
2-1 3차원 얼굴 모델 생성 수단
3차원 얼굴 모델 생성 수단(114)은 접속된 사용자의 얼굴 모델(아바타)을 생성 또는 획득하는 기능을 담당한다. 3차원 얼굴 모델 생성 수단(114)은 도 4에 도시한 것과 같이 얼굴 기본점 추출부(200), 얼굴 변형부(206), 얼굴 표정 변형부(208), 얼굴 합성부(210), 얼굴 텍스쳐 제어부(212), 실시간 프리뷰 제공부(214) 및 파일 생성 및 제어부(216)로 구성되며, 특히 얼굴 기본점 추출부(200)는 얼굴의 외곽선과 이목구비 중의 특징적인 부분을 추출하기 위한 부분으로서, 윤곽선 추출 수단(202) 및 특징형상 추출 수단(204)을 포함한다.
얼굴 기본점 추출부(200)는 정면 및 측면의 2장의 영상정보로부터 얼굴의 외곽선 및 특징형상의 점(눈, 코, 입, 귀 등을 나타내는 점)을 추출하기 위한 부분이다. 이하의 설명에서는 외곽선을 이루는 점 및 특징형상의 점을 포함하여 기본점이라 하기로 한다. 3차원 얼굴 모델 생성 수단(114)은 사용자로부터 입력된 얼굴 영상정보를 디스플레이하고, 사용자에게 정면 및 측면의 영상정보 각각에 대하여 기본점의 위치를 선택하도록 함으로써, 입력된 기본점 정보에 의해 기본 3차원 얼굴 모델을 생성하는 한편, 영상정보 상의 기본점들을 디스플레이한다. 사람의 얼굴은 입체적이므로 기본점들과 특징 형상의 점들은 얼굴의 높낮이를 나타내는 부분의 점들로 정의 되어 있다.
얼굴 변형부(206)는 입력이 완료된 기본점들을 가공 대상인 영상에 일치하도록 이동시킴에 따라 이동된 값을 가지고 기본 3차원 모델의 얼굴을 실물에 가깝게 변형한다.
얼굴 표정 변형부(208)는 3차원 얼굴 생성시 사용한 영상정보와 표정이 다른 얼굴 영상정보를 입력받아 얼굴 기본점 추출부(200) 및 얼굴 변형부(206)에 의해 생성된 3차원 얼굴 모델과 텍스쳐를 변형 및 가공하여 표정이 변형된 3차원 모델을 생성하기 위한 부분이고, 얼굴 합성부(210)는 이미 생성된 여러 가지의 얼굴 모델을 합성하여 다양한 캐릭터를 생성하는 역할을 한다. 또한, 얼굴 텍스쳐 제어부(212)는 정면과 측면의 영상정보를 합성하거나 정면의 텍스쳐로부터 측면과 후면의 텍스쳐를 생성하는 역할을 하고, 실시간 프리뷰 제공부(214)는 사용자가 작업하는 내용을 실시간으로 반영하여 관찰할 수 있도록 하며, 파일 생성 및 제어부(216)는 생성된 얼굴 모델을 자체 파일 형식뿐만 아니라 다른 응용 프로그램에서도 사용할 수 있도록 다양한 파일 형식으로 변환하는 역할을 한다.
한편, 얼굴 기본점 추출부(200)의 윤곽선 추출 수단(202)은 가공 대상 영상 정보를 디스플레이한 상태에서, 사용자가 가공 대상 영상정보의 기본점을 선택함에 따라 입력된 기본점 정보로부터 가공 대상 얼굴의 윤곽선을 추출한다. 또한, 특징형상 추출 수단(204)은 사용자에 의해 입력된 기본점 정보 특히, 특징형상의 정보에 따라 가공 대상 얼굴의 특징형상의 좌표 값 들을 얻어내는 역할을 한다. 기본점은 얼굴의 윤곽 및 특징형상을 가능한 정확히 나타낼 수 있도록 정면 7개(예를 들어, 상, 하, 좌, 우, 좌우의 눈, 코 밑), 측면 14개의 21개로 하는 것이 바람직하며, 얼굴을 이루는 윤곽선과 특징형상을 자동으로 용이하게 추출할 수 있도록 하기 위하여 각 기본점들의 위치를 미리 결정하여 두고 사용자에 의해 윤곽선과 특징형상의 위치와 점들을 조작하도록 하게 한다.
2-2 3차원 얼굴 모델 생성 방법
이와 같은 구성을 갖는 3차원 얼굴 모델 생성 수단(114)의 얼굴 모델 생성 방법을 설명하면, 먼저, 3차원 얼굴 모델 생성 수단(114)은 사용자로부터 입력된 가공 대상 영상정보를 컴퓨터 화면에 디스플레이한다. 가공하고자 하는 영상정보가 디스플레이 됨에 따라, 사용자로부터 정면 및 측면의 기본점들의 전체적인 위치를 입력 받고, 이 기본점 정보를 이용하여 얼굴의 윤곽선 및 특징형상을 표시한다. 이때의 위치는 영상에 대한 전체 기본점들의 개략적인 위치가 지정되는 것이다. 위치가 지정된 후 윤곽선 및 특징형상의 개략적인 위치가 도 7과 같이 표시 된다. 사용자는 기본점들을 가공 대상 영상정보와 일치하는 해당 위치에 일치시키게 되며 도 8과 같은 결과가 나온다. 결국, 3차원 얼굴 모델 생성 수단(114)은 그 기본점들의 움직임 거리를 바탕으로 모델을 입체적으로 변형하는데 이용한다. 이와 같은 방법으로 간단한 기본점들의 조작만으로 사용자는 쉽고 빠르게 실제 영상정보에 가까운 3차원 얼굴 모델을 생성할 수 있다.
3차원 얼굴 모델 생성 수단(114)을 이루는 각 주요 부분의 동작을 보다 상세히 설명하면 다음과 같다.
먼저, 윤곽선 추출 수단(202)의 단계를 설명하기로 한다. 윤곽선은 사람 얼굴의 윤곽 형태를 결정짓는 경계선을 의미한다. 윤곽선 추출 수단(202)에서는 이 윤곽선을 추출하기 위해서 기본적인 변형 가능한 스네이크에 얼굴의 색상 정보를 추가적으로 이용한 개선된 스네이크를 사용하였다. 스네이크란 초기 위치가 결정되면 에너지(밝기 등) 함수가 최소화되는 방향으로 움직여 가는 점들의 집합을 의미한다. 기존의 스네이크는 단지 에너지가 최소화되는 방향으로 움직이기 때문에 얼굴 윤곽선을 완만하고 정확하게 추출하기 어려운 점이 있는데, 본 발명에서는 이를 보완하기 위하여 스네이크를 얼굴색이 있는 쪽으로, 즉, 밖에서 안으로 움직이게 하였다.
먼저, 사용자에 의해 입력된 얼굴 외곽선 정보를 포함하는 기본점(Pr)과 베지어 곡선(Bezier Curve)을 이용하여 기본 스네이크를 만든다. 베지어 곡선이란 불규칙한 곡선을 표현하기 위해 수학적으로 만든 선으로서, 만들고자 하는 곡선과 비슷한 형상을 가진 다각형의 꼭지점을 이용하여 곡선을 정의하는 방법이며, 점과 점 사이를 연결하는 수학적인 곡선에 의해 이미지가 구성된다는 특징을 갖는다.
베지어 곡선은 외곽선을 이루는 네 개의 점 즉, 0≤r≤3인 정수 r에 대하여 [수학식 1]을 이용하여 개략적인 얼굴 윤곽을 곡선을 표시한다.
여기에서, r은 기본점의 수이고 t는 0≤t≤1인 임의의 실수이다. [수학식 1]로 나타내어지는 기본 스네이크(Q(t))는 아직 네 개의 기본점을 이어놓은 수준에 불과하다. 그러므로 [수학식 1]에 의해 스네이크가 초기화되면 스네이크의 각 점에 대해 수직 방향으로 스네이크가 움직여 갈 지점의 후보인 이웃(neighbor)을 설정하고, [수학식 2]의 에너지가 최소화되는 방향 즉, 얼굴이 존재하는 방향으로 스네이크가 움직이도록 하여 얼굴 윤곽선을 더욱 세밀하게 조절한다.
[수학식 2]에서 Eint는 내부 에너지,Eext는 외부 에너지를 의미하는데, 본 발명에서 내부 에너지는 영상정보 배경의 색상, 외부 에너지는 얼굴 색상을 의미한다. 또한, α 및 β는 [수학식 2]의 계산자가 정한 규칙에 따라 일정하게 부여하는 값이다. 는 초기화된 스네이크의 한 점이고 I(x, y)는 좌표 x, y에서 이미지의 강도(Intensity)를 의미하며, ∇I(x, y)는 좌표 x, y에서 이미지 강도의 변화량(gradient)을 뜻한다. 피부색에 가까울수록 β값을 크게 주어 외부 에너지 값이 작아지게 하여 기본 스네이크가 얼굴의 실제 윤곽선에 가까워지도록 한다.
다음으로 특징형상 추출 수단(204)에서 특징형상의 점을 추출하는 방법을 보다 상세히 설명하면 다음과 같다.
특징형상은 얼굴의 특징들 즉, 눈, 코, 입, 눈썹, 귀 등의 특정한 부위의 점들을 일컫는다. 이러한 특징들은 사람마다 가지고 있을 뿐만 아니라 위치 관계도 일정하므로, 이 정보를 3차원 얼굴 모델을 생성에 활용 할 수 있다. 특징형상은 주어진 영상에 항상 포함된 정보이므로 특징형상 추출 수단(204)에서는 기본점들의 템플릿을 미리 만들어 두고, 가공 대상 영상정보와의 유사도(correlation)를 계산하여 특징의 위치를 결정하는 템플릿 매칭(Template Matching)이라는 기법을 사용하여 얼굴의 특징형상을 추출한다.
템플릿 매칭 (template matching)은 이미지를 인식하기 위한 표준이 되는 주요 패턴들의 틀을 이용한 패턴 매칭 방법으로서, 공간적인 대각 상호관련 프로세스의 분석시 장면 이미지 내의 작은 참조이미지 즉, 템플릿을 제공하고 위치를 결정하는 과정을 의미한다.
도 10은 본 시스템에서 적용한 템플릿 매칭의 흐름도이다. 우선 특징형상 들의 위치의 관계 정보가 저장된 템플릿을 준비하여 사용자의 특징형상의 이동이 있을 경우에 그에 따라서 주변의 특징형상들을 계산한다. 계산된 값들에 따라서 특징형상들의 적절한 위치가 결정되어 이동하게 된다.
본 발명에서는 특징형상의 점들을 추출을 위하여, 표준 모델의 특징형상 부위를 윈도우로 만들어 저장하여 두고(도 6a 내지 6d 참조), 표준 모델의 특징 부위와 가공 대상 영상정보의 특징 부위간의 유사도를 계산한다. 대부분의 경우 얼굴 특징 부위의 위치 정보(예를 들어, 입의 위치는 영상 중앙 아래 부분에 위치함)를 예상할 수 있으므로 계산 영역을 제한할 수 있으며, 이에 따라 계산량과 오류를 줄일 수 있다. 이에 의해 특징형상의 점의 개략적인 위치를 결정할 수 있다. 각 특징 부위를 세밀하게 가공하기 위하여 템플릿 매칭을 재차 실시할 수 있다. 이 경우에는 정확성이 요구되므로 화소 단위로 유사도를 계산한다.
도 7 내지 도 9는 윤곽선 및 특징형상을 추출하는 과정을 보여주는 도면으로, 도 7은 정면 및 측면 영상정보를 입력받아 디스플레이 하므로써 3차원 얼굴 모델을 초기화한 화면을 나타낸다. 이 때에는 기본점들이 가공되지 않은 상태이므로 실시간 프리뷰 제공부(214)에 의해 디스플레이된 결과, 실시간으로 생성되는 3차원 모델 화면이 실물과 많은 차이를 보이는 것을 알 수 있다. 도 7의 영상정보로부터 사용자에 의해 입력된 윤곽선 상의 점 및 특징형상의 점 정보를 이용하여 도 8과 같이 조정하여 윤곽선을 추출한 후, 도 9과 같이 특징형상의 점들을 세밀하게 조정하여 3차원 모델의 윤곽선 및 특징형상을 실제와 가깝게 생성 한다.
도 11은 도 9과는 구분되게 통신망의 클라언트에서 작동하는 그림으로서 정면 얼굴 사진 1개를 이용할 때의 윤곽선 및 특징형상을 추출하는 모습을 보여준다. 따라서 본 시스템은 얼굴 사진 1개 또는 2개를 이용 할 수 있을 뿐만 아니라, 온라인이나 오프라인에서 모두 활용할 수 있도록 개발 되었다.
통신망의 클라이언트에서 작동되는 형태인 도11내지 도 14의 얼굴 생성 시스템은 앞에서 언급한 기술들을 적용시켜 다음과 같은 특징을 갖는다.
1) 도 11은 통신망에서의 3차원 얼굴 생성 시스템의 초기 화면을 보여주는데 이 화면은 시스템의 소개와 최적의 환경을 추천하는 내용이 있다. 또한 이 단계는 사용자의 선택에 따라 다음 실행부터는 생략하고 다음 페이지로 넘어 갈 수 있다.
2) 도12는 3차원 얼굴모델 생성을 위해 사용자의 영상파일을 지정하는 단계로서, 사용자는 단지 1장의 정면 사진만이 필요하다. 이 단계는 최적의 영상파일을 추천하는 내용, 활용법 그리고 사용자가 영상파일이 없을 것을 대비해서 샘플 영상파일을제공한다.
3) 도13내지 도 14는 사용자가 이전 단계에서 지정한 영상 파일이 통신망에서의 3차원 얼굴 생성 시스템에 지정된 단계로서, 매 사용 때마다 방법을 쉽게 안내 할 수 있는 참조 이미지 도움화면을 시스템 오른쪽에 두고 있다. 참조 이미지 도움화면은 실시간으로 직접적인 사용법을 제공한다. 이와 함께 다음과 같은 인터페이스를 통해서 특징형상 및 외곽선을 추출한다.
가) 영상의 크기를 알맞게 확대하고 회전시키는 기능. 도 14a는 확대하고 회전시키는 방법을 보여준다. 사용자는 마우스로 밝게 표시된 상자의 위, 아래와 좌우의 영역을 마우스로 설정하여 확대 영역을 설정 할 수 있고 상자의 구석을 마우스로 드래그하여 영상의 회전량을 조절할 수 있다. 회전을 시킬 때에는 회전의 올바름을 판단하기 위하여 도 14b와 같이 수평선이 디스플레이 된다. 조정이 끝나면 OK"버튼을 누름으로서 적용 시킬 수 있다. 확대 및 회전이 완료되면 도 14c와 같이 영상이 확대 및 회전되었음을 확인 할 수 있다.
나) 도 14c는 확대 및 회전이 완료된 후에 얼굴의 중앙선을 맞추는 단계이다. 이것은 특징형상을 좌우 대칭으로 자동으로 생성하도록 기준선을 지정하는 것이다.
다) 통신망에서의 3차원 얼굴 생성 시스템은 특징형상 기반으로 특징형상을 조정한다. 도 14d는 특징형상인 눈, 눈썹, 코, 입, 귀 그리고 외곽선 단계로 특징형상을 맞추는 단계이다. 이 단계에서는 왼쪽 눈을 설정하면 얼굴의 좌우 대칭성을 고려하여 오른쪽 눈이 자동으로 설정되어지는 등의 대칭성을 이용한 특징형상의 점이 설정 된다. 특히 특징형상을 조정하면 다음 단계의 특징형상이 자동으로 계산되어 얼굴 영상 위에 특징형상의 점이 자동으로 생성되어 위치하게 된다. 이때 다음 단계 특징형상이 자동으로 계산되는데 그 기준은 양쪽 눈의 동공의 위치이다. 도 14f는 사용자가 특징 형상을 입력하기 위한 각 단계별 인터페이스를 나타낸다. 도 14f에서Active Points는 설정하여야 할 단계별 특징형상의 점을 나타내고 있고, Display는 각 단계가 진행 됨에 따라서 완성된 특징형상과 함께 사용자에게 화면상에 출력해 주는 점들을 의미하고 있다. 맨 처음에는 도 14c 에서와 같이 중심점을 맞추고, 점차 눈, 눈썹, 코, 입, 귀로 이어지며 마지막으로 턱 부분과 머리 부분을 맞춤으로서 특징형상의 지정이 끝난다. 눈은 안경 착용의 기준이 되는 점이므로 가장 먼저 설정 하도록 하고 그로부터 각 특징형상을 단계별로 자동 계산하여 위치시킨다. 자동 계산된 특징형상은 실제 영상과 약간의 오차가 발생하는데 이를 보완하기 위해서 사용자는 특징형상의 점을 조정하여 정확히 입력을 하게 된다. 특징형상이 자동 계산되는 과정은 사용자로 하여금 특짐형상의 점들을 입력하는데 있어서 입력 시간을 단축하고 실수로 잘못 지정하는 오류를 방지하도록 유도하는 역할을 한다. 각 단계는 특징 형상별로 구분되어 있으며 각 단계를 따라가면 최종적으로 모든 특징형상의 입력이 완료된다. 이 때 각 단계 수행 시에 특징형상의 중심이 되는 점은 다음과 같이 자동 계산하여 그 주변 점들을 템플릿과 비교하였을 때의 이동량에 비례해서 계산하였다. 각 단계의 중심점을 계산하는 구속 조건은 다음과 같다.
(단계 1)
눈썹 좌표: (동공의 X , 두 동공사이 거리 *1/4 ) 값만큼 떨어진 눈 위에 있다.
(단계 2)
코 끝의 좌표: (얼굴 중심 X, 동공 Y위치 + (두 동공사이의 거리)*0.77 )
코 볼의 좌표: (동공 X위치+ (두동 공사이의 거리/5), 동공 Y위치 + (두 동공사이의 거리)*0.7 )
(단계 3)
위 입술의 인중 부분의 좌표: (얼굴 중심, 코 끝의 위치 + (두 동공사이의 거리)/5 )
(단계 4)
귀의 위쪽 끝 좌표 : ( 템플릿 기본점의 X, 눈동자의 Y값 )
(단계 5)
턱 끝의 좌표 : ( 얼굴 중심, 아래 입술 특징형상의 좌표+(아랫입술과 코끝의 거리*(5/6) )
(단계 6)
머리 위쪽 좌표: ( 얼굴 중심, 동공의 Y좌표 - 양쪽 위쪽 귀 거리*0.75 )
자동으로 생성된 점은 영상에서의 실제 위치와 약간의 오차가 있으므로 특징형상의 점들을 최종 단계까지 모두 지정한 후에 다시 전체적으로 미세 조정을 할 수 있다.
라) 특징형상을 모두 설정하면 얼굴의 모든 특징형상이 디스플레이 되는데 이 단계에서는 특징형상 하나하나에 미세한 조정을 할 수 있다. 점이 많이 보이면 사용자가 불편할 수 있으므로 개발된 통신망에서의 3차원 얼굴 생성 시스템에서는 도 14e에서와 같이 오른쪽에 참조 이미지를 두고 특징형상의 점을 클릭 할 때마다 올바른 위치를 잘 알 수 있도록 참조 이미지 부분에서 깜박거리도록 한다.
4) 특징형상의 설정이 완료되어 다음 단계로 넘어가면 이 외곽선 및 특징형상의 점들을 서버에 있는 3차원 얼굴모델 생성수단(114)에 보내지게 되는데 이 정보들을 이용하여 3차원 얼굴 모델파일을 생성하게 된다. 그 후 생성된 3차원 얼굴 모델 파일을 불러들이는데 이것이 실시간 프리뷰 제공부(214)의 역할을 담당한다. 즉, 통신상에서의 실시간 프리뷰의 기능을 이 단계에서 수행하게 된다. 여기서 머리 스타일은 기본값으로 설정된 스타일이 우선 설정된다. 도 15는 생성된 3차원 얼굴 모델을 로딩한 상태의 통신망 상에서의 실시간 프리뷰 제공부(214)를 나타낸다. 통신망 상에서의 실시간 프리뷰 제공부(214)는 도 15에서와 같이 다음과 같은 기능을 갖는다.
가) 3차원 안경 모델의 시뮬레이션 기능(700)으로 3차원 안경모델을 자동으로 피팅하여 착용하는 기능
나) (가)에서 선택한 3차원 안경 모델에 관련된 정보를 출력해 주는 기능(705)
다) 3차원 헤어의 시뮬레이션 기능(710)으로 안경 시뮬레이션 시스템(10)의 데이터베이스(150)에 있는 3차원 헤어스타일을 남자헤어 및 여자 헤어 스탭일을 사용자의 의도에 맞게 착용할 수 있도록 한다.
라) 3차원 헤어의 칼라를 선택할 수 있는 기능(715)으로 헤어의 색을 바꿀 수 있는 기능.
마) 안경 및 헤어의 어울림을 다양하게 볼 수 있도록 측면, 정면 또는 비스듬한 면으로 3차원 모델을 자동으로 회전시키는 기능(730)으로 애니메이션 기능을 가추고 있어 카메라가 움직이듯이 3차원 모델이 자동으로 이동한다.
바) 착용한 안경을 잠시 숨기는 기능(725)으로 3차원 안경 모델을 착용했을 때와 착용하지 않았을 때를 비교할 수 있도록 해준다.
사) 시뮬레이션 결과에 만족하는 사용자의 아바타를 전자 엘범에 저장할 수 있는 기능(720)으로 이 전자 엘범은 통신망을 통하여 서비스 관리자(70)에 의하여 사용자가 유료 회원인지 무료회원 인지에 따라 구분하여 소정의 비용을 지불하도록 하고 3차원 안경 시뮬레이션 시스템(10)에 있는 CRM(140)정보에도 저장되고 데이터베이스에(150) 저장 된다.
아) 마지막으로 3차원 조작 기능을 들 수 있는데 마우스 버튼과 마우스 끌기(Drag)를 이용하여 3차원 모델을 이동, 회전, 확대/축소 등의 기능을 할 수 있다.
이와 같이 통신망에서의 3차원 얼굴 생성 시스템(10)은 다양한 기능을 갖추고 있어 사용자 또는 구매자(20)에게 편리함을 더할 수 있다.
만약 서비스 관리자(70)를 통하여 3차원 얼굴 생성 시스템(10)이 어플리케이션 서비스로써 제조자 또는 판매자와 같은 제휴업체의 쇼핑몰 싸이트를 통하여 서비스 된다면 구매자 또는 사용자(20)에게는 제휴업체의 서비스 모듈 중 하나로서 제공될 수 있다. 도 16a은 통신망 상에서의 어플리케이션 서비스로 제공되는 실시간 시뮬레이션(126)의 실 예이다. 도 16a는 다음과 같은 기능을 가지고 있다.
가) 샘플 아바타 제공 기능(720)으로 3차원 안경 시뮬레이션 시스템(10)의 데이터베이스(150)로부터 샘플3차원 얼굴 모델을 제공한다. 이것은 사용자가 제휴업체의 회원이 아니거나 3차원 얼굴 모델 생성 수단(114)으로 자신의 3차원 아바타를 만들지 않았을 때, 또는 자신의 얼굴이 아닌 샘플로 제공되는 얼굴 모델을 가지고 3차원 안경 모델의 어울림을 시뮬레이션 하고자 할 경우에 이용하는 기능이다.
나) 3차원 얼굴 모델을 숨기거나 나타나게 할 수 있는 기능(725)으로서 3차원 얼굴모델에 안경이 착용된 어울림을 볼 때와 안경만을 볼 때를 선택하여 시뮬레이션 할 수 있다. 이때는 얼굴 모델이 사라지거나 나타나는 것을 설정하는 것이다.
다) 3차원 안경 모델을 숨기거나 보이게 하는 기능(730)으로서 착용되거나 미 착용된 상태를 시뮬레이션 할 수 있다. 위 나)와는 다르게 안경 모델이 사라지거나 나타나는 것을 설정하는 것이다.
라) 3차원 모델의 정면, 비스듬한 면 그리고 측면을 볼 수 있는 기능(735) 으로서 애니매이션 기능이 추가되어 선택할 때 마다 3차원 모델이 부드럽게 이동 또는 회전 할 수 있다.
마) 3차원 얼굴 모델 아바타를 생성하는 기능(740)으로서 도 25내지 도 29에 있는 통신망에서의 3차원 얼굴 생성 시스템을 실행할 수 있다. 그런데 만약 회원이 아니라면 회원으로 등록 할 것을 유도하거나 로긴을 할 것을 요구하는 창으로 이동하게 된다. 제휴회사 또는 서비스를 받을 수 있는 회원이라면 로그인을 통하여 사용자 또는 구매자(20)는 자신의 3차원 얼굴 아바타를 생성하여 엘범에 저장할 수 있다.
바) 로그인 한 회원 이라면 엘범에 저장된 3차원 얼굴 모델의 목록을 볼 수 있는 기능(720)으로서 자신의 아바타를 불러들여 3차원 안경 상품 모델을 착용하고 시뮬레이션 할 수 있다. 엘범에 있는 아바타를 불러 와도 어플리케이션 서비스에서 제공하는 실시간 시뮬레이션(도 16a)에서 제공하는 (가)내지 (마)의 모든 기능을 사용할 수 있다.
사) 마지막으로 어플리케이션 서비스를 제공 받는 업체의 사이트로 되돌아 가는 기능(725)을 가지고 있다.
도 16a는 3차원 안경 시뮬레이션 시스템의 전신 아바타로의 확장을 보여준다. 즉, 3차원 얼굴, 헤어 그리고 안경을 전신 아바타를 이용한 통합 패션 시뮬레이션과의 연동으로 확장할 수 있다.
도 16b는 전신 아바타를 이용한 통합 패션 시뮬레이션 연동을 보여주는 참고도이다.
다음으로, 얼굴 변형부(206)의 얼굴 모델 변형 과정을 상세히 설명하면 다음과 같다. 얼굴 변형부(206)에서 사용하는 얼굴 변형 방법으로는 2가지가 있다. 첫 번째 방법은 얼굴의 전체적인 특징 및 크기를 정할 수 있도록 DFFD(Dirichlet Free-Form Deformation)를 사용하는 방법이고, 두 번째 방법은 얼굴의 세부적인 특징을 변경할 수 있는 이동계수(Moving Factor)를 사용하는 방법이다.
먼저, DFFD는 FFD(Free-Form Deformation)의 확장된 형태로, FFD에 있던 기본점의 제약을 제거할 수 있는 방법이다. 즉, FFD에서 기본점들은 모두 사각의 격자위에 존재하는 점이어야 하는 반면, DFFD는 이러한 제약을 제거하고 임의의 점을 기본점으로 사용할 수 있게 한다. 따라서, 얼굴상에 존재하는 모든 점을 기본점으로 사용할 수 있다.
DFFD 기법에서는 먼저, P를 모든 기본점들의 집합, P0를 모든 점들의 집합이라고 할 때, P0에 속하는 모든 점(p)에 대해서 기본점(P)에 속하며 점 p와 이웃하는 점들의 집합(Qk)인 집슨(Sibson) 좌표를 구한다. 임의의 한 점 p는 p에 영향을 미치는 이웃 Pi들의 선형 조합으로 계산할 수 있다. 즉, 임의의 한 점(p)은 집합 P의 몇몇 특징형상의 점들의 선형 조합으로 계산될 수 있다는 의미이다. 예를 들어, P1, P2, P3, P4가 임의의 볼록면체 상의 점이라 할 때 P1, P2, P3, P4에 의해 둘러싸일 수 있는 점 p는 P1, P2, P3, P4의 선형조합 p=u1P1+u2 P2+u3 P3+u4 P4로 추출할 수 있다. 여기에서, P1, P2, P3, P4를 p의 이웃이라 하며, ui는 집슨 좌표이다. 집슨 좌표(ui)는 1≤i≤4인 i에 대하여 ui≥0이고, u1+u2+u3+u4=1을 만족하는 것으로 정의된다.
이웃의 집합(Qk)에 해당하는 임의의 기본점들이 사용자의 조작에 의해 이동한다면, 다음으로는 기본점의 이동량 △p0을 수학식 3에 의해 추출한다.
수학식 3에서 k는 이웃들의 개수이고, △Pi는 제어점들 Pi∈Qk(i= 0, …, k)의 이동량이다. 이 이동량에 의해 모든 기본점의 새로운 위치는 p0'=p0+△p0에 의해 계산할 수 있다.
DFFD 기법에서, 제어점의 집합(P)은 이미지 변형을 위해 조정해야 하는 점들의 집합을 의미한다. 이 제어점들을 움직이면 나머지 점들이 자신과 관계있는 기본점의 움직임에 따라 영향을 받게 된다. 기본점은 FFD 기법에서는 일정한 간격을 두고 있는 격자들의 집합이었으나, DFFD가 도입되면서 임의의 점들의 집합을 기본점으로 활용할 수 있게 되었다.
다음으로, 얼굴 변형의 두 번째 방법인 이동계수(Moving Factor) 방법을 설명하면 다음과 같다. 이동계수 방법은 p∈P인 임의의 점(p)이 △p만큼 움직였을 때, p와 이동성이 유사한 p0∈P0인 다른 점(p0)을 이동계수(σ)에 따라 이동시키는 방법이다.
먼저, p가 △p만큼 이동하였을 때 p의 이동계수 (σ)를 추출한다. 이동계수 (σ)는 하나의 기본점 및 이 기본점과 이동성이 유사한 다른 점들 사이에 정의되어 있는 상수이다. p0는 p와 이동성이 유사하므로 계산된 이동계수(σ)에 대하여, p0의 이동량은 σ·△p로 계산할 수 있다.(S611). 이와 같이 이동계수가 계산되면, 계산된 이동계수에 따라 이동성이 유사한 모든 기본점의 새로운 위치를 계산한다.
이상에서 설명한 방법에 의해 2장의 영상정보와 사용자의 적은 작업량만으로 실물에 가까운 3차원 얼굴 모델을 생성할 수 있다.
얼굴 표정 변형부(208)는 표정을 위한 폴리곤의 변형은 물론 표정 변화에 의해서 파생되는 얼굴의 미묘한 변화까지 변형한다. 즉, 웃을 때 생기는 얼굴의 주름과 그로 인한 그림자까지도 텍스쳐 매핑을 이용하여 표현한다. 이 방법은 Zicheng Liu에 의해 제안되었는데, 표정의 변화로 인해 생기는 얼굴의 주름과 그로 인한 그림자까지도 표현할 수 있는 방법이다.
폴리곤(Polygon)이란 3차원 그래픽에서 입체적인 이미지를 표현하기 위해 사용되는 다각형을 의미하는 것으로, 3차원 이미지를 구성하는 기본 단위이며, 폴리곤을 많이 사용하면 할수록 보다 현실감 있는 3차원 이미지를 만들 수 있다. 텍스쳐 매핑 기법은 실감 영상을 위해서 가장 많이 사용하는 기법이다. 3차원으로 생성하는 이미지의 경우 기본적인 쉐이딩만으로는 실감 있는 영상을 생성하기에 어려움이 있으며 이렇게 만들어진 이미지는 이미지의 느낌을 지울 수 없다. 실감 영상 기법은 3차원의 이미지를 현실의 이미지와 흡사하게 만드는 기법으로, 텍스쳐 매핑은 실감 영상을 지원하는 방법으로 현재의 3차원 그래픽에서 많이 사용된다.
표정에 따라 얼굴 모델을 변형하기 위하여 먼저, 얼굴 표면(Π)의 모든 점에서 빛의 세기(I)를 계산한다. 얼굴의 표면(Π) 위에 있는 임의의 한 점 p의 법선을 n이라 하고, m개의 점광원이 있을 때 p에서 i번째 광원으로의 방향을 , 빛의 세기를 Ii, 반사계수를 ρ라 하면, 램버트 모델에 의해 임의의 한 점 ρ에서의 빛의 세기는 [수학식 4]에 의하여 계산된다.
이와 같이, 모든 점에서 빛의 세기(I)를 계산하고 난 후에는 [수학식 5]에 의해 표면이 변형된 후의 빛의 세기(I')를 계산한다.
여기에서, n'와 는 각각 표면이 변형된 후 해당 지점 p에서의 법선과 빛의 세기이다. [수학식 4] 및 [수학식 5]로부터 [수학식 6]과 같이 ERI(Expression Ratio Intensity)를 계산할 수 있다.
이것을 R로 표시하고 얼굴 표면(Π)의 ERI라고 한다. [수학식 6]으로부터 얼굴 표면(Π)의 모든 점들에 대해 I'= RI가 성립한다.
이와 같이, 얼굴 표정을 변형하기 위하여 한 사람의 무표정한 얼굴에서 모든 점에 대해 I를 구하고 특정한 표정에 대해 I'를 구한다. 표정이 변하더라도 같은 사람의 얼굴이기 때문에 모든 특징형상의 점은 일치한다고 할 수 있다. 따라서, 얼굴의 모든 점에 대해서 ERI 즉, R을 구할 수 있다.
이와 같이 하여 구해진 R을 다른 사람의 무표정한 얼굴에 폴리곤 와핑(warping)과 함께 적용하면 기존의 표정 생성 방법보다는 훨씬 자연스러운 표정을 얻을 수 있다.
얼굴 합성부(210)는 실물에 근접하게 생성된 3차원 얼굴 모델로부터 얼굴 합성 과정에 의해 다양한 캐릭터를 생성하는 부분이다. 임의의 얼굴 Fi={Fi0, Fi1, …, Fin}와 얼굴 Fj={Fj0, Fj1, …, Fjn}는 같은 폴리곤 구조를 지니고 있으므로 임의의 특정 점 에 대해 Fj에 대응되는 점 이 반드시 존재한다. 따라서, 얼굴 Fi와 얼굴 Fj의 합성된 얼굴 F'은 F'=αFi+βFj(α+β=1)로 구할 수 있다. 여기에서, α의 값이 더 크면 Fi에 더 닮은 얼굴이 합성되고 β의 값이 더 크면 Fj에 더 근접한 얼굴이 합성된다.
한편, 얼굴 텍스쳐 제어부(212)는 정면과 측면의 텍스쳐를 합성하거나 정면의 텍스쳐에서 측면과 후면의 텍스쳐를 생성하는 부분으로, 이 기능을 수행하기 위해서 먼저, 모델의 3차원 좌표를 이용하여 정면 및 측면의 텍스쳐 좌표를 구한다. 정면과 측면 각각의 텍스쳐 좌표를 구한 후에는 정면과 측면의 텍스쳐 좌표가 만나는 경계를 모델 위에서 추출하고, 그 경계를 각각의 텍스쳐로 투영시킨다. 각각의 경계가 텍스쳐로 투영되면 각각의 텍스쳐에 마찬가지로 경계가 생기는데, 이 경계를 기준으로 정면과 측면의 텍스쳐를 합성하고 블랜딩을 실시한다. 만약, 얼굴 변형부에서 얼굴 모델의 임의의 점의 위치가 변하면 얼굴 변형부(206)의 이동계수 방법과 마찬가지로 텍스쳐 좌표를 변경한다. 본 발명의 3차원 얼굴 모델 생성 기법에서는 속도 향상을 위해서 블랜드 방법으로 선형 보간법을 사용하였다.
이상에서 설명한 방법에 의해 생성된 3차원 얼굴 모델, 표정이 변형된 얼굴 모델, 합성된 얼굴 모델 및 텍스쳐 제어부에 의해 변화된 얼굴 모델을 실시간 프리뷰 제공부(214)에 의해 디스플레이되게 된다.
실시간 프리뷰 제공부(214)는 얼굴 변형부(206), 얼굴 표정 변형부(208), 얼굴 합성부(210) 및 얼굴 텍스쳐 제어부(212)에서 일어나는 얼굴의 변화를 실시간으로 반영하여 관찰할 수 있도록 한다. 실시간 프리뷰 제공부(214)에 의해 각 처리부에서의 작업을 실시간으로 확인할 수 있어 작업을 효율적으로 수행할 수 있게 된다.
파일 생성 및 제어부(216)에서는 3차원 얼굴 모델 생성 수단(114)에서 생성된 얼굴을 자체 파일 형식으로 뿐만 아니라 다른 파일 형식으로도 저장할 수 있게 한다.
3. 지능형 CRM 엔진
도 17는 도 2에 도시한 지능형 CRM 엔진의 상세 구성도이다.
도시 된 것과 같이, 지능형 CRM 엔진(140)은 CRM 분석 총괄 제어부(220), 제품 선호도 분석 수단(222), 사용자 거동 분석 수단(224), 패션 경향 인공지능 학습 수단(226), 인공지능 자문 데이터 생성 수단(228), 1:1 마케팅 데이터 생성 수단(230), 1:1 마케팅 데이터발송 수단(232), 시뮬레이션 로그 분석 DB(240) 및 패션 경향 자문 DB(242)를 구비한다.
제품 선호도 분석 수단(222)은 3차원 안경 시뮬레이션 시스템(10)에 접속하여 안경을 선택하고 구입하는 사용자의 성별, 연령, 직업별, 또는 계절 등의 주변 환경별로 어떠한 디자인의 안경을 선택하는지 분석하고 분석 결과를 시뮬레이션 로그 분석 DB(240)에 저장한다. 사용자 거동 분석 수단(224)은 3차원 안경 시뮬레이션 시스템(10)에 접속하여 사용자가 안경을 선택함에 따라, 각 개인별로 안경을 선택하는 성향을 분석하고 그 결과를 시뮬레이션 로그 분석 DB(240)에 저장한다.
패션 경향 인공지능 학습 수단(226)은 제품 선호도 분석 수단(222) 및 사용자 거동 분석 수단(224)의 분석 결과와, 외부로부터 결정되어 관리자에 의해 입력된 정보 등을 통합하고 분석하여 그 결과에 따라 미래의 패션 경향을 예측하는 기능을 수행한다. 또한, 인공지능 자문 데이터 생성 수단(228)은 패션 경향 인공지능 학습 수단(226)에서 분석한 패션 경향에 따라 자문 데이터를 생성하고 패션 경향 자문 DB(242)에 저장하며, 사용자의 요구에 따라 사용자에게 적합한 디자인이나 패션 경향을 조언해줄 수 있도록 한다.
1:1 마케팅 처리 수단은 데이터 생성수단(230) 및 데이터 발송 수단(232)으로 구성된다. 1:1 마케팅 데이터 생성 수단(230)에서는 취합 된 패션 경향 정보, 자문 정보 및 사용자 성향 등을 기초로 하여 사용자 군을 분류하고, 이에 부합되는 신상품 또는 기존 상품의 정보를 사전에 시뮬레이션 하고, 이를 전자우편과 같은 유선 통신망 또는 무선전화기와 같은 무선 통신망을 통해 발송 시킬 수 있는 적절한 전자 매체 형태로 이를 자동 생성 시켜 제품 홍보 컨텐츠를 작성한다. 1:1 마케팅 데이터 발송 수단(232)에서는 사전 시뮬레이션 된 결과를 발송하고자 하는 유무선 통신 단말기에 대응되는 이미지, 애니메이션 또는 동영상 형태로 재가공하여 이를 발송 시킨다. 이 수단에서는 다시 사용자의 응답을 로그 분석 도구 DB(240)에 저장하고, 제품 선호도 분석 수단(222) 및 사용자 거동 분석 수단(224)을 재 수행시켜 사용자별, 제품별, 시즌별, 홍보매체별, 가격별 1:1 마케팅 홍보 대 응답 특성을 이력화 한다. 또한 이러한 응답 특성치를 제품 생산 제조사 및 유통사 등으로 전달하여 제품의 디자인, 생산량 및 유통 주기를 개선하는데 기초 자료로 활용 시킨다. 도 18a 및 도 18b는 유선 및 무선 단말기를 통한 1:1 마케팅 컨텐츠의 실시 예이다.
1:1 마케팅의 사전 데이터를 생성하기 위해서는 사용자의 얼굴 이미지가 필요한데 이는 다음과 같은 두 가지의 대표적인 경로로 획득 된다. 첫째는 안경 시뮬레이션 컨텐츠가 연동되는 각종 온라인 환경에서 얼굴 모델 생성 프로그램의 등록을 통하여 사용자가 직접 사진 이미지를 입력하는 경우이다. 둘째는 안경원과 같은 오프라인 환경에서 안경사 또는 판매자가 사용자의 사진을 촬영하여 주고 이의 이미지 파일을 대신 등록해 주는 경우이다. 이를 통하여 축척된 사용자 이미지는 안경 시뮬레이션 컨텐츠 서버에 저장된다. CRM 분석을 통하여 분류된 사용자 군에 따라 제조사 및 유통사는 자사의 제품을 사전 시뮬레이션 해볼 수 있으며 이를 온/오프라인에 있는 판매자와 제품의 실제 판매전 사전에 의사를 소통하여 제품 생산 및 유통 방식을 최적화 할 수 있다. 또한 이를 통하여 작성된 3차원 안경 모델 및 관련 정보를 전자 카탈로그화 하여 이를 온/오프라인 공간에서 배포하여 제품의 구매 또는 상담의 보조 자료로 활용할 수 있다.
이상에서 설명한 제품 선호도 분석 수단(222), 사용자 거동 분석 수단(224), 패션 경향 인공지능 학습 수단(226), 인공지능 자문 데이터 생성 수단(228) 및 1:1 마케팅 데이터 생성 및 발송수단(230, 232)은 CRM 분석 총괄 제어부(220)에 의해 제어된다.
이와 같은 지능형 CRM 엔진(140)에 의해 상품 또는 소비자 이력으로부터 미래의 트랜드를 예측할 수 있고, 예측한 모델을 정량화 할 수 있을 뿐만 아니라, 이를 바탕으로 자문 데이터를 생성하기 때문에 사용자가 전문가와 직접 상담하지 않고도 패션 경향 및 자신의 스타일에 적합한 안경을 선택할 수 있게 된다.
본 시스템에서 사용자의 안경에 대한 선호도 및 취향을 결정하는 요소는 다음과 같다.
* 아바타의 파라메터
헤어 텍스쳐, 얼굴의lighting, 피부색, 얼굴의 폭, 얼굴 길이, 입의 크기, PD값,
* 사용자 정보에 파라메터
PD(양쪽 동공 사이의 거리)값, 인종,
이러한 파라메터들을 3차원 시뮬레이션 시스템으로부터 추출하며 CRM엔진에서는 인종, 얼굴형태, PD값, 피부색 등에 따라 안경의 크기, 안경의 형태, 가격대, 재질, 안경의 색상, 브랜드, 상품들의 유행시기, 시즌별 유행 성향 등을 분석한다. 분석된 안경에 관한 정보들은 마케팅에 전략적으로 이용한다. 표1은 3차원 시뮬레이션 시스템에서 CRM데이터로 사용하기 위해 추출할 수 있는 파라메터의 예를 보여준다. 이 데이터들은 표 2와 같이 고객의 안경 선호도 및 안경의 성향을 분석할 수 있는 자료로 사용된다. 표 2와 같이 분석된 정보는 고객의 취향을 분석하여 고객을 만족시키기 위한 사업전략에 이용할 수 있다. 아래의 표 1은 고객의 안경 성향에 미치는 파라메터의 바람직한 실시예들이고, 표 2는 사용자의 안경 취향을 결정하는 목적함수들의 바람직한 실시예들이다.
헤어파라메터 아바탭 파라메터 사용자 정보 파라메터
헤어 스타일 얼굴 형태 인종
헤어 색깔 피부색 시력
얼굴의 폭 나이
얼굴의 길이 거주지역 및 국가
얼굴의 라이팅 취미
PD값 실제 PD값
입의크기
눈썹의 위치
사용자의 안경 취향을 결정하는 목적함수들의 예
안경 성향 분석 예 선호도 분석 예
안경 크기 시즌별 유행성
안경의 형태 시즌별 안경의 형태
가격대 얼굴 폭에 따른 선호도
재질 인종에 따른 선호도
브렌드 피부색에 따른 선호도
프레임 색상 PD값에 따른 선호도
렌즈 색상 헤어스타일에 따른 선호도
도 18c는 본 발명에 따른 마케팅 방법을 알기 쉽게 도시한 참고도이다.
4. 3차원 안경 모델링 수단 및 3차원 안경 모델링 방법
도 19는 도 2에 도시한 3차원 안경 모델링 수단의 바람직한 일 실시예이며, 도 20은 3차원 안경 모델을 3차원 얼굴 모델에 피팅시키는 방법의 바람직한 일실시예이다.
도시된 것과 같이, 3차원 안경 모델링 수단(124)은 생성된 3차원 얼굴 모델을 사용하여 안경을 가상으로 착용하거나 안경 자체의 디자인을 가상으로 모사할 수 있도록 하는 부분으로서, 안경 모델 피팅부(240), 얼굴모델 제어부(242), 안경모델 제어부(244), 텍스쳐 제어부(246), 애니메이션 처리부(248) 및 실시간 렌더링부(250)를 구비한다.
안경 모델 피팅부(240)는 3차원 얼굴 모델 생성 수단(114)에서 생성한 얼굴 모델에 안경을 피팅하기 위한 부분으로서, 그 구체적인 동작은 도 20을 참조하여 설명하기로 한다. 도 20은 본 발명에 의한 안경 시뮬레이션 방법 중 안경 피팅 과정의 상세 흐름도이다.
안경 모델 피팅부(240)는 임의의 얼굴 메쉬(mesh)와 안경 메쉬 각각의 세 점을 피팅을 위한 파라미터들과 함께 입력값으로 사용한다. 본 발명에서는 얼굴메쉬는 변형하지 않으며 각 파라미터들을 이용해 안경모델을 얼굴 메쉬에 맞도록 변형해 간다. 이를 위하여, 먼저 안경과 얼굴에서의 각 대응 파라미터들로부터 안경의 스케일과 위치를 계산한 후(S600) 실제로 입력받은 안경모델을 y축 및 z축 방향 안경 좌표로 변환(translation)하여 적당히 위치시킨 후(S602, S604), 안경 다리를 귀에 걸치도록 공간상에서 회전하는 과정을 거쳐(S606) 피팅을 완성한다. 이때, 회전은 공간상에서 이루어지지만, 본 발명에서는 컴퓨터 그래픽의 응용에 적합하도록 y축과 z축 각각에 대한 두 단계의 회전 과정을 거친다.
4-1. 안경의 3차원 역모델링 장치
3차원 안경 모델의 제작은 본 시스템에서 기초가 되는 기술로서 정확한 안경 모델의 생성이 핵심이 된다. 본 시스템에서는 측정 장치를 개발하여 역모델링 기법을 이용하였으며 안경의 실제 설계과정을 역추적해 내어 3차원 안경 모델을 제작하는 일련의 과정이다. 여기서 생성된 3차원 안경 모델은 안경의 중요한 설계 데이터로도 이용될 수 있으며 데이터의 가치가 매우 높다고 할 수 있다. 따라서 정확한 치수를 갖는 3차원 모델링 기법이 필요한데 개발된 안경의 역모델링 측정장치로 이를 수행할 수 있다. 모델링 과정을 설명하면 다음과 같다. 도 21 내지 도 27는 3차원 모델링 과정을 설명하고 있다.
먼저 안경 모델링 제작하는 과정은 크게 다섯 가지 절차로 나뉘어진다.
1) 측정 장치를 이용한 이미지 생성
일반적으로 제품을 설계하기 앞서 입면도 평면도 측면도의 설계도가 필요하듯 3차원 안경 모델링을 제작하기 위해 정면 사진 측면 사진, 그리고 윗면 사진을 최소한으로 요구된다. 정면 측면 윗면 사진을 찍을 때 안경이 정확하게 수직 수평을 이루고 있는지를 확인한 후 찍어야 한다. 그리고 포커스 렌스(focus length)가 심하게 왜곡되지 않게 찍어야 모델링 할 때에도 정확한 설계에 들어갈 수 있다. 이렇게 찍은 사진을 기준으로 3차원 안경 제작에 들어가게 된다. 본 시스템에서는 역 모델링을 위하여 도 21와 같이 역모델링을 위한 측정 장치를 개발하였다. 이 측정 장치는 투명한 상자에 눈금이 그려져 있어서 안경을 상자 안에 넣고 정면, 측면 그리고 평면을 찍을 수 있으며 눈금을 이용하여 치수를 알아내어 3차원 모델링 시에 치수로 사용될 수 있다. 또한 위의 뚜껑은 높 낮이가 조절이 가능하여 평면을 찍을 때도 정확한 치수를 알아 볼 수 있도록 한다. 도 22a내지 22e 는 도 21의 장치를 이용하여 측정한 안경의 사진이다. 치수 격자가 있는 이 사진의 도 22b에서와 같이 안경을 역 모델링 하는데 있어서 치수를 제공한다. 이 치수들을 이용하여 역모델링 시스템에 입력하면 개략적인 3차원 모델이 생성된다. 여기에서 측정된 치수 데이터 및 사진 이미지는 도 19d의 3차원 안경 모델 자동 생성 시스템에 입력되어 도 22e와 같이 안경의 형상이 자동으로 생성된다. 도 22e는 도 22d의 3차원 안경 모델 생성 시스템에 의해서 생성된 안경의 3차원 모델파일을 범용 3차원 모델링 시스템에서 불러들인 그림이다. 이 모델은 개략적인 안경의 형상이 생성되므로 자동으로 생성된 안경을 직접 다듬어 주는 과정이 필요한데 이는 세밀한 부분에 대하여서는 자동으로 생성되지 않기 때문이다. 또한 자동으로 생성된 안경은 개략적인 형태만 생성되므로 도 23 내지 도26에서와 같이 모델을 범용 3차원 모델링 시스템 상에서 세밀하게 수정하는 과정을 거쳐 모델을 완성한다. 3차원 역 모델링 시스템은 측정된 안경의 치수정보를 DB화 하고 완성된 3차원 안경 모델을 DB 시스템과 연결하여 저장 관리하는 기능을 가지고 있다. 이것은 특정 회사의 실제 안경 제품을 DB화 하는데 기능이다. 도 22f는 역모델링을 위한 안경 측정장치 및 3차원 안경모델 자동 생성 시스템을 이용한 모델링 흐름도를 나타낸다. 도 22f를 설명하면 우선 개발된 역모델링 측정 장치를 이용하여 안경 상품의 정면, 측면 그리고 평면의 사진을 찍는다(도 22a내지 도 22c). 역모델링을 위한 측정장치는 실제로 눈금이 세밀하게 있어서 이 사진으로 안경 각 부위의 치수를 알아 낼 수 있다. 필요한 각 부위의 치수는 도 22d의 3차원 안경 자동 생성 시스템에 입력하여 3차원 안경 데이터를 저장한다. 생성되어 저장된 3차원 안경 데이터는 기초 모델로 사용되어 측정한 안경 상품을 3차원 모델로 정밀하게 보완하는 작업을 거처 도23 내지 도 27와 같은 절차를 통하여 정밀한 3차원 모델로 완성하게 된다.
그 다음 사진을 3차원 모델링 프로그램에 불러들여 프로그램 상으로 사진을 실제 치수에 맞게 조절하여 사진을 바탕으로 하여 렌즈 제작 및 프레임 수정 작업에 들어간다. 작업 순서는 다음과 같다.
가) 렌즈를 제작한다.
나) 안경테를 수정한다.
다) 안경다리를 수정한다.
라) 나머지 상세 모델링에 들어간다.
각 단계의 자세한 설명은 다음과 같다.
2) 안경 렌즈 생성
흔히 안경의 커브는 이론상 0도부터 10도 이상 있으나 시중에서 6커브, 8커브, 10커브로 판매, 제작되고 있다. 커브가 높으면 높을수록 그 곡률반경이 작아져 고글과 같은 패션 안경의 용도로 쓰이게 된다. 렌즈의 곡률은 렌즈의 명세서로부터 알 수 있다.
렌즈는 중요한 부분이므로 수작업으로 생성한다. 렌즈의 정보와 모델링 하고자 하는 안경 렌즈와 비교하여 커브 값을 정하여 수정 보완 작업에 들어간다. 일반 시력 교정용 안경 렌즈의 경우 보통 6커브에 크게 벗어나지 않는다. 6커브에는 안경 렌즈의 재질에 따라 그 지름 값이 다르다. 지름 값을 정한 후에는 3차원 모델링 프로그램에서 구를 만든다. 안경 렌즈를 제작하기 위해서 먼저 ED 값에 맞는 렌즈 커브를 만들어야 하는데 이미 만든 구에 ED 값에 맞는 원을 정면에서 프로젝트 시켜 렌즈의 커브를 만든다(도 23a). 프로젝트된 구에서 렌즈 커브에 사용되는 부분만 잘라낸다. 그 후 또 다른 원을 이용하여 안경의 정면 사진을 바탕으로 안경 렌즈의 형태를 선으로 따낸다(도 23b). 렌즈 형태를 완벽하게 따낸 선을 이용하여 렌즈의 커브에 수평으로 프로젝트 시켜 렌즈 형태를 정확하게 따준다. 렌즈의 형태가 프로젝트된 상황에서 불필요한 부분을 잘라내어 렌즈의 형태를 추출한다(도 23c). 렌즈는 보통 두께가 1~2mm 이므로 3차원 모델링에서도 그 치수를 맞춰 두께를 제작한다.
렌즈의 형태가 나오면 시선의 각에 의하여 모든 렌즈는 6도의 전경각을 이룬다. 또한 윗면에서 안경을 보았을 때 Y축을 기준으로 안경 렌즈가 회전되어 있음을 알게 된다. 따라서 렌즈를 X축으로 6도, Y축으로 치수에 맞게 회전시킨다. Y축 회전은 안경에 따라 다르므로 특정 안경에 맞게 변형한다. 일반적으로 시력 교정용의 10도에 근접하나 패션 안경이나 썬글래스는 15~25도 가량 된다. 렌즈가 완성되면 렌즈에 따라 프레임 제작에 들어간다.
3) 안경 프레임 수정
생성된 프레임을 가지고 정면 사진과 비교하여 프레임과 다리의 연결 부분과 프레임과 브릿지의 연결 부분에 맞게 변화시킨다. 이 때 실물 안경과 모델링 안경과의 형태 비교를 하여 제작해야 한다. 정면은 동일하나 측면에서 실물과 달라보여서는 안 된다. 이를 수정하기 위해서는 모델링의 점(vertex)을 하나하나 옮겨 변형 시켜야 한다[도 24a].
렌즈와 렌즈 사이의 길이는 안경 치수에 있으므로 치수에 맞게 제작한 렌즈와 프레임을 일정 간격으로 이동시킨 후 Y축을 기준으로 복사하여 연결한다[도 24b]. 마무리로 프레임 사이의 브릿지를 제작하고 안경 다리와 연결 되는 부분을 제작한다[도 24c]. 안경 다리 연결 부분은 윗면 사진과 옆면 사진을 바탕으로 제작한다[도 24c]
1) 안경 다리 수정.
안경 다리는 옆면 사진의 의존도가 높다. 다리가 휘어지는 특정한 각도나 치수가 없어 옆면 사진을 바탕으로 형태를 조절하기 때문이다. 우선 치수에 맞게 다리 연결 부분의 두께와 맞게 다리의 전체 길이를 육면체의 폴리곤을 기본 형태로 변환한다(도 25a). 치수의 길이만큼 육면체의 폴리곤의 스케일 값을 조절한다. 다리가 휜 각도를 맞추기 위해 Lattice 라는 Deform 방식을 사용하여 수정한다. 한쪽의 다리가 완성되면 Y축을 중심으로 복제하여 반대편 다리로 생성한다(도 25b). 다리 형태에 따라 폴리곤에 정확한 라운드 값을 만들어준다(도 25b).
1) 나머지 세부 형태 보완.
안경의 렌즈, 테 그리고 다리가 완성되면 전체적인 안경 형태는 완성된 것이다. 이후 코 받침, 테와 다리를 연결하는 경첩, 그리고 각종 나사를 해야 한다[도 26]. 이것들은 미세한 부분이므로 3차원 모델링 시스템에서 직접 제작한다. 코 받침은 구의 스케일 값을 조절하여 제작한다. 이 또한 한쪽을 만들고 Y축으로 복사한다. 코 받침을 지탱하는 코 다리 부분은 원기둥을 이용하여 연결한다. 이 또한 실물 치수와 비교하여 형태를 변형시킨다. 경첩의 경우는 원기둥과 육면체의 폴리곤의 수를 증감시켜 형태를 수정하여 모델링 한다. 나사 또한 원기둥의 형태에서 십자나 일자 부분을 다른 육각형 폴리곤과 겹친 다음 불리언 오퍼레이션을 이용하여 잘라낸다
마지막으로 텍스쳐를 입히면 3차원 안경 모델링이 정확한 치수로 완성된다[도 27].
4-2. 얼굴 메쉬 파라미터 추출
1) 바람직한 일실시예
얼굴 모델 제어부(242)는 사용자의 3차원 얼굴 모델로부터 얼굴 메쉬 파라미터를 추출하는 역할을 한다. 도 28를 참조하면, 얼굴 메쉬 파라미터는 깊이 참조점(A), 안경 힌지 참조점(B) 및 귀 참조점(C)을 포함한다.
여기에서 깊이 참조점(A)은 눈썹의 가장 툭 튀어나온 부분을 나타낼 꼭지점(vertex)이고, 귀 참조점(C)은 안경의 귀걸이가 걸리게 될 자리로서 귀의 얼굴에 붙은 가장 위점이다. 안경 힌지 참조점(B)은 안경을 씌워보았을 때 안경 다리가 가장 먼저 얼굴에 닿게 되는 눈의 옆 점이며, 정면에서 보았을 때 두 눈을 잇는 선상에 위치한다. 또한, 안경 다리는 안경 힌지 참조점(B)과 귀 참조점(C)을 잇는 선 상에 위치할 것이므로, 안경 다리가 파고들지 않도록 하기 위해 안경 힌지 참조점(B)과 귀 참조점(C) 사이는 가능한 가깝도록 하고, 또한 공간상에서 일직선을 유지하도록 한다. 본 발명의 얼굴 모델 제어부(242)에서 사용되는 얼굴 메쉬 파라미터는 안경 힌지 참조점(B)의 이러한 특성을 만족시키는 것이어야 한다.
이와 같은 이론을 바탕으로, 도 28에 도시한 얼굴 메쉬의 깊이 참조점(A), 안경 힌지 참조점(B) 및 귀 참조점(C)의 좌표를 각각 A=(XA, YA, ZA), B=(XB, YB, ZB), C=(XC, YC, ZC)로 정의한다.
X Y Z
깊이 참조점(A) XA YA ZA
안경 힌지 참조점(B) XB YB ZB
귀 참조점(C) XC YC ZC
2) 바람직한 다른 실시예
얼굴 모델 제어부(242)는 사용자의 3차원 얼굴 모델로부터 피팅-파라메터 점을 추출하는 역할을 한다. 도 37는 3차원 얼굴 모델에서의 피팅-파라메터의 위치를 나타낸다. 각 파라메터의 역할은 다음과 같다. 먼저 Nf는 3차원 안경 모델의 코다리가 접촉 되어야 할 코의 위치로서 X좌표값은 얼굴의 중앙 값을 취한다. 즉, 안경 모델의 코다리가 닿는 부위의 중심 좌표이다. 이 좌표는 3차원 안경 모델이 얼굴에 위치해야 할 주된 좌표를 결정하고 피팅의 중심좌표가 된다. Cf는 안경의 다리가 귀에 걸릴 때 접촉되는 점을 가리키며 3차원 안경 모델의 다리를 자동으로 맞추기 위한 좌표이다. 마지막으로 Df는3차원 헤어 모델을 맞추기 위한 값으로 X값은 얼굴의 중심 값이며, Y 값은 머리의 가장 상단부이며, Z값은 Cf의 Z값과 같은 좌표점이 된다. Df의 위치는 도12와 같은 위치가 된다. 피팅의 자세한 설명은 도 40과 4-5절에 있다.
4-3. 안경 메쉬 파라미터 추출
안경 모델 제어부(244)는 안경 메쉬의 파라미터를 추출하는 부분이며, 도 29는 도 28과 대응되는 안경모델에서의 피팅을 위한 안경 메쉬의 파라미터를 설명하기 위한 도면이다. 여기에서 안경 메쉬의 파라미터로 사용되는 세 점인 깊이 참조점(A'), 안경 힌지 참조점(B'), 귀 참조점(C')은 각각 얼굴 메쉬의 파라미터와 대응하는 점들이다. 피팅은 각 대응점들끼리 맞추어지도록 안경 메쉬에 변환을 가하는 과정으로 이루어지며, 안경 메쉬의 각 참조점은 표 4와 같이 정의한다.
X Y Z
깊이 참조점(A') XA' YA' ZA'
안경 힌지 참조점(B') XB' YB' ZB'
귀 참조점(C') XC' YC' ZC'
안경 모델 제어부(244)는 안경 피팅 파라미터를 추출하는 부분이며 도 38은 도 37에 대응되는 안경 모델에서의 피팅을 위한 안경 피팅-파라미터를 설명하기 위한 도면이다. 이들 피팅 파라메터는 3차원 안경 모델 데이터로부터 위치 점들을 찾아내어 DB에 저장하여 사용한다. 각 피팅-파라미터의 기준과 설명은 다음과 같다. 지점 Ng는 3차원 안경 모델이 3차원 얼굴 모델에 쓰여질 때 코 부분에 접촉되는 점의 대표 좌표이다. 지점 Hg는 안경의 다리가 접히는 부위의 축 위 점의 좌표로서 안경 다리의 자동 피팅에 이용되는 좌표이다. 점 Cg는 안경이 얼굴에 씌여질 때 귀 부위 얼굴에 먼저 접촉되는 대표 점으로서 안경 다리의 안쪽에 위치하는 좌표이다.
4-4. 헤어 피팅-파라메터 추출
도 41은 헤어 자동 피팅 방법의 바람직한 실시예의 순서도이다. 헤어모델 제어부(243)에서는 본 시스템의 데이터베이스로부터 디스플레이 된 헤어를 선택(S640)하여 헤어의 크기와 위치를 자동으로 맞추어(S644)(S648) 입혀 봄으로서 사용자 또는 구매자의 헤어를 완성하게 하거나, 취향에 따라 헤어 디자인을 연출할 수 있도록 한다. 헤어 피팅 파라메터는 헤어의 3차원 모델에서 도 37의 Df점에 해당하는 좌표로 정의 한다. 도 39는 헤어의 피팅 파라메터의 위치를 나타낸다. 헤어의 Dh점은 도 37에서의 Df와 비교되어 이동하고 생성된 3차원 얼굴 모델과 미리 정의된 얼굴 모델에서의 Df값과의 이동량을 계산하여 그 값을 가지고 스케일을 결정한다. 관련 그림은 도 37이며 헤어가 맞추어지는 기준 점은 4-2절에서 설명한 도 37에서의 3차원 얼굴 모델상의 Df점 이다.
4-5. 얼굴 메쉬 파라미터와 안경 메쉬 파라미터의 피팅
1) 제1 실시예
본 발명에서는 이들 파라미터의 대응관계를 이용하여 피팅을 수행하는 바람직한 방법으로써 제1실시예를 제안하며, 도 30 내지 도 36을 참조하여 설명하기로 한다. 먼저 얼굴 메쉬의 안경 힌지 참조점(B)과 안경 메쉬의 안경 힌지 참조점(B')의 대응관계를 이용하여 안경의 스케일정도와 x, y 축 방향의 위치를 정하며, 얼굴 메쉬의 깊이 잠초점(A)과 안경 메쉬의 깊이 참조점(A')의 대응 관계로부터는 x축 방향의 위치를 정하고, 얼굴 메쉬의 안경 힌지 참조점(B)과 귀 참조점(C)을 잇는 선분과 안경 메쉬의 안경 힌지 참조점(B')과 귀 참조점(C')을 잇는 선분의 대응 관계를 통해 안경다리를 귀에 걸치게 하여 피팅을 마무리한다.
도 30a 및 30b와 도 31은 안경의 전체 스케일을 정하는 방법을 설명하기 위한 도면이다. 안경의 크기는 보통 렌즈의 중심이 눈의 중심에 맞도록 조정하므로 본 발명에서도 이와 같이 하기 위하여 안경의 폭을 나타내는 안경 메쉬의 안경 힌지 참조점(B')의 x값과 얼굴의 폭을 나타내는 얼굴 메쉬의 안경 힌지 참조점(B)의 x값을 비교하여 스케일 계수(factor)를 정한다. 도 31은 스케일 계수를 결정하는 구체적인 과정을 나타낸다.
B=(XB, YB, ZB), B'=(XB', YB', ZB')이며, 안경을 G, 스케일이 조정된 안경을 g라 하면 수학식 7과 같이 나타낼 수 있다.
g = G×스케일계수
안경의 크기는 안경의 폭을 기준으로 하므로 B와 B'의 x좌표에 의해 스케일 계수를 결정하면 수학식 8과 같다.
XB'×스케일 계수 = XB
스케일 계수=XB/XB'
이와 같은 방법으로 안경의 스케일을 조정하면 자동적으로 x축 방향으로의 위치가 맞게 되는데, 이는 얼굴 메쉬의 중심과 안경 모델의 중심이 일치하기 때문이다.
다음으로는 도 32a 및 32b에 나타낸 것과 같이 y축과 z축 방향의 안경의 위치를 맞춘다. y축 방향의 위치는 B와 B'점의 y값들을 이용하며, z축 방향의 안경의 위치는 A와 A' 점의 z값을 이용한다. y축 방향으로의 이동 계수(y)는 B'의 y값에서 B의 y값을 뺀 결과이며(즉, y축 이동계수=BY'-BY), z축 방향으로의 이동 계수는 A'의 z값에서 A의 z 값을 뺀 값이다(즉, z축 이동계수=AZ'-AZ). z축 방향으로의 이동 계수(z)를 구할 때는 안경을 눈썹보다 지정된 거리 앞에 위치시키기 위한 편차인 α를 사용하는데, 이는 어느 기준 안경을 적당히 피팅시켰을 때의 거리로 미리 결정해 놓은 상수 k에 스케일 계수(XB/XB')를 곱한 값을 사용한다. 즉, 편차 α는 수학식 9와 같다.
α= k × (XB/XB')
이에 따라, z축 방향으로의 이동계수(z)와 편차 α를 고려하면 AZ'=AZ±z방향 이동계수+α가 된다.
도 17a 및 17b는 이 과정에서의 구체적인 y축과 z축 방향으로의 이동 계수를 구하는 계산 과정을 설명하기 위한 도면이다.
B=(XB, YB, ZB)일 때, 스케일이 조정된 안경 g에서의 B'의 좌표값은 다음과 같다.
이와 같이 스케일이 조정된 안경을 y축 방향으로 움직여 B와 B' 점의 y축 값이 일치하게 하면 되므로 y축 방향의 이동 계수(Move_y)는 결과적으로 [수학식 10]과 같다.
스케일된 안경을 z축 방향으로 움직일 때는 B점보다 지정된 거리만큼 앞쪽에 위치하도록 B'점의 z값을 결정한다.
이와 같은 방법으로 안경의 위치가 결정되면 다음으로는 안경의 다리 각을 잘 조정하여 귀에 잘 맞도록 처리한다. 도 34a 및 34b는 이러한 과정을 설명하기 위한 도면으로, 임의의 각을 가지는 안경다리를 각각 y축과 x축에 대하여 회전해야 함을 나타내고 있다. 안경다리의 회전은 공간상의 회전이므로 직접 한 번의 회전으로 해결할 수 있으나, 본 발명에서는 일반적인 컴퓨터 그래픽의 라이브러리를 사용하기 위해 회전 계수를 각각 y축과 x축 방향으로의 회전 계수로 나누어 계산한다.
안경 다리의 각 y축과 x축에 대한 회전각(θy, θx)은 위치가 맞추어진 안경의 B'점과 C점을 잇는 선분을 기준으로 하고 현재의 B'와 C'를 잇는 선분을 얼마만큼 회전시켜야 하는 가에 따라 회전계수가 결정된다. 도 35a와 35b는 각각 y축 및 x축에 대한 회전각을 구하는 과정을 설명하기 위한 도면이며, 수식을 간략화하기 위해 좌표 값이 아닌 벡터의 형식을 사용하였다.
먼저 35a에서는 안경다리의 y축에 대한 회전각을 구하는 과정을 나타낸다. 회전은 3차원 공간에서 이루어지나, 여기에서는 단순히 y축에 대한 회전 정도만을 계산하는 것이 목적이므로 전체적인 상황에서 y값을 무시하여 계산 과정을 단순화하였다. 여기에서, B'와 C' 점은 처음의 B' 및 C' 값들에 각각 스케일 계수와 이동 계수를 적용한 후의 값이고, C는 귀 참조점을 의미하며, 수학식 12로 나타낼 수 있다.
C = (CX, CY, CZ)
B' = (BX', BY', BZ')
C' = (CX', CY', CZ')
y축에 관한 회전각을 구하는 것이므로 먼저 각 점의 y좌표를 0으로 설정하면 다음과 같다.
CY0= (CX, CZ)
BY0' = (BX', BZ')
CY0' = (CX', CZ')
따라서, BAR {B_Y 0'C_Y 0'} 와 BAR {B_Y 0'C_Y 0} 사이의 각 θy는 다음과 같다.
다음으로 도 35b는 안경 다리의 x축에 대한 회전각(θx)을 구하는 방법을 설명하기 위한 도면이다. 수학식 12에서, x축에 관한 회전각을 구하는 것이므로 각 점의 x좌표를 0으로 하면 다음과 같다.
CX0= (CY, CZ)
BX0' = (BY', BZ')
CX0' = (CY', CZ')
그러므로, 와 사이의 각 θx는 다음과 같다.
이상에서 설명한 바에 의해 안경의 스케일 계수의 결정과, 스케일 계수에 따라 y축 및 z축으로의 이동 계수를 구할 수 있으며, 이어서 안경 다리의 회전각을 구하여 3차원 얼굴 모델에 잘 맞는 안경 모델이 완성되게 된다.
2) 제2 실시예
도 37 내지 도 40은 안경의 자동 피팅을 설명하고 있다.
3차원 안경모델은 얼굴 모델에 씌여지게 되는데 사용자의 별도 인터페이스 없이 사용자의 실제 동공사이의 거리 값(PD)과 3차원 모델의 기하학적 정보를 이용하여 안경이 자동으로 맞추어지고 시뮬레이션이 되는 것이 특징이다. 만약 사용자가 자신의 PD값을 모를 경우 표준 값을 이용하여 자동 피팅이 이루어진다. 안경을 얼굴에 맞추는 방법은 다음과 같은 절차를 거친다.
(i) 얼굴 모델 제어부(242)에서 생성된 얼굴의 3차원 모델로부터 피팅을 위한 좌표점을 얻는다.
도 37와 같이 3차원 모델에서 Nf, Cf 그리고 Df 세점의 데이터를 얻는다.
여기서
Nf : 안경이 접촉하는 위치에서의 3차원 얼굴모델의 중심점
Cf : 안경을 쓸 때 안경 다리가 접촉되는 귀 부위의 점
Df : 얼굴의 중심 X좌표, 머리 위쪽 끝의 Y좌표, Cf의 Z좌표의 값.
(ii) 헤어스타일을 4-4절에서 설명한 바와 같이3차원 얼굴 모델의 Df 값을 참조하여 3차원 얼굴 모델에 맞춘다.
헤어 모델 피팅부(241)는 얼굴 모델 생성 수단(114)에서 생성한 3차원 얼굴 모델에 헤어를 맞추는 부분으로서, 본 시스템에서 개발한 헤어 모델 데이터베이스에 있는 다양한 3차원 헤어스타일을 3차원 얼굴모델에 알맞게 씌워 주는 단계이다. 도 39는 3차원 헤어 모델을 피팅하는 상세한 절차를 보여준다. 도 39의 설명은 도 41에 순서도로 표현되어 있으며 그를 설명하면 다음과 같다.
사용자는 그래픽 인터페이스를 통해 자신에게 맞는 헤어를 선택한다(S640). 그 다음에 3차원 얼굴 모델의 머리부분의 데이터를 얻어내어 3차원 헤어 모델의 크기가 자동으로 계산되어 맞추어 진다(S644). 3차원 얼굴 모델의 머리부분의 값(도 37의 Df점)을 얻어내어 3차원 헤어 모델의 위치를 계산하여 자동으로 맞춘다. 마지막으로 만족(S650)하면 헤어의 자동 피팅 과정은 끝이 나며 만족하지 않을 경우 다시 다른 헤어스타일을 선택하여 자동으로 3차원 얼굴 모델에 맞추어 지는 과정이 되풀이 된다.
(iii) 안경의 3차원 모델로부터 피팅을 위한 좌표점을 얻는다.
도 38과 같이 안경모델에서 3개의 점을 얻는다.
여기서
Ng : 얼굴의 코와 접촉되는 안경의 왼쪽 코다리 부위에서의 접촉점의 좌표
Hg : 안경이 접히는 축을 가리키는 부위의 좌표
Cg : 안경 다리가 얼굴에 씌워질 때 얼굴 안쪽에서 접촉되는 좌표
(iv) 위에서 추출한 3차원 얼굴의 Nf, Cf 및 3차원 안경 모델의 Ng, Hg 그리고 Cg 5개의 좌표를 이용하여 안경 모델 피팅부(240)에서는 3차원 안경 모델을 3차원 얼굴모델에 씌울 좌표를 계산할 수 있다. 그 계산 방법은 도 40과 같고 순서는 다음과 같다.
가. Nf와 Ng의 차를 이용하여 안경을 얼굴의 알맞은 위치로의 이동값을 계산한다.
나. 안경의 PD(두 동공 사이의 거리)값과 얼굴모델의PD값 그리고 사용자의 실제 PD값을 비교하여 피팅에 필요한 스케일을 계산한다. 만약 실제 PD값을 모를 경우 본 개발에서 제안하는 얼굴의 PD값 범위 63~72값을 사용하여 계산한다.
다. 안경 다리와 얼굴의 접점인 귀 부위의 접촉점을 이용하여 안경다리를 얼굴에 맞게 접거나 벌린다. Y축 회전각 θ(y)=Cf Hg Cg, X축 회전각 φ(x)=Cg Hg Cf를 삼각 함수법 을 이용하여 구할 수 있다.
계산된 θ와 φ값에 의해서 3차원 안경 모델의 다리를 3차원 얼굴 모델에 맞출 수 있으며 이 방법은 3차원 얼굴 모델과 3차원 안경 모델이 서로 최적의 위치에 자동으로 놓여지게 하며 맞춤 디자인을 연출 할 수 있다.
텍스쳐 제어부(246)는 3차원 얼굴 모델 생성 수단(114)에서 생성한 얼굴 모델을 배경 화면으로 모니터에 로딩하며, 애니메이션 처리 수단(248)은 얼굴 모델 제어 수단(242)에서 추출한 파라미터를 참조하여, 안경 모델 제어 수단(244)에서 스케일된 안경을 합성하고 헤어 모델 제어 수단(245)에서 스케일 된 헤어 모델을 합성하는 역할을 한다. 또한 안경이 착용되거나 벗겨지거나 하는 장면과 정면, 측면, 등각면(iso view)을 애니메이션으로 움직이면서 보여주는 기능을 한다. 텍스쳐 제어 부(246) 및 애니메이션 제어부(248)에 의해 3차원 얼굴과 안경이 합성된 상태를 도 36에 나타내었다. 실시간 렌더링부(250)는 3차원 얼굴 모델과 안경 맞춤을 시뮬레이션 하는데 있어서 여러 개의 안경을 바로 바로 착용할 수 있게 하는 부분으로서 안경 맞춤과 어울림을 실시간으로 비교할 수 있도록 한다.
실시간 렌더링 수단(250)은 안경과 얼굴 모델을 연출해 주고, 사용자의 움직임에 따라 모델의 회전과 확대/축소 및 이동할 수 있게 한다. 또한, 사용자의 얼굴에 맞게 안경 자체를 회전시키거나 안경다리를 움직일 수 있게 해주는 역할을 한다.
그러면, 이상에서 설명한 3차원 안경 시뮬레이션 시스템(10)의 구성을 바탕으로 3차원 안경 시뮬레이션 방법을 도 43 내지 도 45을 참조하여 설명하기로 한다.
도 43은 본 발명에 위한 안경 시뮬레이션 방법을 설명하기 위한 흐름도이다.
사용자가 예를 들어, 개인용 컴퓨터(20)를 통해 3차원 안경 시뮬레이션 시스템(10)에 접속하면(S10), 사용자 정보 처리부(110)는 접속한 사용자가 적법한 사용자인지 인증하여 적법한 사용자로 판명된 경우 3차원 안경 시뮬레이션 서비스를 이용할 수 있도록 한다.
적법한 사용자로 판명된 사용자는 개인용 컴퓨터(20)에 접속된 디지털 카메라와 같은 영상 입력 장치를 통해 자신의 얼굴 사진(예를 들어, 정면 및 측면 사진))을 3차원 안경 시뮬레이션 시스템(10)으로 전송하거나, 3차원 안경 시뮬레이션 시스템(10)의 데이터베이스(150)에 저장되어 있는 얼굴 모델 중 하나를 선택하고, 3차원 안경 시뮬레이션 시스템은 3차원 얼굴 모델 생성 수단(114)에 의해 사용자의 아바타를 생성한다(S20). 이와 같이 생성된 사용자 아바타는 데이터베이스(150)에 저장되어 추후에 다시 사용할 수 있도록 한다.
3차원 얼굴 모델에 따른 아바타가 생성된 후에는 3차원 안경 시뮬레이션 시스템(10)의 데이터베이스(150)에 저장되어 있는 다수의 안경 모델 중 어느 하나를 선택하도록 한다(S30). 이때에는 안경의 디자인 뿐만 아니라 브랜드, 재질, 렌즈의 색깔 등도 선택할 수 있도록 하여 사용자에게 보다 폭넓은 선택의 기회를 제공하는 것이 바람직하다. 또한, 지능형 CRM 엔진(140)에 의해 패션 경향, 사용자의 개인 성향에 맞는 안경 제품에 관한 자문 정보를 제공하여 사용자의 안경 선택에 도움이 되도록 한다.
사용자가 원하는 안경을 선택하고 난 후에는 3차원 안경 모델링 수단(124)에 의해 선택한 내역을 조합하여 안경 모델을 생성하는 한편, 단계(S20)에서 생성한 사용자 아바타에 맞게 안경 피팅 과정을 수행하고, 이에 따라 스케일 조정된 안경을 3차원 얼굴 모델에 합성하며, 결과적인 화면을 모니터에 시뮬레이션 하여 준다(S40).
다음에, 사용자가 해당 안경을 구매하고자 하는 경우 사용자 인증 및 결제 과정을 통하여 해당 안경이 사용자에게 배달될 수 있도록 한다(S50). 여기에서, 3차원 안경 시뮬레이션 시스템(10)이 안경 제조자(40)와 독립적으로 운영되는 경우에는 3차원 안경 시뮬레이션 시스템(10)은 해당 안경 정보를 안경 제조자(40)에게 전송하여 안경이 제조될 수 있도록 하며, 3차원 안경 시뮬레이션 시스템(10)이 안경 제조자(40)에 의해 운영되는 경우에는 별도의 데이터 전송과정 없이 자체적으로 안경을 제조한다.
이와 같은 3차원 안경 시뮬레이션 서비스는 오프라인 사용자에게도 제공할 수 있다. 이 경우 사용자는 3차원 안경 시뮬레이션 프로그램이 이식된 키오스크(Kiosk) 또는 태블릿-PC(Tablet-PC)와 같은 장치를 사용하여 아바타 생성 및 안경 선택과정을 수행하며, 사용자가 선택한 안경 모델 정보는 키오스크(Kiosk) 또는 태블릿-PC(Tablet-PC)와 같은 장치로부터 온라인으로 3차원 안경 시뮬레이션 시스템(10)으로 전송되어, 사용자가 선택한 안경이 제조될 수 있도록 한다.
도 44는 본 발명에 의한 안경 시뮬레이션 방법 중 사용자 아바타 처리 과정의 상세 흐름도로서, 도 21의 단계(S20)에서 3차원 얼굴 모델을 생성하기 위한 준비 과정을 구체적으로 도시한 것이다.
사용자가 3차원 안경 시뮬레이션 시스템(10)에 접속하면 사용자 정보 처리부(110)는 해당 사용자가 전에 3차원 안경 시뮬레이션 서비스를 사용한 경험이 있는 사용자인지 확인한다(S202). 확인 결과 사용 경험이 있는 사용자인 경우에는 로그인 과정을 수행하도록 한 후(S204), 사용자의 얼굴 모델이 저장되어 있는지 확인한다(S206).
사용자의 얼굴 모델이 저장되어 있는 경우에는 저장되어 있는 모델을 선택할 것인지 다른 모델로 변경할 것인지 확인하여(S208), 저장되어 있는 모델을 선택하고자 하는 경우에는 해당 모델을 선택하도록 하고(S210), 선택한 모델이 사용자의 실제 얼굴로부터 생성한 모델인지 시스템에 초기값으로 설정되어 있는 모델인지 확인한다(S212). 선택한 모델이 사용자의 실제 얼굴로부터 생성한 모델인 경우 해당 모델을 화면에 로딩한다(S214).
만약, 사용자의 얼굴 모델이 저장되어 있는지 확인하는 단계(S206)에서, 사용자의 얼굴 모델이 저장되어 있지 않은 경우에는 새로운 모델을 생성할 것인지 확인한다(S220). 사용자가 새로운 모델을 생성하고자 하지 않은 경우에는 초기값으로 설정되어 있는 모델을 모니터에 로딩하고(S230), 사용자가 새로운 모델을 생성하고자 하는 경우에는 모델 생성을 위한 프로그램이 개인용 컴퓨터(20)에 설치되어 있는지 확인하여(S222), 모델 생성 프로그램이 설치되어 있지 않은 경우에는 해당 프로그램을 개인용 컴퓨터(20)로 다운로드하여 주어 설치하도록 한 후(S224), 자신의 얼굴 사진으로부터 3차원 얼굴 모델로부터 아바타를 생성하도록 한다(S226). 이후, 생성된 아바타를 사용자 정보와 함께 등록하고(S228) 단계(S210)로 진행한다.
한편, 사용자의 얼굴 모델이 저장되어 있어서, 저장되어 있는 모델을 선택할 것인지 다른 모델로 변경할 것인지 확인하는 단계에서(S208), 사용자가 모델을 변경하고자 하는 경우에는 단계(S222)로 진행하여 그 이후의 단계를 수행한다.
또한, 사용자가 선택한 모델이 사용자의 실제 얼굴로부터 생성한 모델인지 시스템에 초기값으로 설정되어 있는 모델인지 확인하는 단계에서(S212), 해당 모델이 초기값으로 설정되어 있는 모델인 경우 해당 모델을 모니터에 로딩한다(S230).
단계(S202)에서 3차원 안경 시뮬레이션 시스템(10)에 접속한 사용자가 사용 경험이 없는 사용자인 경우에는 회원 등록 절차를 통해 로그인하도록 한 후(S216), 초기값으로 설정된 모델을 사용할 것인지 확인한다(S218). 확인 결과 초기값으로 설정된 모델을 사용하고자 하는 경우에는 해당 모델을 모니터에 로딩하며(S230), 초기값으로 설정된 모델을 사용하지 않을 경우에는 새로운 모델을 생성할 것인지 확인하는 단계(S220)로 진행하여, 이후의 과정을 수행한다.
도 45은 본 발명에 의한 안경 시뮬레이션 방법 중 안경 시뮬레이션 과정의 상세 흐름도로서, 도 21의 단계(S30) 및 단계(S40)를 구체적으로 도시한 것이다.
도 43의 아바타 생성 단계(S20)에서 아바타를 생성한 사용자는 3차원 안경 시뮬레이션 시스템(10)에 저장되어 있는 안경 제품 정보를 참조하여 자신이 원하는 안경을 선택한다. 이를 위하여, 먼저 안경 검색 및 렌즈 검색 과정을 수행하는데(S402, S404), 이때에는 안경과 렌즈의 브랜드, 스타일, 기능, 색상 등을 사용자의 취향에 따라 선택할 수 있다. 이때에는 지능형 CRM 엔진(140)에 의해 현재와 미래의 패션 트랜드에 대해서 조언을 얻을 수 있고, 사용자의 개인적 특성(성별, 나이, 직업 등)에 따라 어떠한 디자인의 안경이 어울리는지에 대해서도 조언을 얻을 수 있다.
이와 같이 하여 안경 및 렌즈를 선택하고 난 후에는 선택한 안경을 아바타에 매핑시키는 과정을 수행하기 위하여 사용자의 아바타가 3차원 시뮬레이션 시스템에 등록되어 있는지 확인한다(S406). 확인 결과 사용자의 아바타가 등록되어 있지 않은 경우에는 도 44에서 설명한 사용자 아바타 처리 과정(S20, S202∼S230)을 수행하여 사용자만의 아바타가 생성될 수 있도록 한다.
한편, 사용자의 아바타가 등록되어 있는 경우에는 저장된 아바타를 모니터의 배경 이미지로 호출한다(S408). 이후, 단계(S402, S404)에서 선택한 안경 및 렌즈 모델을 모니터 상에 로딩하며(S410), 배경 이미지로 로딩된 사용자 아바타에 안경 모델을 씌우고 다양한 각도에서 보여준다(S412).
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
상술한 바와 같이, 본 발명에 의하면 사용자의 얼굴 모델을 거의 현실에 가깝게 3차원으로 생성하고, 생성된 3차원 얼굴 모델에 사용자에 의해 선택된 안경 모델을 매핑시키므로써 온라인 상에서 안경의 선택과 구매를 정확히 할 수 있게 된다. 또한, 안경 선택시 지능형 CRM 엔진에 의해 패션 경향이나 개인적 특성에 따른 조언을 얻을 수 있어 자신에게 보다 잘 어울리는 맞춤 안경을 선택할 수 있다.
도 1은 본 발명의 3차원 안경 시뮬레이션 시스템이 적용되는 통신망의 일 예시도,
도 2는 도 1에 도시한 안경 시뮬레이션 시스템의 상세 구성도,
도 3a는 본 발명에 따른 텍스쳐 생성 방법의 바람직한 실시예의 순서도,
도 3b는 본 발명에 따라 텍스쳐 생성의 결과를 보이고 있는 참고도,
도 3c는 본 발명에 따라 실시한 결과 맞춤 안경이 디스플레된 결과를 보이고 있는 참고도,
도 4a 및 도 4b는 본 발명의 안경 시뮬레이션 시스템에 적용되는 데이터베이스의 상세 구성도,
도 5는 도 2에 도시한 3차원 얼굴 모델 생성 수단의 바람직한 실시예의 상세 구성도,
도 6a 내지 도 9은 본 발명에 의한 3차원 얼굴 모델 생성 수단에서 얼굴 모델 생성 방법을 설명하기 위한 참고도,
도 10은 본 발명에 따른 템플릿 매칭의 바람직한 실시예를 보이고 있는 순서도,
도 11은 본 발명에 따른 통신망을 통하여 원격으로 3차원 얼굴 모델을 생성하는 과정을 설명하는 참고도,
도 12는 본 발명에 따른 통신망을 통하여 원격으로 3차원 모델 생성을 지원하는 영상 페이지의 바람직한 실시예을 보이고 있는 참고도,
도 13은 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정중 영상을 조정하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 14a는 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정 중 영상을 확대하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 14b는 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정 중 영상을 회전시키는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 14c는 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정 중 영상의 중심을 설정하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 14d는 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정 중 영상의 얼굴 윤곽선 및 특정 영역의 점(기본점)들을 설정하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 14e는 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정 중 영상에 설정된 기본점을 설명하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 14f는 본 발명에 따른 통신망의 클라이언트에서 작동하는 3차원 얼굴 생성 과정 중 영상의 얼굴의 특징영역의 점을 입력하는 단계를 설명하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 15는 본 발명에 따른 통신망상에서 원격으로 실시간 프리뷰를 제공하는 화면의 바람직한 실시예를 보이고 있는 참고도,
도 16a는 본 발명에 따른 어플리케이션 서비스로 제공되는 실시간 시뮬레이션의 바람직한 실시예를 보이고 있는 참고도,
도 16b는 본 발명에 따른 전신 아바타를 이용한 통합 패션 시뮬레이션의 바람직한 실시예를 보이고 있는 참고도,
도 17은 도 2에 도시한 지능형 CRM 엔진의 상세 구성도,
도 18a는 본 발명에 따른 전자우편을 이용한 1:1 마케팅의 바람직한 실시예를 보이고 있는 참고도,
도 18b는 본 발명에 따른 무선 통신단말기를 이용한 1:1 마케팅의 바람직한 실시예를 보이고 있는 참고도,
도 18c는 본 발명에 따른 온오프 라인의 유무선 환경을 통한 CRM 운영의 바바람직한 실시예를 보이고 있는 참고도,
도 19는 도 2에 도시한 3차원 안경 모델링 수단의 상세 구성도,
도 20은 본 발명에 의한 안경 시뮬레이션 방법 중 안경 피팅 과정의 상세 흐름도,
도 21은 본 발명에 따른 안경의 역모델링을 위한 안경 측정장치의 바람직한 실시예를 보이고 있는 참고도,
도 22a는 도 21의 윗면에서 안경을 촬영한 바람직한 실시예를 보이고 있는 참고도,
도 22b는 도 21의 측면에서 안경을 촬영한 바람직한 실시예를 보이고 있는 참고도,
도 22c는 도 21의 앞면에서 안경을 촬영한 바람직한 실시예를 보이고 있는 참고도,
도 22d는 본 발명에 따른 3차원 안경 모델 자동 생성 장치의 운영 화면의 바람직한 실시예를 보이고 있는 참고도,
도 22e는 본 발명에 따른 3차원 안경 자동 생성 장치로부터 생성된 3차원 모델의 바람직한 실시예를 보이고 있는 참고도,
도 22f는 본 발명에 따른 3차원 안경 모델 방법의 바람직한 실시예의 순서도,
도 23a는 본 발명에 따른 렌즈 원형 모델링의 바람직한 실시예를 보이고 있는 참고도,
도 23b는 본 발명에 따른 3차원 렌즈 모델을 가공한 결과를 보이고 있는 참고도,
도 23c는 본 발명에 따른 렌즈의 수정을 설명하는 참고도,
도 24a는 본 발명에 따른 프레임 수정을 설명하는 참고도,
도 24b는 본 발명에 따른 프레임과 렌즈의 복사를 설명하는 참고도,
도 24c는 본 발명에 따른 안경의 브릿지와 다리 연결부 제작을 설명하는 참고도,
도 25a는 본 발명에 따른 3차원 안경 다리의 모델링을 설명하는 참고도,
도 25b는 본 발명에 따른 안경 다리의 복사를 설명하는 참고도,
도 26은 본 발명에 따른 안경의 세부형태의 모델링을 설명하는 참고도,
도 27은 본 발명에 따라 완성된 3차원 안경 모델을 보이고 있는 참고도,
도 28 내지 도 36은 본 발명의 3차원 안경 모델링 수단의 안경 피팅 방법의 일실시예의 과정을 설명하기 위한 참고도,
도 37, 38, 40은 본 발명의 3차원 안경 모델링 수단의 안경 피팅 방법의 다른 실시예의 과정을 설명하기 위한 참고도,
도 39는 본 발명에 따른 헤어 피팅의 방법을 설명하는 과정을 설명하는 참고도,
도 41은 본 발명에 따른 헤어 자동피팅 과정의 바람직한 실시예의 순서도,
도 42는 본 발명에 따른 3차원 안경의 자동 피팅 과정의 바람직한 다른 실시예의 순서도,
도 43은 본 발명에 위한 안경 시뮬레이션 방법의 바람직한 실시예를 설명하기 위한 순서도,
도 44는 본 발명에 의한 안경 시뮬레이션 방법 중 사용자 아바타 처리 과정의 바람직한 실실예의 순서도,
도 45는 본 발명에 의한 안경 시뮬레이션 방법 중 안경 시뮬레이션 과정의 상세 흐름도이다.
<도면의 주요 부분에 대한 부호 설명>
10 : 안경 시뮬레이션시스템 20 : 구매자 또는 사용자
30 : 통신망 40 : 안경 제조자
50 : 안경 판매자 60 : 키오스크/태블릿 PC
70 : 서비스 관리자 100 : 인터페이스부
110 : 사용자 정보 처리부 112 : 사용자 관리 수단
114 : 3차원 얼굴 모델 생성 수단 120 : 그래픽 시뮬레이션부
122 : 3차원 안경 모델링 수단 124 : 텍스쳐 생성 수단
126 : 시뮬레이션 수단 130 : 상거래 처리부
132 : 구매 관리 수단 134 : 배송 관리 수단
136 : 재고 관리 수단 140 : 지능형 CRM 엔진
150 : 데이터베이스 152 : 개인정보 DB
154 : 제품정보 DB 156 : 3차원 모델 DB
158 : 상거래 정보 DB 160 : 지식정보 DB
200 : 얼굴 기본점 추출부 202 : 윤곽선 추출 수단
204 : 특징형상의 점 추출 수단 06 : 얼굴 변형부
208 : 얼굴 표정 변형부 210 : 얼굴 합성부
212 : 얼굴 텍스쳐 제어부 214 : 실시간 프리뷰 제공부
216 : 파일 생성 및 제어부 220 : CRM 총괄 제어부
222 : 제품 선호도 분석 수단 226 : 패션 경향 인공지능 학습 수단
224 : 사용자 거동 분석 수단 228 : 인공지능 자문 데이터 생성 수단
230 : 시뮬레이션 로그분석 DB 232 : 패션 경향 자문 DB
240 : 안경 모델 피팅부 241 : 헤어 모델 피팅부
242 : 얼굴 모델 제어부 243 : 헤어모델 제어부
244 : 안경 모델 제어부 246 : 텍스쳐 제어부
248 : 애니메이션 처리부 250 : 실시간 렌더링부

Claims (26)

  1. 통신망에 의해 개인용 컴퓨터와 접속되며, 사용자 정보, 안경 제품 정보, 3차원 모델 정보 및 지식 정보를 저장하는 데이터베이스를 구비하여, 사용자의 얼굴을 3차원 얼굴 모델로 생성하고, 사용자가 안경을 선택함에 따라 상기 3차원 얼굴 모델과 상기 선택한 안경을 피팅하고 시뮬레이션 하기 위한 시스템으로서,
    3차원 안경 시뮬레이션 서비스를 이용하고자 하는 사용자에 대하여 사용자 인증을 수행하고, 상기 사용자의 3차원 얼굴 모델을 생성하기 위한 사용자 정보 처리부; 및
    상기 사용자가 데이터베이스를 참조하여 안경을 다양한 형태로 모사하도록 하고 그 결과를 상기 데이터베이스에 저장하기 위한 3차원 안경 모델링 수단,
    상기 사용자가 선택한 안경의 색상, 또는 무늬를 변경할 수 있도록 하기 위한 텍스쳐 생성 수단, 및
    상기 사용자 정보 처리부에서 생성된 사용자의 3차원 얼굴 모델에, 상기 사용자가 선택한 안경을 착용시켜 디스플레이하기 위한 시뮬레이션 수단을 구비하는 그래픽 시뮬레이션부를 포함하는 것을 특징으로 하는 3차원 안경 시뮬레이션 시스템.
  2. 제 1 항에 있어서,
    패션 전문가의 자문 데이터, 상품 또는 소비자 구매 이력을 기초로 신경향 학습 및 자문 데이터를 생성하고 이에 따라 미래의 패션 트랜드를 예측하며, 상기 그래픽 시뮬레이션부에서 상기 사용자가 상품을 선택할 때 자문 데이터를 제공하기 위한 지능형 CRM 엔진을 더 포함하는 3차원 안경 시뮬레이션 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 3차원 안경 모델링 수단은 상기 사용자 정보 처리부에서 생성한 3차원 안경 모델에 상기 사용자가 선택한 안경을 합성하기 위한 안경 모델 피팅부;
    사용자의 3차원 얼굴 모델로부터 깊이 참조점, 안경 힌지 참조점 및 귀 참조점을 포함하는 얼굴 메쉬 파라미터를 추출하기 위한 얼굴 모델 제어부;
    사용자가 선택한 안경 모델로부터 깊이 참조점, 안경 힌지 참조점 및 귀 참조점을 포함하는 안경 메쉬 파라미터를 추출하기 위한 안경 모델 제어부;
    상기 사용자 정보 처리부에서 생성한 얼굴 모델을 배경 화면으로 모니터에 로딩하기 위한 텍스쳐 제어부;
    상기 얼굴 모델 제어부에서 추출한 얼굴 메쉬 파라미터를 참조하여, 상기 안경 모델 제어부에서 스케일된 안경을 합성하기 위한 애니메이션 처리부; 및
    상기 안경과 얼굴 모델을 다양한 각도에서 디스플레이하고, 사용자의 움직임에 따라 모델의 회전, 확대/축소 및 이동하도록 하기 위한 실시간 렌더링부를 구비하는 3차원 안경 시뮬레이션 시스템.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 그래픽 시뮬레이션부는 사용자가 데이터베이스를 참조하여 안경의 디자인, 색상 및 재질을 선택하여 모사한 결과를 사용자별 맞춤 안경 데이터를 상기 데이터베이스에 저장하는 기능을 더 포함하는 3차원 안경 시뮬레이션 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 그래픽 시뮬레이션부는 사용자가 이름 또는 캐릭터를 안경에 새기거나 부착하도록 하여 생성한 사용자별 맞춤 안경 데이터를 상기 데이터베이스에 저장하는 기능을 더 포함하는 3차원 안경 시뮬레이션 시스템.
  6. 통신망에 의해 개인용 컴퓨터와 접속되며, 사용자 정보, 안경 제품 정보, 3차원 모델 정보 및 지식 정보를 저장하는 데이터베이스를 구비하여, 사용자의 얼굴을 3차원 얼굴 모델로 생성하고, 사용자가 안경을 선택함에 따라 상기 3차원 얼굴 모델과 상기 선택한 안경을 피팅하고 시뮬레이션 하기 위한 3차원 안경 시뮬레이션 시스템에서의 안경 시뮬레이션 방법으로서,
    상기 사용자가 자신의 얼굴 정보를 상기 3차원 안경 시뮬레이션 시스템으로 전송하거나, 상기 3차원 안경 시뮬레이션 시스템의 상기 데이터베이스에 저장되어 있는 얼굴 모델 중 하나를 선택함에 따라, 상기 사용자의 3차원 얼굴 모델을 생성하는 단계;
    상기 3차원 안경 시뮬레이션 시스템의 데이터베이스에 저장되어 있는 다수의 안경 모델 중 어느 하나를 선택하도록 하고, 사용자가 선택한 내역에 따라 안경 모델을 생성하는 단계; 및
    상기 사용자의 3차원 얼굴 모델에 맞게 상기 안경을 피팅하고, 이에 따라 조정된 안경을 3차원 얼굴 모델에 합성하며, 합성된 화면을 다양한 각도에서 모니터에 시뮬레이션 하는 단계;
    를 포함하는 3차원 안경 시뮬레이션 방법.
  7. 제 6 항에 있어서,
    상기 안경 모델을 선택하는 단계는 상기 사용자에게 안경 및 렌즈의 디자인, 브랜드, 재질, 색깔을 선택하도록 하는 과정을 더 포함하는 3차원 안경 시뮬레이션 방법.
  8. 제 6 항에 있어서,
    상기 안경 모델을 선택하는 단계는, 패션 전문가의 자문 데이터, 상품 또는 소비자 구매 이력을 기초로 신경향 학습 및 자문 데이터를 생성하고 이에 따라 미래의 패션 트랜드를 예측하며, 상기 그래픽 시뮬레이션부에서 상기 사용자가 상품을 선택할 때 자문 데이터를 제공하기 위한 지능형 CRM 엔진에 의해 상기 사용자에게 자문 데이터를 제공하는 과정을 더 포함하는 3차원 안경 시뮬레이션 방법.
  9. (a) 투명재질의 눈금자가 부설된 소정의 상자에 들어 있는 소정의 안경을 정면, 측면 및 윗면에서 촬영한 안경영상정보를 입력받는 단계;
    (b) 상기 안경영상정보에 포함된 눈금자의 개수를 기초로 상기 안경의 치수를 산출하고, 상기 산출된 치수를 기초로 상기 안경의 기본적인 3차원 모델인 기초 모델을 생성시키는 단계;
    (c) 상기 기초 모델의 렌즈 모양에 관하여 렌즈의 곡률, 모양 및 시선각에 관한 정보를 포함하는 렌즈정보를 입력받고, 상기 렌즈정보를 기초로 상기 안경의 렌즈를 생성시키는 단계;
    (d) 상기 기초 모델의 프레임의 모양정보, 프레임간의 브릿지의 모양정보를 입력받고, 상기 기초 모델의 프레임 및 브릿지의 모양을 생성시켜 상기 안경의 3차원 모델을 생성시키는 단계를 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  10. 제 9 항에 있어서, 상기 (c)단계는
    (c1) 상기 안경의 곡률정보를 입력받고, 상기 곡률정보와 일치하는 구를 생성시켜 사용자에게 제공하는 단계; 및
    (c2) 상기 사용자로부터 상기 구의 표면의 일부에 상기 안경의 렌즈모양을 입력받고 상기 입력받은 모양에 따라 상기 구로부터 렌즈의 모양을 분리시키는 단계를 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  11. 제 10 항에 있어서,
    (c3) 상기 분리된 렌즈의 모양에 미리 설정된 두께를 부여하고, 미리 설정된 소정의 기준에 따라서 렌즈를 회전시키는 단계를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  12. 제 9 항에 있어서, 상기 (d)단계는
    (d1) 상기 기초 모델을 표시하여 사용자에게 제공하고, 상기 기초 모델의 프레임의 모양을 수정할 내용에 관한 프레임 수정정보를 입력받고, 상기 수정정보에 따라 상기 기초모델의 프레임의 모양을 수정하는 단계; 및
    (d2) 상기 기초 모델의 렌즈 및 프레임를 대칭적으로 복사하여 또 다른 렌즈를 생성시키고, 상기 안경의 두개의 렌즈간의 거리 값을 입력받아 상기 거리에 두개의 렌즈 및 상기 프레임를 위치시킨 후 상기 프레임간의 브릿지의 모양에 관한 정보를 입력받아 상기 브릿지를 생성시키는 단계를 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  13. 제 12 항에 있어서,
    (d3) 상기 안경의 프레임과 안경다리의 연결 부분에 관한 모양정보를 입력받아 상기 안경의 프레임과 안경다리의 연결 부분의 모양을 생성시키는 단계를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  14. 제 9 항에 있어서,
    (e) 상기 기초 모델의 프레임과 안경 다리간의 연결부분의 두께와 동일하게 상기 안경 다리의 전체 길이를 육면체의 폴리곤 형태로 변환시키는 단계;
    (f) 상기 안경의 측면에 해당하는 안경영상정보에서 측정되는 상기 안경 다리의 휜 각도와 동일하도록 상기 안경 다리를 DEFORM 방식을 이용하여 수정하는 단계;
    (g) 상기 생성된 안경 다리와 대칭이 되도록 반대쪽 안경 다리를 생성시키고, 상기 기초 모델의 안경 다리 모양을 상기 생성된 안경 다리로 대치시키는 단계를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  15. 제 9 항에 있어서,
    (h) 상기 안경의 코받침 또는 안경 프레임과 다리를 연경하는 경첩 또는 상기 안경에 필요한 나사들의 모양에 관한 정보를 입력받아 상기 코받침 또는 경첩 또는 나사의 모양을 생성시키고, 상기 기초 모델에 상기 생성된 모양을 적용시키는 단계를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 방법.
  16. 투명재질의 눈금자가 부설된 소정의 상자에 들어 있는 소정의 안경을 정면, 측면 및 윗면에서 촬영한 안경영상정보를 입력받는 입력부;
    상기 안경영상정보에 포함된 눈금자의 개수를 기초로 상기 안경의 치수를 산출하고, 상기 산출된 치수를 기초로 상기 안경의 기본적인 3차원 모델인 기초 모델을 생성시키는 기초모델 생성부;
    상기 기초 모델의 렌즈 모양에 관하여 렌즈의 곡률, 모양 및 시선각에 관한 정보를 포함하는 렌즈정보를 입력받고, 상기 렌즈정보를 기초로 상기 안경의 렌즈를 생성시키는 렌즈 생성부;
    상기 기초 모델의 프레임의 모양정보, 프레임간의 브릿지의 모양정보를 입력받고, 상기 기초 모델의 프레임 및 브릿지의 모양을 생성시켜 상기 안경의 3차원 모델을 생성시키는 3차원 모델 생성부를 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  17. 제 16 항에 있어서, 상기 렌즈 생성부는
    상기 안경의 곡률정보를 입력받고, 상기 곡률정보와 일치하는 구를 생성시켜 사용자에게 제공하는 구 생성부; 및
    상기 사용자로부터 상기 구의 표면의 일부에 상기 안경의 렌즈모양을 입력받고 상기 입력받은 모양에 따라 상기 구로부터 렌즈의 모양을 분리시키는 렌즈 분리부를 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  18. 제 17 항에 있어서,
    상기 분리된 렌즈의 모양에 미리 설정된 두께를 부여하고, 미리 설정된 소정의 기준에 따라서 렌즈를 회전시키는 렌즈 회전부를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  19. 제 16 항에 있어서, 상기 3차원모델 생성부는
    상기 기초 모델을 표시하여 사용자에게 제공하고, 상기 기초 모델의 프레임의 모양을 수정할 내용에 관한 프레임 수정정보를 입력받고, 상기 수정정보에 따라 상기 기초모델의 프레임의 모양을 수정하는 프레임 모양 수정부; 및
    상기 기초 모델의 렌즈 및 프레임를 대칭적으로 복사하여 또 다른 렌즈를 생성시키고, 상기 안경의 두개의 렌즈간의 거리 값을 입력받아 상기 거리에 두개의 렌즈 및 상기 프레임를 위치시킨 후 상기 프레임간의 브릿지의 모양에 관한 정보를 입력받아 상기 브릿지를 생성시키는 브릿지 생성부를 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  20. 제 19 항에 있어서, 상기 3차원모델 생성부는
    상기 안경의 프레임과 안경다리의 연결 부분에 관한 모양정보를 입력받아 상기 안경의 프레임과 안경다리의 연결 부분의 모양을 생성시키는 안경다리 생성부를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  21. 제 16 항에 있어서,
    상기 기초 모델의 프레임과 안경 다리간의 연결부분의 두께와 동일하게 상기 안경 다리의 전체 길이를 육면체의 폴리곤 형태로 변환시키는 안경다리 생성부;
    상기 안경의 측면에 해당하는 안경영상정보에서 측정되는 상기 안경 다리의 휜 각도와 동일하도록 상기 안경 다리를 DEFORM 방식을 이용하여 수정하는 안경다리 수정부;
    상기 생성된 안경 다리와 대칭이 되도록 반대쪽 안경 다리를 생성시키고, 상기 기초 모델의 안경 다리 모양을 상기 생성된 안경 다리로 대치시키는 안경다리 결합부를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  22. 제 16 항에 있어서,
    상기 안경의 코받침 또는 안경 프레임과 다리를 연경하는 경첩 또는 상기 안경에 필요한 나사들의 모양에 관한 정보를 입력받아 상기 코받침 또는 경첩 또는 나사의 모양을 생성시키고, 상기 기초 모델에 상기 생성된 모양을 적용시키는 안경악세사리부 생성부를 더 포함하는 것을 특징으로 하는 3차원 안경 모델 생성 장치.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR10-2004-7016313A 2002-03-26 2003-03-26 3차원 안경 시뮬레이션 시스템 및 방법 KR100523742B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020020016305 2002-03-26
KR20020016305 2002-03-26
KR20020026705 2002-05-15
KR1020020026705 2002-05-15
KR20020032374 2002-06-10
KR1020020032374 2002-06-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020047014912A Division KR20040097200A (ko) 2002-03-26 2003-03-26 3차원 안경 시뮬레이션 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20040097349A KR20040097349A (ko) 2004-11-17
KR100523742B1 true KR100523742B1 (ko) 2005-10-26

Family

ID=28457619

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020047014912A KR20040097200A (ko) 2002-03-26 2003-03-26 3차원 안경 시뮬레이션 시스템 및 방법
KR10-2004-7016313A KR100523742B1 (ko) 2002-03-26 2003-03-26 3차원 안경 시뮬레이션 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020047014912A KR20040097200A (ko) 2002-03-26 2003-03-26 3차원 안경 시뮬레이션 시스템 및 방법

Country Status (5)

Country Link
US (1) US20050162419A1 (ko)
EP (1) EP1495447A1 (ko)
KR (2) KR20040097200A (ko)
AU (1) AU2003217528A1 (ko)
WO (1) WO2003081536A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456162B1 (ko) 2012-10-25 2014-11-03 주식회사 다림비젼 3ｄ 스킨-스켈레톤 모델 레퍼런스 기반의 멀티 스캔 센서를 사용한 실시간 3ｄ 분장/화장/패션/미용 시뮬레이터
KR20190079952A (ko) 2017-12-28 2019-07-08 (주)월드트렌드 맞춤형 조립안경의 판매시스템 및 맞춤형 조립안경
KR20200102833A (ko) * 2019-02-22 2020-09-01 주식회사 쉐마 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템

Families Citing this family (312)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010146B2 (en) * 2000-06-12 2006-03-07 Kabushiki Kaisha Topcon Database constructing system
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
US7421098B2 (en) * 2002-10-07 2008-09-02 Technion Research & Development Foundation Ltd. Facial recognition and the open mouth problem
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP3625212B1 (ja) * 2003-09-16 2005-03-02 独立行政法人科学技術振興機構 ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
FR2860887B1 (fr) * 2003-10-13 2006-02-03 Interactif Visuel Systeme Ivs Mesure de configuration du visage et de montures de lunettes placees sur ce visage a une efficacite amelioree
NZ530738A (en) * 2004-01-21 2006-11-30 Stellure Ltd Methods and systems for compositing images
US7479959B2 (en) * 2004-02-23 2009-01-20 Ironclad Llc Geometric modeling system with intelligent configuring of solid shapes
US7909241B2 (en) 2004-03-09 2011-03-22 Lowe's Companies, Inc. Systems, methods and computer program products for implementing processes relating to retail sales
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP3920889B2 (ja) * 2004-12-28 2007-05-30 沖電気工業株式会社 画像合成装置
US20060149616A1 (en) * 2005-01-05 2006-07-06 Hildick-Smith Peter G Systems and methods for forecasting book demand
CA2532374A1 (en) * 2005-01-07 2006-07-07 Masco Corporation Of Indiana Style trend tracking tool
US20060222243A1 (en) * 2005-04-02 2006-10-05 Newell Martin E Extraction and scaled display of objects in an image
KR100859502B1 (ko) * 2005-07-19 2008-09-24 에스케이네트웍스 주식회사 3차원 가상 캐릭터를 이용한 가상 피팅 서비스 제공 방법및 가상 피팅 서버
US8129187B2 (en) * 2005-12-13 2012-03-06 Kyoto University Somatic cell reprogramming by retroviral vectors encoding Oct3/4. Klf4, c-Myc and Sox2
US8278104B2 (en) * 2005-12-13 2012-10-02 Kyoto University Induced pluripotent stem cells produced with Oct3/4, Klf4 and Sox2
US20090227032A1 (en) * 2005-12-13 2009-09-10 Kyoto University Nuclear reprogramming factor and induced pluripotent stem cells
JP4745818B2 (ja) * 2005-12-22 2011-08-10 富士通株式会社 機器操作性評価装置、機器操作性評価方法及び機器操作性評価プログラム
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
EP2021962A2 (en) * 2006-05-19 2009-02-11 My Virtual Model Inc. Simulation-assisted search
US8554639B2 (en) 2006-07-07 2013-10-08 Joseph R. Dollens Method and system for managing and displaying product images
US8260689B2 (en) 2006-07-07 2012-09-04 Dollens Joseph R Method and system for managing and displaying product images
US11049175B2 (en) 2006-07-07 2021-06-29 Joseph R. Dollens Method and system for managing and displaying product images with progressive resolution display with audio commands and responses
US11481834B2 (en) 2006-07-07 2022-10-25 Joseph R. Dollens Method and system for managing and displaying product images with progressive resolution display with artificial realities
US9691098B2 (en) 2006-07-07 2017-06-27 Joseph R. Dollens Method and system for managing and displaying product images with cloud computing
US10614513B2 (en) 2006-07-07 2020-04-07 Joseph R. Dollens Method and system for managing and displaying product images with progressive resolution display
US8077931B1 (en) * 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
EP1892660A1 (en) * 2006-08-03 2008-02-27 Seiko Epson Corporation Lens order system, lens order method, lens order program and recording medium storing the lens order program
JP4306702B2 (ja) 2006-08-03 2009-08-05 セイコーエプソン株式会社 メガネレンズ発注システム
JP2008059548A (ja) 2006-08-04 2008-03-13 Seiko Epson Corp レンズ発注システム、レンズ発注方法、レンズ発注プログラム、およびレンズ発注プログラムを記録した記録媒体
JP4986279B2 (ja) * 2006-09-08 2012-07-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
KR100738052B1 (ko) * 2006-12-26 2007-07-12 주식회사 이디 지능형 로봇 제어 시뮬레이션 시스템
US20080201641A1 (en) * 2007-02-21 2008-08-21 Yiling Xie Method And The Associated Mechanism For 3-D Simulation Stored-Image Database-Driven Spectacle Frame Fitting Services Over Public Network
US20080297515A1 (en) * 2007-05-30 2008-12-04 Motorola, Inc. Method and apparatus for determining the appearance of a character display by an electronic device
US20080301556A1 (en) * 2007-05-30 2008-12-04 Motorola, Inc. Method and apparatus for displaying operational information about an electronic device
WO2008151420A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Automatic feature mapping in inheritance based avatar generation
WO2008151419A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Sex selection in inheritance based avatar generation
WO2008151424A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Metadata for avatar generation in virtual environments
JP2008307007A (ja) 2007-06-15 2008-12-25 Bayer Schering Pharma Ag 出生後のヒト組織由来未分化幹細胞から誘導したヒト多能性幹細胞
US8730231B2 (en) * 2007-11-20 2014-05-20 Image Metrics, Inc. Systems and methods for creating personalized media content having multiple content layers
US20090128579A1 (en) * 2007-11-20 2009-05-21 Yiling Xie Method of producing test-wearing face image for optical products
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
CN102084391A (zh) 2008-03-05 2011-06-01 电子湾有限公司 用于图像识别服务的方法和设备
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US8086502B2 (en) 2008-03-31 2011-12-27 Ebay Inc. Method and system for mobile publication
CA2695522C (en) 2008-05-02 2019-01-15 Kyoto University Method of nuclear reprogramming
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
EP2161611A1 (en) * 2008-09-04 2010-03-10 Essilor International (Compagnie Générale D'Optique) Method for optimizing the settings of an ophtalmic system
WO2010042990A1 (en) * 2008-10-16 2010-04-22 Seeing Machines Limited Online marketing of facial products using real-time face tracking
US7991646B2 (en) 2008-10-30 2011-08-02 Ebay Inc. Systems and methods for marketplace listings using a camera enabled mobile device
US8274510B2 (en) * 2008-11-07 2012-09-25 Autodesk, Inc. Method and apparatus for visualizing a quantity of a material used in a physical object having a plurality of physical elements
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
WO2010093856A2 (en) * 2009-02-13 2010-08-19 Hangout Industries, Inc. A web-browser based three-dimensional media aggregation social networking application with asset creation system
US8825660B2 (en) 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
KR20110071213A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
FR2955409B1 (fr) 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
JP5648299B2 (ja) 2010-03-16 2015-01-07 株式会社ニコン 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム
KR20110107428A (ko) * 2010-03-25 2011-10-04 삼성전자주식회사 컨텐츠 제작을 위한 그래픽 유저 인터페이스를 제공하는 디지털 기기 및 그의 그래픽 유저 인터페이스 제공 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록 매체
US9959453B2 (en) * 2010-03-28 2018-05-01 AR (ES) Technologies Ltd. Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
TWI415028B (zh) * 2010-05-14 2013-11-11 Univ Far East A method and apparatus for instantiating a 3D display hairstyle using photography
US8908928B1 (en) 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
US8908937B2 (en) 2010-07-08 2014-12-09 Biomet Manufacturing, Llc Method and device for digital image templating
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US8917290B2 (en) * 2011-01-31 2014-12-23 Biomet Manufacturing, Llc Digital image templating
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US20130004070A1 (en) * 2011-06-28 2013-01-03 Huanzhao Zeng Skin Color Detection And Adjustment In An Image
US8890863B1 (en) 2011-08-12 2014-11-18 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US8749580B1 (en) * 2011-08-12 2014-06-10 Google Inc. System and method of texturing a 3D model from video
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US20130132898A1 (en) * 2011-11-17 2013-05-23 Michael F. Cuento System, Method and Software Product in Eyewear Marketing, Fitting Out and Retailing
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
EP3401879B1 (fr) * 2012-03-19 2021-02-17 Fittingbox Procédé de modélisation d'un objet tridimensionnel à partir d'images bidimensionnelles de cet objet prises sous différents angles
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
US20130278626A1 (en) * 2012-04-20 2013-10-24 Matthew Flagg Systems and methods for simulating accessory display on a subject
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US20130335416A1 (en) * 2012-05-23 2013-12-19 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a virtual try-on product
US9483853B2 (en) * 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9652654B2 (en) * 2012-06-04 2017-05-16 Ebay Inc. System and method for providing an interactive shopping experience via webcam
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
KR101696007B1 (ko) * 2013-01-18 2017-01-13 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
US9429773B2 (en) * 2013-03-12 2016-08-30 Adi Ben-Shahar Method and apparatus for design and fabrication of customized eyewear
US9804410B2 (en) 2013-03-12 2017-10-31 Adi Ben-Shahar Method and apparatus for design and fabrication of customized eyewear
US9892447B2 (en) 2013-05-08 2018-02-13 Ebay Inc. Performing image searches in a network-based publication system
AU2014284129B2 (en) 2013-06-19 2018-08-02 Commonwealth Scientific And Industrial Research Organisation System and method of estimating 3D facial geometry
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN105637512B (zh) * 2013-08-22 2018-04-20 贝斯普客公司 用于创造定制产品的方法和系统
US20150063678A1 (en) * 2013-08-30 2015-03-05 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user using a rear-facing camera
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US20150127132A1 (en) * 2013-11-01 2015-05-07 West Coast Vision Labs Inc. Method and system for generating custom-fit eye wear geometry for printing and fabrication
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
US20150277155A1 (en) * 2014-03-31 2015-10-01 New Eye London Ltd. Customized eyewear
US9699123B2 (en) 2014-04-01 2017-07-04 Ditto Technologies, Inc. Methods, systems, and non-transitory machine-readable medium for incorporating a series of images resident on a user device into an existing web browser session
WO2015172229A1 (en) * 2014-05-13 2015-11-19 Valorbec, Limited Partnership Virtual mirror systems and methods
US9086582B1 (en) 2014-08-20 2015-07-21 David Kind, Inc. System and method of providing custom-fitted and styled eyewear based on user-provided images and preferences
US10445798B2 (en) 2014-09-12 2019-10-15 Onu, Llc Systems and computer-readable medium for configurable online 3D catalog
US9767620B2 (en) 2014-11-26 2017-09-19 Restoration Robotics, Inc. Gesture-based editing of 3D models for hair transplantation applications
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
WO2016101124A1 (en) * 2014-12-23 2016-06-30 Intel Corporation Sketch selection for rendering 3d model avatar
CN107004288B (zh) 2014-12-23 2022-03-01 英特尔公司 非面部特征的面部动作驱动的动画
US11557077B2 (en) * 2015-04-24 2023-01-17 LiveSurface Inc. System and method for retexturing of images of three-dimensional objects
CN104881114B (zh) * 2015-05-13 2019-09-03 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN104898832B (zh) * 2015-05-13 2020-06-09 深圳彼爱其视觉科技有限公司 一种基于智能终端的3d实时眼镜试戴方法
CN104899917B (zh) * 2015-05-13 2019-06-18 深圳彼爱其视觉科技有限公司 一种基于3d的物品虚拟穿戴的图片保存和分享方法
WO2017048158A1 (ru) * 2015-09-17 2017-03-23 Арташес Валерьевич ИКОНОМОВ Электронное устройство для подбора товаров
GB2544460A (en) * 2015-11-03 2017-05-24 Fuel 3D Tech Ltd Systems and methods for generating and using three-dimensional images
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US10010372B1 (en) 2016-01-06 2018-07-03 Paul Beck Marker Positioning Apparatus
US10004564B1 (en) 2016-01-06 2018-06-26 Paul Beck Accurate radiographic calibration using multiple images
US10289756B2 (en) * 2016-02-16 2019-05-14 Caterpillar Inc. System and method for designing pin joint
KR102316527B1 (ko) * 2016-03-16 2021-10-25 전대연 맞춤형 안경 스마트 구매 앱 시스템
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
BR102016009093A2 (pt) * 2016-04-22 2017-10-31 Sequoia Capital Ltda. Equipment for acquisition of 3d image data of a face and automatic method for personalized modeling and manufacture of glass frames
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US20180137663A1 (en) * 2016-11-11 2018-05-17 Joshua Rodriguez System and method of augmenting images of a user
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
EP3361149B1 (en) * 2017-02-10 2020-07-08 Harman Professional Denmark ApS Method of reducing sound from light fixture with stepper motors
DE102017203248B3 (de) * 2017-02-28 2018-03-22 Siemens Healthcare Gmbh Verfahren zum Bestimmen einer Biopsieposition, Verfahren zum Optimieren eines Positionsbestimmungsalgorithmus, Positionsbestimmungseinheit, bildgebende medizinische Vorrichtung, Computerprogrammprodukte und computerlesbare Speichermedien
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
CN111010882B (zh) 2017-04-27 2023-11-03 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
CN107154030B (zh) * 2017-05-17 2023-06-09 腾讯科技（上海）有限公司 图像处理方法及装置、电子设备及存储介质
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
EP3410178A1 (de) 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP3425447B1 (de) 2017-07-06 2019-09-11 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP3425446B1 (de) * 2017-07-06 2019-10-30 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
KR102480767B1 (ko) 2017-11-29 2022-12-23 스냅 인코포레이티드 전자 메시징 애플리케이션에서의 그룹 스토리들
KR102387861B1 (ko) 2017-11-29 2022-04-18 스냅 인코포레이티드 전자 메시징 애플리케이션들을 위한 그래픽 렌더링
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
KR102134476B1 (ko) * 2018-03-30 2020-08-26 경일대학교산학협력단 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
WO2019204464A1 (en) 2018-04-18 2019-10-24 Snap Inc. Augmented expression system
DE102018209569B4 (de) * 2018-06-14 2024-05-08 Adidas Ag Schwimmbrille
EP3594736A1 (de) 2018-07-12 2020-01-15 Carl Zeiss Vision International GmbH Bildaufnahmesystem und anpasssystem
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
KR102149395B1 (ko) 2018-08-31 2020-08-31 주식회사 더메이크 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
KR101922713B1 (ko) * 2018-08-31 2019-02-20 이준호 사용자 단말, 중개서버 및 이를 포함하는 안경업체 중개 시스템 및 방법
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10832589B1 (en) 2018-10-10 2020-11-10 Wells Fargo Bank, N.A. Systems and methods for past and future avatars
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10685457B2 (en) 2018-11-15 2020-06-16 Vision Service Plan Systems and methods for visualizing eyewear on a user
US20200159040A1 (en) * 2018-11-21 2020-05-21 Kiritz Productions LLC, VR Headset Stabilization Design and Nose Insert Series Method and apparatus for enhancing vr experiences
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
DE102018009811A1 (de) * 2018-12-13 2020-06-18 YOU MAWO GmbH Verfahren zum Generieren von Herstellungsdaten zur Herstellung einer Brille für eine Person
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
DE102018132243B3 (de) * 2018-12-14 2019-12-24 Carl Zeiss Vision International Gmbh Verfahren zum Herstellen von spezifisch für eine Person bestimmter Brillenfassung und spezifisch für eine Person bestimmten Brillengläsern sowie Brillenfassung, Brillenglas und Brille
KR102231239B1 (ko) 2018-12-18 2021-03-22 김재윤 안경 착용 시뮬레이션 방법
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
KR102325829B1 (ko) * 2018-12-31 2021-11-12 이준호 안면착용 제품 추천 방법 및 그 장치
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US11069153B1 (en) * 2019-02-21 2021-07-20 Fitz Frames, Inc. Apparatus and method for creating bespoke eyewear
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
KR102060082B1 (ko) * 2019-04-04 2019-12-27 송영섭 안경테 구매 시스템 및 그 방법
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11238611B2 (en) 2019-07-09 2022-02-01 Electric Avenue Software, Inc. System and method for eyewear sizing
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
KR20190106852A (ko) 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
KR102293038B1 (ko) * 2019-09-26 2021-08-26 주식회사 더메이크 페이스 타입 및 사이즈별 판매 데이터에 기초하여 안경을 추천하는 시스템 및 방법
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
KR102125382B1 (ko) * 2019-11-26 2020-07-07 로고몬도 주식회사 3차원 모델링의 실시간 렌더링을 활용한 온라인 커머스 제공 방법
KR102091662B1 (ko) * 2019-11-26 2020-05-15 로고몬도 주식회사 3차원 모델링의 실시간 렌더링 방법
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
KR20220133249A (ko) 2020-01-30 2022-10-04 스냅 인코포레이티드 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11464319B2 (en) 2020-03-31 2022-10-11 Snap Inc. Augmented reality beauty product tutorials
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
USD947243S1 (en) * 2020-06-19 2022-03-29 Apple Inc. Display screen or portion thereof with graphical user interface
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
CN112017278B (zh) * 2020-08-28 2024-04-26 西安理工大学 一种基于Grasshopper的泳镜造型定制设计方法
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
KR102287658B1 (ko) * 2020-10-26 2021-08-09 조이레 반려동물 사진을 이용한 비대면 굿즈 제작 서비스 제공 시스템
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US20220163822A1 (en) * 2020-11-24 2022-05-26 Christopher Chieco System and method for virtual fitting of eyeglasses
DE102020131580B3 (de) 2020-11-27 2022-04-14 Fielmann Ventures GmbH Computerimplementiertes Verfahren zum Bereitstellen und Platzieren einer Brille sowie zur Zentrierung von Gläsern der Brille
KR20220075984A (ko) * 2020-11-30 2022-06-08 (주)인터비젼 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11600051B2 (en) * 2021-04-23 2023-03-07 Google Llc Prediction of contact points between 3D models
US11625094B2 (en) 2021-05-04 2023-04-11 Google Llc Eye tracker design for a wearable device
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
CN113706675B (zh) * 2021-08-17 2023-07-21 网易（杭州）网络有限公司 镜像处理方法、装置、存储介质和电子装置
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
KR102625576B1 (ko) * 2021-09-14 2024-01-16 김봉건 고객 맞춤형 추천 안경 제공 시스템
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11875456B2 (en) * 2021-09-30 2024-01-16 Ephere, Inc. System and method of generating graft surface files and graft groom files and fitting the same onto a target surface to provide an improved way of generating and customizing grooms
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
JP7095849B1 (ja) * 2021-11-26 2022-07-05 アイジャパン株式会社 アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
KR102493412B1 (ko) * 2022-02-04 2023-02-08 홍태원 의류 및 사이즈 추천 방법 및 그 방법을 수행하기 위한 서버
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
KR102451690B1 (ko) * 2022-04-01 2022-10-07 이경호 인공지능 기반 사용자 맞춤형 안경 제작 서비스 제공 방법
KR20230168845A (ko) 2022-06-08 2023-12-15 이미진 안경구독서비스장치 및 그 장치의 구동방법
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device
CN117077479B (zh) * 2023-08-17 2024-02-13 北京斑头雁智能科技有限公司 人体工学眼镜设计及制备方法和人体工学眼镜

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535827A (ja) * 1991-05-10 1993-02-12 Miki:Kk 眼鏡の選択および設計システム
JP3072398B2 (ja) * 1991-09-30 2000-07-31 青山眼鏡株式会社 眼鏡枠製造システム
JPH06139318A (ja) * 1992-10-26 1994-05-20 Seiko Epson Corp 眼鏡装用シミュレーション装置
JP2802725B2 (ja) * 1994-09-21 1998-09-24 株式会社エイ・ティ・アール通信システム研究所 表情再現装置および表情再現に用いられるマトリックスの算出方法
JP2813971B2 (ja) * 1995-05-15 1998-10-22 株式会社エイ・ティ・アール通信システム研究所 状態再現方法
BR9600543A (pt) * 1996-02-06 1997-12-30 Samir Jacob Bechara Sistema computadorizado para escolha e adaptação de óculos
JP2894987B2 (ja) * 1996-05-24 1999-05-24 株式会社トプコン 眼鏡表示装置
US5983201A (en) * 1997-03-28 1999-11-09 Fay; Pierre N. System and method enabling shopping from home for fitted eyeglass frames
KR100386962B1 (ko) * 2000-11-02 2003-06-09 김재준 사용자 얼굴 이미지에 안경 이미지를 착용시키는 방법 및시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456162B1 (ko) 2012-10-25 2014-11-03 주식회사 다림비젼 3ｄ 스킨-스켈레톤 모델 레퍼런스 기반의 멀티 스캔 센서를 사용한 실시간 3ｄ 분장/화장/패션/미용 시뮬레이터
KR20190079952A (ko) 2017-12-28 2019-07-08 (주)월드트렌드 맞춤형 조립안경의 판매시스템 및 맞춤형 조립안경
KR20200102833A (ko) * 2019-02-22 2020-09-01 주식회사 쉐마 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템
KR102226811B1 (ko) * 2019-02-22 2021-03-12 주식회사 쉐마 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템

Also Published As

Publication number Publication date
AU2003217528A1 (en) 2003-10-08
KR20040097200A (ko) 2004-11-17
KR20040097349A (ko) 2004-11-17
US20050162419A1 (en) 2005-07-28
EP1495447A1 (en) 2005-01-12
WO2003081536A1 (en) 2003-10-02

Similar Documents

Publication Publication Date Title
KR100523742B1 (ko) 3차원 안경 시뮬레이션 시스템 및 방법
US11914226B2 (en) Method and system to create custom, user-specific eyewear
EP3851903A1 (en) A method and system for providing an eyeglasses frame

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101015

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee