KR20090106040A - 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법 - Google Patents

다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법 Download PDF

Info

Publication number
KR20090106040A
KR20090106040A KR1020080031527A KR20080031527A KR20090106040A KR 20090106040 A KR20090106040 A KR 20090106040A KR 1020080031527 A KR1020080031527 A KR 1020080031527A KR 20080031527 A KR20080031527 A KR 20080031527A KR 20090106040 A KR20090106040 A KR 20090106040A
Authority
KR
South Korea
Prior art keywords
dimensional
makeup
virtual
face
dimensional face
Prior art date
Application number
KR1020080031527A
Other languages
English (en)
Other versions
KR100942026B1 (ko
Inventor
최수미
김정식
김현중
김지인
Original Assignee
세종대학교산학협력단
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, 건국대학교 산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020080031527A priority Critical patent/KR100942026B1/ko
Publication of KR20090106040A publication Critical patent/KR20090106040A/ko
Application granted granted Critical
Publication of KR100942026B1 publication Critical patent/KR100942026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 스캐너로부터 획득한 3차원 얼굴 모델을 사용자가 햅틱(haptic) 장치로 메이크업하고, 메이크업이 된 가상의 얼굴을 입체(stereoscopic) 디스플레이할 수 있도록 함으로써, 사용자로 하여금 자신의 얼굴 모델에 대해 현실감 있고 자연스러운 메이크업을 할 수 있도록 한 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법에 관한 것이다.
또한, 본 발명의 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템은 사용자의 3차원 얼굴 모델을 획득하는 3차원 스캐너; 사용자의 촉감정보를 획득하는 햅틱 장치; 디스플레이 장치 및 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 상기 햅틱 장치로부터 입력되는 촉감정보에 의거하여 메이크업하고, 상기 메이크업된 3차원 얼굴 모델이 디스플레이되도록 상기 디스플레이 장치를 제어하는 컴퓨터를 포함하여 이루어진다.
다중 감각, 햅틱, 메이크업, 렌더링, 입체, 3차원, 스캐너

Description

다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법{makeup system and method for virtual 3D face based on multiple sensation interface}
본 발명은 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법에 관한 것으로, 특히 3차원 스캐너로부터 획득한 3차원 얼굴 모델을 사용자가 햅틱(haptic) 장치로 메이크업하고, 메이크업이 된 가상의 얼굴을 입체(stereoscopic) 디스플레이할 수 있도록 함으로써, 사용자로 하여금 자신의 얼굴 모델에 대해 현실감 있고 자연스러운 메이크업을 할 수 있도록 한 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법에 관한 것이다.
일반적으로, 얼굴에 대한 시각적 인지는 색상, 텍스처(texture), 크기 그리고 형태 등의 크게 네 가지 특성으로 표현된다. 전통적으로 메이크업 산업 분야에서는 사람들의 얼굴에 대한 시각적인 미적 향상을 위해 재료 및 방법 측면에서의 다양한 연구가 있어 왔다.
특히, 컴퓨터 그래픽스와 멀티미디어 연구 분야에서의 기술적 향상이 고품질의 그래픽 결과를 얻고, 고 해상도의 3차원 모델 데이터의 획득을 가능하게 하였 다. 얼굴에 대한 디지털 영상 및 3차원 데이터는 미화(beautification)라고 일컫어지는 연구 분야에서 주요한 모델 표현으로 사용되고 있다. 대표적으로, 2006년 Eisenthal 등은 논문 "Facial attractiveness: Beauty and the machine" 을 통해서, 디지털 영상 데이터베이스(digital image database)로부터 아름다움을 평가하는 기계 학습 방법을 발표했다. 또한, Veyvand 등은 같은 해에 논문 "Digital Face Beautification" 을 통해서, 사람의 얼굴 영상 데이터베이스로부터 아름다움을 평가하는 통계 모델을 구축하여 입력된 영상의 얼굴을 주어진 통계 모델과 텍스처 변형 방법을 이용하여 얼굴을 아름답게 변형시키는 연구를 발표하였다. 한편, 근래에 들어서는 디지털 패션 연구 분야의 하나의 형태로 가상 메이크업에 관련된 어플리케이션의 개발이 활발하게 진행되고 있다.
기존의 컴퓨터를 이용한 메이크업 시스템은 2차원 영상 기반의 연구가 대부분이다. 이를 테면, Reallusion사의 FaceFilter Studio 소프트웨어(http://www.reallusion.com/facefilter)는 2차원 영상 기반의 대표적인 가상 메이크업 소프트웨어이다. 이 프로그램은 주어진 2차원 얼굴 영상에 대한 피부 보정 및 간단한 메이크업 기능을 2차원 마우스 장치를 이용하여 수행하도록 한다. 이와는 달리, VirtualFashion사의 VF Pro(http://virtual-fashion.com)는 시스템에서 제공하는 3차원 얼굴 모델을 사용하여 아이라인, 아이셰도우, 립스틱, 립라이너 및 파운데이션 등의 메이크업 기술을 시뮬레이션할 수 있다. 이 소프트웨어는 고해상도의 메쉬 모델과 텍스처를 사용하여 시각적인 현실감을 제공하지만, 2차원 마우스 입력장치를 사용하고 구형 브러쉬 모델을 채택하고 있으며, 단순히 덧칠 형식의 페 인팅만 가능하다는 한계점을 가지고 있다.
한편, 메이크업 대상이 되는 3차원 모델에 대한 페인팅 작업을 효과적으로 수행하기 위해서는 데이터를 구성하는 해상도와 독립적으로 균일하고 왜곡 없는 정교한 페인팅 결과를 제공해야 한다. 기존의 3차원 그래픽스 연구 분야에서의 대표적인 모델 표현 방법인 기하 메쉬 기반의 렌더링(mesh-based rendering) 방법은 모델 표면의 정교한 구성을 고려할 경우에는 렌더링 성능의 저하를 가져 오고, 모델 표현의 근사화(approximation)를 위해 텍스처 맵핑(texture mapping) 기법을 적용할 경우에는 페인팅 시에 최종 결과 영상의 이미지 왜곡 현상을 보이는 한계점이 있다.
또한, 기존의 3차원 가상 메이크업 시스템은 2차원 입력장치인 마우스와 2차원 디스플레이 장치로 구성된 인터페이스를 이용하여 고정된 시점에서 고해상도 기하 메쉬와 2차원 이미지를 기반으로 얼굴 메이크업 결과를 표현한다. 기존 연구는 3차원 모델 데이터를 메이크업에 다루는 반면에, 2차원 인터페이스의 도입으로 인하여 직관적이고 자연스러운 사용자 인터랙션에 대한 감각을 저하시킨다. 또한 기하 메쉬에 대한 페인팅으로 인한 이미지 왜곡 현상이 동반될 수 있으며, 해당 소프트웨어에서 제공하는 모델에 대해서만 단순한 메이크업 시뮬레이션을 수행할 수 있기 때문에, 자신의 얼굴 모델에 대한 메이크업 수행이 불가능하고 얼굴 텍스처 이미지의 보정 기능을 포함하고 있지 않기 때문에 자신이 원하는 메이크업 결과를 얻을 수 없다는 제약점들이 있다.
따라서, 본 출원인은 최근 햅틱 장치에 대한 연구가 활발하게 이루어지고 있 는 점에 착안하여 사용자와 상호 작용을 할 수 있는 다중 감각 인터페이스 기반의 3차원 페인팅에 대한 연구의 결과로 본 발명에 이르게 되었다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 3차원 스캐너로부터 획득한 3차원 얼굴 모델에 대해 피부 보정을 수행하고, 그 보정 데이터를 이용하여 사용자와 상호 작용이 가능한 얼굴 메이크업을 수행할 수 있도록 한 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법을 제공하는데 그 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은 사용자의 3차원 얼굴 모델을 획득하는 3차원 스캐너; 사용자의 촉감정보를 획득하는 햅틱 장치; 디스플레이 장치 및 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 상기 햅틱 장치로부터 입력되는 촉감정보에 의거하여 메이크업하고, 상기 메이크업된 3차원 얼굴 모델이 디스플레이되도록 상기 디스플레이 장치를 제어하는 컴퓨터를 포함하여 이루어진 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템을 제공한다.
전술한 구성에서, 상기 컴퓨터는 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델에 대하여 피부 보정을 수행하고, 상기 피부 보정된 3차원 얼굴 모델에 대해 메이크업하는 것이 바람직하다.
상기 피부 보정에는 노이즈를 제거하는 얼굴 필터링 과정과 피부 색조를 변경하는 과정이 포함되는 것이 바람직하다.
상기 디스플레이 장치는 입체 영상을 제공하는 것이 바람직하다.
상기 3차원 스캐너에 의해 획득되는 3차원 얼굴 모델에는 사용자 얼굴의 기하학적인 정점 정보, 텍스처 정보 및 표면 정보가 포함되는 것이 바람직하다.
상기 햅틱 장치는 외부의 힘을 상기 컴퓨터로 전달하는 스타일러스 펜을 포함하여 이루어지는 것이 바람직하다.
또한, 본 발명은 사용자 인터페이스로서 3차원 스캐너와 햅틱 장치가 적용되어 있는 컴퓨터에서 수행되며, 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 상기 햅틱 장치로부터 입력되는 촉감정보에 의거하여 메이크업하는 (a) 단계 및 상기 (a) 단계에서 메이크업된 3차원 얼굴 모델을 렌더링하여 디스플레이하는 (b) 단계를 포함하여 이루어지는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법을 제공한다.
전술한 구성에서, 상기 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법은 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델에 대하여 피부 보정하는 (pa) 단계를 더 포함하여 이루어지되, 상기 (a) 단계는 상기 피부 보정된 3차원 얼굴 모델에 대해 메이크업하는 것에 의해 수행되는 것이 바람직하다.
상기 (a) 단계는 상기 피부 보정된 3차원 얼굴 모델에서 눈 영역에는 메이크업을 적용하지 않도록 하는 것에 의해 수행되는 것이 바람직하다.
상기 (pa) 단계는 노이즈를 제거하는 얼굴 필터링 과정과 피부 색조를 변경하는 과정에 의해 수행되는 것이 바람직하다.
상기 (pa) 단계에서 얼굴 필터링은 가우시안 필터링, 메디안 필터링 및 히스토그램 평활화 기법에 의해 수행되는 것이 바람직하다.
상기 컴퓨터에는 다수의 색조 정보가 수록되어 있는 색조 테이블이 저장되되, 상기 (pa) 단계에서 피부 색조 변경은 상기 색조 테이블에서 어느 하나의 색조 정보를 반영하는 것에 의해 수행되는 것이 바람직하다.
상기 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법은 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 얼굴 표면을 구성하는 정점에 대한 위치 정보를 나타내는 위치 벡터, 얼굴 표면을 구성하는 정점에 대한 법선 벡터 및 얼굴 표면을 구성하는 정점에 대한 셰이딩 속성값을 포함하는 데이터 포맷으로 변환하는 단계를 더 포함하여 이루어지되, 상기 (pa) 단계는 상기 데이터 포맷으로 변환된 3차원 얼굴 모델에 대해 피부 보정하는 것에 의해 수행되는 것이 바람직하다.
상기 (b) 단계에서 렌더링은 상기 컴퓨터의 그래픽 프로세스 유닛에서 처리되는 것에 의해 수행되는 것이 바람직하다.
본 발명의 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법에 따르면, 현실감 있고 자연스러운 사용자 인터랙션 환경을 지원하고, 사용자 중심의 얼굴 모델 획득과 피부 보정, 그리고 실제적 메이크업 기능들의 반영을 통하여 실제 메이크업과 유사한 가상 시뮬레이션 방법을 제공할 수 있다.
이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법에 대해서 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템의 구성도이고, 도 2는 도 1에서 보인 3차원 스캐너 장치를 이용한 3차원 얼굴 모델의 획득 장면을 보인 화면 예시도이며, 도 3은 본 발명에 적용될 수 있는 햅틱 장치를 보인 화면 예시도이다.
도 1에 도시한 바와 같이, 본 발명의 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템(이하, 간단히 '메이크업 시스템'이라 한다)(100)은 사용자의 3차원 얼굴 모델을 획득하는 3차원 스캐너(140), 사용자의 촉감정보를 획득하는 햅틱 장치(120), 입체 디스플레이 장치(130) 및 3차원 스캐너(140)으로부터 입력되는 3차원 얼굴 모델에 대하여 피부 보정을 수행하고, 피부 보정된 3차원 얼굴 모델을 햅틱 장치(120)로부터 입력되는 촉감정보에 의거하여 메이크업하며, 메이크업된 3차원 얼굴 모델이 디스플레이되도록 입체 디스플레이 장치(130)을 제어하는 컴퓨터(110)을 포함하여 이루어질 수 있다.
전술한 구성에서, 3차원 스캐너(140)는 사용자 얼굴의 기하학적인 정점 집합과 텍스처 정보를 획득(도 2의 식별번호 11 참조, 도2의 식별번호 13 참조)하여 사용자 얼굴에 대한 형상과 외형적 특성을 복합적으로 표현하는 것이다. 이를 테면, 3차원 스캐너(140)는 사이버웨어(cyberware)사에서 제공하는 사이버웨어3030과 지오매트릭(Geometrix)사의 스캐너 장치인 페이스비전(FaceVision)으로 구현될 수 있다. 여기서, 사이버웨어 3030은 저감도 레이저와 고품질 비디오 센서로 구성된 모듈로부터 사용자 얼굴의 기하 정점 집합과 텍스처 정보를 획득하도록 한다. 또한, 페이스비전은 두 개의 적외선 카메라 장치를 이용하여 빠른 속도로 3차원 얼굴의 표면 정보를 획득하도록 한다.
다음으로, 햅틱 장치(120)는 도 3에 도시한 바와 같이, 사용자의 피부(예, 손가락) 자극을 인지하여 그에 상응하는 촉감 정보를 컴퓨터(110)에 전달하여 주는 인터페이스 장치이다. 즉, 사용자는 이 장치를 이용하여 자신이 가할 수 있는 힘과 외부 환경에 의한 반작용 힘을 햅틱 장치(120)에 구비된 스타일러스 펜(stylus pen)을 이용하여 전달할 수 있다. 구체적으로, 본 발명에서는 컴퓨터(110)에 구현된 가상의 메이크업 도구를 스타일러스 펜의 힘 전달부에 연결하고 시각적 렌더링 공간과 햅틱 렌더링 공간을 일치시켜 사용자가 메이크업 수행 시에 3차원 얼굴 모델을 접촉하고 조작하는 실제적 감각을 제공한다. 또한, 본 발명에서는 햅틱 장치(120)에 의한 힘의 계산 및 충돌 검사를 위하여 정점 기반 햅틱 렌더링 방법을 사용한다. 이 방식에서는 HIP(haptic interface point)에 해당하는 스타일러스 펜의 작동자(end-effector) 위치가 인코더(encoder)를 통하여 이산화되고, 그 정보가 가상의 물체와의 충돌을 감지하고 힘을 계산하는 데 사용된다. 일단 충돌이 감지되면, IHIP(ideal haptic interface point)와 같은 접촉 지점이 결정되고 IHIP와 HIP 좌표간 거리차이로부터 계산된 침투(penetration) 깊이 벡터를 통해 최종 힘을 구하여 햅틱 스타일러스에 반영한다. 또한, 본 발명에는 힘 계산과 충돌 검사, 그리고 햅틱과 그래픽 렌더링 작업의 동기화를 효과적으로 처리하기 위해 이를테면, 센세이블(Sensable) 사의 오픈햅틱스(OpenHaptics) 라이브러리가 적용될 수 있다.
다음으로, 입체 디스플레이 장치(130)는 인간의 시각 체계가 갖는 물체에 대 한 공간감을 실현한 것이다. 이를 테면, 입체 디스플레이 장치(130)는 사용자에게 실감형 스테레오 영상을 지원하기 위해 씨리얼(SeeReal)사의 C-s 오토스테레오 3D 디스플레이 장치로 구현될 수 있는바, 이 장치를 통해 사용자는 반사체가 부착된 헤드프레임을 착용한 후, 적외선 트랙킹을 지원하는 예컨대, TFT LCD 모니터를 통해 3차원 영상을 보게 된다. 또한, 이 장치의 스테레오 원리는 수직 방향으로 스크린 픽셀을 홀/짝수 형태로 그룹화한 후, 왼쪽 눈에는 홀수의 픽셀 영역을 투영하고, 반대에는 짝수의 픽셀 영역을 투영하는 투뷰(two view) 디스플레이 방식이다.
다음으로, 컴퓨터(110)는 앞서 서술한 기능 즉, 피부 보정 및 메이크업을 위한 모듈과 그 이외의 부가적인 기능모듈이 탑재된 것인바, 이에 대해서는 아래 도 4를 참조로 하여 자세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법을 개략적으로 설명하기 위한 흐름도이고, 도 5 내지 도 12는 본 발명의 일 실시예에 따른 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법을 구체적으로 설명하기 위한 개념도이다.
먼저, 단계 S10에서는 3차원 스캐너(140)에 의해 정점, 텍스처 및 표면 정보를 포함하는 3차원 얼굴 데이터를 획득하게 된다.
다음으로, 단계 S20에서 컴퓨터(110)는 3차원 스캐너(140)로부터 입력되는 3차원 얼굴 데이터의 구조를 그래픽 렌더링에 용이한 포맷으로 변환하게 된다. 이를테면, 3차원 스캐너(140)에 의해 획득된 표면 정보의 각 정점은 컴퓨터(110)에 의해 Surfel(surface elements)이라고 하는 자료 구조로 변환되어 실제적인 메이크업 및 피부 보정 기능에 사용되는 것이다.
여기서, Surfel은 2000년 Pfister 등에 의해 발표된 "Surfels: surface elements as rendering primitives" 라는 논문에서 제안되어 있는 것이다. 구체적으로, Surfel은 비 구조화된 정점 집합에 대하여 고품질 및 고성능의 그래픽 렌더링을 지원하기 위해 사용되는 데이터 포맷인바, 하나의 Surfel 데이터는 도 5에 도시한 바와 같이, 얼굴 표면을 구성하는 하나의 정점에 대한 위치 정보를 나타내는 위치 벡터, 방위를 나타내는 법선 벡터 그리고 다양한 시각적 효과를 부여하는 데 사용되는 셰이딩(Shading) 속성값(주변광, 반사광, 분산광, 광택도 등)들을 포함하게 된다.
또한, 이 단계에서 컴퓨터(110)는 원본 스캐닝 데이터를 Surfel 구조로 변환하기 위하여 기하 정점 데이터와 텍스처 이미지를 일 대 일 맵핑시켜, 각 정점 당 Surfel 데이터를 재구성하게 된다. 즉, 도 3은 재구성된 Surfel 데이터 구조와 시각화에 대한 설명을 나타내는 것인바, 여기서 도면 부호 21은 Surfel의 상세한 구조를 나타내는 것이고, 23은 이러한 구조를 이용하여 정점 모델의 표면을 표현하는 방법에 대하여 나타내는 것이며, 25는 Surfel 기반의 3차원 얼굴 표면 모델의 그래픽 렌더링 결과의 일 예를 보여준 것이다.
결과적으로 상기한 단계 S20에 따르면, 본 발명에 채택된 Surfel 기반의 형상 표현 방법은 기존의 보편화된 기하 형상 표현 즉, 폴리곤(polygon)을 이용한 입체 형상 표현 방법과는 달리, 각 요소간 연결 관계를 포함하지 않기 때문에 복잡한 기하학적 처리를 효율적으로 수행할 필요가 있는 경우와 분말 도료를 이용한 실제 적 메이크업을 가상 메이크업 시스템으로 모사하는 경우에 적합하다.
다시 도 4로 돌아가서, 컴퓨터(110)는 Surfel 구조로 포맷이 변환된 얼굴 데이터에 대해 피부 보정을 수행하는바, 단계 S30에서는 노이즈를 제거하고 그 다음, 단계 S40으로 진행하여 얼굴 텍스처의 전반적인 피부 색조를 사용자가 원하는 것으로 변경하게 된다.
구체적으로, 단계 S30은 3차원 스캐너(140), 조명이나 얼굴 피부 상태에 기인하는 다양한 형태의 노이즈(잡티, 국부적인 음영, 그 외의 불필요한 부위 등)를 제거하는 전처리 얼굴 필터링 과정이다.
이러한 전처리 얼굴 필터링 방법은 3차원 스캐너(140)에 의해 생성된 데이터의 기하학적 정보는 유지하면서, 각 요소에 해당하는 텍스처 데이터에 세 가지 필터를 복합적으로 적용하여 얼굴 텍스처의 보정 작업을 수행한다. 이때, 컴퓨터(110)는 필터링을 적용하기에 앞서, 3차원 공간상에서 표현되는 Surfels로부터 픽셀 정보를 2차원의 컬러 버퍼에 투영(projection)하여 영상을 획득하고, 이렇게 획득된 영상에 대하여 필터링 즉, 단계 S30을 적용하게 된다. 그러면, 필터링 처리가 된 영상 정보는 다시 3차원 공간상으로 역투영(back projection)되어 최종 텍스처 보정 단계가 반영된다.
여기서, 첫 번째 필터는 정규 분포를 갖는 가우시안 잡음을 제거하기 위하여 가우시안(gaussian) 필터링(도 6 참조)을 적용하여 얼굴 텍스처의 표면에 부드러움을 주는데 사용된다. 가우시안 필터링은 크게 7 x 7과 15 x 15 두 가지 형태의 마스크를 컨볼루션 (convolution) 연산에 이용한다. 컨볼루션 연산이란 2차원 영상에 대한 필터링 작업에 사용되는 함수로 샘플링된 정방 형태의 영상 데이터를 대상으로 하여 중심 픽셀 영역에 해당 중심 픽셀의 주변 픽셀 값들에 대해 가중치를 부여하여 합산한 결과를 다시 중심 픽셀에 반영하는 것이다.
두 번째 필터는 전체 영상의 픽셀 값과는 뚜렷하게 다른 픽셀 값에 의한 잡음인 임펄스 잡음을 제거하기 위한 것으로 본 발명에서는 메디안 (median) 필터(도 6 참조)가 적용된다. 이 필터링은 정방 형태로 샘플링된 영상 데이터 값들을 내림차순으로 정렬하여 그 중에서 가운데 값을 중심 픽셀 값으로 반영하는 과정으로 처리하는 것이다.
세 번째 필터는 원본 텍스쳐의 불균형한 색들의 분포를 분석한 결과를 이용하여 텍스처의 밝기와 대비를 자동 보정하여 영상 전체의 가독성을 향상시켜 텍스쳐 품질을 보정하는 역할을 수행한다. 이를 처리하기 위하여 본 발명에서는 텍스처의 통계적 정보에 기반하는 히스토그램 평활화 기법(도 6 참조)이 적용된다. 히스토그램 평활화 기법은 얼굴 영상에 분포되어 있는 픽셀값들의 개수를 계산하여 전반적으로 정규 분포를 갖도록 픽셀 값들을 재조정하는 방법으로 처리된다.
다음으로, 단계 S40은 얼굴 텍스처의 전반적인 피부 색조를 다양한 색으로 균일하게 변경하는 피부 색조 변경 과정이다.
피부 색조 변경 기능은 3차원 공간상에서 표현되는 Surfels 데이터 전체에 대하여 적용된다. 이를테면, 컴퓨터(110)는 사용자에게 총 여덟 가지의 색조 정보가 수록되어 있는 색조 테이블(도 7 참조)을 제공하여 사용자가 원하는 색조를 얼굴 피부에 반영하도록 한다. 색조의 변경을 위하여 본 발명에서는 본래 얼굴 피부 의 색조를 표현하는 베이스 레이어(base layer)와 반영할 색조를 표현하는 페인팅 레이어 (painting layer)를 버퍼 형태로 구성하여 이들을 혼합(blending; 이하, '블렌딩'이라 한다)한 후에 최종 surfels 데이터에 적용한다. 채택한 블렌딩 수식은 아래 수학식 1에 의해 정의된다.
C = Cb x (1 - I) + Cp x I.
여기서, C는 블렌딩된 최종 색상을 의미하고, Cb는 본래 얼굴 영상의 색상을 의미하며, Cp는 얼굴 영상에 적용할 색조를 의미한다. I는 Cp와 Cb의 블렌딩 가중치를 결정하는 값이다.
다시 도 4로 돌아가서, 단계 S50에서 컴퓨터(110)는 햅틱 장치(120)로부터 입력되는 촉감 정보에 기반으로 하여 피부 보정된 얼굴 데이터에 대해 메이크업을 수행하게 되는바, 구체적으로는 다음의 시나리오 형태로 처리할 수 있다.
사용자는 메이크업을 수행할 때, 햅틱 장치(120)에 부착된 스타일러스 펜을 쥐고 가상 3차원 화장 스펀지(sponge) 오브젝트(이하, 간단히 '스펀지 오브젝트'라 한다)를 가상의 얼굴 표면에 접촉하게 된다. 그러면, 컴퓨터(110)는 스펀지 오브젝트를 Surfel 데이터에 의해 표현되는 얼굴 모델 표면에 접촉하면서, 얼굴 표면의 베이스 레이어의 색상 정보와 스펀지 오브젝트가 저장하고 있는 페인팅 레이어의 색상을 추출(도 8의 도면 부호 31 참조)하고 그 다음, 이들을 블렌딩(도 8의 도면 부호 33 참조)한 후, 최종 메이크업 시뮬레이션을 처리(도 8의 도면 부호 35 참조) 한다.
여기서, 스펀지 오브젝트는 연속적인 3차원 표면을 이산화(discretization)된 형태로 표현하는 복셀(voxel) 데이터로 구성되는 것이다. 또한, 메이크업 결과는 메이크업 색상, 사용자가 전달하는 힘의 크기, 보습 속성 및 스펀지 오브젝트의 크기에 의해 결정된다. 또한, 베이스 레이어는 초기 얼굴 즉, 노이즈가 제거된 얼굴의 색조 정보를 저장하는 것이고, 페인팅 레이어는 추가적인 색조 변경이나 메이크업 색조를 저장하는 것이다.
아울러, 햅틱 인터랙션에 의한 최종 메이크업 색조 결정은 상기한 수학식 1과 아래 수학식 2에 의해 정의된다.
I = (0.3 x IG) + (0.3 x IM) + (0.4 x IF).
여기서, I는 크게 세 가지 가중치 요소에 의해 결정되는 것인바, IM는 보습 정도를 나타내는 가중치이고, IG는 스펀지 오브젝트의 중심으로부터 결정되는 가우시안 분포에 따른 가중치이며, IF는 햅틱 스타일러스에 의해 가해지는 힘에 따른 가중치를 나타내는 것이다. 그리고, 각 가중치 값에 곱해지는 계수들은 경험적 실험에 따라 자연스러운 색조 블렌딩 결과를 보여주도록 결정된 수치이다.
한편, 컴퓨터(110)는 다음의 마스크 생성과 연계하여 상기한 메이크업을 수행하는 것이 바람직하다. 즉, 컴퓨터(110)는 실제 메이크업과 유사한 가상 메이크업의 결과를 얻기 위하여 사용자 얼굴을 눈, 입술 및 피부 세 영역으로 구분하고 입술과 피부 영역에는 메이크업을 적용하도록 하고 눈 영역에는 메이크업을 적용하지 않도록 하는 것이다.
구체적으로, 컴퓨터(110)는 도 9에 도시한 바와 같이, 우선 사용자의 얼굴 영상에 대하여 2002년 Lienhart 등에 의해 발표된 "An Extended Set of Haar Like Feature for Rapid Object Detection" 이라는 논문에 제안된 AdaBoost 기반 특징점 검출(feature detection) 방법을 적용하여 주요 특징 요소(얼굴, 눈 및 입술)들을 포함하는 영역을 찾는다. 그런 후, 각각 검출된 영역에 대하여 세 가지 영상처리 과정 즉, 외곽선 검출, 오브젝트 윤곽에 대한 다각형화 및 오브젝트 내부 채우기를 차례대로 적용하여 눈, 입술, 얼굴 피부에 대한 마스크 영상을 생성한다. 최종적으로, 생성된 마스크 영상에 일치하는 3차원 공간상의 영역을 결정한다.
보다 구체적으로 살펴보면, 상기한 AdaBoost 알고리즘은 Haar function을 사용하여 얼굴을 포함하는 포지티브(positive)영상 및 얼굴과는 유사한 색이나 구조적 특성을 포함하지만 얼굴을 포함하지 않는 네거티브(negative)영상을 입력 데이터로 하여 영상의 주요 특징인 얼굴, 눈 및 입술 영역을 검출하기 위한 통계적 모델을 구축하고, 이렇게 구축된 통계적 모델을 통해 학습된 패턴의 연결을 이용하여 주어진 영상으로부터 실시간 얼굴 특징 영역들을 검출하는 것이다. 이를테면, 컴퓨터(110)는 정확한 얼굴, 눈, 그리고 입술 영역을 찾기 위하여 각각 34,000개의 포지티브영상과 네거티브영상을 학습표본데이터(통계적 모델)로 사용하고, 10개의 Haar-Feature 집합과 20개의 약한 분류기(weak classifier)들의 집합으로 구성된 강한 분류기 집합(strong classifier)을 이용하여 눈과 입과 같은 주요 특징 영역 에 대한 선분과 에지 성분들을 검출(도 9 도면부호 41 참조)하게 된다.
다음으로, 컴퓨터(110)는 대상 이미지에 가우시안 평활화와 영상의 기울기를 구하는 필터를 사용해서 외곽선을 검출하고(도면 부호 43 참조) 그 다음, 주어진 점들의 집합을 둘러싸는 다각형을 구한 후(도면 부호 45 참조), 이렇게 찾아진 다각형 영역에 flood filling 방법을 사용하여 다각형 안쪽 영역을 특정 색으로 채워 최종적인 얼굴 특징 영역에 대한 마스크를 완성하게 된다(도면 부호 47 참조).
이때, 컴퓨터(110)는 3차원 스캐너(120)의 3차원 얼굴 모델 스캐닝 과정을 통해, 이미 2차원 영상에서의 얼굴 영역과 3차원 정점 데이터에서의 얼굴 영역을 일치시키는 정보를 알고 있다. 따라서, 이러한 맵핑 정보를 이용하여 2차원 영상으로부터 결정된 마스크 영역을 3차원 표면 모델에 반영하여 결과 영상의 특정 영역에 상응하는 기하 정보의 정점에 대해서 레이블링(labeling)이 가능하다.
다시 도 4로 돌아가서, 단계 S60에서 컴퓨터(110)는 가상 메이크업의 결과를 정점 기반 표면 모델의 고품질 그래픽으로 렌더링하게 된다. 특히, 컴퓨터(110)는 그래픽 프로세스 유닛(graphics processing unit; GPU) 기반 EWA (Elliptical Weighted Average) 스플랫팅(splatting) 렌더링 방법을 이용하여 메이크업이 적용된 최종 그래픽을 렌더링하는 것이 바람직하다.
정점 기반 표면 모델은 위에서 언급한 Surfels의 자료구조를 기반으로 표현된다. 기존의 컴퓨터그래픽스 분야에서는 메쉬(다각형)기반의 그래픽 렌더링 방법을 통해 3차원 모델을 표현하였다. 이 방법은 3차원 모델의 표면을 구성하는 정점들을 다각형의 형태로 연결하고 그 다각형의 표면에 텍스쳐와 셰이딩을 이용하여 색을 입히는 과정을 수행한다. 이와는 대조적으로 정점 기반 표면 모델은 각 정점을 다각형으로 연결하지 않고 모델을 표현한다. 하지만 기존의 정점표현 방법 그대로를 사용해서는 3차원 모델의 표면을 표현할 수 없다. 따라서 정점 기반 표면 모델에서는 각 정점의 위치를 중심으로 하는 원(또는 타원)형태의 디스크를 그리고, 이 디스크들 사이에 빈 공간이 없도록 디스크의 크기를 크게하여 3차원 모델의 표면을 표현한다. 또한 3차원 모델의 굴곡을 표현하기 위하여 각 디스크의 표면을 Surfel의 법선벡터에 수직하도록 그린다. 이후 최종적으로 Surfel의 법선벡터와 색상정보를 사용한 셰이딩 과정을 통하여 3차원 모델의 색으로 표현할 수 있게 된다. 이러한 원시적인 방법은 셰이딩 과정에서 각 디스크 간 중첩에 의한 그래픽 잡음을 야기한다. 이러한 잡음을 제거하기 위한 방법이 바로 스플랫팅이다. 스플랫팅은 각 Surfel 디스크들이 중첩되는 영역을 알파값 기반의 블렌딩 방법을 이용하여 시각적으로 부드럽게 나타낸다. 이러한 스플랫팅 기반의 그래픽 렌더링 방법은 2001년 Zwicker 등에 의해 발표된 "Surface Splatting"이라는 논문 이후로 최근까지 꾸준히 발전하고 있다. 초기의 방법들은 순수하게 CPU에서 모든 계산과정을 수행하였지만, 최근에는 급속한 성능 향상을 보이고 있는 GPU(그래픽카드)를 이용한 GPU 기반의 스플랫팅 방법이 개발되었다.
따라서, 컴퓨터(110)는 2003년 Guennebaud 등이 제안한 "Efficient screen space approach for Hardware Accelerated Surfel Rendering" 논문을 적용하여 모델 표면의 고품질의 실시간 그래픽 렌더링 과정을 처리하게 된다. 도 10은 비 스플랫팅, CPU 기반 스플랫팅 및 GPU 기반 스플랫팅 방법에 따른 렌더링 결과의 비교한 것인바, 이를 통해 본 발명에 적용된 GPU 기반 스플랫팅 방법이 실시간의 고품질 그래픽 렌더링 성능을 보장하는 것임을 알 수 있다.
도 11은 GPU 기반 스플랫팅 그래픽 렌더링 방법의 주요 과정을 나타내는 것인바, 본 발명에 적용된 GPU 기반 스플랫팅 렌더링 방법은 크게, 세 가지 과정을 통해서 수행된다. 각 과정은 순서대로 가시성 스플랫팅 과정(Visibility Splatting Pass)(도면 부호 61 참조), 셰이딩과 블렌딩 과정(Shading & Blending Pass)(도면 부호 63 참조) 및 정규화 과정(Normalization Pass)(도면 부호 65 참조)이라고 부른다. 또한, 스플랫팅의 각 과정은 셰이더 프로그램을 이용하여 GPU 프레임워크 안에서 수행된다. 또한, 프로그래머블(programmable) GPU의 렌더링 파이프라인은 크게 정점 셰이더(vertex shader)와 프래그먼트 셰이더(fragment shader)로 프로그래밍이 가능하다. 정점 기반 모델의 Surfels 집합은 CPU 프레임워크에서 OpenGL API를 이용하여 GPU 프레임워크에 전달되고 상기에서 언급한 세 가지 과정을 통해서 최종 결과 영상을 만들어 낸다.
첫째, 컴퓨터(110)는 모델 표면에 대한 정확한 깊이 정보를 얻기 위해 가시성 스플랫팅을 수행하게 된다.
둘째, 컴퓨터(110)는 현재 Surfel의 디스크에 이웃하는 디스크들이 겹쳐지는 영역에 대하여 부드러운 렌더링 결과를 제공하기 위해 셰이딩과 블렌딩 과정을 수행하게 된다(도 12의 도면 부호 63a 및 63b 참조). OpenGL 등의 표준 그래픽 라이브러리와 하드웨어 장치들은 디스크나 타원형태의 렌더링 기본 요소를 지원하지 않는다. 따라서, 먼저 정점위치를 중심으로 하는 사각형을 그린 후 그 내부에 디스크 가 차지하는 영역을 결정하고 디스크 외부 영역은 알파 블렌딩을 통해서 제거하는 방법으로서 디스크 형태를 표현한다. 이를 처리하기 위하여 컴퓨터(110)는 우선, 정점 셰이더를 이용하여 3차원 공간에서 렌더링될 디스크를 포함하는 사각형의 크기를 결정하고, 그 사각형이 스크린 공간으로 맵핑되었을 때 사각형의 영역 안에서 디스크가 차지하는 영역을 결정한다. 그런 후, 프래그먼트 셰이더를 이용하여 정점 셰이더에서 결정된 디스크 영역 안의 각 프래그먼트 (fragment)의 정확한 깊이(Depth) 정보를 계산한다.
다시 말하자면, 정점 셰이더는 각 Surfel을 디스크형태로 렌더링하고 색상 정보와 법선벡터를 통해 셰이딩 과정을 수행한다. 그 후, 프래그먼트 셰이더에서는 정점 셰이더에서 계산된 결과영역에 대해서 디스크 중심으로 부터의 거리에 따른 가우시안 함수를 적용해서 각 프래그먼트의 가중치(weight)를 구한다. 각 프래그먼트의 가중치와 색상정보는 픽셀 자료구조의 알파(alpha)와 RGB 공간에 각각 할당되고, 이는 그래픽 카드의 프레임 버퍼(frame buffer)에 저장된다. 즉, 도 12은 각 정점에 대한 그래픽 렌더링 대상이 되는 Surfel에 대한 디스크 형태의 래스터화(Rasterization) 과정을 나타내는 것이다. 이 과정에서는 각 픽셀 영역마다 겹쳐지게 되는 여러 프래그먼트들의 색상정보를 알파 공간에 저장된 값에 따라 블렌딩하고 새로이 계산된 가중치 값을 누적한다. 그 결과 최종적으로 누적된 가중치 값과 블렌딩된 색상정보에 대한 결과 이미지를 얻을 수 있다.
셋째, 컴퓨터(110)는 프레임 버퍼에 저장된 결과이미지를 텍스처 형태로 참조하고 비 정규화된 결과 이미지에 대해서 정규화(nomalization)하는 과정을 수행 하게 된다. 두 번째 과정까지의 결과 이미지는 각 픽셀 영역에 겹쳐진 프래그먼트의 누적된 가중치 값의 합에 따라서 자료의 표현 범위가 결정된다. 하지만, 각 픽셀마다 겹쳐진 프래그먼트의 개수와 가중치의 값이 다르기 때문에 자료 표현 범위가 비정규적인 형태로 나타나고 이러한 결과는 잘못된 렌더링 결과를 야기한다. 이를 해소하기 위하여 정규화 과정을 수행하는 것이다.
다시 도 4로 돌아가서, 단계 S70에서 컴퓨터(110)는 렌더링된 가상의 메이크업 영상이 디스플레이되도록 입체 디스플레이 장치(130)를 제어하게 된다.
이상을 종합해 보면, 본 발명은 정점 기반의 표면 데이터를 기본 입력으로 사용한다. 이 표면 데이터는 적외선 및 레이저 3차원 스캐너로부터 획득할 수 있다. 이렇게 생성된 정점 기반 얼굴 표면 데이터를 이용하여 2차원 영상 처리 방법들을 3차원 모델에 확장 적용하여 조명과 사용자 얼굴 피부 상태에 기인하는 에러 및 속성들을 보정하고 피부 톤을 사용자가 선호하는 색으로 변경한다.
또한, 본 발명에서는 직관적이고 자연스러운 인터랙션을 가상 얼굴 메이크업에 제공하기 위하여 사용자에게 촉감을 전달하는 햅틱 장치와 공간감을 제공하는 입체 디스플레이 장치를 혼합한 다중 감각 기반의 인터페이스를 제공한다.
또한, 본 발명은 정점 기반 얼굴 표면 데이터에 대하여 햅틱 인터랙션을 수행하여, 두 개의 레이어로 구성된 페인팅 모델을 이용하여 왜곡 없는 정교한 메이크업 기능을 사용자에게 제공하고, 다양한 시점에서의 직관적인 메이크업을 가능하게 한다.
마지막으로, 본 발명의 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템 및 방법은 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수 있음을 밝혀둔다.
메이크업 시장 규모는 여성 시장의 경우 매년 6%의 성장세를 보였으며, 올해 6조 2천억원의 규모를 전망하고 있다. 그리고, 남성 시장의 경우 매년 10%의 성장세를 보이고 있으며, 올해 5천억원 규모를 전망하고 있다. 본 발명의 가상 메이크업 시스템이 개발될 경우, 크게 세 가지 측면에서의 산업상 이용 가능성을 보인다. 첫째, 웹 환경에서의 가정용 가상 메이크업 시스템으로 이용될 수 있을 것이다. 둘째, 오프라인 화장품 매장에 설치되어 고객이 직접 가상의 메이크업을 시뮬레이션 할 수 있는 시스템으로서 화장품을 개발하는 업체들의 제품이나 매장 홍보 등에 활용될 수 있을 것이다. 마지막으로, 옷과 헤어 디자인 등의 패션 시장과 연동하여 종합 패션몰 등에 이용될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템의 구성도이고,
도 2는 도 1에서 보인 3차원 스캐너 장치를 이용한 3차원 얼굴 모델의 획득 장면을 보인 화면 예시도이며,
도 3은 본 발명에 적용될 수 있는 햅틱 장치를 보인 화면 예시도이며,
도 4는 본 발명의 일 실시예에 따른 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법을 개략적으로 설명하기 위한 흐름도이며,
도 5 내지 도 12는 본 발명의 일 실시예에 따른 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법을 구체적으로 설명하기 위한 개념도이다.
*** 도면의 주요 부분에 대한 부호의 설명 ***
100: 메이크업 시스템
110: 컴퓨터 120: 햅틱 장치
130: 입체 디스플레이 장치 140: 3차원 스캐너

Claims (14)

  1. 사용자의 3차원 얼굴 모델을 획득하는 3차원 스캐너;
    사용자의 촉감정보를 획득하는 햅틱 장치;
    디스플레이 장치 및
    상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 상기 햅틱 장치로부터 입력되는 촉감정보에 의거하여 메이크업하고, 상기 메이크업된 3차원 얼굴 모델이 디스플레이되도록 상기 디스플레이 장치를 제어하는 컴퓨터를 포함하여 이루어진 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템.
  2. 제 1항에 있어서,
    상기 컴퓨터는 상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델에 대하여 피부 보정을 수행하고, 상기 피부 보정된 3차원 얼굴 모델에 대해 메이크업하는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템.
  3. 제 2항에 있어서,
    상기 피부 보정에는 노이즈를 제거하는 얼굴 필터링 과정과 피부 색조를 변경하는 과정이 포함되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템.
  4. 제 1항 내지 3항 중 어느 한 항에 있어서,
    상기 디스플레이 장치는 입체 영상을 제공하는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템.
  5. 제 4항에 있어서,
    상기 3차원 스캐너에 의해 획득되는 3차원 얼굴 모델에는 사용자 얼굴의 기하학적인 정점 정보, 텍스처 정보 및 표면 정보가 포함되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템.
  6. 제 5항에 있어서,
    상기 햅틱 장치는 외부의 힘을 상기 컴퓨터로 전달하는 스타일러스 펜을 포함하여 이루어지는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 시스템.
  7. 사용자 인터페이스로서 3차원 스캐너와 햅틱 장치가 적용되어 있는 컴퓨터에서 수행되며,
    상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 상기 햅틱 장치로부터 입력되는 촉감정보에 의거하여 메이크업하는 (a) 단계 및
    상기 (a) 단계에서 메이크업된 3차원 얼굴 모델을 렌더링하여 디스플레이하 는 (b) 단계를 포함하여 이루어지는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  8. 제 7항에 있어서,
    상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델에 대하여 피부 보정하는 (pa) 단계를 더 포함하여 이루어지되,
    상기 (a) 단계는 상기 피부 보정된 3차원 얼굴 모델에 대해 메이크업하는 것에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  9. 제 8항에 있어서,
    상기 (a) 단계는 상기 피부 보정된 3차원 얼굴 모델에서 눈 영역에는 메이크업을 적용하지 않도록 하는 것에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  10. 제 9항에 있어서,
    상기 (pa) 단계는 노이즈를 제거하는 얼굴 필터링 과정과 피부 색조를 변경하는 과정에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  11. 제 10항에 있어서,
    상기 (pa) 단계에서 얼굴 필터링은 가우시안 필터링, 메디안 필터링 및 히스토그램 평활화 기법에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  12. 제 11항에 있어서,
    상기 컴퓨터에는 다수의 색조 정보가 수록되어 있는 색조 테이블이 저장되되,
    상기 (pa) 단계에서 피부 색조 변경은 상기 색조 테이블에서 어느 하나의 색조 정보를 반영하는 것에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  13. 제 12항에 있어서,
    상기 3차원 스캐너로부터 입력되는 3차원 얼굴 모델을 얼굴 표면을 구성하는 정점에 대한 위치 정보를 나타내는 위치 벡터, 얼굴 표면을 구성하는 정점에 대한 법선 벡터 및 얼굴 표면을 구성하는 정점에 대한 셰이딩 속성값을 포함하는 데이터 포맷으로 변환하는 단계를 더 포함하여 이루어지되,
    상기 (pa) 단계는 상기 데이터 포맷으로 변환된 3차원 얼굴 모델에 대해 피부 보정하는 것에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
  14. 제 7항 내지 제 13항 중 어느 한 항에 있어서,
    상기 (b) 단계에서 렌더링은 상기 컴퓨터의 그래픽 프로세스 유닛에서 처리되는 것에 의해 수행되는 것을 특징으로 하는 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴 메이크업 방법.
KR1020080031527A 2008-04-04 2008-04-04 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법 KR100942026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080031527A KR100942026B1 (ko) 2008-04-04 2008-04-04 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080031527A KR100942026B1 (ko) 2008-04-04 2008-04-04 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090106040A true KR20090106040A (ko) 2009-10-08
KR100942026B1 KR100942026B1 (ko) 2010-02-11

Family

ID=41535698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080031527A KR100942026B1 (ko) 2008-04-04 2008-04-04 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100942026B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170048287A (ko) 2017-04-21 2017-05-08 에스케이플래닛 주식회사 가상 헤어 스타일링 서비스 방법 및 이를 지원하는 단말기
KR102554058B1 (ko) * 2022-06-10 2023-07-11 주식회사 네일클럽 사용자에게 맞춤형 스타일을 추천하는 가상 체험 장치
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744079B1 (ko) * 2014-07-04 2017-06-09 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
KR101634461B1 (ko) * 2014-12-31 2016-06-28 세종대학교산학협력단 스케치를 이용한 얼굴 주름 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005181688A (ja) * 2003-12-19 2005-07-07 Nippon Menaade Keshohin Kk メイクアッププレゼンテーション
KR100603019B1 (ko) * 2004-07-01 2006-07-24 한국과학기술연구원 햅틱 인터페이스를 이용한 도자기 디자인 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170048287A (ko) 2017-04-21 2017-05-08 에스케이플래닛 주식회사 가상 헤어 스타일링 서비스 방법 및 이를 지원하는 단말기
KR102554058B1 (ko) * 2022-06-10 2023-07-11 주식회사 네일클럽 사용자에게 맞춤형 스타일을 추천하는 가상 체험 장치
WO2023239110A1 (ko) * 2022-06-10 2023-12-14 주식회사 네일클럽 사용자에게 맞춤형 스타일을 추천하는 가상 체험 장치
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置
CN116433827B (zh) * 2023-04-07 2024-06-07 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Also Published As

Publication number Publication date
KR100942026B1 (ko) 2010-02-11

Similar Documents

Publication Publication Date Title
CN112509151B (zh) 一种教学场景中虚拟对象的真实感生成方法
US11694392B2 (en) Environment synthesis for lighting an object
JP4865093B2 (ja) 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム
JP4276178B2 (ja) 皮膚又は類似物をデジタル式にレンダリングする方法
KR100722229B1 (ko) 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
AU2018214005A1 (en) Systems and methods for generating a 3-D model of a virtual try-on product
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
Lu et al. Illustrative interactive stipple rendering
EP3533218B1 (en) Simulating depth of field
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
CN106797458A (zh) 真实对象的虚拟改变
KR20150107063A (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
KR100942026B1 (ko) 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법
CN117557714A (zh) 三维重建方法、电子设备及可读存储介质
KR20060131145A (ko) 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
Treepong et al. Makeup creativity enhancement with an augmented reality face makeup system
Roughley et al. The affordances of 3D and 4D digital technologies for computerized facial depiction
WO2022026603A1 (en) Object recognition neural network training using multiple data sources
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
Baer et al. Hardware-accelerated Stippling of Surfaces derived from Medical Volume Data.
Kim et al. Interactive cosmetic makeup of a 3d point-based face model
Schubert et al. Adaptive filtering of physical-virtual artifacts for synthetic animatronics
Beebe A Bibliography of Computer Graphics Forum: 1982–2009
Moubaraki et al. Realistic 3d facial animation in virtual space teleconferencing
Sobczyk et al. The Virtual Painting Paintbox.

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee