KR102294927B1 - 가상 성형 sns 서비스 방법 및 장치 - Google Patents

가상 성형 sns 서비스 방법 및 장치 Download PDF

Info

Publication number
KR102294927B1
KR102294927B1 KR1020140038190A KR20140038190A KR102294927B1 KR 102294927 B1 KR102294927 B1 KR 102294927B1 KR 1020140038190 A KR1020140038190 A KR 1020140038190A KR 20140038190 A KR20140038190 A KR 20140038190A KR 102294927 B1 KR102294927 B1 KR 102294927B1
Authority
KR
South Korea
Prior art keywords
face
virtual
face model
user
model
Prior art date
Application number
KR1020140038190A
Other languages
English (en)
Other versions
KR20150114138A (ko
Inventor
김만수
안민호
이상기
김종민
Original Assignee
트라이큐빅스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트라이큐빅스 인크. filed Critical 트라이큐빅스 인크.
Priority to KR1020140038190A priority Critical patent/KR102294927B1/ko
Priority to US14/478,428 priority patent/US20150272691A1/en
Priority to CN201410589202.4A priority patent/CN104952106A/zh
Publication of KR20150114138A publication Critical patent/KR20150114138A/ko
Priority to KR1020210111018A priority patent/KR20210110533A/ko
Application granted granted Critical
Publication of KR102294927B1 publication Critical patent/KR102294927B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G06Q50/50—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

본 발명은 가상 성형 서비스를 제공하는 방법 및 장치를 제공한다. 가상 성형을 서비스를 제공하는 가상 성형 SNS 서비스 장치는 휴대용 카메라 영상으로 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성부, 3차원 얼굴 모델 및 가상 성형한 결과를 SNS 상의 사람들과 공유할 수 있도록 하여 저장하고 관리해 주는 3차원 얼굴 모델 데이터베이스 관리부, 친구의 공유된 모델의 특정 얼굴 부위나 연예인의 특정 얼굴 부위를 이용하여 사용자가 직접 가상 성형해 볼 수 있도록 하는 가상 성형 시뮬레이션부 및 시뮬레이션 결과를 친구들에게 자랑하거나, 전문가들에게 전문적인 상담을 받을 수 있도록 연결해 주는 소셜 네트워크 서비스부를 포함한다.

Description

가상 성형 SNS 서비스 방법 및 장치{.}
본 발명은 가상 성형 서비스를 제공하는 방법 및 장치에 대한 것으로, 더욱 상세하게는, 스마프폰이나 DSLR 카메라 같은 휴대용 카메라로부터 촬영된 일련의 이미지로부터 3차원 얼굴 모델을 생성하고, 이를 친구들이나 전문가들과 공유하여, 직접 가상 성형 시뮬레이션을 해보거나, 결과를 친구들에게 자랑하거나, 전문가에게 성형 상담을 받을 수 있도록 하는 서비스 방법 및 장치에 대한 것이다.
기존에도 개인의 정보와 얼굴 사진을 통신망을 통해 전문가에게 전송하여 성형 후의 모습을 상담 받도록 하는 서비스가 있지만, 온라인 상에서는 대부분 2차원 사진을 기반으로 성형 상담이 이루어지기 때문에 실제 성형 전 후 결과에 대해 온라인 상에서 만족할 만한 상담이 이루어질 수 없었다.
또한 성형 전 후의 결과에 가까운 3차원 가상 성형 상담을 받기 위해서는 직접 전문 병원을 방문하여 상담을 받아야 하는 번거로움과 비용이 발생하고 그 가상 성형 결과에 대해 다른 의료기관이나 다른 전문가의 상담을 받기에는 현실적으로 불가능 하였다. 더욱이 해당 전문 병원에서도 3차원 얼굴 모델의 생성을 위해 별도의 고가의 장비를 구입해야 하는 비용적인 문제도 발생하였다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 스마프폰이나 DSLR 카메라 같은 휴대용 카메라로부터 촬영된 일련의 이미지로부터 3차원 얼굴 모델을 생성하고, 이를 친구들이나 전문가들과 공유하여, 직접 가상 성형 시뮬레이션을 해보거나, 결과를 친구들에게 자랑하거나, 전문가에게 성형 상담을 받을 수 있도록 하는 서비스 방법 및 장치를 제공하는 것이다.
발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 가상 성형 SNS 서비스 장치는, 휴대용 카메라 영상으로 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성부, 3차원 얼굴 모델 및 가상 성형한 결과를 SNS 상의 사람들과 공유할 수 있도록 하여 저장하고 관리해 주는 3차원 얼굴 모델 데이터베이스 관리부, 친구의 공유된 모델의 특정 얼굴 부위나 연예인의 특정 얼굴 부위를 이용하여 사용자가 직접 가상 성형해 볼 수 있도록 하는 가상 성형 시뮬레이션부, 시뮬레이션 결과를 친구들에게 자랑하거나, 전문가들에게 전문적인 상담을 받을 수 있도록 연결해 주는 소셜 네트워크 서비스부를 포함한다.
상기한 목적을 달성하기 위한 본 발명에 따른 가상 성형 SNS 서비스 방법은, 휴대용 카메라 영상으로 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델을 생성하는 과정과, 생성된 3차원 얼굴 모델을 저장하는 과정과, 사용자의 3차원 얼굴 모델을 전문가와 친구들과 공유 설정을 하는 과정과, 공유된 3차원 얼굴 모델을 사용하여 성형 전문가와 가상 성형 상담을 하는 과정과, 공유된 다른 사람의 3차원 얼굴 모델이나 시스템이 제공하는 3차원 얼굴 모델의 특정 얼굴 부위를 사용자가 직접 자신의 얼굴 부위로 변형하여 가상 성형하는 과정과, 그 결과를 소셜 네트워크 상에 공유하여 친구들에게 자랑하는 과정을 포함한다.
상술한 가상 성형 서비스를 제공하는 방법 및 장치에 따르면, 전문 병원을 직접 방문하는 것 없이, 개인이 가지고 있는 휴대용 카메라를 이용하여, 개인이 손쉽게 저비용으로 사용자의 3차원 얼굴을 모델링해서, 이를 전문가와 공유하여 전문가로부터 가상 성형 시뮬레이션 결과에 대한 상담을 받을 수 있다. 이에 따라 단순한 2차원 얼굴 사진이 아닌 보다 고품질의 가상 성형 시뮬레이션 결과를 손쉽게 획득할 수 있다.
또한, 본 발명의 실시예에 따르면 소셜 네트워크 서비스를 기반하여 사용자가 공개를 지정한 사람과 서로의 3차원 얼굴 모델을 공유하고, 얼굴의 특정 부위를 자신의 3차원 얼굴 모델에 가상으로 이식해 볼 수 있고, 그 시뮬레이션 결과를 친구에게 자랑할 수 있는 서비스를 제공할 수 있다. 이를 통해 가상 성형, 서비스 이용을 활성화할 수 있다.
또한, 본 발명의 실시예에 따르면 지리적으로 멀리 떨어져 있는 환자들 또는 해외의 환자들이 직접 해당 병원을 방문하기 전에 성형 전 후에 대한 결과를 미리 확인함으로써 의료 서비스의 품질을 높이고 환자들의 잠재적인 불만을 사전에 예방함으로써 사용자와 병원들 모두에 도움이 되는 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 성형 SNS 서비스 장치를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 가상 성형 SNS 서비스 과정을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 얼굴 부위별 가상 성형 시뮬레이션 방법을 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 가상 성형 SNS 서비스 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 가상 성형 SNS 서비스 장치는 3차원 얼굴 모델 생성부(100), 3차원 얼굴 모델 데이터베이스 관리부(200), 가상 성형 시뮬레이션부(300), 소셜 네트워크 서비스부(400)를 포함한다.
3차원 얼굴 모델 생성부(100)는 휴대용 카메라로부터 사용자의 얼굴 영상을 입력 받아, 일련의 사용자 얼굴 이미지를 분석하여, 3차원 포인트 클라우드를 생성하고, 다시 3차원 얼굴 메쉬를 만들어 낸다. 이때, 부위별 변형이 가능한 3차원 얼굴 표준 모델을 3차원 얼굴 메쉬에 정합하여 부위별 얼굴 변형이 가능한 3차원 얼굴 모델을 생성한다. 이때, 사용자 얼굴 피부를 표현하기 위해 얼굴 피부 텍스처 맵도 같이 생성한다.
이후, 3차원 얼굴 모델 데이터베이스 관리부(200)는 생성된 사용자의 3차원 얼굴 모델과 피부 텍스처 맵을 사용자의 개인 프로필과 함께 3차원 얼굴 모델 데이터베이스에 저장하고 이를 관리한다. 이후에 가상 성형 시뮬레이션부(300), 소셜 네트워크 서비스부(400)에 저장된 3차원 사용자 얼굴 모델을 사용할 수 있도록 처리한다.
소셜 네트워크 서비스부(400)는 3차원 얼굴 모델 데이터베이스 관리부(200)를 통해서 각 개인의 3차원 얼굴 모델 정보의 공개 범위를 소셜 네트워크 상에서 어느 정도로 설정할지를 처리한다. 각 개인의 3차원 얼굴 모델 정보의 공개 범위는 특정인, 예를 들어 전문병원이나 전문가, 친구, 등을 지정할 수 있고, 특정 그룹, 예를 들어 친구나 가족 그룹, 코 성형 전문인 그룹, 등을 지정할 수도 있다.
이후, 가상 성형 시뮬레이션부(300)는 사용자에게 공개된 3차원 얼굴 정보 모델을 활용하거나 시스템에서 제공되는 템플릿을 활용해서 사용자의 3차원 얼굴 모델에서 특정 부위들을 변형해 볼 수 있도록 시뮬레이션을 제공한다. 이때, 변형은 특정 얼굴 부위별로 이루어질 수 있다. 예를 들어, 내 코를 친구의 코로 바꾸어 본다던 지, 내 눈을 친구의 눈으로 교체해 본다던 지 하는 것이 가능하다. 이때, 교체 부위의 경계선은 사용자의 얼굴 모델에 맞게 자동으로 변형이 이루어질 수 있다.
도 2는 본 발명의 실시예에 따른 가상 성형 SNS 서비스 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 휴대용 카메라로 사용자의 얼굴영상을 좌에서 우, 또는 우에서 좌로 촬영한다(S100). 이때 촬영된 영상은 동영상이거나 연속된 이미지들로 이루어진다.
이후, 이미지들 간의 상관 관계를 분석하여 3차원 사용자 얼굴 모델을 생성한다(S101). 이 과정에서 3차원 포인트 클라우드를 생성하고, 다시 3차원 얼굴 메쉬를 만들어 낸다. 이때, 부위별 변형이 가능한 3차원 얼굴 표준 모델을 3차원 얼굴 메쉬에 정합하여 부위별 얼굴 변형이 가능한 3차원 얼굴 모델을 생성한다.
이때, 사용자 얼굴 피부를 표현하기 위해 얼굴 피부 텍스처 맵도 같이 생성한다. 이후, 생성된 3차원 얼굴 모델의 메쉬와 텍스처 맵을 3차원 얼굴 모델 데이터베이스에 저장한다(S102). 이후, 성형에 대한 전문적인 상담을 받을지 결정한다(S103). 만약 전문가의 성형 상담을 받고 싶다면, 자신의 3차원 얼굴 모델을 전문가나 전문가 그룹에 공개한다(S104). 전문가는 사용자가 공개한 3차원 얼굴 모델을 이용하여, 전문적인 성형 후 모습을 가상 성형하고 이를 의뢰한 사용자에게 전달한다(S105).
만약 전문가 성형을 받지 않는다면, 이후 공유된 다른 사람의 3차원 얼굴 모델이 있는 지 확인한다(S106). 만약 공유된 다른 사람의 3차원 얼굴 모델이 있다면, 공개되어 있는 다른 사람들의 얼굴의 특정 부위를 사용자 얼굴의 일치하는 부위와 변경하는 시뮬레이션을 해 볼 수 있다(S107). 그렇지 않다면, 사용자는 시스템이 제공해주는 얼굴 부위별 템플릿을 활용하여 사용자 얼굴의 일치하는 부위를 시뮬레이션 할 수 있다(S108). 이때, 교체된 얼굴 부위의 경계 부위는 사용자의 얼굴 윤곽에 맞게 변형되어 처리된다. 이후, 가상 성형의 결과는 사용자가 보는 화면에서 사실적으로 표현된다(S109).
도 3은 본 발명의 실시예에 따른 얼굴 부위별 가상 성형 시뮬레이션 방법을 나타내는 순서도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 가상 성형을 수행하고자 하는 사용자의 얼굴에서의 성형 부위, 예를 들어, 코, 눈, 턱등, 과 해당 부위에 대해 변경하고자 하는 목표 부위를 선택한다(S200). 이후, 성형 부위와 목표 부위를 이루는 메쉬의 3차원 버텍스들의 좌표값의 크기가 다를 수 있으므로, 정규화하여 조정한다(S201).
이후, 성형 부위의 랜드마크를 기준으로 목표 부위의 메쉬를 정렬한다 (S202). 이때, 랜드마크는 성형 시에 변하기 않는 특정한 점들로 정의할 수 있다.
이후, 성형 부위의 경계선을 기준으로 정합할 것인지, 아니면 목표 부위의 경계선 부위로 정합할 것인지, 아니면 두 경계선의 중간의 어떤 값으로 정합할 것인지 설정한다(S203).
이후, 설정된 경계선 기준에 따라 성형 부위의 메쉬를 제거하고 목표 부위의 메쉬를 합성한다(S204). 이때 경계선을 맞추기 위해 변형이 발생할 수 있다. 이후, 사용자 얼굴의 곡면 부위와 합성된 경계선 부위 매끄럽지 않을 수 있기 때문에, 두 연결된 메쉬들 간의 노멜 벡터를 변경하여 면들의 경계선을 부드럽게 해주는 곡면처리를 수행한다(S205).
이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나 이는 본 발명의 권리 범위를 한정하는 것으로 해석될 수 없으며, 이하에서 기술되는 특허 청구 범위에 의해 판단되는 본 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 해당 기술 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되어 실시될 수 있을 것이다.
100: 3차원 얼굴 모델 생성부
200: 3차원 얼굴 모델 데이타베이스 관리부
300: 가상 성형 시뮬레이션부
400: 소셜 네트워크 서비스부

Claims (12)

  1. 가상 성형을 서비스를 제공하는 가상 성형 SNS 서비스 장치에 있어서,
    휴대용 카메라 영상으로 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성부;
    3차원 얼굴 모델 및 가상 성형한 결과를 SNS 상의 사람들과 공유할 수 있도록 하여 저장하고 관리해 주는 3차원 얼굴 모델 데이터베이스 관리부;
    친구의 공유된 모델의 특정 얼굴 부위나 연예인의 특정 얼굴 부위를 이용하여 사용자가 직접 가상 성형해 볼 수 있도록 하는 가상 성형 시뮬레이션부; 및
    시뮬레이션 결과를 친구들에게 자랑하거나, 전문가들에게 전문적인 상담을 받을 수 있도록 연결해 주는 소셜 네트워크 서비스부
    를 포함하고,
    상기 가상 성형 시뮬레이션부는
    가상 성형이 특정 얼굴 부위별로 이루어지며, 상기 사용자의 가상 성형 부위의 경계선을 상기 사용자의 3차원 얼굴 모델에 맞게 자동으로 변형하며,
    상기 3차원 얼굴 모델 생성부는
    동영상이거나 연속된 이미지들을 입력 받아, 이미지들 간의 상관 관계를 분석하여 3차원 포인트 클라우드를 생성하고, 다시 3차원 얼굴 메쉬를 만들어 내며, 부위별 변형이 가능한 3차원 얼굴 표준 모델을 3차원 얼굴 메쉬에 정합하여 부위별 얼굴 변형이 가능한 3차원 얼굴 모델을 생성하고, 사용자 얼굴 피부를 표현하기 위해 얼굴 피부 텍스처 맵을 생성하며,
    상기 가상 성형 시뮬레이션부는
    가상 성형을 수행하고자 하는 사용자의 얼굴에서의 성형 부위와 목표 부위를 선택하고, 성형 부위와 목표 부위를 이루는 메쉬의 3차원 버텍스들의 좌표값을 정규화하고, 성형 부위의 랜드마크-상기 랜드마크는 성형 시 변하지 않는 특징점들-를 기준으로 목표 부위의 메쉬를 정렬해서, 부위 간의 경계선을 정합하여, 최종적으로 경계선의 곡면처리를 수행하며,
    상기 가상 성형 시뮬레이션부는
    상기 부위간의 경계선을 정합하는데 있어서, 상기 성형 부위의 경계선 또는 상기 목표 부위의 경계선 중 적어도 하나의 경계선을 설정하여 상기 설정된 어느 하나의 경계선의 기준에 따라 상기 성형 부위의 메쉬를 제거하고 상기 목표 부위의 메쉬를 합성하는 것을 특징으로 하는 가상 성형 SNS 서비스 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 소셜 네트워크 서비스부는,
    3차원 사용자 얼굴 데이터베이스에 저장된 개인의 3차원 얼굴 모델의 공개 범위를 특정인 및 특정 그룹을 지정할 수는 있는 것을 특징으로 하는 가상 성형 SNS 서비스 장치.
  5. 청구항 1에 있어서,
    상기 가상 성형 시뮬레이션부는,
    사용자에게 공개된 3차원 얼굴 정보 모델을 활용하거나 시스템에서 제공되는 템플릿을 활용해서 사용자의 3차원 얼굴 모델에서 특정 부위들을 변형해 볼 수 있도록 시뮬레이션을 제공하는 것을 특징으로 하는 가상 성형 SNS 서비스 장치.
  6. 삭제
  7. 가상 성형 SNS 서비스 하는 장치를 통하여 가상 성형을 서비스하는 방법에 있어서,
    휴대용 카메라 영상으로 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델을 생성하는 단계;
    생성된 3차원 얼굴 모델을 저장하는 단계;
    사용자의 3차원 얼굴 모델을 전문가와 친구들과 공유 설정을 하는 단계;
    공유된 3차원 얼굴 모델을 사용하여 성형 전문가와 가상 성형 상담을 하는 단계;
    공유된 다른 사람의 3차원 얼굴 모델이나 장치가 기본적으로 제공하는 3차원 얼굴 모델의 특정 얼굴 부위를 사용자가 직접 자신의 얼굴 부위로 변형하여 가상 성형하는 단계; 및
    그 결과를 소셜 네트워크 상에 공유하여 친구들에게 자랑하는 단계
    를 포함하고,
    상기 공유된 다른 사람의 3차원 얼굴 모델이나 시스템이 제공하는 3차원 얼굴 모델의 특정 얼굴 부위를 사용자가 직접 자신의 얼굴 부위로 변형하여 가상 성형하는 단계는,
    가상 성형이 특정 얼굴 부위별로 이루어지며, 상기 사용자의 가상 성형 부위의 경계선을 상기 사용자의 3차원 얼굴 모델에 맞게 자동으로 변형하며,
    상기 휴대용 카메라 영상으로 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델을 생성하는 단계는,
    동영상이거나 연속된 이미지들을 입력 받아, 이미지들 간의 상관 관계를 분석하여 3차원 포인트 클라우드를 생성하고, 다시 3차원 얼굴 메쉬를 만들어 내며, 부위별 변형이 가능한 3차원 얼굴 표준 모델을 3차원 얼굴 메쉬에 정합하여 부위별 얼굴 변형이 가능한 3차원 얼굴 모델을 생성하고, 사용자 얼굴 피부를 표현하기 위해 얼굴 피부 텍스처 맵을 생성하며,
    상기 공유된 다른 사람의 3차원 얼굴 모델이나 시스템이 제공하는 3차원 얼굴 모델의 특정 얼굴 부위를 사용자가 직접 자신의 얼굴 부위로 변형하여 가상 성형하는 단계는,
    가상 성형을 수행하고자 하는 사용자의 얼굴에서의 성형 부위와 목표 부위를 선택하고, 성형 부위와 목표 부위를 이루는 메쉬의 3차원 버텍스들의 좌표값을 정규화하고, 성형 부위의 랜드마크-상기 랜드마크는 성형 시 변하지 않는 특징점들-를 기준으로 목표 부위의 메쉬를 정렬해서, 부위 간의 경계선을 정합하여, 최종적으로 경계선의 곡면처리를 수행하며,
    상기 공유된 다른 사람의 3차원 얼굴 모델이나 시스템이 제공하는 3차원 얼굴 모델의 특정 얼굴 부위를 사용자가 직접 자신의 얼굴 부위로 변형하여 가상 성형하는 단계는,
    상기 부위간의 경계선을 정합하는데 있어서, 상기 성형 부위의 경계선 또는 상기 목표 부위의 경계선 중 적어도 하나의 경계선을 설정하여 상기 설정된 어느 하나의 경계선의 기준에 따라 상기 성형 부위의 메쉬를 제거하고 상기 목표 부위의 메쉬를 합성하는 것을 특징으로 하는 가상 성형 SNS 서비스 방법.
  8. 삭제
  9. 청구항 7에 있어서,
    상기 사용자의 3차원 얼굴 모델을 전문가와 친구들과 공유 설정을 하는 단계는,
    전문적인 성형 상담을 받기 위해서 전문가나 전문가 그룹과 사용자의 3차원 얼굴 모델을 공유하도록 설정하거나, 친구나 지인 그룹들과 사용자의 3차원 얼굴 모델을 공유할 수 있도록 설정하는 것을 특징으로 하는 가상 성형 SNS 서비스 방법.
  10. 청구항 7에 있어서,
    상기 공유된 3차원 얼굴 모델을 사용하여 성형 전문가와 가상 성형 상담을 하는 단계는,
    공유된 사용자의 3차원 얼굴 모델을 가지고 전문가가 가상 시뮬레이션을 수행하여 성형 후의 모습을 제공하고 상담할 수 있는 것을 특징으로 하는 가상 성형 SNS 서비스 방법.
  11. 청구항 7에 있어서,
    상기 공유된 다른 사람의 3차원 얼굴 모델이나 시스템이 제공하는 3차원 얼굴 모델의 특정 얼굴 부위를 사용자가 직접 자신의 얼굴 부위로 변형하여 가상 성형하는 단계는,
    공유된 다른 사람의 3차원 얼굴 모델이 있는지 확인하여 공유된 다른 사람의 3차원 얼굴 모델이 있다면, 공개되어 있는 다른 사람들의 얼굴의 특정 부위를 사용자 얼굴의 일치하는 부위와 변경하는 시뮬레이션을 하고, 없다면, 사용자는 시스템이 제공해주는 얼굴 부위별 템플릿을 활용하여 사용자 얼굴의 일치하는 부위를 시뮬레이션 할 수 있는 것을 특징으로 하는 가상 성형 SNS 서비스 방법.
  12. 삭제
KR1020140038190A 2014-03-31 2014-03-31 가상 성형 sns 서비스 방법 및 장치 KR102294927B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140038190A KR102294927B1 (ko) 2014-03-31 2014-03-31 가상 성형 sns 서비스 방법 및 장치
US14/478,428 US20150272691A1 (en) 2014-03-31 2014-09-05 Method and apparatus for providing virtual plastic surgery sns service
CN201410589202.4A CN104952106A (zh) 2014-03-31 2014-10-28 用于提供虚拟整形手术社交网络服务的方法和装置
KR1020210111018A KR20210110533A (ko) 2014-03-31 2021-08-23 가상 성형 sns 서비스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038190A KR102294927B1 (ko) 2014-03-31 2014-03-31 가상 성형 sns 서비스 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210111018A Division KR20210110533A (ko) 2014-03-31 2021-08-23 가상 성형 sns 서비스 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150114138A KR20150114138A (ko) 2015-10-12
KR102294927B1 true KR102294927B1 (ko) 2021-08-30

Family

ID=54166731

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140038190A KR102294927B1 (ko) 2014-03-31 2014-03-31 가상 성형 sns 서비스 방법 및 장치
KR1020210111018A KR20210110533A (ko) 2014-03-31 2021-08-23 가상 성형 sns 서비스 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210111018A KR20210110533A (ko) 2014-03-31 2021-08-23 가상 성형 sns 서비스 방법 및 장치

Country Status (3)

Country Link
US (1) US20150272691A1 (ko)
KR (2) KR102294927B1 (ko)
CN (1) CN104952106A (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015081025A1 (en) 2013-11-29 2015-06-04 The Johns Hopkins University Cranial reference mount
WO2016086049A1 (en) 2014-11-24 2016-06-02 The Johns Hopkins University A cutting machine for resizing raw implants during surgery
WO2017013925A1 (ja) 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11058541B2 (en) 2015-09-04 2021-07-13 The Johns Hopkins University Low-profile intercranial device
CN105938627B (zh) * 2016-04-12 2020-03-31 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN106446793B (zh) * 2016-08-31 2019-01-01 广州莱德璞检测技术有限公司 一种基于人脸特征点的人脸轮廓计算方法
CN106774879B (zh) * 2016-12-12 2019-09-03 快创科技（大连）有限公司 一种基于ar虚拟现实技术的整形手术体验系统
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
CN107122727B (zh) * 2017-04-20 2020-03-13 北京旷视科技有限公司 用于脸部整形的方法、装置及系统
CN107123160A (zh) * 2017-05-02 2017-09-01 成都通甲优博科技有限责任公司 基于三维立体图像的模拟整容系统、方法及移动终端
CN107993280A (zh) * 2017-11-30 2018-05-04 广州星天空信息科技有限公司 基于三维模型的美容方法及系统
CN110533761B (zh) * 2018-05-23 2024-01-12 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN109191508A (zh) * 2018-09-29 2019-01-11 深圳阜时科技有限公司 一种模拟整容装置、模拟整容方法及设备
CN111354478A (zh) * 2018-12-24 2020-06-30 黄庆武整形医生集团(深圳)有限公司 整形模拟信息处理方法、整形模拟终端和整形服务终端
WO2020170160A1 (en) * 2019-02-19 2020-08-27 Augmented Anatomy Bvba Improved augmentation of a visualisation of reality for facial injection
CN110215282B (zh) * 2019-06-19 2020-09-15 成都天府新区可纳儿医疗美容门诊部有限公司 一种3d眼部模拟方法
CN112734626A (zh) * 2019-10-14 2021-04-30 成都武侯珍妍医疗美容门诊部有限公司 一种深度学习模型的鼻部虚拟整形方法
KR102533858B1 (ko) * 2019-11-13 2023-05-18 배재대학교 산학협력단 성형 시뮬레이션 서비스 시스템 및 방법
KR102195032B1 (ko) * 2020-04-03 2020-12-24 최홍규 외국인 여행객의 여행스케줄에 따라 가능한 성형을 추천하는 빅데이터 성형추천 시스템
KR102567862B1 (ko) * 2020-08-10 2023-08-17 주식회사 나투 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
KR102273146B1 (ko) * 2020-11-24 2021-07-05 애니메디솔루션 주식회사 수술용 보형물 제작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226144A1 (en) 2007-03-16 2008-09-18 Carestream Health, Inc. Digital video imaging system for plastic and cosmetic surgery
US20130173235A1 (en) 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010008663A (ko) * 1999-07-02 2001-02-05 하은용 인터넷상의 가상 성형 수술 시뮬레이션 방법
KR20020008260A (ko) * 2000-07-20 2002-01-30 오석중 통신망을 이용한 가상성형수술 시뮬레이션 시스템 및 방법
CN1453748A (zh) * 2003-05-13 2003-11-05 中国医学科学院整形外科医院 一种个性化面部整形人工植入体的数字化制备方法
KR20090000635A (ko) * 2007-03-12 2009-01-08 주식회사 케이티 사용자의 선호도를 만족시키는 3차원 얼굴 성형 시스템 및그 방법
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
KR20100138648A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 영상 처리 장치 및 방법
WO2013005447A1 (ja) * 2011-07-07 2013-01-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
KR20140006138A (ko) * 2012-06-26 2014-01-16 동서대학교산학협력단 가상성형 단말기 및 그를 이용한 가상성형 시스템
KR20140028523A (ko) * 2012-08-29 2014-03-10 주식회사 쓰리디팩토리 무안경 ３ｄ 방식을 이용한 성형외과 운영 시스템 및 방법
CN103208133B (zh) * 2013-04-02 2015-08-19 浙江大学 一种图像中人脸胖瘦的调整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226144A1 (en) 2007-03-16 2008-09-18 Carestream Health, Inc. Digital video imaging system for plastic and cosmetic surgery
US20130173235A1 (en) 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance

Also Published As

Publication number Publication date
US20150272691A1 (en) 2015-10-01
KR20150114138A (ko) 2015-10-12
CN104952106A (zh) 2015-09-30
KR20210110533A (ko) 2021-09-08

Similar Documents

Publication Publication Date Title
KR102294927B1 (ko) 가상 성형 sns 서비스 방법 및 장치
US10564628B2 (en) Generating of 3D-printed custom wearables
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
EP3513761B1 (en) 3d platform for aesthetic simulation
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
US9589178B2 (en) Image processing with facial features
JP6369246B2 (ja) 似顔絵生成装置、似顔絵生成方法
Gibelli et al. The identification of living persons on images: A literature review
KR101823869B1 (ko) 안면카메라장치를 이용한 증강현실기반 실시간 동영상 메이크업 구현시스템
CN112419485B (zh) 一种人脸重建方法、装置、计算机设备及存储介质
Cazon et al. Customised design and manufacture of protective face masks combining a practitioner-friendly modelling approach and low-cost devices for digitising and additive manufacturing: This paper analyses the viability of replacing conventional practice with AM method to make customized protective face masks
WO2015017687A2 (en) Systems and methods for producing predictive images
JP2020016961A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN106250573A (zh) 一种虚拟三维人体的建模方法及建模系统
CN107133981B (zh) 图像处理方法和装置
KR20140006138A (ko) 가상성형 단말기 및 그를 이용한 가상성형 시스템
KR101767144B1 (ko) 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램
CN109087240A (zh) 图像处理方法、图像处理装置及存储介质
KR102136137B1 (ko) 맞춤형 led 마스크 팩의 제조 장치
JP2016053868A (ja) 似顔絵画像生成装置、似顔絵画像生成方法及び似顔絵画像生成プログラム
CN109685911A (zh) 一种可实现虚拟试衣的ar眼镜及其实现方法
KR102567862B1 (ko) 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
US20180181110A1 (en) System and method of generating a custom eyebrow stencil
US10296845B2 (en) Attribute estimation system
JP2020022681A (ja) メイクアップ支援システム、及びメイクアップ支援方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant