KR20140006138A - Virtual cosmetic surgery device and virtual cosmetic surgery system thereof - Google Patents

Virtual cosmetic surgery device and virtual cosmetic surgery system thereof Download PDF

Info

Publication number
KR20140006138A
KR20140006138A KR1020120068306A KR20120068306A KR20140006138A KR 20140006138 A KR20140006138 A KR 20140006138A KR 1020120068306 A KR1020120068306 A KR 1020120068306A KR 20120068306 A KR20120068306 A KR 20120068306A KR 20140006138 A KR20140006138 A KR 20140006138A
Authority
KR
South Korea
Prior art keywords
user
virtual
face
molding
information
Prior art date
Application number
KR1020120068306A
Other languages
Korean (ko)
Inventor
서웅찬
신필순
김태용
Original Assignee
동서대학교산학협력단
주식회사 에스하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단, 주식회사 에스하이텍 filed Critical 동서대학교산학협력단
Priority to KR1020120068306A priority Critical patent/KR20140006138A/en
Publication of KR20140006138A publication Critical patent/KR20140006138A/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00792—Plastic surgery

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a virtual plastic surgery terminal and a virtual plastic surgery system. More particularly, the present invention relates to a virtual plastic surgery terminal and a virtual plastic surgery system using the same, capable of obtaining stereoscopic image information about a face of a user through a plurality of general cameras and performing a plastic surgery simulation by providing a contents library for a virtual plastic surgery, and enabling the user or a medical staff to easily access virtual plastic surgery information by storing and transmitting the virtual plastic surgery information on a network. [Reference numerals] (10) Camera unit; (11) General camera; (21) Touch screen; (30) Main controller; (31) Face recognition unit; (32) 3D modeling unit; (33) Virtual plastic surgery unit; (40) Plastic surgery database; (41) Personal information management DB; (42) Facial contour information management DB; (43) Model DB by plastic surgery parts; (44) Meta-data DB by models; (45) Meta-data DB by plastic surgery parts; (51) 3D hologram output device; (AA) Select a content library

Description

가상성형 단말기 및 그를 이용한 가상성형 시스템{Virtual cosmetic surgery device and virtual cosmetic surgery system thereof}Virtual molding terminal and a virtual molding system using the same {Virtual cosmetic surgery device and virtual cosmetic surgery system

본 발명은 가상성형 단말기 및 그를 이용한 가상성형 시스템에 관한 것으로, 좀더 구체적으로는 스테레오 카메라를 대체하는 복수의 일반 카메라를 통해 사용자 얼굴의 입체 영상정보가 획득되고, 가상성형용 콘텐츠 라이브러리가 제공되어 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어지며, 네트워크 상에서 가상성형 정보가 저장되고 전송되어 사용자나 의료인이 손쉽게 가상성형 정보에 접근할 수 있는 가상성형 단말기 및 그를 이용한 가상성형 시스템에 관한 것이다.
The present invention relates to a virtual molding terminal and a virtual molding system using the same. More specifically, stereoscopic image information of a user's face is obtained through a plurality of general cameras replacing a stereo camera, and a virtual library content library is provided. Molding simulation is performed by a simple operation of the virtual molding, virtual molding information is stored and transmitted on the network and a virtual molding terminal that can be easily accessed by the user or medical personnel and virtual molding system using the same.

성형수술은 사람의 몸 부위나 얼굴 부위를 외형적으로 수정하는 수술로서 종래에는 특수계층에서 필요로 하는 수술이라는 인식이 있었으나, 점차 성형이 미용 개념으로 인식됨에 따라, 현재에는 일반인들에게도 통상적이고 보편적인 수술로 자리 잡아가고 있다. 이에 따라 일반 이용자의 다양한 요구 사항이 증대되고 있고, 이와 같은 다양한 요구 사항을 수용할 수 있는 새로운 기술 개발의 필요성이 대두되고 있는 실정이다.Cosmetic surgery is a surgery that corrects body parts and facial parts of a human body. It has been recognized that surgery is a necessary operation in special classes. However, as molding is gradually recognized as a concept of beauty, it is now common and universal Surgery is becoming established. Accordingly, various requirements of general users are increasing, and there is a need to develop new technologies capable of accommodating these various requirements.

이와 같은 기술 개발의 일환으로 성형 결과를 미리 시물레이션해 볼 수 있는 가상성형 장치와 가상성형 프로그램이 개발되었는데, 이와 같은 가상성형 장치와 가상성형 프로그램은 성형 결과를 상의하고자 하는 성형외과 의사, 수술 결과를 미리보기를 원하는 수술을 앞둔 환자, 외모를 개선하고자 하는 사회인들, 그리고 연예인, 애완동물, 지인 등의 사진 이미지를 재미있게 편집하고자 하는 사람들에게 널리 이용되고 있다.As a part of this technology development, a virtual molding device and a virtual molding program that can simulate the molding results in advance are developed. Such a virtual molding device and a virtual molding program are used by a plastic surgeon who wants to know the molding result, It is widely used for those who want to preview the surgery, those who want to improve their appearance, and those who want to edit their photo images such as entertainers, pets, and acquaintances.

가상성형과 관련한 기술로는 대한민국 등록특허공보 등록번호 제10-0764130호 "자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템", 등록번호 제10-0728697호 "온라인망을 기반으로 하는 가상성형 관리 시스템", 등록번호 제10-0717709호 "가상성형용 캡처 이미지 획득 시스템" 등이 안출되어 있다.
Examples of techniques related to virtual molding include Korean Patent Registration No. 10-0764130 entitled " Automatic face extraction based virtual face forming method and system ", Registration No. 10-0728697 entitled "Virtual molding management system based on on- , Registration No. 10-0717709 "Capture image acquisition system for virtual molding"

그러나, 2D 가상성형 기술은 현재 상용화되어 다양하게 이용되어 있으나 3D 가상성형 기술은 개발 초기단계에 있어 추가적인 기술개발이 요구되는 실정이었다.
However, although 2D virtual molding technology is currently being commercialized and used variously, 3D virtual molding technology is in the early stage of development, and additional technology development is required.

특허문헌 1. 대한민국 등록특허공보 등록번호 제10-0764130호 "자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템"Patent Document 1. Republic of Korea Patent Publication No. 10-0764130 "Automatic face extraction based virtual face shaping method and system" 특허문헌 2. 대한민국 등록특허공보 등록번호 제10-0728697호 "온라인망을 기반으로 하는 가상성형 관리 시스템"Patent Document 2. Republic of Korea Patent Registration No. 10-0728697 "Virtual Molding Management System Based on Online Network" 특허문헌 3. 대한민국 등록특허공보 등록번호 제10-0717709호 "가상성형용 캡처 이미지 획득 시스템"Patent Document 3. Republic of Korea Patent Publication No. 10-0717709 "Captured image capture system for virtual molding"

따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 복수의 일반 카메라로 이루어진 스테레오 카메라 유닛에 의해 사용자 얼굴이 촬영된 후, 메인 컨트롤러의 얼굴 인식 유닛, 3D 모델링 유닛에 의해 사용자 얼굴이 3D 모델링되도록 함에 따라 단순한 장치구성으로도 사용자 얼굴의 3차원 입체 영상화가 가능해질 수 있는 새로운 형태의 가상성형 단말기 및 그를 이용한 가상성형 시스템을 제공하는 것을 목적으로 한다.
Accordingly, the present invention improves such a problem of the prior art, so that after the user's face is photographed by the stereo camera unit composed of a plurality of general cameras, the user's face is 3D modeled by the face recognition unit and the 3D modeling unit of the main controller. Accordingly, an object of the present invention is to provide a virtual molding terminal of a new type and a virtual molding system using the same, which can enable 3D stereoscopic imaging of a user's face even with a simple device configuration.

또한, 본 발명은 성형 DB에 저장되고 관리되는 가상성형용 콘텐츠 라이브러리가 입력장치와 메인 컨트롤러에 제공되고, 입력장치를 이루는 터치스크린에 의해 가상성형용 콘텐츠 라이브러리 항목이 선택되는 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어짐에 따라 가상성형이 간편하고 용이하게 실행될 수 있는 새로운 형태의 가상성형 단말기 및 그를 이용한 가상성형 시스템을 제공하는 것을 목적으로 한다.
In addition, the present invention provides a virtual molding content library stored and managed in the molding DB is provided to the input device and the main controller, by the user's simple operation of selecting the virtual molding content library item by the touch screen constituting the input device It is an object of the present invention to provide a new type of virtual molding terminal and a virtual molding system using the same, which can be easily and easily performed as the molding simulation is performed.

그리고, 본 발명은 가상성형 단말기가 네트워크 상에서 통합관리 서버, 성형 DB 서버와 연결되어 통신이 가능한 외부 단말기가 가상성형 정보에 접근할 수 있도록 함에 따라, 네트워크 상에서 가상성형 정보가 저장되고 전송되어 사용자나 의료인이 손쉽게 가상성형 정보에 접근하여 활용할 수 있는 새로운 형태의 가상성형 단말기 및 그를 이용한 가상성형 시스템을 제공하는 것을 목적으로 한다.
In addition, according to the present invention, as the virtual molding terminal is connected to the integrated management server and the molding DB server on the network, the external terminal capable of communicating accesses the virtual molding information, and the virtual molding information is stored and transmitted on the network. An object of the present invention is to provide a new type of virtual molding terminal and a virtual molding system using the same.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 서로 이격되게 배치되는 복수개의 일반 카메라로 이루어져 사용자 얼굴의 입체 영상정보를 획득하게 되는 스테레오 카메라 유닛과; 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 상기 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는 입력장치와; 상기 스테레오 카메라 유닛과 연결되어 사용자 얼굴의 입체 영상정보를 전달받고, 상기 입력장치와 연결되어 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받으며, 사용자 얼굴의 입체 영상정보에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하는 메인 컨트롤러와; 상기 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 성형 DB 및; 상기 메인 컨트롤러와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 되는 가상성형 디스플레이장치를 포함하는 가상성형 단말기를 제공한다.
According to a feature of the present invention for achieving the above object, the present invention comprises a stereo camera unit which is composed of a plurality of general cameras spaced apart from each other to obtain stereoscopic image information of the user's face; An input device for providing a virtual content library item to a user and receiving a selection item selected by the user from the virtual content library item; Connected to the stereo camera unit to receive stereoscopic image information of the user's face, connected to the input device to receive a selection item of the virtual molding content library, and to the stereoscopic image information of the user's face A main controller for calculating virtual molding shape information of a user's face to which the selection item is applied; A molding DB in which the virtual molding content library is stored and managed; A virtual molding terminal including a virtual molding display device connected to the main controller to output virtual molding shape information of a user's face is provided.

이와 같은 본 발명에 따른 가상성형 단말기에서 상기 입력장치는 상기 가상성형용 콘텐츠 라이브러리 항목이 출력되고, 사용자의 터치에 의해 상기 가상형성용 콘텐츠 라이브러리의 선택항목이 입력되는 터치스크린인 것을 특징으로 한다.
In the virtual molding terminal according to the present invention, the input device is a touch screen for outputting the virtual molding content library item and inputting a selection item of the virtual forming content library by a user's touch.

이와 같은 본 발명에 따른 가상성형 단말기에서 상기 메인 컨트롤러는 상기 스테레오 카메라 유닛에서 입력되는 사용자 얼굴의 입체 영상정보로부터 사용자 얼굴을 인식하는 얼굴인식 유닛과; 상기 얼굴인식 유닛으로부터 인식된 사용자 얼굴의 윤곽선을 추출하고, 사용자 얼굴을 3D 모델링하는 3D 모델링 유닛과; 상기 입력장치에서 입력되는 가상형성용 콘텐츠 라이브러리의 선택항목에 따라 3D 모델링된 사용자 얼굴을 변형시켜 사용자 얼굴의 가상성형 형상 정보를 산출하는 가상성형 유닛을 포함한다.
In the virtual molding terminal according to the present invention, the main controller includes a face recognition unit for recognizing a user face from stereoscopic image information of the user face input from the stereo camera unit; A 3D modeling unit for extracting a contour of the user's face recognized from the face recognition unit and for modeling the user's face; And a virtual molding unit configured to calculate virtually shaped shape information of the user's face by deforming the 3D modeled user's face according to a selection item of the virtual forming content library input by the input device.

이와 같은 본 발명에 따른 가상성형 단말기에서 사용자 얼굴의 가상성형 형상 정보는 3D 홀로그램의 입체 영상정보이다.
In the virtual molding terminal according to the present invention, the virtual molded shape information of the user's face is stereoscopic image information of the 3D hologram.

이와 같은 본 발명에 따른 가상성형 단말기에서 상기 가상성형 디스플레이장치는 3D 홀로그램 출력장치이다.
In the virtual molding terminal according to the present invention, the virtual molding display device is a 3D hologram output device.

이와 같은 본 발명에 따른 가상성형 단말기에서 상기 성형 DB는 사용자의 인적정보가 저장되고 관리되는 인적정보 관리 DB와; 상기 스테레오 카메라 유닛에 의해 획득된 사용자 얼굴의 입체 영상정보로부터 상기 메인 컨트롤러에 의해 산출되는 사용자의 안면 윤곽정보가 저장되고 관리되는 안면 윤곽정보 관리 DB와; 얼굴 부위별에 제공되는 복수의 모델에 관한 정보가 저장되고 관리되는 성형부위별 모델 DB와; 얼굴형상정보를 포함하는 메타데이터가 각 모델별로 저장되고 관리되는 모델별 메타데이터 DB 및; 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터가 성형부위별로 저장되고 관리되는 부위별 성형 메타데이터 DB를 포함하고, 상기 가상성형용 콘텐츠 라이브러리는 사용자의 안면 윤곽정보, 부위별 모델정보, 모델별 메타데이터, 부위별 성형 메타데이터를 포함한다.
In the virtual molding terminal according to the present invention, the molding DB includes a personal information management DB in which personal information of a user is stored and managed; A facial contour information management DB, in which facial contour information of a user calculated by the main controller is stored and managed from stereoscopic image information of a user's face obtained by the stereo camera unit; A model DB for each part for storing and managing information on a plurality of models provided for each facial part; A metadata DB for each model in which metadata including face shape information is stored and managed for each model; The molding metadata including the face region deformation information applied to the molding of each face part includes a molding metadata DB for each part stored and managed for each molding part, and the virtual molding content library includes a user's face contour information and a part. Includes model information by model, model-specific metadata, and part-specific molding metadata.

상술한 목적을 달성하기 위한 본 발명의 다른 특징에 의하면, 본 발명은 사용자 얼굴의 입체 영상정보를 획득하고, 사용자에게 제공되는 가상성형용 콘텐츠 라이브러리(contents library) 항목으로부터 사용자에 의해 선택된 선택항목을 입력받아 사용자 얼굴의 가상성형 형상 정보를 산출하여 출력하는 가상성형 단말기와; 상기 가상성형 단말기와 통신하여 사용자 얼굴의 가상성형 형상 정보를 전달받고, 상기 사용자 얼굴의 가상성형 형상 정보를 관리하고 제어하는 통합관리 서버를 포함하여, 상기 통합관리 서버와 통신이 가능한 외부 단말기에 상기 사용자 얼굴의 가상성형 형상 정보가 전달될 수 있도록 하는 가상성형 단말기를 이용한 가상성형 시스템을 제공한다.
According to another aspect of the present invention for achieving the above object, the present invention obtains the stereoscopic image information of the user's face, and selects a selection item selected by the user from the virtual library content library items provided to the user A virtual molding terminal receiving the input and calculating and outputting virtual molding shape information of a user face; Including an integrated management server for communicating with the virtual molding terminal receives the virtual molding shape information of the user face, and manages and controls the virtual molding shape information of the user face, the external terminal capable of communicating with the integrated management server The present invention provides a virtual molding system using a virtual molding terminal for transmitting virtual molding shape information of a user's face.

이와 같은 본 발명에 따른 가상성형 단말기를 이용한 가상성형 시스템에서 사용자의 인적정보, 사용자의 안면 윤곽정보, 얼굴 부위별에 제공되는 복수의 모델에 관한 정보인 성형부위별 모델정보, 얼굴형상정보를 포함하는 메타데이터를 각 모델별로 정리한 모델별 메타데이터, 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터를 성형부위별로 정리한 부위별 성형 메타데이터 및, 상기 사용자 얼굴의 가상성형 형상 정보를 저장하고 관리하는 성형 DB 서버를 더 포함한다.
In such a virtual molding system using a virtual molding terminal according to the present invention includes the user's personal information, the user's face contour information, model information for each molding site, face shape information that is information on a plurality of models provided for each face part Model-specific metadata that organizes the metadata for each model, molding metadata that includes shaping metadata including facial region deformation information applied to shaping each facial region, and molding metadata for each region, and virtualization of the user's face. The apparatus further includes a molding DB server for storing and managing molding shape information.

이와 같은 본 발명에 따른 가상성형 단말기를 이용한 가상성형 시스템에서 상기 가상성형 단말기와 상기 통합관리 서버 중에서 선택된 어느 하나와 통신하여 사용자 얼굴의 가상성형 형상 정보를 입력받고, 의료인이 상기 사용자 얼굴의 가상성형 형상 정보를 확인하게 되는 의료기관 단말기를 포함하여, 상기 가상성형 단말기의 사용자와 의료인이 네트워크 상에서 의사소통 가능하도록 한다.
The virtual molding system using the virtual molding terminal according to the present invention communicates with any one selected from the virtual molding terminal and the integrated management server receives the virtual molding shape information of the user's face, the medical personnel is the virtual molding of the user's face Including the medical institution terminal to confirm the shape information, the user and the medical personnel of the virtual molding terminal to enable communication on the network.

이와 같은 본 발명에 따른 가상성형 단말기를 이용한 가상성형 시스템에서 상기 통합관리 서버와 통신이 가능한 외부 단말기는 사용자 PC 단말기, 사용자 휴대폰을 포함한다.
In the virtual molding system using the virtual molding terminal according to the present invention, an external terminal capable of communicating with the integrated management server includes a user PC terminal and a user mobile phone.

이와 같은 본 발명에 따른 가상성형 단말기를 이용한 가상성형 시스템에서 상기 가상성형 단말기는 서로 이격되게 배치되는 복수개의 일반 카메라로 이루어져 사용자 얼굴의 입체 영상정보를 획득하게 되는 스테레오 카메라 유닛과; 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 상기 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는 입력장치와; 상기 스테레오 카메라 유닛과 연결되어 사용자 얼굴의 입체 영상정보를 전달받고, 상기 입력장치와 연결되어 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받으며, 사용자 얼굴의 입체 영상정보에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하는 메인 컨트롤러와; 상기 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 성형 DB 및; 상기 메인 컨트롤러와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 되는 가상성형 디스플레이장치를 포함한다.
In the virtual molding system using the virtual molding terminal according to the present invention, the virtual molding terminal is composed of a plurality of general cameras spaced apart from each other stereo camera unit to obtain stereoscopic image information of the user's face; An input device for providing a virtual content library item to a user and receiving a selection item selected by the user from the virtual content library item; Connected to the stereo camera unit to receive stereoscopic image information of the user's face, connected to the input device to receive a selection item of the virtual molding content library, and to the stereoscopic image information of the user's face A main controller for calculating virtual molding shape information of a user's face to which the selection item is applied; A molding DB in which the virtual molding content library is stored and managed; And a virtual molding display device connected to the main controller to output virtual molding shape information of a user's face.

본 발명에 의한 가상성형 단말기 및 그를 이용한 가상성형 시스템에 의하면, 스테레오 카메라를 대체하는 복수의 일반 카메라를 통해 사용자 얼굴이 촬영되어 메인 컨트롤러에 전달되고, 메인 컨트롤러의 얼굴 인식 유닛, 3D 모델링 유닛에 의해 사용자 얼굴이 3D 모델링되어 3D 가상성형이 실행될 수 있는 구성이 제공됨에 따라, 장치구성의 단순화를 통해 제조비용의 절감이 도모되어 3D 가상성형의 대중화가 이루어질 수 있는 효과가 있다.According to the virtual molding terminal according to the present invention and the virtual molding system using the same, a user's face is photographed and transmitted to the main controller through a plurality of general cameras replacing the stereo camera, and the face recognition unit and the 3D modeling unit of the main controller are used. As the user's face is 3D modeled and a configuration capable of executing 3D virtual molding is provided, the manufacturing cost can be reduced by simplifying the device configuration, thereby enabling the popularization of 3D virtual molding.

또한, 본 발명의 가상성형 단말기 및 그를 이용한 가상성형 시스템은 성형 DB에 저장된 가상성형용 콘텐츠 라이브러리가 입력장치와 메인 컨트롤러에 제공되고, 터치스크린의 터치에 의해 가상성형용 콘텐츠 라이브러리 항목이 선택되는 사용자의 단순 조작에 의해 성형 시뮬레이션이 이루어지는 구성이 제공됨에 따라, 3D 가상성형이 간편하고 용이하게 실행되는 효과가 있다.In addition, the virtual molding terminal of the present invention and the virtual molding system using the same, the virtual molding content library stored in the molding DB is provided to the input device and the main controller, the user of the virtual molding content library item is selected by the touch of the touch screen According to the configuration in which the molding simulation is performed by a simple operation of, the 3D virtual molding has an effect of being easily and easily executed.

그리고, 본 발명의 가상성형 시스템은 네트워크 상에서 가상성형 정보가 저장되고 전송되도록 함으로써 사용자나 의료인이 손쉽게 가상성형 정보에 접근할 수 있어 활용성의 증대가 도모되는 효과도 동시에 가지게 된다.
In addition, the virtual molding system of the present invention allows the virtual molding information to be stored and transmitted on a network, so that users or medical personnel can easily access the virtual molding information, thereby increasing the usability.

도 1은 본 발명에 따른 가상성형 단말기의 구성을 보여주기 위한 블록도;
도 2는 본 발명의 실시예에 따른 가상성형 단말기의 구성을 보여주기 위한 블록도;
도 3은 본 발명의 실시예에 따른 가상성형 단말기의 외형도;
도 4는 본 발명의 실시예에 따른 가상성형 단말기를 이용한 가상성형 시스템의 구성을 보여주기 위한 블록도이다.1 is a block diagram showing the configuration of a virtual molding terminal according to the present invention;
2 is a block diagram showing the configuration of a virtual molding terminal according to an embodiment of the present invention;
3 is an external view of a virtual molding terminal according to an embodiment of the present invention;
4 is a block diagram showing the configuration of a virtual molding system using a virtual molding terminal according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 4에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 가상성형 장치, 스테레오 카메라, 일반 카메라, 홀로그램 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings 1 to 4. On the other hand, in the drawings and detailed description showing and referring to the construction and operation that can be easily understood by those skilled in the art from a general virtual molding apparatus, a stereo camera, a general camera, a hologram and the like briefly or omitted. In the drawings and specification, there are shown in the drawings and will not be described in detail, and only the technical features related to the present invention are shown or described only briefly. Respectively.

본 발명의 실시예에 따른 가상성형 단말기(100)는 도 1 내지 도 3에서와 같이 스테레오 카메라 유닛(10), 입력장치(20), 메인 컨트롤러(30), 성형 DB(40), 가상성형 디스플레이장치(50)를 포함하여 이루어진다.
Virtual molding terminal 100 according to an embodiment of the present invention is a stereo camera unit 10, the input device 20, the main controller 30, the molding DB 40, the virtual molding display, as shown in Figs. Device 50.

스테레오 카메라 유닛(10)은 서로 이격되게 배치되는 복수개의 일반 카메라(11)로 이루어진다. 스테레오 카메라 유닛(10)은 각 일반 카메라(11)로부터 사용자 얼굴을 촬영하여 사용자 얼굴의 입체 영상정보를 획득하게 된다. 이와 같은 스테레오 카메라 유닛(10)은 스테레오 카메라와 같은 고가의 3D 측정장치를 대체함으로써 비용절감을 도모하게 된다.
The stereo camera unit 10 is composed of a plurality of general cameras 11 spaced apart from each other. The stereo camera unit 10 acquires stereoscopic image information of the user's face by photographing the user's face from each general camera 11. The stereo camera unit 10 reduces cost by replacing expensive 3D measurement devices such as stereo cameras.

입력장치(20)는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는다. 본 발명의 실시예에 따른 입력장치(20)는 가상성형용 콘텐츠 라이브러리 항목이 출력되고, 사용자의 터치에 의해 가상형성용 콘텐츠 라이브러리의 선택항목이 입력되는 터치스크린(21)이다.
The input device 20 provides a virtual content contents library item to a user and receives a selection item selected by the user from the virtual molding content library item. The input device 20 according to an exemplary embodiment of the present invention is a touch screen 21 in which a virtual shaping content library item is output and a selection item of a virtual shaping content library is input by a user's touch.

메인 컨트롤러(30)는 스테레오 카메라 유닛(10), 입력장치(20), 성형 DB(40), 가상성형 디스플레이장치(50)와 연결되어 가상성형이 수행되고 관리되도록 하는 것이다. 이와 같은 메인 컨트롤러(30)는 스테레오 카메라 유닛(10)로부터 사용자 얼굴의 입체 영상정보를 전달받고, 입력장치(20)로부터 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받은 후, 사용자 얼굴의 입체 영상정보에 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하게 된다. 본 발명의 실시예에 따른 메인 컨트롤러(30)는 얼굴인식 유닛(31), 3D 모델링 유닛(32), 가상성형 유닛(33)을 포함하여 이루어진다. 얼굴인식 유닛(31)은 스테레오 카메라 유닛(10)에서 입력되는 사용자 얼굴의 입체 영상정보로부터 사용자 얼굴을 인식하는 유닛으로, 이를 위한 인식 알고리즘을 갖는다. 3D 모델링 유닛(32)은 얼굴인식 유닛(31)으로부터 인식된 사용자 얼굴의 윤곽선을 추출하고, 사용자 얼굴을 3D 모델링하는 유닛으로, 이를 위한 윤곽선 추출 알고리즘과 3D 모델링 알고리즘을 갖는다. 가상성형 유닛(33)은 입력장치(20)에서 입력되는 가상형성용 콘텐츠 라이브러리의 선택항목에 따라 3D 모델링된 사용자 얼굴을 변형시켜 사용자 얼굴의 가상성형 형상 정보를 산출하는 유닛으로, 이를 위한 가상성형 알고리즘을 갖는다. 여기서, 본 발명의 실시예에 따른 메인 컨트롤러(30)는 사용자 얼굴의 가상성형 형상 정보가 3D 홀로그램의 입체 영상정보로 산출되도록 한다.
The main controller 30 is connected to the stereo camera unit 10, the input device 20, the molding DB 40, and the virtual molding display apparatus 50 so that virtual molding is performed and managed. The main controller 30 receives stereoscopic image information of the user's face from the stereo camera unit 10, receives a selection item of the virtual molding content library from the input device 20, and then stereoscopic image information of the user's face. The virtual molding shape information of the user's face to which the selection item of the virtual molding content library is applied is calculated. The main controller 30 according to the embodiment of the present invention includes a face recognition unit 31, a 3D modeling unit 32, and a virtual molding unit 33. The face recognition unit 31 is a unit that recognizes a user's face from stereoscopic image information of the user's face input from the stereo camera unit 10, and has a recognition algorithm therefor. The 3D modeling unit 32 is a unit for extracting the contour of the user face recognized from the face recognition unit 31 and 3D modeling the user face, and has a contour extraction algorithm and a 3D modeling algorithm therefor. The virtual molding unit 33 is a unit for calculating the virtual molding shape information of the user's face by deforming the 3D modeled user's face according to a selection item of the virtual forming content library input from the input device 20. Has an algorithm. Here, the main controller 30 according to the embodiment of the present invention allows the virtual molding shape information of the user's face to be calculated as the stereoscopic image information of the 3D hologram.

성형 DB(40)는 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 데이터베이스이다. 본 발명의 실시예에 다른 성형 DB(40)는 인적정보 관리 DB(41), 안면 윤곽 정보관리 DB(42), 성형부위별 모델 DB(43), 모델별 메타데이터 DB(44), 부위별 성형 메타데이터 DB(45)를 포함한다. 인적정보 관리 DB(41)는 가상성형을 수행하는 사용자의 인적정보가 저장되고 관리되는 DB이다. 안면 윤곽 정보관리 DB(42)는 스테레오 카메라 유닛(10)에 의해 획득된 사용자 얼굴의 입체 영상정보로부터 메인 컨트롤러(30)에 의해 산출되는 사용자의 안면 윤곽정보가 저장되고 관리되는 DB이다. 성형부위별 모델 DB(43)는 얼굴 부위별에 제공되는 복수의 모델에 관한 정보가 저장되고 관리되는 DB이다. 모델별 메타데이터 DB(44)는 얼굴형상정보를 포함하는 메타데이터가 각 모델별로 저장되고 관리되는 DB이다. 부위별 성형 메타데이터 DB(45)는 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터가 성형부위별로 저장되고 관리되는 DB이다.The molding DB 40 is a database in which the virtual molding content library is stored and managed. The molding DB 40 according to the embodiment of the present invention includes a human information management DB 41, a facial contour information management DB 42, a model DB 43 for each molding part, a metadata DB 44 for each model, and a part for each part. The shaping metadata DB 45 is included. The personal information management DB 41 is a DB in which personal information of a user performing virtual formation is stored and managed. The facial contour information management DB 42 is a DB in which the facial contour information of the user calculated by the main controller 30 is stored and managed from the stereoscopic image information of the user's face obtained by the stereo camera unit 10. The model DB 43 for each molding site is a DB in which information on a plurality of models provided for each face region is stored and managed. The per-model metadata DB 44 is a DB in which metadata including face shape information is stored and managed for each model. The partial molding metadata DB 45 is a DB in which molding metadata including the face region deformation information applied to molding each face region is stored and managed for each molding region.

이에 따라, 성형 DB(40)에 저장되어 관리되는 가상성형용 콘텐츠 라이브러리는 사용자의 안면 윤곽정보, 부위별 모델정보, 모델별 메타데이터, 부위별 성형 메타데이터를 포함하게 된다.
Accordingly, the virtual molding content library stored and managed in the shaping DB 40 includes face contour information of the user, model information for each part, metadata for each model, and molding metadata for each part.

가상성형 디스플레이장치(50)는 메인 컨트롤러(30)와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 된다. 여기서, 본 발명의 실시예에 따른 가상성형 디스플레이장치(50)는 3D 홀로그램 출력장치(51)이다.
The virtual molding display device 50 is connected to the main controller 30 to output virtual molding shape information of the user's face. Here, the virtual display device 50 according to the embodiment of the present invention is a 3D hologram output device 51.

상기와 같이 본 발명의 실시예에 따른 가상성형 단말기(100)는 복수의 일반 카메라(11)로 이루어진 스테레오 카메라 유닛(10)에 의해 사용자 얼굴이 촬영된 후, 메인 컨트롤러(30)의 얼굴 인식 유닛(31), 3D 모델링 유닛(32)에 의해 사용자 얼굴이 3D 모델링되므로, 장치구성의 단순화가 도모된다. 또한, 본 발명의 실시예에 따른 가상성형 단말기(100)는 성형 DB(40)에 저장되고 관리되는 가상성형용 콘텐츠 라이브러리가 입력장치(20)와 메인 컨트롤러(30)에 제공되고, 입력장치(20)를 이루는 터치스크린(21)의 터치에 의해 가상성형용 콘텐츠 라이브러리 항목이 선택되므로, 사용자의 단순 조작으로도 성형 시뮬레이션이 간편하고 용이하게 실행된다.
As described above, after the user's face is photographed by the stereo camera unit 10 including the plurality of general cameras 11, the virtual molding terminal 100 according to an embodiment of the present invention is a face recognition unit of the main controller 30. (31) Since the user face is 3D modeled by the 3D modeling unit 32, the device configuration can be simplified. In addition, the virtual molding terminal 100 according to an embodiment of the present invention is provided with a virtual molding content library that is stored and managed in the molding DB 40 to the input device 20 and the main controller 30, the input device ( Since the virtual molding content library item is selected by the touch of the touch screen 21 constituting 20), the molding simulation can be easily and easily executed even by a simple operation of the user.

본 발명의 실시예에 따른 가상성형 단말기를 이용한 가상성형 시스템은 도 4에서와 같이 가상성형 단말기(100), 통합관리 서버(500), 성형 DB 서버(600), 의료기관 단말기(200), 사용자 PC 단말기(300), 사용자 휴대폰(400) 등을 포함한다.
In the virtual molding system using the virtual molding terminal according to an embodiment of the present invention, the virtual molding terminal 100, the integrated management server 500, the molding DB server 600, the medical institution terminal 200, the user PC as shown in FIG. The terminal 300, the user mobile phone 400, and the like.

가상성형 단말기(100)는 사용자 얼굴의 입체 영상정보를 획득하고, 사용자에게 제공되는 가상성형용 콘텐츠 라이브러리(contents library) 항목으로부터 사용자에 의해 선택된 선택항목을 입력받아 사용자 얼굴의 가상성형 형상 정보를 산출하여 출력하는 단말기로서, 상술된 본 발명의 가상성형 단말기(100)가 사용된다.
The virtual molding terminal 100 obtains stereoscopic image information of the user's face, calculates the virtual molding shape information of the user's face by receiving a selection item selected by the user from an item of the virtual molding contents library provided to the user. As the terminal for outputting, the above-described virtual molding terminal 100 of the present invention is used.

통합관리 서버(500)는 가상성형 단말기(100)와 통신하여 사용자 얼굴의 가상성형 형상 정보를 전달받고, 사용자 얼굴의 가상성형 형상 정보를 관리하고 제어하는 서버이다. 이와 같은 통합관리 서버(500)는 인터넷과 같은 네트워크 상에서 가상성형 단말기(100)와 통신한다. 또한, 통합관리 서버(500)는 통신이 가능한 외부 단말기와 연결되어 사용자 얼굴의 가상성형 형상 정보가 전달될 수 있도록 하는데, 외부 단말기는 의료기관 단말기(200), 사용자 PC 단말기(300), 사용자 휴대폰(400) 등이다.The integrated management server 500 is a server that communicates with the virtual molding terminal 100 to receive the virtual molding shape information of the user face and manages and controls the virtual molding shape information of the user face. The integrated management server 500 communicates with the virtual molding terminal 100 on a network such as the Internet. In addition, the integrated management server 500 is connected to an external terminal that can communicate with the virtual molding shape information of the user's face to be delivered, the external terminal is a medical institution terminal 200, a user PC terminal 300, a user mobile phone ( 400).

성형 DB 서버(600)는 사용자의 인적정보, 사용자의 안면 윤곽정보, 얼굴 부위별에 제공되는 복수의 모델에 관한 정보인 성형부위별 모델정보, 얼굴형상정보를 포함하는 메타데이터를 각 모델별로 정리한 모델별 메타데이터, 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터를 성형부위별로 정리한 부위별 성형 메타데이터 및, 사용자 얼굴의 가상성형 형상 정보를 저장하고 관리하는 서버이다. 이와 같은 성형 DB 서버(600)는 통합관리 서버(500)와 연동되어 인터넷과 같은 네트워크 상에서 가상성형 단말기(100)와 통신한다.
The shaping DB server 600 organizes metadata including the personal information of the user, the face contour information of the user, and model information for each shaping part, which is information about a plurality of models provided for each face part, and face shape information for each model. A server that stores and manages the molding metadata for each part by arranging the metadata for each model, the molding metadata including the face part deformation information applied to the molding of each face part for each molding part, and the virtual molding shape information of the user's face. to be. The molding DB server 600 is linked with the integrated management server 500 and communicates with the virtual molding terminal 100 on a network such as the Internet.

의료기관 단말기(200)는 가상성형 단말기(100)와 직접 연결되거나, 통합관리 서버(500)와 네트워크 상에서 통신하여 사용자 얼굴의 가상성형 형상 정보를 입력받고, 의료인이 사용자 얼굴의 가상성형 형상 정보를 확인하게 단말기로서, 가상성형 단말기(100)의 사용자와 의료인이 네트워크 상에서 의사소통 가능하도록 한다. 여기서, 의료기관 단말기(200)는 성형외과 의사의 단말기일 수 있다.
The medical institution terminal 200 is directly connected to the virtual molding terminal 100 or communicates with the integrated management server 500 on a network to receive the virtual molding shape information of the user's face, and the medical person confirms the virtual molding shape information of the user's face. As a terminal, the user and the medical personnel of the virtual molding terminal 100 can communicate on the network. Here, the medical institution terminal 200 may be a terminal of a plastic surgeon.

통신가능한 사용자 PC 단말기(300)나 스마트 폰과 같은 사용자 휴대폰(400)은 통합관리 서버와 인터넷과 같은 네트워크 상에서 통신하여 사용자 얼굴의 가상성형 형상 정보를 제공받는 것이다. 이에 따라, 사용자는 시간과 장소의 구애없이 손쉽게 가상성형 형상 정보에 접근하여 다각도로 활용할 수 있게 된다.
A user PC terminal 300 or a user mobile phone 400 such as a smart phone that communicates is provided with virtual shape information of the user's face by communicating on a network such as the integrated management server and the Internet. Accordingly, the user can easily access the virtual shape information and utilize it at various angles regardless of time and place.

상술한 바와 같은, 본 발명의 실시예에 따른 가상성형 단말기 및 그를 이용한 가상성형 시스템을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
As described above, the virtual molding terminal according to an embodiment of the present invention and a virtual molding system using the same are shown in accordance with the above description and the drawings, but this is only an example and is within the scope without departing from the spirit of the present invention. It will be understood by those skilled in the art that various changes and modifications are possible in the art.

10 : 스테레오 카메라 유닛 11 : 일반 카메라
20 : 입력장치 21 : 터치스크린
30 : 메인 컨트롤러 31 : 얼굴인식 유닛
32 : 3D 모델링 유닛 33 : 가상성형 유닛
40 : 성형 DB 41 : 인적정보 관리 DB
42 : 안면 윤곽 정보관리 DB 43 : 성형부위별 모델 DB
44 : 모델별 메타데이터 DB 45 : 부위별 성형 메타데이터 DB
50 : 가상성형 디스플레이장치 51 : 3D 홀로그램 출력장치
100 : 가상성형 단말기 200 : 의료기관 단말기
300 : 사용자 PC 단말기 400 : 사용자 휴대폰
500 : 통합관리 서버 600 : 성형 DB 서버10: stereo camera unit 11: general camera
20: input device 21: touch screen
30: main controller 31: face recognition unit
32: 3D modeling unit 33: virtual forming unit
40: molding DB 41: human information management DB
42: Facial contour information management DB 43: Model DB by molding part
44: metadata DB by model 45: molding metadata DB by parts
50: virtual molding display device 51: 3D hologram output device
100: virtual molding terminal 200: medical institution terminal
300: user PC terminal 400: user mobile phone
500: integrated management server 600: molding DB server

Claims (11)

서로 이격되게 배치되는 복수개의 일반 카메라로 이루어져 사용자 얼굴의 입체 영상정보를 획득하게 되는 스테레오 카메라 유닛과;
가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 상기 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는 입력장치와;
상기 스테레오 카메라 유닛과 연결되어 사용자 얼굴의 입체 영상정보를 전달받고, 상기 입력장치와 연결되어 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받으며, 사용자 얼굴의 입체 영상정보에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하는 메인 컨트롤러와;
상기 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 성형 DB 및;
상기 메인 컨트롤러와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 되는 가상성형 디스플레이장치를 포함하는 것을 특징으로 하는 가상성형 단말기.A stereo camera unit comprising a plurality of general cameras spaced apart from each other to obtain stereoscopic image information of a user's face;
An input device for providing a virtual content library item to a user and receiving a selection item selected by the user from the virtual content library item;
Connected to the stereo camera unit to receive stereoscopic image information of the user's face, connected to the input device to receive a selection item of the virtual molding content library, and to the stereoscopic image information of the user's face A main controller for calculating virtual molding shape information of a user's face to which the selection item is applied;
A molding DB in which the virtual molding content library is stored and managed;
And a virtual molding display device connected to the main controller to output virtual molding shape information of a user's face. 제 1항에 있어서,
상기 입력장치는 상기 가상성형용 콘텐츠 라이브러리 항목이 출력되고, 사용자의 터치에 의해 상기 가상형성용 콘텐츠 라이브러리의 선택항목이 입력되는 터치스크린인 것을 특징으로 하는 가상성형 단말기.The method of claim 1,
The input device is a virtual molding terminal, characterized in that the touch screen for outputting the virtual shaping content library items, the user's touch input the selection items of the virtual shaping content library. 제 1항에 있어서,
상기 메인 컨트롤러는 상기 스테레오 카메라 유닛에서 입력되는 사용자 얼굴의 입체 영상정보로부터 사용자 얼굴을 인식하는 얼굴인식 유닛과;
상기 얼굴인식 유닛으로부터 인식된 사용자 얼굴의 윤곽선을 추출하고, 사용자 얼굴을 3D 모델링하는 3D 모델링 유닛과;
상기 입력장치에서 입력되는 가상형성용 콘텐츠 라이브러리의 선택항목에 따라 3D 모델링된 사용자 얼굴을 변형시켜 사용자 얼굴의 가상성형 형상 정보를 산출하는 가상성형 유닛을 포함하는 것을 특징으로 하는 가상성형 단말기.The method of claim 1,
The main controller includes a face recognition unit for recognizing a user face from the stereoscopic image information of the user face input from the stereo camera unit;
A 3D modeling unit for extracting a contour of the user's face recognized from the face recognition unit and for modeling the user's face;
And a virtual molding unit configured to calculate virtually shaped shape information of the user's face by deforming the 3D modeled user's face according to a selection item of the virtual forming content library inputted from the input device. 제 1항에 있어서,
사용자 얼굴의 가상성형 형상 정보는 3D 홀로그램의 입체 영상정보인 것을 특징으로 하는 가상성형 단말기.The method of claim 1,
The virtual molding shape information of the user face is a virtual molding terminal, characterized in that the stereoscopic image information of the 3D hologram. 제 4항에 있어서,
상기 가상성형 디스플레이장치는 3D 홀로그램 출력장치인 것을 특징으로 하는 가상성형 단말기.5. The method of claim 4,
The virtual molding display device is a virtual molding terminal, characterized in that the 3D hologram output device. 제 1항에 있어서,
상기 성형 DB는 사용자의 인적정보가 저장되고 관리되는 인적정보 관리 DB와;
상기 스테레오 카메라 유닛에 의해 획득된 사용자 얼굴의 입체 영상정보로부터 상기 메인 컨트롤러에 의해 산출되는 사용자의 안면 윤곽정보가 저장되고 관리되는 안면 윤곽정보 관리 DB와;
얼굴 부위별에 제공되는 복수의 모델에 관한 정보가 저장되고 관리되는 성형부위별 모델 DB와;
얼굴형상정보를 포함하는 메타데이터가 각 모델별로 저장되고 관리되는 모델별 메타데이터 DB 및;
각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터가 성형부위별로 저장되고 관리되는 부위별 성형 메타데이터 DB를 포함하고,
상기 가상성형용 콘텐츠 라이브러리는 사용자의 안면 윤곽정보, 부위별 모델정보, 모델별 메타데이터, 부위별 성형 메타데이터를 포함하는 것을 특징으로 하는 가상성형 단말기.The method of claim 1,
The molding DB includes a personal information management DB in which personal information of a user is stored and managed;
A facial contour information management DB, in which facial contour information of a user calculated by the main controller is stored and managed from stereoscopic image information of a user's face obtained by the stereo camera unit;
A model DB for each part for storing and managing information on a plurality of models provided for each facial part;
A metadata DB for each model in which metadata including face shape information is stored and managed for each model;
The molding metadata including the face deformation information applied to the molding of each face part includes a molding metadata DB for each part stored and managed for each molding part.
The virtual molding content library includes a user's face contour information, model information for each part, metadata for each model, molding metadata for each part of the virtual molding terminal. 사용자 얼굴의 입체 영상정보를 획득하고, 사용자에게 제공되는 가상성형용 콘텐츠 라이브러리(contents library) 항목으로부터 사용자에 의해 선택된 선택항목을 입력받아 사용자 얼굴의 가상성형 형상 정보를 산출하여 출력하는 가상성형 단말기와;
상기 가상성형 단말기와 통신하여 사용자 얼굴의 가상성형 형상 정보를 전달받고, 상기 사용자 얼굴의 가상성형 형상 정보를 관리하고 제어하는 통합관리 서버를 포함하여,
상기 통합관리 서버와 통신이 가능한 외부 단말기에 상기 사용자 얼굴의 가상성형 형상 정보가 전달될 수 있도록 하는 것을 특징으로 하는 가상성형 단말기를 이용한 가상성형 시스템.A virtual molding terminal for acquiring stereoscopic image information of a user's face, receiving a selection item selected by a user from a contents library item for virtual molding, and calculating and outputting virtual molding shape information of the user's face; ;
Including the integrated management server to communicate with the virtual molding terminal receives the virtual molding shape information of the user face, and to manage and control the virtual molding shape information of the user face,
The virtual molding system using the virtual molding terminal, characterized in that for transmitting the virtual molding shape information of the user's face to an external terminal that can communicate with the integrated management server. 제 7항에 있어서,
사용자의 인적정보, 사용자의 안면 윤곽정보, 얼굴 부위별에 제공되는 복수의 모델에 관한 정보인 성형부위별 모델정보, 얼굴형상정보를 포함하는 메타데이터를 각 모델별로 정리한 모델별 메타데이터, 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터를 성형부위별로 정리한 부위별 성형 메타데이터 및, 상기 사용자 얼굴의 가상성형 형상 정보를 저장하고 관리하는 성형 DB 서버를 더 포함하는 것을 특징으로 하는 가상성형 단말기를 이용한 가상성형 시스템.8. The method of claim 7,
User-specific information, user's facial contour information, model information for each molding part, which is information about a plurality of models provided for each face part, and metadata including model data including face shape information. It further comprises a molding DB server for storing and managing the shaping metadata for each part by arranging the shaping metadata including the face deformation information applied to the shaping of the face part for each shaping part, and the virtual shaping shape information of the user's face. Virtual molding system using a virtual molding terminal, characterized in that. 제 7항에 있어서,
상기 가상성형 단말기와 상기 통합관리 서버 중에서 선택된 어느 하나와 통신하여 사용자 얼굴의 가상성형 형상 정보를 입력받고, 의료인이 상기 사용자 얼굴의 가상성형 형상 정보를 확인하게 되는 의료기관 단말기를 포함하여,
상기 가상성형 단말기의 사용자와 의료인이 네트워크 상에서 의사소통 가능하도록 하는 것을 특징으로 하는 가상성형 단말기를 이용한 가상성형 시스템.8. The method of claim 7,
And a medical institution terminal configured to communicate with any one selected from the virtual molding terminal and the integrated management server to receive virtual molding shape information of a user's face, and a medical person to check the virtual molding shape information of the user's face.
A virtual molding system using a virtual molding terminal, characterized in that the user and the medical personnel of the virtual molding terminal to communicate on the network. 제 7항에 있어서,
상기 통합관리 서버와 통신이 가능한 외부 단말기는 사용자 PC 단말기, 사용자 휴대폰을 포함하는 것을 특징으로 하는 가상성형 단말기를 이용한 가상성형 시스템.8. The method of claim 7,
The external terminal that can communicate with the integrated management server is a virtual molding system using a virtual molding terminal, characterized in that it comprises a user PC terminal, a user mobile phone. 제 7항에 있어서,
상기 가상성형 단말기는 서로 이격되게 배치되는 복수개의 일반 카메라로 이루어져 사용자 얼굴의 입체 영상정보를 획득하게 되는 스테레오 카메라 유닛과;
가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 상기 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는 입력장치와;
상기 스테레오 카메라 유닛과 연결되어 사용자 얼굴의 입체 영상정보를 전달받고, 상기 입력장치와 연결되어 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받으며, 사용자 얼굴의 입체 영상정보에 상기 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하는 메인 컨트롤러와;
상기 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 성형 DB 및;
상기 메인 컨트롤러와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 되는 가상성형 디스플레이장치를 포함하는 것을 특징으로 하는 가상성형 단말기를 이용한 가상성형 시스템.8. The method of claim 7,
The virtual molding terminal is composed of a plurality of general cameras spaced apart from each other stereo camera unit to obtain stereoscopic image information of the user's face;
An input device for providing a virtual content library item to a user and receiving a selection item selected by the user from the virtual content library item;
Connected to the stereo camera unit to receive stereoscopic image information of the user's face, connected to the input device to receive a selection item of the virtual molding content library, and to the stereoscopic image information of the user's face A main controller for calculating virtual molding shape information of a user's face to which the selection item is applied;
A molding DB in which the virtual molding content library is stored and managed;
And a virtual molding display device which is connected to the main controller and outputs virtual molding shape information of a user's face.
KR1020120068306A 2012-06-26 2012-06-26 Virtual cosmetic surgery device and virtual cosmetic surgery system thereof KR20140006138A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120068306A KR20140006138A (en) 2012-06-26 2012-06-26 Virtual cosmetic surgery device and virtual cosmetic surgery system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120068306A KR20140006138A (en) 2012-06-26 2012-06-26 Virtual cosmetic surgery device and virtual cosmetic surgery system thereof

Publications (1)

Publication Number Publication Date
KR20140006138A true KR20140006138A (en) 2014-01-16

Family

ID=50141130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120068306A KR20140006138A (en) 2012-06-26 2012-06-26 Virtual cosmetic surgery device and virtual cosmetic surgery system thereof

Country Status (1)

Country Link
KR (1) KR20140006138A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150114138A (en) * 2014-03-31 2015-10-12 (주)트라이큐빅스 Method and apparatus for virtual molding SNS service
CN106774879A (en) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 A kind of plastic operation experiencing system based on AR virtual reality technologies
KR20180065951A (en) * 2016-12-07 2018-06-18 한국전자통신연구원 Apparatus for virtual plastic surgery based on subjective preference and method for the same
KR20180066760A (en) * 2016-12-09 2018-06-19 이승빈 System for providng 3d hair style using holography
KR20190030789A (en) 2017-08-16 2019-03-25 주식회사 삼우이노베이션 User terminal, service server, system and method for matching client to service provider based on curation service
CN113591757A (en) * 2021-08-07 2021-11-02 王新 Automatic operation device and equipment for eye reshaping

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150114138A (en) * 2014-03-31 2015-10-12 (주)트라이큐빅스 Method and apparatus for virtual molding SNS service
KR20180065951A (en) * 2016-12-07 2018-06-18 한국전자통신연구원 Apparatus for virtual plastic surgery based on subjective preference and method for the same
KR20180066760A (en) * 2016-12-09 2018-06-19 이승빈 System for providng 3d hair style using holography
CN106774879A (en) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 A kind of plastic operation experiencing system based on AR virtual reality technologies
CN106774879B (en) * 2016-12-12 2019-09-03 快创科技（大连）有限公司 A kind of plastic operation experiencing system based on AR virtual reality technology
KR20190030789A (en) 2017-08-16 2019-03-25 주식회사 삼우이노베이션 User terminal, service server, system and method for matching client to service provider based on curation service
CN113591757A (en) * 2021-08-07 2021-11-02 王新 Automatic operation device and equipment for eye reshaping

Similar Documents

Publication Publication Date Title
CN109085966B (en) Three-dimensional display system and method based on cloud computing
CN109219835A (en) The generation of the customization wearable article of 3 D-printing
US20150272691A1 (en) Method and apparatus for providing virtual plastic surgery sns service
US20190228448A1 (en) System, Platform and Method for Personalized Shopping Using a Virtual Shopping Assistant
US20240078584A1 (en) System Platform and Method for Personalized Shopping Using an Automated Shopping Assistant
KR20140006138A (en) Virtual cosmetic surgery device and virtual cosmetic surgery system thereof
WO2018132336A1 (en) Medical assistant
CN109905593B (en) Image processing method and device
CN110288716B (en) Image processing method, device, electronic equipment and storage medium
KR102649617B1 (en) Systems, platforms and methods for personalized shopping using automated shopping assistants
WO2020056532A1 (en) Marker-less augmented reality system for mammoplasty pre-visualization
KR101397476B1 (en) Virtual cosmetic surgery method by 3d virtual cosmetic surgery device
CN111062276A (en) Human body posture recommendation method and device based on human-computer interaction, machine readable medium and equipment
CN111860252A (en) Image processing method, apparatus and storage medium
CN113744384B (en) Three-dimensional face reconstruction method and device, electronic equipment and storage medium
CN113298956A (en) Image processing method, nail beautifying method and device, and terminal equipment
CN115035004B (en) Image processing method, apparatus, device, readable storage medium and program product
US20190026939A1 (en) Systems and methods for blind and visually impaired person environment navigation assistance
KR102466408B1 (en) Styling device and the driving method thereof
KR20200107520A (en) Smart mirror system and method for controlling smart mirror
KR20180026029A (en) Method for simulation of plastic surgery
CN112734657A (en) Cloud group photo method and device based on artificial intelligence and three-dimensional model and storage medium
CN110545386B (en) Method and apparatus for photographing image
RU148909U1 (en) DEVICE FOR SELECTION OF GOODS SUITING THE USER'S SIZES
CN115482899A (en) Prescription recommendation method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application