WO2018164328A1 - 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
WO2018164328A1
WO2018164328A1 PCT/KR2017/008505 KR2017008505W WO2018164328A1 WO 2018164328 A1 WO2018164328 A1 WO 2018164328A1 KR 2017008505 W KR2017008505 W KR 2017008505W WO 2018164328 A1 WO2018164328 A1 WO 2018164328A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
anatomical
user
shape
estimating
Prior art date
Application number
PCT/KR2017/008505
Other languages
English (en)
French (fr)
Inventor
김진수
최흥산
김희진
최종우
허창훈
Original Assignee
주식회사 모르페우스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170094993A external-priority patent/KR101959859B1/ko
Application filed by 주식회사 모르페우스 filed Critical 주식회사 모르페우스
Publication of WO2018164328A1 publication Critical patent/WO2018164328A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for estimating a face using anatomical layers.
  • an outline of a face component such as an eye, a nose, a mouth, and a chin is extracted from a face image obtained from a user, and a face of the user is generated based on each feature point of the component.
  • a technique of estimating a user's face predicted in virtual molding or virtual aging by introducing a horizontally or vertically enlarged image based on vertices of each generated facial component was introduced.
  • the whole face of the user is estimated or only the face or bone of the user is imaged based on a local feature obtained from the image of the face or bone of the user.
  • simulation services such as virtual molding and virtual aging, so there was no difference between actual and virtual results.
  • the present invention aims to solve all of the above-mentioned problems of the prior art.
  • another object of the present invention is to estimate the change over time of the shape and position of at least one kind of anatomical layer included in the soft tissue of the user's face based on the user information. .
  • another object of the present invention is to estimate a face of a user corresponding to the requested age range by using an anatomical layer.
  • a method for estimating a face using an anatomical layer comprising: acquiring three-dimensional measurement data about a shape of a user's face, and comparing the obtained three-dimensional measurement data with the user information; Estimating a change over time in the shape and position of at least one type of anatomical layer included in soft tissue of the user's face by analyzing it relative to the associated at least one anatomical face model.
  • the anatomical face model is provided with modeled data regarding the shape and location of at least one type of anatomical layer included in soft tissues of the face.
  • a system for estimating a face using an anatomical layer comprising: a measurement data acquisition unit for acquiring three-dimensional measurement data about a shape of a user's face; and the obtained three-dimensional measurement data; A layer estimator for estimating a change over time of the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face by analyzing the at least one anatomical face model associated with user information;
  • the anatomical face model is provided with a system that includes modeled data about the shape and location of at least one type of anatomical layer included in soft tissues of the face.
  • non-transitory computer readable recording medium for recording another method for implementing the present invention, another system, and a computer program for executing the method.
  • the present invention it is possible to estimate the change over time of the shape and position of at least one kind of anatomical layer included in the soft tissue of the user's face based on the user information.
  • the user's face corresponding to the requested age range can be estimated using an anatomical layer.
  • FIG. 1 is a view showing a schematic configuration of an entire system for estimating a face using an anatomical layer according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing in detail the internal configuration of the estimation system according to an embodiment of the present invention.
  • FIG. 3 is a diagram exemplarily illustrating a process of estimating a face of a user corresponding to a requested age group according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a situation in which an estimation system according to an embodiment of the present invention is utilized.
  • FIG. 1 is a view showing a schematic configuration of an entire system for estimating a face using an anatomical layer according to an embodiment of the present invention.
  • an entire system may include a communication network 100, an estimation system 200, and a device 300.
  • the communication network 100 may be configured regardless of a communication mode such as wired communication or wireless communication, and includes a local area network (LAN) and a metropolitan area network (MAN). ), And various communication networks such as a wide area network (WAN).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 as used herein may be a known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.
  • the communication network 100 is a wireless data communication network, and includes Wi-Fi communication, Wi-Fi Direct communication, Long Term Evolution (LTE) communication, Bluetooth communication (for example, low power Bluetooth BLE (Bluetooth Low Energy), infrared communication, ultrasonic communication, etc. may be implemented at least in part.
  • Wi-Fi communication Wi-Fi Direct communication
  • Wi-Fi Direct communication Wi-Fi Direct communication
  • LTE Long Term Evolution
  • Bluetooth communication for example, low power Bluetooth BLE (Bluetooth Low Energy), infrared communication, ultrasonic communication, etc. may be implemented at least in part.
  • the estimation system 200 may perform communication with the device 300, which will be described later, through the communication network 100, and obtain 3D measurement data regarding the shape of the face of the user. And analyzing the obtained three-dimensional measurement data by comparing the obtained three-dimensional measurement data with at least one anatomical face model associated with the corresponding user information, thereby including at least one type of anatomical layer included in the soft tissue of the user's face ( and a function of estimating the change in shape and position of the layer over time.
  • the estimation system 200 is requested by referring to an estimation result of a change over time of the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face.
  • the function of estimating the face of the user corresponding to the age group may be performed.
  • the configuration and function of the estimation system 200 according to the present invention will be described in detail through the following detailed description.
  • this description is exemplary, and at least some of the functions or components required for the estimation system 200 will be described later as necessary, the device 300 or an external system It will be apparent to those skilled in the art that they may be implemented within (not shown) or incorporated into device 300 or an external system (not shown).
  • the device 300 is a digital device including a function of enabling communication after connecting to the estimation system 200 through the communication network 100, such as a smartphone, tablet PC, etc.
  • a portable digital device having a memory means and a microprocessor equipped with arithmetic capability can be adopted as the device 300 according to the present invention.
  • the device 300 may include an application for supporting a function according to the present invention for estimating a face using an anatomical layer.
  • an application may be downloaded from the estimation system 200 or an external application distribution server (not shown).
  • FIG. 2 is a diagram showing in detail the internal configuration of the estimation system 200 according to an embodiment of the present invention.
  • Estimating system 200 may be a digital device having a computing capability by mounting a microprocessor and a memory means. Such estimation system 200 may be a server system. As shown in FIG. 2, the estimation system 200 includes a measurement data acquisition unit 210, a layer estimator 220, a face estimator 230, a communication unit 240, and a controller 250. Can be. According to an embodiment of the present invention, the measurement data acquisition unit 210, the layer estimator 220, the face estimator 230, the communication unit 240 and the control unit 250 is at least a part of the external system and It may be a program module that communicates.
  • Such program modules may be included in the estimation system 200 in the form of operating systems, application modules or other program modules, and may be physically stored in various known storage devices. Such program modules may also be stored in a remote storage device capable of communicating with the estimation system 200.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the measurement data acquisition unit 210 may perform a function of acquiring three-dimensional measurement data regarding a shape of a user's face.
  • the three-dimensional measurement data may include at least one of three-dimensional scanning data of the user's face and three-dimensional imaging data of the hard tissue of the user's face, such three-dimensional scanning
  • the imaging data may include x-rays, ultrasound waves, computer tomography (CT), magnetic resonance images (MRI), and positron emission tomography (PET). And a three-dimensional scanner.
  • the measurement data acquisition unit 210 may obtain three-dimensional measurement data about the user's face shape from the two-dimensional measurement data regarding the user's face shape.
  • the measurement data acquisition unit 210 acquires two-dimensional measurement data (eg, a picture, a picture, etc.) regarding a shape of a user
  • a perspective projection conversion algorithm (perspective) is obtained.
  • three-dimensional measurement on the shape of the user's face by converting the two-dimensional measurement data obtained above through the known three-dimensional transformation algorithm such as projection transformation into three-dimensional data based on the user's facial feature points of the two-dimensional measurement data.
  • Data can be obtained.
  • the layer estimator 220 at least one anatomy associated with the user information, the three-dimensional measurement data about the shape of the user's face obtained from the measurement data acquisition unit 210 By comparing with the enemy face model, a function of estimating the change over time of the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face may be performed.
  • the anatomical face model is obtained by scanning the peeled (or unpeeled) layer while peeling off the anatomical layers of the soft tissue of the face of the dead human body (ie, the dead body).
  • the position and shape of a layer and data obtained by transmitting at least one of ultrasonic waves, radiation, a magnetic field, and a positron to a living human facial soft tissue (for example, data regarding the position and shape of a layer).
  • a living human facial soft tissue for example, data regarding the position and shape of a layer.
  • the modeled data may be included.
  • the data obtained above such as the support vector machine (SVM) algorithm, multivariate adaptive regression spline (MARS) algorithm, nearest neighbor (KNN) algorithm, neural network (NN) algorithm, etc.
  • SVM support vector machine
  • MARS multivariate adaptive regression spline
  • KNN nearest neighbor
  • NN neural network
  • an anatomical face model may be obtained that patterns the anatomical layers of the face according to demographic indicators.
  • the above-described anatomical layer may include layers relating to at least one of muscle, fat, blood vessels, nerves and lymphatic vessels, and the user information may include race, ethnicity, gender, and age of the user. Information may be included.
  • the type of the anatomical layer and the user information according to an embodiment of the present invention is not necessarily limited to those listed above, periosteum, fascia (faiocia) within the scope that can achieve the object of the present invention , Anatomic layers such as ligaments, or user information, such as a country or a residential area.
  • the layer estimator 220 analyzes three-dimensional measurement data regarding the shape of the user's face by comparing it with at least one anatomical face model associated with the user information. Estimating the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face, and referring to the information on the change over time of the at least one anatomical face model, the estimated at least one It is possible to estimate the change over time of the shape and position of the kind of anatomical layer.
  • the layer estimator 220 may include at least one feature related to the face of the user, which is extracted from the 3D measurement data regarding the shape of the face of the user, associated with the corresponding user information. Compare or match the user's three-dimensional measurement data with the shape and position of at least one type of anatomical layer included in the at least one anatomical face model to compare the user's anatomical face model with The shape or position of at least one type of anatomical layer included in the soft tissue of the face may be estimated.
  • the layer estimator 220 may include information about a change over time of at least one anatomical face model associated with the above user information (for example, a user over time). The shape and position of the at least one kind of anatomical layer estimated above with reference to the shape and position of at least one type of anatomical layer included in the at least one anatomical face model associated with the information). The change over time can be estimated.
  • the layer estimator 220 compares three-dimensional measurement data regarding the shape of the user's face with at least one anatomical face model associated with the user information, and analyzes the active expression.
  • Active appearance model (AAM) algorithms active shape model (ASM) algorithms, composite constraint AAM algorithms, iterative closest points (ICP) algorithms, and non-rigid matching algorithms At least one of (non-rigid registration) may be used.
  • the layer estimator 220 extracts a feature of the user's face from the 3D measurement data regarding the shape of the user's face, and an active appearance model (AAM).
  • AAM active appearance model
  • At least one of an algorithm, an active shape model (ASM) algorithm, and a composite constraint active expression model (Composite Constraint AAM) algorithm may be used, and iterative closest points (ICP) algorithms and non-rigid matching algorithms (by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model with at least one of non-rigid registration to conform to three-dimensional measurement data about the shape of the user's face, Estimate the shape or location of at least one type of anatomical layer included in the soft tissue of the user's face have.
  • ICP iterative closest points
  • non-rigid matching algorithms by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model with at least one of non-rigid registration
  • an algorithm for comparing and analyzing three-dimensional measurement data about a shape of a face and at least one anatomical face model associated with user information is not necessarily limited to those listed above. It is noted that other algorithms may be utilized within the scope of the object of the present invention.
  • the face estimator 230 requests a reference by referring to the estimation result of the layer estimator 220 about a change in shape and position of at least one type of anatomical layer over time.
  • the user's face corresponding to the age range can be estimated.
  • the face estimator 230 is requested from among information regarding the change in shape and position of at least one type of anatomical layer estimated by the layer estimator 220 over time.
  • Information about the shape and location of at least one type of anatomical layer of age may be used to estimate the face of a user of that requested age.
  • the communication unit 240 performs a function to enable data transmission / reception from / to the measurement data acquisition unit 210, the layer estimator 220, and the face estimator 230. can do.
  • the controller 250 controls the flow of data between the measurement data acquisition unit 210, the layer estimator 220, the face estimator 230, and the communicator 240. Can be performed. That is, the controller 250 according to the present invention controls the data flow from / to the outside of the estimation system 200 or the data flow between each component of the estimation system 200, thereby measuring the measurement data acquisition unit 210 and the layer.
  • the estimator 220, the face estimator 230, and the communicator 240 may control each to perform a unique function.
  • FIG. 3 is a diagram exemplarily illustrating a process of estimating a face of a user corresponding to a requested age group according to an embodiment of the present invention.
  • the estimation system 200 may acquire 3D computed tomography data of hard tissue of a user's face or 3D scanning data of a user's face (301).
  • the estimation system 200 selects (302) at least one anatomical face model (A) associated with at least one of the user's race, gender, and age. Match the shape or position of at least one type of anatomical layer included in the at least one anatomical face model (A) to be matched with three-dimensional data about the shape of the user's face using a non-rigid matching algorithm. Alternatively, by transforming, the shape or position of at least one kind of anatomical layer included in the soft tissue of the user's face may be estimated (303).
  • the estimation system 200 refers to information about the change over time of the at least one anatomical face model A (304), which is estimated above.
  • Estimate a change over time in the shape and position of the at least one type of anatomical layer, and at least one type of anatomical age of the requested age of the estimated change in shape and position of the at least one type of anatomical layer By estimating the face of the user of the requested age based on the shape and location of the layer, the estimated user's face may be provided through the device 300 (305).
  • FIG. 4 is a diagram exemplarily illustrating a situation in which the estimation system 200 is utilized according to an embodiment of the present invention.
  • a montage of missing or criminals is generated through the estimation system 200 according to an embodiment of the present invention and used for tracking missing or criminals.
  • Estimating system 200 obtains the three-dimensional measurement data about the shape of the missing or offender's face through a missing person / criminal image, conviction DB (401), the obtained three-dimensional measurement Analyzing the data with at least one anatomical face model associated with missing or offender information, the time-dependent changes in the shape and location of at least one type of anatomical layer included in the soft tissue of the missing or offender's face
  • a montage of missing or offenders that change over time (ie, as they grow or age) by estimating (402) the missing or offender's face corresponding to the requested age range, based on the estimated results above Can be generated precisely (403).
  • the estimation system 200 may track missing persons or criminals based on face recognition by interworking the generated montage with various security control systems (eg, CCTV). (406).
  • the estimation system 200 is a variety of factors 404 (for example, light, facial expression, hair style, glasses, etc.) in which the face change of the missing or criminal can be generated in the montage generated above.
  • the face recognition accuracy for the missing or the criminal may be increased (405).
  • the embodiment for generating and tracking the montage of missing or criminals using an anatomical layer in accordance with an embodiment of the present invention has been mainly described, but the present invention is necessarily limited to embodiments of missing or criminals It will be appreciated that it can be used for personal identification (or security certification), finding a separated family, and the like within the scope of achieving the object of the present invention.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, 해부학적 레이어를 이용하여 얼굴을 추정하는 방법으로서, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 단계, 및 상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 단계를 포함하고, 상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는 방법이 제공된다.

Description

해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
본 발명은 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
외모에 대한 관심이 높아짐에 따라 성형 수술, 치과 교정, 피부과 시술, 화장품, 액세서리 등을 통해 사용자의 외모를 가상으로 꾸밀 수 있도록 도와주는 서비스 및 노화 또는 성장에 따라 예측되는 사용자 외모의 변화를 추정하여 제공하는 서비스가 등장하고 있다. 이와 함께 사용자의 외모를 실제 외모와 거의 흡사하게 가상으로 구현하는 기술 및 예상되는 사용자 외모 변화를 정확하고 세밀하게 가상으로 구현하는 기술에 대하여 많은 연구가 진행되고 있다.
이에 관한 종래 기술의 일 예로서, 사용자로부터 획득된 얼굴 이미지로부터 눈, 코, 입, 턱 등의 얼굴 구성요소에 대한 윤곽선을 추출하고, 그 구성요소 각각의 특징점에 기초하여 사용자의 얼굴을 생성한 후에, 생성된 얼굴 각 구성요소의 꼭지점에 기초하여 가로 또는 세로로 확대함으로써 가상 성형 또는 가상 노화 시 예측되는 사용자의 얼굴을 추정하는 기술이 소개된 바 있다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 사용자의 안면 또는 뼈를 촬영한 이미지로부터 얻어지는 국부적인 특징에만 기초하여 사용자의 얼굴 전체를 추정하거나, 사용자의 안면 또는 뼈를 촬영한 이미지에만 기초하여 가상 성형, 가상 노화 등의 시뮬레이션 서비스를 제공할 뿐이므로, 실제 결과와 가상 결과 간에 괴리가 발생할 수 밖에 없었다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 사용자 정보에 기초하여 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어(layer)의 형상 및 위치의 시간에 따른 변화를 추정하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 요청되는 나이대에 해당하는 사용자의 얼굴을 해부학적 레이어를 이용하여 추정하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 해부학적 레이어를 이용하여 얼굴을 추정하는 방법으로서, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 단계, 및 상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 단계를 포함하고, 상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 해부학적 레이어를 이용하여 얼굴을 추정하는 시스템으로서, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 측정 데이터 획득부, 및 상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 레이어 추정부를 포함하고, 상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자 정보에 기초하여 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어(layer)의 형상 및 위치의 시간에 따른 변화를 추정할 수 있게 된다.
본 발명에 의하면, 요청되는 나이대에 해당하는 사용자의 얼굴을 해부학적 레이어를 이용하여 추정할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 얼굴을 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 추정 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 요청되는 나이대에 해당하는 사용자의 얼굴이 추정되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 추정 시스템이 활용되는 상황을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 추정 시스템
210: 측정 데이터 획득부
220: 레이어 추정부
230: 얼굴 추정부
240: 통신부
250: 제어부
300: 디바이스
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 얼굴을 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 추정 시스템(200) 및 디바이스(300)를 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 추정 시스템(200)은 통신망(100)을 통하여 후술할 디바이스(300)와의 통신을 수행할 수 있고, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하고, 그 획득되는 3차원 측정 데이터를 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 해당 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어(layer)의 형상 및 위치의 시간에 따른 변화를 추정하는 기능을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 추정 시스템(200)은 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화에 대한 추정 결과를 참조하여, 요청되는 나이대에 해당하는 사용자의 얼굴을 추정하는 기능을 수행할 수도 있다.
본 발명에 따른 추정 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 추정 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 추정 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따라 디바이스(300)는 통신망(100)을 통해 추정 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 디바이스(300)에는, 해부학적 레이어를 이용하여 얼굴을 추정하는 본 발명에 따른 기능이 지원되기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 추정 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
추정 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 추정 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 추정 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
본 발명의 일 실시예에 따른 추정 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다. 이러한 추정 시스템(200)은 서버 시스템일 수 있다. 도 2에 도시된 바와 같이, 추정 시스템(200)은 측정 데이터 획득부(210), 레이어 추정부(220), 얼굴 추정부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 측정 데이터 획득부(210), 레이어 추정부(220), 얼굴 추정부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 추정 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 추정 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따라 측정 데이터 획득부(210)는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 3차원 측정 데이터에는, 사용자의 안면에 대한 3차원 스캐닝 데이터 및 사용자의 얼굴 경조직(hard tissue)에 대한 3차원 촬영 데이터 중 적어도 하나가 포함될 수 있으며, 이러한 3차원 스캐닝 또는 촬영 데이터는, 엑스레이(x-ray), 초음파(ultrasonic wave), 컴퓨터 단층 촬영(CT; Computer Tomography), 자기 공명 영상(MRI; magnetic resonance image), 양전자 방출 촬영 영상(PET; positron emission tomography) 및 3차원 스캐너 중 적어도 하나로부터 획득될 수 있다.
또한, 본 발명의 일 실시예에 따라 측정 데이터 획득부(210)는 사용자의 얼굴 형상에 관한 2차원 측정 데이터로부터 사용자의 얼굴 형상에 관한 3차원 측정 데이터를 획득할 수도 있다.
예를 들면, 본 발명의 일 실시예에 따라 측정 데이터 획득부(210)는 사용자의 얼굴 형상에 관한 2차원 측정 데이터(예를 들면, 사진, 그림 등)가 획득되면, 원근 투영 변환 알고리즘(perspective projection transformation) 등의 공지의 3차원 변환 알고리즘을 통해 위의 획득되는 2차원 측정 데이터를 그 2차원 측정 데이터의 사용자의 얼굴 특징점에 기초하여 3차원 데이터로 변환함으로써 사용자의 얼굴 형상에 관한 3차원 측정 데이터를 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 측정 데이터 획득부(210)로부터 획득되는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따라 해부학적 얼굴 모델은, 죽은 인체(즉, 사체)의 얼굴의 연조직의 해부학적 레이어를 한꺼풀씩 벗겨내면서 벗겨진(또는 벗겨지지 않은) 레이어에 대한 스캐닝을 통해 획득되는 데이터(예를 들면, 레이어의 위치, 형상 등) 및 살아있는 인체 얼굴 연조직에 대하여 초음파, 방사선, 자기장 및 양전자 중 적어도 하나를 투과시켜 획득되는 데이터(예를 들면, 레이어의 위치, 형상 등에 관한 데이터) 중 적어도 하나에 기초하여, 인구 통계학적 지표(demographic variable, 예를 들면, 인종, 성별, 나이 등)에 따라 얼굴의 해부학적 레이어를 정규화, 평균화 또는 표준화함으로써 획득되는 얼굴 모델링 데이터일 수 있으며, 이러한 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함될 수 있는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관하여 모델링된 데이터가 포함될 수 있다. 한편, 본 발명의 일 실시예에 따라, 위의 획득되는 데이터를 서포트 벡터 머신(SVM) 알고리즘, 다변수 적응 회귀 스플라인(MARS) 알고리즘, 최근접 이웃(KNN) 알고리즘, 신경망(NN) 알고리즘 등의 공지의 딥러닝 또는 빅데이터에 관한 알고리즘을 통해 분석함으로써, 인구 통계학적 지표에 따라 얼굴의 해부학적 레이어를 패턴화한 해부학적 얼굴 모델이 획득될 수도 있다. 또한, 본 발명의 일 실시예에 따라 전술한 해부학적 레이어에는 근육, 지방, 혈관, 신경 및 림프관 중 적어도 하나에 관한 레이어가 포함될 수 있으며, 전술한 사용자 정보에는 사용자의 인종, 민족, 성별, 나이 등에 관한 정보가 포함될 수 있다. 한편, 본 발명에 일 실시예 따른 이러한 해부학적 레이어의 종류 및 사용자 정보가 반드시 앞서 열거한 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 골막(periosteum), 근막(fascia), 인대(ligament) 등과 같은 해부학적 레이어나 국가, 거주 지역 등과 같은 사용자 정보 등으로 다양하게 변경될 수 있다.
구체적으로, 본 발명의 일 실시예에 따라 레이어 추정부(220)는, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 그 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 해당 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하고, 위의 적어도 하나의 해부학적 얼굴 모델의 시간에 따른 변화에 관한 정보를 참조하여, 그 추정되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정할 수 있다.
예를 들면, 본 발명의 일 실시예에 따라 레이어 추정부(220)는, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터로부터 추출되는 해당 사용자의 얼굴에 관한 특징을 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여, 그 사용자의 3차원 측정 데이터에 위의 적어도 하나의 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치가 부합되도록 정합 또는 변환함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다. 또한, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 위의 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델의 시간에 따른 변화에 관한 정보(예를 들면, 시간이 지남에 따라 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치가 변화되는 양상 등)를 참조하여 위의 기추정된 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정할 수 있다.
한편, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 비교하여 분석하기 위하여, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘, 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용할 수 있다.
구체적으로, 본 발명의 일 실시예에 따라, 레이어 추정부(220)는 사용자 얼굴 형상에 관한 3차원 측정 데이터로부터 그 사용자의 얼굴의 특징을 추출하기 위하여, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘 및 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘 중 적어도 하나를 이용할 수 있으며, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용하여 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 그 사용자의 얼굴의 형상에 관한 3차원 측정 데이터에 부합하도록 정합 또는 변환함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다. 한편, 본 발명의 일 실시예에 따라 얼굴의 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 비교하여 분석하기 위한 알고리즘이 반드시 앞서 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다른 알고리즘이 활용될 수도 있음을 밝혀둔다.
다음으로, 본 발명의 일 실시예에 따라 얼굴 추정부(230)는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화에 대한 레이어 추정부(220)의 추정 결과를 참조하여, 요청되는 나이대에 해당하는 사용자의 얼굴을 추정할 수 있다.
구체적으로, 본 발명의 일 실시예에 따라 얼굴 추정부(230)는 레이어 추정부(220)를 통해 추정되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화에 관한 정보 중 요청되는 나이대의 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 정보를 이용하여 그 요청되는 나이대의 사용자의 얼굴을 추정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 측정 데이터 획득부(210), 레이어 추정부(220) 및 얼굴 추정부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 측정 데이터 획득부(210), 레이어 추정부(220), 얼굴 추정부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 추정 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 추정 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 측정 데이터 획득부(210), 레이어 추정부(220), 얼굴 추정부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따라 요청되는 나이대에 해당하는 사용자의 얼굴이 추정되는 과정을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따라 추정 시스템(200)은 사용자 얼굴의 경조직에 대한 3차원 컴퓨터 단층 촬영 데이터 또는 사용자 안면에 대한 3차원 스캐닝 데이터를 획득할 수 있다(301).
그 다음에, 본 발명의 일 실시예에 따라 추정 시스템(200)은 그 사용자의 인종, 성별 및 나이 중 적어도 하나와 연관되는 적어도 하나의 해부학적 얼굴 모델(A)을 선정하고(302), 그 선정되는 적어도 하나의 해부학적 얼굴 모델(A)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 비강체 정합 알고리즘을 이용하여, 해당 사용자의 얼굴의 형상에 관한 3차원 데이터에 부합하도록 정합 또는 변환함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다(303).
그 다음에, 본 발명의 일 실시예에 따른 추정 시스템(200)은, 위의 적어도 하나의 해부학적 얼굴 모델(A)의 시간에 따른 변화에 관한 정보를 참조하여(304), 위의 추정되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하고, 그 추정되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화 중 요청되는 나이대의 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 통해 그 요청되는 나이대의 사용자의 얼굴을 추정함으로써, 그 추정되는 사용자의 얼굴을 디바이스(300)를 통해 제공할 수 있다(305).
도 4는 본 발명의 일 실시예에 따른 추정 시스템(200)이 활용되는 상황을 예시적으로 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 추정 시스템(200)을 통해 실종자 또는 범죄자의 몽타주를 생성하고, 실종자 또는 범죄자 추적에 활용하는 경우를 가정해볼 수 있다.
본 발명의 일 실시예에 따른 추정 시스템(200)은 실종자/범죄자 이미지, 전과자 DB 등을 통해 실종자 또는 범죄자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하고(401), 그 획득되는 3차원 측정 데이터를 실종자 또는 범죄자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 그 실종자 또는 범죄자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하고, 위의 추정 결과를 참조하여, 요청되는 나이대에 해당하는 실종자 또는 범죄자의 얼굴을 추정함으로써(402), 시간의 흐름에 따라 변화되는(즉, 성장 또는 노화에 따른) 실종자 또는 범죄자의 몽타주를 정교하게 생성할 수 있다(403).
또한, 본 발명의 일 실시예에 따른 추정 시스템(200)은 위의 생성되는 몽타주를 다양한 보안 관제 시스템(예를 들면, CCTV)과 연동함으로써, 얼굴 인식에 기반하여 실종자 또는 범죄자를 추적할 수 있다(406). 한편, 본 발명의 일 실시예에 따라 추정 시스템(200)은 위의 생성되는 몽타주에 실종자 또는 범죄자의 얼굴 변화가 발생될 수 있는 다양한 요소(404, 예를 들면, 빛, 표정, 머리 스타일, 안경, 몸무게 등)가 추가되는 몽타주에 대하여 머신 러닝(machine learning) 또는 딥 러닝(deep learning)을 수행함으로써, 실종자 또는 범죄자에 대한 얼굴 인식 정확도를 높일 수도 있다(405).
한편, 이상에서는, 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 실종자 또는 범죄자의 몽타주 생성 및 추적하는 실시예에 대하여 주로 설명되어 있지만, 본 발명이 반드시 실종자 또는 범죄자에 관한 실시예로 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 개인 식별(또는 보안 인증), 이산가족 찾기 등에도 얼마든지 이용될 수 있음을 밝혀 둔다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 해부학적 레이어를 이용하여 얼굴을 추정하는 방법으로서,
    사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 단계, 및
    상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 단계를 포함하고,
    상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는
    방법.
  2. 제1항에 있어서,
    상기 획득 단계에서, 상기 획득되는 3차원 측정 데이터에는, 상기 사용자의 안면에 대한 3차원 스캐닝 데이터 및 상기 사용자의 얼굴 경조직(hard tissue)에 대한 3차원 촬영 데이터 중 적어도 하나가 포함되는
    방법.
  3. 제1항에 있어서,
    상기 추정 단계는,
    상기 3차원 측정 데이터를 상기 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써 상기 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하는 단계, 및
    상기 적어도 하나의 해부학적 얼굴 모델의 시간에 따른 변화에 관한 정보를 참조하여, 상기 추정되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 단계를 포함하는
    방법.
  4. 제1항에 있어서,
    상기 추정 단계에서, 상기 해부학적 레이어에는, 근육, 지방, 혈관, 신경 및 림프관 중 적어도 하나가 포함되는
    방법.
  5. 제1항에 있어서,
    상기 추정 단계에서, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘, 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용하여 상기 획득되는 3차원 측정 데이터를 상기 해부학적 얼굴 모델과 비교하여 분석하는
    방법.
  6. 제1항에 있어서,
    상기 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화에 대한 추정 결과를 참조하여, 요청되는 나이대에 해당하는 상기 사용자의 얼굴을 추정하는 단계를 더 포함하는
    방법.
  7. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  8. 해부학적 레이어를 이용하여 얼굴을 추정하는 시스템으로서,
    사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 측정 데이터 획득부, 및
    상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 레이어 추정부를 포함하고,
    상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는
    시스템.
PCT/KR2017/008505 2017-03-10 2017-08-07 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 WO2018164328A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0030745 2017-03-10
KR20170030745 2017-03-10
KR1020170094993A KR101959859B1 (ko) 2017-03-10 2017-07-26 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2017-0094993 2017-07-26

Publications (1)

Publication Number Publication Date
WO2018164328A1 true WO2018164328A1 (ko) 2018-09-13

Family

ID=63447818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008505 WO2018164328A1 (ko) 2017-03-10 2017-08-07 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (1)

Country Link
WO (1) WO2018164328A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015327A1 (en) * 1999-11-30 2004-01-22 Orametrix, Inc. Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
KR20120096238A (ko) * 2011-02-22 2012-08-30 주식회사 모르페우스 안면보정 이미지 제공방법 및 그 시스템
KR20150107063A (ko) * 2014-03-13 2015-09-23 손우람 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
US20160005106A1 (en) * 2013-02-07 2016-01-07 Crisalix Sa 3d platform for aesthetic simulation
KR20170025162A (ko) * 2015-08-27 2017-03-08 연세대학교 산학협력단 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015327A1 (en) * 1999-11-30 2004-01-22 Orametrix, Inc. Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
KR20120096238A (ko) * 2011-02-22 2012-08-30 주식회사 모르페우스 안면보정 이미지 제공방법 및 그 시스템
US20160005106A1 (en) * 2013-02-07 2016-01-07 Crisalix Sa 3d platform for aesthetic simulation
KR20150107063A (ko) * 2014-03-13 2015-09-23 손우람 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
KR20170025162A (ko) * 2015-08-27 2017-03-08 연세대학교 산학협력단 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR101959859B1 (ko) 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP3654239A1 (en) Contact and non-contact image-based biometrics using physiological elements
US7760923B2 (en) Method and system for characterization of knee joint morphology
JP5797352B1 (ja) ３次元物体を追跡するための方法
US11813040B2 (en) System, method and kit for 3D body imaging
CN107669273B (zh) 磁共振设备扫描系统、扫描方法及计算机可读存储介质
KR20150098119A (ko) 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
TW201249405A (en) System for facilitating operation of treatment delivery system and method for controlling operation of treatment delivery system
JP2000306095A (ja) 画像照合・検索システム
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
KR20200092489A (ko) 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법
CN111096835A (zh) 一种矫形器设计方法和系统
Wu et al. Estimating the 4D respiratory lung motion by spatiotemporal registration and super‐resolution image reconstruction
CN111226258A (zh) 信号转换系统和信号转换方法
Sun et al. Privacy-phys: Facial video-based physiological modification for privacy protection
CN108182434B (zh) 一种图像处理方法及装置
Kim et al. Advanced internet of things and big data Technology for Smart Human-Care Services
WO2018164328A1 (ko) 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164329A1 (ko) 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164327A1 (ko) 얼굴에 관한 해부학적 레이어를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN112669405B (zh) 图像重建方法、系统、可读存储介质和设备
Wu et al. Reconstruction of 4D-CT from a single free-breathing 3D-CT by spatial-temporal image registration
WO2018164394A1 (ko) 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114628010A (zh) 智能医疗阅片方法、装置、设备及存储介质
KR102373370B1 (ko) Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05.12.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17899409

Country of ref document: EP

Kind code of ref document: A1