KR20240018243A - 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치 - Google Patents

3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치 Download PDF

Info

Publication number
KR20240018243A
KR20240018243A KR1020220096248A KR20220096248A KR20240018243A KR 20240018243 A KR20240018243 A KR 20240018243A KR 1020220096248 A KR1020220096248 A KR 1020220096248A KR 20220096248 A KR20220096248 A KR 20220096248A KR 20240018243 A KR20240018243 A KR 20240018243A
Authority
KR
South Korea
Prior art keywords
landmarks
landmark
image data
distance
face
Prior art date
Application number
KR1020220096248A
Other languages
English (en)
Inventor
권순철
이승현
김회준
김재승
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020220096248A priority Critical patent/KR20240018243A/ko
Priority to US18/361,744 priority patent/US20240046492A1/en
Publication of KR20240018243A publication Critical patent/KR20240018243A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 정합 장치에서 수행되는 얼굴 정합 방법에 있어서, 서로 다른 각도, 크기, 또는 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터를 획득하는 단계, 상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크를 검출하고 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 단계, 상기 제1 및 제2 랜드마크 간의 이동량과 거리를 산출하고, 상기 이동량과 거리를 기초로 복수의 기준 랜드마크를 설정하는 단계, 및 상기 복수의 기준 랜드마크를 기초로 위치 조정, 각도 조정, 및 크기 조정을 통해 상기 제1 및 제2 랜드마크를 정합하는 단계를 포함한다.

Description

3D 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치{METHOD AND APPARATUS FOR FACE REGISTRATION USING 3D FACIAL LANDMARK}
본 발명은 얼굴 정합 기술에 관한 것으로서, 보다 상세하게, 서로 다른 방향에서 촬영된 복수의 얼굴 이미지 데이터에 대해서 3D 얼굴 랜드마크를 검출하고 랜드마크를 이용해 얼굴을 정합하는 얼굴 정합 방법 및 장치에 관한 것이다.
안면마비는 얼굴 근육이 움직이는 안면 신경의 기능에 문제가 생겨 얼굴에 마비가 발생하는 것으로서 입과 눈 주변의 한쪽 근육이 영향을 받아 얼굴이 비틀어지는 질환을 말한다. 안면마비에 대한 초기 치료가 제대로 이루어지지 않으면 심각한 후유증을 가질 수 있고 외관상의 불편함과 심리적 불안 또는 우울증 등을 유발할 수 있으므로 안면마비를 초기에 판단하는 것이 중요하다.
안면마비 환자의 얼굴 비틀어짐을 판단하기 위해 얼굴 사진을 촬영하여 비교하는 방식이 이용될 수 있다. 사진으로부터 얼굴의 각 특징점의 위치를 비교 분석할 때, 얼굴의 위치, 각도, 및 크기가 동일하게 촬영된 경우에는 정확한 비교가 가능하나, 위치, 각도, 및 크기 중 하나라도 다른 상태에서 촬영이 되면 정확한 비교가 불가하여 잘못된 판단이 도출될 수 있다. 즉, 안면마비에 의해 얼굴의 비틀어짐이 없음에도 불구하고, 위치, 각도, 또는 크기가 다른 상태에서 사진을 촬영하면 안면마비로 판단될 수 있는 것이다. 그렇다고 환자의 얼굴을 촬영할 때마다 모든 조건을 동일하게 한 상태에서 촬영하고자 한다면 제약사항이 생기게 되므로, 촬영 조건 및 환경과 무관하게 촬영된 이미지를 처리하여 안면마비의 정확한 진단을 할 수 있게 하는 것이 필요하다.
한국공개특허 제10-2021-0156796호
본 발명의 목적은 2차원인 RGB 얼굴 이미지 데이터로부터 3차원 얼굴 랜드마크를 검출하고 3차원 얼굴 랜드마크를 이용하여 서로 다른 각도, 크기 또는 위치에서 촬영된 얼굴 이미지 데이터를 정합하는 얼굴 정합 방법 및 장치를 제공하는데 있다.
본 발명의 목적은 3차원 얼굴 랜드마크에서 기준점이 될 수 있는 기준 랜드마크를 설정하고 기준 랜드마크를 기준으로 위치, 각도, 및 크기를 조정하여 얼굴을 정합하는 얼굴 정합 방법 및 장치를 제공하는데 있다.
본 발명의 목적은 복수의 얼굴 이미지 데이터의 랜드마크 간의 이동량을 시각화하는 얼굴 정합 방법 및 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 얼굴 정합 장치에서 수행되는 얼굴 정합 방법으로서, (a) 서로 다른 각도, 크기, 또는 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터를 획득하는 단계, (b) 상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크를 검출하고 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 단계, (c) 상기 제1 및 제2 랜드마크 간의 이동량과 거리를 산출하고, 상기 이동량과 거리를 기초로 복수의 기준 랜드마크를 설정하는 단계, 및 (d) 상기 복수의 기준 랜드마크를 기초로 위치 조정, 각도 조정, 및 크기 조정을 통해 상기 제1 및 제2 랜드마크를 정합하는 단계를 포함한다.
바람직하게, 상기 (b) 단계는, 상기 제1 및 제2 얼굴 이미지 데이터에 HR-net, CNN-CRF, 또는 Mediapipe에 해당하는 딥러닝 알고리즘을 적용하여 상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크 및 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 단계를 포함하되, 상기 제1 및 제2 랜드마크는 각각 복수의 얼굴 랜드마크들 및 눈 랜드마크들을 포함하고, 랜드마크들 간에는 일련의 번호가 부여되어 관리되고, 상기 제1 및 제2 랜드마크에서 상호 대응되는 랜드마크는 동일한 번호가 부여될 수 있다.
바람직하게, 상기 (c) 단계는, 상기 제1 및 제2 랜드마크를 상단 및 하단으로 구분하고 상기 상단을 상측, 하측, 우측, 및 좌측으로 구분하는 단계, 상기 상단에 포함되는 제1 및 제2 랜드마크에서 상호 대응되는 한 쌍의 랜드마크 간의 3차원 공간 상에서의 거리에 해당하는 이동량을 산출하는 단계, 및 상기 제1 및 제2 랜드마크의 상단의 상측, 하측, 우측, 및 좌측 각각에서 상기 이동량이 작은 순서대로 복수의 랜드마크를 선택하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는, 상기 제1 및 제2 랜드마크에서 상기 이동량을 기초로 선택된 복수의 랜드마크 중 상기 제1 및 제2 랜드마크 각각에 대해 상측에 포함되는 랜드마크와 하측에 포함되는 랜드마크 간의 거리 및 상기 우측에 포함되는 랜드마크와 좌측에 포함되는 랜드마크 간의 거리를 산출하는 단계, 및 상기 상측에 포함되는 랜드마크와 하측에 포함되는 랜드마크 중 상기 거리가 가장 큰 한 쌍의 랜드마크를 상측 기준 랜드마크 및 하측 기준 랜드마크로 설정하고, 상기 우측에 포함되는 랜드마크와 좌측에 포함되는 랜드마크 중 상기 거리가 가장 큰 한 쌍의 랜드마크를 우측 기준 랜드마크 및 좌측 기준 랜드마크로 설정하여, 상기 제1 및 제2 랜드마크 각각에 대한 제1 기준 랜드마크 및 제2 기준 랜드마크를 결정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (d) 단계는, 상기 제1 및 제2 기준 랜드마크 중 하나의 기준 랜드마크의 좌표를 원점 좌표로 이동시키는 단계, 및 상기 제1 기준 랜드마크에서 원점으로 좌표가 이동한 기준 랜드마크의 좌표 이동량 만큼 제1 랜드마크의 좌표를 이동시키고, 제2 기준 랜드마크에서 원점으로 좌표가 이동한 기준 랜드마크의 좌표 이동량 만큼 제2 랜드마크의 좌표를 이동시켜 제1 및 제2 랜드마크의 위치를 조정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (d) 단계는, 상기 제1 및 제2 기준 랜드마크 각각에 대해 상기 우측 및 좌측 기준 랜드마크를 연결한 제1 연결선을 생성하고, 상기 제1 연결선의 중심과 상기 상측 기준 랜드마크를 수직으로 연결하여 제2 연결선을 생성하는 단계, 상기 제1 및 제2 연결선과 3차원 공간의 각 축 사이의 각도를 산출하는 단계, 및 상기 각도를 기초로 오일러 각도(Euler Angles) 변환을 사용하여 각 축을 기준으로 상기 제1 및 제2 랜드마크를 각 평면에서 회전시켜 상기 제1 및 제2 랜드마크의 각도를 조정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (d) 단계는, 상기 제1 및 제2 기준 랜드마크 각각에 대해 우측 및 좌측 기준 랜드마크 사이의 거리와 상측 및 하측 사이의 거리에 해당하는 제1 및 제2 기준 랜드마크에서의 너비 및 높이를 계산하는 단계, 상기 제1 기준 랜드마크에서의 너비와 상기 제2 기준 랜드마크에서의 너비의 비율 및 상기 제1 기준 랜드마크에서의 높이와 상기 제2 기준 랜드마크에서의 높이의 비율을 기초로, 상기 제1 랜드마크의 크기로 상기 제2 랜드마크의 크기를 조정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 정합 전 또는 정합 후의 제1 및 제2 랜드마크에서 상호 대응되는 한 쌍의 랜드마크 간의 3차원 공간 상에서의 거리를 기초로 히트맵(heat map)을 이용하여 랜드마크의 색깔을 설정하여 시각화하는 단계를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 제2 측면은 얼굴 정합 장치로서, 서로 다른 각도, 크기, 또는 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터를 획득하는 이미지 데이터 획득부, 상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크를 검출하고 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 랜드마크 검출부, 상기 제1 및 제2 랜드마크 간의 이동량과 거리를 산출하고, 상기 이동량과 거리를 기초로 복수의 기준 랜드마크를 설정하는 기준 랜드마크 설정부, 및 상기 복수의 기준 랜드마크를 기초로 위치 조정, 각도 조정, 및 크기 조정을 통해 상기 제1 및 제2 랜드마크를 정합하는 랜드마크 정합부를 포함한다.
상기 목적을 달성하기 위한 본 발명의 제3 측면은 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램의 명령이 실행될 경우, 데이터 정합 방법이 수행되는 것을 특징으로 한다.
상기한 바와 같이 본 발명에 의하면, 복수의 얼굴 이미지를 어떠한 각도, 위치, 및 크기에서 촬영하여도 정합을 통해 두 얼굴 이미지 데이터의 정확한 비교가 가능하고, 랜드마크 이동량의 시각화를 통해 정합 전 또는 후의 얼굴 이미지 데이터의 랜드마크 이동량의 변화를 시각적으로 확일 수 있는 효과가 있고 이를 통해 안면마비 환자의 얼굴 이동량을 용이하게 판단할 수 있고 안면인식을 통한 정신질환 판명 시스템에도 활용될 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 얼굴 정합 장치를 나타내는 블록도이다.
도 2는 일 실시예에 따른 얼굴 정합 방법을 나타내는 흐름도이다.
도 3는 일 실시예에 따른 랜드마크를 설명하기 위한 예시도이다.
도 4는 일 실시예에 따른 랜드마크 이동량의 시각화를 설명하기 위한 예시도이다.
도 5는 일 실시예에 따른 기준 랜드마크를 설명하기 위한 예시도이다.
도 6은 일 실시예에 따른 랜드마크의 정합 과정 중 위치 조정을 설명하기 위한 예시도이다.
도 7은 일 실시예에 따른 랜드마크의 정합 과정 중 각도 조정을 설명하기 위한 예시도이다.
도 8 및 9는 일 실시예에 따른 랜드마크의 정합 과정 중 크기 조정을 설명하기 위한 예시도이다.
도 10은 일 실시예에 따른 정합 전 및 후의 결과와 시각화를 통한 비교를 설명하기 위한 예시도이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 얼굴 정합 장치를 나타내는 블록도이다.
도 1을 참조하면, 얼굴 정합 장치(100)는 이미지 데이터 획득부(110), 랜드마크 검출부(120), 기준 랜드마크 설정부(130), 랜드마크 정합부(140), 및 제어부(150)를 포함한다. 여기에서, 제어부(150)는 이미지 데이터 획득부(110), 랜드마크 검출부(120), 기준 랜드마크 설정부(130), 및 랜드마크 정합부(140)의 동작 및 데이터의 흐름을 제어한다.
얼굴 정합 장치(100)는 복수의 얼굴 이미지 데이터를 획득하여 얼굴을 정합하는 장치이다. 바람직하게, 얼굴 정합 장치(100)는 컴퓨터로서 얼굴 정합 방법을 수행하기 위한 어플리케이션 또는 프로그램을 설치하여 실행할 수 있고, 사용자 인터페이스(User Interface)를 구비하여 데이터의 입출력이 제어될 수 있다. 여기에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이미지 데이터 획득부(110)는 서로 다른 각도, 크기, 또는 위치에서 촬영된 복수의 얼굴 이미지 데이터를 획득한다. 여기에서, 얼굴 이미지 데이터는 RGB 이미지로서 일반 촬영 장치를 통해 획득될 수 있다. 바람직하게, 획득된 얼굴 이미지 데이터는 촬영 대상자 또는 촬영 시점에 따라 구분되어 관리될 수 있고 촬영 대상자별 저장되어 있는 얼굴 이미지 데이터를 기초로 해당 대상자의 시간에 따른 얼굴의 변화가 분석될 수 있다.
랜드마크 검출부(120)는 얼굴 이미지 데이터에서 얼굴의 특징이 될 수 있는 키포인트(keypoint)(예를 들어, 눈, 코, 입, 눈썹, 턱, 등), 즉 랜드마크(landmark)를 검출하는 딥러닝 알고리즘을 통해 각 얼굴 이미지 데이터에 대한 랜드마크를 검출한다. 여기에서, 랜드마크는 3차원 얼굴 랜드마크에 해당할 수 있다.
기준 랜드마크 설정부(130)는 복수의 얼굴 이미지 데이터에 대한 랜드마크에서 얼굴 부분을 정합하기 위한 기준이 되는 랜드마크를 설정한다. 복수의 얼굴 이미지 데이터는 서로 다른 각도, 크기, 또는 위치에서 촬영된 것으로서 그 상태로 랜드마크를 정합하면 정합의 결과가 부정확하므로, 기준 랜드 마크 설정부(130)는 서로 다른 각도, 크기, 또는 위치를 조정하기 위한 기준 랜드마크를 설정하는 것이다.
랜드마크 정합부(140)는 서로 다른 좌표계에서 얻어진 복수의 얼굴 이미지 데이터를 하나의 좌표계로 정렬하는 정합을 수행한다. 이미지 데이터 획득부(110)를 통해 획득된 복수의 얼굴 이미지 데이터는 서로 다른 각도, 크기, 또는 위치에서 촬영된 것이므로, 바람직하게, 랜드마크 정합부(140)는 랜드마크의 위치 조정, 각도 조정, 및 크기 조정을 수행하여 복수의 얼굴 이미지 데이터의 랜드마크 정합을 통해 좌표계를 정렬할 수 있다.
도 1에 도시된 얼굴 정합 장치(100)의 각 구성을 통하여 수행되는 동작은 이하 도 2를 참조하여 상세하게 설명한다. 도 2를 참조하여 설명될 각 단계는 서로 다른 구성에 의하여 수행되는 것으로 기재하였으나 이에 제한되는 것은 아니며, 실시예에 따라 각 단계들의 적어도 일부는 서로 동일하거나 다른 구성에서 수행될 수도 있다.
도 2는 일 실시예에 따른 얼굴 정합 방법을 나타내는 흐름도이다.
도 2를 참조하면, 이미지 데이터 획득부(110)는 제1 및 제2 얼굴 이미지 데이터를 획득한다(단계 S210). 바람직하게, 이미지 데이터 획득부(110)는 서로 다른 각도, 크기, 또는 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터를 획득할 수 있다. 이미지 데이터 획득부(110)는 분석하고자 하는 목적에 따라 얼굴 정합 장치(100)에 기저장되거나 별도의 저장장치에 기저장되어 관리되고 있는 얼굴 이미지 데이터를 획득할 수 있고 실시간으로 촬영된 얼굴 이미지 데이터를 획득할 수도 있다. 예를 들어, 시간의 흐름에 따른 얼굴의 변화 정도를 분석하기 위해서 이미지 데이터 획득부(110)는 기저장된 이전 시점의 제1 및 제2 얼굴 이미지 데이터를 획득하거나, 기저장된 이전 시점의 제1 얼굴 이미지 데이터와 실시간으로 촬영된 제2 얼굴 이미지 데이터를 획득할 수 있다.
랜드마크 검출부(120)는 제1 및 제2 얼굴 이미지 데이터에 대한 제1 및 제2 랜드마크를 검출한다(단계 S220). 바람직하게, 랜드마크 검출부(120)는 제1 및 제2 얼굴 이미지 데이터에 HR-net, CNN-CRF, 또는 Mediapipe에 해당하는 딥러닝 알고리즘을 적용하여 제1 얼굴 이미지 데이터에 대한 제1 랜드마크 및 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출할 수 있다. 제1 및 제2 랜드마크는 모두 3차원 얼굴 랜드마크에 해당할 수 있고 랜드마크를 검출하는 알고리즘에는 실시간 동작이 가능한 네크워크가 모두 적용될 수 있으며, HR-net, CNN-CRF, 또는 Mediapipe로 랜드마크를 검출하는 방법은 본 발명의 기술분야에 속하는 통상의 기술자에 의하여 용이하게 이해되고 수행될 수 있으므로 상세하게 설명하지 않는다.
바람직하게, 제1 및 제2 랜드마크는 각각 복수의 얼굴 랜드마크들 및 눈 랜드마크들을 포함하고, 랜드마크들 간에는 일련의 번호가 부여되어 관리되고, 제1 및 제2 랜드마크에서 상호 대응되는 랜드마크는 동일한 번호가 부여될 수 있다. 예를 들어, 랜드마크 검출부(120)는 제1 및 제2 얼굴 이미지 데이터 각각에 대해 478개의 3차원 점을 찍어 랜드마크를 추출할 수 있고 468개의 얼굴 랜드마크와 10개의 눈 랜드마크로 구성될 수 있으며, 얼굴 이미지 데이터에 대한 랜드마크는 도 3에 도시된 파란색 점(310)과 같이 검출될 수 있다. 예를 들어, 제1 랜드마크는 {A0(A0,x, A0,y, A0,z), A1(A1,x, A1,y, A1,z), … A467(A467,x, A467,y, A467,z)}로 구성될 수 있고, 제2 랜드마크는 {B0(B0,x, B0,y, B0,z), B1(B1,x, B1,y, B1,z), … B467(B467,x, B467,y, B467,z)}로 구성될 수 있다.
기준 랜드마크 설정부(130)는 제1 및 제2 랜드마크 간의 이동량을 기초로 기준 랜드마크를 설정한다(단계 S230). 먼저, 기준 랜드마크 설정부(130)는 제1 및 제2 랜드마크 간의 이동량을 산출할 수 있다. 바람직하게, 기준 랜드마크 설정부(130)는 제1 및 제2 랜드마크에서 상호 대응되는 한 쌍의 랜드마크, 즉, 제1 및 제2 랜드마크에서 동일한 번호가 부여된 랜드마크 사이의 3차원 공간 상에서의 거리에 해당하는 이동량을 산출할 수 있다. 예를 들어, 도 4를 참조하면, 도 4의 (a)에 도시된 바와 같이 제1 및 제2 랜드마크가 검출되면, 서로 대응하는 랜드마크의 좌표에 해당하는 (x,y,z)와 (x',y',z')간의 유클리드 거리로 이동량이 산출될 수 있고, 제1 및 제2 랜드마크에서 서로 대응하는 모든 랜드마크에 대해 이동량이 산출될 수 있다. A0와 B0간의 이동량, A1과 B1간의 이동량, … , 및 A467 및 B467 간의 이동량이 산출되는 것이다.
일 실시예에서, 얼굴 정합 장치(100)는 랜드마크 시각화부(도면에 도시되지 않음)를 더 포함할 수 있고, 랜드마크 시각화부는 제1 및 제2 랜드마크 간의 이동량을 기초로 히트맵(heat map)을 이용하여 랜드마크의 색깔을 설정하여 시각화할 수 있다. 히트맵은 숫자 값에 대한 여러 범주의 영향을 시각화할 수 있는 도구로서, 히트맵을 이용하여 랜드마크의 이동량을 색으로 표현하는 것은 본 발명의 기술분야에 속하는 통상의 기술자에 의하여 용이하게 수행될 수 있다. 예를 들어, 도 4를 참조하면, 산출된 각 대응하는 랜드마크 별 이동량(도 4의 (a))을 기초로 히트맵을 랜드마크에 적용하면(도 4의 (b)), 도 4의 (c)와 같이 이동량이 클수록 빨간색에 가깝게, 이동량이 적을수록 파란색에 가깝게 시각화될 수 있다.
기준 랜드마크 설정부(130)는 각 랜드마크의 이동량 및 랜드마크 간의 거리를 기초로 복수의 기준 랜드마크를 설정할 수 있고, 바람직하게, 제1 및 제2 랜드마크 각각에서 이동량이 적고 거리가 먼 랜드마크를 제1 기준 랜드마크 및 제2 기준 랜드마크로 설정할 수 있다.
보다 구체적으로, 기준 랜드마크 설정부(130)는 눈에서부터 이마까지의 상단쪽 랜드마크 중 윤곽선 부분에 있는 랜드마크를 이마쪽에 해당하는 상측, 눈쪽에 해당하는 하측, 및 양 관자놀이 쪽에 해당하는 우측과 좌측으로 구분하고, 상측, 하측, 우측, 및 좌측 각각에 있는 랜드마크 중 이동량이 가장 작은 순서대로 기설정된 개수만큼 랜드마크를 선택한다. 여기에서, 기준 랜드마크를 설정하기 위한 윤곽선 부분의 범위는 사용자에 의하여 미리 설정될 수 있다. 또는, 기준 랜드마크 설정부(130)는 윤곽선 부분으로 제한하지 않고, 상단쪽 랜드마크를 상측, 하측, 우측, 및 좌측으로 구분한 후, 상측, 하측, 우측, 및 좌측 각각에 있는 랜드마크 중 이동량이 가장 작은 순서대로 랜드마크를 선택할 수도 있다. 바람직하게, 기준 랜드마크 설정부(130)는 기준 랜드마크 설정부(130)는 이동량을 기초로 선택된 랜드마크 중 상측에 있는 랜드마크와 하측에 있는 랜드마크 간의 거리를 산출하고, 우측에 있는 랜드마크와 좌측에 있는 랜드마크 간의 거리를 산출한다. 예를 들어, 기준 랜드마크 설정부(130)는 상측에 있는 랜드마크(a, b)와 하측에 있는 랜드마크(ㄱ, ㄴ)에 대해 a-ㄱ, a-ㄴ, b-ㄱ, b-ㄴ간의 거리를 산출하고, 우측에 있는 랜드마크(c, d)와 좌측에 있는 랜드마크(ㄷ, ㄹ)에 대해 c-ㄷ, c-ㄹ, d-ㄷ, d-ㄹ 간의 거리를 산출할 수 있다.
그 다음, 기준 랜드마크 설정부(130)는 산출된 거리와 이동량을 기초로 상측 기준 랜드마크, 하측 기준 랜드마크, 우측 기준 랜드마크, 및 좌측 기준 랜드마크를 설정할 수 있다. 예를 들어, 이동량을 기초로 선택된 랜드마크 중 거리가 먼 랜드마크가 기준 랜드마크로 설정될 수 있고, a-ㄱ, a-ㄴ, b-ㄱ, b-ㄴ 간의 거리 중 a-ㄱ이 가장 멀고, c-ㄷ, c-ㄹ, d-ㄷ, d-ㄹ 간의 거리 중 d-ㄷ이 가장 먼 경우, 기준 랜드마크 설정부(130)는 랜드마크(a), 랜드마크(ㄱ), 랜드마크(d), 랜드마크(ㄷ)을 각각 상측 기준 랜드마크, 하측 기준 랜드마크, 우측 기준 랜드마크, 및 좌측 기준 랜드마크로 설정할 수 있다.
여기에서, 얼굴 상단은 얼굴 변형이 많이 발생하지 않는 부분으로서 안면마비가 생기더라도 크게 변하지 않기 때문에, 기준 랜드마크 설정부(130)는 상단의 윤곽선 부분에 있는 랜드마크는 중에서 기준 랜드마크를 설정하는 것이다. 또한, 기준 랜드마크는 이동량이 적고 거리가 먼 랜드마크로 설정될 수 있고, 이동량과 거리를 기초로 기준 랜드마크를 설정하는 방식은 이동량과 거리에 가중치를 부여하여 산출된 값을 기준으로 기준 랜드마크가 설정되는 방식, 또는 이동량이 적은 순서대로 선택된 일정 개수의 랜드마크 중에서 거리가 가장 먼 랜드마크가 설정되는 방식이 이용될 수 있으나, 여기에 제한되는 것은 아니다. 즉, 랜드마크의 이동량과 거리를 기초로 기준 랜드마크가 설정되는 방식은 다양하게 변형되어 적용될 수 있다.예를 들어, 도 5를 참조하면, 기준 랜드마크 설정부(130)는 이마 위쪽 끝 랜드마크(Up)를 상측 기준 랜드마크로 설정하고, 얼굴 미간 랜드마크(Down)를 하측 기준 랜드마크로 설정하고, 얼굴 우측 끝 랜드마크(Right)를 우측 기준 랜드마크로 설정하고, 얼굴 좌측 끝 랜드마크(Left)를 좌측 기준 랜드마크로 설정할 수 있다.
랜드마크 정합부(140)는 기준 랜드마크를 기초로 제1 및 제2 랜드마크를 정합한다(단계 S240). 바람직하게, 랜드마크 정합부(140)는 복수의 기준 랜드마크를 기초로 위치 조정, 각도 조정, 및 크기 조정을 통해 제1 및 제2 랜드마크를 정합할 수 있다.
보다 구체적으로, 랜드마크 정합부(140)는 제1 기준 랜드마크 중 임의의 하나의 기준 랜드마크의 좌표를 원점 좌표로 이동시키고, 제1 기준 랜드마크에서 원점 좌표로 이동한 기준 랜드마크에 대응되는 제2 기준 랜드마크의 기준 랜드마크를 원점 좌표로 이동시킨다. 그 다음, 랜드마크 정합부(140)는 제1 기준 랜드마크에서 원점 좌표로 이동한 기준 랜드마크의 좌표 이동량 만큼 제1 랜드마크의 좌표를 이동시키고, 제2 기준 랜드마크에서 원점 좌표로 이동한 기준 랜드마크의 좌표 이동량 만큼 제2 랜드마크의 좌표를 이동시켜 제1 및 제2 랜드마크의 위치를 조정할 수 있다. 예를 들어, 도 6을 참조하면, 랜드마크 정합부(140)는 상측 기준 랜드마크(610)의 좌표가 (x,y,z)인 경우, 상측 기준 랜드마크(610)의 좌표를 원점(0,0,0)으로 이동시키고, 상측 기준 랜드마크(610)가 이동한 좌표(x,y,z)만큼 다른 랜드마크의 좌표에서 빼는 방식으로 랜드마크를 이동시킬 수 있다. 제1 기준 랜드마크의 상측 기준 랜드마크(610)가 (x,y,z) 이동하였다면, 제1 랜드마크의 다른 랜드마크의 좌표가 A0(A0,x, A0,y, A0,z)->A0(A0,x-x, A0,y-y, A0,z-z), A1(A1,x, A1,y, A1,z)->A1(A1,x-x, A1,y-y, A1,z-z)와 같이 이동되는 것이고, 제2 기준 랜드마크의 상측 기준 랜드마크의 원점으로의 이동에 대해서도 제2 랜드마크에 대해 동일하게 적용되는 것이다.
바람직하게, 랜드마크 정합부(140)는 제1 및 제2 기준 랜드마크 각각에 대해 우측 및 좌측 기준 랜드마크를 연결한 제1 연결선을 생성하고, 제1 연결선의 중심과 상측 기준 랜드마크를 수직으로 연결하여 제2 연결선을 생성할 수 있다. 예를 들어, 도 7의 (a)를 참조하면, 랜드마크 정합부(140)는 우측 및 좌측 기준 랜드마크를 기초로 제1 연결선(m)을 생성하고, 제1 연결선(m)과 상측 기준 랜드마크를 이용하여 제2 연결선(l)을 생성할 수 있다.
그 다음, 랜드마크 정합부(140)는 제1 및 제2 연결선과 3차원 공간의 각 축 사이의 각도를 산출하고, 산출한 각도를 기초로 오일러 각도(Euler Angles) 변환을 통해 각 축을 기준으로 제1 및 제2 랜드마크를 각 평면에서 회전시켜 제1 및 제2 랜드마크의 각도를 조정할 수 있다. 여기에서, 오일러 각도는 3차원 공간에서 물체의 방위를 표시하기 위한 3개의 각도로서, 오일러 각도 변환을 수행하는 것은 본 발명의 기술분야에 속하는 통상의 기술자에 의하여 용이하게 수행될 수 있으므로 상세하게 설명하지 않는다. 예를 들어, 도 7의 (b)의 첫번째 도면을 참조하면, 랜드마크 정합부(140)는 제1 및 제2 연결선(m 및 l)의 교점 S(x,y,z)과 z축 사이 T(0,y,z)의 각도()를 기초로 오일러 각도 변환을 통해 z축을 기준으로 xy 평면에서 회전시켜 jn(xj,yj,zj)를 in(xi,yi,zi)로 3차원 좌표 회전을 수행하고, 도 7의 (b)의 두번째 도면을 참조하면, 랜드마크 정합부(140)는 제1 및 제2 연결선(m 및 l)의 교점 S(x,y,z)와 x축 사이(x,y,0)의 각도(α)를 기초로 오일러 각도 변환을 통해 x축을 기준으로 yz 평면에서 회전시켜 in(xi,yi,zi)를 kn(xk,yk,zk)로 3차원 좌표 회전을 수행하고, 도 7의 (b)의 세번째 도면을 참조하면, 랜드마크 정합부(140)은 제1 및 제2 연결선(m 및 l)의 교점 S(x,y,z)과 y축 사이(x,y,0)의 각도(β)를 기초로 오일러 각도 변환을 통해 y축을 기준으로 xz 평면에서 회전시켜 kn(xk,yk,zk)를 tn(xt,yt,zt)로 3차원 좌표 회전을 수행할 수 있다. 이와 같은 방식으로 제1 랜드마크 및 제2 랜드마크 각각에 대해 각도 조정이 수행될 수 있다.
바람직하게, 랜드마크 정합부(140)는 제1 및 제2 기준 랜드마크 각각의 우측 및 좌측 기준 랜드마크 사이의 거리와 상측 및 하측 사이의 거리의 비율에 따라 제1 및 제2 얼굴 이미지 데이터의 너비와 높이의 비율을 설정하여 제1 및 제2 랜드마크의 크기를 조정할 수 있다. 예를 들어, 도 8을 참조하면, 랜드마크 정합부(140)는 제1 기준 랜드마크에서 상측 기준 랜드마크(Up) 및 하측 기준 랜드마크(Down) 사이의 거리(810)와 우측 기준 랜드마크(Right) 및 좌측 기준 랜드마크(Left) 사이의 거리(820)를 계산하고, 동일한 방식으로 제2 기준 랜드마크에서도 너비와 높이의 비율을 계산한 후, 제1 기준 랜드마크에서의 너비와 제2 기준 랜드마크에서의 너비의 비율, 및 제1 기준 랜드마크에서의 높이와 제2 기준 랜드마크에서의 높이의 비율을 기초로 제2 랜드마크를 제1 랜드마크의 너비와 높이에 맞게 스케일 조정을 할 수 있다.
보다 구체적으로, 도 9를 참조하면, 랜드마크 정합부(140)는 제1 기준 랜드마크에서 좌측 및 우측 기준 랜드마크 간의 거리인 너비(w1)와 상측 및 하측 기준 랜드마크 간의 거리인 높이(h1)를 아래의 [식 1]로 계산할 수 있다.
[식 1] w1 = abs(left1 - right1), h1 = abs(up1 - down1)
여기에서, left1, right1, up1, 및 down1은 각각 제1 랜드마크의 좌측 기준 랜드마크, 우측 기준 랜드마크, 상측 기준 랜드마크, 및 하측 기준 랜드마크에 해당한다. 제2 기준 랜드마크에 대해서도 아래의 [식 2]를 통해 너비(w2)와 높이(h2)가 계산될 수 있다.
[식 2] w2 = abs(left2 right2), h2 = abs(up2 down2)
여기에서, left2, right2, up2, 및 down2는 각각 제2 기준 랜드마크의 좌측 기준 랜드마크, 우측 기준 랜드마크, 상측 기준 랜드마크, 및 하측 기준 랜드마크에 해당한다.
그 다음, 랜드마크 정합부(140)는 제2 기준 랜드마크의 너비(w2) 및 높이(h2)를 제1 기준 랜드마크의 너비(w1) 및 높이(h1)의 크기에 맞춰 스케일을 조정하기 위해, 제2 랜드마크의 x좌표에 (w1/w2)를 곱하여 제2 랜드마크의 너비를 조정하고, 제2 랜드마크의 y좌표에 (h1/h2)를 곱하여 높이를 조정할 수 있다.
일 실시예에서, 랜드마크 시각화부는 랜드마크 정합부(140)를 통해 정합된 제1 및 제2 랜드마크를 히트맵을 이용하여 시각화할 수 있다. 히트맵을 이용하여 시각화하는 방법은 상기에서 설명한 방식이 동일하게 적용될 수 있으며, 도 10에 도시된 바와 같이 정합 전과 정합 후의 시각화된 도면을 비교하면, 본 발명에 따른 얼굴 정합 방법을 통해 획득한 정합의 결과를 확인할 수 있다. 도 10을 참조하면, 동일한 표정이지만 서로 다른 각도와 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터에서 검출된 제1 및 제2 랜드마크(1010)를 시각화한 도면(1020)을 보면 동일한 사람이 동일한 표정으로 촬영하였음에도 불구하고 촬영된 각도와 위치가 달라 랜드마크 간 이동량이 얼굴 전반에 걸쳐 큰 것으로, 즉, 움직임이 많은 빨간색에 가깝게 나타나는 반면, 본 발명의 얼굴 정합 방법을 통해 제1 및 제2 랜드마크를 정합한 후(1030) 시각화된 도면(1040)을 보면 전체적으로 제1 및 제2 랜드마크 간 이동량이 적은 것으로, 즉, 움직임이 적은 파란색으로 나타나고 있음을 볼 수 있다. 제1 및 제2 얼굴 이미지 데이터가 어떠한 각도, 위치, 및 크기에서 촬영되더라도 본 발명에 따른 얼굴 정합 방법이 적용되면 제1 및 제2 얼굴 이미지 데이터가 나타내는 얼굴 간의 비교적 정확한 이동량이 판단될 수 있는 것이다. 또한, 도 9에서는 본 발명의 효과를 나타내기 위해 정합 전과 후의 결과가 비교되었으나, 특정한 두 시점에 획득된 복수의 얼굴 이미지 데이터가 이용된다면, 본 발명에 따른 얼굴 정합 방법을 통해 시간의 흐름에 따른 얼굴의 이동량, 즉, 얼굴이 변화한 정도가 판단될 수 있고, 시각화를 통해 얼굴의 어느 부분의 변화 정도가 크고 작은지 나타내어질 수 있다.
한편, 본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시예는 데이터구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
전술한 본 발명에 따른 얼굴 정합 장치 및 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100: 얼굴 정합 장치
110: 이미지 데이터 획득부
120: 랜드마크 검출부
130: 기준 랜드마크 설정부
140: 랜드마크 정합부
150: 제어부

Claims (10)

  1. 얼굴 정합 장치에서 수행되는 얼굴 정합 방법에 있어서,
    (a) 서로 다른 각도, 크기, 또는 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터를 획득하는 단계;
    (b) 상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크를 검출하고 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 단계;
    (c) 상기 제1 및 제2 랜드마크 간의 이동량과 거리를 산출하고, 상기 이동량과 거리를 기초로 복수의 기준 랜드마크를 설정하는 단계; 및
    (d) 상기 복수의 기준 랜드마크를 기초로 위치 조정, 각도 조정, 및 크기 조정을 통해 상기 제1 및 제2 랜드마크를 정합하는 단계를 포함하는 얼굴 정합 방법.
  2. 제1항에 있어서, 상기 (b) 단계는,
    상기 제1 및 제2 얼굴 이미지 데이터에 HR-net, CNN-CRF, 또는 Mediapipe에 해당하는 딥러닝 알고리즘을 적용하여 상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크 및 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 단계를 포함하되,
    상기 제1 및 제2 랜드마크는 각각 복수의 얼굴 랜드마크들 및 눈 랜드마크들을 포함하고, 랜드마크들 간에는 일련의 번호가 부여되어 관리되고, 상기 제1 및 제2 랜드마크에서 상호 대응되는 랜드마크는 동일한 번호가 부여되는 것을 특징으로 하는 얼굴 정합 방법.
  3. 제1항에 있어서, 상기 (c) 단계는,
    상기 제1 및 제2 랜드마크를 상단 및 하단으로 구분하고 상기 상단을 상측, 하측, 우측, 및 좌측으로 구분하는 단계;
    상기 상단에 포함되는 제1 및 제2 랜드마크에서 상호 대응되는 한 쌍의 랜드마크 간의 3차원 공간 상에서의 거리에 해당하는 이동량을 산출하는 단계; 및
    상기 제1 및 제2 랜드마크의 상단의 상측, 하측, 우측, 및 좌측 각각에서 상기 이동량이 작은 순서대로 복수의 랜드마크를 선택하는 단계를 포함하는 것을 특징으로 하는 얼굴 정합 방법.
  4. 제3항에 있어서, 상기 (c) 단계는,
    상기 제1 및 제2 랜드마크에서 상기 이동량을 기초로 선택된 복수의 랜드마크 중 상기 제1 및 제2 랜드마크 각각에 대해 상측에 포함되는 랜드마크와 하측에 포함되는 랜드마크 간의 거리 및 상기 우측에 포함되는 랜드마크와 좌측에 포함되는 랜드마크 간의 거리를 산출하는 단계; 및
    상기 상측에 포함되는 랜드마크와 하측에 포함되는 랜드마크 중 상기 거리가 가장 큰 한 쌍의 랜드마크를 상측 기준 랜드마크 및 하측 기준 랜드마크로 설정하고, 상기 우측에 포함되는 랜드마크와 좌측에 포함되는 랜드마크 중 상기 거리가 가장 큰 한 쌍의 랜드마크를 우측 기준 랜드마크 및 좌측 기준 랜드마크로 설정하여, 상기 제1 및 제2 랜드마크 각각에 대한 제1 기준 랜드마크 및 제2 기준 랜드마크를 결정하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 정합 방법.
  5. 제4항에 있어서, 상기 (d) 단계는,
    상기 제1 및 제2 기준 랜드마크 중 하나의 기준 랜드마크의 좌표를 원점 좌표로 이동시키는 단계; 및
    상기 제1 기준 랜드마크에서 원점으로 좌표가 이동한 기준 랜드마크의 좌표 이동량 만큼 제1 랜드마크의 좌표를 이동시키고, 제2 기준 랜드마크에서 원점으로 좌표가 이동한 기준 랜드마크의 좌표 이동량 만큼 제2 랜드마크의 좌표를 이동시켜 제1 및 제2 랜드마크의 위치를 조정하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 정합 방법.
  6. 제5항에 있어서, 상기 (d) 단계는,
    상기 제1 및 제2 기준 랜드마크 각각에 대해 상기 우측 및 좌측 기준 랜드마크를 연결한 제1 연결선을 생성하고, 상기 제1 연결선의 중심과 상기 상측 기준 랜드마크를 수직으로 연결하여 제2 연결선을 생성하는 단계;
    상기 제1 및 제2 연결선과 3차원 공간의 각 축 사이의 각도를 산출하는 단계; 및
    상기 각도를 기초로 오일러 각도(Euler Angles) 변환을 사용하여 각 축을 기준으로 상기 제1 및 제2 랜드마크를 각 평면에서 회전시켜 상기 제1 및 제2 랜드마크의 각도를 조정하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 정합 방법.
  7. 제5항에 있어서, 상기 (d) 단계는,
    상기 제1 및 제2 기준 랜드마크 각각에 대해 우측 및 좌측 기준 랜드마크 사이의 거리와 상측 및 하측 사이의 거리에 해당하는 제1 및 제2 기준 랜드마크에서의 너비 및 높이를 계산하는 단계;
    상기 제1 기준 랜드마크에서의 너비와 상기 제2 기준 랜드마크에서의 너비의 비율 및 상기 제1 기준 랜드마크에서의 높이와 상기 제2 기준 랜드마크에서의 높이의 비율을 기초로, 상기 제1 랜드마크의 크기로 상기 제2 랜드마크의 크기를 조정하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 정합 방법.
  8. 제1항에 있어서,
    상기 정합 전 또는 정합 후의 제1 및 제2 랜드마크에서 상호 대응되는 한 쌍의 랜드마크 간의 3차원 공간 상에서의 거리를 기초로 히트맵(heat map)을 이용하여 랜드마크의 색깔을 설정하여 시각화하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 정합 방법.
  9. 서로 다른 각도, 크기, 또는 위치에서 촬영된 제1 및 제2 얼굴 이미지 데이터를 획득하는 이미지 데이터 획득부;
    상기 제1 얼굴 이미지 데이터에 대한 제1 랜드마크를 검출하고 상기 제2 얼굴 이미지 데이터에 대한 제2 랜드마크를 검출하는 랜드마크 검출부;
    상기 제1 및 제2 랜드마크 간의 이동량과 거리를 산출하고, 상기 이동량과 거리를 기초로 복수의 기준 랜드마크를 설정하는 기준 랜드마크 설정부; 및
    상기 복수의 기준 랜드마크를 기초로 위치 조정, 각도 조정, 및 크기 조정을 통해 상기 제1 및 제2 랜드마크를 정합하는 랜드마크 정합부를 포함하는 얼굴 정합 장치.
  10. 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1항 내지 제9항 중 어느 한 항에 따른 방법이 수행되는 것을 특징으로 하는 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램.
KR1020220096248A 2022-08-02 2022-08-02 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치 KR20240018243A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220096248A KR20240018243A (ko) 2022-08-02 2022-08-02 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치
US18/361,744 US20240046492A1 (en) 2022-08-02 2023-07-28 Method and apparatus for face registration using 3d facial landmark

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220096248A KR20240018243A (ko) 2022-08-02 2022-08-02 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240018243A true KR20240018243A (ko) 2024-02-13

Family

ID=89769282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220096248A KR20240018243A (ko) 2022-08-02 2022-08-02 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치

Country Status (2)

Country Link
US (1) US20240046492A1 (ko)
KR (1) KR20240018243A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210156796A (ko) 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210156796A (ko) 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법

Also Published As

Publication number Publication date
US20240046492A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
EP3539054B1 (en) Neural network image processing apparatus
US10929646B2 (en) Method and apparatus for image processing, and computer-readable storage medium
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
JP6368709B2 (ja) ３次元身体データを生成する方法
JP4999731B2 (ja) 顔画像処理装置
JP6760490B2 (ja) 認識装置、認識方法および認識プログラム
JP2007094906A (ja) 特徴点検出装置および方法
CN108230383A (zh) 手部三维数据确定方法、装置及电子设备
JP2007004767A (ja) 画像認識装置、方法およびプログラム
US10810738B1 (en) Marker-less alignment of digital 3D face and jaw models
CN111435433A (zh) 信息处理装置、信息处理方法以及存储介质
CN110889355A (zh) 一种人脸识别校验方法、系统及存储介质
KR20180037419A (ko) Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
JP2007052575A (ja) メタデータ付与装置およびメタデータ付与方法
TWI557601B (zh) 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
Sharma et al. Image recognition system using geometric matching and contour detection
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
US20200126314A1 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
KR20240018243A (ko) 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치
JP7107380B2 (ja) 推定装置、推定方法、およびプログラム
US20220335252A1 (en) Method and system for anonymizing facial images
Zhang et al. E-faceatlasAR: extend atlas of facial acupuncture points with auricular maps in augmented reality for self-acupressure
KR20240003944A (ko) 3d 얼굴 랜드마크의 정합을 통한 안면 대칭성 분석 방법 및 장치
WO2024135313A1 (ja) 位置特定方法及び位置特定装置