KR102389066B1 - 얼굴 인식을 위한 얼굴영상 생성 방법 - Google Patents

얼굴 인식을 위한 얼굴영상 생성 방법 Download PDF

Info

Publication number
KR102389066B1
KR102389066B1 KR1020190146607A KR20190146607A KR102389066B1 KR 102389066 B1 KR102389066 B1 KR 102389066B1 KR 1020190146607 A KR1020190146607 A KR 1020190146607A KR 20190146607 A KR20190146607 A KR 20190146607A KR 102389066 B1 KR102389066 B1 KR 102389066B1
Authority
KR
South Korea
Prior art keywords
image
face
face image
generating
region
Prior art date
Application number
KR1020190146607A
Other languages
English (en)
Other versions
KR20210059312A (ko
Inventor
천재두
이민정
Original Assignee
주식회사 에버정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에버정보기술 filed Critical 주식회사 에버정보기술
Priority to KR1020190146607A priority Critical patent/KR102389066B1/ko
Priority to US16/931,029 priority patent/US11080518B2/en
Publication of KR20210059312A publication Critical patent/KR20210059312A/ko
Application granted granted Critical
Publication of KR102389066B1 publication Critical patent/KR102389066B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 획득 장치로부터 수집된 영상에서 인물의 얼굴영상을 추출하고, 추출된 얼굴영상을 기 등록된 포맷에 대응되는 형태로 가공하여 인물의 얼굴을 보다 정확하게 인식할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 얼굴 인식을 위한 얼굴영상 생성 방법은, 영상획득장치로부터 수신된 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하는 제1 단계와, YCbCr 영상에서 피부색 조건을 만족하는 영역을 얼굴 후보 영역으로 설정하는 제2 단계, 얼굴 후보 영역에 눈, 코, 입 중 적어도 둘 이상의 특징점이 존재하는지의 여부를 근거로 얼굴 영역을 결정하는 제3 단계, 얼굴 영역에 존재하는 눈 특징점과 얼굴 영역의 가로와 세로 비율을 기반으로 전면 얼굴과 측면 얼굴을 분류하고, 각 얼굴 영역을 추출하여 전면 얼굴 영상과 측면 얼굴 영상을 생성하는 제4 단계, 상기 측면 얼굴영상에 대해서는 코와 턱의 위치정보를 기반으로 측면 얼굴의 기울기 정도를 산출하고, 산출된 기울기 정도를 이용하여 정측면 얼굴영상을 생성하는 제5 단계, 상기 전면 얼굴 영상과 정측면 얼굴영상을 영상획득장치와의 이격거리에 따라 서로 다른 크기로 사이즈 변환함으로써, 인식용 얼굴 영상을 생성하는 제6 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

얼굴 인식을 위한 얼굴영상 생성 방법{Face Image Generating Method for Recognizing Face}
본 발명은 영상 획득 장치로부터 수집된 영상에서 인물의 얼굴영상을 추출하고, 추출된 얼굴영상을 기 등록된 포맷에 대응되는 형태로 가공하여 인물의 얼굴을 보다 정확하게 인식할 수 있도록 해 주는 기술에 관한 것이다.
최근 들어, 얼굴 인식 기술은 출입문 통제 장치를 비롯한 다양한 분야에서 활용되고 있는데, 지문이나 홍채 인식 등과 같은 다른 생체 인식 기술에 비해 능동적인 장점이 있어 더욱 증가하는 추세에 있다.
지문이나 홍채 인식의 경우 사용자가 인증을 받기 위해서는 지문 인식 센서에 손가락을 접촉시키거나 홍채 인식 센서에 눈을 근접시키는 행동을 취해야 하는 번거로움이 있었다.
하지만, 얼굴 인식 기술은 사용자의 얼굴이 카메라 영상에 잡히면, 얼굴 인식을 진행할 수 있기 때문에 인증을 위해 사용자가 부자연스러운 동작을 취할 필요가 없을 뿐 아니라 사용자가 인지하지 못하는 동안에도 사용자의 얼굴을 인식하여 인증할 수 있는 장점이 있다.
특히, 출입이 허용된 사용자들의 얼굴인식을 이용하여 출입 관리를 수행하는 출입통제시스템이 도입되고 있다.
얼굴인식을 이용한 사용자 인식방법은 출입통제시스템의 카메라에서 촬영된 사용자의 사진으로부터 추출된 얼굴 특징정보를 기저장된 사용자 DB의 얼굴 특징정보들과 비교하여 일치하는 경우에만 출입을 허용하는 방식으로서, 정확도가 높고 인식 속도가 빠르다는 장점이 있다.
이때, 인물을 인식하기 위해 미리 등록되는 출입 허용된 인물의 기준 얼굴 이미지로는 일반적으로 정면 얼굴과 정측면 얼굴이 저장된다.
그러나, 인물 인식을 위한 얼굴비교시 일반적으로 얼굴을 구성하는 눈,코,입 등의 특징점 위치 및 크기와 형태 등의 형태학적 특징을 기반으로 수행하게 되는데, 측면 얼굴 영상은 촬영 각도에 따라 특징점의 크기와 형태가 정측면 얼굴과 많은 차이를 갖게 된다.
이로 인해 얼굴인식을 이용한 사용자 인식방법은 조명이 충분하지 못하거나 사용자 얼굴 각도가 정면에서 일정 각도 이상 틀어진 경우 인식 정확도가 낮아 인식 오류가 많이 발생하고 있다.
1. 국내등록특허 제10-1363017호 (발명의 명칭 : 얼굴영상 촬영 및 분류 시스템과 방법) 2. 국내등록특허 제10-2039277호 (발명의 명칭 : 보행자 얼굴 인식 시스템 및 그 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 영상 획득 장치로부터 수집된 영상에서 인물의 얼굴영상을 추출하고, 추출된 얼굴영상 중 측면얼굴영상에 대해서는 얼굴의 형태학적 특징을 근거로 정측면 영상으로 가공함으로써, 인물의 얼굴을 보다 정확하게 인식할 수 있도록 해 주는 얼굴 인식을 위한 얼굴 영상생성 방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 얼굴 영상 생성 장치에서 영상획득장치로부터 수집된 영상 프레임에서 얼굴 이미지를 추출하여 얼굴 인식을 위한 얼굴 영상을 생성하는 얼굴 인식을 위한 얼굴영상 생성 방법에 있어서, 영상획득장치로부터 수신된 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하는 제1 단계와, YCbCr 영상에서 피부색 조건을 만족하는 영역을 얼굴 후보 영역으로 설정하는 제2 단계, 얼굴 후보 영역에 눈, 코, 입 중 적어도 둘 이상의 특징점이 존재하는지의 여부를 근거로 얼굴 영역을 결정하는 제3 단계, 얼굴 영역에 존재하는 눈 특징점과 얼굴 영역의 가로와 세로 비율을 기반으로 전면 얼굴과 측면 얼굴을 분류하고, 각 얼굴 영역을 추출하여 전면 얼굴 영상과 측면 얼굴 영상을 생성하는 제4 단계, 상기 측면 얼굴영상에 대해서는 코와 턱의 위치정보를 기반으로 측면 얼굴의 기울기 정도를 산출하고, 산출된 기울기 정도를 이용하여 정측면 얼굴영상을 생성하는 제5 단계, 상기 전면 얼굴 영상과 정측면 얼굴영상을 영상획득장치와의 이격거리에 따라 서로 다른 크기로 사이즈 변환함으로써, 인식용 얼굴 영상을 생성하는 제6 단계를 포함하여 구성되고, 상기 제5 단계에서 얼굴 영상 생성 장치는 측면 얼굴 영상에 대해 윤곽선을 추출하고, 턱을 기준으로 윤곽선을 따라 가상의 직선을 이동시키되 직선상에 있는 피부색 빈도수가 최대인 측면 얼굴 직선을 생성하는 단계와, 측면 얼굴영상에서 턱 위치를 수평축으로 설정하고, 수평축과 상기 측면 얼굴 직선이 이루는 각도(θ)를 산출하는 단계 및, 하기 수학식을 이용하여 측면 얼굴 직선이 수평축에 대한 수직선이 되도록 측면 얼굴을 보정함으로써, 정측면 얼굴 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법이 제공된다.
Figure 112021031803912-pat00013
여기서, (x,y)는 측면 얼굴영상의 원 좌표, (X,Y)는 회전 변환된 좌표, (90-θ)는 회전각도를 의미하고, θ는 턱을 기준으로 한 수평축과 피부 윤곽선을 따라 가상의 직선을 이동시킬 때 피부색 빈도수가 최대인 측면 얼굴 직선이 이루는 각도임.
또한, 상기 제1 단계에서 얼굴 영상 생성 장치는 GML Camera Calibration Toolbox를 호출하고, GML Camera Calibration Toolbox 사용하여 영상획득장치로부터 수집된 RGB 기반의 영상 프레임에서 랜드마크 값을 추출하며, 추출된 랜드마크 값을 OpenCv의 sample 폴더 중에서 calbration.cpp를 사용하여 전처리된 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법이 제공된다.
또한, 상기 제1 단계에서 얼굴 영상 생성 장치는 하기 수학식에 따라 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하고, 상기 제2 단계에서 얼굴 영상 생성 장치는 YCbCr 영상의 색좌표에서 Cb 가 "73 이상, 132 이하"의 조건을 만족하고, Cr가 "124 이상, 171 이하"의 조건을 만족하는 영역을 얼굴 후보영역으로 추출하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법이 제공된다.
Figure 112019117392120-pat00001
또한, 상기 제4 단계에서 얼굴 영상 생성 장치는 얼굴 영역의 가로 세로 비율이 약 "1: 1.5 이상 2.5 미만"의 비율을 갖는 경우 측면 얼굴영상으로 판단하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법이 제공된다.
삭제
삭제
본 발명에 의하면, 영상 획득 장치로부터 수집된 영상에서 인물의 얼굴영상을 추출하고, 추출된 얼굴영상 중 측면얼굴영상에 대해서는 얼굴의 형태학적 특징을 근거로 정측면 영상으로 가공함으로써, 인물의 얼굴을 인식하는 모든 시스템에 용이하게 적용되어 인물의 얼굴을 보다 정확하게 인식할 수 있다.
도1은 본 발명이 적용되는 얼굴 인식을 위한 얼굴 영상 생성 장치의 구성을 기능적으로 분리하여 나타낸 블록구성도.
도2와 도3은 도1에 도시된 측면 얼굴영상 가공부(500)에서의 측면 얼굴영상 가공과정을 설명하기 위한 도면.
도4는 발명에 따른 얼굴 인식을 위한 얼굴 영상 생성 방법을 설명하기 위한 도면.
도5는 도4에서 측면 영상을 정측면 영상으로 변환하는 과정(ST400)을 보다 상세히 설명하기 위한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명이 적용되는 얼굴 인식을 위한 얼굴 영상 생성 장치의 구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도1을 참조하면, 본 발명에 따른 얼굴 인식을 위한 얼굴 영상 생성 장치(10)는 영상 획득 장치(1)로부터 수집되는 영상에서 얼굴 인식용 얼굴 영상을 생성하여 서비스 장치(2)로 제공한다.
이때, 영상 획득 장치(1)는 서로 다른 위치에 다수개가 설치될 수 있고, 서비스 장치(2)는 영상 획득 장치로부터 획득된 영상으로부터 인물의 얼굴을 추출하여 인물를 분류하는 기능을 갖는 모든 서비스 시스템, 예컨대 출입관리시스템이나 보안시스템 등이 될 수 있다. 그리고, 본 발명에 따른 얼굴 인식용 얼굴 영상 생성장치(10)가 이러한 서비스 장치(2) 내에 구비되어 구성될 수 있다.
이러한 얼굴 인식을 위한 얼굴 영상 생성 장치(10)는 영상 수집부(100)와 영상 전처리부(200), 얼굴영역 추출부(300), 얼굴영상 분류부(400), 측면 얼굴영상 가공부(500) 및, 얼굴영상 출력부(600)를 포함한다.
영상 수집부(100)는 영상획득장치(1)로부터 프레임 단위의 영상 데이터를 수집한다.
영상 전처리부(200)는 영상 수집부(100)를 통해 수집된 영상 데이터에서 기 설정된 위치의 랜드마크 값을 추출하고, 추출된 랜드마크 값을 OpenCv 에 적용하여 이미지 보정을 수행한다. 여기서, OpenCV(Open Source Computer Vision)은 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리로, 특히 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 제공한다.
즉, 영상 전처리부(200)는 "GML Camera Calibration Toolbox"를 호출하고, "GML Camera Calibration Toolbox" 사용하여 영상획득장치(1)로부터 수집된 영상 프레임에서 랜드마크 값을 추출하며, 추출된 랜드마크 값을 OpenCv의 sample 폴더 중에서 calbration.cpp를 사용하여 보정된 영상 이미지를 획득할 수 있다.
얼굴영역 추출부(300)는 컬러 정보에 기반하여 영상 데이터 즉, 보정된 영상 이미지에서 얼굴 후보 영역을 추출한다. 이때, 얼굴영역 추출부(300)는 영상 전처리부(200)에서 출력되는 RGB 기반의 영상 데이터를 YCbCr 영상으로 변환하고, 얼굴 영상의 피부색 정보를 이용하여 얼굴 후보영역을 추출한다. 이때, RGB 영상과 YCbCr 영상은 수학식1과 같은 조건으로 변환될 수 있다.
Figure 112019117392120-pat00003
또한, 수학식1과 같이 YCbCr 영상의 색좌표는 화소(Y)와 컬러(Cb, Cr)성분으로 이루어지고, 본 발명에서 얼굴영역 추출부(300)는 YCbCr 영상의 컬러 성분만을 이용하여 얼굴 후보 영역을 추출한다.
얼굴영역 추출부(300)는 수학식2와 같은 조건에 기반하여 얼굴 후보 영역을 결정할 수 있다.
Figure 112019117392120-pat00004
여기서, B(x,y)는 피부색으로 추출된 얼굴 영역이다.
즉, 수학식 2에 의하면, Cb 가 "73 이상, 132 이하"의 조건을 만족하고, Cr가 "124 이상, 171 이하"의 조건을 만족하는 영역을 얼굴 후보영역으로 추출할 수 있다.
그리고, 얼굴영역 추출부(300)는 얼굴 후보영역내에서 눈, 코, 입 중 적어도 둘 이상의 특징점이 존재하는지의 여부를 근거로 얼굴 영역을 결정한다.
얼굴영상 분류부(400)는 얼굴 영역에 존재하는 눈 특징점과 얼굴 영역의 가로와 세로 비율을 기반으로 전면 얼굴과 측면 얼굴을 분류한다. 예컨대, 얼굴영상 분류부(400)는 얼굴 영역내에 눈에 해당하는 특징점이 2개 존재하면서, 두 눈간의 거리 또는 크기가 기 설정된 눈 조건을 만족하는 경우에 한하여 해당 얼굴 영역을 추출하여 전면 얼굴영상으로 결정한다. 그리고, 그 외 눈 특징점이 존재하는 나머지 얼굴 영역은 측면 얼굴영상으로 결정할 수 있다.
또한, 측면 얼굴영상에 대해서는 얼굴의 가로 세로의 비율이 약 "1: 1.5 이상 2.5 미만", 바람직하게는 1:2 정도의 비율을 갖는 경우, 최종적으로 측면 얼굴영상으로 판단할 수 있다.
측면 얼굴영상 가공부(500)는 상기 얼굴영상 분류부(400)에서 결정된 측면 얼굴영상을 정측면 영상으로 가공한다. 이때, 측면 얼굴영상 가공부(500)는 허프 변환을 이용하여 직선을 방정식을 구하고, 측면 얼굴 영상에서 얼굴의 하측에 위치하는 턱의 위치를 추출하되, 소벨 기법을 이용하여 수평 성분값이 가장 큰 부분을 턱으로 설정한다. 그리고, 턱을 기준으로 수평축에 해당하는 x축을 설정하고, 턱 위치를 기준으로 측면 윤곽선을 따라 가상의 직선을 이동시키되 피부색 빈도수가 최대인 직선의 방정식을 구함으로써, 측면 얼굴 직선(y)과 x축과의 각도(θ)를 산출한다.
도2에는 일정 기울기를 갖는 측면 얼굴 직선(y) 및 턱을 기준으로 하는 x축(수평축)이 예시되어 있다. 이때, 측면 얼굴 직선(y)과 x축이 이루는 각도(θ)는 측면 얼굴의 기울기 정도가 된다.
따라서, 측면 얼굴영상 가공부(500)는 수학식3과 같이 측면 얼굴영상을 (90-θ)만큼 시계 방향으로 회전 이동시키거나(좌측면 영상), 반시계 방향으로 회전 이동시킴으로써(우측면 영상), 기울기가 보정된 정측면 영상을 획득할 수 있다.
Figure 112019117392120-pat00005
여기서, (x,y)는 측면 얼굴영상의 원 좌표, (X,Y)는 회전 변환된 좌표, (90-θ)는 회전각도를 의미한다.
이때, 측면 얼굴영상 가공부(500)는 측면 얼굴영상에 대해 좌측 및 우측 얼굴영상을 각각 생성하고, 좌측 및 우측 얼굴 영상에 대해 측면 얼굴의 기울기 정도를 산출할 수 있다.
또한, 측면 얼굴영상 가공부(500)는 각 측면 얼굴영상에서 코 영역 돌출높이를 기반으로 해당 측면 얼굴영상이 좌측 영상인지 우측 영상인지를 판단하고, 결정된 측면에 대한 정측면 얼굴영상만을 유효 영상으로 설정한다.
도3을 참조하면, 정측면 영상에서 코 영역은 기울기가 보정된 방정식에 해당하는 수직선에서 측면 영상의 중간부분에 가장 크게 돌출되어 있는 지점을 코의 돌출 지점(xc,yc)로 설정한다. 그리고, 코 돌출지점(xc, yc)를 시작점으로하여 상측 방향과 하측 방향으로 각각 체인 코드를 적용하여 그 방향이 수직선과 유사하게 되는 지점을 위 끝점(xi yh)과 아래 끝점(xi, yl)로 각각 설정한다.
측면 얼굴영상 가공부(500)는 위 끝점의 y좌표값(yh)과 아래 끝점의 y좌표값(yl)간의 차이를 근거로 코 길이를 산출하고, 코의 아래 끝점(최하측)과 턱간의 거리가 코 길이의 0.7~2배인 것을 기준으로 1차적으로 해당 측면 얼굴영상이 좌측면 영상인지 우측면인지를 판단한다.
이때, 측면 얼굴영상 가공부(500)는 양측에서의 코의 최하측 위치와 턱간의 거리가 코 길이의 0.7~2배인 것이 모두 만족되는 경우, 양 측면 중 코의 돌출 크기 즉 코 높이가 보다 큰 측면을 유효한 측면 얼굴로 결정할 수 있다.
인식용 얼굴영상 출력부(600)는 서비스 서버(2)에서 요구되는 얼굴 영상크기를 만족하도록 전면 얼굴 영상 및 정측면 영상을 사이즈 변환하여 출력한다. 이때, 인식용 얼굴영상 출력부(600)는 기 설정된 거리별 서로 다른 사이즈로 변환된 인식용 얼굴영상을 제공할 수 있다. 예컨대, 해당 영상을 촬영한 영상 획득 장치(1)와인물간의 이격 거리를 기반으로 그 이격 거리가 멀수록 작은 사이즈를 갖도록 인식용 얼굴영상을 변환한다. 1m인 경우 50×50, 2m인 경우 30×30, 3m 인 경우 20×20, 4m인 경우 16×16, 5m인 경우 12×12 크기로 사이즈 변환될 수 있다.
이어, 도4 및 도5를 참조하여 본 발명에 따른 얼굴 인식을 위한 얼굴 영상 생성 방법을 설명한다.
먼저, 도4를 참조하면 얼굴 영상 생성 장치(10)는 영상 획득 장치(1)로부터 영상 정보를 수집하고, 수집된 영상에 대한 전처리를 수행한다(ST100). 영상 획득 장치(1)는 전처리된 영상 데이터에서 기 설정된 위치의 랜드마크 값을 추출하고, 추출된 랜드마크 값을 OpenCv 에 적용하여 이미지 보정을 수행한다.
이어, 얼굴 영상 생성 장치(10)는 전처리된 영상 이미지에서 얼굴영상을 추출한다(ST200). 이때, 얼굴 영상 생성 장치(10)는 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하고, YCbCr 영상에서 피부 컬러에 기반하여 얼굴후보영상을 추출한 후, 얼굴후보영상에 눈, 코, 입 중 적어도 둘 이상의 특징점이 존재하는 경우, 지의 여부를 근거로 얼굴 굴 영상으로 결정한다.
그리고, 얼굴 영상 생성 장치(10)는 ST200 단계에서 결정된 얼굴 영역이 전면 얼굴영상인지 또는 측면 얼굴영상인지를 판단하고 이를 분류한다(ST300). 얼굴 영상 생성 장치(10)는 얼굴 영상에서 눈에 해당하는 특징점이 2개 존재하는 경우 전면 영상으로 판단하고, 나머지 얼굴 영상은 측면 영상으로 판단할 수 있다. 이때, 측면 얼굴영상에 대해서는 얼굴의 가로 세로의 비율이 약 "1:1.5 이상"의 비율을 갖는 경우 측면 영상인 것으로 최종 확정할 수 있다. 그리고, 눈에 해당하는 특징점이 2개 존재하지 않으면서, 얼굴의 가로 세로의 비율이 약 "1:1.5 이상"의 비율이 조건을 만족하지 않는 경우, 해당 얼굴 영상을 전면 얼굴영상으로 최종 결정할 수 있다.
이때, 얼굴 영상 생성 장치(10)는 상기 ST300 단계에서 분류된 측면 얼굴영상을 정측면 영상으로 변환한다(ST400).
또한, 얼굴 영상 생성 장치(10)는 영상 이미지에서의 얼굴 영상 위치와 촬영 위치간 이격거리를 기반으로 전면 또는 측면 얼굴 영상의 사이즈를 변경하고, 이를 인식용 얼굴영상으로 출력하여 서비스 장치(2)로 제공한다(ST500). 이때, 얼굴 영상 생성 장치(10)는 인식용 얼굴영상과 영상획득장치의 고유 ID 및 프레임정보를 포함하는 얼굴영상 인식정보를 서비스 장치(2)로 제공할 수 있다. 그리고, 프레임 정보는 프레임 No 와 프레임 영상을 포함할 수 있다.
도5에는 도4에서 측면 영상을 정측면 영상으로 변환하는 과정(ST400)이 보다 상세히 도시되어 있다.
도5를 참조하면, 얼굴 영상 생성 장치(10)는 ST300 단계에서 결정된 측면 영상에 대해 측면 얼굴 윤곽선을 추출하고, 윤곽선에 기반하여 얼굴의 측면 기울기에 대응되는 측면 얼굴 직선을 생성한다(ST410). 이때, 측면 얼굴 직선은 턱을 기준으로 윤곽선을 따라 가상의 직선을 이동시키면서 직선상에 있는 피부색 빈도수가 최대인 직선으로 결정된다.
이어, 얼굴 영상 생성 장치(10)는 얼굴 영역에서 턱 위치를 수평축으로 설정하고, 수평축과 상기 ST410 단계에서 생성된 측면 얼굴 직선이 이루는 각도를 산출한다(ST420).
그리고, 얼굴 영상 생성 장치(10)는 ST420 단계에서 산출된 각도를 근거로 측면얼굴 영상을 보정하여 정측면 영상을 생성한다(ST430). 정측면 얼굴영상은 측면 얼굴 직선이 수평축에 대한 수직선이 되도록 측면 얼굴을 보정하여 생성된다.
또한, 상기 ST400 단계에서는 측면 얼굴영상에 대해 좌측과 우측에 대한 정측면 영상을 각각 생성하고, 좌측 정측면 영상과 우측 정측면 영상 중 코의 최하측과 턱간의 거리가 코 길이의 0.7~2배인 조건을 만족하면서, 각 측면의 수직선을 기준으로 코의 돌출 크기가 보다 큰 측면의 정측면 영상을 유효 정측면 영상으로 설정할 수 있다.
100 : 영상 수집부, 200 : 영상 전처리부,
300 : 얼굴영역 추출부, 400 : 얼굴영상 분류부,
500 : 측면 얼굴영상 가공부, 600 : 얼굴영상 출력부.

Claims (6)

  1. 얼굴 영상 생성 장치에서 영상획득장치로부터 수집된 영상 프레임에서 얼굴 이미지를 추출하여 얼굴 인식을 위한 얼굴 영상을 생성하는 얼굴 인식을 위한 얼굴영상 생성 방법에 있어서,
    영상획득장치로부터 수신된 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하는 제1 단계와,
    YCbCr 영상에서 피부색 조건을 만족하는 영역을 얼굴 후보 영역으로 설정하는 제2 단계,
    얼굴 후보 영역에 눈, 코, 입 중 적어도 둘 이상의 특징점이 존재하는지의 여부를 근거로 얼굴 영역을 결정하는 제3 단계,
    얼굴 영역에 존재하는 눈 특징점과 얼굴 영역의 가로와 세로 비율을 기반으로 전면 얼굴과 측면 얼굴을 분류하고, 각 얼굴 영역을 추출하여 전면 얼굴 영상과 측면 얼굴 영상을 생성하는 제4 단계,
    상기 측면 얼굴영상에 대해서는 코와 턱의 위치정보를 기반으로 측면 얼굴의 기울기 정도를 산출하고, 산출된 기울기 정도를 이용하여 정측면 얼굴영상을 생성하는 제5 단계,
    상기 전면 얼굴 영상과 정측면 얼굴영상을 영상획득장치와의 이격거리에 따라 서로 다른 크기로 사이즈 변환함으로써, 인식용 얼굴 영상을 생성하는 제6 단계를 포함하여 구성되고,
    상기 제5 단계에서 얼굴 영상 생성 장치는 측면 얼굴 영상에 대해 윤곽선을 추출하고, 턱을 기준으로 윤곽선을 따라 가상의 직선을 이동시키되 직선상에 있는 피부색 빈도수가 최대인 측면 얼굴 직선을 생성하는 단계와, 측면 얼굴영상에서 턱 위치를 수평축으로 설정하고, 수평축과 상기 측면 얼굴 직선이 이루는 각도(θ)를 산출하는 단계 및, 하기 수학식을 이용하여 측면 얼굴 직선이 수평축에 대한 수직선이 되도록 측면 얼굴을 보정함으로써, 정측면 얼굴 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법.
    Figure 112021031803912-pat00014

    여기서, (x,y)는 측면 얼굴영상의 원 좌표, (X,Y)는 회전 변환된 좌표, (90-θ)는 회전각도를 의미하고, θ는 턱을 기준으로 한 수평축과 피부 윤곽선을 따라 가상의 직선을 이동시킬 때 피부색 빈도수가 최대인 측면 얼굴 직선이 이루는 각도임.
  2. 제1항에 있어서,
    상기 제1 단계에서 얼굴 영상 생성 장치는 GML Camera Calibration Toolbox를 호출하고, GML Camera Calibration Toolbox 사용하여 영상획득장치로부터 수집된 RGB 기반의 영상 프레임에서 랜드마크 값을 추출하며, 추출된 랜드마크 값을 OpenCv의 sample 폴더 중에서 calbration.cpp를 사용하여 전처리된 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법.
  3. 제1항에 있어서,
    상기 제1 단계에서 얼굴 영상 생성 장치는 하기 수학식에 따라 RGB 기반의 영상 프레임을 YCbCr 영상으로 변환하고,
    상기 제2 단계에서 얼굴 영상 생성 장치는 YCbCr 영상의 색좌표에서 Cb 가 "73 이상, 132 이하"의 조건을 만족하고, Cr가 "124 이상, 171 이하"의 조건을 만족하는 영역을 얼굴 후보영역으로 추출하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법.
    Figure 112019117392120-pat00006

  4. 제1항에 있어서,
    상기 제4 단계에서 얼굴 영상 생성 장치는 얼굴 영역의 가로 세로 비율이 약 "1: 1.5 이상 2.5 미만"의 비율을 갖는 경우 측면 얼굴영상으로 판단하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴영상 생성 방법.
  5. 삭제
  6. 삭제
KR1020190146607A 2019-11-15 2019-11-15 얼굴 인식을 위한 얼굴영상 생성 방법 KR102389066B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190146607A KR102389066B1 (ko) 2019-11-15 2019-11-15 얼굴 인식을 위한 얼굴영상 생성 방법
US16/931,029 US11080518B2 (en) 2019-11-15 2020-07-16 Face image generating method for recognizing face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190146607A KR102389066B1 (ko) 2019-11-15 2019-11-15 얼굴 인식을 위한 얼굴영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20210059312A KR20210059312A (ko) 2021-05-25
KR102389066B1 true KR102389066B1 (ko) 2022-04-22

Family

ID=75908722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190146607A KR102389066B1 (ko) 2019-11-15 2019-11-15 얼굴 인식을 위한 얼굴영상 생성 방법

Country Status (2)

Country Link
US (1) US11080518B2 (ko)
KR (1) KR102389066B1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363017B1 (ko) 2007-08-23 2014-02-12 삼성전자주식회사 얼굴영상 촬영 및 분류 시스템과 방법
JP5526921B2 (ja) * 2010-03-29 2014-06-18 ソニー株式会社 撮像装置、電子機器および表示制御方法
JP5593772B2 (ja) * 2010-03-29 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5484184B2 (ja) * 2010-04-30 2014-05-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR101328052B1 (ko) * 2011-07-08 2013-11-08 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
KR101399785B1 (ko) * 2012-04-03 2014-06-27 조선대학교산학협력단 얼굴 검출 및 인식을 위한 얼굴 영상 획득 방법 및 장치
US8983152B2 (en) * 2013-05-14 2015-03-17 Google Inc. Image masks for face-related selection and processing in images
KR101660596B1 (ko) * 2014-12-05 2016-09-27 한국 한의학 연구원 안면 형상 기울기 보정 방법 및 보정 시스템
JP6897082B2 (ja) * 2016-12-13 2021-06-30 富士通株式会社 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法
KR102039277B1 (ko) 2018-12-07 2019-10-31 장승현 보행자 얼굴 인식 시스템 및 그 방법

Also Published As

Publication number Publication date
US11080518B2 (en) 2021-08-03
KR20210059312A (ko) 2021-05-25
US20210150188A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7242528B2 (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
KR102587193B1 (ko) 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
JP3279913B2 (ja) 人物認証装置、特徴点抽出装置及び特徴点抽出方法
WO2021036436A1 (zh) 一种人脸识别方法及装置
KR100374708B1 (ko) 회전영상의 보정에 의한 비접촉식 홍채인식방법
US8649575B2 (en) Method and apparatus of a gesture based biometric system
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
KR101937323B1 (ko) 위장 얼굴 판별 장치 및 방법
JP2001331799A (ja) 画像処理装置および画像処理方法
JP2000259814A (ja) 画像処理装置及びその方法
KR102429865B1 (ko) 사용자 인증 장치
US11227170B2 (en) Collation device and collation method
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
EP3905104B1 (en) Living body detection method and device
CN108171138B (zh) 一种生物特征信息获取方法和装置
US20210174067A1 (en) Live facial recognition system and method
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
Lee et al. An automated video-based system for iris recognition
KR20140078163A (ko) 영상에서의 휴먼 인지 장치 및 방법
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
KR102389066B1 (ko) 얼굴 인식을 위한 얼굴영상 생성 방법
WO2023028947A1 (zh) 掌静脉非接触式三维建模方法、装置及认证方法
CN102073842A (zh) 一种通过分类匹配的人脸识别方法
JP5603258B2 (ja) 検出装置及び検出方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant