KR101438011B1 - 3차원 스캐너를 이용한 얼굴 인식 시스템 - Google Patents

3차원 스캐너를 이용한 얼굴 인식 시스템 Download PDF

Info

Publication number
KR101438011B1
KR101438011B1 KR1020130135904A KR20130135904A KR101438011B1 KR 101438011 B1 KR101438011 B1 KR 101438011B1 KR 1020130135904 A KR1020130135904 A KR 1020130135904A KR 20130135904 A KR20130135904 A KR 20130135904A KR 101438011 B1 KR101438011 B1 KR 101438011B1
Authority
KR
South Korea
Prior art keywords
face
dimensional
depth data
face shape
dimensional scanner
Prior art date
Application number
KR1020130135904A
Other languages
English (en)
Inventor
오성권
Original Assignee
수원대학교산학협력단
위아코퍼레이션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수원대학교산학협력단, 위아코퍼레이션 주식회사 filed Critical 수원대학교산학협력단
Priority to KR1020130135904A priority Critical patent/KR101438011B1/ko
Application granted granted Critical
Publication of KR101438011B1 publication Critical patent/KR101438011B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3차원 스캐너를 이용한 얼굴 인식 시스템에 관한 것으로서, 보다 구체적으로는 신원정보와 얼굴의 깊이 데이터를 저장하는 얼굴 데이터베이스; 피사체의 3차원 얼굴 형상을 취득하는 3차원 스캐너; 상기 3차원 스캐너에 의해 취득된 3차원 얼굴 형상에 대한 포즈 보상을 수행하고, 얼굴을 정면으로 향하도록 보정된 정면 얼굴 형상을 획득하는 포즈 보상 모듈; 포인트 시그니쳐(Point Signature) 기법을 이용하여 상기 정면 얼굴 형상으로부터 얼굴의 깊이 데이터를 추출하는 깊이 추출 모듈; 및 최적화 알고리즘을 사용하여 상기 추출된 깊이 데이터의 다항식 기반 RBFNNs(Polynomial-based radial basis function neural networks; pRBFNNs) 패턴 분류기의 파라미터를 설정하고, 얼굴 인식을 판단하는 패턴분류 처리 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 3차원 스캐너를 이용한 얼굴 인식 시스템에 따르면, 3차원 스캐너를 이용해 획득한 3차원 얼굴 형상의 포즈를 보상하여 정면 얼굴 형상을 획득하고 얼굴의 깊이 데이터를 추출하여, 추출한 깊이 데이터를 이용해 pRBFNNs 패턴 분류기의 학습 및 이를 이용한 얼굴 인식을 처리함으로써, 조명과 포즈 변화와 같은 환경적인 요인에 의한 인식률의 저하를 보완하여 얼굴 인식의 정확도를 향상시킬 수 있다.

Description

3차원 스캐너를 이용한 얼굴 인식 시스템{THREE-DIMENSIONAL FACE RECOGNITION SYSTEM USING 3D SCANNER}
본 발명은 얼굴 인식 시스템에 관한 것으로서, 보다 구체적으로는 3차원 스캐너를 이용한 얼굴 인식 시스템에 관한 것이다.
정보화 사회에서 사용자 인증은 매우 중요한 사항이다. 즉, 인증 절차 없이는 보안이 요구되는 장소의 출입 통제뿐만 아니라, 은행거래, 재산권보호 등 컴퓨터를 통한 정보검색도 거의 불가능하게 된다. 정보유출 및 도용이 쉽게 일어날 수 있는 ID나 Password와 같은 방법의 문제점을 극복하기 위하여 개인의 신체적, 행동적 특징을 이용하여 신원을 검증하는 생체인식 기술이 등장하게 된다. 이러한 생체인식분야는 홍채, 지문, 얼굴, 정맥, 음성, 걸음걸이 인식 등으로 세분화될 수 있으며, 현재 금융서비스, 네트워크 보안 등 여러 분야에서 많이 사용되고 있다. 특히 얼굴 인식의 경우 비접촉식으로 다른 생체인식기술에 비해 인식 대상자의 불쾌감이나 불편함이 적다는 장점이 있어 많이 사용되고 있다.
이와 같은 얼굴 인식과 관련하여, 빠른 학습 수렴과 패턴 분류의 성능을 향상시켜 실시간 얼굴 인식이 가능하도록 하기 위한, 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템이 개시된바 있다(등록특허 제10-1254177호).
종래에 개시된 바와 같은 얼굴 인식 시스템은, 2차원 얼굴 인식에 관한 것이다. 이와 같은 2차원 얼굴 인식의 가장 큰 문제점은 조명이나 포즈의 변화와 같은 환경적인 요인에 의한 인식률의 저하이다. 특히, 대부분의 2차원 얼굴 인식의 경우 취득한 얼굴 영상의 명암도를 바탕으로 인식을 수행하기 때문에 데이터베이스 구축 당시의 환경과 다른 환경의 조명을 비추었을 경우 인식률의 저하가 발생한다.
또한, 인식대상자의 얼굴이 회전된 영상은 회전된 부분의 데이터를 얻을 수가 없어 2차원 얼굴 인식은 항상 정면을 바라본 상태에서 인식을 수행하여야 한다. 하지만 인식대상자가 정면을 바라보았음에도 불구하고 인식 당시에 환경적인 문제나 신체적 특징에 의해 실제 입력된 얼굴 영상은 약간씩 회전된 얼굴 영상이 입력되는데, 이렇게 회전된 영상으로 인해 인식률의 저하가 발생한다. 따라서 이러한 2차원 얼굴 인식의 한계를 극복하기 위한 기술의 개발이 필요한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 3차원 스캐너를 이용해 획득한 3차원 얼굴 형상의 포즈를 보상하여 정면 얼굴 형상을 획득하고 얼굴의 깊이 데이터를 추출하여, 추출한 깊이 데이터를 이용해 pRBFNNs(Polynomial-based radial basis function neural networks) 패턴 분류기의 학습 및 이를 이용한 얼굴 인식을 처리함으로써, 조명과 포즈 변화와 같은 환경적인 요인에 의한 인식률의 저하를 보완하여 얼굴 인식의 정확도를 향상시킬 수 있는, 3차원 스캐너를 이용한 얼굴 인식 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템은,
신원정보와 얼굴의 깊이 데이터를 저장하는 얼굴 데이터베이스;
피사체의 3차원 얼굴 형상을 취득하는 3차원 스캐너;
상기 3차원 스캐너에 의해 취득된 3차원 얼굴 형상에 대한 포즈 보상을 수행하고, 얼굴을 정면으로 향하도록 보정된 정면 얼굴 형상을 획득하는 포즈 보상 모듈;
포인트 시그니쳐(Point Signature) 기법을 이용하여 상기 정면 얼굴 형상으로부터 얼굴의 깊이 데이터를 추출하는 깊이 추출 모듈; 및
최적화 알고리즘을 사용하여 상기 추출된 깊이 데이터의 다항식 기반 RBFNNs(Polynomial-based radial basis function neural networks; pRBFNNs) 패턴 분류기의 파라미터를 설정하고, 얼굴 인식을 판단하는 패턴분류 처리 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 포즈 보상 모듈은,
3차원 얼굴 형상에서 미간의 중심점과 코밑의 중심점을 기준으로 Y`축을 설정하고, 양 눈의 바깥쪽 끝점을 기준으로 X`축을 설정하여, X`축 및 Y`축으로 구성되는 새로운 좌표계와 기준 좌표계의 오차를 최소화시켜 포즈 보상을 수행할 수 있다.
바람직하게는, 상기 깊이 추출 모듈은,
각도 θ와 반지름 R을 미리 설정하고, 상기 정면 얼굴 형상에서 기준점을 설정하고 법선 벡터를 생성하여, 생성한 법선 벡터를 중심으로 하는 반지름 R의 원을 상기 정면 얼굴 형상에 투영하여, 각도 θ에 해당하는 부분의 깊이 데이터를 추출할 수 있다.
더욱 바람직하게는, 상기 깊이 추출 모듈은,
상기 정면 얼굴 형상에서 코끝 점을 기준점으로 설정할 수 있다.
더욱 바람직하게는, 상기 깊이 추출 모듈은,
적어도 둘 이상의 반지름 R을 미리 설정하고, 상기 설정한 반지름 R의 원을 각각 상기 정면 얼굴 형상에 투영하여, 얼굴의 전역적인 깊이 데이터를 추출할 수 있다.
바람직하게는, 상기 깊이 추출 모듈은,
PCA(Principal Component Analysis) 알고리즘을 이용하여 상기 추출된 깊이 데이터를 저차원의 깊이 데이터로 축소하여, 학습 및 인식 속도의 저하가 방지되도록 할 수 있다.
바람직하게는, 상기 패턴분류 처리 모듈은,
GA 알고리즘(Genetic Algorithm), DE 알고리즘(Differential Evolution Algorithm) 또는 PSO 알고리즘(Particle Swarm Optimization)을 이용하여 pRBFNNs 패턴 분류기의 파라미터를 설정할 수 있다.
본 발명에서 제안하고 있는 3차원 스캐너를 이용한 얼굴 인식 시스템에 따르면, 3차원 스캐너를 이용해 획득한 3차원 얼굴 형상의 포즈를 보상하여 정면 얼굴 형상을 획득하고 얼굴의 깊이 데이터를 추출하여, 추출한 깊이 데이터를 이용해 pRBFNNs 패턴 분류기의 학습 및 이를 이용한 얼굴 인식을 처리함으로써, 조명과 포즈 변화와 같은 환경적인 요인에 의한 인식률의 저하를 보완하여 얼굴 인식의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템을 이용한 얼굴 인식 방법을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 3차원 스캐너를 이용해 취득한 3차원 얼굴 형상을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 포즈 보상이 수행되는 과정을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 포즈 보상이 수행된 결과를 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 깊이 추출을 위한 포인트 시그니쳐 과정을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 포인트 시그니쳐 과정이 적용된 정면 얼굴 형상을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 깊이 데이터의 추출을 위한 원이 투영된 정면 얼굴 형상을 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 3차원 스캐너를 이용한 얼굴 인식 시스템에서, 추출된 깊이 데이터를 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템은, 얼굴 데이터베이스(100), 3차원 스캐너(200), 포즈 보상 모듈(300), 깊이 추출 모듈(400) 및 패턴분류 처리 모듈(500)을 포함하여 구성될 수 있다.
도 2는 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템을 이용한 얼굴 인식 방법을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서는, 3차원 스캐너(200)를 이용해 3차원 얼굴 형상을 획득하고, 포즈 보상 모듈(300)에서 3차원 얼굴 형상의 포즈를 보상하는 전처리 과정을 수행하며, 깊이 추출 모듈(400)에서 포즈 보상된 얼굴 형상으로부터 얼굴의 깊이 데이터를 추출할 수 있다. 패턴분류 처리 모듈(500)은, 얼굴의 깊이 데이터를 이용하여 pRBFNNs 패턴 분류기의 학습 및 이를 이용한 얼굴 인식을 처리할 수 있다.
이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
얼굴 데이터베이스(100)는, 신원정보와 얼굴의 깊이 데이터를 저장할 수 있다. 즉, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서 사용될 사용자들의 사진과 신원정보를 얼굴 데이터베이스(100)에 저장할 수 있다. 이때, 얼굴 데이터베이스(100)는 저장된 사진의 특징 데이터, 특히 얼굴의 깊이 데이터를 저장할 수 있으며, PCA 기법을 사용하여 미리 설정한 차원 수로 된 얼굴의 깊이 데이터를 저장할 수 있다. 얼굴 데이터베이스(100)에 저장된 사진의 데이터들은 추후 상세히 설명할 포즈 보상 모듈(300), 깊이 추출 모듈(400) 및 패턴분류 처리 모듈(500)에 의해 3차원 스캐너(200)를 통해 얻은 실시간 얼굴 형상의 전처리 과정(포즈 보상 및 깊이 추출 과정)의 정보 및 패턴 분류의 최적화된 정보를 등록 저장하며, 패턴 분류의 인식 과정에서 비교 데이터로 제공될 수 있다.
3차원 스캐너(200)는, 피사체의 3차원 얼굴 형상을 취득할 수 있다. 즉, 본 발명에서는, 3차원 스캐너(200)를 이용한 얼굴 인식을 수행한다. 3차원 스캐너(200)를 이용해 3차원의 얼굴 형상을 얻어 사용하면, 2차원 얼굴 인식의 단점을 보완할 수 있다. 3차원 스캐너(200)를 통해 취득한 3차원 얼굴 형상은 점 구름 형태일 수 있다.
도 3은 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 3차원 스캐너(200)를 이용해 취득한 3차원 얼굴 형상을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템의 3차원 스캐너(200)를 이용하면, 3차원의 점 구름 형태의 얼굴 형상을 획득할 수 있다. 이와 같이, 3차원 스캐너(200)를 이용한 3차원 얼굴 인식을 수행하면, 조명과 포즈 변화와 같은 환경적인 요인에 의한 인식률의 저하를 보완할 수 있다. 도 3에 도시된 바와 같이, 3차원 스캐너(200)를 통해 획득한 점 구름 형태의 얼굴 형상은, 조명변화에 따라 생기는 얼굴 영상의 변화가 없어 조명에 강인한 특성을 지니고 있으며, 2차원 얼굴 형상에서는 얻을 수 없는 얼굴의 깊이 데이터 값을 추출해 인식에 사용할 수 있다. 이때, 도 3에 도시된 3차원 얼굴 형상 취득 시에는, 국내 3D Scanner 전문기업인 Onscans 사에서 만든 IU-50C Face Scanner를 이용하였다.
포즈 보상 모듈(300)은, 3차원 스캐너(200)에 의해 취득된 3차원 얼굴 형상에 대한 포즈 보상을 수행하고, 얼굴을 정면으로 향하도록 보정된 정면 얼굴 형상을 획득할 수 있다. 2차원 얼굴 인식의 경우 인식대상자의 얼굴 형상이 회전된 경우 회전된 부분의 데이터를 얻을 수 없어 정면을 바라보고 스캐닝 한 다음 인식을 수행하여야만 한다는 단점이 있다. 본 발명에서는, 이러한 단점을 보완하기 위해 얼굴을 정면으로 위치시킬 수 있는 3차원 얼굴 인식을 수행하였으며, 정확한 특징 데이터를 추출하기 위해 회전된 얼굴 영상은 포즈 보상을 수행할 수 있다.
3차원 스캐너(200)를 통해 획득된 얼굴 형상은 X축, Y축, Z축 정보를 가지고 있으므로, 포즈 보상 모듈(300)은, 획득된 X축, Y축을 이용하여 조금씩 회전된 얼굴 형상을 정면으로 위치시키는 포즈 보상을 수행할 수가 있다. 보다 구체적으로는, 포즈 보상 모듈(300)은, 3차원 얼굴 형상에서 미간의 중심점과 코밑의 중심점을 기준으로 Y`축을 설정하고, 양 눈의 바깥쪽 끝점을 기준으로 X`축을 설정하여, X`축 및 Y`축으로 구성되는 새로운 좌표계와 기준 좌표계의 오차를 최소화시켜 포즈 보상을 수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 포즈 보상이 수행되는 과정을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템의 포즈 보상 모듈(300)은, X축, Y축 및 Z축로 구성되는 기준 좌표계가 있을 때에, 미간의 중심점인 점 1과 코밑의 중심점인 점 2를 기준으로 Y`축을 설정하고, 양 눈의 바깥쪽 끝점인 점 3 및 점 4를 기준으로 X`축을 설정하여, (X`, Y`)좌표와 (X, Y)좌표의 오차를 최소화시켜, 얼굴이 정면을 향하도록 포즈 보상을 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 포즈 보상이 수행된 결과를 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템의 포즈 보상 모듈(300)은, 도면 좌측에 도시된 바와 같은 3차원 얼굴 형상이 정면을 바라보도록 포즈를 보상하여, 도면 우측에 도시된 바와 같은 정면 얼굴 형상을 획득할 수 있다.
깊이 추출 모듈(400)은, 정면 얼굴 형상으로부터 포인트 시그니쳐 기법을 이용하여 얼굴의 깊이 데이터를 추출할 수 있다. 포인트 시그니쳐 기법은 거리정보를 각도에 대한 1차원 공간신호로 표현하는 방법으로 한 점을 기준으로 깊이 정보를 추출하여 얼굴구조의 곡률 정보를 추출할 수 있다. 깊이 추출 모듈(400)은, 각도 θ와 반지름 R을 미리 설정하고, 정면 얼굴 형상에서 기준점을 설정하고 법선 벡터를 생성하여, 생성한 법선 벡터를 중심으로 하는 반지름 R의 원을 정면 얼굴 형상에 투영하여, 각도 θ에 해당하는 부분의 깊이 데이터를 추출할 수 있다.
도 6은 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 깊이 추출을 위한 포인트 시그니쳐 과정을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템의 깊이 추출 모듈(400)은, 각도 θ와 반지름 R을 미리 설정하고, 기준점을 중심으로 법선 벡터를 생성하여, 생성한 법선 벡터를 중심으로 하는 반지름 R(도 6에서는 r)의 원 상에서, 미리 설정된 복수의 각도 θ에 해당하는 부분의 깊이 데이터 d를 추출할 수 있다.
도 7은 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 포인트 시그니쳐 과정이 적용된 정면 얼굴 형상을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서는, 기준점에서 법선 벡터(N)를 생성하고, 법선 벡터를 중심으로 하는 원을 정면 얼굴 형상에 투영하여 복수의 각도에 해당하는 부분의 깊이 데이터를 추출할 수 있다. 또한, 본 발명의 깊이 추출 모듈(400)은, 정면 얼굴 형상에서 일반적으로 가장 높은 점인 코끝 점을 기준점으로 설정하여, 깊이 데이터의 추출이 용이하게 할 수 있다.
도 8은 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 깊이 데이터의 추출을 위한 원이 투영된 정면 얼굴 형상을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서는, 깊이 추출 모듈(400)이, 적어도 둘 이상의 반지름 R을 미리 설정하고, 설정한 반지름 R의 원을 각각 정면 얼굴 형상에 투영하여, 얼굴의 전역적인 깊이 데이터를 추출할 수 있다. 예를 들어, 얼굴의 가장 높은 지점인 코끝 점을 기준점으로 하여 반지름 10㎜, 20㎜인 2개의 원을 정면 얼굴 형상에 투영하고, 각도 10˚ 간격으로 깊이 데이터를 추출하여, 1개의 정면 얼굴 형상에서 총 72개의 깊이 데이터를 추출할 수 있다.
도 9는 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서, 추출된 깊이 데이터를 예를 들어 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 스캐너(200)를 이용한 얼굴 인식 시스템에서는, 각도에 대한 1차원 공간신호로 깊이 데이터를 얻을 수 있다. 도 9는 임의의 실험대상자 1명에게서 추출한 깊이 데이터 분포로서, 각도 1부터 36까지는 반지름 10㎜의 원, 37부터 72까지는 반지름 20㎜의 원에서 얻은 데이터이며, 각도에 의한 깊이 데이터의 분포는 매우 다양하게 나오지만, 영상이 회전된 경우에도 비슷한 깊이 데이터를 추출하는 것을 확인할 수 있다.
한편, 깊이 추출 모듈(400)은, PCA 알고리즘을 이용하여 추출된 깊이 데이터를 저차원의 깊이 데이터로 축소하여, 학습 및 인식 속도의 저하가 방지되도록 할 수 있다. 즉, 추출된 깊이 데이터는 고차원 데이터로서 그대로 인식에 사용할 경우 학습 성능 및 속도의 저하가 발생하므로, 차원축소 알고리즘을 사용하여 저차원 데이터로 축소한 다음 인식을 수행할 수 있다. 본 발명에서는 집단의 특성을 가장 잘 표현하는 벡터를 찾아내는 PCA 알고리즘을 사용하여 데이터의 차원을 축소하였으며, 예를 들어 15개의 차원으로 축소할 수 있다.
패턴분류 처리 모듈(500)은, 최적화 알고리즘을 사용하여 추출된 얼굴의 깊이 데이터의 pRBFNNs 패턴 분류기의 파라미터를 설정하고, 얼굴 인식을 판단할 수 있다. 패턴분류 처리 모듈(500)은 최적화 알고리즘을 사용하여 pRBFNNs 학습에 사용되는 학습률, 모멘텀 계수, 및 FCM(Fuzzy C-Means Clustering Method)의 퍼지화 계수 등을 포함하는 파라미터들을 설정하여 최적의 비선형 판별 함수를 생성하고, 이를 이용해 얼굴 데이터베이스(100)에 등록된 사진의 데이터를 분류하고 얼굴 인식의 판단 정보로 사용할 수 있다.
본 발명에서 사용하는 pRBFNNs 패턴 분류기는 기능적 모듈로서 조건부, 추론부, 결론부 이 3가지로 구분할 수 있다. pRBFNNs는 기존의 RBFNNs(based radial basis function neural networks)와 다르게 조건부에서 가우시안 함수를 대신하여 FCM 클러스터링을 사용하였다. FCM 클러스터링(Fuzzy C-Means Clustering)은 데이터의 소속 정도가 퍼지집합으로 출력되어 방사형 활성함수의 형태를 나타나게 되며, FCM 클러스터링의 적합도를 활성함수의 형태로 사용하였다. 결론부에서는 상수항이었던 연결가중치의 값을 확장하여 다항식의 형태로 사용하였다. 이렇게 설계된 pRBFNNs는 다차원 입, 출력 문제 해결이 용이하고 강인한 네트워크 특성을 지니며, 예측능력이 우수하다는 장점이 있다.
한편, 패턴분류 처리 모듈(500)은, GA 알고리즘, DE 알고리즘 또는 PSO 알고리즘을 이용하여 pRBFNNs 패턴 분류기의 학습에 사용되는 파라미터를 설정할 수 있다. 즉, 파라미터 최적화를 위한 최적화 알고리즘으로 GA 알고리즘, DE 알고리즘 또는 PSO 알고리즘 등을 이용할 수 있다.
먼저, GA 알고리즘은 자연계의 진화 현상을 모방하여 최적의 해를 이끌어내는 알고리즘이다. 최적의 해를 찾기 위해 염색체의 형태를 사용하였으며, 재생산(선택, 교배, 돌연변이)과정을 거쳐 새로운 개체를 생성한다. GA 알고리즘은, 초기 유전자 집단 생성 단계, 집단의 적합도 계산 단계, 재생산 과정(선택, 교배, 돌연변이)을 통한 새로운 개체의 생성 단계, 및 새로운 개체의 적합도를 계산하고 종료 조건을 만족할 경우 알고리즘을 종료, 만족하지 않은 경우 다시 재생산 단계로 돌아가 반복하는 단계로 구성될 수 있다.
다음으로, DE 알고리즘은 교배와 돌연변이를 통하여 새로운 개체를 생성한다는 점에서 최적화 알고리즘인 GA 알고리즘과 비슷하나, 개체들을 유전형으로 바꾸는 코딩 과정이 필요가 없어 알고리즘의 구현이 간단하다는 장점이 있다. DE 알고리즘은, 초기 집단 생성 단계, 집단내의 개체의 목적함수 평가 단계, 교배용 벡터를 생성하여 교배 대상 벡터와 교배하는 단계, 모든 개체의 목적함수 평가 단계, 및 종료조건을 확인하고 만족하지 않은 경우 다시 반복하는 단계로 구성될 수 있다.
마지막으로, PSO 알고리즘은 물고기나 새 때 같은 집단의 행동양식을 바탕으로 한 알고리즘으로 복잡하고 불확실한 영역에서의 탐색이 가능하다. 또한 간단한 수학연산자를 사용하였기 때문에 이론이 간결하고, 구현이 용이하며, 연산이 효율적이라는 장점이 있다. PSO 알고리즘은, 초기 군집(Swarm)과 입자 속도(Particle Velocity)를 랜덤하게 생성하고 초기 입자를 pbest로 그 중 최적의 값은 다시 gbest로 선정하는 단계, 관성하중과 j번째 입자 속도를 계산하는 단계, 입자 속도를 기반으로 하여 입자의 위치정보를 조절하는 단계, 각 입자의 적합도와 pbest의 적합도를 비교하고, 최적해의 pbest와 gbest를 비교하여 재설정하는 단계, 및 종료조건을 만족하면 탐색을 종료하고 그렇지 않으면 두 번째 단계부터 다시 반복하는 단계로 구성될 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 얼굴 데이터베이스 200: 3차원 스캐너
300: 포즈 보상 모듈 400: 깊이 추출 모듈
500: 패턴분류 처리 모듈

Claims (7)

  1. 신원정보와 얼굴의 깊이 데이터를 저장하는 얼굴 데이터베이스;
    피사체의 3차원 얼굴 형상을 취득하는 3차원 스캐너;
    상기 3차원 스캐너에 의해 취득된 3차원 얼굴 형상에 대한 포즈 보상을 수행하고, 얼굴을 정면으로 향하도록 보정된 정면 얼굴 형상을 획득하는 포즈 보상 모듈;
    포인트 시그니쳐(Point Signature) 기법을 이용하여 상기 정면 얼굴 형상으로부터 얼굴의 깊이 데이터를 추출하는 깊이 추출 모듈; 및
    최적화 알고리즘을 사용하여 상기 추출된 깊이 데이터의 다항식 기반 RBFNNs(Polynomial-based radial basis function neural networks; pRBFNNs) 패턴 분류기의 파라미터를 설정하고, 얼굴 인식을 판단하는 패턴분류 처리 모듈을 포함하되,
    상기 패턴분류 처리 모듈은, 조건부에서 FCM 클러스터링을 사용하고, 결론부에서 다항식 형태의 연결가중치를 사용하는 pRBFNNs 패턴분류기를 이용하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
  2. 제1항에 있어서, 상기 포즈 보상 모듈은,
    3차원 얼굴 형상에서 미간의 중심점과 코밑의 중심점을 기준으로 Y`축을 설정하고, 양 눈의 바깥쪽 끝점을 기준으로 X`축을 설정하여, X`축 및 Y`축으로 구성되는 새로운 좌표계와 기준 좌표계의 오차를 최소화시켜 포즈 보상을 수행하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
  3. 제1항에 있어서, 상기 깊이 추출 모듈은,
    각도 θ와 반지름 R을 미리 설정하고, 상기 정면 얼굴 형상에서 기준점을 설정하고 법선 벡터를 생성하여, 생성한 법선 벡터를 중심으로 하는 반지름 R의 원을 상기 정면 얼굴 형상에 투영하여, 각도 θ에 해당하는 부분의 깊이 데이터를 추출하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
  4. 제3항에 있어서, 상기 깊이 추출 모듈은,
    상기 정면 얼굴 형상에서 코끝 점을 기준점으로 설정하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
  5. 제3항에 있어서, 상기 깊이 추출 모듈은,
    적어도 둘 이상의 반지름 R을 미리 설정하고, 상기 설정한 반지름 R의 원을 각각 상기 정면 얼굴 형상에 투영하여, 얼굴의 전역적인 깊이 데이터를 추출하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
  6. 제1항에 있어서, 상기 깊이 추출 모듈은,
    PCA(Principal Component Analysis) 알고리즘을 이용하여 상기 추출된 깊이 데이터를 저차원의 깊이 데이터로 축소하여, 학습 및 인식 속도의 저하가 방지되도록 하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
  7. 제1항에 있어서, 상기 패턴분류 처리 모듈은,
    GA 알고리즘(Genetic Algorithm), DE 알고리즘(Differential Evolution Algorithm) 또는 PSO 알고리즘(Particle Swarm Optimization)을 이용하여 pRBFNNs 패턴 분류기의 파라미터를 설정하는 것을 특징으로 하는, 3차원 스캐너를 이용한 얼굴 인식 시스템.
KR1020130135904A 2013-11-08 2013-11-08 3차원 스캐너를 이용한 얼굴 인식 시스템 KR101438011B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130135904A KR101438011B1 (ko) 2013-11-08 2013-11-08 3차원 스캐너를 이용한 얼굴 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135904A KR101438011B1 (ko) 2013-11-08 2013-11-08 3차원 스캐너를 이용한 얼굴 인식 시스템

Publications (1)

Publication Number Publication Date
KR101438011B1 true KR101438011B1 (ko) 2014-09-04

Family

ID=51759423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135904A KR101438011B1 (ko) 2013-11-08 2013-11-08 3차원 스캐너를 이용한 얼굴 인식 시스템

Country Status (1)

Country Link
KR (1) KR101438011B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749268B1 (ko) 2015-11-05 2017-06-20 수원대학교산학협력단 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
KR101818984B1 (ko) * 2015-12-31 2018-01-16 동의대학교 산학협력단 깊이정보를 이용한 안면인식시스템
KR101818992B1 (ko) * 2015-12-31 2018-02-28 동의대학교 산학협력단 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법
KR101840563B1 (ko) 2016-07-04 2018-03-20 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치
WO2018164394A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN109784243A (zh) * 2018-12-29 2019-05-21 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
US10373372B2 (en) 2017-10-05 2019-08-06 Applications Mobiles Overview Inc. System and method for object recognition
CN110532933A (zh) * 2019-08-26 2019-12-03 淮北师范大学 一种活体人脸检测头部姿态回归器的获取方法及检测方法
US10922526B2 (en) 2017-10-05 2021-02-16 Applications Mobiles Overview Inc. Method for 3D object recognition based on 3D primitives
CN112597901A (zh) * 2020-12-23 2021-04-02 艾体威尔电子技术(北京)有限公司 一种基于三维测距的多人脸场景有效人脸识别装置及方法
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828412B1 (ko) * 2006-11-06 2008-05-09 연세대학교 산학협력단 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828412B1 (ko) * 2006-11-06 2008-05-09 연세대학교 산학협력단 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749268B1 (ko) 2015-11-05 2017-06-20 수원대학교산학협력단 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
KR101818984B1 (ko) * 2015-12-31 2018-01-16 동의대학교 산학협력단 깊이정보를 이용한 안면인식시스템
KR101818992B1 (ko) * 2015-12-31 2018-02-28 동의대학교 산학협력단 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법
KR101840563B1 (ko) 2016-07-04 2018-03-20 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치
WO2018164394A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10373372B2 (en) 2017-10-05 2019-08-06 Applications Mobiles Overview Inc. System and method for object recognition
US10922526B2 (en) 2017-10-05 2021-02-16 Applications Mobiles Overview Inc. Method for 3D object recognition based on 3D primitives
US11462031B2 (en) 2017-10-05 2022-10-04 Applications Mobiles Overview Inc. Systems and methods for performing a 3D match search in a 3D database based on 3D primitives and a connectivity graph
CN109784243A (zh) * 2018-12-29 2019-05-21 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
CN109784243B (zh) * 2018-12-29 2021-07-09 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
CN110532933A (zh) * 2019-08-26 2019-12-03 淮北师范大学 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN112597901A (zh) * 2020-12-23 2021-04-02 艾体威尔电子技术(北京)有限公司 一种基于三维测距的多人脸场景有效人脸识别装置及方法
CN112597901B (zh) * 2020-12-23 2023-12-29 艾体威尔电子技术(北京)有限公司 一种基于三维测距的多人脸场景有效人脸识别装置及方法
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统

Similar Documents

Publication Publication Date Title
KR101438011B1 (ko) 3차원 스캐너를 이용한 얼굴 인식 시스템
Zhou et al. 3D face recognition: a survey
US10776470B2 (en) Verifying identity based on facial dynamics
Omara et al. A novel geometric feature extraction method for ear recognition
US8913798B2 (en) System for recognizing disguised face using gabor feature and SVM classifier and method thereof
Heseltine et al. Three-dimensional face recognition using combinations of surface feature map subspace components
EP2091021A1 (en) Face authentication device
Kawulok et al. Precise multi-level face detector for advanced analysis of facial images
Wang et al. Multimodal biometric authentication based on score level fusion using support vector machine
CN111476222B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
KR101749268B1 (ko) 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
Drosou et al. Spatiotemporal analysis of human activities for biometric authentication
Lakshmanan Efficient person authentication based on multi‐level fusion of ear scores
Mian et al. Region-based Matching for Robust 3D Face Recognition.
Zhang et al. 3d face recognition using multi-level multi-feature fusion
Masaoud et al. A review paper on ear recognition techniques: models, algorithms and methods
Chen et al. Performance evaluation and prediction for 3D ear recognition
Paul et al. Face recognition using eyes, nostrils and mouth features
Mehta et al. Regenerating vital facial keypoints for impostor identification from disguised images using CNN
Yu et al. Research on face recognition method based on deep learning
Zou et al. 3-D face recognition based on warped example faces
Meyer et al. Real-time 3D face verification with a consumer depth camera
Ganapathi et al. 3D ear based human recognition using gauss map clustering
Ravansalar et al. Accurate Extraction of Corresponding Surface Normal Vectors by Point Cloud Partitioning for 3D Face Recognition under Expression Variation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee