KR20060031834A - 실시간 상황인지를 위한 얼굴특징 검출 - Google Patents

실시간 상황인지를 위한 얼굴특징 검출 Download PDF

Info

Publication number
KR20060031834A
KR20060031834A KR1020060026016A KR20060026016A KR20060031834A KR 20060031834 A KR20060031834 A KR 20060031834A KR 1020060026016 A KR1020060026016 A KR 1020060026016A KR 20060026016 A KR20060026016 A KR 20060026016A KR 20060031834 A KR20060031834 A KR 20060031834A
Authority
KR
South Korea
Prior art keywords
face
template matching
disadvantage
template
feature region
Prior art date
Application number
KR1020060026016A
Other languages
English (en)
Inventor
조성원
김재민
정선태
Original Assignee
뷰웨이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뷰웨이 주식회사 filed Critical 뷰웨이 주식회사
Priority to KR1020060026016A priority Critical patent/KR20060031834A/ko
Publication of KR20060031834A publication Critical patent/KR20060031834A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/38—Connections for building structures in general
    • E04B1/58—Connections for building structures in general of bar-shaped building elements
    • E04B1/5825—Connections for building structures in general of bar-shaped building elements with a closed cross-section
    • E04B1/5837—Connections for building structures in general of bar-shaped building elements with a closed cross-section of substantially circular form
    • E04B1/585—Connections for building structures in general of bar-shaped building elements with a closed cross-section of substantially circular form with separate connection devices
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/18—Structures comprising elongated load-supporting parts, e.g. columns, girders, skeletons
    • E04B1/24—Structures comprising elongated load-supporting parts, e.g. columns, girders, skeletons the supporting parts consisting of metal
    • E04B1/2403—Connection details of the elongated load-supporting parts
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04C—STRUCTURAL ELEMENTS; BUILDING MATERIALS
    • E04C3/00—Structural elongated elements designed for load-supporting
    • E04C3/02—Joists; Girders, trusses, or trusslike structures, e.g. prefabricated; Lintels; Transoms; Braces
    • E04C3/12—Joists; Girders, trusses, or trusslike structures, e.g. prefabricated; Lintels; Transoms; Braces of wood, e.g. with reinforcements, with tensioning members
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/18—Structures comprising elongated load-supporting parts, e.g. columns, girders, skeletons
    • E04B1/24—Structures comprising elongated load-supporting parts, e.g. columns, girders, skeletons the supporting parts consisting of metal
    • E04B1/2403—Connection details of the elongated load-supporting parts
    • E04B2001/2424—Clamping connections other than bolting or riveting
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/18—Structures comprising elongated load-supporting parts, e.g. columns, girders, skeletons
    • E04B1/24—Structures comprising elongated load-supporting parts, e.g. columns, girders, skeletons the supporting parts consisting of metal
    • E04B2001/249—Structures with a sloping roof
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/38—Connections for building structures in general
    • E04B1/58—Connections for building structures in general of bar-shaped building elements
    • E04B2001/5875—Connections for building structures in general of bar-shaped building elements using exterior clamping plates or shells

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 인식 시스템의 가장 중요한 문제는 얼굴 영역의 정확한 추출에 관한 문제이다. 기존의 연구에서 널리 사용 되어진 방식은 에지 정보를 이용하는 방법, 컬러 정보를 이용하는 방법, PCA(Principle Component Analysis)를 이용한 주성분 분석법, 템플릿을 이용한 정합법(Template Matching), 신경회로망(Neural Network), ASM(Active Shape Model), AAM(Active Appearance Model), EBGM(Elastic Bunch Graph Model)을 이용한 방법 등이 있다.
이 중, 템플릿 매칭을 이용하는 방식은 주로 그레이(Gray) 영상을 사용하며, 얼굴의 각 부위 중 일부 또는 전체를 하나 또는 여러 개의 판(Template)으로 만들어 전체 영상에서 이 템플릿과 유사한 부위를 검색, 얼굴을 추출해 내는 방식이다. 이 방식은 컬러 정보를 사용하거나 PCA를 이용하는 방식 등에 비해 배경색이나 인종 등에 대해 큰 영향을 받지 않는 다는 장점을 가진 반면에 연산 시간이 오래 걸린다는 단점을 가지고 있다. 또한 ASM, AAM, EBGM을 사용할 경우의 단점은 템플릿 매칭을 사용하였을 경우의 단점과 마찬가지로 연산시간이 길다는 것 이외에도 추가적으로 초기 조건에 민감하다는 단점이 있다.
본 발명의 목적은 얼굴 인식을 위한 전 단계로서, 얼굴의 주요 특징 영역인 눈, 코, 입, 눈썹을 정확히 검출 하는 것이다. 특징 영역의 기하학적인 위치 및 크기 변화에 강인하게 특징 영역을 검출하기 위한 방법으로는 변형 가능한(deformable) 템플릿 매칭 방법을 사용하였다. 그리고 변형 가능한 템플릿 매칭 방법의 최대 단점 으로 지적되는 많은 연산 시간을 줄이기 위하여 다중 해상도 상에서 검색을 함으로써 복합적인 검색에 걸리는 시간을 단축하였다. 또한 본 발명에서는 변화하는 환경 및 조명 요인과 얼굴 영상의 회전(Rotation) 등의 기하학적인 요인에도 얼굴의 특징 영역을 정확히 찾아내기 위한 방법으로 최적화된 정규화(normalize) 과정을 거쳤다.
이렇게 제안된 알고리즘은 기존의 방식보다 환경 변화, 형태의 변화에 민감하지 않으면서도 더 짧은 시간에 특징을 검출 할 수 있는 장점이 있다.
얼굴인식, 변형 가능한(deformable) 템플릿 매칭, 다중 해상도, 최적화된 정규화

Description

실시간 상황인지를 위한 얼굴특징 검출 {Detection of face feature for the real time state recognition}
제 1도는 얼굴의 특징 검출을 위한 알고리즘 흐름도
제 2도는 얼굴의 특징 점 선택
제 3도는 눈의 표준 템플릿
제 4도는 변형 가능한 템플릿 매칭에서 눈의 움직임 영역
본 발명이 속하는 기술 분야는 영상처리와 컴퓨터 비젼을 결합한 지능형 얼굴인식 분야이다. 발명의 목적에서 기술한 바와 같이 본 발명은 지능형 얼굴인식을 구현하기 위한 일련의 단계에서 전처리 단계인 얼굴 영역 검출 및 특징 추출을 위한 것이다.
얼굴의 특징 검출에 관한 최근의 연구는 에지 정보를 이용한 방법, 휘도(luminance), 색차(chrominance), 얼굴의 기하학적인 외형(geometry) 및 대칭(symmetry)에 기반한 접근법, 주성분 분석법(PCA), 템플릿 매칭(Template Matching)을 이용한 방법, 얼굴의 곡률(curvature)을 이용하는 접근법, 신경망(Neural Network)을 이용한 방법 ASM(Active Shape Model), AAM(Active Appearance Model), EBGM(Elastic Bunch Graph Model)을 이용한 방법 등이 있다. 에지 정보를 이용한 방법은 대부분 이진화 과정을 거쳐야 하므로 조명이 불균일할 경우 에지 정보 손실로 인해 안정적인 결과를 산출해 내기가 어렵다. 주성분 분석법(Principal Component Analysis)은 실시간 구현이 용이한 장점이 있으나 영역분리와 배경영상에 민감하다. 신경망에 의한 접근방식은 제한된 조건하에서는 안정적으로 작동할 수 있으나 새로운 입력을 학습할 때 네트워크 변수의 조정이 어렵고 시간이 많이 걸린다는 단점이 있으며 ASM, AAM, EBGM을 사용할 경우 연산양이 많아 처리시간이 길고, 초기 조건에 민감하다는 단점이 있다. 컬러 정보를 이용한 방법은 실시간 구현이 용이하지만 매우 제한된 환경 하에서만 안정적으로 동작한다는 단점이 있다.
얼굴의 방향 및 형태에 관한 연구와 가혹한 조명 상황에서의 연구가 병행된다면 현재보다 더 정확한 얼굴 특징 검출이 가능 할 것이다.
본 발명의 전체 흐름도는 도면 1에 표시되어 있다. 전체 흐름도에서 각 단계는 구성은 다음과 같다.
(1)얼굴영역 검출
Boosted Cascade of Simple Features 방법을 이용함.
(2)정규화 과정
1) 흑백화 및 Type Casting
- 컬러 영상을 256단계의 Gray 값으로 변환하고, Integer 값을 추후의 연산을
위하여 float 값으로 변환(conversion)함.
2) Geometric normalization
- 검출된 얼굴의 눈 좌표를 기준으로 얼굴의 크기와 회전을 고려한 기하학적
인(geometric) 정규화 과정을 실행함.
3) Masking
- 타원형의(elliptical) 마스크를 사용하여, 이마부터 턱 끝과 뺨을 포함하는
순수한 얼굴 영역만을 사용하도록 마스킹을 실행함.
4) Histogram equalization
- 고른 분포의 밝기 값을 위해 히스토그램 평활화 수행함.
5) Pixel normalization
- 픽셀(pixel)의 값들을 평균이 0이 되도록 변환함.
6) Illumination normalization
- 조명의 영향을 최소화하기 위하여 조도 정규화 실행함.
7) Gaussian Down-Sampling
- 원 이미지의 손상을 최대한 막는 방식으로 다중 해상도의 영상을 생성함.
(3)얼굴의 방향에 따른 분류(9가지 방향)
보통 정면만을 이용하지만 실제 얼굴 인식 시스템에서는 순간적인 움직임으로 정면이 아닌 방향을 바라보는 경우가 있어 이 발명에서는 9가지 방향으로 학습시킴. 미리 학습 된 9가지 방향의 얼굴을 차례대로 돌아가면서 특징 검출의 최적 점을 검색함.
(4)다중 해상도를 적용
각 방향에서는 3가지 레벨의 해상도 중 낮은 레벨부터 순차적으로 올라가며 검색함.
(5)특징영역
각 레벨에서 특징 영역으로 설정한 눈썹 눈 코 입은 독립적으로 특징 검출을 시도함.
(6)각 방향별 Template
4가지로 분류된 선택 특징 영역은 각 레벨마다 다른 크기, 형태별로 설정되어있는 표준 템플릿과 매칭을 실시함.
데이터베이스에 있는 9가지 방향의 3가지 레벨의 해상도에서의 특징영역의 템플릿도 도면 1의 순서도와 같은 방법으로 표준 템플릿을 만들었다. 특징 검출의 효율을 높이기 위해 방향 및 형태별로 분류된 특징 점들의 평균적인 템플릿(Mean Template)을 만들어 활용하였다.
도면 2는 얼굴의 특징 점을 선택한 것을 나타낸다. 특징 점은 눈썹 좌우 각각 8개, 눈 좌우 각각 8개, 코 11개, 입 12개로 총합계가 55개이다.
도면 3은 다중 해상도 중에서 레벨 1에서 생성한 눈의 표준 템플릿을 나타낸 것이다. 레벨 2와 3의 표준 템플릿은 Down-Sampling하여 생성된 이미지에서 생성하였다.
도면 4는 눈의 형태를 도형으로 형상화 하여 움직임 영역을 나타내 보았다. 특징을 검출하기 위한 시작점으로는 데이터베이스의 정규화 된 이미지에서 방향별로 분류된 평균좌표를 이용하였다. 변형 가능한 템플릿 매칭의 움직임 영역은 다음 그림으로 알 수 있다. Lx, Ly는 x축, y축으로의 평행 이동을 의미하고, Sx, Sy는 x축, y축으로의 확대, 축소를 의미한다. 눈뿐만 아니라 눈썹 코 입 모든 영역에서 변형 가능한 템플릿 매칭 방법을 적용하였다.
본 발명에서는 변형 가능한 템플릿 매칭 알고리즘을 사용하여 얼굴의 특징을 검출하였다. 기존의 발명들과 달리 특징 영역의 기하학적인 구조를 분석하여 영역별로 템플릿의 크기를 달리 하여 정확도를 향상시켰고, 3단계의 다중 해상도를 이용하여 연산 시간을 감소시켰다. 얼굴의 방향 및 자세에 강인한 특징 검출을 위 해 저장된 얼굴 데이터베이스를 방향, 자세, 형태별로 분류하고 학습하여 좀 더 정확한 특징 검출이 가능하도록 활용하였다. 또한 여러 단계의 정규화 과정을 제안하여 다양한 배경, 환경, 조명상황에서 강인한 특징 검출을 할 수 있도록 하였다.

Claims (3)

  1. 도면 1에 표시된 얼굴의 특징 검출을 위한 알고리즘 흐름도
  2. 도면 2에 표시된 템플레이터의 구성
  3. 본 발명에서 기술한 변형가능한 템플릿 매칭 알고리즘을 사용하여 얼굴의 특징을 검출
KR1020060026016A 2006-03-22 2006-03-22 실시간 상황인지를 위한 얼굴특징 검출 KR20060031834A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060026016A KR20060031834A (ko) 2006-03-22 2006-03-22 실시간 상황인지를 위한 얼굴특징 검출

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060026016A KR20060031834A (ko) 2006-03-22 2006-03-22 실시간 상황인지를 위한 얼굴특징 검출

Publications (1)

Publication Number Publication Date
KR20060031834A true KR20060031834A (ko) 2006-04-13

Family

ID=37141420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060026016A KR20060031834A (ko) 2006-03-22 2006-03-22 실시간 상황인지를 위한 얼굴특징 검출

Country Status (1)

Country Link
KR (1) KR20060031834A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100847136B1 (ko) * 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
KR101037758B1 (ko) * 2007-01-17 2011-05-27 뷰웨이 주식회사 다중 해상도 가버 특징 벡터를 이용한 눈좌표 검출 방법
KR20160059768A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치
CN107909040A (zh) * 2017-11-17 2018-04-13 吉林大学 一种租车验证方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100847136B1 (ko) * 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
US8204311B2 (en) 2006-08-14 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for shoulder-line detection and gesture spotting detection
KR101037758B1 (ko) * 2007-01-17 2011-05-27 뷰웨이 주식회사 다중 해상도 가버 특징 벡터를 이용한 눈좌표 검출 방법
KR20160059768A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치
CN107909040A (zh) * 2017-11-17 2018-04-13 吉林大学 一种租车验证方法及装置
CN107909040B (zh) * 2017-11-17 2020-03-27 吉林大学 一种租车验证方法及装置

Similar Documents

Publication Publication Date Title
CN111401257B (zh) 一种基于余弦损失在非约束条件下的人脸识别方法
US7912253B2 (en) Object recognition method and apparatus therefor
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5010905B2 (ja) 顔認証装置
Huynh-Thu et al. Skin-color extraction in images with complex background and varying illumination
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
Hatem et al. A survey of feature base methods for human face detection
KR100930994B1 (ko) 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
CN102194108A (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN110991398A (zh) 一种基于改进步态能量图的步态识别方法及系统
Sharma Designing of face recognition system
Yoon et al. Real-time multiple people detection using skin color, motion and appearance information
Park et al. Detection of human faces using skin color and eyes
KR20060031834A (ko) 실시간 상황인지를 위한 얼굴특징 검출
Curran et al. The use of neural networks in real-time face detection
Işikdoğan et al. Automatic recognition of Turkish fingerspelling
Gottumukkal et al. Real time face detection from color video stream based on PCA method
Niazi et al. Hybrid face detection in color images
Yi et al. Face detection method based on skin color segmentation and facial component localization
Nallaperumal et al. Human face detection in color images using skin color and template matching models for multimedia on the Web
Anchit et al. Comparative analysis of Haar and Skin color method for face detection
KR20040042500A (ko) 얼굴 검출방법 및 그 장치
Kanaujia et al. Emblem detections by tracking facial features
Jiang et al. A robust method of fingertip detection in complex background
Zhao et al. Face detection based on skin color

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application