KR101174103B1 - 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법 - Google Patents

근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법 Download PDF

Info

Publication number
KR101174103B1
KR101174103B1 KR1020110144847A KR20110144847A KR101174103B1 KR 101174103 B1 KR101174103 B1 KR 101174103B1 KR 1020110144847 A KR1020110144847 A KR 1020110144847A KR 20110144847 A KR20110144847 A KR 20110144847A KR 101174103 B1 KR101174103 B1 KR 101174103B1
Authority
KR
South Korea
Prior art keywords
face
image
eye
feature
features
Prior art date
Application number
KR1020110144847A
Other languages
English (en)
Inventor
김용범
Original Assignee
(주)로복전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)로복전자 filed Critical (주)로복전자
Priority to KR1020110144847A priority Critical patent/KR101174103B1/ko
Application granted granted Critical
Publication of KR101174103B1 publication Critical patent/KR101174103B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법에 관한 것이다.
본 발명은 이를 위해 얼굴이미지 입력단계와 얼굴검출단계, 눈, 주변 근육 정보검출단계와 전처리 및 특징추출단계 그리고 등록 및 비교 단계를 순차적으로 거쳐 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해냄과 아울러 얼굴 부위별 특장점과 이격거리를 수학적 연산을 통해서 얼굴인식에 적용함을 특징으로 한다.
상기와 같이 구성된 본 발명은 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해 냄으로써 인식 정보에 대한 높은 신뢰성을 확보할 수 있도록 한 것이며, 이로 인해 제품의 품질과 신뢰성을 대폭 향상시켜 사용자로 하여금 좋은 이미지를 심어줄 수 있도록 한 것이다.

Description

근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법{A face recognition method of Mathematics pattern analysis for muscloskeletal in basics}
본 발명은 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법에 관한 것으로, 보다 상세하게는 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해 냄으로써 인식 정보에 대한 높은 신뢰성을 확보할 수 있도록 한 것이며, 이로 인해 제품의 품질과 신뢰성을 대폭 향상시켜 사용자로 하여금 좋은 이미지를 심어줄 수 있도록 한 것이다.
주지하다시피 SF영화에 흔하게 등장하는 소재 중 하나가 얼굴인식이다. 주인의 얼굴을 알아보는 안드로이드 로봇들이나, 스캐너에 얼굴을 가져다 대면 출입문이 열리는 방식 등이 대표적인 얼굴인식 시스템이다. 먼 미래에나 가능할 줄 알았던 얼굴인식은 이제 현실로 다가왔다. 신원확인, 범죄자 검색과 같은 보안 관련 분야뿐 아니라 디지털카메라나 스마트폰 등의 소비자 지향적인 분야에서도 얼굴인식을 이용한 시스템을 쉽게 발견할 수 있다. 이러한 얼굴인식은 분실과 복제의 우려가 없다는 점에서 홍채인식, 지문인식 등의 다른 생체인식과 함께 차세대 신원확인 시스템으로 각광받고 있다.
얼굴인식의 과정은 다음과 같다. 즉, 얼굴인식은 크게 두 가지 단계로 나뉜다. 영상 전체에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출 과정과 찾아낸 얼굴이 누구의 얼굴인지 감별하는 얼굴인식 과정이 그것이다.
얼굴 영역 추출 과정은 다음과 같다. 즉, 얼굴 영역 추출은 얼굴을 인식하기 위한 필수적인 사전 처리 과정이다. 얼굴과 배경을 구분하기 위해 밝기, 움직임, 색상, 눈 위치 추정 등의 정보를 이용하는데, 다양한 변수 때문에 한 가지 정보만으로는 정확한 추출이 어렵다. 예를 들어 명암 차이를 이용하는 경우, 얼굴과 배경의 밝기 값이 서로 크게 차이가 나면 쉽게 구분할 수 있지만, 서로 유사한 밝기 값을 갖거나 배경에 여러 색이 뒤섞여 있으면 엉뚱한 영역까지 얼굴로 인식된다. 색상 정보를 활용하는 기법에서는 미리 입력된 피부색에 맞는 화소를 추출하게 되는데, 이 역시 배경에 피부색이 섞여 있으면 정확한 영역을 잡아내지 못한다. 또한 주위 조명이나 화장 유무 등의 외부적인 요인도 크게 영향을 미친다. 따라서 얼굴 영역을 정확하게 추출하기 위해 2가지 이상의 정보를 취합 후 상호 보완하는 방식이 주로 사용된다.
디지털카메라의 얼굴인식 기능은 이 얼굴 영역 추출을 이용한 것이다. 최근 나오는 디지털카메라에는 피사체의 얼굴에 사각형 모양의 감지 영역이 생겨 자동으로 보정을 해 주는 기능이 탑재돼 있다. 하지만 이 기능은 단순히 일반적인 얼굴을 구분할 뿐, 각 얼굴의 신원까지 판별하지는 못한다. 따라서 디지털카메라의 얼굴인식 기능은 ‘얼굴 영역 추출 기능’이라고 부르는 게 더 정확할 것이다.
얼굴 인식 과정에서도 다양한 연구가 진행돼 왔다. 이 중 얼굴의 주요 부분인 눈, 코, 입의 거리와 모양으로 얼굴을 판별하는 방법은 반드시 각 부위를 정확히 추출해야 한다는 어려움이 따른다. 만일 안경, 모자, 머리카락 등이 이목구비를 가리면 정확한 판별이 힘들어진다. 또한 해당 인물의 얼굴을 찍은 영상을 다수 보유하고 있는 상황에서 새로운 얼굴 영상이 들어오면 픽셀값을 비교해 최종적으로 신원을 확인하는 방법도 있다. 이 방법은 매우 간단해 보이지만 저장된 영상과 일일이 비교해야 하는 만큼 계산량이 지나치게 커져서 실용성이 낮다. 또한 표정, 각도, 조명 등의 변화에 따른 각각의 영상이 모두 필요하기 때문에 데이터 보유량도 상당히 높아지게 된다.
따라서 다양한 얼굴인식 알고리즘이 발달해왔는데, 가장 흔히 쓰이는 방법은 PCA(Principal Component Analysis), 즉 주성분분석법이라는 수학적 기법을 응용하는 것이다. 대략 주어진 사진을 분석하여 미세한 오차는 버리고 큰 특징만 잡아 다른 얼굴 사진과 비교하는 것으로 비교적 효율성이 높다. 하지만 조명이나 표정의 변화를 잘 구분하지 못하는 단점이 있다.
얼굴인식의 활용은 다음과 같다. 즉, 얼굴인식의 응용 분야는 무궁무진하다. 주민등록증, 여권, 신용카드 등을 대체하는 신원확인용으로도 쓰일 수 있고, 출퇴근 관리, 출입문 통과, 비밀번호 대체 등의 보안용으로도 쓰일 수 있다. 또한 범죄 용의자 검색, 우범지대 감시 등의 치안용으로도 활용 가능하다. 실제로 현재 노트북 등의 일부 IT기기에는 비밀번호 입력을 대신하는 얼굴인식 기능을 채용한 제품이 시판 중이며, 자신과 닮은꼴을 찾을 수 있는 심심풀이용 웹사이트나 스마트폰 애플리케이션도 나와 있는 상태다. 하지만 완성 단계라고 부르기엔 그 정확도가 너무 낮다. 노트북에 탑재된 얼굴인식 기능은 조명이 조금만 바뀌어도 주인을 제대로 인식하지 못한다. 어두운 화장실에서 디지털카메라를 꺼냈더니 감지 영역이 자신의 얼굴 대신 변기에 맞춰졌다는 일화도 들려오고, 모 연예인은 얼굴인식 사이트에서 닮은꼴을 찾아본 결과 6번 만에야 자신의 얼굴이 등장했다는 굴욕도 들린다. 아무래도 정확도 면에서는 지문인식이나 홍채인식에 비해 떨어질 수밖에 없다.
하지만 이대로 도태되기에는 장점이 많다. 열쇠나 주민등록증과 같은 번거로운 물품을 가지고 다니지 않아도 되고 간단히 스캔만 하면 자신의 신원을 확인시킬 수 있기 때문이다. 또한 지문 인식처럼 특정 물건에 접촉할 필요가 없어 위생상 생길 수 있는 문제나 불쾌감을 덜어준다. 누구의 정보인지 한눈에 알 수 없는 홍채인식과 달리, 관리자가 직접 육안으로 확인하는 아날로그적 인식 방식과 병행할 수도 있다. 따라서 정확도를 조금 더 높이는 연구가 진행된다면 보안 및 치안 분야에서는 얼굴인식만의 입지를 확고히 다질 수 있을 전망이다.
종래의 선행기술 문헌으로는 공개특허 제2010-0083570호(출원번호 제2009-0003024호)(명칭: 얼굴 인식 방법)가 있다. 즉, 상기한 종래 기술의 얼굴 인식 방법은 인식 대상의 얼굴을 다양한 각도에서 다수의 프레임들을 포함하는 동영상으로 촬영하고 상기 동영상을 구성하는 프레임들 중 적어도 둘 이상의 프레임들에 촬영된 얼굴을 등록하는 과정과, 등록된 얼굴들을 포즈를 추정하는 과정과, 포즈 추정된 얼굴을 인식하는 과정을 포함한다. 그러나 상기한 종래의 기술도 다음과 같은 문제점이 발생 되었다. 즉, 정확하고 고속인 자동 눈, 주변 정보검출과 근골격 기반의 특징점 추출을 통한 얼굴인식을 개발하지 못하였다. 또한 상기 종래의 기술은 2차원 가버(Gabor)필터의 특성을 반영한 고속인 특징추출방법을 개발하지 못하였다. 아울러 상기 종래의 기술은 조도에 비교적 안정한 특징부호화 방법을 개발하지 못하였다. 더하여 상기 종래의 기술은 하르(Harr) 특징을 이용한 자동얼굴검출과 빠른 비교속도를 보장할 수 있는 수학적 연산비교 프로그램을 개발하지 못하였다.
본 발명은 상기와 같은 종래 기술의 제반 문제점을 해소하기 위하여 안출한 것으로, 얼굴이미지 입력단계와 얼굴검출단계, 눈, 주변 근육 정보검출단계와 전처리 및 특징추출단계 그리고 등록 및 비교 단계를 순차적으로 거치도록 함을 제1목적으로 한 것이고, 상기한 기술적 구성에 의한 본 발명의 제2목적은 정확하고 고속인 자동 눈, 주변 정보검출과 근골격 기반의 특징점 추출을 통한 얼굴인식을 개발한 것이며, 제3목적은 2차원 가버(Gabor)필터의 특성을 반영한 고속인 특징추출방법을 개발한 것이고, 제4목적은 조도에 비교적 안정한 특징부호화 방법을 개발한 것이며, 제5목적은 하르(Harr) 특징을 이용한 자동얼굴검출과 빠른 비교속도를 보장할 수 있는 수학적 연산비교 프로그램을 개발한 것이고, 따라서 본 발명의 제6목적은 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해 냄으로써 인식 정보에 대한 높은 신뢰성을 확보할 수 있도록 한 것이며, 제7목적은 이로 인해 제품의 품질과 신뢰성을 대폭 향상시켜 사용자로 하여금 좋은 이미지를 심어줄 수 있도록 한 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법을 제공한다.
이러한 목적 달성을 위하여 본 발명은 얼굴이미지 입력단계와 얼굴검출단계, 눈, 주변 근육 정보검출단계와 전처리 및 특징추출단계 그리고 등록 및 비교 단계를 순차적으로 거쳐 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해냄과 아울러 얼굴 부위별 특장점과 이격거리를 수학적 연산을 통해서 얼굴인식에 적용함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법을 제공한다.
상기에서 상세히 살펴본 바와 같이 본 발명은 얼굴이미지 입력단계와 얼굴검출단계, 눈, 주변 근육 정보검출단계와 전처리 및 특징추출단계 그리고 등록 및 비교 단계를 순차적으로 거치도록 구성한 것이다.
상기한 기술적 구성에 의한 본 발명은 정확하고 고속인 자동 눈, 주변 정보검출과 근골격 기반의 특징점 추출을 통한 얼굴인식을 개발한 것이다.
그리고 본 발명은 2차원 가버(Gabor)필터의 특성을 반영한 고속인 특징추출방법을 개발한 것이다.
또한 본 발명은 조도에 비교적 안정한 특징부호화 방법을 개발한 것이다.
아울러 본 발명은 하르(Harr) 특징을 이용한 자동얼굴검출과 빠른 비교속도를 보장할 수 있는 수학적 연산비교 프로그램을 개발한 것이다.
따라서 본 발명은 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해 냄으로써 인식 정보에 대한 높은 신뢰성을 확보할 수 있도록 한 것이다.
본 발명은 상기한 효과로 인해 제품의 품질과 신뢰성을 대폭 향상시켜 사용자로 하여금 좋은 이미지를 심어줄 수 있도록 한 매우 유용한 발명인 것이다.
이하에서는 이러한 효과 달성을 위한 본 발명의 바람직한 실시 예를 첨부된 도면에 따라 상세히 설명하면 다음과 같다.
도 1 은 본 발명에 적용된 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인
식 방법의 구성도.
도 2 는 본 발명에 적용된 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인
식 방법의 흐름도.
도 3 은 본 발명 눈의 근육구조의 설명도.
도 4 는 본 발명 눈썹내림 근의 설명도.
도 5 는 본 발명 미간 정보의 설명도.
도 6 (a)(b)는 본 발명 입력된 얼굴이미지의 간략 구성도.
도 7 은 본 발명 얼굴이미지에서 눈 영역과 하라(Harr)형 특징 생성 설명도.
도 8 은 본 발명 LBP의 특징의 설명도.
도 9 는 본 발명 눈 정보 판별도.
도 10 은 본 발명의 원이미지와 결과이미지.
본 발명에 적용된 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법은 도 1 내지 도 10 에 도시된 바와 같이 구성되는 것이다.
하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 생산자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 본 발명은 얼굴이미지 입력단계와 얼굴검출단계, 눈, 주변 근육 정보검출단계와 전처리 및 특징추출단계 그리고 등록 및 비교 단계를 순차적으로 거쳐 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해냄과 아울러 얼굴 부위별 특장점과 이격거리를 수학적 연산을 통해서 얼굴인식에 적용한 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법을 제공한다.
이를 위해 본 발명에 적용된 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법을 구현하기 위한 기술적 구성은 도면상에는 도시하지 않았으나 다음과 같다.
즉, 카메라가 구비되는 것으로, 이는 장치에 직접 설치하거나 혹은 AV 단자와 같은 입력포트를 통해 카메라를 따로 설치할 수 있어야 한다.
그리고 프로세서가 구비되는 것으로, 여기에는 프로세서 비트수(32Bit 프로세서)와 프로세서 종류(ARM계열 S3C6410)와 프로세서 속도(533Mhz)가 구비된다.
또한 롬(RAM)(1MB), 램(RAM)(128MB), LCD, 조종키, 통신포트 및 장치 구동 프로그램(Form ware)이 구비된다.
한편 본 발명은 상기의 구성부를 적용함에 있어 다양하게 변형될 수 있고 여러 가지 형태를 취할 수 있다.
그리고 본 발명은 상기의 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
상기와 같이 구성된 본 발명 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법의 작용효과를 설명하면 다음과 같다.
우선, 본 발명의 상기 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법은 다음과 같다.
먼저, 도 1, 2 에 도시된 바와 같이 카메라(USB카메라 또는 CCD카메라 포함)에 의한 이미지 입력 또는 동영상파일 이미지 또는 이미지파일 이미지가 입력되는 얼굴이미지 입력단계를 거친다.
이후 입력된 이미지에 얼굴이 있는지 없는지를 판별하고 그의 위치를 찾아내고, 탐지된 목적물(오브젝트)로부터 얼굴을 탐지하여 기본 윤곽선을 판별하고 얼굴의 위치를 자동으로 찾아내는 얼굴검출단계를 거친다.
이때 상기 얼굴검출단계는 적분이미지에 의해 고속으로 계산되는 여러 가지 형태의 하르(Harr)특징과 AdaBoost 학습알고리즘과 둥지형 종속구조(Nested Cascade)를 이용하여 진행하게 된다.
이어서 검출된 얼굴영역에서 눈의 위치를 자동적으로 찾아내고 눈 주위 세부정보를 검출하는 눈, 주변 근육 정보검출단계를 거친다.
이때 상기 눈, 주변 근육 정보검출단계는 얼굴검출에서 입력된 얼굴이미지로부터 하르(Harr)형 특징과 LBP(Local Binary Pattern)(세부2진 패턴)히스토그램에 기초한 정확하고 빠른 눈 및 주변 정보를 검출하게 된다.
그리고 이때 상기 Harr형 특징은 영상을 분석하여 각 픽셀에 대한 세밀도를 결정함과 아울러 결정된 각 픽셀에 대한 세밀도에 각 픽셀의 영상신호에 대한 개선영상을 생성하는 단계와 개선영상을 복원하여 디스플레이하는 단계를 거쳐 얼굴의 임의의 4각형 영역을 9개 구역으로 나누고, 중심구역 평균픽셀 농도와 주변의 8개 구역 픽셀 평균값의 비, 좌우, 위아래 픽셀 평균농도의 합들을 이용하여 16개의 Harr형 특징을 생성하게 된다.
또한 상기 LBP(Local Binary Pattern)(세부2진 패턴)히스토그램의 특징은 이미지의 Texture 속성을 서술하기 위하여 제안된 특징점으로 단조조도변화에 불변인 특징이 있고, 선택된 4각형 영역에서 5*5, 8*8, 11*11 크기의 부분 창들을 픽셀의 매 위치로 옮기면서 대량의 LBP히스토그램 특징을 생성하게 된다.
더하여 상기 LBP(Local Binary Pattern)(세부2진 패턴)히스토그램의 특징은 안면 영상에서의 특징추출 방법과 안면 인식 문제로의 적용 방법을 각 화소에서 기울기 정보를 계산하여 기울기 기반의 지역 서술자(GLD)를 적용하고 안면 영상의 특징 벡터를 위해 미리 결정된 영역(창)에서 방위 히스토그램을 거치게 된다.
또한 본 발명에 적용된 상기 눈, 주변 근육 정보검출단계는 눈의 근육구조인 전두근과 추미근 위꺼풀 올림근과 눈 둘레근 그리고 눈썹내림근의 위치를 파악하고, 눈 주변(눈썹, 눈꺼풀, 미간, 눈과 코 사이 거리, 눈과 입 사이 거리, 눈을 중심으로 코, 입과의 앵글 생성)을 검출하여 기본 정보로 생성하여 등록 또는 대조 자료로 쓰이도록 하고, 얼굴이미지에서 세부특징을 보존하기 위한 전처리 방법을 시행하게 된다.
이후 본 발명은 눈 위치 및 주변 세부정보에 의하여 얼굴이미지 정규화와 정규화된 얼굴이미지에서 외부조도성분의 제거 및 통계적 보정 그리고 전처리된 얼굴이미지에서 특징을 추출하는 전처리 및 특징추출단계를 거친다.
이때 본 발명에 적용된 상기 전처리 및 특징추출단계는 광도, 자세, 표정의 외부조건의 변화를 보상하기 위함이며, 광도보정은 국부분산정규화와 국부히스토그램 평활화를 이용하게 된다.
그리고 상기 전처리 및 특징추출단계는 등록과 대조를 위한 얼굴 특징량을 추출하기 위한 단계로, 8개척도, 16개방향의 Gabor특징을 원시특징으로 잡고, 얼굴의 각 위치마다 인식에 주는 영향이 다르다는 것을 고려하여 의미가 있는 86개점을 선택하고 매점마다 당한 무게를 학습을 통하여 할당하고, 결국 한 개 얼굴이미지에 대하여 86*128 = 11008개의 특징을 추출하고, 특징 갯수가 매우 크므로 방향별 차분의 임계치에 기초한 부호화를 진행하며, 부호화를 진행하는데 이용되는 임계치가 척도에 따라 달라진다는 것을 고려하여 척도 별로 학습을 통하여 합리적인 임계치 값들을 구하고, 이 임계치들에 기초하여 2924Byte의 저차원 특징을 추출하게 된다.
이어서 본 발명은 근 골격구조에 기초하여 추출된 특징을 DB에 등록하고, 추출된 특징을 DB에 등록된 얼굴특징들과 비교하여 유사도를 제일 큰 대상의 ID를 얻는 등록 및 비교단계를 거쳐 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법을 얻을 수 있게 된다.
이때 상기 등록 및 비교단계는 입력된 얼굴 이미지로부터 추출된 특징 벡터와 DB의 특징 벡터 사이의 유사도를 계산하게 된다.
한편, 본 발명에 적용된 하르(Harr)는 영상을 분석하여 각 픽셀에 대한 세밀도를 결정하고, 상기에서 결정된 각 픽셀에 대한 세밀도에 각 픽셀의 영상신호에 대한 개선영상을 생성하는 단계와 개선영상을 복원하여 디스플레이 하는 단계로 이루어진 것을 특징으로 하는 영상 표시장치의 화질개선 방법이다.
그리고 LBP(Local Binary Pattern) 히스토그램은 안면 영상에서의 특징추출 방법과 안면 인식 문제로의 적용을 방법으로 각 화소에서 기울기 정보를 계산하여 기울기 기반의 지역 서술자(GLD)를 적용하고 안면 영상의 특징 벡터를 위해 미리 결정된 영역(창)에서 방위 히스토그램이다.
또한 Gabor Filter(필터)는 영상으로부터 최적의 텍스쳐 특징을 생성하는 최적의 표면, 물체, 모양, 깊이 인식 등을 위한 텍스쳐 분석 기술이다.
또한 Boosting 알고리즘은 대용량 자료 혹은 시간에 따라 순차적으로 들어오는 자료의 분류를 위한 알고리즘이다.
이하 본 발명의 실시예를 보다 구체적으로 설명하면 다음과 같다.
본 발명은 첫째, 눈의 특성을 반영하는 특징점으로서 Harr형 특징을 새롭게 제안하고 이것을 LBP히스토그램 특징과 결합하는 방법론을 개발하였다.
둘째: 눈과 비눈을 분류하는 두 클래스 분류학습기를 개발하여 눈 검출에 적용하였다.
셋째: 눈과 비눈을 갈라내는 두 클래스분류기를 이용하여 눈의 위치를 고속으로 찾아내는 프로그램을 구성하였다.
이와 같은 과학기술적 문제를 해결함으로써 실용적인 눈검출 프로그램를 구축하고 실천적인 얼굴인식제품들에서 효과적으로 실현할 수 있도록 하였다.
본 발명의 얼굴이미지에서 눈의 특성을 반영하는 특성량 고찰하면 다음과 같다. 즉,
일반적으로 패턴인식분야에서는 해당 대상을 특징짓는 특징점으로서 무엇을 선택하겠는가 하는 것이 매우 중요한 문제로 나선다. 눈 특징점 선택 문제는 검출된 얼굴영역에서 눈영역을 찾아내는 문제이므로 실제 눈부위와 얼굴의 다른 부위를 구별하는 특징점으로서 무엇을 선택하겠는가 하는 문제로 귀착된다.
얼굴이미지에서 눈의 특성을 고찰하면 얼굴이미지에서 눈 부분은 다른 부위보다 어두운 색농도 값을 가진다.
또한 눈부위에서는 얼굴의 다른 부분들에 비하여 픽셀들의 값 변화가 다른 특성을 띤다.
이와 같은 특성고찰에 기초하여 우리는 눈의 특성을 반영하는 Harr형 특징을 제안하고 LBP히스토그램특징과 결합하여 눈의 특징점으로 이용하였다.
Harr형 특징과 LBP 히스트그램 특징은 도 7 에 도시된 바와 같다.
특히 Harr형 특징은 얼굴의 임의의 4각형영역(붉은색영역)을 9개 구역으로 나누고 중심구역 평균픽셀 농도와 주변의 8개 구역 픽셀평균 값의 비, 좌우, 위아래 픽셀평균농도의 합들을 이용하여 16개의 Harr형 특징을 생성한다.
nBlockPixel[i][j]: i번째 행 j번째 블럭의 농도 픽셀합
nHaarFeature[0] = nBlockPixel [1][1] / FACTOR
nHaarFeature[1] = nGridPixel[0][0] * FACTOR / nGridPixel[1][1]
nHaarFeature[2] = nGridPixel[0][1] * FACTOR / nGridPixel[1][1]
nHaarFeature[3] = nGridPixel[0][2] * FACTOR / nGridPixel[1][1]
nHaarFeature[4] = nGridPixel[1][0] * FACTOR / nGridPixel[1][1]
nHaarFeature[5] = nGridPixel[1][2] * FACTOR / nGridPixel[1][1]
nHaarFeature[6] = nGridPixel[2][0] * FACTOR / nGridPixel[1][1]
nHaarFeature[7] = nGridPixel[2][1] * FACTOR / nGridPixel[1][1]
nHaarFeature[8] = nGridPixel[2][2] * FACTOR / nGridPixel[1][1]
nHaarFeature[9]=(nHaarFeature[1] + nHaarFeature[4] + nHaarFeature[6])/3
nHaarFeature[10]=(nHaarFeature[3]+ nHaarFeature[5] + nHaarFeature[8])/3
nHaarFeature[11] = (nHaarFeature[2] + nHaarFeature[7]) / 2
nHaarFeature[12]=(nHaarFeature[1]+ nHaarFeature[2] + nHaarFeature[3])/3
nHaarFeature[13]=(nHaarFeature[6]+ nHaarFeature[7] + nHaarFeature[8])/3
nHaarFeature[14] = (nHaarFeature[4] + nHaarFeature[5]) / 2
nHaarFeature[15]=(nHaarFeature[9]+nHaarFeature[10]+nHaarFeature[11])/ 3
한편, LBP히스토그램 특징은 다음과 같다.
LBP(세부2진 패턴)은 이미지의 Texture속성을 서술하기 위하여 제안된 특징점으로서 단조조도변화에 불변인 특징으로, 선택된 4각형 영역에서 5 * 5, 8 * 8, 11 * 11크기의 부분 창들을 픽셀의 매 위치로 옮기면서 대량의 LBP히스토그램 특징을 생성한다.
눈과 비눈을 분류하는 분류학습기 구성은 다음과 같다.
위에서 구성한 특징점은 눈의 특성을 반영하고 있지만 이 특징점들이 모두다 눈에 대한 정보를 포함하고 있는 것은 아니며 또 위에서 생성된 특징점들을 어떻게 결합하여 분류기를 구성하겠는가 하는 것은 매우 중요한 문제이다.
본 발명의 프로그램에서 눈을 규정하는 대량의 특징점에 기초하여 약분류기들을 구성하고 그것을 결합하여 눈을 분류하는 강분류기를 구성하는 Boosting 알고리즘을 구축하였다.
Boosting 학습방법은 대상을 규정하는 대량의 특징점 중에서 분류능력이 높은 순서로 약분류들을 구성하고 이것들을 결합하여 최종분류기를 구성하는 학습방법으로서 현대패턴인식분야에서 하나의 추세로 되고 있으며 얼굴검출과 같은 패턴식별에서 우월한 성능을 보여준 학습방법이다.
본 발명은 이미 존재하는 Boosting알고리즘에 종속구조를 반영하여 약분류기의 수를 줄이면서도 분류능력이 더 높은 학습방법을 제안하였다.
또한 Main Data의 갯수에 비하여 Sub Data의 갯수가 대단히 큰 것으로 인하여 메모리 문제와 속도문제를 해결하기 위하여 Boost strap학습방법을 적용하였다.
본 발명은 눈분류 학습기를 구성하기 위하여 학습자료를 준비한다.
Main Data: 20 * 20크기의 눈이미지 54,000개
Sub Data: 20 * 20크기의 눈주위의 이미지 300,000개
학습알고리즘
Main Data: 20 * 20크기의 눈이미지 54,000개
초기학습자료 모임 구성
Main Data 전체를 초기Main Data 학습모임으로 택한다.
Sub Data중에서 임의로 제정된 갯수의 자료를 선택하여 초기 Sub Data 학습모임으로 택한다.
첫째: 구성된 학습자료모임에 기초하여 AdaBoost 알고리즘을 이용하여 이미지데이터 그룹 분류하는 강분류기를 구성한다.
둘째: 구성된 강분류기로 Sub Data를 분류하여 오분류되는 Sub Data들을 모아서 다음 학습단계의 Sub Data 그룹으로 설정한다.
셋째: 구성된 강분류기를 다음 학습단계의 첫번째 약분류기로 설정한다.
넷째: Sub Data가 하나도 남지 않을 때까지 위의 두 단계를 반복한다.
위의 학습알고리즘으로 학습한 결과 단계갯수 4, 약분류기 수는 1단계에서 9개 2단계에서 12개, 3단계에서 17개, 4단계에서 100개가 구성되었다.
위에서 구성한 단계분류기에 의하여 입력된 이미지가 어느 한 단계에서 라도 비눈으로 판정되면 비눈으로 판정하고 모든 단계별 분류기에서 다 눈으로 판정한 경우에만 최종적으로 눈으로 판정한다.(도 9)
본 발명의 눈, 주변정보 검출 알고리즘은 다음과 같다.
위에서 구성한 분류기에 의하여 얼굴이미지에서 눈의 위치를 찾는다.
이때 눈 정보 검출알고리즘은,
첫째: 얼굴검출엔진에 의하여 얼굴영역이 얻어지면 그 안에서 눈이 존재하는 후보영역을 설정한다.
둘째: 후보영역에서 왼쪽눈과 오른쪽눈 영역을 설정하고 20 * 20부분 창크기로 영역들을 탐색하며 분류기로 부분 창에 눈이 있는가 없는가를 판정하여 눈이 있는 후보위치들을 표시한다.
셋째: 후보영역들을 통합하여 최종 눈위치로 한다.
그리고 눈, 눈근육 정보 검출률과 정확도는
눈, 눈근육 검출정확도- 입력된 얼굴이미지들에서 눈을 검출해내는 정확도
Figure 112011104540954-pat00001
:총 얼굴 이미지갯수,
Figure 112011104540954-pat00002
: 눈이 있다고 판정되는 얼굴이미지 갯수
DR=NOK*100/NALL(%)
눈위치 추정 정확도-실제 눈위치와 검출해낸 눈위치 사이의 오차정확도
Figure 112011104540954-pat00003
:눈검출이 성공한 이미지 갯수 NOK(τ):두 눈사이의 거리에 비한 최대눈위치 추정의 상대오차가
Figure 112011104540954-pat00004
보다 작은 얼굴이미지의 갯수
DR(τ)=NOK(τ)*100/NEye(%)
눈정보 검출 속도
주어진 장치조건에서 두 눈의 위치를 찾아내는 속도
이상과 같은 프로그램의 인식 처리 성능은 다음과 같다.
눈검출 정확도: DR97 .98%( FERETDB)
눈위치 추정정확도: DR(0.1) 92.87%
눈검출 속도
15ms: PC(CPU 1.7GHz, RAM 128MB)
70ms: Board( CPU -ARM 7 533Mhz, RAM 128MB)
얼굴이미지에서 세부특징을 보존하기 위한 전처리 방법은,
Gabor특징점과 같은 세부특징에 기초하는 얼굴인식체계의 인식률을 보장하기 위하여서는 촬영조건에 따르는 변동을 억제하면서도 얼굴이미지의 세부특징을 보존, 강조하는 전처리 단계가 필요하다.
본 발명은 프로그램에서 전처리로서 세부분산정규화를 이용하였다.
밝기 보정은 다음의 식에 의하여 진행된다.
Figure 112011104540954-pat00005
여기서 F(i,j)는 입구이미지, F'(i,j)는 밝기 보정 후의 결과 이미지, a와 b는 입구이미지의 평균과 분산, a0과 b0는 각기 목적하는 평균과 분산을 나타낸다.
이 처리에 의하여 입구이미지들은 같은 평균과 분산 값을 가진 이미지들로 변환되다.
그러나 이 평균과 분산이 이미지 전체에 대한 평균과 분산이므로 이미지의 일부 불분명 부분들에서는 특징을 보존, 강조하려는 목적에 대해서는 역효과를 주게 된다.
이로부터 이미지의 세부적 특징을 충분히 이용할 수 있도록 매 화소점 들을 그의 세부영역만을 고찰하여 변환한다.
세부 분산정규화 알고리즘은 도 10 에 도시된 바와 같다.
첫째, 화소점 주위의 얼마 만한 영역을 그 화소점의 변환에 이용하겠는가 하는 세부 영역의 크기, 목적하는 평균과 분산을 설정하고 이미지의 첫 화소점을 현재 화소점으로 한다.
둘째, 현재 화소점의 세부영역에서 위의 식을 이용하여 현재 화소점의 밝기를 변환한다.
셋째, 현재 화소점이 마지막 화소점이 될 때까지 처리를 반복한다.
얼굴이미지에서 특징추출은 얼굴이미지에서 특징점을 추출하는 것은 얼굴인식에서 가장 중요한 단계이다. 얼굴이미지에서 특징점을 추출하는 기준은 다음과 같다.
첫째: 같은 대상의 조명, 자세, 인상변화로 인한 특징점 변동은 작아야 하며 서로 다른 사람의 특징점 변동은 작아야 한다.
둘째: 특징추출시간과 대조시간이 짧으며 한 사람당 특징크기가 너무 길지 말아야 한다.
셋째: 될수록 한 사람당 등록 회수가 작아야 하며(1번이 좋다) 등록이나 삭제할때마다 특징DB를 다시 재구성하지 말아야 한다.]
본 발명에서 거둔 주요한 성과는 다음과 같다.
첫째로, 속도가 빠른 인식알고리즘을 구성한 것으로, 2차원 Gabor필터 분해를 통하여 고속인 특징추출 방법을 개발하였다.
둘째로, 조도에 비교적 안정하고 특징점의 크기가 작은 특징부호화 방법을 제안하였다.
또한 본 발명의 개발된 특허 내용은 다음과 같다.
첫째: 근골격 기반의 특징점 추출을 통한 얼굴인식을 개발하였다.
둘째: 2차원 Gabor필터의 특성을 반영한 고속인 특징추출방법을 개발하였다.
셋째: 조도에 비교적 안정한 특징부호화 방법을 개발하였다.
네째: 빠른 비교속도를 보장할 수 있는수학적 연산비교 프로그램을 개발하였다.
이와 같은 문제를 해결함으로써 실용적인 얼굴인식체계를 구축하고 실천적인 얼굴인식제품들에서 효과적으로 실현할 수 있도록 하였다.
그리고 얼굴이미지에서 특징추출 및 대조는 세부 특징점으로서 Gabor특징점을 이용하였다.
즉, Gabor필터는 웨블레트 필터로서 공간세부성과 주파수세부성을 동시에 보장하는 최량의 필터로 알려져 있다.
2차원 Gabor웨블레트 핵함수의 정의는 다음과 같다.
Figure 112011104540954-pat00006
이다. 이런 방법으로 우리는 이미지의 임의의 점에서 방향과 척도에 따르는 Gabor 여파값을 얻을 수 있다. 우리는 이 Gabor여파값을 얼굴 특징점으로 부호화한다.
상기 고속Gabor특징추출은 Gabor여파를 이미지의 특정한 점들에서 진행한다. 본 발명에서는 128 * 128크기로 정규화된 얼굴이미지에서 아래의 네트(Net)좌표에서 16개 방향, 8개의 척도의 Gabor 특징 값을 얻어낸다.
GridX[9] = {17, 34, 47, 56, 63, 70, 79, 92, 109};
GridY[10] = {10, 21, 32, 43, 54, 65, 76, 87, 98, 109};
상기와 같은 방법으로 특징을 추출하는 경우 16 * 8 * 90개의 Gabor특징을 추출하여야 하며 매 Gabor특징을 추출하는데 평균 16 * 16번의 부동소수점 곱하기와 더하기 연산이 필요되게 되며 이것은 상당한 시간을 요구한다. 특히 많은 연산으로 인하여 부동소수점 연산을 지원하지 않는 프로세서를 가진 Embedded장치에서 실용화하기가 불가능하다.
본 발명에서는 프로그램에 특징점들이 같은 수직, 수평선우에 놓일 때 특징점 계산에서 일부 연산들이 중복된다는 것을 발견하고 가보필터를 분해하여 연산량을 줄일 수 있는 알고리즘을 제안하고 실현하였다.
Figure 112011104540954-pat00007
Figure 112011104540954-pat00008
Figure 112011104540954-pat00009
지금까지의 고찰에서는 2차원 Gabor필터를 1차원 Gabor필터들의 적으로 분해한 것으로 하여 연산량에서 손해를 보고 있다.
그러나 특징점들 사이의 거리가 필터창 크기보다 작으면 일부 화소들은 여러개의 특징점들에 대한 Gabor특징점 계산에 참가하게 된다.
2차원 Gabor필터의 1차원 분해를 이용하며 한 화소가 여러 특징점들에 대한 계산에 참가하는 문제를 없애고 특징점 계산을 고속화할 수 있다.
복잡도 평가는,
검출된 얼굴이미지의 크기를 N1×N2이라고 하고 격자모양의 특징점들사이의 거리를 d라고 하자 이때 수평, 수직 방향에서 특징점의 갯수를 n1, n2이라고 하면
n1= N1/d, n2=N2/d로 된다.
이러한 특징점 모임에 대하여 2차원 Gabor필터에 의한 중첩연산과 제안한 방법에 의한 중첩연산을 진행할 때 매 주파수 별로 곱하기 갯수는 다음과 같다.
Figure 112011104540954-pat00010
만약 151*151크기의 이미지에서 5픽셀만한 거리에 두고 격자모양으로 배치된 특징점들에 대하여 5개의 주파수와 8개 방향을 가진 Gabor필터에 의한 중첩연산을 진행하여 보면 2차원 Gabor필터인 경우 6674176회의 연산이 진행되며 제안한 방법에 의한다면 792920회의 곱하기가 진행되므로 곱하기 부동소수점 연산 횟수는 약 8.4배이다.
그러나 이 방법은 특징점들이 같은 수직선들 위에 배치되고 또 특징점들 사이의 거리가 필터 창의 크기보다 작아서 겹침이 일어날 때에만 유효하며 특징점들이 불규칙적으로 배치되여 있는 경우에는 적용할 수 없다.
Gabor 특징점을 고속으로 계산할 수 있게 되면 Gabor필터의 주파수와 파장을 좀 더 세밀하게 결정함으로써 이미지의 보다 많은 정보를 추출할 수 있다.
방향별 차분에 기초한 특징부호화는 다음과 같다.
본 발명의 프로그램에서 설명한 방법대로 128*128크기의 이미지에서 86개의 특징 점들에 대하여 16개 방향, 8개 척도에 따르는 Gabor 특징 값을 계산하였다.
따라서 특징 갯수는 16 * 8 * 86 = 11008개의 Gabor 특징 값이 얻어진다.
그러나 이 Gabor 특징 값 들은 크기가 너무 크고 대조때 부동소수점 연산을 진행하여야 하며 또 조도에 안정한 특징점으로 되지 못한다.
따라서 본 발명에서 조도에 안정하면서도 특징점의 길이를 압축하는 부호화 알고리즘을 개발하였다.
매 점당 16 * 8 = 128개의 Gabor특징 값이 얻어졌다고 하자.
Figure 112011104540954-pat00011
조도에 안정한 특징점으로 변환하기 위하여 매 척도별로 방향별 차분을 계산한다. 근거는 조도가 변하여도 방향별 순서관계는 변하지 않을 수 있기 때문이다.
Figure 112011104540954-pat00012
이때 0부터 3사이의 소수에 두비트 2진코드를 대응시킨다.
또한 매 점에 대한 부호벡터의 이제곱을 DWORD용에 대응시켜 매 점당 34Byte의 부호화된 특징값이 대응된다.
결국 16 * 8 * 86개의 부동소수점 특징값이 34 * 86 = 2924개의 Byte배열이 대응됨으로써 특징점의 크기가 훨씬 줄어들면서도 조도에 안정한 특징점을 얻을 수 있다.
특징대조는 입력된 얼굴이미지로 부터 추출된 특징벡터와 DB의 특징벡터 사이의 유사도는 다음과 같이 계산한다.
Figure 112011104540954-pat00013
로써 계산된다.
이런 방법으로 추출된 특징벡터와 DB에 등록된 모든 특징벡터들 사이의 유사도를 계산하여 유사도가 제일 높으며 그때의 유사도가 설정된 임계치 값보다 클 때 대상의 신원을 확인한 것으로 한다.
본 발명 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법의 기술적 사상은 실제로 동일결과를 반복 실시 가능한 것으로, 특히 이와 같은 본원발명을 실시함으로써 기술발전을 촉진하여 산업발전에 이바지할 수 있어 보호할 가치가 충분히 있다.

Claims (11)

  1. 삭제
  2. 얼굴이미지 입력단계와 얼굴검출단계, 눈, 주변 근육 정보검출단계와 전처리 및 특징추출단계 그리고 등록 및 비교 단계를 순차적으로 거쳐 사람이 가지고 있는 근골격 구조에 기초하여 자동 추출된 얼굴 이미지에서 눈의 위치를 찾아내고, 눈의 근육구조와 위치를 분석하고, 눈썹 내림 근의 상태와 미간을 파악함으로써 얼굴인식에 있어서 단순한 이미지 패턴 비교가 아닌 근골격 구조에 기초한 인식을 분석하고 축출해냄과 아울러 얼굴 부위별 특장점과 이격거리를 수학적 연산을 통해서 얼굴인식에 적용하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법에 있어서,
    상기 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법은,
    카메라(USB카메라 또는 CCD카메라 포함)에 의한 이미지 입력 또는 동영상파일 이미지 또는 이미지파일 이미지가 입력되는 얼굴이미지 입력단계;
    입력된 이미지에 얼굴이 있는지 없는지를 판별하고 그의 위치를 찾아내고, 탐지된 목적물(오브젝트)로부터 얼굴을 탐지하여 기본 윤곽선을 판별하고 얼굴의 위치를 자동으로 찾아내는 얼굴검출단계;
    검출된 얼굴영역에서 눈의 위치를 자동적으로 찾아내고 눈 주위 세부정보를 검출하는 눈, 주변 근육 정보검출단계;
    눈 위치 및 주변 세부정보에 의하여 얼굴이미지 정규화와 정규화된 얼굴이미지에서 외부조도성분의 제거 및 통계적 보정 그리고 전처리된 얼굴이미지에서 특징을 추출하는 전처리 및 특징추출단계;
    근 골격구조에 기초하여 추출된 특징을 DB에 등록하고, 추출된 특징을 DB에 등록된 얼굴특징들과 비교하여 유사도를 제일 큰 대상의 ID를 얻는 등록 및 비교단계;가 포함됨을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  3. 청구항 2 에 있어서,
    얼굴검출단계는,
    적분이미지에 의해 고속으로 계산되는 여러 가지 형태의 하르(Harr)특징과 AdaBoost 학습알고리즘과 둥지형 종속구조(Nested Cascade)를 이용하여 진행함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  4. 청구항 2 에 있어서,
    상기 눈, 주변 근육 정보검출단계는,
    얼굴검출에서 입력된 얼굴이미지로부터 하르(Harr)형 특징과 LBP(Local Binary Pattern)(세부2진 패턴)히스토그램에 기초한 정확하고 빠른 눈 및 주변 정보를 검출함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  5. 청구항 2 에 있어서,
    상기 눈, 주변 근육 정보검출단계는,
    눈의 근육구조인 전두근과 추미근 위꺼풀 올림근과 눈 둘레근 그리고 눈썹내림근의 위치를 파악하고, 눈 주변(눈썹, 눈꺼풀, 미간, 눈과 코 사이 거리, 눈과 입 사이 거리, 눈을 중심으로 코, 입과의 앵글 생성)을 검출하여 기본 정보로 생성하여 등록 또는 대조 자료로 쓰이도록 하고, 얼굴이미지에서 세부특징을 보존하기 위한 전처리 방법을 시행함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  6. 청구항 4 에 있어서,
    상기 Harr형 특징은,
    영상을 분석하여 각 픽셀에 대한 세밀도를 결정함과 아울러 결정된 각 픽셀에 대한 세밀도에 각 픽셀의 영상신호에 대한 개선영상을 생성하는 단계와 개선영상을 복원하여 디스플레이하는 단계를 거쳐 얼굴의 임의의 4각형 영역을 9개 구역으로 나누고, 중심구역 평균픽셀 농도와 주변의 8개 구역 픽셀 평균값의 비, 좌우, 위아래 픽셀 평균농도의 합들을 이용하여 16개의 Harr형 특징을 생성함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  7. 청구항 4 에 있어서,
    상기 LBP(Local Binary Pattern)(세부2진 패턴)히스토그램의 특징은,
    이미지의 Texture 속성을 서술하기 위하여 제안된 특징점으로 단조조도변화에 불변인 특징이 있고, 선택된 4각형 영역에서 5*5, 8*8, 11*11 크기의 부분 창들을 픽셀의 매 위치로 옮기면서 대량의 LBP히스토그램 특징을 생성함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  8. 청구항 4 에 있어서,
    상기 LBP(Local Binary Pattern)(세부2진 패턴)히스토그램의 특징은,
    안면 영상에서의 특징추출 방법과 안면 인식 문제로의 적용 방법을 각 화소에서 기울기 정보를 계산하여 기울기 기반의 지역 서술자(GLD)를 적용하고 안면 영상의 특징 벡터를 위해 미리 결정된 영역(창)에서 방위 히스토그램을 거침을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  9. 청구항 2 에 있어서,
    상기 전처리 및 특징추출단계는,
    광도, 자세, 표정의 외부조건의 변화를 보상하기 위함이며, 광도보정은 국부분산정규화와 국부히스토그램 평활화를 이용함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  10. 청구항 2 에 있어서,
    상기 전처리 및 특징추출단계는,
    등록과 대조를 위한 얼굴 특징량을 추출하기 위한 단계로, 8개척도, 16개방향의 Gabor특징을 원시특징으로 잡고, 얼굴의 각 위치마다 인식에 주는 영향이 다르다는 것을 고려하여 86개점을 선택하고 매점마다 학습을 통하여 할당하고, 결국 한 개 얼굴이미지에 대하여 86*128 = 11008개의 특징을 추출하고, 특징갯수가 매우 크므로 방향별 임계치에 기초한 부호화를 진행하며, 부호화를 진행하는데 이용되는 임계치가 척도에 따라 달라진다는 것을 고려하여 척도별로 학습을 통하여 임계치 값들을 구하고, 이 임계치들에 기초하여 2924Byte의 저차원 특징을 추출함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
  11. 청구항 2 에 있어서,
    상기 등록 및 비교단계는,
    입력된 얼굴 이미지로부터 추출된 특징 벡터와 DB의 특징 벡터 사이의 유사도를 계산함을 특징으로 하는 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법.
KR1020110144847A 2011-12-28 2011-12-28 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법 KR101174103B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110144847A KR101174103B1 (ko) 2011-12-28 2011-12-28 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110144847A KR101174103B1 (ko) 2011-12-28 2011-12-28 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법

Publications (1)

Publication Number Publication Date
KR101174103B1 true KR101174103B1 (ko) 2012-08-14

Family

ID=46880464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110144847A KR101174103B1 (ko) 2011-12-28 2011-12-28 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법

Country Status (1)

Country Link
KR (1) KR101174103B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314293B1 (ko) 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템
KR101356014B1 (ko) 2013-06-26 2014-02-03 한상진 건물의 음영지역 실시간 감시 시스템의 운용방법
WO2020116813A1 (ko) 2018-12-07 2020-06-11 주식회사 올아이티탑 디지털 가상화폐를 생체인증신호와 매칭시켜 발행되는 디지털 가상화폐 및 그 거래방법
CN111860047A (zh) * 2019-04-26 2020-10-30 美澳视界（厦门）智能科技有限公司 一种基于深度学习的人脸快速识别方法
CN112308084A (zh) * 2020-11-09 2021-02-02 西安工程大学 一种基于多尺度Gabor的服装廓形分类方法
CN119229508A (zh) * 2024-12-02 2024-12-31 厦门光莆智充科技有限公司 一种基于人脸识别的充电桩控制方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100840021B1 (ko) * 2007-11-05 2008-06-20 (주)올라웍스 특성 데이터를 이용하여 디지털 데이터에 포함된 인물의얼굴에 대해 인식하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100840021B1 (ko) * 2007-11-05 2008-06-20 (주)올라웍스 특성 데이터를 이용하여 디지털 데이터에 포함된 인물의얼굴에 대해 인식하는 방법 및 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314293B1 (ko) 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템
KR101356014B1 (ko) 2013-06-26 2014-02-03 한상진 건물의 음영지역 실시간 감시 시스템의 운용방법
WO2020116813A1 (ko) 2018-12-07 2020-06-11 주식회사 올아이티탑 디지털 가상화폐를 생체인증신호와 매칭시켜 발행되는 디지털 가상화폐 및 그 거래방법
CN111860047A (zh) * 2019-04-26 2020-10-30 美澳视界（厦门）智能科技有限公司 一种基于深度学习的人脸快速识别方法
CN111860047B (zh) * 2019-04-26 2024-06-11 美澳视界（厦门）智能科技有限公司 一种基于深度学习的人脸快速识别方法
CN112308084A (zh) * 2020-11-09 2021-02-02 西安工程大学 一种基于多尺度Gabor的服装廓形分类方法
CN112308084B (zh) * 2020-11-09 2024-04-23 西安工程大学 一种基于多尺度Gabor的服装廓形分类方法
CN119229508A (zh) * 2024-12-02 2024-12-31 厦门光莆智充科技有限公司 一种基于人脸识别的充电桩控制方法及系统

Similar Documents

Publication Publication Date Title
Raja et al. Binarized statistical features for improved iris and periocular recognition in visible spectrum
KR100608595B1 (ko) 얼굴 인식 방법 및 장치
Barnouti Improve face recognition rate using different image pre-processing techniques
Das et al. A new efficient and adaptive sclera recognition system
Lumini et al. Ensemble of texture descriptors and classifiers for face recognition
Tamilselvi et al. An ingenious face recognition system based on HRPSM_CNN under unrestrained environmental condition
KR101174103B1 (ko) 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법
Anthony et al. A review of face anti-spoofing methods for face recognition systems
Emeršič et al. Pixel-wise ear detection with convolutional encoder-decoder networks
Hebbale et al. Real time COVID-19 facemask detection using deep learning
Paul et al. Extraction of facial feature points using cumulative histogram
Thepade et al. Face gender recognition using multi layer perceptron with OTSU segmentation
Sharma Designing of face recognition system
Taha et al. Iris features extraction and recognition based on the local binary pattern technique
Badejo et al. Survey of Periocular Recognition Techniques.
Tofighi et al. A robust face recognition system in image and video
Campadelli et al. Fiducial point localization in color images of face foregrounds
Curran et al. The use of neural networks in real-time face detection
Li et al. Iris recognition on mobile devices using near-infrared images
Shreedevi et al. An improved local binary pattern algorithm for face recognition applications
Ding Combining 2D facial texture and 3D face morphology for estimating people's soft biometrics and recognizing facial expressions
Singh et al. A Systematic Review Of Face Detection And Face Recognition Techniques Using Machine Learning
Ramos et al. Face Recognition With Or Without Makeup Using Haar Cascade Classifier Algorithm And Local Binary Pattern Histogram Algorithm
Sabah et al. Smart Access by Novel Based AI System
Shankar et al. Frames extracted from video streaming to recognition of face: LBPH, FF and CNN

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111228

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20120111

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20111228

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120323

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20120710

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120323

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20120710

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20120508

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20120802

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20120717

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20120710

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20120508

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120808

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120809

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150807

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150807

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170802

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180807

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180807

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20190909

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20190909

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20200909

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210909

Start annual number: 10

End annual number: 10