KR101484002B1 - 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 - Google Patents

지역 미세 패턴을 이용한 얼굴 영상 분석 방법 Download PDF

Info

Publication number
KR101484002B1
KR101484002B1 KR20130141216A KR20130141216A KR101484002B1 KR 101484002 B1 KR101484002 B1 KR 101484002B1 KR 20130141216 A KR20130141216 A KR 20130141216A KR 20130141216 A KR20130141216 A KR 20130141216A KR 101484002 B1 KR101484002 B1 KR 101484002B1
Authority
KR
South Korea
Prior art keywords
coefficient
facial image
code
edge
recognition
Prior art date
Application number
KR20130141216A
Other languages
English (en)
Inventor
채옥삼
이찬우
류병용
김재면
Original Assignee
(주)나노인사이드
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나노인사이드, 경희대학교 산학협력단 filed Critical (주)나노인사이드
Priority to KR20130141216A priority Critical patent/KR101484002B1/ko
Priority to PCT/KR2013/010633 priority patent/WO2015076433A1/ko
Application granted granted Critical
Publication of KR101484002B1 publication Critical patent/KR101484002B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 관한 것으로서, 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서, 얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계; 상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계; 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계; 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계; 및 상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계를 포함한다. 따라서, 본 발명은 LDP(Local Direction Pattern) 알고리즘에 적용되어 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분한 후에 해당 화소의 에지 반응을 무시하는 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식에 대한 인식률이 높아질 수 있고, 기존의 LDP 알고리즘에 비해 정확하게 얼굴 영상을 분석할 수 있다.

Description

지역 미세 패턴을 이용한 얼굴 영상 분석 방법{Method for face image analysis using local micro pattern}
본 발명은 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 관한 것으로, 보다 상세하게는 에지 반응 크기를 고려하여 선정된 계수의 에지반응 방향 정보가 유효한 에지 영역이 아닐 경우에 해당 에지 반응을 무시하는 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식률이 높아질 수 있는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 관한 것이다.
최근, 얼굴 인식과 표정 인식과 같은 얼굴 영상 분석의 응용 분야가 많아지고 있다. 얼굴 영상 분석에 대한 응용 분야는 제품 차별화 및 사용자의 관심과 구매를 유도하기 때문에 이에 관한 연구가 활발하게 진행되고 있다. 얼굴 영상 분석은 크게 기하학적 특징 기반(Geometric feature based method)과 외형 특징 기반 방법(Appearance feature based method)의 2가지 방법이 있다.
기하학적 특징 기반 방법은 얼굴의 구성요소, 즉 눈, 코, 입, 입술, 눈썹 등의 위치와 이들 사이의 관계를 이용하여 얼굴의 형태와 표정의 변화를 표현하는 방법이다. 이러한 기하학적 특징 기반 방법은 얼굴 특징을 소수의 인자로 간단하게 표현 가능하고, 위치, 크기 및 방위 변화에 쉽게 대응할 수 있지만 얼굴의 구성요소를 정확하게 검출하는 것이 매우 어렵기 때문에 많이 사용되지 않고 있다.
외형 특징 기반 방법은 전체적인 또는 지역적인 얼굴 영상을 대상으로 얼굴 영상의 특징을 표현한다. 이때, 외형 특징 기반 방법은 사용되는 얼굴 영상의 크기에 따라 전역 특징 기반 방법과 지역 특징 기반 방법으로 구분된다.
전역 특징 기반 방법은 얼굴 영상을 구성하는 각 화소를 하나의 특징 요소로 보고, 영상 전체를 하나의 특징 벡터로 표현한다. 이러한 방법은 별도의 특징 요소에 대한 추출 과정을 거치지 않고 영상 전체를 대상으로 하기 때문에 영상 처리 방법이 간단하지만, 얼굴 영상의 일부분에 나타나는 얼굴 영상의 표정이나 조명으로 인한 밝기 변화에 대한 특징을 수용하지 못하기 때문에 얼굴 인식 성능이 떨어지는 문제점이 있다.
반면, 지역 특징 기반 방법은 얼굴 영상의 특징을 수용할 수 있도록 변화가 일어날 수 있는 영역에 지역적인 윈도우를 설정하고, 윈도우 내의 밝기 분포를 바탕으로 특징을 추출하여 전체적인 얼굴의 형태를 나타내는 특징 벡터를 구성한다.
이러한 지역 특징 기반 방법은 얼굴 영상의 지역적인 변화의 특징을 수용하기 때문에 전역 특징 기반 방법보다 안정적이고 양호한 얼굴 영상 분석 결과를 보여준다. 따라서, 얼굴 영상 분석 기술에서 지역 특징 기반 방법의 연구가 활발하게 진행되는 중이다.
지역 특징 기반의 얼굴 영상 분석 기술의 대표적인 알고리즘은 LBP(Local Binary Pattern)이다. LBP는 얼굴 영상을 지역적으로 분석하기 위해 얼굴 영상을 균일한 블록으로 분할한다. 이렇게 분할된 각 블록 내의 화소들을 3×3, 5×5, 7×7 등의 마스크 범위에서 모든 화소들과 이웃하고 있는 마스크의 중앙에 위치한 화소를 이웃 영역 화소라고 하고, 이 이웃 영역 화소를 이용하여 패턴을 부호화한다.
각 블록마다 히스토그램을 이용해서 블록 내 화소들의 패턴을 누적하고, 누적된 히스토그램은 하나의 지역 패턴으로 표현이 가능하다. LBP 방식은 지역 패턴을 연결하여 얼굴 영상 전체를 표현하는 특징 벡터를 만드는 것으로서 지역 기반 특징 방법의 대표적인 방법이다.
LBP는 화소들을 부호화할 때 얼굴 영상은 조명이나 촬영 환경에 따라 전체 적인 밝기 값이 변한다는 문제점을 극복하기 위해 이웃 영역 화소의 밝기 값과의 관계를 부호화한다. 이러한 LBP 부호화 방법은 전체적인 밝기 값 변화에는 강력하고 미세한 부분까지 패턴으로 표현이 가능하기 때문에 얼굴 인식과 텍스쳐 패턴 인식에 좋은 성능을 보여준다.
하지만, LBP는 잡음이 포함되는 경우에 코드의 일관성을 유지할 수 없는 문제점이 있다. 이러한 문제점을 극복하기 위해 LBP 부호화 방법의 개선을 통해 LBP 문제점을 해결하려고 시도하고 있다.
첫 번째로, LBP가 잡음에 취약한 문제점을 해결하기 위해 가보 필터된 영상에 LBP를 적용하는 LGBPHS(Local Gabor Binary Pattern Histogram Sequence) 방법이 있다.
LGBPHS 방법은 LBP에 비해 잡음의 취약성이 다소 해결되었지만 과도한 계산량과 세밀한 패턴의 표현력이 떨어지는 단점이 있다.,
두 번째로, LDP(Local Direction Pattern) 방법은 마스크 내의 모든 화소를 사용하여 에지 반응 방향 정보를 부호화하는 것으로서 LBP에 비해 잡음에 강력한 특징이 있다. LDP 방법은 LBP에 비해 표정 인식 등에서 상대적으로 우수한 성능을 제공하지만 밝기 변화가 거의 없는 영역에서 잡음과 밝기 변화에 민감하다는 단점이 있다.
LDP 방법의 문제점을 해결하기 위해, LDP에 컬러 정보, 에지 크기 정보를 추가하여 확장하는 방법을 제안하고 있지만, LDP 방법에 많은 정보가 포함되면서 코드 수가 증가하고, 히스토그램에 누적할 때 표본 오차가 발생하여 성능 저하가 발생하는 문제점이 있다.
즉, 코드 수가 증가하면서 히스토그램의 빈 수가 늘어나고 각 빈에 누적되는 화소수가 감소하기 때문에 표본 오차가 발생하고, 이러한 표본 오차는 히스토그램 기반 특징 벡터 표현을 이용한 얼굴 인식 및 표정 인식의 결과에 큰 영향을 미치게 된다.
따라서, LDP 방법은 코드 수의 증가를 최소화하면서 밝기 변화가 거의 없는 영역의 불확실성이 큰 코드 생성를 방지할 수 있는 새로운 방법의 연구가 절실이 요구되고 있다.
본 발명은 LDP(Local Direction Pattern) 알고리즘에 적용되어 에지 반응 크기를 고려하여 계수들을 선정하고, 이 계수들을 기 설정된 임계치와 비교하여 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분한 후에 해당 화소의 에지 반응을 무시하는 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식률이 높아질 수 있고, 기존의 LDP 알고리즘에 비해 정확하게 얼굴 영상을 분석할 수 있는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 제공한다.
실시예들 중에서, 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은, 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서, 얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계; 상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계; 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계; 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계; 및 상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계를 포함한다.
상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는, 상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 두번째 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 한다.
상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는, 상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 상기 제1 계수의 화소을 제외한 나머지 방향의 픽셀 중 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 한다.
상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계는, 상기 제1 계수와 제2 계수가 양수 임계치보다 클 경우에 제1 레벨 코드를 부여하고, 상기 제1 계수와 제2 계수가 음수 임계치보다 작을 경우에 제2 레벨 코드를 부여하며, 나머지 경우에 제3 레벨 코드를 부여하는 것을 특징으로 한다.
이때, 상기 인식용 코드는, 상기 인식용 코드는, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제3 레벨 코드인 경우에 해당 계수의 방향 정보가 유효한 에지 영역이 아니라고 판단하고, 해당 계수의 에지 반응 크기를 무시하여 최종 인식용 코드를 구성하는 것을 특징으로 한다.
본 발명의 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은, LDP(Local Direction Pattern) 알고리즘에 적용되어 에지 반응 크기를 고려하여 계수들을 선정하고, 이 계수들을 기 설정된 임계치와 비교하여 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분한 후에 해당 화소의 에지 반응을 무시하는 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식에 대한 인식률이 높아질 수 있고, 기존의 LDP 알고리즘에 비해 정확하게 얼굴 영상을 분석할 수 있으며, 얼굴 영상의 미세한 변화를 충분히 수용하면서 구별 가능한 특징을 표현하는 얼굴 인식 서비스를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 설명하는 순서도이다.
도 2는 n×n 마스크의 이웃 영역 화소를 설명하는 도면이다.
도 3은 3×3 마스크의 이웃 영역 화소에 대칭적인 컴퍼스 연산자를 적용한 에지반응 방향을 설명하는 도면이다.
도 4는 컴퍼스 연산자 중 키르슈 마스크와 소벨 마스크를 설명하는 도면이다.
도 5는 3×3 마스크의 이웃 영역 화소에서 8방향 에지반응 크기를 구하는 과정을 설명하는 도면이다.
도 6은 제1 계수와 제2 계수를 방향 넘버로 표현하는 과정을 설명하는 도면이다.
도 7은 제1 계수와 제2 계수와 임계치의 비교를 통해 각 레벨코드를 산출하는 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법과 기존의 LDP(Local Direction Pattern) 방법의 차이점을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 설명하는 순서도이고, 도 2는 n×n 마스크의 이웃 영역 화소를 설명하는 도면이며, 도 3은 3×3 마스크의 이웃 영역 화소에 대칭적인 컴퍼스 연산자를 적용한 에지반응 방향을 설명하는 도면이고, 도 4는 컴퍼스 연산자 중 키르슈 마스크와 소벨 마스크를 설명하는 도면이다. 도 5는 3×3 마스크의 이웃 영역 화소에서 8방향 에지반응 크기를 구하는 과정을 설명하는 도면이고, 도 6은 제1 계수와 제2 계수를 방향 넘버로 표현하는 과정을 설명하는 도면이며, 도 7은 제1 계수와 제2 계수와 임계치의 비교를 통해 각 레벨코드를 산출하는 과정을 설명하는 도면이다.
도 1 내지 도 4를 참고하면, 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 얼굴 인식 시스템에 의해 수행되고, 얼굴 인식 시스템은 얼굴 영상을 획득하고, 획득한 얼굴 영상을 이미지 처리하여 얼굴 인식 및 표정 인식을 위한 적어도 하나 이상의 얼굴 인식 알고리즘을 수행한 후에 얼굴 인식 결과를 얼굴 인식, 얼굴 표정 인식, 얼굴 나이 인식, 얼굴을 통한 성별 인식 등의 분야에 활용할 수 있다.
얼굴 인식 시스템은 얼굴 영상에서 n×n 마스크의 이웃 영역 화소를 설정하고, 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 4개 또는 8개 추출한다.(S1 및 S2 참고)
도 2를 참고하면, 3×3 마스크의 이웃 영역 화소는 P1이고, 5×5 마스크의 이웃 영역의 화소는 P2이며, 7×7 마스크의 이웃 영역 화소는 P3가 된다. 또한, 도 3에 도시된 바와 같이, 이웃 영역 화소에 대칭적인 4개 또는 8개의 컴퍼스 연산자를 적용하면 4 방향의 에지 반응 크기 또는 8 방향의 에지 반응 크기를 구할 수 있다.(S3 참고)
얼굴 인식 시스템은 이웃 영역 화소의 동서남북에 대한 4방향의 에지반응 크기를 구하고, 이웃 영역 화소의 동, 서, 남, 북, 북동, 남동, 북서 및 남서에 대한 8방향 에지반응 크기를 구한다.
도 4를 참고하면, 얼굴 인식 시스템은 8방향의 컴퍼스 연산자 중에서 대표적인 키르슈 마스크(Kirsh mask)와 소벨 마스크(Sobel mask)를 적용하여 얼굴 영상에 대한 이미지를 처리하여 에지 검출을 수행함으로써 에지반응 크기를 구할 수 있다.
도 5를 참고하면, 3×3 마스크의 화소값이 산출되고, 이웃 영역 화소의 8방향 대칭적인 컴퍼스 연산자 중 키르슈 마스크를 적용하여 에지반응 크기를 구한다.
8방향의 에지반응 크기 중에서 최대 에지반응 방향의 화소를 제1 계수(D1)를 선정하고, 제1 계수를 제외한 최대 에지반응 방향의 화소를 제2 계수(D2)를 선정한다.(S4 참고)
이때, 제2 계수는 제1 계수의 이웃한 화소를 제외한 나머지 화소들 중에서 에지반응 방향이 최대인 화소로 선정한다.
도 6을 참고하면, 제1 계수(D1)는 3×3 마스크의 8 방향을 적용하면 서쪽 방향이므로 방향 넘버로 표현하면 '100'되고, 제2 계수(D2)가 남동 방향이므로 방향 넘버로 표현하면 '111'이 된다.(S5 참고)
도 7을 참고하면, 얼굴 인식 시스템은 제1 계수(D1)와 제2 계수(D2)의 에지 반응 크기와 기설정된 임계치(t)를 비교하여 제1 계수(D1)와 제2 계수(D2)를 3레벨로 구분하고, 제1 계수(D1)의 레벨 코드(T1)과 제2 계수(D2)의 레벨 코드(T2)를 생성한다.(S6 참고)
Figure 112013105500953-pat00001
수학식 1에서, n은 1 또는 2이고, Gn은 Dn의 에지 반응 크기이며, t는 임계치를 각각 나타낸다.
수학식 1에 나타난 바와 같이, 제1 계수(D1)과 제2 계수(D2)가 양수 임계치(t)보다 클 경우에 제1 레벨 코드(10)를 부여하고, 제1 계수(D1)과 제2 계수(D2)가 음수 임계치(-t)보다 작을 경우에 제2 레벨 코드(11)를 부여하며, 나머지 경우에 제3 레벨 코드(00)를 부여한다.
T1 및 T2가 '10'이거나 '11'일 경우에 제1 계수(D1)과 제2 계수(D2)의 에지반응 방향 정보가 유효한 에지 영역이지만, T1 또는 T1가 '00'이면 에지반응 방향 정보가 유효하지 않은 밝기값, 즉 밝기 변화가 거의 없는 평활화(Smooth) 영역이라고 판단한다.
얼굴 인식 시스템은 제1 계수(D1) 및 T1, 제2 계수(D2) 및 T2를 근거로 하여 8비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성한다.(S7 참고)
인식용 코드는 제1 계수(D1), T1, 제2 계수(D2) 및 T2를 나열하여 8비트 또는 10비트로 코딩하는데, D1T1D2T2로 부호화하는 방식과 T1D1T2D2로 부호화하는 방식을 사용할 수 있다.
D1T1D2T2로 부호화하는 방식과 T1D1T2D2로 부호화하는 방식은 화소간 밝기 변화가 거의 없는 평활화 영역 및 양쪽 경계의 평활한 직선 경계상에서 잡음에 민감한 불확실성이 높은 취약 코드가 생성되는 경우가 많다.
따라서, 인식용 코드는 평활화 영역 및 양쪽 경계의 평활한 직선 경계상에서 불확실성이 높은 취약 코드를 생성하는 대신에 해당 영역의 에지 반응을 무시하고 최종 인식용 코드를 생성하여 인식율을 높일 수 있다.(S8~S10 참고)
얼굴 인식 시스템은 T1=10 또는 T1=11이고, T2=10 또는 T2=11이면 8비트 또는 10비트로 D1T1D2T2의 인식용 코드를 구성한다.
얼굴 인식 시스템은 T1=10 또는 T1=11이지만 T2=00이면 인식용 코드는 4방향일 경우에 D1T10000으로 구성하고, 8방향일 경우에 D1T1000000으로 구성한다.
얼굴 인식 시스템은 T1=00, T2=00이면 인식용 코드는 디폴트 코드를 부여하여 4방향일 경우에 00000000으로 구성하고, 8방향일 경우에 0000000000로 구성한다.
수학식 2는 4방향의 8비트 인식용 코드이고, 수학식 3은 8방향의 10비트 인식용 코드를 설명하는 수식이다.
Figure 112013105500953-pat00002
Figure 112013105500953-pat00003
도 8은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법과 기존의 LDP(Local Direction Pattern) 방법의 차이점을 설명하는 도면이다.
도 8의 (a)을 참고하면, 화소 밝기 차이가 거의 없는 평활화 영역(S1)에서 기존의 LDP 방법에 의한 LDP 코드는 00101100이고, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 의한 인식용 코드는 00000000으로 코드에 차이가 있음을 알 수 있다.
기존 LDP코드는 평활화 영역에 에지 방향 정보를 생성하는 반면에 인식용 코드는 평활화 영역에서 계산된 에지 반응 크기가 작기 때문에 코든 불확실성이 높은 코드를 생성하는 대신에 에지 반응을 무시하여 '00000000' 코드를 생성한다.
도 8의 (b)을 참고하면, 평활화 영역(S1)에서의 취약점을 알아보기 위해 얼굴 영상에 가우시안 잡음을 추가하고, 기존의 LDP 방법과 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 대한 에지 방향 정보를 각각 생성한다.
가우시안 잡음을 추가하지 않은 얼굴 영상과 가우시안 잡을 추가한 얼굴 영상은 유사한 텍스처 패턴을 가지고 있지만, 기존 LDP 코드는 '00101100'에서 '10100001'로 바뀌어 전혀 다른 코드를 생성한다. 기존 LDP는 평활화 영역(S1)에서 잡음이 취약한 코드가 생성되지만, 인식용 코드는 4방향 또는 8방향의 에지 반응 크기를 고려해서 에지 반응 크기가 작을 때는 에지 방향 정보를 무시하므로 평활화 영역(S1)에서 취약 코드가 생성되지 않아 잡음에 강한 특성을 보여준다.
이와 같이, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 LDP(Local Direction Pattern) 알고리즘에 적용되어 잡음에 강한 LDP 코드 형태의 인식용 코드를 생성할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서,
    얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계;
    상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계;
    상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계;
    상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계; 및
    상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계를 포함하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  2. 제1항에 있어서, 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는,
    상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 두번째 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  3. 제1항에 있어서, 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는,
    상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 상기 제1 계수의 화소을 제외한 나머지 방향의 픽셀 중 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  4. 제1항에 있어서, 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계는,
    상기 제1 계수와 제2 계수가 양수 임계치보다 클 경우에 제1 레벨 코드를 부여하고, 상기 제1 계수와 제2 계수가 음수 임계치보다 작을 경우에 제2 레벨 코드를 부여하며, 나머지 경우에 제3 레벨 코드를 부여하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  5. 제4항에 있어서,
    상기 인식용 코드는, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제3 레벨 코드인 경우에 해당 계수의 방향 정보가 유효한 에지 영역이 아니라고 판단하고, 해당 계수의 에지 반응 크기를 무시하여 최종 인식용 코드를 구성하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
KR20130141216A 2013-11-20 2013-11-20 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 KR101484002B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130141216A KR101484002B1 (ko) 2013-11-20 2013-11-20 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
PCT/KR2013/010633 WO2015076433A1 (ko) 2013-11-20 2013-11-21 지역 미세 패턴을 이용한 얼굴 영상 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130141216A KR101484002B1 (ko) 2013-11-20 2013-11-20 지역 미세 패턴을 이용한 얼굴 영상 분석 방법

Publications (1)

Publication Number Publication Date
KR101484002B1 true KR101484002B1 (ko) 2015-01-20

Family

ID=52590854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130141216A KR101484002B1 (ko) 2013-11-20 2013-11-20 지역 미세 패턴을 이용한 얼굴 영상 분석 방법

Country Status (1)

Country Link
KR (1) KR101484002B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005756A (zh) * 2015-02-10 2015-10-28 北京君正集成电路股份有限公司 一种人脸识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. Zhao, et al, "Dynamic Texture Recognition using Local Binary Patterns with An Application to Facial Expressions," IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 6, pp. 915-928, 2007. *
T. Jabid, M. H. Kabir, and O. Chae, "Robust facial expression recognition based on local directional pattern," ETRI Journal, vol. 32, pp.784-794, 2010. *
T. Ojala, et al, "Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns," IEEE Trans. Pattern Anal. Mach. Intell., vol. 24, no. 7, pp. 971-987, 2002. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005756A (zh) * 2015-02-10 2015-10-28 北京君正集成电路股份有限公司 一种人脸识别方法及装置

Similar Documents

Publication Publication Date Title
CN105359162B (zh) 用于图像中的与脸部有关的选择和处理的图像掩模
US20150326845A1 (en) Depth value restoration method and system
US9727974B2 (en) System for video super resolution using semantic components
CN107392968B (zh) 融合颜色对比图和颜色空间分布图的图像显著性检测方法
Ückermann et al. Realtime 3D segmentation for human-robot interaction
EP2849426A1 (en) Color video processing system and method, and corresponding computer program
Gritzman et al. Comparison of colour transforms used in lip segmentation algorithms
Abdusalomov et al. An improvement for the foreground recognition method using shadow removal technique for indoor environments
Perumal et al. Multilevel morphological fuzzy edge detection for color images (MMFED)
KR101484002B1 (ko) 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
JP2007188407A (ja) 画像処理装置及び画像処理プログラム
Dai et al. Robust and accurate moving shadow detection based on multiple features fusion
Maity et al. Background modeling and foreground extraction in video data using spatio-temporal region persistence features
KR101484001B1 (ko) 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
Takanashi et al. Color image segmentation based on region growing algorithm
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN105389823A (zh) 一种基于肿瘤攻击的交互式智能图像分割方法
Rahman et al. A version of watershed algorithm for color image segmentation
Alam et al. Detection of fingertips based on the combination of color information and circle detection
Sheng et al. License plate classification from a binarization perspective
Ukasha et al. An efficient method of contour compression
Verma et al. An increased modularity based contour detection
JP2014006871A (ja) 画像領域分割装置、方法、およびプログラム
Foolad et al. Salient regions detection using background superpixels
Patel Image Segmentation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131120

PA0201 Request for examination
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141030

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150113

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150113

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190311

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190311

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20201024