KR100828411B1 - Global feature extraction method for 3D face recognition - Google Patents

Global feature extraction method for 3D face recognition Download PDF

Info

Publication number
KR100828411B1
KR100828411B1 KR1020060102084A KR20060102084A KR100828411B1 KR 100828411 B1 KR100828411 B1 KR 100828411B1 KR 1020060102084 A KR1020060102084 A KR 1020060102084A KR 20060102084 A KR20060102084 A KR 20060102084A KR 100828411 B1 KR100828411 B1 KR 100828411B1
Authority
KR
South Korea
Prior art keywords
face
extracted
npp
point
global
Prior art date
Application number
KR1020060102084A
Other languages
Korean (ko)
Other versions
KR20080035711A (en
Inventor
손광훈
양욱일
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020060102084A priority Critical patent/KR100828411B1/en
Publication of KR20080035711A publication Critical patent/KR20080035711A/en
Application granted granted Critical
Publication of KR100828411B1 publication Critical patent/KR100828411B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 3차원 얼굴 인식을 위한 전역적 특징 추출 방법에 관한 것으로, 얼굴의 전 영역이 아니라 표정 및 장신구에 의한 변화가 적은 부분에서만 전역적 특징을 추출하여 국소적 성격을 가지는 전역적 특징을 추출한다. 본 발명에서는 코끝점(NPP;Nose Peak Point)을 지나는 가로방향(수평방향) 프로파일(profile)을 추출하고, 추출된 프로파일(profile)을 데이터베이스를 기반으로 학습된 방사 기저 함수 신경망(RBFN; Radial Basis Function Network)에 적용시킨 결과로 파생되는 기저 함수들의 가중치를 얼굴의 새로운 전역적 특징으로 추출한다.The present invention relates to a global feature extraction method for three-dimensional face recognition, and to extract a global feature having a local character by extracting the global feature only in the part of the face less changes due to facial expressions and ornaments rather than the entire area of the face do. According to the present invention, a radial (horizontal) profile passing through a nose peak point (NPP) is extracted, and the extracted profile is a radial basis function neural network (RBFN) trained based on a database. The weights of the basis functions derived as a result of applying to the function network are extracted as new global features of the face.

본 발명은 국소적 특징의 단점과 전역적 특징의 단점을 상호 보완하면서 국소적 특징의 장점과 전역적 특징의 장점을 모두 가지고 있으며, 본 발명에 따른 전역적 특징을 사용하여 3차원 얼굴 인식을 수행할 경우 방시 기저 함수 신경망의 학습방법에 따라 동일인으로부터 여러 개의 특징 정보를 추출할 수 있어, 생체 정보 유출 시 발생하는 생체 정보의 불변성이라는 단점을 해결할 수 있으며, 국소적 영역에서의 전역적 특징을 추출하므로 특징 정보만으로는 원래 얼굴로의 역변환이 불가능하여 특징 정보 유출에 의한 개인 권리 침해를 방지할 수 있는 장점이 있다.The present invention has both the advantages of the local features and the advantages of the global features while complementing the disadvantages of the local features and the global features, and performs three-dimensional face recognition using the global features according to the present invention. In this case, multiple feature information can be extracted from the same person according to the learning method of the basis basal function neural network, so that the shortcomings of the invariant of the biometric information generated when leaking the biometric information can be solved and the global feature in the local domain can be extracted. Therefore, it is impossible to invert the original face only by the feature information, thereby preventing the infringement of personal rights due to the leakage of feature information.

3차원 얼굴 인식, 전역적 특징 추출, 코끝점, 방사 기저 함수, 가중치 3D face recognition, global feature extraction, nose tip, radial basis function, weight

Description

3차원 얼굴 인식을 위한 전역적 특징 추출 방법{Global feature extraction method for 3D face recognition}Global feature extraction method for 3D face recognition

도 1은 통상의 얼굴 인식 과정을 나타낸 플로차트.1 is a flowchart illustrating a typical face recognition process.

도 2는 종래의 포인트 신호(Point signature) 기반 특징 추출 방법을 나타낸 실시예.2 is a diagram illustrating a conventional point signature based feature extraction method.

도 3은 본 발명에 따른 3차원 얼굴 인식을 위한 전역적 특징 추출 방법을 나타낸 플로차트.3 is a flowchart illustrating a global feature extraction method for three-dimensional face recognition according to the present invention.

도 4는 본 발명에 따른 3차원 얼굴 데이터의 정규화 과정을 나타낸 사진.4 is a photograph showing a normalization process of three-dimensional face data according to the present invention.

도 5는 본 발명에서 사용하는 직교좌표계와 원통좌표계를 정의하는 그래프.5 is a graph defining a rectangular coordinate system and a cylindrical coordinate system used in the present invention.

도 6은 본 발명에 따른 깊이 영상과 거리 영상의 차이를 나타낸 사진.6 is a photograph showing a difference between a depth image and a distance image according to the present invention.

도 7은 3차원 얼굴 데이터 DB로부터 선택된 3개(DB1,DB2,DB3)의 얼굴 데이터로부터 추출한 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)을 나타낸 실시예.FIG. 7 is an embodiment showing a lateral (horizontal) profile passing through the nose end point NPP extracted from three (DB1, DB2, DB3) face data selected from the three-dimensional face data DB. FIG.

도 8은 c=0, R=I인 경우의 방사 기저 함수(RBF)를 나타낸 그래프.8 is a graph showing the radiation basis function (RBF) when c = 0 and R = I.

도 9는 일반적인 단층 신경망 구조에 방사 기저 함수 신경망이 적용된 실시예.9 is an embodiment in which the radiation-based function neural network is applied to a general monolayer neural network structure.

도 10은 기저 함수 개수 m의 증가에 따른 오차제곱합(SSE)을 나타낸 그래프.10 is a graph showing error sum (SSE) as the basis function number m increases.

도 11은 본 발명에 따라 추출된 전역적 특징을 사용하여 3차원 얼굴 인식을 수행할 경우의 인식률 측정 결과를 나타낸 그래프.11 is a graph showing a result of measuring a recognition rate when performing 3D face recognition using the extracted global feature according to the present invention.

본 발명은 3차원 얼굴 인식에 관한 것이며, 더욱 상세히는 3차원 얼굴 인식을 위한 전역적 특징 추출 방법에 관한 것이다.The present invention relates to three-dimensional face recognition, and more particularly to a global feature extraction method for three-dimensional face recognition.

얼굴 인식 기술은 2차원 얼굴 영상을 기반으로 연구되어 왔으며, 신원 확인, 출입 통제, 감독, 데이터베이스(DB) 검색 등 다양한 분야에 활용되고 있다. 그러나 포즈, 조명, 표정 변화 같은 다양한 내·외적 환경 변화에서의 2차원 얼굴 인식 기술은 아직 만족스러운 상태가 아니며, 이를 극복하기 위해 많은 연구가 진행되고 있다. 특히 지금까지는 2차원 얼굴 영상을 기반으로 연구가 이루어졌으나, 최근에는 3차원 영상 획득 장치가 발달하면서 3차원 얼굴 데이터를 기반으로 하는 연구도 활발히 진행되고 있다.Face recognition technology has been studied based on two-dimensional face images and is used in various fields such as identity verification, access control, supervision, and database (DB) search. However, two-dimensional face recognition technology in various internal and external environment changes such as poses, lighting, and facial expressions is not satisfactory, and many studies have been conducted to overcome them. In particular, until now, researches have been made based on two-dimensional face images, but recently, researches based on three-dimensional face data have been actively conducted with the development of three-dimensional image acquisition devices.

일반적으로 얼굴 인식은 도 1에서 보는 바와 같이 얼굴 영역 검출 과정(S10), 얼굴 데이터의 정규화 과정(S12), 얼굴 데이터로부터의 특징 추출 과정(S14), 특징 비교 과정(S16)으로 이루어진다.In general, face recognition includes a face region detection process S10, a normalization process of face data S12, a feature extraction process S14 from face data, and a feature comparison process S16.

상기 얼굴 영역 검출 과정(S10)은 테스트 데이터에서 인식 대상인 얼굴과 인식 대상이 아닌 배경을 구분하여 얼굴 인식에 사용될 의미있는 정보를 가진 데이터만을 선택하는 과정이다.The face region detection process (S10) is a process of selecting only data having meaningful information to be used for face recognition by distinguishing a face, which is a recognition target, from a background, which is not a recognition target, from test data.

상기 얼굴 데이터의 정규화 과정(S12)은 얼굴 영역 검출 과정을 통해 검출된 얼굴 데이터의 포즈, 조명, 표정 변화 등을 감지하여 이를 보정함으로써 정확한 특징 추출을 용이하게 해주며, 각 개인의 특징이 환경 변화에 의해 변하지 않도록 하는 과정이다.The normalization process (S12) of the face data facilitates accurate feature extraction by detecting and correcting a pose, lighting, or facial expression change of the face data detected through the face region detection process, and the characteristics of each individual are changed in the environment. It is a process that does not change by.

상기 특징 추출 과정(S14)은 정규화된 얼굴 데이터로부터 얼굴 인식에 적합한 특징을 추출하는 과정이다.The feature extraction process S14 is a process of extracting a feature suitable for face recognition from normalized face data.

상기 특징 비교 과정(S16)은 얼굴 인식을 마지막 과정으로 테스트 데이터로부터 추출된 얼굴 특징과 미리 구축한 DB에서의 얼굴 특징을 비교하여 테스트 데이터가 누구인지를 판별 또는 인증하는 과정이다.The feature comparison process (S16) is a process of identifying or authenticating who the test data is by comparing the face features extracted from the test data with the face recognition as the final process and the face features in the pre-built DB.

상기한 4가지 과정(S10,S12,S14,S16)을 수행하기 위한 기술은 각각 고유한 기능을 담당하면서도 서로 연관되어 있다. 다시 말해서 상기 4가지 과정(S10,S12,S14,S16)을 수행하는 각 기술은 해당 과정에서 고유한 목표를 가지고 데이터를 처리함과 동시에 그 데이터 처리 결과는 다음 과정을 수행하기 위한 기술의 복잡성을 결정한다.Techniques for performing the above four processes (S10, S12, S14, S16) are each associated with each other while performing a unique function. In other words, each technique that performs the four processes (S10, S12, S14, S16) has a unique goal in the process, and the data processing result is the complexity of the technology for performing the next process. Decide

실제로, 얼굴 영역 검출이 정확할수록 얼굴 데이터의 정규화가 쉽고 정확하게 이루어진다. 또한 정규화가 잘된 데이터일수록 특징 추출이 쉬우며, 정확한 특징 추출이 가능하다.In fact, the more accurate the face area detection is, the easier and more accurate normalization of the face data is. In addition, the more normalized data, the easier feature extraction and accurate feature extraction are possible.

특히, 특징 추출 과정을 수행하기 위한 기술의 경우 특징 비교 과정을 수행하기 위한 기술과 면밀한 관계를 맺고 있다. 즉, 정확한 특징 추출은 정확한 얼굴 인식 결과로 이어진다. 추출된 특징이 각 개인별로 고유하며 다른 사람과 확실하게 구별되면 될수록 특징 비교는 간단해지며, 더 정확한 인식 결과를 얻을 수 있다. 쉽게 말해서 얼굴 인식에 사용될 특징의 특성에 따라서 특징 비교 과정의 복잡성이 결정되며, 인식 결과에도 많은 영향을 주게 된다.In particular, a technique for performing a feature extraction process has a close relationship with a technique for performing a feature comparison process. In other words, accurate feature extraction leads to accurate face recognition results. As the extracted features are unique to each individual and clearly distinguished from others, the feature comparison becomes simpler and more accurate recognition results can be obtained. In other words, the complexity of the feature comparison process is determined by the characteristics of the features to be used for face recognition, and it also affects the recognition results.

한편, 기존에 제안된 3차원 얼굴 특징 추출 기법에 대해서 서술하면 다음과 같다.Meanwhile, the conventional three-dimensional facial feature extraction technique is described as follows.

첫째로, 곡률 기반 특징 추출 기법은 곡률을 기반으로 3차원 얼굴 데이터의 특징을 추출하는 방법으로서, 깊이 영상(Depth image)으로부터 주요 곡률을 계산하여 특징으로 사용하는 방법, 깊이 영상으로부터 곡률을 계산한 다음 확장된 가우시안 영상(EGI; Extended Gaussian Image)을 생성하여 그 영상을 특징으로 사용하는 방법, 눈, 코, 입 등과 같은 특이점에서의 곡률과 특이점 간의 거리를 특징으로 사용하는 방법, 얼굴의 프로파일(profile)을 추출하고 추출된 프로파일(profile)의 곡률을 계산하여 특징으로 사용하는 방법 등과 같은 여러 가지 방법들이 제안되어 있다.First, the curvature-based feature extraction technique is a method of extracting features of 3D face data based on curvature, which is used as a feature by calculating a major curvature from a depth image and a curvature from a depth image. Next, how to create an extended Gaussian image (EGI) and use it as a feature, how to use the distance between the curvature and the singularity at singular points such as eyes, nose, mouth, etc. Various methods have been proposed such as extracting a profile, calculating a curvature of the extracted profile, and using the feature as a feature.

둘째로, 포인트 신호(Point signature) 기반 특징 추출 방법은 포인트 신호(point signature)의 정의를 나타낸 도 2의 (a)의 2차원 곡면 S위의 한 점 P에서 곡면 S로의 법선 벡터

Figure 112006075675145-pat00001
을 포함하는 평면을 Sp라고 하고, 평면 Sp에 수직이고 점 P를 포함하는 평면을 접면 S⊥라 할 때, 점 P를 중심으로 반지름 r인 원을 평면 S⊥위에 그렸을 때, 도 2의 (b)처럼 원 위의 각 지점으로부터 곡면 S까지의 수직 거리 dn들, 즉 포인트 신호(point signature)들을 도 2의 (c)와 같이 최종적인 특징으로 산출하며, 도 2의 (c)와 같은 특징을 서로 비교하여 얼굴 인식을 수행한다.Secondly, the point signature based feature extraction method is a normal vector from one point P to the surface S on the two-dimensional surface S of FIG. 2 (a) showing the definition of the point signature.
Figure 112006075675145-pat00001
When the plane containing is called S p , and the plane containing the point P is perpendicular to the plane S p and the plane S 접 is folded , a circle having a radius r about the point P is drawn on the plane S 의 , as shown in FIG. 2. As shown in (b), the vertical distances d n from each point on the circle to the surface S, that is, point signatures, are calculated as final features as shown in FIG. Face recognition is performed by comparing the same features to each other.

셋째로, 고유 얼굴을 이용한 특징 추출 방법은 2차원 얼굴 인식 기술 초기에 제안된 방법이다. 이 방법은 데이터가 가지고 있는 원래의 특징을 잃어버리지 않으면서 효율적으로 데이터의 차원을 줄일 수 있는 선형 변환 방법을 이용하여 얼굴의 특징을 추출하는 방법이다. 2차원 얼굴 인식에서는 얼굴 영상을 이용하여 고유 얼굴을 생성한다. 반면에 3차원 얼굴 인식의 경우 얼굴 영상이 아닌 얼굴의 구조적 정보를 가지고 있는 깊이 영상 또는 거리 영상(Range image)을 이용하여 고유 얼굴을 생성하고, 이것을 특징으로 하여 얼굴 인식을 수행하는 방법들이 제안되었다. 거리 영상을 이용하여 고유 얼굴을 특징으로 추출하고 마르코프 필드(Markov field)를 이용하여 인식하는 방법, 여러 가지 사이즈의 깊이 영상을 이용하여 고유 얼굴을 계산하여 인식에 사용하는 방법 등이 있다.Third, the feature extraction method using the eigenface is a proposed method early in the 2D face recognition technology. This method extracts facial features using a linear transformation method that can efficiently reduce the dimension of the data without losing the original features of the data. In 2D face recognition, a unique face is generated using a face image. On the other hand, in the case of 3D face recognition, a method of generating a unique face using a depth image or a range image having structural information of a face instead of a face image and generating a face recognition using the feature has been proposed. . A method of extracting a feature of a unique face using a distance image and recognizing it using a Markov field. A method of calculating a unique face using a depth image of various sizes and using it for recognition. Etc.

넷째로, 반복 최근점(ICP; Iterative closest point)을 이용한 특징 추출 방법은 다음의 4단계를 거치면서 수행된다.Fourth, the feature extraction method using an iterative closest point (ICP) is performed through the following four steps.

1) 입력 영상과 DB 데이터를 비교하기 위한 대응점을 추출한다.1) Extract the corresponding point to compare the input image with DB data.

2) 주어진 대응점을 기준으로 두 데이터를 가장 비슷하게 만들어주는 선형 변환을 계산한다. 일반적으로 평균자승오차를 측면에서 최적이 되도록 하는 방법을 사용한다.2) Calculate the linear transformation that makes the two data most similar to the given match. In general, a method that makes the mean square error optimal in terms of aspect is used.

3) 계산된 선형 변환을 적용한다.3) Apply the calculated linear transformation.

4) 계산된 선형 변환이 주어진 임계치보다 작아질 때까지 위의 3단계를 반복한다.4) Repeat step 3 above until the calculated linear transformation is less than the given threshold.

상기 반복 최근점(ICP)에 의해 선형 변환된 테스트 데이터 자체가 특징이 되며, 테스트 데이터와 DB 데이터 사이의 상관도를 측정하여 3차원 얼굴 인식을 수행 하는 방법이 제안되어 있다.The test data itself linearly transformed by the iterative nearest point (ICP) is characterized, and a method of performing 3D face recognition by measuring the correlation between the test data and the DB data has been proposed.

상기한 얼굴 특징 추출 방법 중, 상기 곡률 기반 특징 추출 방법과 포인트 신호(Point signature) 기반 특징 추출 방법이 대표적인 국소적 정보를 이용한 특징 추출 방법이고, 상기 고유 얼굴을 이용한 특징 추출 방법과 반복 최근점(ICP)을 이용한 특징 추출 방법이 대표적인 전역적 정보를 이용한 특징 추출 방법이다.Among the facial feature extraction methods, the curvature-based feature extraction method and the point signature-based feature extraction method are representative feature extraction methods using representative local information, and feature extraction method using the eigenface and repetitive recent point ( Feature extraction method using ICP) is a feature extraction method using representative global information.

현재까지 제안된 방법들을 보면 대부분 국소적 정보를 이용한 특징 추출 방법을 이용하고 있다. 특히 얼굴의 곡률을 이용하여 인식하는 방법이 대세를 이루고 있다. 포인트 신호(Point signature) 기반 특징 추출 방법의 경우 곡률을 계산하는 방법이 틀리기는 하지만 한 점을 기준으로 얼굴의 굴곡 정도를 특징으로 하는 면에서는 곡률을 이용한 방법과 동일하다.Most of the proposed methods up to now use the feature extraction method using local information. In particular, the recognition method using the curvature of the face is popular. The point signature-based feature extraction method is different from the curvature calculation method in terms of the degree of curvature of the face based on a point, although the method of calculating the curvature is wrong.

얼굴의 생김새와 굴곡은 사람마다 다르므로, 그 굴곡 정도를 수치적으로 계 산한 곡률을 계산하여 비교하면 얼굴 인식이 가능하다. 하지만 곡률은 이차 미분을 통해 계산되기 때문에 입력 데이터의 잡음에 의한 결과 변화가 심하며, 주변 데이터와의 결과 값 차이도 크다. 다시 말해 정확한 비교를 위해서는 테스트 데이터와 DB 데이터의 대응점을 정확하게 찾아야 한다는 가정이 전제된다. 두 데이터간의 대응점을 찾는 문제는 매우 어려운 문제로서 많은 방법이 제안되었지만 만족스러운 결과는 보여주지 못하고 있다.Since facial appearance and curvature vary from person to person, face recognition is possible by comparing and calculating the curvature calculated numerically. However, because the curvature is calculated through the second derivative, the resulting change due to noise in the input data is severe, and the difference in the result value from the surrounding data is also large. In other words, it is assumed that an accurate comparison must be made to find the corresponding point of test data and DB data. Finding a correspondence point between two data is a very difficult problem. Many methods have been proposed, but they do not show satisfactory results.

전역적 정보를 이용하는 상기 고유 얼굴을 이용한 특징 추출 방법의 경우 특징 추출 과정에서 선형 변환만을 사용하기 때문에 입력 데이터의 잡음에 의한 급격한 결과 변화가 발생하지 않는다. 2차원 얼굴 인식 기술에서 고유 얼굴을 이용한 특징 추출 방법은 입력 영상의 화소값을 기반으로 고유 얼굴을 계산하기 때문에 조명 변화에 민감한 결과를 보여주었다. 따라서 얼굴 인식 기술 연구 초기에 하나의 알고리즘으로 제안되었을 뿐 실제 사용 한경에 적용되지는 못하였다. 그러나 3차원 얼굴인식에서는 화소값 대신 얼굴의 구조적 정보를 가지고 있는 깊이 영상 혹은 거리 영상을 사용하기 때문에 조명에 의한 문제가 발생하지 않는다. 얼굴의 구조적 특징을 이용하여 포즈 보정이 가능하기 때문에 포즈 변화 문제도 해결 가능하다. 하지만 얼굴의 전 영역으로부터 전역적인 특징을 추출할 경우 표정 변화에 의한 문제와 안경 같은 장신구에 의한 문제가 발생한다.In the feature extraction method using the unique face using global information, since only linear transformation is used in the feature extraction process, a sudden change in the result of the noise of the input data does not occur. The feature extraction method using eigenfaces in 2D face recognition technology is sensitive to illumination changes because it calculates eigenfaces based on pixel values of the input image. Therefore, it was proposed as an algorithm at the beginning of face recognition technology research but could not be applied to the actual usage environment. However, the 3D face recognition uses a depth image or a distance image having the structural information of the face instead of the pixel value, so that the problem caused by the illumination does not occur. The pose change problem can be solved because the pose can be corrected using the structural features of the face. However, extracting global features from all areas of the face causes problems with facial expressions and with jewelry such as glasses.

기존에 제안되었던 특징 추출 방법에 의해 추출된 국소적 특징과 전역적 특징은 상호 보완적인 특징들이다. 다시 말해 국소적 특징의 단점을 전역적 특징이 보완해줄 수 있고, 전역적 특징의 단점을 국소적 특징이 보완해줄 수 있다.The local and global features extracted by the feature extraction method proposed previously are complementary features. In other words, the global feature can compensate for the shortcomings of the local features, and the local feature can supplement the shortcomings of the global features.

본 발명은 상기한 바와 같은 종래의 문제점을 해결하고 상기 국소적 특징과 전역적 특징의 상호 보완적인 특성을 이용하기 위한 것으로서, 본 발명의 목적은 얼굴의 전 영역이 아니라 표정 및 장신구에 의한 변화가 적은 부분에서만 전역적 특징을 추출하여 국소적 성격을 가지는 전역적 특징을 생성하기 위해 코끝점(NPP;Nose Peak Point)을 지나는 가로방향(수평방향) 프로파일(profile)을 추출하고, 추출된 프로파일(profile)을 데이터베이스에 의해 학습된 방사 기저 함수 신경망(RBFN; Radial Basis Function Network)에 적용시킨 결과로 파생되는 기저 함수들의 가중치를 얼굴의 새로운 전역적 특징으로 추출하는 3차원 얼굴 인식을 위한 전역적 특징 추출 방법을 제공하는 것이다.The present invention is to solve the conventional problems as described above and to use the complementary features of the local and global features, the object of the present invention is to change the expression and ornaments rather than the entire area of the face In order to generate a global feature having a local character by extracting a global feature in only a small part, a horizontal (horizontal) profile passing through a nose peak point (NPP) is extracted, and the extracted profile ( A global feature for 3D face recognition that extracts the weights of the basis functions derived as a result of applying a profile to the Radial Basis Function Network (RBFN) learned by the database as a new global feature of the face. It is to provide an extraction method.

상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 실시예에 따른 3차원 얼굴 인식을 위한 전역적 특징 추출 방법은, 3차원 데이터 획득 장치에 의해 획득된 3차원 얼굴 데이터의 색상 정보와 구조적 정보 중 상기 색상 정보에 할-라이크(Haar-like) 특징을 이용한 아다부스트(Adaboost) 알고리즘을 적용하여 눈 위치 정보를 추출하고, 추출된 눈 위치 정보를 이용하여 얼굴 포즈를 대략적으로 추정한 다음, 상기 구조적 정보 중 두 눈 사이에 존재하는 눈 보다 높은 z 좌표값을 가지는 코끝점(NPP; Nose Peak Point) 후보점을 추출한 후, 이 점을 중심으로 콧등점(NRP; Nose Ridge Point)들을 추출하고, 추출된 콧등점(NRP)들을 기반으로 얼굴 중심 평면을 선형회귀법에 의해서 구하고, 얼굴 중심 평면 위의 얼굴 점들 가운데 z 좌표값이 가장 큰 점을 코끝점(NPP)으로 선택하고 코끝점(NPP)의 좌표값이 (0,0,MAX)의 좌표값을 갖도록 3차원 얼굴 데이터를 회전이동, 평행이동, 크기 조정하여 정규화하는 과정과; 정규화된 3차원 얼굴 데이터로부터 원통좌표계 변환된 거리 영상을 생성하는 과정; 생성된 거리 영상으로부터 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)을 추출하는 과정; 및 추출된 프로파일(profile)을 데이터베이스에 의해 학습된 방사 기저 함수 신경망(RBFN; Radial Basis Function Network)에 적용시킨 결과로 산출되는 방사 기저 함수들의 가중치(

Figure 112006075675145-pat00002
)를 얼굴 데이터의 전역적 특징으로 추출하는 과정;으로 이루어진다.In order to achieve the object of the present invention as described above, the global feature extraction method for three-dimensional face recognition according to an embodiment of the present invention, the color information of the three-dimensional face data obtained by the three-dimensional data acquisition device and The eye position information is extracted by applying the Adaboost algorithm using a haar-like feature to the color information among the structural information, and the face pose is estimated roughly using the extracted eye position information. After extracting a Nose Peak Point (NPP) candidate point having a higher z-coordinate value than an eye existing between two eyes among the structural information, extracting Nose Ridge Points (NRP) around the point Based on the extracted nostril points (NRP), the face center plane is obtained by linear regression, and the point with the largest z coordinate value among the face points on the face center plane is referred to as the nose end point (NPP). And selecting the coordinates of the nose tip point (NPP) (0,0, MAX) 3-dimensional face data for rotational movement, so as to have the parallel displacement of the coordinate values, the process of normalization by adjusting the size; Generating a cylindrical coordinate transformed distance image from the normalized three-dimensional face data; Extracting a horizontal (horizontal) profile passing through the nose end point NPP from the generated distance image; And weights of the radial basis functions calculated as a result of applying the extracted profile to the Radial Basis Function Network (RBFN) learned by the database.
Figure 112006075675145-pat00002
) As a global feature of the face data.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings an embodiment of the present invention will be described in more detail.

도 3은 본 발명에 따른 3차원 얼굴 인식을 위한 전역적 특징 추출 방법을 나타낸 플로차트이다.3 is a flowchart illustrating a global feature extraction method for 3D face recognition according to the present invention.

도 3을 참조하면, 가장 먼저 3차원 데이터 획득 장치에 의해 획득된 3차원 얼굴 데이터의 색상 정보와 구조적 정보 중 상기 색상 정보에 할-라이크(Haar-like) 특징을 이용한 아다부스트(Adaboost) 알고리즘을 적용하여 눈 위치 정보를 추출하고, 추출된 눈 위치 정보를 이용하여 얼굴 포즈를 추정한 다음, 상기 구조적 정보 중 두 눈 사이에 존재하는 눈 보다 높은 z 좌표값을 가지는 코끝점(NPP) 후보점과 그 점을 중심으로 콧등점(NRP)를 추출하고, 추출된 콧등점(NRP)을 이용하여 선형회귀법에 의해 얼굴 중심 평면을 구하고, 얼굴 중심 평면상의 얼굴 점들 가운데 z 좌표값이 가장 큰 점을 코끝점(NPP)으로 정한 다음, 코끝점(NPP)의 좌표값이 (0,0,MAX)의 좌표값을 갖도록 3차원 얼굴 데이터를 회전이동, 평행이동, 크기 조정하여 정규화한다(S20).Referring to FIG. 3, first of all, the Adaboost algorithm using a haar-like feature is used for the color information among the color information and structural information of the 3D face data acquired by the 3D data acquisition apparatus. Extracts eye position information, estimates a face pose using the extracted eye position information, and then selects an NPP candidate point having a higher z coordinate value than an eye existing between two eyes among the structural information. Extract the nostril point (NRP) around the point, and use the extracted nostril point (NRP) to find the face center plane by linear regression method, and point out the point with the largest z coordinate value among the face points on the face center plane. After determining the point NPP, the 3D face data is rotated, moved in parallel, and scaled so that the coordinate value of the nose end point NPP has a coordinate value of (0,0, MAX) (S20).

상기 3차원 얼굴 데이터 정규화 과정(S20)을 더욱 구체적으로 설명하면 다음과 같다.The three-dimensional face data normalization process (S20) will be described in more detail as follows.

본 발명에서는 360° 전방향에 대한 얼굴 데이터 획득이 가능한 3D 얼굴 카메라 또는 3D 레이저 스캐너 등으로 3차원 얼굴 데이터를 획득한다.In the present invention, the 3D face data is acquired by a 3D face camera or a 3D laser scanner capable of acquiring face data in 360 ° omnidirectional.

3차원 얼굴 데이터의 경우 얼굴에 대한 색상 정보와 구조적 정보를 모두 포함하고 있다. 본 발명에서는 이 두 가지 정보를 모두 이용하여 데이터를 정규화하였다. 먼저, 주어진 3차원 얼굴 데이터의 색상 정보에 할-라이크(Haar-like) 특징을 이용한 아다부스트(Adaboost) 알고리즘을 적용하여 눈의 위치 정보를 추출하고, y축의 특정 기준점으로부터 추출된 눈의 위치를 나타내는 벡터를 각각

Figure 112007088263413-pat00003
,
Figure 112007088263413-pat00004
라 정의하고, 시선의 방향을 나타내는 벡터를
Figure 112007088263413-pat00005
로 정의하고, z축 기울임 벡터를
Figure 112007088263413-pat00006
라 정의한다. 이어서, 상기 눈 시선 벡터
Figure 112007088263413-pat00007
과 z축이 평행하고, 상기 z축 기울임 벡터
Figure 112007088263413-pat00008
와 y축이 평행하도록 회전 변환을 수행함으로써 대략적인 얼굴 포즈 추정을 할 수 있다.The 3D face data includes both color information and structural information about the face. In the present invention, both data are used to normalize the data. First, the eye position information is extracted by applying the Adaboost algorithm using a Haar-like feature to the color information of the three-dimensional face data, and the eye position extracted from a specific reference point on the y-axis is extracted. Each representing a vector
Figure 112007088263413-pat00003
,
Figure 112007088263413-pat00004
Let's define it as a vector
Figure 112007088263413-pat00005
And z-axis skew vector
Figure 112007088263413-pat00006
It is defined as Subsequently, the eye gaze vector
Figure 112007088263413-pat00007
And z-axis parallel, z-axis skew vector
Figure 112007088263413-pat00008
Rough face pose estimation can be performed by performing a rotation transformation such that the y axis is parallel to each other.

상기와 같이 얼굴 포즈가 추정되고 나면, 일반적인 얼굴 구조로 인해 정면의 얼굴의 경우 코는 두 눈 사이에 존재하며 눈보다 높은 z 좌표값을 가지게 되므로 이런 조건을 만족하는 영역에서 z 좌표값이 가장 큰 곳을 코끝점(NPP) 후보점

Figure 112007088263413-pat00009
라 정의하고, 이 코끝점(NPP) 후보점
Figure 112007088263413-pat00010
와 상기 눈 시선 벡터
Figure 112007088263413-pat00011
사이를 y축 방향으로 검색하여 주변보다 높은 z 좌표값을 가지는 콧등점(NRP)들을 추출한다.After the face pose is estimated as described above, the nose in front of the face is located between the two eyes due to the general face structure and has a higher z coordinate value than the eye. Nose point (NPP) candidate shop
Figure 112007088263413-pat00009
And the nose end point (NPP) candidate point
Figure 112007088263413-pat00010
And the eye gaze vector
Figure 112007088263413-pat00011
Searching in the y-axis direction to extract NRPs with z coordinates higher than the periphery.

이어서, 추출된 콧등점(NRP)들을 지나는 평면을 선형 회귀법에 의해 구하고, 그 평면을 얼굴중심 평면 Fc라 정의하고, 이 얼굴중심 평면 Fc와 얼굴 데이터가 만나서 생성되는 곡선상의 점들 가운데 가장 큰 z 좌표값을 가지는 점을 코끝점(NPP)으로 정한다.Then, obtained by linear regression of passing the extracted nose point (NRP) plane, the plane of the center of the face plane F c la defined, and the center of the face plane F c and face data that meet produced the largest among the points on the curve A point having a z coordinate value is defined as a nose end point (NPP).

이와 같이 정해진 코끝점(NPP)과 상기 얼굴중심 평면 Fc의 법선 벡터를 이용하여 코끝점(NPP)이 (0, 0, MAX), 예컨대 (0, 0, 100)의 좌표값을 갖도록 3차원 얼굴 데이터를 회전이동, 평행이동, 크기 조정하여 정규화한다.3D such that the nose end point (NPP) has a coordinate value of (0, 0, MAX), for example, (0, 0, 100) using the determined nose end point (NPP) and the normal vector of the face center plane F c . Normalize face data by rotation, translation, and scale.

참고로, 도 4는 본 발명에 따른 3차원 얼굴 데이터의 정규화 과정을 나타낸 사진으로서, 도 4의 (a)는 비정규화된 3차원 얼굴 데이터를 나타내고, 도 4의 (b)는 색상 정보에서의 눈 위치 추출 과정을 나타내고, 도 4의 (c)는 얼굴의 일반적인 구조정보를 이용하여 추출한 얼굴중심 평면 Fc와 코끝점(NPP)을 나타내고, 도 4의 (d)는 정규화된 3차원 얼굴 데이터를 나타낸다.For reference, FIG. 4 is a photograph showing a normalization process of three-dimensional face data according to the present invention. FIG. 4A illustrates non-normalized three-dimensional face data, and FIG. 4B illustrates color information. 4 illustrates an eye position extraction process, FIG. 4C illustrates a face center plane F c and a nose tip point (NPP) extracted using general structure information of a face, and FIG. 4D illustrates normalized three-dimensional face data. Indicates.

상기와 같이 3차원 얼굴 데이터가 정규화되고 나면, 정규화된 3차원 얼굴 데 이터로부터 원통좌표계 변환된 거리 영상을 생성한다(S22).After the 3D face data is normalized as described above, a cylindrical coordinate system transformed distance image is generated from the normalized 3D face data (S22).

종래의 3차원 얼굴 인식에서는 깊이 영상과 거리 영상의 개념을 동일한 개념으로 사용하고 있으나, 본 발명에서는 기존에 사용된 깊이 영상과는 다른 개념으로 거리 영상을 정의하고 사용한다.In the conventional three-dimensional face recognition, the concept of the depth image and the distance image are used as the same concept, but in the present invention, the distance image is defined and used in a different concept from the existing depth image.

도 5는 본 발명에서 사용하는 직교좌표계(x,y,z)와 원통좌표계(r,y,θ)의 정의를 나타내고, 도 6은 본 발명에서 깊이 영상과 거리 영상의 차이를 나타낸다.FIG. 5 shows definitions of a rectangular coordinate system (x, y, z) and a cylindrical coordinate system (r, y, θ) used in the present invention, and FIG. 6 shows a difference between a depth image and a distance image in the present invention.

참고로, 도 6의 (a)는 3차원 얼굴 모델을 나타내고, 도 6의 (b)와 (c)는 각각 거리 영상과 깊이 영상을 나타낸다.For reference, FIG. 6A illustrates a three-dimensional face model, and FIGS. 6B and 6C illustrate a distance image and a depth image, respectively.

본 발명에 있어서, 깊이 영상이란 직교 좌표계에서 3차원 물체의 z축 좌표값을 영상으로 나타낸 것이다. 반면에 거리 영상은 직교좌표계가 아니라 원통좌표계에서의 r 좌표값을 θ값에 따라서 영상으로 나타낸 것이다. In the present invention, the depth image represents an image of the z-axis coordinate value of the three-dimensional object in the rectangular coordinate system. On the other hand, the distance image is an image of the r coordinate value in the cylindrical coordinate system rather than the rectangular coordinate system according to the θ value.

본 발명에 따른 직교좌표계와 원통좌표계 변환은 다음의 수학식 1에 의해 이루어진다.The rectangular coordinate system and the cylindrical coordinate system conversion according to the present invention is performed by the following equation (1).

Figure 112006075675145-pat00012
Figure 112006075675145-pat00012

상기 정규화된 3차원 얼굴 데이터로부터 원통좌표계 변환된 거리 영상을 생 성되고 나면, 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)을 추출한다(S24).After generating the cylindrical coordinate transformed distance image from the normalized three-dimensional face data, a horizontal (horizontal) profile passing through the nose end point (NPP) is extracted (S24).

도 7은 2004년 연세대학교 생체인식 연구센터(BERC)에서 3차원 얼굴 인식 및 특징 추출을 위해 구축한 3차원 얼굴 데이터 DB에서 선택된 3개(DB1,DB2,DB3)의 얼굴 데이터로부터 추출한 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)을 나타낸 실시예이다.FIG. 7 illustrates a nose tip extracted from three (DB1, DB2, DB3) face data selected from a three-dimensional face data DB constructed for three-dimensional face recognition and feature extraction at the Yonsei University biometric research center (BERC) in 2004 ( The embodiment shows a transverse (horizontal) profile through NPP).

상기 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)이 추출되고 나면, 추출된 프로파일(profile)을 데이터베이스(DB)에 의해 학습된 방사 기저 함수 신경망(RBFN; Radial Basis Function Network)에 적용시킨 결과로 산출되는 방사 기저 함수들의 가중치(

Figure 112006075675145-pat00013
)를 얼굴 데이터의 전역적 특징으로 추출한다(S26).After the transverse (horizontal) profile through the nose end point (NPP) is extracted, the radial profile function network (RBFN) is trained on the extracted profile by the database (DB). Weights of the radiative basis functions
Figure 112006075675145-pat00013
) As a global feature of the face data (S26).

상기 전역적 특징 추출 과정(S26)을 더욱 구체적으로 설명하면 다음과 같다.The global feature extraction process S26 will be described in more detail as follows.

방사 기저 함수(RBF)는 중심점으로부터 단조 감소 또는 단조 증가하는 특성을 가진 함수이다. 이와 같은 특성으로 인해 방사 기저 함수(RBF)는 함수의 중심과 단조 증가 또는 단조 감소하는 패턴, 증가 또는 감소하는 속도로 정의되며, 일반적인 방사 기저 함수(RBF)는 하기의 수학식 2와 같다.The Radial Basis Function (RBF) is a function having a monotonic decrease or monotonous increase from the center point. Due to this characteristic, the radiation basis function (RBF) is defined as the center of the function and the pattern of monotonic increase or monotonic decrease, and the rate of increase or decrease, and the general radial basis function (RBF) is expressed by Equation 2 below.

Figure 112006075675145-pat00014
Figure 112006075675145-pat00014

상기 수학식 2에서, Φ는 단조 증가 또는 단조 감소하는 패턴을 의미하고, c 는 중심을, R은 단조 증가 또는 감소하는 정도를 나타낸다. 상기 Φ의 경우 여러 가지로 많은 형태의 함수가 존재하지만 일반적으로 아래의 수학식 3 내지 수학식 6 중에 어느 한가지로 정의된다.In Equation 2, Φ means a pattern of monotonous increase or monotonous decrease, c represents the center, and R represents the degree of monotonous increase or decrease. In the case of Φ, many types of functions exist, but are generally defined by any one of Equations 3 to 6 below.

Figure 112006075675145-pat00015
Figure 112006075675145-pat00015

Figure 112006075675145-pat00016
Figure 112006075675145-pat00016

Figure 112006075675145-pat00017
Figure 112006075675145-pat00017

Figure 112006075675145-pat00018
Figure 112006075675145-pat00018

상기 R은 많은 경우 R=r2I로 정의되어 사용되며, 참고로 도 8은 c=0, R=I인 경우의 방사 기저 함수(RBF)를 나타낸다.In many cases, R is defined and used as R = r 2 I. For reference, FIG. 8 shows a radiation basis function (RBF) when c = 0 and R = I.

상기 방사 기저 함수 신경망(RBFN)의 경우 모든 종류의 신경망 구조에 사용될 수 있으나 일반적으로 도 9와 같이 단층 신경망 구조에 자주 적용된다. n개의 입력 xj가 m개의 방사 기저 함수 hi(ㆍ)에 적용되며, m개의 hi(ㆍ)와 m개의 가중치 wi의 선형 결합에 의해 하기의 수학식 7과 같이 최종 결과 f(x)가 계산된다.The radiated basal function neural network (RBFN) can be used for all kinds of neural network structures, but is generally applied to monolayer neural network structures as shown in FIG. 9. n inputs x j are applied to m radial basis functions h i (·), and the final result f (x) is obtained by a linear combination of m h i (·) and m weights w i . ) Is calculated.

Figure 112006075675145-pat00019
Figure 112006075675145-pat00019

상기한 바와 같은 방사 기저 함수 신경망(RBFN) 학습을 위해, 본 발명에서는 도 7에 나타낸 바와 같은 3차원 얼굴 데이터 DB에서 추출된 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)을 학습 데이터로 사용하고, 최소자승법에 의한 오차 최소화 기법과 포워드 셀렉션(Forward selection) 기법을 적용한다.In order to learn the Radial Basal Function Neural Network (RBFN) as described above, in the present invention, a horizontal (horizontal) profile passing through the nose end point (NPP) extracted from the 3D face data DB as shown in FIG. It is used as training data, and error minimization and forward selection are applied.

상기 3차원 얼굴 데이터 DB에서 추출된 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)

Figure 112006075675145-pat00020
을 회귀하는 곡선 f(θ)를 방사 기저 함수 신경망(RBFN)를 이용하여 구할 경우, 하기의 수학식 8의 형태로 나타난다.Horizontal (horizontal) profile through the nose end point (NPP) extracted from the 3D face data DB
Figure 112006075675145-pat00020
When a curve f (θ) regressing is obtained by using a radial basis function neural network (RBFN), it is represented by Equation 8 below.

Figure 112006075675145-pat00021
Figure 112006075675145-pat00021

상기 수학식 8에 최소자승법

Figure 112007088263413-pat00055
을 적용할 경우 가중치(
Figure 112007088263413-pat00023
)는 하기의 수학식 9로 계산된다.Least Squares Method in Equation 8
Figure 112007088263413-pat00055
If you apply a weight
Figure 112007088263413-pat00023
) Is calculated by the following equation (9).

Figure 112006075675145-pat00024
Figure 112006075675145-pat00024

상기와 같이 방사 기저 함수 신경망(RBFN)의 기저 함수로 구성되는 H가 정해지면 최소자승법에 의해 방사 기저 함수 신경망(RBFN)의 가중치 (

Figure 112006075675145-pat00025
)가 결정된다. H를 정하기 위해서 사용되는 기저 함수 h(θ)와 기저 함수의 개수 m을 정해주어야 한다. 이 과정은 포워드 셀렉션(Forward selection) 기법을 적용하여 수행한다.As described above, when H consisting of the basis functions of the radial basis function neural network RBFN is determined, the weight of the radial basis function neural network RBFN is determined by the least square method (
Figure 112006075675145-pat00025
) Is determined. The base function h (θ) used to determine H and the number m of base functions must be determined. This process is performed by applying a forward selection technique.

상기 포워드 셀렉션(Forward selection) 기법은 전체 집합에서 어떤 조건에 적합한 부분집합을 선택하는 알고리즘이다. 즉 가로방향(수평방향) 프로파일(profile)

Figure 112006075675145-pat00026
을 이루는 모든 점으로부터 적절한 부분 집합을 선택하여 그 부분 집합으로 전체 집합을 대신하는 알고리즘이다. 적절한 부분 집합을 선택하는 기준으로 일반적으로 오차제곱합(SSE; Sum of Square Error)을 사용한다.The forward selection technique is an algorithm for selecting a subset suitable for a certain condition in the entire set. Horizontal (horizontal) profile
Figure 112006075675145-pat00026
It is an algorithm that selects an appropriate subset from all points that make up a subset and replaces the entire set with that subset. In general, a sum of square error (SSE) is used as a criterion for selecting an appropriate subset.

참고로, 일반적인 포워드 셀렉션(Forward selection) 기법은 다음과 같이 3단계로 이루어진다.For reference, a general forward selection technique consists of three steps as follows.

1) 초기치로 공집합 B를 설정한다.1) Set empty set B as the initial value.

2) 전체집합 A의 원소 가운데 오차제곱합(SSE)을 최소로 하는 원소 한 개를 선택하여 집합 B로 이동한다.2) Select one of the elements of the total set A to minimize the error square sum (SSE) and move to the set B.

3) 오차제곱합(SSE)이 임계값보다 작거나 또는 A집합의 모든 원소가 B집합으로 이동할 때까지 상기 2)번 과정을 반복한다.3) Repeat step 2) until the SSE is less than the threshold or all the elements in the A set move to the B set.

상기 2)번의 과정에서 이때 기저 함수 h(θ)의 종류를 상기의 수학식 3 내지 수학식 6을 모두 적용시켜 적절한 기저 함수 h(θ)를 선택하여야 하며, 동시에 상기 수학식 2의 R도 선택하여야 한다. 그러나, 본 발명에서는 학습 시간을 줄이고 학습의 효율성을 높이기 위해 기저 함수 h(θ)를 상기 수학식 3의 형태로 고정시켜 사용하였다.In step 2), the base function h (θ) should be selected by applying all of the above equations (3) to (6), and at the same time, the R of the equation (2) should be selected. shall. However, in the present invention, the basis function h (θ) is fixed in the form of Equation 3 in order to reduce the learning time and increase the learning efficiency.

도 10은 기저 함수 개수 m의 증가에 따른 오차제곱합(SSE)을 나타낸다. 도 10에서 볼 수 있듯이 기저 함수 개수 m이 증가함에 따라서 오차제곱합(SSE)은 감소함을 확인할 수 있으며, 약 95%의 정확도까지 방사 기저 함수 신경망(RBFN)을 학습시킬 경우 약 30개의 방사 기저 함수(RBF)가 필요하다는 것을 알 수 있다. 그래서 본 발명에 따른 실시예에서는 방사 기저 함수 신경망(RBFN) 학습을 통해 선택된 θm을 중심으로 하는 30개의 방사 기저 함수(RBF)를 사용하여 상기 수학식 9의 H를 생성하였으며, 상기 수학식 9에 의해 가중치(

Figure 112006075675145-pat00027
)를 구하여 각 얼굴 데이터의 특징으로 사용하였다.Figure 10 shows the error square sum (SSE) as the basis function number m increases. As can be seen in FIG. 10, as the number of base functions m increases, the error square sum (SSE) decreases, and when the radial basis function neural network (RBFN) is trained to about 95% accuracy, about 30 radial basis functions are obtained. It can be seen that (RBF) is required. Therefore, in the embodiment according to the present invention, the H of Equation 9 is generated using 30 radial basis functions (RBF) centered on θ m selected through radial basis function neural network (RBFN) learning. Weighted by
Figure 112006075675145-pat00027
) Was used as a feature of each face data.

참고로, 도 11은 본 발명에 따라 추출된 전역적 특징을 사용하여 3차원 얼굴 인식을 수행할 경우의 인식률 측정 결과를 나타낸 그래프로서, 3차원 얼굴 DB 100명에 대해서 계산한 결과 92.7%의 인식률(EER)을 획득할 수 있었다.For reference, FIG. 11 is a graph illustrating a result of measuring a recognition rate when performing 3D face recognition using the extracted global feature according to the present invention. As a result of calculating 100 3D face DBs, a recognition rate of 92.7% is shown. (EER) could be obtained.

이상에서 설명한 본 발명에 따른 3차원 얼굴 인식을 위한 전역적 특징 추출 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.The global feature extraction method for the three-dimensional face recognition according to the present invention described above is not limited to the above-described embodiments, and is provided in the field of the present invention without departing from the gist of the present invention as claimed in the following claims. Anyone with ordinary knowledge has the technical spirit to the extent that various changes can be made.

상술한 바와 같은 본 발명에서는 포즈 및 크기 보정 과정을 거친 거리 영상에서 코끝점(NPP)을 지나는 가로방향(수평방향)의 프로파일(profile)을 추출하고, 추출된 프로파일(profile)을 방사 기저 함수 신경망(RBFN)을 통해 학습시킨 결과로 파생되는 가중치를 3차원 얼굴 인식에 적합한 전역적 특징으로 추출하고, 특히 내외적 환경 변화에 의한 영향을 가장 적게 받는 국소적 영역에서 방사 기저 함수 신경망(RBFN)을 이용한 전역적 방법을 사용하여 특징을 추출하였기 때문에 국소적 특징의 단점과 전역적 특징의 단점을 상호 보완하면서 국소적 특징의 장점과 전역적 특징의 장점을 모두 가지고 있다.In the present invention as described above, a profile of the horizontal direction (horizontal direction) passing through the nose end point (NPP) is extracted from the distance image undergoing the pose and size correction process, and the extracted profile is a radial basis function neural network. (RBFN) extracts the weights derived as a global feature suitable for three-dimensional face recognition, and extracts the RBFN in the local region that is least affected by internal and external environmental changes. Since the feature is extracted using the global method, it has both the advantages of local features and the advantages of global features while complementing the disadvantages of local features and global features.

또한, 본 발명에 따라 추출된 전역적 특징을 사용하여 3차원 얼굴 인식을 수행할 경우 학습방법에 따라 동일인으로부터 여러 개의 특징 정보를 추출하여 생체 정보 유출 시 생체 정보의 불변성이라는 단점을 해결할 수 있으며, 국소적 영역에서의 전역적 특징을 추출하므로 특징 정보 유출 시 원래 얼굴로의 역변환이 불가능한 장점이 있다.In addition, when performing 3D face recognition using the extracted global feature according to the present invention, it is possible to solve the disadvantage of invariant of biometric information when biometric information is extracted by extracting a plurality of feature information from the same person according to a learning method. Since global features are extracted from the local domain, inverse information conversion to the original face is impossible when feature information is leaked.

더욱 구체적으로는, 첫 번째로 조명의 영향을 받지 않는 얼굴의 구조적 정보인 가로방향(수평방향)의 프로파일(profile)을 이용하여 특징을 생성하기 때문에 조명 변화에 의한 영향이 없다.More specifically, since the feature is first generated using a profile in the horizontal direction (horizontal direction), which is structural information of the face which is not affected by the illumination, there is no influence due to the illumination change.

두 번째로 3차원 데이터의 특성상 포즈 추정 및 보정이 가능하기 때문에 포즈 문제와 크기 문제에 의한 영향을 받지 않는다.Second, since pose estimation and correction are possible due to the characteristics of 3D data, it is not affected by pose and size problems.

세 번째로 입과 턱 영역의 경우 표정 변화나 대화, 취식 등에 의해 구조적인 변화가 크게 발생하고, 눈 영역의 경우는 표정 변화에 의해 구조적 변화가 심하지는 않지만 여전히 구조적인 변화가 발생하며 안경이라는 일반적인 장신구에 의해 영향을 많이 받는 영역이고, 이마 부분의 경우 개인적 특성이 비슷하고 머리카락에 의해 가려질 가능성이 높은 영역인 반면에, 본 발명에 따른 코끝점(NPP)을 지나는 가로방향(수평방향)의 프로파일(profile)은 얼굴에서 가려짐과 움직임이 거의 없는 영역이므로 표정 변화에 강인하며, 장신구의 영향을 가장 적게 받는다.Third, structural changes occur greatly in the mouth and jaw areas due to facial expressions, conversation, and eating. In the eye area, structural changes are not severe due to facial expressions, but structural changes still occur. In the forehead part, the area of the forehead is similar to the personal characteristics and is likely to be covered by the hair, whereas the profile of the transverse direction (horizontal direction) through the nose end point (NPP) according to the present invention (profile) is the area of the face that is almost obscured and no movement, so it is strong in facial expression change and is least influenced by jewelry.

네 번째로 상기 가로방향(수평방향)의 프로파일(profile) 자체가 아니라 이 프로파일(profile)을 방사 기저 함수 신경망(RBFN)에 적용하여 가공한 형태인 가중치를 특징으로 사용하기 때문에 특징의 차원 감소와 함께 정규화가 가능하여 테스트 데이터의 특징과 DB 데이터의 특징을 비교하기가 용이하다.Fourthly, this profile is applied to the Radial Basis Function Neural Network (RBFN) instead of the transverse profile itself, so that the weight is used as a feature. It can be normalized together, making it easy to compare the characteristics of test data with those of DB data.

다섯 번째로 방사 기저 함수 신경망(RBFN)의 학습 과정은 미분 연산이 아니 고 오차를 줄여주는 방향으로 진행하는 적분 연산이기 때문에 입력 데이터의 잡음에 의해 발생하는 결과의 변화가 적다. 즉 테스트 데이터의 잡음으로 인해 추출되는 특징의 변화가 작다.Fifth, the learning process of RBFN is not a derivative operation but an integral operation that proceeds in the direction of error reduction, so there is little change in the result caused by noise of input data. In other words, due to the noise of the test data, the change of the extracted feature is small.

여섯 번째로 공간상의 한 지점을 기준으로 하는 국소적 특징이 아니라 프로파일(profile) 전체 데이터를 이용하는 전역적 특징이기 때문에 테스트 데이터와 DB 데이터의 대응점을 찾는 과정이 필요 없다.Sixth, it is not a local feature based on a point in space, but a global feature that uses the entire profile data, so there is no need to find a match between the test data and the DB data.

실제로, 연세대학교 생체인식 연구 센터의 3차원 얼굴 DB 100명에 대해서 본 발명에 따라 생성된 방사 기저 함수 신경망(RBFN)의 가중치를 각 테스트 데이터의 특징으로 사용하고, 그 특징들을 비교함으로써 얼굴 인식을 수행해본 결과 하나의 프로파일(profile)만 가지고서도 92.7%의 인식률을 보였다.Indeed, for 100 three-dimensional face DBs of the Yonsei University biometric research center, the weights of the RBFNs generated according to the present invention are used as the characteristics of each test data, and facial recognition is compared by comparing the characteristics. As a result, the recognition rate was 92.7% with only one profile.

Claims (4)

3차원 데이터 획득 장치에 의해 획득된 3차원 얼굴 데이터의 색상 정보와 구조적 정보 중 상기 색상 정보에 할-라이크(Haar-like) 특징을 이용한 아다부스트(Adaboost) 알고리즘을 적용하여 눈 위치 정보를 추출하고, 추출된 눈 위치 정보를 이용하여 얼굴 포즈를 추정한 다음, 상기 구조적 정보 중 두 눈 사이에 존재하는 눈 보다 높은 z 좌표값을 가지는 코끝점(NPP; Nose Peak Point) 후보점을 추출한 후, 이 점을 중심으로 콧등점(NRP; Nose Ridge Point)들을 추출하고, 추출된 콧등점(NRP)들을 기반으로 얼굴 중심 평면을 선형회귀법에 의해서 구하고, 얼굴 중심 평면 위의 얼굴 점들 가운데 z 좌표값이 가장 큰 점을 코끝점(NPP)으로 선택하고 코끝점(NPP)의 좌표값이 (0,0,MAX)의 좌표값을 갖도록 3차원 얼굴 데이터를 회전이동, 평행이동, 크기 조정하여 정규화하는 과정과;The eye position information is extracted by applying an Adaboost algorithm using a haar-like feature to the color information among the color information and the structural information of the 3D face data acquired by the 3D data obtaining apparatus. After estimating a face pose using the extracted eye position information, a candidate point (NPP; Nose Peak Point) having a higher z-coordinate value than an eye existing between two eyes among the structural information is extracted, and then Extract the Nose Ridge Points (NRP) around the point, and calculate the face center plane by linear regression based on the extracted Nop Points (NRP), and the z coordinate value among the face points on the face center plane is the most Selecting a large point as the nose end point (NPP) and normalizing the three-dimensional face data by rotating, parallelizing, and scaling so that the coordinate value of the nose end point (NPP) has a coordinate value of (0,0, MAX); ; 정규화된 3차원 얼굴 데이터로부터 원통좌표계 변환된 거리 영상을 생성하는 과정;Generating a cylindrical coordinate transformed distance image from the normalized three-dimensional face data; 생성된 거리 영상으로부터 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)을 추출하는 과정; 및Extracting a horizontal (horizontal) profile passing through the nose end point NPP from the generated distance image; And 추출된 프로파일(profile)을 데이터베이스에 의해 학습된 방사 기저 함수 신경망(RBFN; Radial Basis Function Network)에 적용시킨 결과로 산출되는 방사 기저 함수들의 가중치(
Figure 112006075675145-pat00028
)를 얼굴 데이터의 전역적 특징으로 추출하는 과정;The weight of the radial basis functions calculated as a result of applying the extracted profile to the Radial Basis Function Network (RBFN) learned by the database (
Figure 112006075675145-pat00028
) As a global feature of the face data; 으로 이루어지는 것을 특징으로 하는 3차원 얼굴 인식을 위한 전역적 특징 추출 방법.Global feature extraction method for three-dimensional face recognition, characterized in that consisting of. 제 1 항에 있어서, 상기 3차원 얼굴 데이터 정규화 과정은The method of claim 1, wherein the three-dimensional face data normalization process is performed. 주어진 3차원 얼굴 데이터의 색상 정보에 할-라이크(Haar-like) 특징을 이용한 아다부스트(Adaboost) 알고리즘을 적용하여 눈의 위치 정보를 추출하는 과정과;Extracting eye position information by applying an Adaboost algorithm using a Haar-like feature to color information of the given three-dimensional face data; y축의 특정 기준점으로부터 추출된 눈의 위치를 나타내는 벡터를 각각
Figure 112007088263413-pat00029
,
Figure 112007088263413-pat00030
라 정의하고, 시선의 방향을 나타내는 벡터를
Figure 112007088263413-pat00031
로 정의하고, z축 기울임 벡터를
Figure 112007088263413-pat00032
라 정의하는 과정;each of the vectors representing the position of the eye extracted from a particular reference point on the y-axis.
Figure 112007088263413-pat00029
,
Figure 112007088263413-pat00030
Let's define it as a vector
Figure 112007088263413-pat00031
And z-axis skew vector
Figure 112007088263413-pat00032
D) the process of definition; 상기 눈 시선 벡터
Figure 112007088263413-pat00033
과 z축이 평행하고, 상기 z축 기울임 벡터
Figure 112007088263413-pat00034
와 y축이 평행하도록 회전 변환을 수행함으로써 얼굴 포즈를 추정하는 과정;Eye eye vector
Figure 112007088263413-pat00033
And z-axis parallel, z-axis skew vector
Figure 112007088263413-pat00034
Estimating a face pose by performing rotation transformation such that the y axis is parallel to the y axis; 얼굴 포즈가 추정되고 나면, 두 눈 사이에 존재하면서 z 좌표값이 가장 큰 곳을 코끝점(NPP) 후보점
Figure 112007088263413-pat00035
라 정의하고, 이 코끝점(NPP) 후보점
Figure 112007088263413-pat00036
와 상기 눈 시선 벡터
Figure 112007088263413-pat00037
사이를 y축 방향으로 검색하여 주변보다 높은 z 좌표값을 가지는 콧등점(NRP)들을 추출하는 과정;Once the face pose has been estimated, the nose end point (NPP) candidate point that exists between the two eyes and has the largest z coordinate value
Figure 112007088263413-pat00035
And the nose end point (NPP) candidate point
Figure 112007088263413-pat00036
And the eye gaze vector
Figure 112007088263413-pat00037
Extracting NRP points having a higher z-coordinate value than the periphery by searching in the y-axis direction; 추출된 콧등점(NRP)들을 지나는 평면을 선형 회귀법에 의해 구하고, 그 평면을 얼굴중심 평면 Fc라 정의하고, 이 얼굴중심 평면 Fc와 얼굴 데이터가 만나서 생성되는 곡선상의 점들 가운데 가장 큰 z 좌표값을 가지는 점을 코끝점(NPP)으로 정하는 과정; 및Obtained by passing the extracted nose point (NRP) plane to a linear regression, and the plane of the center of the face plane F c la defined, and the center of the face plane F c with the largest z-coordinate of points on the face curves in which the data is to meet generated Determining a point having a value as a nose end point (NPP); And 이와 같이 정해진 코끝점(NPP)과 상기 얼굴중심 평면 Fc의 법선 벡터를 이용하여 코끝점(NPP)이 (0, 0, MAX)의 좌표값을 갖도록 3차원 얼굴 데이터를 회전이동, 평행이동, 크기 조정하여 정규화하는 과정;Rotating, paralleling, and moving the 3D face data such that the nose end point NPP has a coordinate value of (0, 0, MAX) using the determined nose end point NPP and the normal vector of the face center plane F c Resizing to normalize; 으로 이루어지는 것을 특징으로 하는 3차원 얼굴 인식을 위한 전역적 특징 추출 방법.Global feature extraction method for three-dimensional face recognition, characterized in that consisting of. 제 1 항에 있어서, 상기 거리 영상 생성 과정에서는The method of claim 1, wherein the distance image generation process 하기의 수학식Equation 에 의해 원통좌표계 변환하여 원통좌표계에서의 r 좌표값을 θ값에 따라서 나타낸 거리 영상을 생성하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 전역적 특징 추출 방법.And transforming the cylindrical coordinate system to generate a distance image representing the r coordinate value in the cylindrical coordinate system according to the θ value. 제 1 항에 있어서, 상기 전역적 특징 추출 과정에서는The method of claim 1, wherein the global feature extraction process 추출된 코끝점(NPP)를 지나는 가로방향(수평방향) 프로파일(profile)
Figure 112007088263413-pat00039
을 회귀하는 곡선 f(θ)를 방사 기저 함수 신경망(RBFN)를 이용하여 구할 경우, 하기의Horizontal (horizontal) profile through the extracted nose tip (NPP)
Figure 112007088263413-pat00039
When a curve f (θ) that regresses is obtained using a radiative basis function neural network (RBFN),
Figure 112007088263413-pat00040
Figure 112007088263413-pat00040
 의 형태로 나타내고, 이 수학식에 최소자승법
Figure 112007088263413-pat00056
을 적용할 경우 가중치(
Figure 112007088263413-pat00042
)는 하기의 수학식In the form of, the least-square method
Figure 112007088263413-pat00056
If you apply a weight
Figure 112007088263413-pat00042
) Is the following equation
Figure 112007088263413-pat00043
Figure 112007088263413-pat00043
 로 계산되는 것을 특징으로 하는 3차원 얼굴 인식을 위한 전역적 특징 추출 방법.Global feature extraction method for three-dimensional face recognition, characterized in that calculated by.
KR1020060102084A 2006-10-20 2006-10-20 Global feature extraction method for 3D face recognition KR100828411B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060102084A KR100828411B1 (en) 2006-10-20 2006-10-20 Global feature extraction method for 3D face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060102084A KR100828411B1 (en) 2006-10-20 2006-10-20 Global feature extraction method for 3D face recognition

Publications (2)

Publication Number Publication Date
KR20080035711A KR20080035711A (en) 2008-04-24
KR100828411B1 true KR100828411B1 (en) 2008-05-09

Family

ID=39574461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060102084A KR100828411B1 (en) 2006-10-20 2006-10-20 Global feature extraction method for 3D face recognition

Country Status (1)

Country Link
KR (1) KR100828411B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437011B2 (en) 2012-06-11 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for estimating a pose of a head for a person
KR20170015639A (en) 2015-07-29 2017-02-09 대한민국(관리부서: 행정자치부 국립과학수사연구원장) Personal Identification System And Method By Face Recognition In Digital Image
KR20190056273A (en) * 2017-11-16 2019-05-24 주식회사 하이퍼커넥트 Terminal and server providing a video call service
US10452977B2 (en) 2016-07-28 2019-10-22 Samsung Electronics Co., Ltd. Neural network method and apparatus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101159962B1 (en) * 2010-05-25 2012-06-25 숭실대학교산학협력단 Facial Expression Recognition Interaction Method between Mobile Machine and Human
KR101660596B1 (en) * 2014-12-05 2016-09-27 한국 한의학 연구원 Method for modifying gradient of facial shape, and system for the same
CN111931590B (en) * 2020-07-15 2023-09-29 杭州电子科技大学 Balanced face feature extraction method of self-adaptive four-corner star-shaped partial graph structure
KR102569572B1 (en) * 2022-08-10 2023-08-24 주식회사 오젤 A system for providing virtual wearing image
CN116664393B (en) * 2023-07-05 2024-02-27 北京大学 Face data bleaching method, device, computing equipment and storage medium
CN116883472B (en) * 2023-09-08 2023-11-14 山东德亿鑫信息科技有限公司 Face nursing system based on face three-dimensional image registration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022295A (en) * 2000-09-19 2002-03-27 장기화 Device And Method For Face Recognition Using 3 Dimensional Shape Information
KR20020024412A (en) * 2000-09-25 2002-03-30 윤종용 Apparatus and method for normalization and feature extraction of 3-Dimension facial data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022295A (en) * 2000-09-19 2002-03-27 장기화 Device And Method For Face Recognition Using 3 Dimensional Shape Information
KR20020024412A (en) * 2000-09-25 2002-03-30 윤종용 Apparatus and method for normalization and feature extraction of 3-Dimension facial data

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437011B2 (en) 2012-06-11 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for estimating a pose of a head for a person
KR20170015639A (en) 2015-07-29 2017-02-09 대한민국(관리부서: 행정자치부 국립과학수사연구원장) Personal Identification System And Method By Face Recognition In Digital Image
US10452977B2 (en) 2016-07-28 2019-10-22 Samsung Electronics Co., Ltd. Neural network method and apparatus
US11222263B2 (en) 2016-07-28 2022-01-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
US11625601B2 (en) 2016-07-28 2023-04-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
KR20190056273A (en) * 2017-11-16 2019-05-24 주식회사 하이퍼커넥트 Terminal and server providing a video call service
KR102034839B1 (en) * 2017-11-16 2019-10-21 주식회사 하이퍼커넥트 Terminal and server providing a video call service

Also Published As

Publication number Publication date
KR20080035711A (en) 2008-04-24

Similar Documents

Publication Publication Date Title
KR100828411B1 (en) Global feature extraction method for 3D face recognition
Al-Osaimi et al. An expression deformation approach to non-rigid 3D face recognition
Thornton et al. A Bayesian approach to deformed pattern matching of iris images
CN101819628B (en) Method for performing face recognition by combining rarefaction of shape characteristic
Cristinacce et al. A comparison of shape constrained facial feature detectors
CN103514441B (en) Facial feature point locating tracking method based on mobile platform
Li et al. Efficient 3D face recognition handling facial expression and hair occlusion
CN101833672A (en) Sparse representation face identification method based on constrained sampling and shape feature
Chansri et al. Reliability and accuracy of Thai sign language recognition with Kinect sensor
KR100828412B1 (en) 3d face recognition method using multiple point signature
KR20020057522A (en) Face-image recognition method of similarity measure using correlation
JP2005351814A (en) Detector and detecting method
Salah et al. 3D facial feature localization for registration
Yuan et al. Research on intelligent algorithm of identity authentication based on facial features
Chen et al. 2d face alignment and pose estimation based on 3d facial models
Si et al. Age-invariant face recognition using a feature progressing model
Bastos et al. Pupil segmentation using pulling & pushing and BSOM neural network
KR20050042369A (en) Method of error compensated singular value decomposition based head pose estimation for 3d face recognition
Liu et al. Fast facial landmark detection using cascade classifiers and a simple 3D model
Hahmann et al. Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform
Yilmaz et al. Facial feature extraction using a probabilistic approach
Zou et al. 3-D face recognition based on warped example faces
JayaMohan et al. Face recognition under expressions and lighting variations using artificial intelligence and image synthesizing
Tun et al. Gait based Human Identification through Intra-Class Variations
Ayarpadi et al. Face recognition under expressions and lighting variations using masking and synthesizing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130308

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140417

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150428

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160519

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee