KR101310504B1 - Method for automatically setting camera parameters for biometric identification and biometric system using the method - Google Patents

Method for automatically setting camera parameters for biometric identification and biometric system using the method Download PDF

Info

Publication number
KR101310504B1
KR101310504B1 KR1020120062868A KR20120062868A KR101310504B1 KR 101310504 B1 KR101310504 B1 KR 101310504B1 KR 1020120062868 A KR1020120062868 A KR 1020120062868A KR 20120062868 A KR20120062868 A KR 20120062868A KR 101310504 B1 KR101310504 B1 KR 101310504B1
Authority
KR
South Korea
Prior art keywords
value
similarity
biometric
biometric information
camera
Prior art date
Application number
KR1020120062868A
Other languages
Korean (ko)
Inventor
정지년
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020120062868A priority Critical patent/KR101310504B1/en
Application granted granted Critical
Publication of KR101310504B1 publication Critical patent/KR101310504B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

PURPOSE: An automatic camera parameter setting method for bio recognition and a bio recognition system thereof are provided to supply a high recognition rate in a given environment by adaptively setting an optimal camera parameter according to the environments in which the bio recognition system is placed. CONSTITUTION: A determining unit (20) extracts bio recognition information from an image obtained through a camera (10) and compares the bio recognition information with stored bio recognition information in order to calculate the similarity between them. A database (30) stores first bio recognition information about a specific person and second bio recognition information about another person. A parameter adjusting unit (40) calculates a difference value between first similarity and second similarity based on the first similarity and the second similarity in order to obtain environment conformity and adjusts a parameter value of the camera to make the parameter value have the maximum value. [Reference numerals] (20) Determining unit; (30) Database; (40) Parameter adjusting unit

Description

생체 인식을 위한 카메라 파라미터 자동 설정 방법 및 그 방법을 이용한 생체 인식 시스템 {METHOD FOR AUTOMATICALLY SETTING CAMERA PARAMETERS FOR BIOMETRIC IDENTIFICATION AND BIOMETRIC SYSTEM USING THE METHOD}Camera parameter automatic setting method for biometrics and biometrics system using the method {METHOD FOR AUTOMATICALLY SETTING CAMERA PARAMETERS FOR BIOMETRIC IDENTIFICATION AND BIOMETRIC SYSTEM USING THE METHOD}

본 발명은 생체 인식을 위한 카메라 파라미터 자동 설정 방법 및 그 방법을 이용한 생체 인식 시스템으로서, 보다 구체적으로는 얼굴과 같은 생체 정보를 인식할 때, 인식률을 향상시키기 위해 주어진 촬영 환경에서 최적의 카메라 파라미터 값을 자동으로 설정하는 방법 및 그 방법을 이용한 생체 인식 시스템에 관한 것이다.
The present invention is a method for automatically setting camera parameters for biometrics and a biometric system using the method. More specifically, when recognizing biometric information such as a face, an optimal camera parameter value is given in a given shooting environment to improve recognition rate. The present invention relates to a method for automatically setting the biometric system using the method.

정보화 사회로 이행되는 과정에서 개인은 물론 특정 단체의 정보(이하 "개인 정보"라 한다)는 어느 자산보다도 중요한 가치를 지니게 되었다. 이렇게 중요한 개인 정보를 보호하기 위해서 각종 패스워드(password)가 사용되고, 기타 신분을 확인할 수 있는 기술이 절실히 요구되고 있다. 정보 보호 차원을 넘어서 신용카드, 현금카드, 전자 주민등록증 등 신분 확인을 필요로 하는 사회적 요구는 계속 확대되고 있으나 현재까지는 비밀번호 이외의 보조적인 신분 확인 방법이 없기 때문에 컴퓨터를 사용한 범죄 등 많은 사회적 문제점을 안고 있다. 최근에는 이러한 문제점을 해결할 수 있는 방법으로 지문, 홍채, 정맥의 모양 등 사람의 생체 정보를 이용하여 신원을 판별하는 생체 인식 기술이 주목받고 있다.In the process of transitioning to an information society, the information of individuals as well as specific groups (hereinafter referred to as "personal information") has become more important than any asset. In order to protect such important personal information, various passwords are used, and there is an urgent need for a technology that can identify other users. Beyond protecting information, social demands for identity verification such as credit cards, cash cards, and electronic resident registration cards continue to expand, but until now there are no supplementary identification methods other than passwords. have. Recently, as a method of solving such a problem, a biometric technology for identifying an identity using biometric information of a person such as a fingerprint, an iris, and a vein shape has been attracting attention.

특히, 얼굴 검증 기술은 사용자가 특별한 동작이나 행위를 취할 필요 없이 단순히 카메라를 쳐다보면 되고, 심지어는 사용자 자신이 인지하지 못하는 동안 신분 확인을 할 수 있다는 장점이 있기 때문에 가장 편리하고, 경쟁력 있는 신분 확인 방법으로 평가된다. 또한, 상술한 단순 신원 확인 이외에도, 단말기 접근 제어, 공공 장소 관제 시스템, 전자 사진첩, 범죄자 얼굴 인식 등 많은 응용 분야를 가지고 있어, 정보화 사회에서 그 파급효과는 매우 큰 것으로 평가된다.In particular, face verification technology provides the most convenient and competitive identification because users can simply look at the camera without having to take special actions or actions, or even identify themselves without the user's knowledge. It is evaluated by the method. In addition to the simple identification described above, there are many application fields such as terminal access control, public place control system, electronic photo album, criminal face recognition, and the ripple effect of the information society is estimated to be very large.

일반적으로 생체인식 기술을 이용한 신분 검증방법은 도 1(a)에 도시한 바와 같이, 크게 2가지 과정을 거치게 되는데, 하나는 이용자의 생체 정보를 등록하는 단계(S1)이고, 또 다른 하나는 이용자의 신분을 검증하는 단계(S2)이다.In general, the identification verification method using the biometric technology, as shown in Fig. 1 (a), is largely subjected to two processes, one is to register the user's biometric information (S1), the other is the user Verifying the identity of (S2).

일반적으로 얼굴 인식 시스템을 이용하기 위해서는 도 1(a)에 도시한 바와 같이, 이용자들은 먼저 자신의 얼굴을 얼굴 인식 시스템에 등록을 한다(S1). 즉, 얼굴 인식 시스템은 얼굴 등록을 위해 도 1(b)에 도시한 바와 같이, 카메라를 이용하여 이용자 자신의 얼굴이 포함된 영상을 취득하게 된다(S10). 이후 얼굴 인식 시스템은 입력된 전체 영상에서 얼굴 영역만을 검출(S20)한 후, 검출된 얼굴 영역으로부터 얼굴의 인식 특징들을 추출하여 그 특징값을 계산한다(S30). 이때, 얼굴 영상 그 자체는 정보량이 너무 많고 표정, 노화, 조명, 크기 변화에 민감하게 반응하기 때문에, 얼굴의 다양한 변화에 무관한 특징값을 찾아내게 되어, 인식의 오류율을 높일 수 있는 문제가 발생할 수 있다.In general, in order to use the face recognition system, as shown in FIG. 1A, users first register their faces in the face recognition system (S1). That is, the face recognition system acquires an image including a user's own face using a camera as shown in FIG. 1B for face registration (S10). Thereafter, the face recognition system detects only a face region from the entire input image (S20), and then extracts recognition features of a face from the detected face region and calculates a feature value thereof (S30). At this time, since the face image itself has too much information and reacts sensitively to facial expressions, aging, lighting, and size changes, it is necessary to find feature values irrelevant to various changes in the face, thereby increasing the error rate of recognition. Can be.

이렇게 추출된 특징값들은 얼굴 데이터베이스에 저장되어, 얼굴 검증 과정(S2)에서 이용된다. 얼굴 검증 과정(S2)은 얼굴 데이터 등록 과정과 대부분 동일하나, 다만 검증 대상이 되는 얼굴의 특징값을 추출(S30)한 후, 이 특징값들을 기존의 데이터베이스에 등록된 이용자의 얼굴 특징값들과 비교하여, 검증 대상이 등록된 얼굴인지를 검증하는 단계를 더 포함하게 된다.The extracted feature values are stored in the face database and used in the face verification process (S2). The face verification process S2 is mostly the same as the face data registration process, but after extracting the feature values of the face to be verified (S30), the feature values are compared with the face feature values of the user registered in the existing database. In comparison, the method may further include verifying whether the verification target is a registered face.

얼굴 인식 시스템은 앞서 설명한 바와 같이, 카메라로부터 취득한 영상의 품질에 따라 성능의 차이가 발생한다. 즉, 취득 영상의 품질은 조명 환경에 영상을 받기 때문에, 조명 환경의 변화에 대응하기 위해서 일반적으로 카메라의 최적 파라미터(노출, 감마 보정, 이득(gain)) 값을 조절한다.As described above, in the face recognition system, a difference in performance occurs according to the quality of an image acquired from a camera. That is, since the quality of the acquired image is received in the illumination environment, in general, the optimum parameter values (exposure, gamma correction, and gain) of the camera are adjusted to cope with changes in the illumination environment.

다만, 이와 같은 과정이 매우 정성적(定性的)이기 때문에, 영상을 취득하는 과정에서 얼굴 인식률을 향상시키기 위한 최적의 카메라 파라미터 값을 설정하기 어려운 측면이 있고, 아울러 카메라 파라미터 값의 설정은 기술자의 숙련도에 의존하는 측면이 크기 때문에, 기술자에 따라 얼굴 인식 시스템의 얼굴 인식률이 달라질 수 있는 문제점이 있다.However, since such a process is very qualitative, it is difficult to set an optimal camera parameter value for improving face recognition rate in the process of acquiring an image. Since the aspect depending on the skill is large, there is a problem that the face recognition rate of the face recognition system may vary according to the technician.

다시 말해, 우수한 품질의 영상을 획득하기 위하여 종래의 카메라 파라미터 값이 숙련된 기술자에 의해 설정되었더라도 결국 사람의 눈에 의존하여 정성적으로 판정한 값에 불과하고, 설사 최적의 파라미터 값이 설정되었다고 하더라도, 카메라의 설치 위치가 변경된 경우에는 조명 등의 외부적인 환경 요인 역시 변화되어, 영상 품질에 영향을 미치기 때문에 카메라 파라미터 값은 우수한 품질의 영상을 획득하기 위한 최적의 파라미터 값으로 설정되었다고 말하기 어렵다.In other words, even if a conventional camera parameter value is set by a skilled technician in order to obtain a good quality image, it is only a value determined qualitatively depending on the human eye, even if the optimal parameter value is set. In the case where the installation location of the camera is changed, external environmental factors such as lighting are also changed, which affects the image quality. Therefore, it is difficult to say that the camera parameter value is set to an optimal parameter value for obtaining a high quality image.

따라서, 상기와 같은 문제점을 해결하기 위해 얼굴 인식 시스템의 얼굴 인식률을 향상시키기 위한 최적의 카메라 파라미터 값을 자동으로 설정하기 위한 필요 기술이 절실히 요구되는 실정이다.
Therefore, in order to solve the above problems, there is an urgent need for a necessary technology for automatically setting an optimal camera parameter value for improving the face recognition rate of the face recognition system.

본 발명이 이루고자 하는 기술적 과제는 상기와 같은 문제를 해결하기 위한 것으로서, 생체 인식 시스템의 영상 취득 과정에서 최적의 카메라 파라미터 값을 자동으로 설정하는 방법 및 그 방법을 이용한 생체 인식 시스템을 제공하는 데 있다.
SUMMARY OF THE INVENTION The present invention has been made in an effort to solve the above problems, and to provide a method for automatically setting an optimal camera parameter value in an image acquisition process of a biometric system and a biometric system using the method. .

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명은 (a) 생체 인식 시스템이 임의의 파라미터 값을 갖는 카메라를 이용하여 특정인의 생체 인식 정보를 추출하는 단계; (b) 상기 생체 인식 시스템이 상기 (a) 단계에서 추출한 생체 인식 정보를 기 저장된 상기 특정인에 대한 제1 생체 인식 정보와의 제1 유사도 및 상기 특정인과 다른 사람에 대한 제2 생체 인식 정보와의 제2 유사도를 계산하는 단계; (c) 상기 생체 인식 시스템이 상기 제1 유사도와 상기 제2 유사도 간의 차이 값을 계산하여, 환경 적합도를 구하는 단계; 및 (d) 상기 생체 인식 시스템이 상기 환경 적합도가 최댓값을 갖도록 상기 파라미터 값을 조절하는 단계; 를 포함하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 제공한다.As a means for solving the above technical problem, the present invention comprises the steps of: (a) the biometric system extracts the biometric information of a specific person using a camera having an arbitrary parameter value; (b) the biometric system extracts the biometric information extracted in the step (a) from the first similarity with the first biometric information of the specific person and the second biometric information of the specific person and the other person. Calculating a second similarity degree; (c) the biometric system calculating a difference value between the first similarity and the second similarity to obtain an environmental fitness; And (d) the biometric system adjusting the parameter value such that the environmental fitness has a maximum value; It provides a camera parameter automatic setting method for biometrics comprising a.

바람직하게는, 상기 (a) 단계가 상기 생체 인식 시스템이 상기 카메라를 이용하여 영상을 취득하는 단계; 상기 생체 인식 시스템이 취득한 영상에서 얼굴 영역을 검출하는 단계; 및 상기 생체 인식 시스템이 검출된 얼굴 영역에서 얼굴 인식 특징을 추출하는 단계; 를 포함하되, 상기 생체 인식 정보는 얼굴의 생체 정보를 포함한 얼굴 인식 정보인 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 제공한다.Preferably, the step (a) is the step of obtaining the image by the biometric system using the camera; Detecting a face region from an image acquired by the biometric recognition system; And extracting, by the biometric system, a face recognition feature from the detected face area. It includes, but the biometric information provides a camera parameter automatic setting method for biometrics, characterized in that the face recognition information including the biometric information of the face.

바람직하게는, 상기 (c) 단계가 상기 제2 생체 인식 정보가 2 이상인 경우 상기 환경 적합도를 2 이상의 상기 제2 유사도를 평균하여 상기 제1 유사도와의 차이 값으로 구하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 제공한다.Preferably, in the step (c), if the second biometric information is 2 or more, biometric recognition may be performed as a difference value from the first similarity degree by averaging the second similarity degree of two or more. Provides a method for automatically setting camera parameters.

바람직하게는, 상기 (c) 단계가 상기 환경 적합도를 상기 제2 유사도 평균값과 상기 제1 유사도와의 차이 값을 상기 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나누어 구하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 제공한다.Preferably, the step (c) is biometrics, characterized in that to obtain the environmental suitability by dividing the difference value between the second similarity average value and the first similarity by the variance value or the standard deviation value for the second similarity Provides a method for automatically setting camera parameters for a camera.

바람직하게는, 상기 (c) 단계가 상기 분산 값 또는 표준편찻값의 대상을 상기 제2 유사도 중 평균 이상 또는 초과의 값을 갖는 대상으로 하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 제공한다.Preferably, the step (c) is a method of automatically setting a camera parameter for biometrics, characterized in that the object of the variance value or standard deviation value having a value above or above the average of the second similarity to provide.

바람직하게는, 상기 (d) 단계가 상기 생체 인식 시스템이 상기 환경 적합도가 최댓값인지 판단하는 단계; 상기 생체 인식 시스템이 상기 파라미터 값을 gradient 알고리즘을 사용하여 변경하는 단계; 및 변경된 파라미터 값에 의해 상기 환경 적합도가 최댓값이 될 때까지 상기 (a) 단계부터 반복하는 단계; 를 포함하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 제공한다.Preferably, the step (d) comprises the step of determining by the biometric system whether the environmental suitability is the maximum value; The biometric system changing the parameter value using a gradient algorithm; And repeating from the step (a) until the environmental suitability is the maximum value by the changed parameter value; It provides a camera parameter automatic setting method for biometrics characterized in that it comprises a.

또한, 본 발명은 상기 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.The present invention also provides a computer readable recording medium having recorded thereon a computer program for executing the method for automatically setting camera parameters for biometrics recognition.

또한, 본 발명은 카메라; 및 상기 카메라를 통해 획득한 영상에서 생체 인식 정보를 추출하고, 추출된 생체 인식 정보와 저장된 생체 인식 정보를 비교하여 유사도를 계산하는 판정부; 를 포함하는 생체 인식 시스템에 있어서, 특정인에 대한 제1 생체 인식 정보 및 상기 특정인과 다른 사람에 대한 제2 생체 인식 정보를 저장하는 데이터베이스; 및 상기 판정부를 통해 상기 특정인과 상기 제1 생체 인식 정보 간에 계산된 제1 유사도 및 상기 특정인과 상기 제2 생체 인식 정보 간에 계산된 제2 유사도를 이용하여, 상기 제1 유사도와 상기 제2 유사도 간의 차이 값을 계산하여 환경 적합도를 구하되, 상기 환경 적합도가 최댓값을 갖도록 상기 카메라의 파라미터 값을 조절하는 파라미터 조절부; 를 더 포함하는 것을 특징으로 하는 생체 인식 시스템을 제공한다.In addition, the present invention is a camera; And a determination unit configured to extract biometric information from an image obtained through the camera and calculate similarity by comparing the extracted biometric information with stored biometric information. A biometric system comprising: a database storing first biometric information for a specific person and second biometric information for a person different from the specific person; And using the first similarity calculated between the specific person and the first biometric information and the second similarity calculated between the specific person and the second biometric information through the determination unit, between the first similarity and the second similarity degree. A parameter adjusting unit that calculates a difference value to obtain an environmental suitability, and adjusts a parameter value of the camera such that the environmental suitability has a maximum value; It provides a biometric system characterized in that it further comprises.

바람직하게는, 상기 추출된 생체 인식 정보 및 상기 저장된 생체 인식 정보가 얼굴의 생체 정보를 포함한 얼굴 인식 정보인 것을 특징으로 하는 생체 인식 시스템을 제공한다.Advantageously, the extracted biometric information and the stored biometric information are face recognition information including biometric information of a face.

바람직하게는, 상기 파라미터 조절부가 상기 데이터베이스에 저장된 제2 생체 인식 정보가 2 이상인 경우, 상기 환경 적합도를 2 이상의 상기 제2 유사도를 평균한 평균값과 상기 제1 유사도와의 차이 값으로 구하는 것을 특징으로 하는 생체 인식 시스템을 제공한다.Preferably, when the second biometric information stored in the database is 2 or more, the parameter adjusting unit obtains the environmental suitability as a difference between an average value of the averages of the two or more second similarities and the first similarity. It provides a biometric system.

바람직하게는, 상기 파라미터 조절부가 상기 환경 적합도를 상기 제2 유사도의 평균값과 상기 제1 유사도와의 차이 값을 상기 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나눈 값으로 구하는 것을 특징으로 하는 생체 인식 시스템을 제공한다.Preferably, the parameter adjusting unit calculates the environmental suitability as the value obtained by dividing the difference between the average value of the second similarity and the first similarity by the variance value or the standard deviation value for the second similarity. Provide a recognition system.

바람직하게는, 상기 파라미터 조절부가 상기 분산 값 또는 표준편찻값의 대상을 2 이상의 상기 제2 유사도 중 평균 이상 또는 초과 값을 갖는 대상으로 하는 것을 특징으로 하는 생체 인식 시스템을 제공한다.Preferably, the parameter adjusting unit provides a biometric system, characterized in that the object of the variance value or standard deviation value has an object that is above or above the average of two or more of the second similarity.

바람직하게는, 상기 파라미터 조절부가 상기 파라미터 값을 gradient 알고리즘을 사용하여 변경하는 것을 특징으로 하는 생체 인식 시스템을 제공한다.
Preferably, the parameter adjusting unit provides a biometric system, characterized in that for changing the parameter value using a gradient algorithm.

이상의 본 발명에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법 및 장치는 생체 인식을 하기 위해 생체 정보에 대한 영상 취득 과정에서 카메라 파라미터 값의 설정을 자동화함으로써, 기술자의 정성적 판단에 의존하지 않고, 생체 인식 시스템이 설치된 환경에 따라 적응적(adaptive)으로 최적의 카메라 파라미터 값을 설정함으로써, 주어진 환경에서 높은 인식률을 갖는 생체 인식 시스템을 구축할 수 있는 효과가 있다.The method and apparatus for automatically setting camera parameters for biometrics according to the present invention can automate the setting of camera parameter values in an image acquisition process for biometric information in order to perform biometrics, without relying on the qualitative judgment of a technician. By setting an optimal camera parameter value adaptively according to the environment in which the recognition system is installed, it is possible to construct a biometric system having a high recognition rate in a given environment.

또한, 상술한 바와 같은 높은 인식률을 갖는 생체 인식 시스템은 기술자의 숙련도 및/또는 카메라 설치 장소와 무관하게 높은 인식 성능을 일정하게 유지할 수 있는 생체 인식 시스템을 구축할 수 있는 효과가 있다.
In addition, the biometric system having a high recognition rate as described above has the effect of constructing a biometric system capable of maintaining a high recognition performance constantly regardless of the skill of the technician and / or the camera installation place.

도 1은 종래의 생체인식 기술을 이용한 신분 검증 과정 및 얼굴 인식 정보를 추출하는 과정을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 단계적으로 시간의 흐름에 따라 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 생체 인식 시스템에 대한 구성도를 나타낸 도면이다.
도 4는 본 발명에 따른 바람직한 일 실시예를 개념도로 나타낸 도면이다.
1 is a view showing an identification process using a conventional biometric technology and a process of extracting face recognition information.
2 is a diagram illustrating a method of automatically setting camera parameters for biometric recognition according to an embodiment of the present invention over time.
3 is a block diagram of a biometric system according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a preferred embodiment according to the present invention.

아래에는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구성될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly explain the present invention in the drawings, parts not related to the description are omitted, and similar parts are denoted by similar reference numerals throughout the specification.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하고도 명확하게 설명하기로 한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

카메라 camera 파라미터parameter 자동 설정 방법 Auto setup method

도 2는 본 발명의 일 실시예에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법을 단계적으로 시간의 흐름에 따라 나타낸 도면이다.2 is a diagram illustrating a method of automatically setting camera parameters for biometric recognition according to an embodiment of the present invention over time.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법은 크게 특정인의 생체 인식 정보를 추출하는 단계(S100), 추출된 생체 인식 정보를 특정인과 특정인이 아닌 타인에 대한 생체 인식 정보 각각에 대해 유사도를 계산하는 단계(S200), 특정인에 대한 제1 유사도와 타인에 대한 제2 유사도와의 차이 값을 계산하는 단계(S300) 및 계산된 차이 값이 최댓값을 갖도록 카메라의 파라미터 값을 조절하는 단계(S400)를 포함한다.As shown in FIG. 2, in the method for automatically setting camera parameters for biometrics according to an embodiment of the present invention, the method may include extracting biometric information of a specific person (S100). Computing similarity for each of the biometric information for the other person (S200), calculating a difference value between the first similarity for a specific person and the second similarity for another person (S300) and the calculated difference value is the maximum value Adjusting the parameter value of the camera to have a (S400).

본 명세서에서 사용되는 용어 중 "생체 인식 정보"는 얼굴, 홍채, 정맥의 모양, 지문 등 사람의 생체 정보를 생체 인식 시스템이 인식한 특징 또는 특징을 값으로 표현한 특징값 등을 말하며, "생체 인식 시스템"은 일반적으로 생체 정보를 인식하여 특정인인지 여부를 검증하는 목적으로 사용되는 시스템이나, 본 발명은 이에 한정하지 않고 생체 정보를 인식하여 다양한 목적으로 활용하는 일반적인 시스템을 말한다.As used herein, the term "biometric information" refers to a feature value that expresses a feature or feature recognized by a biometric system such as a face, an iris, a vein shape, a fingerprint, or the like as a value. System "generally refers to a system used for recognizing biometric information and verifying whether or not it is a specific person, but the present invention is not limited thereto, and refers to a general system that recognizes biometric information and uses it for various purposes.

이하에서는 생체 인식을 위한 카메라 파라미터 자동 설정 방법의 각 단계에 대해 자세히 살펴본다.
Hereinafter, each step of the automatic camera parameter setting method for biometrics will be described in detail.

생체 인식 시스템은 우선, 임의의 파라미터 값을 갖는 카메라를 이용하여 특정인의 생체 인식 정보를 추출한다(S100).The biometric system first extracts biometric information of a specific person using a camera having an arbitrary parameter value (S100).

S100 단계의 구성은 도 1(b)에 대응되는 구성으로서, 카메라를 이용하여 특정인의 생체 정보를 포함하는 영상을 취득하고, 취득한 영상으로부터 생체 인식 시스템은 생체 정보를 인식하여 그로부터 특징을 추출한다.The configuration of step S100 is a configuration corresponding to FIG. 1 (b), and acquires an image including biometric information of a specific person using a camera, and the biometric system recognizes biometric information from the obtained image and extracts features therefrom.

생체 정보를 인식하고 그로부터 특징 또는 특징값을 추출하는 방법은 생체 정보의 종류 즉, 얼굴, 홍채, 지문 등에 따라 달라질 수 있으며, 이에 대한 구체적인 방법은 한정하지 않고, 일 예로서, 한국특허공개번호 제10-2010-0053194호 등에서 개시된 바와 같이, 얼굴 영역을 얼굴 색상 등을 이용하여 인식하고, 인식된 얼굴의 두 눈, 코와 입 등의 각 부위에 대한 위치 정보를 수학적으로 벡터값으로 수치화하거나, 각 부위에 대한 색상 정보 또는 모양 정보 등을 포함함으로써 생체 인식 정보를 추출하는 등의 다양한 공지의 방법이 참조로 적용될 수 있다. The method of recognizing the biometric information and extracting the feature or feature value therefrom may vary according to the type of the biometric information, that is, the face, the iris, the fingerprint, and the like, and the specific method is not limited thereto. As disclosed in US Pat. Various known methods, such as extracting biometric information by including color information or shape information for each part, can be applied as a reference.

즉, 생체 인식 정보가 얼굴 인식 특징을 포함하는 얼굴 인식 정보인 경우에는, 생체 인식 시스템이 카메라를 이용하여 영상을 취득하고, 취득한 영상에서 얼굴 영역을 검출하며, 검출된 얼굴 영역에서 얼굴 인식 특징을 추출하는 과정을 거칠 수 있다.That is, when the biometric information is face recognition information including a face recognition feature, the biometric system acquires an image using a camera, detects a face region in the acquired image, and detects a face recognition feature in the detected face region. The extraction process may be performed.

이때, 생체 정보를 포함하는 영상을 취득하기 위해 사용하는 카메라는 노출(exposure), 감마 보정, 이득(gain) 조절, 초점(focus) 거리 등과 같은 파라미터를 사용하여 영상을 취득하게 되는데, 영상 취득시 카메라에 설정된 파라미터 값은 특정되지 않은 임의의 값이 설정될 수 있다.In this case, the camera used to acquire the image including the biometric information acquires the image using parameters such as exposure, gamma correction, gain adjustment, and focus distance. The parameter value set in the camera may be set to any value not specified.

한편, 본 발명에 따른 생체 인식 정보 추출 단계(S100)는 기 저장된 특정인에 대한 생체 인식 정보와 동일한 생체 인식 정보를 갖는 대상에 대해 영상을 취득하는 것을 특징으로 하나, 이때 카메라를 통해 취득한 영상의 대상은 적어도 한 명 이상의 사람이 그 대상이 될 수 있음은 물론이고, 생체 인식 정보를 포함한 동상(銅像)이 될 수도 있다. 즉, 상기에서 생체 인식 시스템이 인식하는 생체 인식 정보는 모사(模寫)가 가능한 얼굴 인식 정보인 것이 바람직한데, 이 경우 저장되어 있는 특정인에 대한 생체 인식 정보와 동일한 생체 인식 정보를 가진 동상으로 제작할 수 있기 때문이다. 즉, 동상으로 제작한다면 동일 데이터베이스를 가진 생체 인식 시스템을 다수의 장소에 설치하더라도 특정인이 동반해야 할 필요가 없고, 특정인이 선글라스를 쓰는 등의 얼굴 형태에 변화가 있더라도 생체 인식 시스템에 저장된 데이터베이스의 수정 없이도 카메라 파라미터를 자동 설정할 수 있기 때문이다.
On the other hand, the biometric information extraction step (S100) according to the present invention is characterized in that for obtaining an image for a target having the same biometric information as the biometric information for a specific person stored in advance, the target of the image obtained through the camera at this time At least one person may be a target, and may also be a statue including biometric information. That is, the biometric information recognized by the biometric system is preferably face recognition information that can be simulated. In this case, the biometric information may be produced as a frostbite having the same biometric information as that of the stored specific person. Because it can. That is, if it is produced in frostbite, even if the biometric system having the same database is installed in multiple places, it is not necessary for a specific person to accompany it, and even if there is a change in the shape of the face such as wearing sunglasses, the database stored in the biometric system is modified. This is because camera parameters can be set automatically without the need.

이후, 생체 인식 시스템은 상기 S100 단계에서 추출한 생체 인식 정보를 생체 인식 시스템에 기 저장된 특정인에 대한 제1 생체 인식 정보와의 제1 유사도 및 특정인과 다른 사람에 대한 제2 생체 인식 정보와의 제2 유사도를 계산한다(S200).Subsequently, the biometric system extracts the biometric information extracted in step S100 from the first similarity with the first biometric information about the specific person previously stored in the biometric system and with the second biometric information about the specific person and the other person. The similarity is calculated (S200).

본 발명에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법은 도 1(a)에서와 같은 신분 검증 방법이 아님에도, 생체 인식 시스템은 상기 S100 단계에서 추출한 생체 인식 정보를 생체 인식 시스템에 저장된 특정인에 대한 제1 생체 인식 정보와 유사도를 계산한다.Although the method for automatically setting camera parameters for biometrics according to the present invention is not an identity verification method as shown in FIG. 1 (a), the biometric system uses the biometric information extracted in step S100 for a specific person stored in the biometric system. The similarity with the first biometric information is calculated.

즉, 생체 인식 시스템은 특정인 본인에 대한 생체 인식 정보와 특정인이 아닌 타인에 대한 생체 인식 정보를 모두 저장하여, 상기 S100 단계에서 추출한 특정인에 대한 생체 인식 정보와 모두 비교하고, 각각에 대한 유사도를 계산한다.That is, the biometric system stores both the biometric information of the specific person and the biometric information of the non-specific person, compares all of the biometric information of the specific person extracted in step S100, and calculates the similarity for each. do.

두 개의 생체 인식 정보 간에 유사도를 구하는 방법은 생체 정보의 종류 즉, 얼굴, 홍채, 지문 등에 따라 달라질 수 있으며, 이에 대한 구체적인 방법을 한정하지 않고, 일 예로서, 한국특허공개번호 제10-2010-0053194호 등에서 개시된 바와 같이, 얼굴의 각 부위별로 코사인(cosine) 또는 유클리디언(euclidean) 거리 계산법을 적용함으로써, 유사도를 계산하는 등의 다양한 공지의 방법이 참조로 적용될 수 있다. The method for obtaining similarity between two biometric information may vary according to the type of biometric information, ie, face, iris, fingerprint, and the like, and is not limited thereto. For example, Korean Patent Publication No. 10-2010- As disclosed in 0053194 and the like, various known methods, such as calculating the similarity, may be applied as a reference by applying a cosine or euclidean distance calculation method for each part of the face.

한편, 생체 인식 시스템이 저장하고 있는 특정인이 아닌 타인에 대한 생체 인식 정보는 한 명에 대한 것일 수도 있고, 두 명 이상의 복수인에 대한 것일 수도 있으나, 20명 이상에 대한 생체 인식 정보를 저장하는 것이 바람직하다. 즉, 20명 이상에 대한 생체 인식 정보를 이용하여 환경 적합도를 통계적으로 계산함으로써, 환경 적합도에 따라 설정된 카메라 파라미터 값은 신뢰성을 확보할 수 있게 된다.
On the other hand, the biometric information for the non-specific person stored in the biometric system may be for one person, may be for two or more people, but storing the biometric information for more than 20 people desirable. That is, by calculating the environmental suitability statistically using the biometric information for 20 people or more, the camera parameter value set according to the environmental suitability can be secured.

다음으로, 생체 인식 시스템은 제1 유사도 및 제2 유사도 간의 차이 값을 계산하여, 환경 적합도를 구한다(S300).Next, the biometric system calculates a difference value between the first similarity and the second similarity, and obtains an environmental suitability (S300).

상기 제1 유사도와 상기 제2 유사도 간의 차이 값을 계산하여, 특정인이 아닌 타인과의 유사도에 대한 특정인 본인의 상대적인 유사도 값인 환경 적합도를 구하고, 이하의 S400 단계에서 환경 적합도가 최댓값을 갖도록 카메라의 파라미터 값을 조절함으로써, 카메라의 최적 파라미터 값을 설정할 수 있게 된다.By calculating the difference value between the first similarity and the second similarity, the environmental suitability which is the relative similarity value of the specific person with respect to the similarity with other persons other than the specific person is obtained, and in the following step S400, the parameter of the camera to have the maximum environmental suitability By adjusting the value, it is possible to set the optimum parameter value of the camera.

한편, 생체 인식 시스템에 저장된 특정인이 아닌 타인에 대한 생체 인식 정보가 2 이상인 경우에는, 환경 적합도를 상기 S200 단계에서 저장된 타인에 대한 생체 인식 정보의 수에 대응되도록 계산된 각각의 제2 유사도를 평균하고, 이를 기준으로 제1 유사도와의 차이 값으로 할 수 있다.On the other hand, if the biometric information for another person other than the specific person stored in the biometric system is two or more, the average of each second similarity calculated to correspond to the number of biometric information for the other person stored in step S200 And, based on this, it may be a difference value from the first similarity degree.

이외에도, 환경 적합도는 제1 유사도 및 제2 유사도의 평균값 간의 차이 값에서 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나눈 값으로도 구할 수 있으며, 다만 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나누어 환경 적합도를 구하는 경우, 분산 값 또는 표준편찻값을 구하기 위한 대상을 2 이상의 제2 유사도 중 평균 이상 또는 초과 값을 갖는 것으로 한정할 수 있다.In addition, the environmental suitability can also be obtained by dividing the difference between the mean values of the first similarity and the second similarity by the variance value or the standard deviation value for the second similarity, but the variance value or the standard deviation value for the second similarity When dividing by to obtain the environmental suitability, the object for obtaining the variance value or the standard deviation value can be limited to the one having an average value or more than two or more second similarities.

상기와 같은 방식들에 의해 환경 적합도를 구함으로써, 특정인에 대한 특징과 특정인이 아닌 타인에 대한 특징 간에 구분되는 정도를 수식화할 수 있고, 환경 적합도가 최대가 될 때 즉, 특정인 본인에 대한 생체 인식시 타인과 구분되는 특징이 명확해 질 때의 카메라 파라미터 값을 찾음으로써, 최적의 파라미터 값을 설정할 수 있게 된다.
By obtaining the environmental suitability in the above manner, it is possible to formulate the degree of distinction between the characteristics of the specific person and the characteristics of the non-specific person, and when the environmental suitability is the maximum, that is, biometric recognition of the specific person. By finding the camera parameter values when the distinction from the others becomes clear, the optimal parameter values can be set.

다시 말해, 생체 인식 시스템은 상기 S300 단계에서 계산한 값이 최댓값을 갖도록 카메라의 파라미터 값을 조절(S400)함으로써, 생체 인식을 위한 최적의 카메라 파라미터 값을 설정하게 된다.In other words, the biometric system adjusts the parameter value of the camera so that the value calculated in step S300 has a maximum value (S400), thereby setting an optimal camera parameter value for biometrics.

이때, 환경 적합도가 최댓값을 갖도록 파라미터 값을 조절하는 방법에는 gradient 알고리즘, 유전자(genetic) 알고리즘 등의 다양한 알고리즘이 적용될 수 있으나, 일 예로서, 임의의 파라미터 값을 점진적으로 일정 비율만큼씩 증가 또는 감소시키는 gradient 알고리즘을 사용할 수 있고, 이때 gradient 알고리즘은 임의로 설정된 특정 구간 즉, 국부적인 영역에 대한 최댓값을 반복적으로 찾음으로써, 환경 적합도가 최댓값을 가질 때의 카메라 파라미터 값을 찾을 수 있다.In this case, various algorithms, such as a gradient algorithm and a genetic algorithm, may be applied to the method of adjusting the parameter value so that the environmental suitability has a maximum value. For example, an arbitrary parameter value is gradually increased or decreased by a predetermined ratio. The gradient algorithm may be used. In this case, the gradient algorithm may find a camera parameter value when the environmental suitability has a maximum value by repeatedly searching for a maximum value for a randomly set specific interval, that is, a local area.

보다 구체적으로, gradient 알고리즘을 사용하는 경우에는, 생체 인식 시스템이 상기 S300 단계에서 구한 환경 적합도가 최댓값인지 판단하고(S410), 카메라에 설정된 파라미터 값을 일정 비율씩 증가 또는 감소시켜 변경하여(S420), 변경된 파라미터 값에 의해 다시 구한 환경 적합도가 최댓값이 될 때까지 상기 S100 단계부터 반복함으로써(S430), 환경 적합도가 최댓값일 때의 파라미터 값을 찾아 이를 최적의 파라미터 값으로 카메라에 설정한다.More specifically, when using the gradient algorithm, the biometric system determines whether the environmental suitability obtained in the step S300 is the maximum value (S410), and increases or decreases the parameter value set in the camera by a predetermined ratio (S420). By repeating from step S100 until the environmental suitability obtained by the changed parameter value is the maximum value (S430), the parameter value when the environmental suitability is the maximum value is found and set to the camera as the optimal parameter value.

상기와 같은 본 발명의 일 실시예에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법에 의해, 생체 인식을 위한 영상 획득시 주어진 환경에 적응적으로 최적의 파라미터 값을 자동으로 설정하도록 함으로써, 생체 인식에 있어서 좋은 품질의 영상 획득이 가능하고, 아울러 생체 인식 시스템을 이용한 생체 인식시 오인율을 낮출 수 있게 된다.
According to the method of automatically setting camera parameters for biometrics according to an embodiment of the present invention as described above, by automatically setting an optimal parameter value adaptively to a given environment when obtaining an image for biometrics, Therefore, it is possible to obtain a good quality image, and also to lower the false recognition rate during biometric recognition using a biometric system.

컴퓨터 판독 가능한 기록 매체Computer readable recording media

이상에서 설명된 본 발명의 일 실시예에 따른 생체 인식을 위한 카메라 파라미터 자동 설정 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이나 컴퓨터 소프트웨어 분야의 당 업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크, 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The automatic camera parameter setting method for biometrics according to an embodiment of the present invention described above may be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical recording media such as CD-ROMs and DVDs; magneto-optical media such as floptical disks; optical media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

생체 인식 시스템Biometric system

이하에서는, 생체 인식 시스템에 대해 설명하기로 하나, 이상에서 설명된 생체 인식을 위한 카메라 파라미터 자동 설정 방법과 중복된 설명에 대해서는 자세한 설명을 생략하기로 한다.Hereinafter, a description will be given of the biometric recognition system, but a detailed description thereof will be omitted for the overlapping description of the method for automatically setting the camera parameter for the biometric recognition described above.

도 3은 본 발명의 일 실시예에 따른 생체 인식 시스템에 대한 구성도를 나타낸 도면이다.3 is a block diagram of a biometric system according to an embodiment of the present invention.

종래의 생체 인식 시스템은 카메라(10) 및 판정부(20)를 포함하여, 생체 인식 대상에 대한 영상을 카메라(10)를 통해 획득하고, 판정부(20)는 카메라(10)를 통해 획득한 영상에서 생체 인식 정보를 추출하여, 기 저장된 생체 인식 정보와 비교하여 유사도를 계산함으로써, 동일인인지 여부를 판정할 수 있게 된다. 이와 같은 구성에 의해 생체 인식 시스템을 카메라(10)를 통해 획득한 생체 인식 대상에 대한 검증 용도로서 활용할 수 있게 된다.The conventional biometric system includes a camera 10 and a determination unit 20 to acquire an image of a biometric object through the camera 10, and the determination unit 20 obtains the image through the camera 10. By extracting the biometric information from the image, and comparing the biometric information with the previously stored biometric information, it is possible to determine whether or not the same person. By such a configuration, the biometric system can be utilized as a verification purpose for the biometric object acquired through the camera 10.

다만, 도 3에 도시한 바와 같이, 본 발명에 따른 생체 인식 시스템(100)은 목적의 제한 없이 다양한 용도에서 생체 인식을 하는 경우, 파라미터 조절부(40)를 포함하여, 카메라(10)가 영상을 얻을 때 사용하는 파라미터 값을 자동으로 조절함으로써 우수한 품질의 영상을 획득 가능하도록 하는 것을 특징으로 한다.However, as shown in FIG. 3, the biometric recognition system 100 according to the present invention includes a parameter controller 40 when the biometric recognition is performed in various applications without limiting the purpose. It is characterized in that it is possible to obtain an image of excellent quality by automatically adjusting the parameter value used when obtaining.

즉, 카메라(10)가 생체 인식을 위해 영상을 획득할 때 사용되는 파라미터 값을 조명 환경 등의 외부 환경적인 요인에 따라 적응적으로 자동 조절함으로써, 생체 인식에 있어서 최적의 파라미터 값으로 영상을 획득할 수 있도록 한다.That is, by automatically adjusting the parameter value used when the camera 10 acquires the image for biometric recognition according to an external environmental factor such as an illumination environment, the image is acquired with the optimal parameter value in the biometric recognition. Do it.

최적의 파라미터 값을 찾는 과정에서, 기준이 되는 생체 인식 정보는 얼굴의 생체 정보를 포함한 얼굴 인식 정보인 것이 바람직하다. 즉, 카메라(10)를 통해 획득한 영상으로부터 생체 인식 정보를 추출하는바, 얼굴과 같은 경우에는 생체 정보를 모사하여 동상(銅像)과 같은 형태로 나타낼 수 있기 때문이다.
In the process of finding an optimal parameter value, the reference biometric information is preferably face recognition information including biometric information of a face. That is, since the biometric information is extracted from the image acquired through the camera 10, in the case of a face, the biometric information may be simulated and displayed in a shape like a statue.

데이터베이스(30)는 특정인에 대한 제1 생체 인식 정보 및 특정인과 다른 사람에 대한 제2 생체 인식 정보를 저장한다.The database 30 stores first biometric information for a specific person and second biometric information for a person different from the specific person.

구체적으로, 종래의 일반적인 검증을 위한 생체 인식 시스템의 경우, 데이터베이스(30)는 검증 대상을 위한 생체 인식 정보만을 저장하여, 일 대 일로 직접적인 비교만을 하나, 본 발명에 따른 데이터베이스(30)는 특정인에 대한 제1 생체 인식 정보와 특정인과 다른 타인에 대한 제2 생체 인식 정보를 모두 저장하여, 카메라(10)를 통해 얻은 생체 인식 정보를 특정인 본인에 대한 생체 인식 정보와 직접적으로 비교하는 것 이외에 다른 타인에 대한 생체 인식 정보와도 유사도를 계산하는 것을 특징으로 한다.Specifically, in the conventional biometric system for general verification, the database 30 stores only the biometric information for the verification target, so that only one direct one to one comparison, the database 30 according to the present invention is a specific person Storing both the first biometric information for the first person and the second biometric information for the other person and another person, and directly comparing the biometric information obtained through the camera 10 with the biometric information for the specific person. The similarity with the biometric information about is characterized in that for calculating.

즉, 카메라(10)를 통해 기 저장된 제1 생체 인식 정보와 동일한 생체 인식 정보를 갖는 특정인에 대한 영상을 획득하고, 판정부(20)는 이로부터 추출한 생체 인식 정보를 데이터베이스(30)에 저장된 제1 생체 인식 정보와 제2 생체 인식 정보에 대해 각각 유사도(제1 유사도 및 제2 유사도)를 계산한다.That is, the camera 10 acquires an image of a specific person having the same biometric information as the pre-stored first biometric information, and the determination unit 20 stores the biometric information extracted therefrom in the database 30. Similarity (first similarity and second similarity) is calculated for the first biometric information and the second biometric information, respectively.

이렇게 계산된 제1 유사도 및 제2 유사도를 이용하여, 파라미터 조절부(40)는 제1 유사도와 제2 유사도 간의 차이를 계산하여 환경 적합도를 구하고, 구해진 환경 적합도가 최댓값을 갖도록 카메라(10)의 파라미터 값을 조절한다.Using the first similarity and the second similarity calculated as described above, the parameter adjusting unit 40 calculates the difference between the first similarity and the second similarity, obtains the environmental suitability, and calculates the environmental suitability of the camera 10 to have the maximum value. Adjust the parameter value.

이때, 데이터베이스(30)에 특정인과 다른 사람에 대한 제2 생체 인식 정보를 2 이상 저장하고 있는 경우에는 환경 적합도는 판정부(20)를 통해 2 이상의 제2 생체 인식 정보 각각에 대해 유사도를 계산하여 평균을 구하고, 이와 제1 유사도와의 차이 값으로 구할 수 있다.In this case, when storing the second biometric information of a specific person and another person in the database 30, two or more pieces of the second biometric information for each of the two or more pieces of biometric information are calculated through the determination unit 20. The average may be obtained and obtained as a difference value between the first similarities and the similarity.

한편, 환경 적합도를 구하는 또 다른 방법으로서, 제1 유사도와 제2 유사도의 평균값 간의 차이 값을 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나눈 값을 환경 적합도로 할 수 있고, 상술한 카메라 파라미터 자동 설정 방법과 마찬가지로, 제수(除數)인 분산 값 또는 표준편찻값의 대상을 2 이상의 제2 유사도 중 평균 이상 또는 초과 값을 갖는 것을 대상으로 할 수 있다.On the other hand, as another method for calculating the environmental suitability, the value obtained by dividing the difference value between the average value of the first similarity and the second similarity by the variance value or the standard deviation value for the second similarity may be the environmental suitability, and the camera parameter described above. Similarly to the automatic setting method, the object of the variance value or standard deviation value which is a divisor can be made to have the above average value or the excess value among two or more second similarities.

이와 같은 방법에 의해 환경 적합도를 구하고, 그 환경 적합도가 최댓값을 갖을 때의 카메라(10) 파라미터 값을 찾음으로써, 생체 인식에 있어서 최적의 파라미터 값을 설정할 수 있게 된다.By obtaining the environmental suitability by such a method and finding the camera 10 parameter value when the environmental suitability has the maximum value, it becomes possible to set the optimal parameter value in biometrics.

이때, 환경 적합도가 최댓값을 가질 때의 카메라(10) 파라미터 값을 찾는 방법으로 카메라에 설정되어 있는 파라미터 값을 점진적으로 일정 비율만큼씩 증가 또는 감소시키는 gradient 알고리즘을 사용하는 것이 바람직하다.
At this time, it is preferable to use a gradient algorithm that gradually increases or decreases the parameter value set in the camera by a predetermined ratio as a method of finding the camera 10 parameter value when the environmental suitability has the maximum value.

이와 같이 본 발명에 따른 생체 인식 시스템(100)은 카메라(10)를 통한 영상 획득시 사용되는 파라미터 값을 생체 인식에 최적화 되도록 조절함으로써, 생체 인식에 있어서 우수한 품질의 영상을 획득할 수 있고, 아울러 생체 인식 시스템(100)이 생체 인식시 오인율을 낮출 수 있게 된다.
As described above, the biometric system 100 according to the present invention may obtain an image having excellent quality in biometrics by adjusting a parameter value used when acquiring an image through the camera 10 to be optimized for biometrics. The biometric system 100 may lower the false recognition rate during biometrics.

실시예Example

이하에서는, 상술한 생체 인식을 위한 카메라 파라미터 자동 설정 방법 및 그 방법을 이용한 생체 인식 시스템에 대한 이해를 돕기 위해, 도 4를 참조하여 본 발명에 대한 바람직한 일 실시예를 구체적으로 설명하기로 한다. 다만, 이하의 구체적인 설명은 앞선 실시예에 대한 이해를 돕기 위한 것일 뿐, 발명을 한정하고자 하는 의도는 아님을 분명히 밝혀 둔다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to FIG. 4 to help understand the above-described method for automatically setting camera parameters for biometrics and a biometric system using the method. However, the following detailed description is only intended to help the understanding of the foregoing embodiments, it is clearly not intended to limit the invention.

도 4는 본 발명에 따른 바람직한 일 실시예를 개념도로 나타낸 도면이다.4 is a conceptual diagram illustrating a preferred embodiment according to the present invention.

우선, 도 4에 도시한 바와 같이, 생체 인식 시스템은 카메라(10)를 통해 기 저장된 제1 생체 인식 정보와 동일한 생체 인식 정보를 갖는 특정인(상기 생체 인식 정보가 얼굴과 같이 모사가 가능한 생체 정보에 대한 것인 경우에는 특정인의 생체 정보를 포함하는 동상(銅像)을 포함)에 대한 영상을 취득하고, 이로부터 판정부(20)를 통해 생체 인식 정보를 추출하여, 데이터베이스(30)에 저장된 제1 생체 인식 정보와 제1 유사도(Sself p)를 계산한다. 아울러, 판정부(20)는 데이터베이스(30)에 저장된 특정인이 아닌 타인에 대한 적어도 하나 이상의 제2 생체 인식 정보와 제2 유사도(Sother p(i))를 계산한다(여기서, p는 카메라(10) 파라미터 값을 의미, i는 1…N까지의 제2 유사도의 개수(도 4에서 N은 3)를 의미). 이때, N이 클수록 통계적으로 파라미터 설정 결과에 대한 신뢰성을 향상시킬 수 있으나, 최소한 20명 이상에 대한 생체 인식 정보를 이용하는 것이 바람직하다.First, as shown in FIG. 4, the biometric system includes a specific person having the same biometric information as the pre-stored first biometric information through the camera 10 (the biometric information is applied to biometric information that can be simulated like a face). The first image stored in the database 30 by acquiring an image of a frostbite including biometric information of a specific person, extracting biometric information from the determination unit 20 therefrom. The biometric information and the first similarity S self p are calculated. In addition, the determination unit 20 calculates at least one or more second biometric information and a second similarity S other p (i) for another person who is not stored in the database 30 (where p is a camera ( 10) means a parameter value, i means the number of second similarities from 1 to N (N in FIG. 4 is 3). In this case, as N increases, reliability of the parameter setting result can be statistically improved, but it is preferable to use biometric information for at least 20 people.

이후, N 개의 제2 유사도(Sother p(i))에 대한 평균(mother p)을 계산하고, 이로부터 하기의 수학식 1과 같이, 제2 유사도(Sother p(i))에 대한 표준편찻값을 구하되, 다만, 표준편찻값의 대상은 평균을 넘는(Sother p(i) > mother p) M개의 제2 유사도(Sother p(i)(i∈{k|sother p > mother p})로 한정하는 것이 바람직하다.Then, the average m other p for N second similarities S other p (i) is calculated, and from this, as shown in Equation 1 below, the second similarity S other p (i) is calculated. standard deviation, asking chatgap, however, subject to standard deviation is greater than the average chatgap (S other p (i)> m other p) M of second degree of similarity (S other p (i) ( i∈ {k | s other p > m other p }).

Figure 112012046734719-pat00001
Figure 112012046734719-pat00001

다음으로, mother p와 σp를 이용하여 제2 유사도에 상대적인 제1 유사도 값인 환경 적합도 O(p)를 하기의 수학식 2와 같이 계산한다.Next, by using m other p and σ p , the environmental suitability O (p), which is the first similarity value relative to the second similarity, is calculated as in Equation 2 below.

Figure 112012046734719-pat00002
Figure 112012046734719-pat00002

상기의 환경 적합도 O(p) 값이 최댓값일 때의 카메라(10) 파라미터 값을 찾기 위해 gradient 알고리즘을 사용하여 파라미터 값을 일정 비율로 증가 또는 감소하도록 조절한다.In order to find the value of the camera 10 parameter when the environmental suitability O (p) value is the maximum value, the parameter is adjusted to increase or decrease by a ratio using a gradient algorithm.

즉, 하기의 수학식 3과 같이,That is, as shown in Equation 3 below,

Figure 112012046734719-pat00003
Figure 112012046734719-pat00003

(여기서, p={p1, … pu, … pL}, α는 상수 값을 갖는 변화율)(Where p = {p 1 ,… p u ,… p L }, α is the rate of change having a constant value)

카메라 파라미터에 대하여 편미분을 하고, 일정 변화율(α)만큼 변화시킨 파라미터 값을 갱신시켜 다시 제1 유사도 및 제2 유사도를 계산하는 과정부터 반복적으로 환경 적합도 O(p)를 계산하되, 반복 계산 중 환경 적합도 O(p)의 변화가 없이 그 값이 일정할 때의 pu 값을 카메라(10)의 파라미터 값으로 설정함으로써, 카메라(10)는 최적의 파라미터 값을 가질 수 있게 된다.
After calculating partial derivatives of the camera parameters, updating the parameter values changed by a certain rate of change (α), and calculating the first similarity degree and the second similarity degree again, the environmental suitability O (p) is repeatedly calculated. By setting p u as a parameter value of the camera 10 when the value is constant without changing the goodness of fit O (p), the camera 10 can have an optimal parameter value.

이상에서 설명한 본 발명의 바람직한 실시예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상 및 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
Preferred embodiments of the present invention described above are disclosed to solve the technical problem, and those skilled in the art to which the present invention pertains (man skilled in the art) various modifications, changes, additions, etc. within the spirit and scope of the present invention. It will be possible to, and such modifications, changes, etc. will be considered to be within the scope of the following claims.

10: 카메라 20: 판정부
30: 데이터베이스 40: 파라미터 조절부
100: 생체 인식 시스템
10: camera 20: determination unit
30: database 40: parameter control unit
100: biometric system

Claims (13)

(a) 생체 인식 시스템이 임의의 파라미터 값을 갖는 카메라를 이용하여 특정인의 생체 인식 정보를 추출하는 단계;
(b) 상기 생체 인식 시스템이 상기 (a) 단계에서 추출한 생체 인식 정보를 기 저장된 상기 특정인에 대한 제1 생체 인식 정보와의 제1 유사도 및 상기 특정인과 다른 사람에 대한 제2 생체 인식 정보와의 제2 유사도를 계산하는 단계;
(c) 상기 생체 인식 시스템이 상기 제1 유사도와 상기 제2 유사도 간의 차이 값을 계산하여, 환경 적합도를 구하는 단계; 및
(d) 상기 생체 인식 시스템이 상기 환경 적합도가 최댓값을 갖도록 상기 파라미터 값을 조절하는 단계;
를 포함하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법.
(a) the biometric system extracting biometric information of a specific person using a camera having an arbitrary parameter value;
(b) the biometric system extracts the biometric information extracted in the step (a) from the first similarity with the first biometric information of the specific person and the second biometric information of the specific person and the other person. Calculating a second similarity degree;
(c) the biometric system calculating a difference value between the first similarity and the second similarity to obtain an environmental fitness; And
(d) the biometric system adjusting the parameter value such that the environmental fitness has a maximum value;
Camera parameter automatic setting method for biometrics comprising a.
제 1 항에 있어서,
상기 (a) 단계는,
상기 생체 인식 시스템이 상기 카메라를 이용하여 영상을 취득하는 단계;
상기 생체 인식 시스템이 취득한 영상에서 얼굴 영역을 검출하는 단계; 및
상기 생체 인식 시스템이 검출된 얼굴 영역에서 얼굴 인식 특징을 추출하는 단계;
를 포함하되,
상기 생체 인식 정보는 얼굴의 생체 정보를 포함한 얼굴 인식 정보인 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법.
The method of claim 1,
The step (a)
Acquiring an image by the biometric system using the camera;
Detecting a face region from an image acquired by the biometric recognition system; And
Extracting a face recognition feature from the detected face area by the biometric system;
Including but not limited to:
And the biometric information is face recognition information including biometric information of a face.
제 1 항에 있어서,
상기 (c) 단계는,
상기 제2 생체 인식 정보가 2 이상인 경우 상기 환경 적합도를 2 이상의 상기 제2 유사도를 평균하여 상기 제1 유사도와의 차이 값으로 구하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법.
The method of claim 1,
The step (c)
And when the second biometric information is 2 or more, obtaining the environmental suitability as a difference value from the first similarity by averaging the second or more similarities.
제 3 항에 있어서,
상기 (c) 단계는,
상기 환경 적합도를 상기 제2 유사도 평균값과 상기 제1 유사도와의 차이 값을 상기 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나누어 구하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법.
The method of claim 3, wherein
The step (c)
And dividing the difference value between the second similarity average value and the first similarity value by a variance value or a standard deviation value for the second similarity value.
제 4 항에 있어서,
상기 (c) 단계는,
상기 분산 값 또는 표준편찻값의 대상을 상기 제2 유사도 중 평균 이상 또는 초과의 값을 갖는 대상으로 하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법.
5. The method of claim 4,
The step (c)
The method of automatically setting camera parameters for biometrics, characterized in that the object having the variance value or the standard deviation value has a value that is above or above the average of the second similarities.
제 1 항에 있어서,
상기 (d) 단계는,
상기 생체 인식 시스템이 상기 환경 적합도가 최댓값인지 판단하는 단계;
상기 생체 인식 시스템이 상기 파라미터 값을 gradient 알고리즘을 사용하여 변경하는 단계; 및
변경된 파라미터 값에 의해 상기 환경 적합도가 최댓값이 될 때까지 상기 (a) 단계부터 반복하는 단계;
를 포함하는 것을 특징으로 하는 생체 인식을 위한 카메라 파라미터 자동 설정 방법.
The method of claim 1,
The step (d)
Determining, by the biometric system, whether the environmental suitability is a maximum value;
The biometric system changing the parameter value using a gradient algorithm; And
Repeating from the step (a) until the environmental suitability is the maximum value by the changed parameter value;
Camera parameter automatic setting method for biometrics characterized in that it comprises a.
제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a computer program for executing the method according to any one of claims 1 to 6. 카메라; 및
상기 카메라를 통해 획득한 영상에서 생체 인식 정보를 추출하고, 추출된 생체 인식 정보와 저장된 생체 인식 정보를 비교하여 유사도를 계산하는 판정부;
를 포함하는 생체 인식 시스템에 있어서,
특정인에 대한 제1 생체 인식 정보 및 상기 특정인과 다른 사람에 대한 제2 생체 인식 정보를 저장하는 데이터베이스; 및
상기 판정부를 통해 상기 특정인과 상기 제1 생체 인식 정보 간에 계산된 제1 유사도 및 상기 특정인과 상기 제2 생체 인식 정보 간에 계산된 제2 유사도를 이용하여, 상기 제1 유사도와 상기 제2 유사도 간의 차이 값을 계산하여 환경 적합도를 구하되, 상기 환경 적합도가 최댓값을 갖도록 상기 카메라의 파라미터 값을 조절하는 파라미터 조절부;
를 더 포함하는 것을 특징으로 하는 생체 인식 시스템.
camera; And
A determination unit configured to extract biometric information from an image acquired through the camera and calculate similarity by comparing the extracted biometric information with stored biometric information;
In the biometric system comprising:
A database that stores first biometric information about a specific person and second biometric information about a person different from the specific person; And
A difference between the first similarity and the second similarity using the first similarity calculated between the specific person and the first biometric information and the second similarity calculated between the specific person and the second biometric information through the determining unit; A parameter adjusting unit for calculating an environmental suitability by calculating a value, and adjusting a parameter value of the camera so that the environmental suitability has a maximum value;
Biometric recognition system further comprising.
제 8 항에 있어서,
상기 추출된 생체 인식 정보 및 상기 저장된 생체 인식 정보는 얼굴의 생체 정보를 포함한 얼굴 인식 정보인 것을 특징으로 하는 생체 인식 시스템.
The method of claim 8,
And the extracted biometric information and the stored biometric information are face recognition information including biometric information of a face.
제 8 항에 있어서,
상기 파라미터 조절부는,
상기 데이터베이스에 저장된 제2 생체 인식 정보가 2 이상인 경우, 상기 환경 적합도를 2 이상의 상기 제2 유사도를 평균한 평균값과 상기 제1 유사도와의 차이 값으로 구하는 것을 특징으로 하는 생체 인식 시스템.
The method of claim 8,
Wherein the parameter adjusting unit comprises:
And when the second biometric information stored in the database is two or more, calculating the suitability of the environment as a difference between the average value of the averages of the two or more second similarities and the first similarity.
제 10 항에 있어서,
상기 파라미터 조절부는,
상기 환경 적합도를 상기 제2 유사도의 평균값과 상기 제1 유사도와의 차이 값을 상기 제2 유사도에 대한 분산 값 또는 표준편찻값으로 나눈 값으로 구하는 것을 특징으로 하는 생체 인식 시스템.
11. The method of claim 10,
Wherein the parameter adjusting unit comprises:
And calculating the environmental suitability as a value obtained by dividing the difference between the average value of the second similarity and the first similarity by the variance value or the standard deviation value for the second similarity.
제 11 항에 있어서,
상기 파라미터 조절부는,
상기 분산 값 또는 표준편찻값의 대상을 2 이상의 상기 제2 유사도 중 평균 이상 또는 초과 값을 갖는 대상으로 하는 것을 특징으로 하는 생체 인식 시스템.
The method of claim 11,
Wherein the parameter adjusting unit comprises:
And a subject having the above variance value or standard deviation value having an average value greater than or greater than two of the second similarities.
제 8 항에 있어서,
상기 파라미터 조절부는,
상기 파라미터 값을 gradient 알고리즘을 사용하여 변경하는 것을 특징으로 하는 생체 인식 시스템.
The method of claim 8,
Wherein the parameter adjusting unit comprises:
And change the parameter value using a gradient algorithm.
KR1020120062868A 2012-06-12 2012-06-12 Method for automatically setting camera parameters for biometric identification and biometric system using the method KR101310504B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120062868A KR101310504B1 (en) 2012-06-12 2012-06-12 Method for automatically setting camera parameters for biometric identification and biometric system using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120062868A KR101310504B1 (en) 2012-06-12 2012-06-12 Method for automatically setting camera parameters for biometric identification and biometric system using the method

Publications (1)

Publication Number Publication Date
KR101310504B1 true KR101310504B1 (en) 2013-09-25

Family

ID=49456516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062868A KR101310504B1 (en) 2012-06-12 2012-06-12 Method for automatically setting camera parameters for biometric identification and biometric system using the method

Country Status (1)

Country Link
KR (1) KR101310504B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275869A (en) 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd Individual authentication system
JP2008187524A (en) 2007-01-30 2008-08-14 Fujifilm Corp Image taking device and control method for image taking
KR20100056280A (en) * 2008-11-19 2010-05-27 삼성전자주식회사 Apparatus for processing digital image and method for controlling thereof
JP2010252374A (en) 2010-06-16 2010-11-04 Casio Computer Co Ltd Camera, art of shooting great photographs, and programs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275869A (en) 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd Individual authentication system
JP2008187524A (en) 2007-01-30 2008-08-14 Fujifilm Corp Image taking device and control method for image taking
KR20100056280A (en) * 2008-11-19 2010-05-27 삼성전자주식회사 Apparatus for processing digital image and method for controlling thereof
JP2010252374A (en) 2010-06-16 2010-11-04 Casio Computer Co Ltd Camera, art of shooting great photographs, and programs

Similar Documents

Publication Publication Date Title
CN109948408B (en) Activity test method and apparatus
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
JP4156430B2 (en) Face verification method and system using automatic database update method
US8515124B2 (en) Method and apparatus for determining fake image
WO2018042996A1 (en) Lifeform sensing device
KR20180109594A (en) Method and apparatus for face verification
US20130329970A1 (en) Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method
RU2670798C1 (en) Method of iris authentication of user and device therefor
US11651624B2 (en) Iris authentication device, iris authentication method, and recording medium
KR101954763B1 (en) Face recognition access control apparatus and operation method thereof
US11682236B2 (en) Iris authentication device, iris authentication method and recording medium
US20150205995A1 (en) Personal recognition apparatus that performs personal recognition using face detecting function, personal recognition method, and storage medium
WO2020065954A1 (en) Authentication device, authentication method, and storage medium
KR100847142B1 (en) Preprocessing method for face recognition, face recognition method and apparatus using the same
US11496466B2 (en) Using an enrolled biometric dataset to detect adversarial examples in biometrics-based authentication system
JP5748421B2 (en) Authentication device, authentication method, authentication program, and recording medium
KR101310504B1 (en) Method for automatically setting camera parameters for biometric identification and biometric system using the method
KR20200127818A (en) Liveness test method and liveness test apparatus, biometrics authentication method and face authentication apparatus
WO2023175781A1 (en) Authentication device, authentication method, and program
JP7248348B2 (en) Face authentication device, face authentication method, and program
WO2023188332A1 (en) Person identification device, person identification method, and person identification program
JP2008186125A (en) Authentication method, and authentication device and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160907

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 6