KR100596498B1 - Online face recognition system based on multi frame - Google Patents

Online face recognition system based on multi frame Download PDF

Info

Publication number
KR100596498B1
KR100596498B1 KR1020040050792A KR20040050792A KR100596498B1 KR 100596498 B1 KR100596498 B1 KR 100596498B1 KR 1020040050792 A KR1020040050792 A KR 1020040050792A KR 20040050792 A KR20040050792 A KR 20040050792A KR 100596498 B1 KR100596498 B1 KR 100596498B1
Authority
KR
South Korea
Prior art keywords
image
face
unit
recognition
face recognition
Prior art date
Application number
KR1020040050792A
Other languages
Korean (ko)
Other versions
KR20060001644A (en
Inventor
김태완
민경원
송황준
정선재
정혁구
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020040050792A priority Critical patent/KR100596498B1/en
Publication of KR20060001644A publication Critical patent/KR20060001644A/en
Application granted granted Critical
Publication of KR100596498B1 publication Critical patent/KR100596498B1/en

Links

Images

Abstract

본 발명은 얼굴 인식을 통한 사용자 인증에 관한 것으로서, 영상 획득을 위한 카메라와, 잡음 제거 및 조명 보상을 수행하는 전처리부와, 얼굴 영상의 데이터 감소를 위한 영상 양자화부와, 추가의 영상 데이터 양 감소를 위한 웨이블릿 저대역 통과 필터부와, 소정 포맷으로 상기 영상을 압축하는 영상 압축부와, 상기 감소되고 압축된 영상을 전송하는 네트워크 인터페이스부를 포함하는, 원격지의 서버로 얼굴 영상 정보를 전송하여 인증 요청을 수행하는 얼굴 인식 클라이언트 시스템과, 얼굴 영상 정보를 수신하기 위한 네트워크 인터페이스부와, 소정 포맷으로 압축된 영상을 복원하는 압축 영상 복원부와, 소정의 알고리즘에 따라 얼굴 인식 처리를 수행하는 인식 처리부와, 등록된 얼굴 영상을 저장하는 데이터베이스와, 상기 인식 처리부의 출력과 The invention, and the pre-processing unit for performing a camera for image capture, noise reduction and illumination compensation, the image quantizing unit and the additional image data quantity reduction for data reduction of the face image related to a user authentication via the face recognition wavelet low-pass filter unit, and the image compression unit for compressing the image into a predetermined format, wherein the reduction is transferred to the authentication request, the facial image information to a remote server, including a network interface for transmitting the compressed image for the and a face detection and a network interface unit for receiving a client machine and the face image information, to restore the compressed image in a predetermined format compressed video reconstruction unit that performs, with the recognition processing unit for performing a face recognition process according to a predetermined algorithm, , and for storing the registration face image database, the output of the recognition processing unit and 상기 데이터베이스에 저장된 얼굴 영상을 비교하여 인증 여부를 판단하고 그 결과를 출력하는 인식 결과 출력부를 포함하는, 얼굴 영상 정보를 수신하여 인증 작업을 처리하는 얼굴 인식 서버 시스템으로 구성된다. Determines whether the authentication by comparing the face images stored in the database and receives, face image information including a recognition result output section for outputting the result consists of a face recognition server system for processing the authentication operation.
얼굴인식, 네트워크, 양자화, 영상 크기 감소 Face detection, network, quantization, reduce image size

Description

다중 프레임 기반 온라인 얼굴 인식 시스템{ONLINE FACE RECOGNITION SYSTEM BASED ON MULTI FRAME} Multi-frame-based online facial recognition system {ONLINE FACE RECOGNITION SYSTEM BASED ON MULTI FRAME}

도 1 및 2는 종래의 얼굴 인식 방법에 관한 흐름도. 1 and 2 is a flowchart of a conventional face detection methods.

도 3은 종래의 얼굴 인식 기능이 있는 보안 출입 시스템의 개념도. Figure 3 is a schematic diagram of a security access systems with conventional face recognition feature.

도 4는 종래의 얼굴 인식 및 신분카드를 병행한 개인 인증 시스템의 구성도. 4 is composed of a personal authentication system that combined a conventional face recognition and identification cards.

도 5는 본 발명의 일 실시예에 따르는 온라인 얼굴 인식 시스템의 구성도. 5 is a structural view of a line face recognition system according to one embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따라 영상을 양자화한 경우 양자화 인수에 따른 영상의 변화를 도시한 도면. 6 is a case where the quantized image in accordance with an embodiment of the invention shows a picture changes in accordance with the quantization factor.

도 7은 본 발명의 일 실시예에 따라 상을 양자화 한 경우 양자화 인수에 따른 데이터의 감소율을 도시한 그래프. 7 is a case of quantizing the phase in accordance with an embodiment of the invention a graph showing the reduction rate of the data according to the quantization parameter.

도 8은 영상의 크기 변화에 따른 인식 트레이닝 시간의 차이를 도시한 그래프. Figure 8 is showing a difference in recognition training time according to the size change of an image graph.

도 9는 영상의 크기 변화에 따른 인식 처리 시간 결과를 도시한 도면. 9 is a diagram showing the recognition result according to the processing time of the image size change.

도 10은 본 발명의 일 실시예에 따라 클라이언트측에서 영상을 획득, 처리하여 전송하는 과정을 도시한 흐름도. 10 is a flowchart in accordance with an embodiment of the invention illustrating a process for obtaining an image on the client side, the process to transmit.

도 11은 본 발명의 일 실시예에 따라 서버측에서 영상을 수신하고 처리하여 인증여부를 결정하는 과정을 도시한 흐름도. 11 is a flowchart illustrating a process of determining whether or not the authentication by receiving an image processing on the server side according to one embodiment of the invention.

도 12는 양자화율 및 영상 크기 감소에 따른 인식 정확도의 변화를 도시한 도면. Figure 12 is a view showing a change in the recognition accuracy of the quantization rate and image size reduced.

도 13 및 도 14는 본 발명의 구체 적용례를 도시한 도면. 13 and 14 shows a specific application of the present invention.

<도면의 주요부분에 대한 부호의 설명> <Description of the Related Art>

500: 카메라 505: 전처리부 500: camera 505: a pre-processing unit

510: 영상 양자화부 515: 웨이블릿 저역통과 필터 510: Image Quantization unit 515: low-pass wavelet filters

520: 영상 압축부 525: 네트워크 인터페이스부(클라이언트) 520: Video compression unit 525: network interface (client)

530: 제어부 550: 네트워크 인터페이스부(서버) 530: control unit 550: network interface unit (server)

555: 영상 복원부 560: 데이터베이스 555: image restoration section 560: Database

565: 얼굴인식 처리부 570: 인증 여부 판단부 565: face recognition processing unit 570: authentication determination unit

575: 출력 장치 575: Output device

본 발명은 컴퓨터 네트워크로 연결된 클라이언트/서버 컴퓨팅 환경에서의 사용자 인증에 대한 것으로서, 구체적으로는 사용자 얼굴 영상을 획득한 클라이언트가 서버로 얼굴 영상과 함께 인증 요청을 수행하고 서버가 영상을 수신하여 인증 여부를 판단하는 방법에 관한 것이다. Whether the present invention is for the user authentication from a connected to a computer network, a client / server computing environment, specifically, the client obtains the user's face image to authenticate the request with the face image to the server, and authenticated by the server receives the image It relates to a method for determining.

보안 및 사용자 인증은 고래로부터 수행되어 왔으며, 최근의 정보화 시대에서도 신뢰성있는 보안 및 인증 기술은 필수적인 것이다. Security and user authentication has been carried out from the whale, security and authentication technologies that confidence in the information age, the last is essential. 이러한 이유로 현대의 멀 티미디어 디지털 환경에서는 사용자 영상을 획득하고 이로부터 정당 사용자 여부를 확인하는 방식이 연구되고 빠른 속도로 채택되고 있다. For this reason it in modern multimedia digital environment this way to obtain your image and confirm whether or not the user party from which the research is being adopted at a rapid pace. 지문, 홍채, 얼굴과 같은 본인의 생체정보를 이용한 보안 및 인증 기술은 부가적인 장치를 휴대할 필요성이 요구되지 않으며, 높은 인증 신뢰도를 보장할 수 있으며, 특히 얼굴인식 기술은 구축되어 있는 DB로부터 카메라를 통해 신원확인을 요청한 사람의 얼굴을 찾아내어 확인하는 기술로써 기존 여타의 생체인식 기술에 비해 사용자로 하여금 거부감을 가장 적게 느끼게 하므로 최근 매우 주목받는 분야중의 하나이다. Security and authentication technology using their biometric information such as fingerprint, iris, face, does not require the need to carry an additional device, and to guarantee a high authentication reliability, especially cameras from DB that face recognition technology is built since the finds the face of the person requesting the identity allows the user to feel the least compared to other biometric technologies in existing as to determine through technical resistance is one of the last areas to receive much attention.

얼굴인식과 관련된 주요 알고리듬으로는 PCA(Principal Component Analysis : 주성분 분석), K-PCA(Kernel-PCA:커널 주성분 분석), ICA(Independent Component Analysis), SVM(Support Vector Machine), NN(Nural-Network:신경망), HMM(Hidden Markov Model:은닉 마르코프 모델) 등을 이용한 방식이 주로 사용되고 있으며, 얼굴인식과 관련된 특허로는 1) 홍채인식 및 얼굴인식을 이용한 네트워크 보안방법(대한민국 공개특허 제2002-0014785호), 2) 에스.브이.엠(SVM)을 이용한 얼굴 등록/인증 시스템 및 방법(대한민국 공개특허 제2003-0046181호), 3) 실시간 얼굴인식을 통한 출입통제 및 방문자 기록 시스템(실용신안출원 제20-2003-0013077호), 4) 계층적 주요성분 분석에 기반한 얼굴 인식 방법 및 장치(대한민국 공개특허 제2002-0074330호), 5) 비디오 영상으로부터의 얼굴인식(대한민국 공개특허 제2001-0042659호), 6) 얼굴인 The main algorithms related to face recognition PCA (Principal Component Analysis: Component Analysis), K-PCA (Kernel-PCA: Kernel Principal Component Analysis), ICA (Independent Component Analysis), SVM (Support Vector Machine), NN (Nural-Network : neural networks), HMM (Hidden Markov model: HMM) method is used primarily by the like, and patents related to face recognition: 1) network security using iris recognition and face recognition (Republic of Korea Patent Publication No. 2002-0014785 Lake), 2) S. v. M. (SVM) face registration / authentication system and method (Republic of Korea Patent Publication No. 2003-0046181), 3) access control, and visitor records system through real-time face recognition (utility model with application Article No. 20-2003-0013077), 4), a hierarchical face detection method based on principal component analysis and an apparatus (Republic of Korea Patent Publication No. 2002-0074330 call), 5) face recognition from a video image (Republic of Korea Patent Publication No. 2001-0042659 arc), 6) face 보안방법(대한민국 공개특허 제2002-0032048호), 7) 조명변화 얼굴표정 변화등에 독립적인 얼굴 인식 방법(대한민국 등록특허 제10-0345245호), 및 8) 최적얼굴영역추출방법 및 그에 따른 얼굴인식 방법(대한민국 등록특허 제10-0300961호) 등의 다양한 얼굴 인식 및 출입통제 시스템을 제안되고 있다. (The Republic of Korea Patent Publication No. 2002-0032048), the security method, 7) independent face recognition method or the like lighting change the face expression change (Republic of Korea Patent No. 10-0345245 number), and 8) the optimal face region extraction method, and face recognition according thereto how (Republic of Korea registered Patent No. 10-0300961) has been proposed a variety of face detection and access control systems, etc.

이들 종래 기술은 PCA(Principal Component Analysis : 주성분 분석), K-PCA(Kernel-PCA : 커널 주성분 분석), ICA(Independent Component Analysis), SVM(Support Vector Machine), NN(Nural-Network:신경망), HMM(Hidden Markov Model:은닉 마르코프 모델)등을 이용한 방식에 기반한 침입탐지 및 보안시스템 또는 이러한 얼굴인식 알고리듬으로서, 영상의 명암 및 조도, 얼굴위치 및 얼굴 각도의 변화 등에 따라서 얼굴인식의 정확도가 상대적으로 떨어질 수 있다는 점에 착안하여 이를 보완하기 위한 방식을 제시하고 있다. These prior art PCA (Principal Component Analysis: Principal component analysis), K-PCA (Kernel-PCA: kernel principal component analysis), ICA (Independent Component Analysis), SVM (Support Vector Machine), NN (Nural-Network: a neural network), HMM: an intrusion detection and security system or such face recognition algorithm based on the method using a (hidden Markov model HMM) or the like, the accuracy of the contrast and luminance, the face position and face Thus face recognition or the like the angle change in the image relative to in view of the fact that you can drop presents a way to compensate.

이러한 시스템은 통상 도 1 및 도 2에 도시된 바와 같이 구성되며 주로 얼굴영역 추출->영상 전처리->눈코입등 얼굴 특징점 추출->인식알고리듬 적용->얼굴인식 결과 출력의 과정을 거친다. Such systems typically also be configured as shown in FIGS. 1 and 2 mainly the face region extraction-subjected to the process of the> face detection result output -> image pre-processing> nunkoip such as facial feature extraction -> recognition algorithm applied. 이러한 얼굴 인식 방법은 또한 도 3[얼굴인식 보안방법(대한민국 등록특허 제1020020062923호)] 또는 도 4[에스.브이.엠(SVM)을 이용한 얼굴 등록/인증 시스템 및 방법(대한민국 공개특허 제2003-0046181호)]에 나타난 바와 같이 케이블 형태로 연결된 카메라로부터 수집된 아날로그 또는 디지털 영상 정보를 PC 및 관제 서버등의 중앙 처리 장치에서 변환하여 도 1 및 도 2에 도시된 바와 같은 알고리듬을 이용하여 인식을 수행하는 방법을 사용하고 있다. The face detection method also FIG. 3 [Face Recognition Security Method (Republic of Korea Registered Patent No. 1020020062923)] or 4 [S. V. M. face registration with (SVM) / authentication system and method (Republic of Korea Patent Application Publication No. 2003- 0,046,181 arc) the recognition by using the algorithm as shown in the analog or converted to Figs. 1 and 2, the digital image information from a central processing unit such as a PC, and the control server collects from the camera attached to the cable type, as shown in and how to use the performance.

한편, PDA, 휴대폰, PC, 영상 통신기 등 개인용 기기의 보급이 늘어남에 따라, 개별 단말기내에 영상 정보를 저장하고 자체의 카메라로 인식한 영상과 저장 영상을 대비하여 정당 사용자 여부를 인식하는 구현례도 증가하고 있다. On the other hand, as the increasing widespread use of PDA, cell phone, PC, video communication device such as a personal device, the implementation case of storing the image information in the individual terminal recognizes the party the user whether or not to prepare the image and the stored image recognition by its own cameras increasing. 예컨대 한국 특허공개공보 제2002-0014593호는 휴대 단말기의 정당 사용자 인증을 위하여 단 말기 내장 카메라를 이용하여 사용자의 얼굴을 인식하는 구성이 개시되어 있다. For example, Korea Patent Publication No. 2002-0014593 discloses a configuration of recognizing a user's face is described by using a single end of the built-in camera to a party, the user authentication of the wireless terminal. 위 공개 특허는 휴대 단말기의 분실 또는 도난시 정당 사용자의 피해를 막기 위한 비밀번호 방식의 보안 장치의 불편함을 해소하기 위하여 정당 사용자 얼굴 영상 및/또는 특징을 사전에 휴대폰에 저장하고, 단말기에 내장된 카메라로써 단말기 사용 희망자의 얼굴을 얼굴 영상 획득하고 이를 인식하여 정당 사용자인지의 여부를 판별하려는 것을 목적으로 하며, 구체적 구성으로서는 영상 포착기, 안면영상 추출부, 안면영상 판단부 및 제어부의 조합으로 이루어진 개인용 휴대 단말기의 정당 사용자 인증모듈을 개시하고 있다. The above Patent Publication is stored in the phone for just your facial image and / or features in advance in order to relieve the discomfort of the security apparatus of the password scheme to prevent damage during the party you lost or stolen mobile devices, and embedded in the handset obtained face the face of the terminal using applicant as a camera image and to recognize it, and for the purpose to determine whether the party user, as a concrete configuration image capture period, the face image extracting section, the facial image decision unit and which is a combination of the control It discloses a legitimate user identity module of the personal portable terminal. 이때, 영상 포착기는 개인용 휴대 단말기를 사용하는 사용자의 안면을 포착하여 일련의 안면영상을 생성하는 역할을 수행하며, 안면영상 추출부는 안면영상 포착기에 의해 생성된 안면영상의 콘트라스트를 조절함과 아울러, 안면영상의 주요 포인트를 이루는 일련의 특징점들을 추출하고, 이 특징점들을 보정하여 일련의 특징값을 추출하는 역할을 수행한다. At this time, also the image capture groups personal digital assistant captures the user's face that use to serve to create a series of the face images and the face image extracting unit to adjust the contrast of the face image produced by a captured facial image and, at the same time, extracting a set of feature points that make up the main points of the face image, and serves to extract a set of feature values ​​to correct for the characteristic point.

또한, 안면영상 판단부는 안면영상 추출부에 의해 추출된 특징값을 미리 저장된 기준특징값과 비교하여, 개인용 휴대단말기를 사용하는 사용자의 정당성 여부를 판단하는 역할을 수행하며, 제어부는 안면영성 판단부로부터 출력되는 판단결과 신호에 따라 통신모듈의 구동여부를 결정짓는 역할을 수행한다. In addition, the facial image decision unit to compare the feature values ​​of previously stored reference characteristic value extracted by the face image extracting unit, and serves to determine whether the validity of the user using the personal portable terminal, the control face spiritual determiner according to the determination result signal output from it plays a role in determining whether or not the driving of the communication module.

위 공개 특허는 정당 사용자의 인증과정이 사용자의 안면영상을 자동으로 비교하는 과정에 의해 진행되기 때문에, 사용자는 별도의 비밀번호 입력과정을 일일이 수작업으로 진행시키지 않고서도, 자신의 정당성 여부를 신속하게 확인받을 수 있으며, 결국 본 발명이 달성되는 경우, 사용자는 종래의 비밀번호 입력에 따른 불 편함을 손쉽게 해결할 수 있는 효과를 제시하고 있다. Above published patent confirms the certification process of the party user, because progress by comparing the user's face image automatically, you will also without having to proceed to manually separate password entry process faster if their legitimacy It can be, after all, if this is achieved the present invention, the user presents the effects that can easily fix the light of ease in accordance with the prior password.

한편, 대한민국 특허공개공보 제2002-0013190호에서는, 영상인식에 의한 영상통신기 도용 방지장치를 개시하고 있으며, 구체적으로 카메라 등의 영상 입력장치를 통해 얼굴 영상 획득되는 화자의 영상데이터를 수집하여 전처리(preprocessing)한 후 수학적, 구조적, 변환법적 수단 등의 방법을 사용하여 얼굴의 특징을 추출하며, 추출한 특징을 입력으로 하는 수학적, AI, 인공신경망 등의 모델을 사용하여 얼굴을 인식하고, 인식한 얼굴에 대해 적법 화자 여부를 판정하여, 그 판정결과에 따라 통화를 진행 또는 중단시키고, 불법 화자의 영상을 지정번호로 자동 전송하도록 구성된다. On the other hand, in the Republic of Korea Patent Publication No. 2002-0013190 call, which discloses a video communication device theft prevention device according to the image recognition, by specifically collecting the image data of the speaker's face image is obtained through an image input device such as a camera pre-processing ( preprocessing) after mathematical, architectural, conversion, and extracts a feature of the method by using the face, such as legal means, by using a model such as a mathematical, AI, the artificial neural network to the extracted feature as an input to detect a face, a recognized face determining whether the speaker due to the in progress call or stop according to the determination result and is configured to automatically transmit the image of the speaker's illegal under the fixed designation. 따라서, 본 발명은 영상통신기의 도난이나 분실 등으로 인한 도용을 통화중단으로 방지할 수 있고, 불법 화자의 추적 및 수거를 용이하도록 하는 효과를 제공한다고 기재되어 있다. Accordingly, the invention is described that provides the effect that the theft, such as due to theft or loss of the image communication device it is possible to prevent the call interruption, to facilitate tracking and collection of illegal speaker.

그러나, 최근 들어 정보화 시대의 발달에 따라 원격지를 연결하는 각종 유무선 인터넷 기술이 급속도로 발전함에 따라 인식 및 인증 기술은 주로 온라인을 통해 터미널 또는 클라이언트로부터 수집한 데이터를 전송하여 서버단에 구축된 DB를 통해 인증 여부를 확인하는 온라인 인증 시스템이 각광받는 추세이다. However, in recent years, the DB Construction recognition and authentication technology is server side based primarily transfer the data collected from the terminal or client through online as various wired or wireless Internet technology is rapidly evolving to connect remotely with the development of the Information Age this online certification system to determine whether authentication is spotlighted trends through. 예컨대, 인터넷등 통신망의 발달로 인하여 본사와는 멀리 떨어진 원격지 지점간의 자료 전송이 유무선 통신망을 통하여 실시간으로 진행되며 이러한 정보의 수집 또는 전송 주로 원격지 지점으로부터 중앙의 서버로 전송되어 DB화 되고 관리되며 다시 각각의 원격지 지점으로 전송되는 클라이언트-서버 체계가 구축되어 있는 곳이 대부분이다. For example, the Internet, etc. Due to the development of the network headquarters and is the data transmission between distant remote branches proceeds in real time via a wired or wireless network are transmitted from the acquisition or transfer, mainly remote point of this information to a central server and DB Tuesday and managed again the client is sent to each remote point of the - the place where the server system is built mostly. 이에 따라 온라인 인증 시스템 및 각각의 원격지 또는 지점의 출입자를 본사의 시스템으로부터 통합적으로 관리하는 원격 관리 시스템의 보안 및 사용자 인증의 필요성이 대두되고 있다. This is the online certification system and the need for security and user authentication for remote management system that manages each chulipja remote or branch offices with an integrated system from the headquarters of the emerging along.

다시 말해, 개별 사용자 소유의 단말 장치에서의 인증과는 달리, 기업이나 조직내부의 인증 또는 방범 시스템과 관련되는 대규모 시스템에서의 인증은 인터넷 또는 이와 유사한 유무선 통신 네트워크를 경유하여 영상 정보의 전송 과정이 수반되며, 또한 이러한 대규모 시스템상에서의 인증 및 보안은 개별 단말기상 인증보다 더욱 미션 크리티컬한 것이므로 더욱 정확하고 신속한 처리와 높은 인식율의 유지가 요구된다. In other words, the authentication unlike the authentication in a large-scale system of the company, organization inside of authentication or security system, transmission process of image information via the Internet or other similar wired or wireless communication network of the terminal device of an individual's possession, It is accompanied, and on the authentication and security of such a large system, because the critical mission more than an individual authentication device is more accurate and timely processing and the holding of high recognition rate is desired.

그러나 전술한 바로부터 알 수 있듯이 기존의 얼굴인식 기반의 각종 시스템은 얼굴인식 시스템에 연결된 카메라가 연결되어 영상을 취득하며 압축되지 않은 영상을 입력받아 얼굴인식 처리를 수행하며. However, as can be seen from the foregoing conventional face recognition systems are based on various performs face recognition processing Take the camera is connected is connected to the face recognition system acquires the image and enter the uncompressed image. 따라서 전술한 종래 기술에 기초하여 개발된 시스템의 경우 얼굴인식 처리를 위해 대량의 영상 데이터가 얼굴인식 서버측으로 전달되어야만 한다. Therefore, for a system developed based on the above-described prior art must be mass-transfer image data to the face detection processing is toward the face recognition server.

이에 따라 공용망으로 신호의 품질(QOS)가 보장되기 어렵고 제한적인 송수신 데이터 전송량를 가지는 인터넷 환경상에서 상기의 시스템을 구현하는 데에는 원격지의 카메라로부터 중앙의 얼굴인식 서버 측으로 실시간 얼굴인식에 요구되는 데이터의 원활한 전송이 어려워 결과적으로 원격지에서 얼굴인식 시스템을 구동하는데 있어 많은 지연시간을 유발하게 되는 문제점이 있으며 이러한 문제점을 해결하기 위해서는 상기 시스템에서 요구되는 데이터 전송 속도를 만족하는 고속의 전용망을 사용하여야 하므로 시스템 구서을 위해 과도한 유지비용이 지출되어야 한다는 단점 이 있다. Accordingly, the quality of the signal to a public network (QOS) guarantee is difficult and limited reception data jeonsongryangreul having smooth the data required for real-time face detection side of the central face recognition server from a remote camera There implementing the above systems on the Internet environment it to difficult to transport as a result driven facial recognition system from a remote location, and the problem that it causes a lot of delay in order to solve these problems, so should use a high-speed private network that meets the data transfer rate required by the system, the system guseoeul this has the disadvantage that excessive maintenance costs should be spent on.

또한 상기의 이유로 인하여 하나의 얼굴인식 서버에 여러 대의 카메라를 연결하여 얼굴인식 처리를 수행하기는 더더욱 어려울 뿐 아니라 상기 전용선을 이용한 방법을 사용하더라도 일반적인 얼굴인식 시스템에서 얼굴인식에 일반적으로 사용되는 상기한 얼굴인식 알고리듬 즉,PCA, KPCA, SVM 등을 적용하기 위해서는 매우 높은 서버측의 처리용량이 요구된다는 문제점이 있어 결과적으로 과도한 시스템 구축 비용이 소모된다는 단점이 있다. In addition, the one commonly used in face detection in a typical face recognition system, even if due to the above reasons, use the method to connect multiple cameras to a single face recognition server, as well as is difficult more and more to perform face recognition processing using the dedicated line in order to apply a face recognition algorithm that is, PCA, KPCA, SVM, etc. there is a problem that a very high processing capacity of the server-side request has the disadvantage that as a result the consumption build excessive system costs.

따라서 상기의 얼굴인식 시스템들은 사용자별 개인 장치에 적용하거나 기존의 CCTV시스템과 같이 유선케이블망을 이용하여 시스템을 구축하거나 혹은 인트라넷 망을 이용하여 소규모의 시스템을 구축하는 경우에 있어 유용할 수 있으나, 인터넷 환경상에서 중앙의 얼굴인식 서버와 다수의 원격지 인식 클라이언트간의 실시간 얼굴인식 처리를 수행하는 시스템의 구성은 불가능 할 것으로 예상된다. Thus, the face recognition systems, but it can be useful in case of building a small-scale system by building the system using a wired cable network, or using the intranet network, such as application or existing CCTV systems for individual device-specific users, configuration of the system that performs real-time facial recognition facial recognition processing between the central server and multiple remote clients recognize on the Internet environment is expected to impossible.

즉, 일반적인 얼굴인식 시스템은 인식도 향상을 위해 터미널 또는 클라이언트로부터 고화질의 정지영상의 전송이 필요하므로 데이터 전송량이 제한적인 인터넷 온라인 환경에 적용하기 어렵다는 단점이 있다. In other words, a typical face recognition system, so from a terminal or client in order to improve awareness of the need to stop the transmission of high-definition video has a difficult disadvantage to applying the data transfer is limited internet online environment. 또한 이러한 제한적인 데이터 전송량으로 인해 전송되는 얼굴 영상의 화질을 낮추었을 경우 인식률의 저하를 초래하므로 따라서 중앙의 서버 및 원격지점의 클라이언트 또는 로컬 서버 형태로 구현되고 있는 현재의 각종 시스템 구성 형태에도 불구하고 얼굴인식 시스템은 주로 사내의 인트라넷 망 또는 로컬 DB를 이용하는 제한적인 방법만이 주로 사용되어 왔다. In addition, in spite of this limited because the data transfer amount to result in the recognition rate decreases in the case of lowered image quality of the face image to be transmitted because a result, the client, or be implemented as a local server, form Current various system configurations in which a server and a remote point of the central face recognition system has been primarily limited only how to use the intranet network or a local DB's house is mainly used.

따라서, 서버에 저장되어 있는 얼굴인식 DB를 이용하여 원격지의 터미널 또는 클라이언트로부터 인터넷을 통해 전송된 얼굴 영상을 실시간으로 인식하기 위한 효과적인 방법을 제안함으로써 기존의 얼굴인식시스템이 가지는 문제점을 해결하고 나아가 온라인 생체인증 시스템에 효과적으로 적용하기위한 시스템 및 방법을 제시하는 것은 매우 이로운 일이다. Thus, by using Face Recognition DB stored on the server by offering an effective method for recognizing facial images sent over the Internet from a terminal or a client of the remote real-time solving the problems existing face recognition systems have to go online It is a very beneficial one that presents a system and method for effectively apply the biometric system.

전술한 종래 기술의 문제점을 해결하기 위하여, 본 발명은 얼굴인식에 요구되는 데이터의 량을 획기적으로 감소시키고, 얼굴인식 서버측 에서 얼굴인식 처리에 요구되는 계산량을 감소시키면서도 또한 전체 얼굴인식 시스템의 인식률은 적절히 유지시킬 수 있는 새로운 얼굴인식 시스템 및 얼굴인식 방법을 제공하는 데 그 목적이 있다. In order to solve the problems of the prior art described above, the present invention while still drastically reducing the amount of data required for face recognition and reduce the amount of computation required for face detection processing in the face recognition server side also recognition of the entire face detection system the purpose is to provide a new face recognition and face recognition method that can be properly maintained.

상기 기술적 과제를 달성하기 위한 본 발명에 따라 본 발명에 따른 시스템의 구성도는 도 5와 같은 형태로 구성된다. Of a system configuration according to the invention in accordance with the present invention for achieving the above-mentioned technical problem is also of a type as shown in Fig. 5.

본 발명의 얼굴 인식 시스템은 얼굴 영상을 획득하여 전송하는 클라이언트부와 이를 수신하여 인증 여부를 결정하는 서버부로 구성된다. Of the present invention, the face recognition system by a client and the receiving section for transmitting them to obtain a face image is composed of a server that determines whether authentication.

얼굴인식 클라이언트부는 카메라(500), 전처리부(505), 1/10양자화부(510), 웨이블릿 저역통과필터(515), JPEG 압축부(520), 네트웍 인터페이스부(525) 및 제어부(530)를 포함한다. Face recognition camera client unit 500, a preprocessing unit 505, 1/10 quantization unit 510, the wavelet low-pass filter (515), JPEG compression unit 520, a network interface unit 525 and control unit 530, It includes.

얼굴인식 전처리부(505)는 카메라로부터 입력된 영상에서 얼굴의 존재 유무 를 검출하며 노이즈를 제거하는 부분으로서, 먼저 카메라를 통해 입력된 이미지를 저역통과 필터를 통과시킴으로써 고주파 잡음 성분을 제거하고 조명환경 변화에 따른 얼굴인식률의 변화를 상쇄시키기 위해 조명보상을 실시하며 또한 RGB의 색상정보를 YCrCb공간으로 비선형변환(color space transformation)하여 타원형의 얼굴 모델을 이용하여 피부색상화소를 검출을 하여 얼굴후보들을 검출하고(skin color detection), 만약 검출된 얼굴후보중 눈과 같은 특징을 가지고 있을 경우 얼굴영역에 대한 검출을 하게 된다. Face recognition pre-processing unit 505 is detecting the presence of face presence in an image input from the camera and a portion to remove the noise, before the image input through the camera is passed through a low pass filter removing high frequency noise components and the light condition conducted an illumination compensation to offset the change in the facial recognition of the change, and also the to the RGB color information of the YCrCb space, non-linear conversion (color space transformation) using a face model for oval detecting the skin color pixel to face candidates detection, and (skin color detection) if it has the same characteristics as of the detected face candidate eye is the detection of the face region.

이러한 전처리 과정은 아브델 모타레브 등의 얼굴인식 관련 문헌인'칼러 이미지내 얼굴 검출'[RL Hsu, M. Abdel-Mottaleb, AK Jain.; This pretreatment process Abdel motor rev, such as face recognition literature is "my face detection color image '[RL Hsu, M. Abdel-Mottaleb, AK Jain .; "Face detection in color images," International Conference on Image Processing, 2001.] 또는 소보트카 등의 '컬러 이미지내 얼굴의 분할 및 추출[K. "Face detection in color images," International Conference on Image Processing, 2001.] or small boat division and extraction of my face 'color images, such as a car [K. Sobottka, I. Pitas, "Segmentation and tracking of faces in color images," the Second International Conference on Automatic Face and Gesture Recognition, pp. Sobottka, I. Pitas, "Segmentation and tracking of faces in color images," the Second International Conference on Automatic Face and Gesture Recognition, pp. 236 -241 Oct. 236 -241 Oct. 1996.]이라는 제하의 논문에 기재된 바와 같은 일반적인 영상 처리를 수행함에 있어 보편적으로 사용되는 방식으로 수행될 수 있다. 1996] In performing the normal image processing such as described in the paper entitled may be performed in a manner commonly used.

1/10 영상 양자화부(510)는 도 6과 같이 전송될 얼굴영역 영상의 데이터를 감소시키기 위해 영상의 색차레벨을 감소시키는 단계로서, 본 발명의 바람직한 실시예에서는 0-255단계의 영상의 색차 단계를 1/10인 0-25단계로 감소시키는 역할, 즉 양자화 인수(QP)에 10을 적용하여 양자화하는 역할을 수행한다. 1/10 picture quantization unit 510 is a step of reducing the level of color difference image to reduce the data of the face region image to be transmitted as shown in Figure 6, the preferred embodiment, the color difference of the image of 0 to 255 steps of the present invention applying a role, i.e., 10 to a quantization factor (QP) to reduce the step to the tenth step 0-25 and performs a role of quantization.

영상 양자화부(510)를 통해 원 영상에 비해 색차 단계가 감소된 영상은 JPEG 압축부(520)를 통과하면서 데이터의 양이 원 영상에 비해 현저히 감소하게 되며, 도 6에 나타낸 바와 같이 양자화 인수가 10인 경우에도 원영상과 큰 차이가 없어서 영상 인식 처리에 별다른 문제는 발생하지 않는다. The through image quantizing unit 510, an original image on the color difference step lower than the image is to the amount of data is significantly reduced compared to the original image as it passes through the JPEG compressing unit 520, a quantization factor as shown in Fig. 6 10, even if the original image is no big difference no problem in the image recognition process does not occur.

웨이블릿 저대역 통과 필터부(515)는 서버측에서 얼굴인식에 요구되는 연산량을 감소시키기며 또한 인터넷을 통해 전송될 데이터의 양을 추가적으로 감소시키기 위해 웨이블릿 알고리듬에 따라 (1/n) 2 크기로 축소된 영상을 발생시키는 부분이다. Wavelet low-pass filter 515 is said to reduce the amount of computation required for face recognition on the server side also reduced to (1 / n) 2 size based on wavelet algorithms to reduce the amount of data to be transmitted over the Internet in addition the a portion for generating the image. 웨이블릿 저역통과 필터(515)는 원 이미지에 웨이블릿 함수를 적용함으로써 1/nㅧ 1/n 크기로 영상을 지속적으로 압축하는 영상 압축 방식의 하나로써 일반적으로 사용되는 방법이므로 본 명세서에서 구체적인 기술은 생략하도록 한다. Because the wavelet low-pass filter 515 by applying a wavelet function, the original image 1 / n ㅧ 1 / n method commonly used as a video compression method for continuously compressing the image into a size specific description herein is omitted and to.

본 발명의 바람직한 실시예에서 사용된 웨이블릿 저역통과 필터(515)는 1/10 영상 양자화부(510)를 통과한 이미지를 다시 가로 및 세로 각각 1/8 크기의 영상으로 축소시키는데 이는 데이터의 전송량을 (1/8) 2 감소시킬 뿐 아니라 웨이블릿 저역통과 필터부틀 통과하여 발생된 영상의 크기는 아래의 수학식 1과 같이 정의된다. The wavelet low-pass filter 515 is one-tenth image quantizing unit 510, a sikineunde the image, reduction in vertical and horizontal image size of one eighth of the data transfer amount, which through the use in the preferred embodiment of the present invention (1/8) 2 as well as to reduce the size of the wavelet low-pass filter passed Bootle generated image is defined as shown in equation 1 below.

Figure 112004029056246-pat00001
Image size(s) = Image size (s) =

도 8 및 도 9에 나타낸 바와 같이 영상의 크기를 감소시키면 영상인식 서버부의 PCA/KPCA 블록에서 요구되는 학습 및 얼굴인식 연산시간을 크게 감소시키는 효과가 있다. Also reducing the size of the image, as shown in 8 and 9 has the effect of greatly reducing the learning and face recognition computation time required for the PCA / KPCA block image unit recognition server. 따라서 상기의 이유로 인하여 본 발명에 따르는 시스템이 인터넷망을 통하여 다수의 얼굴인식 클라이언트들이 인터넷상에 접속하여 얼굴인식을 요청하였 을 경우에도 보다 빠른 시간 내에 얼굴인식처리를 수행할 수 있음을 예상할 수 있다. Therefore to be expected that a system according to the invention because of the above reasons can perform a plurality of face detection clients face recognition processing in the faster time, even if the requested face detection were connected to the Internet through the internet have.

이러한 웨이블릿 저역통과 필터(520)를 통과한 이미지는 인터넷을 통해 전송되기 위해 최종적으로 JPEG 영상 압축부(520)에 의해 압축되어 인터넷상에 인터페이스 하기 위한 각종 유, 무선 네트워크 인터페이스 방식으로 구현 가능한 네트웍 인터페이스부(525)를 통해 인터넷 망을 통해 전송된다. These wavelet low-pass image which has passed through the filter 520 are finally compressed by a JPEG image compression unit 520 for transmission over the Internet, various kinds of wired and wireless network interfaces manner implementable network interface for interfacing to the Internet through the unit 525 is transmitted through the Internet network.

얼굴인식 서버부는 네트워크 인터페이스부(550), JPEG 복원부(555), 얼굴인식 데이터베이스(560), 얼굴인식 처리부(565), 인증 여부 판단부(570) 및 출력장치(575)와 제어부(580)를 포함한다. Face recognition server unit network interface unit (550), JPEG decompression unit 555, face recognition database 560, a face recognition processing unit 565, whether or not the authentication determination unit 570 and an output device 575, a control unit 580, It includes.

JPEG 복원부(555)는 클라이언트의 JPEG 압축부(520)에 의해 압축된 영상을 다시 복원하는 것이다. JPEG decompression unit 555 to restore the compressed image by the JPEG compression of the client 520. 주의할 것은 본 발명의 바람직한 실시예에서 영상 압축 및 복원을 JPEG 방식으로 수행하고 있으나, 이에 한정하지 않고 그 외의 다른 영상 압축 및 복원 알고리즘에 의해 수행될 수 있음은 물론이다. Note that the number may of course be performed by an exemplary other different video compression and decompression algorithm, but in the example, and perform image compression and decompression by the JPEG system, the present invention is not limited thereto in the present invention to.

얼굴인식 데이터베이스(560)는 등록시에 얼굴인식부(565)에 의해 변환된 고유벡터값 등록 대상 얼굴의 고유벡터값 또는 얼굴 영상 자체를 저장하여, 후속의 인증 과정시 정당 사용자 여부를 확인할 수 있도록 한다. Face recognition database 560 to save the eigenvector value registered target face eigenvector value or face image itself converted by the face detection unit 565 at the time of registration, you can determine when a subsequent authentication process party user .

얼굴인식부(565)는 얼굴인식에 일반적으로 사용되는 PCA 또는 KPCA 알고리에 기초하여 적법한 사용자 또는 허가된 출입자등을 얼굴인식 데이터베이스(560)에 등록하기위한 학습(Training)과정과 원격클라이언트로부터 전송된 얼굴영상을 얼굴인식 데이터베이스(560)와 비교하여 얼굴인식을 수행하는 기능을 담당한다. The face recognition unit 565 is transmitted from the general learning (Training) courses and remote client for the PCA or KPCA know Liege based properties such as the legitimate user or authorized chulipja face recognition database 560 used in face recognition the facial image as compared to the face recognition database 560 is responsible for performing the facial recognition feature. 본 발명 에 따르는 바람직한 실시예에서 얼굴인식 알고리즘은 PCA 또는 KPCA를 채택하나, 이에 한정하지 않고 종래의 얼굴인식 알고리즘 전부를 포함하며, 얼굴인식을 수행하기위한 학습과정 및 내부 알고리듬의 동작순서에 대한 설명은 이미 공지된 것이므로 본 명세서에서는 생략한다. Face recognition algorithms in a preferred embodiment according to the present invention is one employing a PCA or KPCA, not only limited to this, and includes all of the conventional face detection algorithms, a description of the operation procedure of the learning process and the internal algorithm for performing a face detection It is omitted because it is already known in the present specification.

인증 여부 판단부(570)은 최종적으로 인증 여부를 결정하는 장치로서 구체적인 동작에 대해서는 후술하며, 클라이언트 측 및 서버측의 제어부(530, 580)는 전술한 각 구성 요소의 동작 및 구성 요소간의 상관 관계를 조정하는 역할을 담당한다. Correlation between the authentication determination unit 570 is finally provided an apparatus for determining the authenticity and will be described later in the specific operation, the client side and a control unit (530, 580) of the server side, the operation and components of the components described above to be responsible for coordination.

도 10은 상기 도 5에 도시된 얼굴인식 클라이언트가 본 발명에 따라 얼굴 영상을 획득하고 전송하는 과정을 도시한 흐름도이다. 10 is a flow chart illustrating a process for obtaining a face image and sending in accordance with the invention the client is the face recognition illustrated in the FIG.

우선 카메라(500)에 의해 영상이 획득되어 입력되면(S100), 전처리부(505)에서 필터링, 조도 보정, 컬러 스페이스 변환, 피부색 검출 및 눈 영역 검출등의 전처리 작업을 수행한다(S105 내지 S125), 특히 본 발명의 바람직한 실시예에서는 눈 영역의 검출 여부를 얼굴 영상 획득 여부를 판단하는 기준으로 삼고 있으므로 단계(S125)에서 눈 영역 검출 여부를 확인하여 눈 검출이 된 경우에는 후속의 영상 데이터량 감소 처리를 진행한다. When the first input image is acquired by a camera (500) (S100), and the preprocessing unit 505 performs the pre-processing operations, such as filtering, contrast correction, color space conversion, color detection and eye area detection (S105 to S125) , a particularly preferred embodiment, the reduced image data amount of follow-up if so samgo for detecting whether the eye region as a criterion for determining whether the face image acquired to determine whether the eye region detected in step (S125) of the eye detection of the present invention the process proceeds. 본 실시예에서는 얼굴 영상 획득의 적절성 여부를 눈 영역 검출에 기준하고 있으나, 본 발명의 구성은 이에 한정되지 아니하고 그 이외의 특징부, 예컨대 코, 입, 눈썹 영역이나 얼굴의 윤곽선 등을 추출하여 얼굴 영상 획득의 적절성을 판단할 수 있음은 물론이다. In the present embodiment, but is based on the appropriateness of the face image obtained in the eye region detection, the configuration of the present invention, this not limited other than the feature portion, such as nose, mouth, and extracts the contour, such as the eyebrow area or face, the face which it can be determined the relevance of the image obtained as a matter of course.

눈 영역이 검출되었다고 판단하면 획득된 영상내에서 얼굴 영역을 추출하고(S130), 1/10 영상 양자화를 수행하고(S135), 웨이브릿 저역통과 필터링을 수행하여 영상 크기를 감소시킨다(S140). When determining that the eye region is detected, extracts a face region within the acquired images, and perform (S130), 1/10 quantized image and performing (S135), the wavelet low-pass filter to reduce the image size (S140). 이를 다시 소정의 압축 알고리즘(예컨대, JPEG)에 따라 영상을 압축하여 데이터 량을 감소시키고(S145), 이를 서버측에 전송하는데(S150), 데이터량 감소에 따른 서버측에서의 인식률 저하를 방지하기 위하여 전술한 동작을 5회 반복한다(S155). To do this again compresses the image in accordance with a predetermined compression algorithm (e.g., JPEG) reduce the amount of data and (S145), to transmit them to the server side (S150), described above in order to prevent the recognition rate decreases on the server side according to the amount of data reduction Repeat 5 times the operation (S155).

도 11은 얼굴인식 서버부가 얼굴인식 클라이언트로부터 전송된 JPEG압축 이미지를 입력받아 처리하는 과정을 도시한 흐름도이다. 11 is a flowchart illustrating a process for processing received additional face recognition server inputs the JPEG compressed image transmitted from the face recognition client.

먼저 JPEG 복원과정을 통해 원 영상을 복원하며(S200), 복원된 영상은 PCA/KPCA 얼굴인식부(565)에 의해 고유벡터값으로 변환되어 이를 얼굴인식 데이터베이스에 저장된 값과 비교한 후(S205), 그 결과를 인증 여부 판단부(570)로 전달한다(S210). First, after the restoration of the original image with a JPEG restoration process, and (S200), the reconstructed image is converted into a unique vector values ​​by the PCA / KPCA face recognition section 565 compares it with the value stored in the face recognition database (S205) and it delivers the result to the authentication determination unit (570) (S210). 전술한 과정을 총 5회 반복한 후에(S215), 인증 여부 판단부(570)가 인증 여부를 최종적으로 결정하고(S220), 그 결과를 표시한다(S225). The above process was repeated after a total of 5 times (S215), the authentication determination unit 570 is finally determined whether the authentication and (S220), and displays the results (S225).

이러한 얼굴인식 과정은 얼굴인식 클라이언트부에서 전송된 총 5매의 얼굴 영상에 대해 각각 1회씩 총 5회 반복 수행되며 각각의 인식 결과값은 인증 여부 판단부(570)로 전송된다. The face recognition process is performed once each five times repeated for a facial image of a total of 5 frames sent from a client face recognition unit each recognition result is transmitted to the authentication whether or not the determination unit 570. 인증 여부 판단부(570)는 저장된 인식 결과값중 과반수이상이 동일한 얼굴인 것으로 판정 되었을 경우 얼굴인식 성공으로 판단하고 인식 결과값의 과반수이상이 동일한 얼굴로 판정되지 않았을 경우 얼굴인식 실패로 판정한다. If the authentication determination unit 570 is more than one half of the determination by the face recognition success and recognition result if it is determined that the stored recognition result of more than half of the values ​​of the same face is not determined as the same face is determined as a face detection fails. 물론, 본 발명이 채택되는 인증 시스템에 따라 예컨대 70%이상 동일 얼굴로 판정된 경우에만 인증된 것으로 하거나, 또는 그 이상의 동일 판정 결과의 경우에 인증된 것으로 최종 판단할 수 있음은 물론이다. Of course, that the invention, if it is determined in the same face, for example 70% or more, depending on the authentication system employed that only authenticated, or more to the final determination that the authentication in the case of the same determination result as a matter of course. 이러한 반복적인 영상 재전송 및 인 식 처리는 도 12에 나타난 바와 같이 양자화 인수의 조절 및 웨이블릿 저역통과 필터링의 과정을 통해 발생할 수 있는 인식률의 하락을 보완하기 위한 것이다. This iterative and Retransmission image recognition process is to compensate the drop in recognition rate that can occur through the regulation and the course of the wavelet low-pass filtering of the quantization factor as shown in Fig.

얼굴인식 성공 및 실패 결과는 출력 장치(575)에 의해 표시된다. Face recognition successful and failed results are displayed by the output device (575).

본 발명에 따른 얼굴인식 시스템은 기본적으로 생체신호에 기반한 원격감시, 출입제한등 각종 보안 시스템에 적용 가능할 수 있으며, 이하에서 도 13 및 도 14를 참조하여 구체적인 적용례를 설명한다. Face recognition system according to the present invention basically can be applicable to every kind of security system such as remote monitoring, access restriction based on the biological signal, in reference to FIGS. 13 and 14 to describe the specific Application Example.

도 13에 도시된 바와 같이, 본 발명에 따라 인터넷상에서 각종의 사용자 인증이 필요한 응용에서 클라이언트 컴퓨터에 부착된 카메라로 사용자의 얼굴 영상을 전달하여 그 인증여부를 판정할 수 있으며, 보안이 취약한 인터넷상에서 비밀번호에 기초한 인증 방식에 따른 도용 위험성을 현저히 감소시킬 수 있다. As shown in Figure 13, in accordance with the present invention may be in a variety of user authentication is attached to the client computer at the required application camera on the Internet to forward a user's face image to determine whether the authentication, on the insecure Internet the risk of theft of the authentication based on password can be significantly reduced.

한편, 도 14에 도시된 바와 같이, 본 발명은 원격 감시 시스템에도 효율적으로 적용되어 활용될 수 있다. On the other hand, as shown in Figure 14, the present invention can be utilized effectively applied to a remote monitoring system. DVR등 원격감시장치의 경우 영상 데이터를 저장하기 위한 하드디스크 등 저장매체의 한계로 인하여 저장에 요구되는 데이터의 량이 적을수록 더욱 효율적으로 또한 장시간 감시지역의 데이터를 저장할 수 있다. The case of the remote monitoring device such as DVR Due to limitations in the storage medium such as a hard disk for storing image data, less the amount of data required to store may also store data for a long time monitoring area more efficiently. 이러한 원격감시 시스템의 경우 사용자가 미리 입력한 요주의 또는 감시가 요구되는 대상이 감시 지역 내에 출현하였을 경우 녹화를 시작하며 그 외의 경우 녹화를 진행하지 않는 방식으로 효율적인 감시 데이터의 저장을 수행하게 된다. In this case the remote monitoring system that the destination user is a pre-critical or desired monitoring start recording when hayeoteul occur in the monitoring area and in that the recording is not in progress or is out method and performs the storage of the effective monitoring data. 이러한 시스템의 구성은 전형적인 CCTV시스템에 기반한 원격감시 시스템 뿐 아니라 유, 무선 인터페이스를 가지며 내장형 인터넷 서버를 시스템상에 내장한 웹 카메라를 통해서도 쉽게 구현 가능함을 알 수 있다. The configuration of the system can be seen easily through the possible implementation of a web camera with built-in as well as remote monitoring system based on a typical CCTV system Yu, built-in Internet server has a wireless interface to the system.

출입제한 시스템의 경우 상기의 얼굴인식 시스템을 적용함으로써 데이터베이스 상에 저장되어진 대상인 경우 출입을 허용하며 또한 본 발명에 따른 얼굴인식 시스템은 전형적인 CCTV시스템에 기반한 원격감시 시스템 뿐 아니라 유, 무선 인터페이스를 가지며 내장형 인터넷 서버를 시스템상에 내장한 웹 카메라를 통해서도 쉽게 구현 가능함을 알 수 있다. If the access restriction system when subject saved in the database by applying the face recognition systems allow the access and also face detection system according to the present invention, as well as a remote surveillance system in a typical CCTV system having a wired and wireless interface integrated through a Web camera with built-in Internet server on the system it can be seen easily possible implementation.

이러한 원격감시 및 출입제한 시스템의 경우 녹화의 시작 또는 출입의 허용 여부 등은 자동화된 방법 또는 도 5의 출력 장치(575)에 표시된 인식 결과를 바탕으로 감시자가 적절히 조절 가능하도록 설계될 수 있다. In this case the remote monitoring system and confined whether to start or allows the access of the recording and the like may be designed to monitor the appropriate adjustment based on the recognition result displayed on the output device 575 in an automated way or FIG.

즉, 본 발명은 종래의 얼굴인식 시스템이 인식률 향상을 위해 터미널 또는 클라이언트로부터 고화질의 정지영상의 전송이 필요하므로 데이터 전송량이 제한적인 인터넷 온라인 환경에 적용하기 어렵다는 문제점을 해결하고, 또한 이러한 제한적인 데이터 전송량으로 인해 전송되는 얼굴 영상의 화질을 낮추었을 경우 인식률의 저하를 초래하는 문제점을 해결하기 위해 1) 1/10 양자화부, 2)1/64 웨이블릿 저대역 필터링, 3) JPEG 압축 등의 방법을 이용하여 전송되는 데이터의 양을 감소시키며 얼굴인식 서버부에서 얼굴인식을 수행함에 있어 요구되는 인식 트레이닝 시간 및 인식 요구시간을 크게 감소시킬 수 있다. That is, the present invention and therefore from a terminal or client in order to improve the conventional facial recognition system recognition requires the transmission of a still image of high quality resolution of difficult application to the data transmission rate is limited Internet online environment, and this limited data If the lowered image quality of the face image to be transmitted due to a transmission rate to solve the problem of causing a decrease in the recognition rate 1) 1/10 quantization unit, and 2) 1/64 wavelet low-pass filtering, a method such as 3), JPEG compression reduces the amount of data that is transmitted using in performing the face detection in the face recognition server unit can greatly reduce the training time and the recognition time required for recognition request.

이상, 바람직한 실시예와 첨부 도면을 참조하여 본 발명의 구성에 대하여 구체적으로 설명하였으나, 본 발명의 범위는 이에 한정하지 아니하며 당업자라면 본 발명의 기술적 사상의 범주내에서 다양한 변형과 변경을 할 수 있을 것이다. Above, but with respect to a preferred embodiment of the invention the structure of this with reference to the accompanying drawings, specifically, those skilled in the art the scope of the present invention shall not be limited to be able to make various changes and modifications within the scope of the technical concept of the present invention will be. 따라서, 본 발명의 보호 범위는 이하에 기재된 특허청구범위의 해석에 의하여 정하여져 야 할 것이다. Therefore, the protection scope of the invention as jeonghayeojyeo by interpretation of the claims set forth below.

본 발명에 따르면, 네트워크 전송 부하를 최소화하면 온라인 얼굴인식 및 이를 통한 정당 사용자 인증을 수행할 수 있으므로, 현재의 주된 컴퓨팅 모델인 클라이언트/서버 컴퓨팅 환경에서의 현실적 채택 가능한 시스템을 구현할 수 있다. According to the present invention, minimizing network load transfer can be done online user authentication via face recognition and party it may be possible to implement a real system adopted in the current of the main computing model, client / server computing environment.

즉, CCTV 등의 카메라를 서버측으로 연결하여 얼굴인식 시스템을 구현하거나 또는 일정 속도가 보장되나 값비싼 망 사용료가 요구되는 전용망 등을 이용하는 고비용으로 인한 온라인 얼굴인식 시스템 구현의 한계점을 해결하고, 상대적으로 저렴한 유무선 방식의 인터넷 망을 이용하여 실시간으로 얼굴인식을 수행 할 수 있다. That is, the camera is connected to, such as CCTV side to the server to implement a facial recognition system, or a certain speed is guaranteed, but expensive network access solve the limitation of online facial recognition system implemented due to the high cost of using and the like required for a dedicated network, and the relatively using the internet for cheap wired manner can perform face recognition in real time.

아울러, 인식 트레이닝 시간 및 인식 처리 요구 시간의 감소로 인하여 기존 시스템에 비해 적법한 허가자의 얼굴등록 및 인증을 다수의 로컬 클라이언트로부터 빠른 속도로 용이하게 수행 할 수 있다는 장점이 있다. In addition, there is an advantage that recognized training time and recognition processing can be easily performed due to the decrease in the time required to speed the face registration and certification of the legal licensor from a number of local clients compared to conventional systems.

또한 상기 밝힌 바와 같이 카메라로부터 촬영된 얼굴 영상을 복수회 처리하여 전송하고 이들 각각 영상에 대한 인식 결과 전체를 토대로 얼굴인식의 적법성 여부를 판단함으로써 얼굴 인식의 정확도를 감소시키지 않으면서도 상기 기술한 장점들을 적용할 수 있는 효과가 있다. In addition, the face which transmits a plurality of times processing the image, and even the above techniques do by determining the legitimacy whether the face recognition on the basis of the recognition result the total for each of these images does not reduce the accuracy of facial recognition advantage taken from the camera, as identified above there are effects that you can apply.

Claims (15)

  1. 원격지의 서버로 얼굴 영상 정보를 전송하여 인증 요청을 수행하는 얼굴 인식 클라이언트 시스템에 있어서, By transmitting a facial image information to a remote server, in the face recognition system for performing client authentication request,
    영상 획득을 위한 카메라와, A camera for image capture,
    잡음 제거 및 조명 보상을 수행하는 전처리부와, And pre-processing unit for performing noise reduction and illumination compensation,
    얼굴 영상의 데이터 감소를 위한 영상 양자화부와, And the image quantizing unit for data reduction of the face image,
    추가의 영상 데이터 양 감소를 위한 웨이블릿 저대역 통과 필터부와, And wavelet low-pass filter section for adding the image data quantity reduction,
    소정 포맷으로 상기 영상을 압축하는 영상 압축부와, And a video compression unit for compressing the image into a predetermined format,
    상기 감소되고 압축된 영상을 전송하는 네트워크 인터페이스부 A network interface unit for transmitting the reduced and compressed image
    를 포함하되, It includes, but,
    상기 영상 양자화부는 1/10 영상 양자화를 수행하는 1/10 영상 양자화 블록을 포함하며, 상기 웨이블릿 저대역 통과 필터부는 상기 영상 양자화부의 출력 영상의 사이즈를 1/64로 감축하며, 상기 카메라, 전처리부, 영상 양자화부, 웨이블릿 저대역 통과 필터부, 영상 압축부 및 네트워크 인터페이스부는 동일 얼굴에 대해 소정의 회수 이상을 반복하여 각 동작을 수행하는 것을 특징으로 하는 얼굴 인식 클라이언트 시스템. The image quantizing unit includes a 1/10 image quantization block for performing 1/10 quantized image, wherein wavelet low-pass filter unit reduces the size of the output image by the image quantizing portion 1/64, the camera, a pre-processing unit , the image quantizing unit, the wavelet low-pass filter unit, the image compression unit and the network interface unit face recognition, characterized in that the client computer to perform each operation by repeating the predetermined number of times or more on the same face.
  2. 제1항에 있어서, 상기 전처리부는 저역 통과 필터링, 조도 보정, 색상 보정 및 피부색 검출을 수행하고 최종적으로 눈영역을 검출함으로써 입력된 영상이 얼굴에 관한 것인지를 판단하는 것인 얼굴 인식 클라이언트 시스템. The method of claim 1, wherein the pre-processing unit low-pass filters, the face recognition system of the client to perform the illuminance correction, color correction, and color detection, and finally the image input by detecting an eye region is determined whether on the face.
  3. 삭제 delete
  4. 삭제 delete
  5. 제1항에 있어서, 상기 네트워크 인터페이스부는 유/무선 통신을 수행하는 것인 얼굴 인식 클라이언트 시스템. According to claim 1, wherein the face recognition system of the client performing the network interface unit wired / wireless communication.
  6. 삭제 delete
  7. 삭제 delete
  8. 삭제 delete
  9. 삭제 delete
  10. 삭제 delete
  11. 원격지의 서버로 얼굴 영상 정보를 전송하여 인증 요청을 수행하는 얼굴 인식 클라이언트 시스템의 영상 처리 방법에 있어서, By transmitting a facial image information to a remote server in the video-processing method of the face recognition system for performing client authentication request,
    촬영 장치를 이용하여 얼굴 영상을 획득하는 단계와, The method comprising: using a photographing device received a facial image,
    잡음 제거 및 조명 보상을 수행하는 전처리 단계와, And pre-processing step for performing noise reduction and illumination compensation,
    얼굴 영상의 데이터 감소를 위한 영상 양자화 단계와, Image Quantization step for reduction of the face image data and,
    추가의 영상 데이터 양 감소를 위한 영상 사이즈 감축 단계와, And the image size reduction stage for further reduction of the amount of image data,
    소정 포맷으로 상기 영상을 압축하는 영상 압축 단계와, And image compression compressing the image into a predetermined format,
    상기 감소되고 압축된 영상을 전송하는 전송단계와, And a transmission step of the transmission is reduced and the compressed image,
    동일 얼굴 영상에 대한 상기 각 단계의 수행 회수를 계산하여 소정 회수 이하일 경우 상기 각 단계를 반복하는 반복 단계 If performed by calculating the number of times of the respective steps on the same face image is equal to or less than a predetermined number of times repeatedly repeating the respective steps
    를 포함하되, 상기 영상 양자화 단계는 1/10 영상 양자화를 수행하며, 상기 영상 사이즈 감축 단계는 웨이블릿 저대역 통과 필터를 이용하여 상기 영상 양자화부의 출력 영상의 사이즈를 1/64로 감축하는 것을 특징으로 하는 얼굴 인식 클라이언트 시스템의 영상 처리 방법. Comprising: the image quantization step performs 1/10 quantized image, the image size reduction step is characterized in that it reduces the size of the image quantized output image portion to 1/64 using a wavelet low-pass filter image processing method of face recognition system client.
  12. 제11항에 있어서, 상기 전처리 단계는 저역 통과 필터링, 조도 보정, 색상 보정 및 피부색 검출을 수행하고 최종적으로 얼굴의 특정 영역을 검출함으로써 입력된 영상이 얼굴에 관한 것인지를 판단하는 것인 얼굴 인식 클라이언트 시스템의 영상 처리 방법. 12. The method of claim 11, wherein the pre-treatment step is the face detection to determine whether the input image by performing low-pass filtering, contrast correction, color correction, and color detection, and finally detecting a specific area of ​​the face on the face client the image processing method of the system.
  13. 삭제 delete
  14. 삭제 delete
  15. 삭제 delete
KR1020040050792A 2004-06-30 2004-06-30 Online face recognition system based on multi frame KR100596498B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040050792A KR100596498B1 (en) 2004-06-30 2004-06-30 Online face recognition system based on multi frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040050792A KR100596498B1 (en) 2004-06-30 2004-06-30 Online face recognition system based on multi frame

Publications (2)

Publication Number Publication Date
KR20060001644A KR20060001644A (en) 2006-01-06
KR100596498B1 true KR100596498B1 (en) 2006-07-03

Family

ID=37104754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040050792A KR100596498B1 (en) 2004-06-30 2004-06-30 Online face recognition system based on multi frame

Country Status (1)

Country Link
KR (1) KR100596498B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034843A (en) * 2008-09-25 2010-04-02 (주)엠엑스알커뮤니케이션즈 Method and apparatus for security using three-dimensional(3d) face recognition
US9208392B2 (en) 2011-09-20 2015-12-08 Qualcomm Incorporated Methods and apparatus for progressive pattern matching in a mobile environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050230A (en) * 2000-05-30 2000-08-05 김성우 Method for authentication security on network by face recognition
KR20020021080A (en) * 1999-01-18 2002-03-18 존 이. 시드라즈 Method and apparatus for securely transmitting and authenticating biometric data over a network
KR100379002B1 (en) 2001-04-07 2003-04-10 (주)테크노비전 The adaptive image data transmission method in client and server system
JP2003323620A (en) 2002-05-01 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> Image recognizing device
US6665446B1 (en) * 1998-12-25 2003-12-16 Canon Kabushiki Kaisha Image processing apparatus and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332193B1 (en) * 1999-01-18 2001-12-18 Sensar, Inc. Method and apparatus for securely transmitting and authenticating biometric data over a network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665446B1 (en) * 1998-12-25 2003-12-16 Canon Kabushiki Kaisha Image processing apparatus and method
KR20020021080A (en) * 1999-01-18 2002-03-18 존 이. 시드라즈 Method and apparatus for securely transmitting and authenticating biometric data over a network
KR20000050230A (en) * 2000-05-30 2000-08-05 김성우 Method for authentication security on network by face recognition
KR100379002B1 (en) 2001-04-07 2003-04-10 (주)테크노비전 The adaptive image data transmission method in client and server system
JP2003323620A (en) 2002-05-01 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> Image recognizing device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1020000050230 *

Also Published As

Publication number Publication date
KR20060001644A (en) 2006-01-06

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection based on multi-scale LPQ and PCA
US6876757B2 (en) Fingerprint recognition system
Jain et al. Hiding a face in a fingerprint image
US9569659B2 (en) Method and system for tagging an image of an individual in a plurality of photos
CN100542260C (en) Method for intelligent control of television and intelligent control device
US7039221B1 (en) Facial image verification utilizing smart-card with integrated video camera
Kong et al. Palmprint texture analysis based on low-resolution images for personal authentication
US7336806B2 (en) Iris-based biometric identification
Adler Sample images can be independently restored from face recognition templates
CN1238809C (en) Fingerprint identification method as well as fingerprint controlling method and system
US7130454B1 (en) Real-time facial recognition and verification system
US20060120571A1 (en) System and method for passive face recognition
KR101242390B1 (en) Method, apparatus and computer-readable recording medium for identifying user
US9940517B2 (en) Feature extraction and matching for biometric authentication
Sanchez-Avila et al. Iris-based biometric recognition using dyadic wavelet transform
US20020176610A1 (en) Face image recording system
US6810480B1 (en) Verification of identity and continued presence of computer users
CN1860724B (en) Method for identification
US6108437A (en) Face recognition apparatus, method, system and computer readable medium thereof
US20080317298A1 (en) Digital Image Search System And Method
US20030135764A1 (en) Authentication system and apparatus having fingerprint verification capabilities thereof
US6853739B2 (en) Identity verification system
US20060110014A1 (en) Expression invariant face recognition
CN100345163C (en) Iris coding method, personal identification method, iris code registration device, iris identification device, and iris identification program
US7054470B2 (en) System and method for distortion characterization in fingerprint and palm-print image sequences and using this distortion as a behavioral biometrics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150109

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180621

Year of fee payment: 13