KR101637229B1 - Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof - Google Patents

Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof Download PDF

Info

Publication number
KR101637229B1
KR101637229B1 KR1020080132503A KR20080132503A KR101637229B1 KR 101637229 B1 KR101637229 B1 KR 101637229B1 KR 1020080132503 A KR1020080132503 A KR 1020080132503A KR 20080132503 A KR20080132503 A KR 20080132503A KR 101637229 B1 KR101637229 B1 KR 101637229B1
Authority
KR
South Korea
Prior art keywords
image
threshold value
feature point
minutiae
extracting
Prior art date
Application number
KR1020080132503A
Other languages
Korean (ko)
Other versions
KR20100073749A (en
Inventor
김민기
최광희
오장석
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080132503A priority Critical patent/KR101637229B1/en
Publication of KR20100073749A publication Critical patent/KR20100073749A/en
Application granted granted Critical
Publication of KR101637229B1 publication Critical patent/KR101637229B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 SIFT 기반의 영상 인식 기술에 관한 것으로서, 본 발명에 따른 SIFT 기반의 특징점 추출 장치는, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출부; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함하여, 추출되는 특징점의 개수를 증가시키고, 그에 따라 영상 인식률을 개선한다는 이점을 제공한다.The present invention relates to a SIFT-based image recognition technology, and a SIFT-based feature point extraction apparatus according to the present invention is capable of extracting a contrast threshold of a candidate pixel used for extracting a feature point corresponding to an input image A concentration threshold value calculation unit to calculate the concentration threshold value; And a feature point descriptor generation unit for generating a feature point descriptor using all candidate pixels having the density threshold value or more among the candidate pixels, thereby increasing the number of feature points to be extracted and thereby improving the image recognition rate do.

Description

SIFT 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템{Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof}[0001] SIFT-based feature point extraction apparatus and method, and face recognition system using the same [0002]

본 발명은, SIFT에 기반한 영상 인식 기술에 관한 것이며, 특히 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 유동적 환경에 강인한 특징점 추출 장치 및 방법과 이를 이용한 얼굴인식 시스템 및 방법에 관한 것이다.The present invention relates to an image recognition technology based on SIFT, and more particularly, to an apparatus and method for extracting feature points robust to a fluid environment by calculating an optimal concentration threshold value of a candidate pixel used for extracting feature points according to an input image, And methods.

최근, 카메라를 이용하여 획득한 영상(image)으로부터 특징점(feature)을 추출하는 기술은 얼굴 인식을 통한 개인 인증, 3차원 복원, 자체추적 등 컴퓨터비전 분야에서 광범위하게 사용되고 있다.In recent years, techniques for extracting features from images obtained using a camera have been widely used in the field of computer vision, such as personal authentication through face recognition, 3D reconstruction, and self-tracking.

영상의 특징점은 영상의 크기 변화, 회전 변환에 불변해야 한다. 또한, 부분적으로 조명과 카메라의 포즈변화에 불변해야 한다.The feature points of the image should be invariant to the size change and rotation transformation of the image. Also, it should be partially unaffected by changes in lighting and pose of the camera.

PCA(Principal Component Analysis) 또는 ICA(Independent Component Analysis)를 이용하는 기존의 방식들은 에지 등이 많은 일반 영상에 대한 인식률은 높은 편이지만, 특징점 추출이 곤란한 얼굴 영상, 내시경 영상 등에는 그대로 적용 하기에 적합하지 않다는 문제점이 있었다.Conventional methods using PCA (Principal Component Analysis) or ICA (Independent Component Analysis) have a high recognition rate for general images having many edges, but they are suitable for application to facial images and endoscopic images which are difficult to extract feature points .

특히, 기존 방식들은 제한된 상황에서의 얼굴 인식률은 어느 정도 만족할 수 있는 수준이나, 유동적 상황에는 적용하기 곤란한 문제점이 있었다. 예컨대, 서로 크기가 다른 영상, 얼굴뿐만 아니라 배경까지 포함하고 있는 영상 등에 대해서는 인식률이 현저히 떨어진다는 문제점이 있었다.Particularly, existing methods have a problem that the face recognition rate in a limited situation is somewhat satisfactory but it is difficult to apply to a fluid situation. For example, there is a problem that the recognition rate is remarkably deteriorated not only for images with different sizes, but also for images including backgrounds.

따라서, 본 발명이 이루고자 하는 첫 번째 기술적 과제는, SIFT를 기반으로 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 추출되는 특징점의 수를 증가시키고, 인식률을 개선할 수 있는 특징점 추출 장치를 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide an image processing apparatus and method that can improve the recognition rate by increasing the number of extracted feature points by calculating an optimal density threshold value of a candidate pixel used for feature point extraction, A feature point extracting device.

본 발명이 이루고자 하는 두 번째 기술적 과제는, 상기 특징점 추출 장치를 이용하는 얼굴 인식 시스템을 제공하는 것이다.A second object of the present invention is to provide a face recognition system using the feature point extraction apparatus.

본 발명이 이루고자 하는 세 번째 기술적 과제는, SIFT를 기반으로 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 추출되는 특징점의 수를 증가시키고, 인식률을 개선할 수 있는 특징점 추출 방법을 제공하는 것이다.A third object of the present invention is to provide an image processing apparatus and method capable of increasing the number of extracted feature points and improving the recognition rate by calculating an optimized concentration threshold value of a candidate pixel used for extracting feature points according to an input image based on SIFT And to provide a minutiae point extraction method.

본 발명에 이루고자 하는 네 번째 기술적 과제는, 상기 특징점 추출 방법을 이용하는 얼굴 인식 방법을 제공하는 것이다.A fourth object of the present invention is to provide a face recognition method using the feature point extraction method.

상기와 같은 첫 번째 기술적 과제를 해결하기 위하여 본 발명은, SIFT를 기반으로 입력 영상의 특징점을 추출하는 장치에 있어서, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출부; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함하는 SIFT 기반의 특징점 추출 장치를 제공한다.According to an aspect of the present invention, there is provided an apparatus for extracting feature points of an input image based on SIFT, the apparatus comprising: a density threshold value calculating unit for calculating a contrast threshold; And a minutiae point descriptor generating unit for generating a minutiae point descriptor using all candidate pixels having the concentration threshold value or more among the candidate pixels.

일 실싱예에 있어서, 상기 농도 임계값 산출부는, 상기 입력 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출한다.The density threshold value calculation unit calculates a density value having a maximum number of pixels through the histogram analysis of a DOG (Difference of Gaussian) image generated from the input image as the density threshold value.

일 실싱예에 있어서, 상기 특징점 기술자 생성부는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성한다.The minutia descriptor generation unit generates the minutiae descriptor using the minutia information including the position, size, and azimuth information with neighboring pixels based on the candidate pixel having the concentration threshold value or more.

일 실싱예에 있어서, 상기 특징점 추출 장치는, 상기 입력 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성부; 및 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출부를 더 포함한다.The feature point extracting apparatus may include a DOG image generating unit that generates a DOG image using a Gaussian pyramid of the input image; And a candidate pixel extracting unit for searching the maximum or minimum point of the DOG image to extract the entire candidate pixels.

상기와 같은 두 번째 기술적 과제를 해결하기 위하여 본 발명은, SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출부; 및 상기 입력 얼굴 영상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식부를 포함하는 SIFT 기반의 얼굴 인식 시스템을 제공한다.According to another aspect of the present invention, there is provided a method for calculating a contrast threshold of a candidate pixel used for extracting a feature point based on SIFT, A feature point extracting unit for extracting feature points using candidate pixels having the density threshold value or more; And a face recognition unit for recognizing the input face image by matching feature points of the input face image with feature points of a face image stored in a database.

일 실싱예에 있어서, 상기 특징점 추출부는, 상기 입력 얼굴 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최 대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 농도 임계값 산출부; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함한다.Wherein the feature point extracting unit extracts, from the input face image, a histogram of a Difference of Gaussian (DOG) image generated from the input face image to obtain a density value having the maximum pixel count as the density threshold value A threshold value calculation unit; And a minutiae descriptor generator for generating a minutiae point descriptor by using candidate pixels having the concentration threshold value or more among all candidate pixels.

일 실싱예에 있어서, 상기 얼굴 인식부는, 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭한다.In the single face image, the face recognition unit matches the input face image and the stored feature point of the stored face image through clustering by Hough Transform.

일 실싱예에 있어서, 상기 얼굴 인식부는, 상기 매칭되는 특징점의 개수 및 분포 정보를 고려하여 상기 입력 얼굴 영상을 인식한다.In the single-sided case, the face recognition unit recognizes the input face image in consideration of the number and distribution information of the matching feature points.

상기와 같은 세 번째 기술적 과제를 해결하기 위하여 본 발명은, 컴퓨터 시스템에서 SIFT를 기반으로 입력 영상의 특징점을 추출하는 방법에 있어서, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출 단계; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성 단계를 포함하는 SIFT 기반의 특징점 추출 방법을 제공한다.According to another aspect of the present invention, there is provided a method of extracting feature points of an input image based on SIFT in a computer system, the method comprising the steps of: A concentration threshold calculating step of calculating a concentration threshold; And a minutiae point descriptor generating step of generating a minutia point descriptor using all candidate pixels having the concentration threshold value or more as a candidate pixel.

상기와 같은 네 번째 기술적 과제를 해결하기 위하여 본 발명은, 컴퓨터 시스템에서 SIFT를 기반으로 얼굴 영상을 인식하는 방법에 있어서, SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출 단계; 및 상기 입력 얼굴 영 상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식 단계를 포함하는 SIFT 기반의 얼굴 인식 방법을 제공한다.According to a fourth aspect of the present invention, there is provided a method for recognizing facial images based on SIFT in a computer system, the method comprising the steps of: a feature point extracting step of calculating a contrast threshold of a candidate pixel and extracting a feature point using a candidate pixel having the density threshold value or more; And a face recognition step of recognizing the input face image by matching minutiae points of the input face image and minutiae points of a face image stored in a database.

본 발명에 따른 SIFT 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴인식 시스템 및 방법은, 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 기존 방식보다 추출되는 특징점의 수를 30%이상 증가시키고, 이에 따라 인식률을 개선한다는 이점을 제공한다.The SIFT-based feature point extracting apparatus and method and the face recognition system and method using the SIFT according to the present invention calculate an optimal density threshold value of a candidate pixel used for extracting feature points according to an input image, By 30% or more, thereby improving the recognition rate.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 기술적 과제의 개요를 우선 제시한다.Prior to the description of the concrete contents of the present invention, for the sake of understanding, an overview of the technical problem to be solved by the present invention will be given first.

본 발명은 우선, 유동적 환경에 강인한 얼굴 인식 시스템을 만들기 위해 SIFT(Scale Invariant Feature Transform) 알고리즘을 기반으로 한다.The present invention is based on a Scale Invariant Feature Transform (SIFT) algorithm to create a robust face recognition system in a fluid environment.

영상의 특징점을 추출하는 대표적인 알고리즘인 SIFT는 『D.G. Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004.』에서 Lowe에 의해 제안되었다. SIFT는 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영 변환(projective transform)에 불변인 특성을 지니고 있다. SIFT는 로컬 이미지(local image) 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출한다. 즉, 첫 번째 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간에서 최대·최 소(extrema)를 검색하여 샘플점(또는 후보 픽셀)을 선택한다( Scale - space extrema detection ). 두 번째 단계로, 안정도(stability) 수치에 기반하여 키포인트들을 선택한다( Keypoint localization ). 세 번째 단계로, 각각의 키포인트에 대하여 1 이상의 방향을 할당한다( Orientation assignment ). 마지막 단계로, 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자를 생성한다( Keypoint descriptor ).SIFT, which is a representative algorithm for extracting feature points of images, is called "DG Lowe", "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004. " SIFT has properties that are invariant to image rotation, scaling, translation, partial illumination changes, and projective transforms. The SIFT extracts attributes such as position, scale, and direction of the feature in consideration of the local image characteristic. That is, the first step is to select the sample point (or candidate pixel) by searching the maximum and minimum extrema in the scale space generated by the Difference-Of-Gaussian (DOG) function ( Scale - space extrema detection ) . As a second step, keypoints are selected based on the stability value ( Keypoint localization ) . As a third step, one or more directions are assigned to each keypoint ( Orientation assignment ) . As a final step, a keypoint descriptor is created using local image gradients ( Keypoint descriptor ) .

특히, SIFT는 얼굴 인식에 있어서 3차원 정보를 찾기 위한 첫 걸음인 기본 행렬(fundamental matrix; F)를 구하기 위해 사용된다. 즉, SIFT에 의해 크기 변화에 불변한 특징점을 추출하고, 상기 특징점들을 이용하여 상기 기본 행렬(F)을 구한다. 상기 특징점들로부터 상기 기본 행렬(F)을 구하는 과정에서, 이상값(outlier)들을 제거하여 일대일 대응 문제(corresponding problem)를 해결하기 위해 키포인트 매칭(keypoint matching), 허프 변환(Hough Transform)에 의한 클러스터링(clustering) 단계를 거친다.In particular, SIFT is used to find a fundamental matrix (F), which is the first step in finding three-dimensional information in face recognition. That is, feature points unchanged in size change are extracted by SIFT, and the basic matrix F is obtained using the feature points. In order to solve the one-to-one correspondence problem by eliminating outliers in the process of obtaining the basic matrix F from the minutiae points, keypoint matching, clustering by Hough Transform (clustering) step.

이러한 과정을 통해 두 영상간의 매칭 포인트(matching point)들의 개수와 분포 정보를 파악하여 얼굴을 인식해 낸다.Through this process, the number of matching points and distribution information between the two images are grasped and the face is recognized.

그러나, 단순한 SIFT 알고리즘은 특징점 추출을 위한 기준값을 어떤 영상이든지 고정시켜 적용하기 때문에, 특징이 적은 얼굴 영상, 내시경 영상 등에 대해서는 추출할 수 있는 특징점의 수가 적다는 한계가 있다.However, since the simple SIFT algorithm applies the reference value for extracting the feature points fixed to any image, there is a limit in that the number of feature points that can be extracted is small in the face image and the endoscopic image having small features.

도 1에는 두 개의 일반 영상에 대해 SIFT를 적용하여 추출한 특징점이 도시되어 있다.FIG. 1 shows feature points extracted by applying SIFT to two general images.

도 2에는 두 개의 내시경 영상에 대해 SIFT를 적용하여 추출한 특징점이 도시되어 있다.FIG. 2 shows feature points extracted by applying SIFT to two endoscopic images.

상기 도 1 및 도 2는, 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 0.02로 설정하고 곡률 임계값(curvature threshold)을 10으로 설정한 경우이다.1 and 2 show the case where the contrast threshold of a candidate pixel used for extracting a feature point is set to 0.02 and the curvature threshold is set to 10.

도 1에 도시된 바와 같이, 일반 영상에 대해서는 왼쪽 영상부터 각각 485개 및 414개의 특징점을 추출해 냄으로써 기존 방식보다 월등히 우수한 성능을 보이고 있다.As shown in FIG. 1, 485 and 414 feature points are extracted from the left image, respectively.

그러나, 도 2에 도시된 바와 같이, 내시경 영상에 대해서는 왼쪽 영상부터 각각 18개 및 13개의 특징점을 추출하여 특징이 적은 영상에 대해서는 적용상 한계가 있음을 알 수 있다.However, as shown in FIG. 2, 18 and 13 feature points are extracted from the left image for the endoscopic image, and it is found that there is an upper limit for the application of the feature image.

이에 대해, 본 발명은 SIFT의 한계를 극복하기 위해 입력 영상에 따라 특징점 추출의 기준값을 적절히 산출하여 추출되는 특징점 수를 증가시키고 및 인식률을 개선한다.On the other hand, in order to overcome the limitation of the SIFT, the present invention appropriately calculates the reference value of the feature point extraction according to the input image, thereby increasing the number of feature points extracted and improving the recognition rate.

도 3에는 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 10으로 설정한 SIFT를 적용하여 추출한 특징점이 도시되어 있다.In FIG. 3, feature points extracted by applying SIFT with a density threshold of 0.01 and a curvature threshold of 10 are shown for two endoscopic images.

도 3에 도시된 바와 같이, 왼쪽 영상부터 각각 111개 및 110개의 특징점을 추출하여 성능이 개선되었음을 알 수 있다.As shown in FIG. 3, 111 and 110 feature points are extracted from the left image, respectively, and the performance is improved.

도 4에는 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 50으로 설정한 SIFT를 적용하여 추출한 특징점이 도시되어 있다.FIG. 4 shows feature points extracted by applying a SIFT in which the density threshold value is set to 0.01 and the curvature threshold value is set to 50 for two endoscopic images.

도 4에 도시된 바와 같이, 왼쪽 영상부터 각각 126개 및 123개의 특징점을 추출하여 경계로 보이는 지점의 특징점들이 소폭 상승하였음을 알 수 있다.As shown in FIG. 4, 126 and 123 feature points are extracted from the left image, respectively, and it can be seen that the feature points of the points seen as the boundary are slightly increased.

도 3 및 도 4의 결과에서 알 수 있듯이, SIFT의 성능은 상기 곡률 임계값에 비해 상기 농도 임계값에 큰 영향을 받는다.As can be seen from the results of FIGS. 3 and 4, the performance of the SIFT is greatly influenced by the concentration threshold value as compared with the curvature threshold value.

따라서, 본 발명은 특히, 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 자동으로 산출하여 추출되는 특징점의 개수를 증가시키고, 얼굴 인식률을 개선하고자 하는 것이다.Therefore, the present invention intends to improve the face recognition rate by increasing the number of extracted feature points by automatically calculating an optimized concentration threshold value of a candidate pixel used for feature point extraction according to an input image.

이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위해 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 할 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the solution of the technical problem of the present invention. In the following description, well-known functions or constructions are not described in detail since they may obscure the subject matter of the present invention. In addition, the terms described below are defined in consideration of functions of the present invention, and may be changed according to intentions or customs of a user, an operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

도 5에는 본 발명에 따른 SIFT 기반의 얼굴 인식 시스템의 일례가 블록도로 도시되어 있다.FIG. 5 is a block diagram illustrating an example of a SIFT-based face recognition system according to the present invention.

도 6에는 본 발명에 따른 SIFT 기반의 얼굴 인식 방법의 일례가 흐름도로 도시되어 있다.FIG. 6 is a flowchart illustrating an example of a SIFT-based face recognition method according to the present invention.

도 5 및 도 6을 참조하면, 본 발명에 따른 얼굴 인식 시스템(500)은, 특징점 추출부(502) 및 얼굴 인식부(504)를 포함하며, 카메라부(510), 영상 신호 처리 부(520) 및 얼굴 영역 검출부(530)을 더 포함할 수 있다.5 and 6, a face recognition system 500 according to the present invention includes a feature point extraction unit 502 and a face recognition unit 504. The face recognition system 500 includes a camera unit 510, a video signal processor 520 And a face area detecting unit 530. [0033] FIG.

우선, 상기 카메라부(510)는 이미지 센서(image sensor), 예컨대 CCD 센서나 CMOS 센서 등을 이용하여 피사체의 광 신호를 전기적 신호로 변환한다(S610).First, the camera unit 510 converts an optical signal of a subject into an electrical signal using an image sensor, such as a CCD sensor or a CMOS sensor (S610).

상기 영상 신호 처리부(520)는, 상기 카메라부(510)로부터 입력되는 전기적 아날로그 영상 신호를 디지털 데이터 영상 신호로 변환한다(S620).The image signal processing unit 520 converts the electrical analog image signal input from the camera unit 510 into a digital data image signal (S620).

상기 얼굴 영역 검출부(530)는, 상기 영상 신호 처리부(520)로부터 입력되는 영상 신호에서 얼굴 영역을 검색하여 추출한다(S630). 상기 얼굴 영역 검출부(530)의 구현을 위해 윤곽선, 피부 색상, 질감, 템플리트(template) 등을 이용한 얼굴 추출 기술이 이용될 수 있다. 예컨대, 상기 얼굴 영역 검출부(530)는 입력 영상에서 얼굴 색상을 이용하여 얼굴영역을 찾을 수 있다. 이때, 상기 얼굴 영역 검출부(530)는 얼굴 색상을 강조하기 위한 변환 모듈, 흑색과 백색을 강조하기 위한 변환 모듈, 얼굴의 특징 정보를 추출하기 위하여 특정 부분의 이미지를 향상시키는 전처리 모듈, 얼굴영역과 배경영역을 분리하는 배경 라벨링(labeling) 모듈 등을 포함할 수 있다.The face region detection unit 530 searches for and extracts a face region from a video signal input from the video signal processing unit 520 (S630). For the implementation of the face area detection unit 530, a face extraction technique using a contour line, a skin color, a texture, a template, and the like may be used. For example, the face region detection unit 530 can search for a face region using the face color in the input image. The face region detection unit 530 includes a conversion module for enhancing facial color, a conversion module for enhancing black and white, a preprocessing module for enhancing an image of a specific portion to extract facial feature information, A background labeling module that separates the background area, and the like.

그 다음, 상기 특징점 추출부(502)는, SIFT를 기반으로 하되 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출한다(S640).Next, the feature point extracting unit 502 calculates a contrast threshold of a candidate pixel based on SIFT, which is used for extracting feature points corresponding to the input face image, The feature points are extracted using the above-described candidate pixels (S640).

상기 특징점 추출부(502)는, 본 발명에 따른 특징점 추출 장치 및 방법으로 구현할 수 있다.The feature point extracting unit 502 can be implemented by a feature point extracting apparatus and method according to the present invention.

도 7에는 본 발명에 따른 SIFT 기반의 특징점 추출 장치가 블록도로 도시되어 있다.FIG. 7 is a block diagram of a SIFT-based feature point extracting apparatus according to the present invention.

도 8에는 본 발명에 따른 SIFT 기반의 특징점 추출 방법이 흐름도로 도시되어 있다.FIG. 8 is a flowchart illustrating a SIFT-based feature point extraction method according to the present invention.

도 7 및 도 8을 참조하면, 본 발명에 따른 특징점 추출 장치는 DOG 영상 생성부(710), 후보 픽셀 추출부(720), 농도 임계값 산출부(730) 및 특징점 기술자 생성부(740)를 포함한다.7 and 8, the feature point extraction apparatus according to the present invention includes a DOG image generation unit 710, a candidate pixel extraction unit 720, a density threshold value calculation unit 730, and a minutiae point descriptor generation unit 740 .

상기 DOG 영상 생성부(710)는, 입력 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성한다(S810).The DOG image generation unit 710 generates a DOG image using a Gaussian pyramid of the input image (S810).

도 9에는 입력 영상의 가우시안 피라미드를 이용하여 DOG 영상을 생성하는 과정이 도시되어 있다. FIG. 9 shows a process of generating a DOG image using a Gaussian pyramid of an input image.

도 9에 도시된 바와 같이, 상기 DOG 영상 생성부(710)는 상기 입력 영상을 다양한 스케일의 분산값을 갖는 가우시안 필터에 통과시키고, 그 결과 영상들을 인접하는 스케일에 따라서 순차적으로 서로 뺀다. 이로써 생성되는 영상을 가우시안 차이(Difference Of Gaussian; DOG) 영상이라 하는데, DOG 영상을 2:1로 부표본화 하고 다시 다양한 스케일을 갖는 가우시안 필터를 통과시킨다. 이러한 과정을 통하여 피라미드 구조의 DOG 영상들을 얻을 수 있다.As shown in FIG. 9, the DOG image generating unit 710 passes the input image through a Gaussian filter having variance values of various scales, and sequentially subtracts the images according to adjacent scales. The resulting image is called a Difference Of Gaussian (DOG) image. The DOG image is subsampled at 2: 1 and passed through a Gaussian filter having various scales. Through this process, DOG images of pyramid structure can be obtained.

그 다음, 상기 후보 픽셀 추출부(720)는, 각 DOG 영상의 최대 또는 최소에 해당하는 샘플점, 즉 특징점이 될 전체 후보 픽셀(candidate pixel)을 추출한다(S820).Next, the candidate pixel extracting unit 720 extracts sample points corresponding to the maximum or minimum of each DOG image, that is, all candidate pixels to be feature points (S820).

도 10에는 후보 픽셀을 추출하기 위하여 비교되는 DOG 영상의 픽셀들이 도시되어 있다.In Fig. 10, pixels of a DOG image to be compared are extracted to extract candidate pixels.

도 10에 도시된 바와 같이, 최대 또는 최소 위치는 주변의 8픽셀과 위 아래 스케일 DOG 영상의 9픽셀씩, 모두 26픽셀과 비교하여 최대이거나 최소인 경우에 상기 후보 픽셀로 추출된다.As shown in FIG. 10, the maximum or minimum position is extracted as the candidate pixel when the maximum or minimum position is maximum or minimum compared with 26 pixels in all, 8 pixels in the periphery and 9 pixels in the upper and lower scale DOG images.

그 다음, 상기 농도 임계값 산출부(730)는, 상기 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀의 농도 임계값(contrast threshold)을 산출한다(S830).Next, the density threshold value calculation unit 730 calculates a density threshold value of a candidate pixel used for extracting the minutiae corresponding to the input image (S830).

기존의 SIFT에서는, 노이즈 등에 의한 요소를 제거하기 위하여 DOG 값의 크기가 작거나 강한 에지선 상에 있는 후보 픽셀들을 제거하였다. 즉, 수학식 1과 같이 농도 임계값보다 작은 후보 픽셀들을 제거하였다.In the conventional SIFT, candidate pixels on the edge line of which the DOG value is small or strong are removed in order to remove the elements due to noise or the like. That is, the candidate pixels smaller than the density threshold value are removed as shown in Equation (1).

Figure 112008088473125-pat00001
,
Figure 112008088473125-pat00001
,

Figure 112008088473125-pat00002
,
Figure 112008088473125-pat00002
,

Figure 112008088473125-pat00003
,
Figure 112008088473125-pat00003
,

Figure 112008088473125-pat00004
.
Figure 112008088473125-pat00004
.

상기 수학식 1에서, D는 DOG를 나타내는 변수, X는 선택된 픽셀의 위치에 대한 정보,

Figure 112008088473125-pat00005
는 localization을 통해 정확성이 향상시킨 위치 정보, 그리고
Figure 112008088473125-pat00006
는 localization된 픽셀에 대한 DOG를 의미한다.In Equation (1), D is a variable representing DOG, X is information on the position of the selected pixel,
Figure 112008088473125-pat00005
Location information that improves accuracy through localization, and
Figure 112008088473125-pat00006
Means a DOG for a localized pixel.

상기 수학식 1에 나타난 바와 같이, 상기 농도 임계값을 작게 할수록 많은 특징점들을 추출할 수 있게 된다. 그러나, 상기 농도 임계값을 무작정 작게 하여 추출되는 특징점의 수를 필요 이상으로 증가시키는 경우에는 연산의 비효율성은 물론 미스 매칭의 위험을 초래하는 문제점이 발생한다.As shown in Equation (1), the smaller the density threshold value, the more feature points can be extracted. However, if the concentration threshold value is reduced so as to increase the number of minutiae extracted more than necessary, there arises a problem of inefficiency of calculation as well as a risk of mismatching.

또한, 입력 영상마다

Figure 112008088473125-pat00007
값의 분포가 다르므로 입력 영상에 따라 적절한 농도 임계점을 산출할 필요가 있다.In addition,
Figure 112008088473125-pat00007
Since the distribution of values is different, it is necessary to calculate an appropriate concentration threshold according to the input image.

그러나, 기존의 SIFT에서는 입력 영상과는 무관하게 고정된 기준값들을 사용하여 특징점을 추출하는 문제가 있다.However, the conventional SIFT has a problem of extracting feature points using fixed reference values regardless of the input image.

이에 반해, 본 발명의 상기 농도 임계값 산출부(730)는, 상기 입력 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출한다.In contrast, the density threshold value calculator 730 of the present invention calculates a density value having a maximum number of pixels through a histogram analysis of a DOG (Difference of Gaussian) image generated from the input image, .

히스토그램 분석이란, 영상에 대하여 각 농도의 레벨마다 해당 농도 레벨을 갖는 픽셀의 수, 또는 모든 픽셀 수에 대한 비율을 분석하는 방법을 말한다. 이러한 히스토그램 분석 결과는 통상 횡축에 농도치, 종축에 화소 수를 취한 막대 그래프로 표시될 수 있다. 상기 히스토그램 분석은 영상 데이터가 어떤 농도치를 갖는 픽셀들로 구성되었는지 조사하는데 사용될 수 있다.The histogram analysis refers to a method of analyzing the number of pixels having a corresponding density level for each level of the image, or the ratio of the number of pixels to the total number of pixels. This histogram analysis result can be displayed in a bar graph in which the ordinate axis indicates the density value and the ordinate axis indicates the number of pixels. The histogram analysis can be used to investigate which density pixels the image data is composed of.

한편, 곡률 임계값(curvature thresh) r과 관련하여 제거되는 후보 픽셀의 조건은 수학식 2와 같이 유도될 수 있다.On the other hand, the condition of the candidate pixel to be removed in relation to the curvature threshold r may be derived as shown in Equation (2).

Figure 112008088473125-pat00008
Figure 112008088473125-pat00008

Figure 112008088473125-pat00009
Figure 112008088473125-pat00009

Figure 112008088473125-pat00010
Figure 112008088473125-pat00010

상기 수학식 2에 나타난 바와 같이, 상기 곡률 임계값의 경우 r값을 크게 할 수록 경계로 보이는 부분에서 추출되는 특징점의 수를 소폭 증가시킬 수 있다.As shown in Equation (2), in the case of the curvature threshold value, the larger the value of r, the smaller the number of feature points extracted at the boundary portion.

그 다음, 상기 특징점 기술자 생성부(740)는, 상기 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성한다(S840).Next, the minutiae descriptor generator 740 generates a minutiae point descriptor using the candidate pixels of the concentration threshold value or more among all the candidate pixels (S840).

상기 특징점 기술자 생성부(740)는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성한다. 즉, 최종 선택된 후보 픽셀을 중심으로 16x16 크기의 블록을 설정하고, 그 블록 내의 픽셀에 대하여 방향성을 측정한다. 각각의 픽셀마다 방향 및 그 크기를 측정하여 해당 블록에서 가장 크게 존재하는 방향을 추정한다. 이 방향을 해당 특징점의 방향으로 설정한다. 최종적인 SIFT 특징벡터를 구하기 위해서는 다시 각각의 키포인트를 중심으로 16x16 블록을 설정하 고 다시 4x4 블록 단위로 나누어 그 블록 내의 각 픽셀에 대하여 픽셀값의 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정하여 변화의 크기가 클수록 해당 방향의 확률분포도 커지도록 방향에 대한 확률분포를 구한다.The minutiae descriptor generator 740 generates the minutiae descriptor using minutia information including position, size, and azimuth information with neighboring pixels on the basis of a candidate pixel having the concentration threshold value or more. That is, a 16x16 block is set around the finally selected candidate pixel, and the directionality is measured with respect to the pixels in the block. The direction and the size of each pixel are measured to estimate the direction that exists in the block. And sets this direction to the direction of the corresponding feature point. In order to obtain the final SIFT feature vector, a 16x16 block is set centering on each keypoint again, and again divided into 4x4 blocks, and the direction of change of pixel values is measured for each pixel in the block. The change direction is set to be proportional to the change slope, and a probability distribution with respect to the direction is obtained so that the probability distribution in the direction increases as the magnitude of the change increases.

도 11에는 8 by 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자화하는 과정이 도시되어 있다.FIG. 11 shows a process of extracting a directional distribution for 8 by 8 blocks and quantizing the 8 direction by 8 directions.

도 11에 도시된 바와 같이, 상기 방향성 확률분포는 8개의 방향으로 구분되어 저장되는데, 결국 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이 방향성 확률분포를 나타내는 벡터가 SIFT 특징 벡터의 구조이며, 특징점의 영상 좌표, 방향성, 가우시안 스케일 등의 파라미터와 함께 저장된다. 이와 같이 얻어진 128 차원의 SIFT 특징 벡터는 벡터 양자화를 수행하여 코드북으로 표현된다. 초기에 구해진 SIFT 특징 벡터는 부동 소수점을 갖는 임의의 실수로서, 상기 SIFT 특징 벡터를 전송하거나 거리를 비교할 때 상대적으로 많은 전송용량 및 시간이 필요하다. 따라서, 이러한 단점을 극복하기 위하여, 각 8방향 단위로 구분된 SIFT의 8차원 벡터에 대하여 벡터 양자화를 수행하고 실수값으로 표현되는 8차원 방향분포를 1차원의 코드북으로 대응시킨다. 이러한 벡터 양자화 과정을 거침으로써, 128차원의 실수계수 SIFT 특징 벡터는 16차원의 정수계수의 벡터로 변환될 수 있다. 이러한 16차원의 벡터로 양자화된 SIFT 특징 벡터를 낮은 데이터 양으로 전송하고, 벡터 간의 차이를 계산할 때는 양자화된 코드북의 128 차원 벡터로 환원하여 비교하게 된다.As shown in FIG. 11, the directional probability distribution is divided into eight directions and stored. As a result, the directional probability distribution is represented by a 128-dimensional vector form with respect to 16x16 blocks. The vector representing the directional probability distribution is a structure of the SIFT feature vector, and is stored together with parameters such as image coordinates, directionality, and Gaussian scale of the feature points. The 128-dimensional SIFT feature vector thus obtained is expressed as a codebook by performing vector quantization. The initially obtained SIFT feature vector is an arbitrary real number having a floating point, and a relatively large transmission capacity and time are required when transmitting the SIFT feature vector or comparing distances. Therefore, in order to overcome this disadvantage, vector quantization is performed on the 8-dimensional vector of the SIFT divided by each 8-direction unit, and the 8-dimensional directional distribution represented by the real value is associated with the 1-dimensional codebook. By performing such a vector quantization process, the real-valued SIFT feature vector of 128 dimensions can be converted into a vector of 16-dimensional integer coefficients. The SIFT feature vector quantized by the 16-dimensional vector is transmitted with low data amount, and when calculating the difference between the vectors, it is reduced to the 128-dimensional vector of the quantized codebook for comparison.

상술한 바와 같이 상기 특징점 추출부(502)가 입력 얼굴 영상에서 특징점을 추출하면, 상기 얼굴 인식부(504)는, 상기 입력 얼굴 영상의 특징점과 데이터베이스(540)에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식한다(S650).As described above, when the feature point extracting unit 502 extracts feature points from the input face image, the face recognizing unit 504 matches the feature points of the face image stored in the database 540 with the feature points of the input face image The input face image is recognized (S650).

즉, 상기 얼굴 인식부(504)는 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭하고, 상기 매칭되는 특징점의 개수를 이용하여 상기 매칭되는 특징점의 개수가 많은 영상을 얼굴 영상으로서 인식한다. 또한, 상기 얼굴 인식부(504)는 매칭되는 특징점의 개수 정보뿐만 아니라, 매칭되는 특징점의 위치, 매칭되는 특징점을 잇는 선분의 길이 및 기울기 등과 같이 매칭점되는 특징점의 분포 정보를 고려하여 얼굴 영상을 인식할 수 있다.That is, the face recognition unit 504 may perform clustering by Hough Transform to match feature points of the input face image and the stored face image, and may perform matching using the number of matching feature points, And recognizes the image having a large number of feature points as a face image. In addition, the face recognizing unit 504 recognizes not only the number information of the matching feature points but also the face image considering the distribution information of the matching feature point such as the position of the matching feature point, the length and slope of the line segment connecting the matching feature points, Can be recognized.

특히, 상기 얼굴 인식부(504)는, 개인 인증, 시스템 보안등에 있어서 상기 데이터베이스(540)에 저장된 얼굴 영상 정보 중 상기 입력 얼굴 영상과 소정의 기준값 이상의 매칭점을 갖는 얼굴 영상 정보가 존재하는 경우, 접근 권한을 인정하고, 그렇지 않은 경우 접근 권한을 부정하는 인증 모듈(미도시)을 포함할 수 있다.Particularly, when there is facial image information having a matching point that is greater than or equal to a predetermined reference value from the input facial image among the facial image information stored in the database 540 in the personal authentication, system security, and the like, the facial recognition unit 504 recognizes, And an authentication module (not shown) that acknowledges the access authority and denies the access authority otherwise.

일 실시예에 있어서, 본 발명에 따른 SIFT 기반의 특징점 추출 장치 및 이를 이용한 얼굴 인식 시스템은 마이크로프로세서상에 시스템 온 칩(system on chip) 형태로 구현하여 상기 마이크로프로세서로 하여금 상기와 같은 특징점 추출 및 얼굴 인식을 수행하도록 할 수 있다. 본 발명을 마이크로프로세서로 구현하면 각종 시스템의 크기를 줄일 수 있고, 조립 과정을 단순화시킬 수 있으며, 제조 비용을 절감할 수 있는 등의 이점이 있다.In one embodiment, the SIFT-based feature point extraction apparatus and the face recognition system using the SIFT according to the present invention may be implemented as a system on chip on a microprocessor, Face recognition can be performed. When the present invention is implemented by a microprocessor, the size of various systems can be reduced, the assembly process can be simplified, and manufacturing costs can be reduced.

한편, 본 발명에 따른 SIFT 기반의 특징점 추출 방법 및 이를 이용한 얼굴 인식 방법의 세부 과정은 상기 특징점 추출 장치 및 얼굴 인식 시스템의 구성 모듈들의 세부 동작과 대응되는 설명이 가능하다.Meanwhile, the detailed process of the SIFT-based feature point extraction method and the face recognition method using the SIFT according to the present invention can be explained in correspondence with the detailed operation of the configuration modules of the feature point extraction device and the face recognition system.

또한, 본 발명에 따른 SIFT 기반의 특징점 추출 방법과 이를 이용한 얼굴 인식 방법은 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 본 발명이 소프트웨어를 통해 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.In addition, the SIFT-based feature point extraction method and the face recognition method using the SIFT according to the present invention can be implemented as computer-readable program codes on a computer-readable recording medium. When the present invention is executed through software, the constituent means of the present invention are code segments for executing necessary operations. The program or code segments may be stored in a processor readable medium or transmitted by a computer data signal coupled with a carrier wave in a transmission medium or a communication network.

컴퓨터가 판독할 수 있는 기록매체에는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 판독할 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 판독할 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽어들일 수 있는 코드가 저장되고 실행될 수 있다.The computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium can be stored and executed in a computer-readable manner in a distributed manner by being distributed to a network-connected computer system.

이하, 본 발명의 현저한 효과를 검증한다.Hereinafter, the remarkable effects of the present invention will be verified.

도 12a 및 도 12b에는 각각 일반 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점이 도시되어 있다.12A and 12B show feature points and matching points extracted by applying the present invention to a general image, respectively.

도 12a 및 도 12b에 도시된 바와 같이, 추출된 특징점의 개수는 왼쪽부터 각각 687개, 및 772개이고, 이때 산출된 농도 임계값은 왼쪽부터 각각 0.0077 및 0.0056이었다. 또한, 이를 통해 획득한 매칭점은 135개이었다.As shown in FIGS. 12A and 12B, the number of extracted feature points was 687 and 772, respectively, from the left, and the calculated concentration threshold value was 0.0077 and 0.0056 respectively from the left. In addition, 135 matching points were obtained.

도 13a 및 도 13b에는 각각 내시경 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점이 도시되어 있다.13A and 13B show feature points and matching points extracted by applying the present invention to endoscopic images, respectively.

도 13a 및 도 13b에 도시된 바와 같이, 추출된 특징점의 개수는 왼쪽부터 각각 560개, 및 509개이고, 이때 산출된 농도 임계값은 왼쪽부터 각각 0.0031 및 0.0032이었다. 또한, 이를 통해 획득한 매칭점은 145개이었다.As shown in FIGS. 13A and 13B, the number of extracted feature points was 560 and 509, respectively, from the left, and the calculated concentration threshold value was 0.0031 and 0.0032 respectively from the left. Also, the number of matching points obtained through this study was 145.

이와 같이, 본 발명에 의하는 경우 영상의 종류에 관계없이 더 많은 특징점을 추출할 수 있고, 그에 따라 더 많은 매칭점을 찾을 수 있음을 알 수 있다.As described above, according to the present invention, it is possible to extract more feature points regardless of the type of the image, and thus it is possible to find more matching points.

도 14a 내지 도 18b에는 기존 방식 및 본 발명을 적용한 얼굴 인식 결과가 도시되어 있다.Figs. 14A to 18B show the face recognition result using the conventional method and the present invention.

도 14a 및 도 14b에는 각각 기존 방식 및 본 발명을 적용하여 추출한 특징점이 도시되어 있다.14A and 14B show characteristic points extracted by the conventional method and the present invention, respectively.

도 15a 및 도 15b에는 각각 기존 방식 및 본 발명을 적용하여 획득한 매칭점이 도시되어 있다.15A and 15B show matching points obtained by applying the conventional method and the present invention, respectively.

도 16a 및 도 16b에는 각각 기존 방식 및 본 발명을 적용한 얼굴 인식 결과 도시되어 있다.Figs. 16A and 16B show the results of facial recognition using the conventional method and the present invention, respectively.

도 14a 내지 도 16b에 도시된 바와 같이, 본 발명에 의하는 경우 기존 방식보다 추출되는 특징점의 개수가 평균 30%이상 증가하고, 그에 따라 더 많은 매칭점을 획득하며, 결과적으로 얼굴 인식률을 높일 수 있음을 알 수 있다.As shown in FIGS. 14A to 16B, according to the present invention, the number of feature points extracted from the existing method increases by an average of 30% or more, thereby obtaining more matching points and consequently enhancing the face recognition rate .

도 17a 내지 도 18b에는 표정 변화가 많은 얼굴 영상에 대해 기존 방식 및 본 발명을 적용한 얼굴 인식 결과가 도시되어 있다.17A to 18B show the face recognition result obtained by applying the existing method and the present invention to a face image having a large change in facial expression.

도 17a 및 도 17b에는 각각 표정 변화가 많은 얼굴 영상에 대해 기존 방식 및 본 발명을 적용하여 추출한 특징점이 도시되어 있다.17A and 17B show feature points extracted by applying the conventional method and the present invention to facial images having many facial expressions.

도 18a 및 도 18b에는 각각 표정 변화가 많은 얼굴 영상에 대해 기존 방식 및 본 발명을 적용한 얼굴 인식 결과 도시되어 있다.Figs. 18A and 18B show the face recognition result obtained by applying the existing method and the present invention to face images having a large change in facial expression, respectively.

도 17a 내지 도 18b에 도시된 바와 같이, 표정 변화가 많은 얼굴 영상에 대해서도 본 발명에 의하는 경우 더 많은 특징점을 추출할 수 있으며, 그에 따라 얼굴 인식률을 높일 수 있음을 알 수 있다.As shown in FIGS. 17A and 18B, when the present invention is applied to a face image having a large change in facial expression, it is possible to extract more feature points, thereby increasing the face recognition rate.

지금까지 본 발명에 대해 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.The present invention has been described with reference to the embodiments. However, it will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. That is, the true technical scope of the present invention is indicated in the appended claims, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

도 1은 두 개의 일반 영상에 대해 SIFT를 적용하여 추출한 특징점을 나타낸 도면.FIG. 1 is a view showing feature points extracted by applying SIFT to two general images. FIG.

도 2는 두 개의 내시경 영상에 대해 SIFT를 적용하여 추출한 특징점을 나타낸 도면.2 is a view showing feature points extracted by applying SIFT to two endoscopic images.

도 3은 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 10으로 설정한 SIFT를 적용하여 추출한 특징점을 나타낸 도면.FIG. 3 is a view showing feature points extracted by applying a SIFT in which a density threshold value is set to 0.01 and a curvature threshold value is set to 10 for two endoscopic images. FIG.

도 4는 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 50으로 설정한 SIFT를 적용하여 추출한 특징점을 나타낸 도면.FIG. 4 is a view showing feature points extracted by applying a SIFT in which a density threshold value is set to 0.01 and a curvature threshold value is set to 50 for two endoscopic images. FIG.

도 5는 본 발명에 따른 SIFT 기반의 얼굴 인식 시스템의 일례를 나타낸 블록도.5 is a block diagram illustrating an example of a SIFT-based face recognition system according to the present invention.

도 6은 본 발명에 따른 SIFT 기반의 얼굴 인식 방법의 일례를 나타낸 흐름도.6 is a flowchart illustrating an example of a SIFT-based face recognition method according to the present invention.

도 7은 본 발명에 따른 SIFT 기반의 특징점 추출 장치를 나타낸 블록도.FIG. 7 is a block diagram illustrating a SIFT-based feature point extraction apparatus according to the present invention. FIG.

도 8은 본 발명에 따른 SIFT 기반의 특징점 추출 방법을 나타낸 흐름도.8 is a flowchart illustrating a SIFT-based feature point extraction method according to the present invention.

도 9는 입력 영상의 가우시안 피라미드를 이용하여 DOG 영상을 생성하는 과정을 나타낸 도면.9 is a diagram illustrating a process of generating a DOG image using a Gaussian pyramid of an input image.

도 10은 후보 픽셀을 추출하기 위하여 비교되는 DOG 영상의 픽셀들을 나타낸 도면.Figure 10 shows pixels of a DOG image compared to extract candidate pixels;

도 11은 8 by 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자화 하는 과정을 나타낸 도면.11 is a diagram illustrating a process of extracting a directional distribution for 8 by 8 blocks and quantizing the 8 direction by 8 directions.

도 12a 및 도 12b는 각각 일반 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점을 나타낸 도면.12A and 12B are diagrams showing feature points and matching points extracted by applying the present invention to a general image, respectively.

도 13a 및 도 13b는 각각 내시경 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점을 나타낸 도면.13A and 13B are diagrams showing feature points and matching points extracted by applying the present invention to an endoscopic image, respectively.

도 14a 내지 도 18b는 기존 방식 및 본 발명을 적용한 얼굴 인식 결과를 나타낸 도면.Figs. 14A to 18B are diagrams showing a face recognition result using the existing method and the present invention; Fig.

Claims (20)

삭제delete 삭제delete 삭제delete 삭제delete SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출부; 및SIFT, a contrast threshold value of a candidate pixel used for extracting a feature point is calculated corresponding to an input face image, and a feature point for extracting a feature point using a candidate pixel having the density threshold value or more An extraction unit; And 상기 입력 얼굴 영상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식부를 포함하되,And a face recognition unit for recognizing the input face image by matching feature points of the input face image and feature points of a face image stored in a database, 상기 특징점 추출부는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 측정된 방향성 확률분포를 나타내는 실수 계수의 벡터를 벡터 양자화를 통해 정수 계수의 벡터로 변환함으로써 코드북으로 대응시켜 저장하며,Wherein the feature point extraction unit stores the vector of the real number coefficients indicating the directional probability distribution measured based on the candidate pixels not less than the density threshold value into a vector of integer coefficients through vector quantization, 상기 얼굴 인식부는, Wherein the face recognizing unit comprises: 상기 데이터베이스에 저장된 얼굴 영상의 특징점 중 상기 입력 얼굴 영상의 특징점과 매칭하여 소정의 기준값 이상의 매칭점을 갖는 얼굴 영상의 특징점이 존재하는 경우, 개인 인증 또는 시스템 보안에 대한 접근 권한을 인정하고, 그렇지 않으면 접근 권한을 부정하는 인증 모듈을 더 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.If the minutiae of the facial image matching the minutiae of the input facial image stored in the database matches the minutiae of the input facial image and has a matching point of a predetermined reference value or more, And an authentication module for denying access authority to the face recognition system. 제5항에 있어서,6. The method of claim 5, 상기 특징점 추출부는,The feature point extracting unit may extract, 상기 입력 얼굴 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 농도 임계값 산출부; 및A density threshold value calculation unit for calculating a density value having a maximum number of pixels through the histogram analysis of a Difference of Gaussian (DOG) image generated from the input face image to the density threshold value; And 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.And a minutiae point descriptor generating unit for generating a minutiae point descriptor using all candidate pixels having the concentration threshold value or more among the candidate pixels. 제6항에 있어서,The method according to claim 6, 상기 특징점 기술자 생성부는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.Wherein the feature point descriptor generating unit generates the feature point descriptor using feature point information including position, size, and azimuth information with neighboring pixels based on a candidate pixel having the density threshold value or more, . 제6항에 있어서The method of claim 6, wherein 상기 특징점 추출부는,The feature point extracting unit may extract, 상기 입력 얼굴 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성부; 및A DOG image generation unit for generating a DOG image using a Gaussian pyramid of the input face image; And 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출부를 더 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.And a candidate pixel extracting unit for searching the maximum or minimum point of the DOG image to extract the entire candidate pixels. 제5항에 있어서,6. The method of claim 5, 상기 얼굴 인식부는, 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.Wherein the face recognition unit matches the feature points of the input face image and the stored face image through clustering by Hough Transform. 제5항에 있어서,6. The method of claim 5, 상기 얼굴 인식부는, 상기 매칭되는 특징점의 개수 및 분포 정보를 고려하여 상기 입력 얼굴 영상을 인식하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.Wherein the face recognition unit recognizes the input face image in consideration of the number and distribution information of the matching feature points. 삭제delete 삭제delete 삭제delete 삭제delete 컴퓨터 시스템에서 SIFT를 기반으로 얼굴 영상을 인식하는 방법에 있어서,A method for recognizing facial images based on SIFT in a computer system, SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출 단계; SIFT, a contrast threshold value of a candidate pixel used for extracting a feature point is calculated corresponding to an input face image, and a feature point for extracting a feature point using a candidate pixel having the density threshold value or more Extraction step; 상기 입력 얼굴 영상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식 단계; 및 A face recognition step of recognizing the input face image by matching minutiae points of the input face image and minutiae points of a face image stored in a database; And 상기 데이터베이스에 저장된 얼굴 영상의 특징점 중 상기 입력 얼굴 영상의 특징점과 매칭하여 소정의 기준값 이상의 매칭점을 갖는 얼굴 영상의 특징점이 존재하는 경우, 개인 인증 또는 시스템 보안에 대한 접근 권한을 인정하고, 그렇지 않으면 접근 권한을 부정하는 접근 권한 설정 단계;If the minutiae of the facial image matching the minutiae of the input facial image stored in the database matches the minutiae of the input facial image and has a matching point of a predetermined reference value or more, A step of setting an access right denying the access right; 를 포함하며,/ RTI > 상기 특징점 추출 단계는,The feature point extracting step may include: 상기 농도 임계값 이상의 후보 픽셀을 기준으로 측정된 방향성 확률분포를 나타내는 실수 계수의 벡터를 벡터 양자화를 통해 정수 계수의 벡터로 변환함으로써 코드북으로 대응시켜 저장하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.Wherein a vector of a real coefficient indicating a directional probability distribution measured on the basis of a candidate pixel not less than the density threshold value is converted into a vector of integer coefficients through vector quantization so as to be stored in correspondence with a codebook. 제15항에 있어서,16. The method of claim 15, 상기 특징점 추출 단계는,The feature point extracting step may include: 상기 입력 얼굴 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 농도 임계값 산출 단계; 및A density threshold value calculation step of calculating a density value having a maximum number of pixels through the histogram analysis of a Difference of Gaussian (DOG) image generated from the input face image to the density threshold value; And 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성 단계를 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.A minutiae point descriptor generating step of generating a minutiae point descriptor by using a candidate pixel having a concentration threshold value or more among all candidate pixels. 제16항에 있어서,17. The method of claim 16, 상기 특징점 기술자 생성 단계는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성하는 단계인 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.Wherein the generating of the minutiae descriptor is a step of generating the minutiae descriptor using the minutia information including the position, size, and azimuth information with neighboring pixels based on the candidate pixel having the concentration threshold value or more. Face recognition method. 제16항에 있어서The method of claim 16, wherein 상기 특징점 추출 단계는,The feature point extracting step may include: 상기 농도 임계값 산출 단계 전에, 상기 입력 얼굴 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성 단계; 및A DOG image generation step of generating a DOG image using a Gaussian pyramid of the input face image before the density threshold value calculation step; And 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출 단계를 더 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.Further comprising a candidate pixel extracting step of searching for a maximum point or a minimum point of the DOG image and extracting the entire candidate pixels. 제15항에 있어서,16. The method of claim 15, 상기 얼굴 인식 단계는, 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭하는 단계인 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.Wherein the face recognition step is a step of matching feature points of the input face image and the stored face image through clustering by Hough Transform. 제15항 내지 제19항 중 어느 한 항에 따른 방법을 컴퓨터 시스템에서 실행하기 위한 프로그램이 기록된 기록매체로서, 상기 컴퓨터 시스템이 판독할 수 있는 상기 기록매체.20. A recording medium on which a program for executing a method according to any one of claims 15 to 19 is recorded in a computer system, the recording medium being readable by the computer system.
KR1020080132503A 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof KR101637229B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080132503A KR101637229B1 (en) 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080132503A KR101637229B1 (en) 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof

Publications (2)

Publication Number Publication Date
KR20100073749A KR20100073749A (en) 2010-07-01
KR101637229B1 true KR101637229B1 (en) 2016-07-08

Family

ID=42636649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080132503A KR101637229B1 (en) 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof

Country Status (1)

Country Link
KR (1) KR101637229B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182886B2 (en) 2019-05-24 2021-11-23 Electronics And Telecommunications Research Institute Method and apparatus for image preprocessing

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127793B1 (en) * 2011-01-04 2012-03-23 위드로봇 주식회사 System for image recognition and providing method thereof
KR101910071B1 (en) * 2011-08-25 2018-12-20 삼성전자주식회사 Three-Demensional Display System with Depth Map Mechanism And Method of Operation Thereof
KR101904203B1 (en) 2012-06-20 2018-10-05 삼성전자주식회사 Apparatus and method of extracting feature information of large source image using scalar invariant feature transform algorithm
KR101478709B1 (en) * 2012-06-27 2015-01-05 한국과학기술원 Method and apparatus for extracting and generating feature point and feature descriptor rgb-d image
KR101374726B1 (en) * 2012-06-27 2014-03-17 한국과학기술원 Feature descriptor generating device and method, image object recognition device and method using the same
CN105551065B (en) * 2015-12-08 2017-12-26 大连理工大学 Multi-thread fit characteristic extracting method based on mark point Energy distribution
CN105447893B (en) * 2015-12-08 2017-12-26 大连理工大学 A kind of energy linearity change circular markers and extracting method
CN105550657B (en) * 2015-12-23 2019-01-29 北京化工大学 Improvement SIFT face feature extraction method based on key point
CN107403182A (en) * 2017-05-26 2017-11-28 深圳大学 The detection method and device of space-time interest points based on 3D SIFT frameworks
CN112862829B (en) * 2019-11-27 2024-03-12 武汉Tcl集团工业研究院有限公司 Label picture segmentation method, device and storage medium
KR102408971B1 (en) * 2021-02-10 2022-06-14 포항공과대학교 산학협력단 Apparatus For Transformating ISAR Image Using Cross-Range Scaling and Method thereof
CN116523852A (en) * 2023-04-13 2023-08-01 成都飞机工业(集团)有限责任公司 Foreign matter detection method of carbon fiber composite material based on feature matching

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100300961B1 (en) * 1998-07-07 2001-09-06 윤종용 Optimum face region extraction method & face recognition method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100300961B1 (en) * 1998-07-07 2001-09-06 윤종용 Optimum face region extraction method & face recognition method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182886B2 (en) 2019-05-24 2021-11-23 Electronics And Telecommunications Research Institute Method and apparatus for image preprocessing

Also Published As

Publication number Publication date
KR20100073749A (en) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101637229B1 (en) Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof
US9824294B2 (en) Saliency information acquisition device and saliency information acquisition method
Yi et al. Feature representations for scene text character recognition: A comparative study
EP2783328B1 (en) Text detection using multi-layer connected components with histograms
Takacs et al. Fast computation of rotation-invariant image features by an approximate radial gradient transform
CN111126240B (en) Three-channel feature fusion face recognition method
TW201437925A (en) Object identification device, method, and storage medium
KR100950776B1 (en) Method of face recognition
CN103839042A (en) Human face recognition method and human face recognition system
JP2021532453A (en) Extraction of fast and robust skin imprint markings using feedforward convolutional neural networks
KR20180092197A (en) Method and device to select candidate fingerprint image for recognizing fingerprint
KR101742115B1 (en) An inlier selection and redundant removal method for building recognition of multi-view images
CN111160169A (en) Face detection method, device, equipment and computer readable storage medium
CN112668374A (en) Image processing method and device, re-recognition network training method and electronic equipment
CN111783493A (en) Identification method and identification terminal for batch two-dimensional codes
Sasikala et al. Feature extraction of real-time image using Sift algorithm
US8306332B2 (en) Image search method and device
Gao et al. DCT-based local descriptor for robust matching and feature tracking in wide area motion imagery
CN116189162A (en) Ship plate detection and identification method and device, electronic equipment and storage medium
KR100924690B1 (en) System for managing digital image features and its method
Isaac et al. Image forgery detection using region–based Rotation Invariant Co-occurrences among adjacent LBPs
KR20210058882A (en) Facial recognition method and device
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
US20110150344A1 (en) Content based image retrieval apparatus and method
CN110766708B (en) Image comparison method based on contour similarity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4