KR20100073749A - Apparatus and method for extracting feature point based on sift, and face recognition system using thereof - Google Patents

Apparatus and method for extracting feature point based on sift, and face recognition system using thereof Download PDF

Info

Publication number
KR20100073749A
KR20100073749A KR1020080132503A KR20080132503A KR20100073749A KR 20100073749 A KR20100073749 A KR 20100073749A KR 1020080132503 A KR1020080132503 A KR 1020080132503A KR 20080132503 A KR20080132503 A KR 20080132503A KR 20100073749 A KR20100073749 A KR 20100073749A
Authority
KR
South Korea
Prior art keywords
feature point
image
dog
feature
candidate
Prior art date
Application number
KR1020080132503A
Other languages
Korean (ko)
Other versions
KR101637229B1 (en
Inventor
김민기
최광희
오장석
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080132503A priority Critical patent/KR101637229B1/en
Publication of KR20100073749A publication Critical patent/KR20100073749A/en
Application granted granted Critical
Publication of KR101637229B1 publication Critical patent/KR101637229B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

PURPOSE: A feature point extraction apparatus based on S SIFT(Scale Invariant Feature Transform) capable of improving visual recognition rate by increasing the number of feature points is provided to increase the number of extracted keypoints by calculating optimized contrast threshold. CONSTITUTION: A DOG image generator unit(710) generates a DOG image with the Gaussian pyramid of the input image. A candidate pixel extractor unit(720) extracts the sample point corresponding to maximum or the minimum of each DOG image. A contrast threshold calculator(730) calculates contrast threshold of candidate pixels used in feature point extraction responding to the input image.

Description

SIFT 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템{Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof}Apparatus and method for extracting feature point based on SIFT, and face recognition system using

본 발명은, SIFT에 기반한 영상 인식 기술에 관한 것이며, 특히 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 유동적 환경에 강인한 특징점 추출 장치 및 방법과 이를 이용한 얼굴인식 시스템 및 방법에 관한 것이다.The present invention relates to an image recognition technology based on SIFT, and in particular, a feature point extraction apparatus and method that is robust to a fluid environment by calculating an optimized density threshold of candidate pixels used for feature point extraction according to an input image, and a face recognition system using the same. And to a method.

최근, 카메라를 이용하여 획득한 영상(image)으로부터 특징점(feature)을 추출하는 기술은 얼굴 인식을 통한 개인 인증, 3차원 복원, 자체추적 등 컴퓨터비전 분야에서 광범위하게 사용되고 있다.Recently, a technique of extracting a feature point from an image acquired by using a camera has been widely used in computer vision fields such as personal authentication through face recognition, 3D reconstruction, and self-tracking.

영상의 특징점은 영상의 크기 변화, 회전 변환에 불변해야 한다. 또한, 부분적으로 조명과 카메라의 포즈변화에 불변해야 한다.The feature point of the image should be invariant to the change in size and rotation of the image. In addition, it must be partially invariant to lighting and camera pose changes.

PCA(Principal Component Analysis) 또는 ICA(Independent Component Analysis)를 이용하는 기존의 방식들은 에지 등이 많은 일반 영상에 대한 인식률은 높은 편이지만, 특징점 추출이 곤란한 얼굴 영상, 내시경 영상 등에는 그대로 적용 하기에 적합하지 않다는 문제점이 있었다.Conventional methods using Principal Component Analysis (PCA) or Independent Component Analysis (ICA) have high recognition rates for general images with many edges, but they are not suitable for face images and endoscopy images that are difficult to extract feature points. There was a problem.

특히, 기존 방식들은 제한된 상황에서의 얼굴 인식률은 어느 정도 만족할 수 있는 수준이나, 유동적 상황에는 적용하기 곤란한 문제점이 있었다. 예컨대, 서로 크기가 다른 영상, 얼굴뿐만 아니라 배경까지 포함하고 있는 영상 등에 대해서는 인식률이 현저히 떨어진다는 문제점이 있었다.In particular, the existing methods have a satisfactory level of face recognition in a limited situation, but have a problem that is difficult to apply in a fluid situation. For example, there is a problem that the recognition rate is remarkably decreased for images having different sizes, images including not only faces but also backgrounds.

따라서, 본 발명이 이루고자 하는 첫 번째 기술적 과제는, SIFT를 기반으로 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 추출되는 특징점의 수를 증가시키고, 인식률을 개선할 수 있는 특징점 추출 장치를 제공하는 것이다.Accordingly, the first technical problem to be achieved by the present invention is to increase the number of extracted feature points and improve the recognition rate by calculating an optimized density threshold of candidate pixels used for feature point extraction based on the input image based on SIFT. It is to provide a feature point extraction apparatus that can be.

본 발명이 이루고자 하는 두 번째 기술적 과제는, 상기 특징점 추출 장치를 이용하는 얼굴 인식 시스템을 제공하는 것이다.A second technical problem to be achieved by the present invention is to provide a face recognition system using the feature point extraction apparatus.

본 발명이 이루고자 하는 세 번째 기술적 과제는, SIFT를 기반으로 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 추출되는 특징점의 수를 증가시키고, 인식률을 개선할 수 있는 특징점 추출 방법을 제공하는 것이다.The third technical problem to be achieved by the present invention is to calculate the optimal density threshold value of candidate pixels used for feature point extraction according to the input image based on SIFT, thereby increasing the number of extracted feature points and improving the recognition rate. It is to provide a feature point extraction method.

본 발명에 이루고자 하는 네 번째 기술적 과제는, 상기 특징점 추출 방법을 이용하는 얼굴 인식 방법을 제공하는 것이다.The fourth technical problem to be achieved in the present invention is to provide a face recognition method using the feature point extraction method.

상기와 같은 첫 번째 기술적 과제를 해결하기 위하여 본 발명은, SIFT를 기반으로 입력 영상의 특징점을 추출하는 장치에 있어서, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출부; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함하는 SIFT 기반의 특징점 추출 장치를 제공한다.In order to solve the first technical problem as described above, the present invention, in the apparatus for extracting the feature point of the input image based on the SIFT, the concentration threshold value of the candidate pixel (candidate pixel) used to extract the feature point corresponding to the input image a concentration threshold calculator for calculating a contrast threshold; And a feature descriptor descriptor generating unit for generating a keypoint descriptor by using the candidate pixels having the density threshold or higher among all the candidate pixels.

일 실싱예에 있어서, 상기 농도 임계값 산출부는, 상기 입력 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출한다.In one embodiment, the concentration threshold calculator calculates a density value having the maximum number of pixels as a density threshold value through a histogram analysis of a difference of Gaussian (DOG) image generated from the input image.

일 실싱예에 있어서, 상기 특징점 기술자 생성부는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성한다.In one embodiment, the feature point descriptor generator generates the feature point descriptor using feature point information including position, size, and orientation information of a neighboring pixel based on the candidate pixel above the density threshold.

일 실싱예에 있어서, 상기 특징점 추출 장치는, 상기 입력 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성부; 및 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출부를 더 포함한다.In one exemplary embodiment, the apparatus for extracting a feature point may include: a DOG image generator configured to generate a DOG image using a Gaussian pyramid of the input image; And a candidate pixel extracting unit extracting the full candidate pixel by searching for the maximum or minimum point of the DOG image.

상기와 같은 두 번째 기술적 과제를 해결하기 위하여 본 발명은, SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출부; 및 상기 입력 얼굴 영상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식부를 포함하는 SIFT 기반의 얼굴 인식 시스템을 제공한다.In order to solve the second technical problem as described above, the present invention, based on the SIFT, calculates the contrast threshold of the candidate pixel (candidate pixel) used for feature point extraction corresponding to the input face image, A feature point extracting unit extracting feature points using candidate pixels equal to or greater than the density threshold value; And a face recognition unit configured to recognize the input face image by matching the feature points of the input face image with the feature points of the face image stored in the database.

일 실싱예에 있어서, 상기 특징점 추출부는, 상기 입력 얼굴 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최 대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 농도 임계값 산출부; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함한다.In one exemplary embodiment, the feature point extractor is configured to calculate a density value having a maximum number of pixels as the concentration threshold value through a histogram analysis of a difference of Gaussian (DOG) image generated from the input face image. A threshold calculator; And a feature descriptor generator for generating a keypoint descriptor by using candidate pixels having the density threshold or higher among all candidate pixels.

일 실싱예에 있어서, 상기 얼굴 인식부는, 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭한다.In one embodiment, the face recognition unit matches feature points of the input face image and the stored face image through clustering by a Hough Transform.

일 실싱예에 있어서, 상기 얼굴 인식부는, 상기 매칭되는 특징점의 개수 및 분포 정보를 고려하여 상기 입력 얼굴 영상을 인식한다.In one embodiment, the face recognition unit recognizes the input face image in consideration of the number and distribution information of the matching feature points.

상기와 같은 세 번째 기술적 과제를 해결하기 위하여 본 발명은, 컴퓨터 시스템에서 SIFT를 기반으로 입력 영상의 특징점을 추출하는 방법에 있어서, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출 단계; 및 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성 단계를 포함하는 SIFT 기반의 특징점 추출 방법을 제공한다.In order to solve the third technical problem as described above, the present invention provides a method for extracting feature points of an input image based on a SIFT in a computer system, wherein the candidate pixels used for feature point extraction corresponding to the input image are selected. A concentration threshold calculating step of calculating a contrast threshold; And a feature point descriptor generation step of generating a keypoint descriptor by using the candidate pixels having the density threshold or higher among all the candidate pixels.

상기와 같은 네 번째 기술적 과제를 해결하기 위하여 본 발명은, 컴퓨터 시스템에서 SIFT를 기반으로 얼굴 영상을 인식하는 방법에 있어서, SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출 단계; 및 상기 입력 얼굴 영 상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식 단계를 포함하는 SIFT 기반의 얼굴 인식 방법을 제공한다.In order to solve the fourth technical problem as described above, the present invention provides a method for recognizing a face image based on a SIFT in a computer system, wherein the candidate pixel is used for extracting feature points based on the SIFT and corresponding to the input face image a feature point extraction step of calculating a contrast threshold of a candidate pixel and extracting feature points using candidate pixels equal to or greater than the concentration threshold; And a face recognition step of matching the feature point of the input face image with the feature point of the face image stored in the database to recognize the input face image.

본 발명에 따른 SIFT 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴인식 시스템 및 방법은, 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 산출함으로써 기존 방식보다 추출되는 특징점의 수를 30%이상 증가시키고, 이에 따라 인식률을 개선한다는 이점을 제공한다.SIFT-based feature point extraction apparatus and method and face recognition system and method using same according to the present invention, by calculating the optimal density threshold value of the candidate pixel used for feature point extraction according to the input image the number of feature points extracted than the conventional method It increases the number by more than 30%, thereby improving the recognition rate.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 기술적 과제의 개요를 우선 제시한다.Prior to the description of the specific contents of the present invention, for the sake of understanding, an outline of the technical problem to be solved by the present invention is first presented.

본 발명은 우선, 유동적 환경에 강인한 얼굴 인식 시스템을 만들기 위해 SIFT(Scale Invariant Feature Transform) 알고리즘을 기반으로 한다.First, the present invention is based on the Scale Invariant Feature Transform (SIFT) algorithm to create a face recognition system that is robust to a fluid environment.

영상의 특징점을 추출하는 대표적인 알고리즘인 SIFT는 『D.G. Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004.』에서 Lowe에 의해 제안되었다. SIFT는 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영 변환(projective transform)에 불변인 특성을 지니고 있다. SIFT는 로컬 이미지(local image) 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출한다. 즉, 첫 번째 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간에서 최대·최 소(extrema)를 검색하여 샘플점(또는 후보 픽셀)을 선택한다( Scale - space extrema detection ). 두 번째 단계로, 안정도(stability) 수치에 기반하여 키포인트들을 선택한다( Keypoint localization ). 세 번째 단계로, 각각의 키포인트에 대하여 1 이상의 방향을 할당한다( Orientation assignment ). 마지막 단계로, 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자를 생성한다( Keypoint descriptor ).SIFT, a representative algorithm for extracting image feature points, is described in DG Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004.]. SIFT is invariant to image rotation, scaling, shifting, partial illumination changes, and projective transforms. SIFT extracts attributes such as the position, scale, and direction of a feature in consideration of local image characteristics. That is, in the first step, the sample point (or candidate pixel) is selected by searching the maximum and minimum in the scale space generated by the difference-of-Gaussian (DOG) function ( Scale - space extrema detection ) . In the second step, keypoints are selected based on stability values ( Keypoint localization ) . The third step, it allocates at least one direction with respect to each key point (Orientation assignment ) . Finally, create a keypoint descriptor using local image gradients ( Keypoint descriptor ) .

특히, SIFT는 얼굴 인식에 있어서 3차원 정보를 찾기 위한 첫 걸음인 기본 행렬(fundamental matrix; F)를 구하기 위해 사용된다. 즉, SIFT에 의해 크기 변화에 불변한 특징점을 추출하고, 상기 특징점들을 이용하여 상기 기본 행렬(F)을 구한다. 상기 특징점들로부터 상기 기본 행렬(F)을 구하는 과정에서, 이상값(outlier)들을 제거하여 일대일 대응 문제(corresponding problem)를 해결하기 위해 키포인트 매칭(keypoint matching), 허프 변환(Hough Transform)에 의한 클러스터링(clustering) 단계를 거친다.In particular, SIFT is used to find a fundamental matrix (F), which is the first step in finding three-dimensional information in face recognition. That is, feature points invariant to the change in size are extracted by SIFT, and the base matrix F is obtained using the feature points. In the process of obtaining the basic matrix F from the feature points, clustering by keypoint matching and Hough Transform to remove outliers and solve a one-to-one correspondence problem. Go through the (clustering) step.

이러한 과정을 통해 두 영상간의 매칭 포인트(matching point)들의 개수와 분포 정보를 파악하여 얼굴을 인식해 낸다.Through this process, the number of matching points and distribution information between two images are identified to recognize a face.

그러나, 단순한 SIFT 알고리즘은 특징점 추출을 위한 기준값을 어떤 영상이든지 고정시켜 적용하기 때문에, 특징이 적은 얼굴 영상, 내시경 영상 등에 대해서는 추출할 수 있는 특징점의 수가 적다는 한계가 있다.However, since a simple SIFT algorithm applies a reference value for extracting a feature point to any image, there is a limit in that the number of feature points that can be extracted is small for a face image, an endoscope image, etc. having less features.

도 1에는 두 개의 일반 영상에 대해 SIFT를 적용하여 추출한 특징점이 도시되어 있다.FIG. 1 illustrates feature points extracted by applying SIFT to two general images.

도 2에는 두 개의 내시경 영상에 대해 SIFT를 적용하여 추출한 특징점이 도시되어 있다.2 illustrates a feature point extracted by applying SIFT to two endoscope images.

상기 도 1 및 도 2는, 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 0.02로 설정하고 곡률 임계값(curvature threshold)을 10으로 설정한 경우이다.1 and 2 illustrate a case where a contrast threshold of a candidate pixel used for feature point extraction is set to 0.02 and a curvature threshold is set to 10. FIG.

도 1에 도시된 바와 같이, 일반 영상에 대해서는 왼쪽 영상부터 각각 485개 및 414개의 특징점을 추출해 냄으로써 기존 방식보다 월등히 우수한 성능을 보이고 있다.As shown in FIG. 1, the 485 and 414 feature points are extracted for the general image from the left image, respectively.

그러나, 도 2에 도시된 바와 같이, 내시경 영상에 대해서는 왼쪽 영상부터 각각 18개 및 13개의 특징점을 추출하여 특징이 적은 영상에 대해서는 적용상 한계가 있음을 알 수 있다.However, as shown in FIG. 2, 18 and 13 feature points are extracted from the left image, respectively, for the endoscope image, indicating that there is a limitation in application for the image having few features.

이에 대해, 본 발명은 SIFT의 한계를 극복하기 위해 입력 영상에 따라 특징점 추출의 기준값을 적절히 산출하여 추출되는 특징점 수를 증가시키고 및 인식률을 개선한다.In contrast, the present invention increases the number of extracted feature points and improves the recognition rate by properly calculating a reference value of feature point extraction according to an input image in order to overcome the limitation of SIFT.

도 3에는 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 10으로 설정한 SIFT를 적용하여 추출한 특징점이 도시되어 있다.3 illustrates a feature point extracted by applying a SIFT set to a concentration threshold value of 0.01 and a curvature threshold value of 10 for two endoscope images.

도 3에 도시된 바와 같이, 왼쪽 영상부터 각각 111개 및 110개의 특징점을 추출하여 성능이 개선되었음을 알 수 있다.As shown in FIG. 3, it can be seen that performance is improved by extracting 111 and 110 feature points from the left image, respectively.

도 4에는 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 50으로 설정한 SIFT를 적용하여 추출한 특징점이 도시되어 있다.FIG. 4 illustrates feature points extracted by applying SIFTs having a concentration threshold value of 0.01 and a curvature threshold value of 50 for two endoscope images.

도 4에 도시된 바와 같이, 왼쪽 영상부터 각각 126개 및 123개의 특징점을 추출하여 경계로 보이는 지점의 특징점들이 소폭 상승하였음을 알 수 있다.As shown in FIG. 4, it can be seen that the feature points of the point shown as the boundary are slightly increased by extracting 126 and 123 feature points from the left image, respectively.

도 3 및 도 4의 결과에서 알 수 있듯이, SIFT의 성능은 상기 곡률 임계값에 비해 상기 농도 임계값에 큰 영향을 받는다.As can be seen from the results of FIGS. 3 and 4, the performance of the SIFT is significantly affected by the concentration threshold compared to the curvature threshold.

따라서, 본 발명은 특히, 입력 영상에 따라 특징점 추출에 사용되는 후보 픽셀의 최적화된 농도 임계값을 자동으로 산출하여 추출되는 특징점의 개수를 증가시키고, 얼굴 인식률을 개선하고자 하는 것이다.Therefore, the present invention is particularly intended to increase the number of extracted feature points by automatically calculating an optimized density threshold of candidate pixels used for feature point extraction according to an input image, and to improve face recognition rate.

이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위해 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 할 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the solutions of the technical problems of the present invention. However, in describing the present invention, when it is determined that the detailed description of the related known technology or configuration may make the gist of the present invention unclear, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user, an operator, or the like. Therefore, the definition should be made based on the contents throughout the specification.

도 5에는 본 발명에 따른 SIFT 기반의 얼굴 인식 시스템의 일례가 블록도로 도시되어 있다.5 is a block diagram illustrating an example of a face recognition system based on SIFT according to the present invention.

도 6에는 본 발명에 따른 SIFT 기반의 얼굴 인식 방법의 일례가 흐름도로 도시되어 있다.6 is a flowchart illustrating an example of a face recognition method based on SIFT according to the present invention.

도 5 및 도 6을 참조하면, 본 발명에 따른 얼굴 인식 시스템(500)은, 특징점 추출부(502) 및 얼굴 인식부(504)를 포함하며, 카메라부(510), 영상 신호 처리 부(520) 및 얼굴 영역 검출부(530)을 더 포함할 수 있다.5 and 6, the face recognition system 500 according to the present invention includes a feature point extractor 502 and a face recognizer 504, and include a camera unit 510 and an image signal processor 520. And a face area detector 530.

우선, 상기 카메라부(510)는 이미지 센서(image sensor), 예컨대 CCD 센서나 CMOS 센서 등을 이용하여 피사체의 광 신호를 전기적 신호로 변환한다(S610).First, the camera unit 510 converts an optical signal of a subject into an electrical signal using an image sensor, for example, a CCD sensor or a CMOS sensor (S610).

상기 영상 신호 처리부(520)는, 상기 카메라부(510)로부터 입력되는 전기적 아날로그 영상 신호를 디지털 데이터 영상 신호로 변환한다(S620).The video signal processor 520 converts the electrical analog video signal input from the camera unit 510 into a digital data video signal (S620).

상기 얼굴 영역 검출부(530)는, 상기 영상 신호 처리부(520)로부터 입력되는 영상 신호에서 얼굴 영역을 검색하여 추출한다(S630). 상기 얼굴 영역 검출부(530)의 구현을 위해 윤곽선, 피부 색상, 질감, 템플리트(template) 등을 이용한 얼굴 추출 기술이 이용될 수 있다. 예컨대, 상기 얼굴 영역 검출부(530)는 입력 영상에서 얼굴 색상을 이용하여 얼굴영역을 찾을 수 있다. 이때, 상기 얼굴 영역 검출부(530)는 얼굴 색상을 강조하기 위한 변환 모듈, 흑색과 백색을 강조하기 위한 변환 모듈, 얼굴의 특징 정보를 추출하기 위하여 특정 부분의 이미지를 향상시키는 전처리 모듈, 얼굴영역과 배경영역을 분리하는 배경 라벨링(labeling) 모듈 등을 포함할 수 있다.The face region detector 530 searches for and extracts a face region from the image signal input from the image signal processor 520 (S630). In order to implement the face region detector 530, a face extraction technique using an outline, a skin color, a texture, a template, or the like may be used. For example, the face area detector 530 may find a face area using a face color in an input image. In this case, the face region detection unit 530 may include a transformation module for emphasizing face color, a transformation module for emphasizing black and white, a preprocessing module for enhancing an image of a specific portion to extract facial feature information, and a face region; And a background labeling module for separating the background area.

그 다음, 상기 특징점 추출부(502)는, SIFT를 기반으로 하되 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출한다(S640).Next, the feature point extractor 502 calculates a contrast threshold of a candidate pixel used for feature point extraction based on an SIFT but corresponding to an input face image, and calculates the density threshold. The feature point is extracted using the candidate pixels as described above (S640).

상기 특징점 추출부(502)는, 본 발명에 따른 특징점 추출 장치 및 방법으로 구현할 수 있다.The feature point extractor 502 may be implemented by a feature point extraction apparatus and method according to the present invention.

도 7에는 본 발명에 따른 SIFT 기반의 특징점 추출 장치가 블록도로 도시되어 있다.7 is a block diagram of an SIFT-based feature point extraction apparatus according to the present invention.

도 8에는 본 발명에 따른 SIFT 기반의 특징점 추출 방법이 흐름도로 도시되어 있다.8 is a flowchart illustrating a feature extraction method based on the SIFT according to the present invention.

도 7 및 도 8을 참조하면, 본 발명에 따른 특징점 추출 장치는 DOG 영상 생성부(710), 후보 픽셀 추출부(720), 농도 임계값 산출부(730) 및 특징점 기술자 생성부(740)를 포함한다.7 and 8, the apparatus for extracting feature points according to the present invention includes a DOG image generator 710, a candidate pixel extractor 720, a density threshold calculator 730, and a feature descriptor generator 740. Include.

상기 DOG 영상 생성부(710)는, 입력 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성한다(S810).The DOG image generator 710 generates a DOG image by using a Gaussian pyramid of the input image (S810).

도 9에는 입력 영상의 가우시안 피라미드를 이용하여 DOG 영상을 생성하는 과정이 도시되어 있다. 9 illustrates a process of generating a DOG image using a Gaussian pyramid of an input image.

도 9에 도시된 바와 같이, 상기 DOG 영상 생성부(710)는 상기 입력 영상을 다양한 스케일의 분산값을 갖는 가우시안 필터에 통과시키고, 그 결과 영상들을 인접하는 스케일에 따라서 순차적으로 서로 뺀다. 이로써 생성되는 영상을 가우시안 차이(Difference Of Gaussian; DOG) 영상이라 하는데, DOG 영상을 2:1로 부표본화 하고 다시 다양한 스케일을 갖는 가우시안 필터를 통과시킨다. 이러한 과정을 통하여 피라미드 구조의 DOG 영상들을 얻을 수 있다.As illustrated in FIG. 9, the DOG image generator 710 passes the input image through a Gaussian filter having dispersion values of various scales, and as a result, the images are sequentially subtracted from each other according to adjacent scales. The resulting image is called a Gaussian Difference (DOG) image. The DOG image is subsampled 2: 1 and passed through a Gaussian filter with various scales. Through this process, DOG images of pyramid structure can be obtained.

그 다음, 상기 후보 픽셀 추출부(720)는, 각 DOG 영상의 최대 또는 최소에 해당하는 샘플점, 즉 특징점이 될 전체 후보 픽셀(candidate pixel)을 추출한다(S820).Next, the candidate pixel extracting unit 720 extracts all candidate pixels to be sample points, that is, feature points, corresponding to the maximum or minimum of each DOG image (S820).

도 10에는 후보 픽셀을 추출하기 위하여 비교되는 DOG 영상의 픽셀들이 도시되어 있다.10 shows pixels of a DOG image compared to extract candidate pixels.

도 10에 도시된 바와 같이, 최대 또는 최소 위치는 주변의 8픽셀과 위 아래 스케일 DOG 영상의 9픽셀씩, 모두 26픽셀과 비교하여 최대이거나 최소인 경우에 상기 후보 픽셀로 추출된다.As shown in FIG. 10, the maximum or minimum position is extracted as the candidate pixel when the maximum or minimum is 8 pixels and 9 pixels of the up and down scale DOG image, both of which are maximum or minimum compared to 26 pixels.

그 다음, 상기 농도 임계값 산출부(730)는, 상기 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀의 농도 임계값(contrast threshold)을 산출한다(S830).Next, the density threshold calculator 730 calculates a contrast threshold of a candidate pixel used for feature point extraction in response to the input image (S830).

기존의 SIFT에서는, 노이즈 등에 의한 요소를 제거하기 위하여 DOG 값의 크기가 작거나 강한 에지선 상에 있는 후보 픽셀들을 제거하였다. 즉, 수학식 1과 같이 농도 임계값보다 작은 후보 픽셀들을 제거하였다.In the conventional SIFT, candidate pixels on the edge line having a small or strong DOG value are removed to remove an element due to noise. That is, candidate pixels smaller than the density threshold value are removed as in Equation 1.

Figure 112008088473125-PAT00001
,
Figure 112008088473125-PAT00001
,

Figure 112008088473125-PAT00002
,
Figure 112008088473125-PAT00002
,

Figure 112008088473125-PAT00003
,
Figure 112008088473125-PAT00003
,

Figure 112008088473125-PAT00004
.
Figure 112008088473125-PAT00004
.

상기 수학식 1에서, D는 DOG를 나타내는 변수, X는 선택된 픽셀의 위치에 대한 정보,

Figure 112008088473125-PAT00005
는 localization을 통해 정확성이 향상시킨 위치 정보, 그리고
Figure 112008088473125-PAT00006
는 localization된 픽셀에 대한 DOG를 의미한다.In Equation 1, D is a variable representing a DOG, X is information on the position of the selected pixel,
Figure 112008088473125-PAT00005
Location information has improved accuracy through localization, and
Figure 112008088473125-PAT00006
Means DOG for localized pixels.

상기 수학식 1에 나타난 바와 같이, 상기 농도 임계값을 작게 할수록 많은 특징점들을 추출할 수 있게 된다. 그러나, 상기 농도 임계값을 무작정 작게 하여 추출되는 특징점의 수를 필요 이상으로 증가시키는 경우에는 연산의 비효율성은 물론 미스 매칭의 위험을 초래하는 문제점이 발생한다.As shown in Equation 1, the smaller the concentration threshold value, the more feature points can be extracted. However, when the density threshold is randomly reduced to increase the number of extracted feature points more than necessary, problems such as inefficiency of calculation and risk of mismatching occur.

또한, 입력 영상마다

Figure 112008088473125-PAT00007
값의 분포가 다르므로 입력 영상에 따라 적절한 농도 임계점을 산출할 필요가 있다.In addition, every input video
Figure 112008088473125-PAT00007
Since the distribution of the values is different, it is necessary to calculate an appropriate concentration threshold according to the input image.

그러나, 기존의 SIFT에서는 입력 영상과는 무관하게 고정된 기준값들을 사용하여 특징점을 추출하는 문제가 있다.However, the existing SIFT has a problem of extracting feature points using fixed reference values regardless of the input image.

이에 반해, 본 발명의 상기 농도 임계값 산출부(730)는, 상기 입력 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출한다.In contrast, the concentration threshold calculator 730 of the present invention measures the density value having the maximum number of pixels through histogram analysis of a difference of Gaussian (DOG) image generated from the input image. Calculate as

히스토그램 분석이란, 영상에 대하여 각 농도의 레벨마다 해당 농도 레벨을 갖는 픽셀의 수, 또는 모든 픽셀 수에 대한 비율을 분석하는 방법을 말한다. 이러한 히스토그램 분석 결과는 통상 횡축에 농도치, 종축에 화소 수를 취한 막대 그래프로 표시될 수 있다. 상기 히스토그램 분석은 영상 데이터가 어떤 농도치를 갖는 픽셀들로 구성되었는지 조사하는데 사용될 수 있다.The histogram analysis refers to a method of analyzing a number of pixels having a corresponding density level or a ratio of all pixels in an image for each level of density. The results of such histogram analysis can be generally displayed as a bar graph in which the concentration value is taken along the horizontal axis and the number of pixels along the vertical axis. The histogram analysis may be used to examine what density values the image data are composed of.

한편, 곡률 임계값(curvature thresh) r과 관련하여 제거되는 후보 픽셀의 조건은 수학식 2와 같이 유도될 수 있다.Meanwhile, the condition of the candidate pixel removed in relation to the curvature threshold r may be derived as in Equation 2.

Figure 112008088473125-PAT00008
Figure 112008088473125-PAT00008

Figure 112008088473125-PAT00009
Figure 112008088473125-PAT00009

Figure 112008088473125-PAT00010
Figure 112008088473125-PAT00010

상기 수학식 2에 나타난 바와 같이, 상기 곡률 임계값의 경우 r값을 크게 할 수록 경계로 보이는 부분에서 추출되는 특징점의 수를 소폭 증가시킬 수 있다.As shown in Equation 2, in the case of the curvature threshold value, as the value of r increases, the number of feature points extracted from the portion shown as the boundary may be increased slightly.

그 다음, 상기 특징점 기술자 생성부(740)는, 상기 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성한다(S840).Next, the feature point descriptor generator 740 generates a keypoint descriptor using candidate pixels equal to or greater than the density threshold value among all candidate pixels (S840).

상기 특징점 기술자 생성부(740)는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성한다. 즉, 최종 선택된 후보 픽셀을 중심으로 16x16 크기의 블록을 설정하고, 그 블록 내의 픽셀에 대하여 방향성을 측정한다. 각각의 픽셀마다 방향 및 그 크기를 측정하여 해당 블록에서 가장 크게 존재하는 방향을 추정한다. 이 방향을 해당 특징점의 방향으로 설정한다. 최종적인 SIFT 특징벡터를 구하기 위해서는 다시 각각의 키포인트를 중심으로 16x16 블록을 설정하 고 다시 4x4 블록 단위로 나누어 그 블록 내의 각 픽셀에 대하여 픽셀값의 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정하여 변화의 크기가 클수록 해당 방향의 확률분포도 커지도록 방향에 대한 확률분포를 구한다.The feature point descriptor generator 740 generates the feature descriptor using the feature point information including the position, the size, and the orientation information with respect to the neighboring pixel based on the candidate pixel above the density threshold. That is, a 16x16 block is set around the last selected candidate pixel, and the directionality of the pixels within the block is measured. The direction and the size of each pixel are measured to estimate the direction that is largest in the block. This direction is set to the direction of the feature point. In order to obtain the final SIFT feature vector, 16x16 blocks are set around each key point, and then divided into 4x4 block units to measure the direction of change of pixel value for each pixel in the block. The change direction is set to be proportional to the change slope to obtain a probability distribution with respect to the direction so that the larger the magnitude of the change, the greater the probability distribution of the corresponding direction.

도 11에는 8 by 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자화하는 과정이 도시되어 있다.FIG. 11 illustrates a process of extracting directional distributions for 8 by 8 blocks and quantizing them in eight directions.

도 11에 도시된 바와 같이, 상기 방향성 확률분포는 8개의 방향으로 구분되어 저장되는데, 결국 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이 방향성 확률분포를 나타내는 벡터가 SIFT 특징 벡터의 구조이며, 특징점의 영상 좌표, 방향성, 가우시안 스케일 등의 파라미터와 함께 저장된다. 이와 같이 얻어진 128 차원의 SIFT 특징 벡터는 벡터 양자화를 수행하여 코드북으로 표현된다. 초기에 구해진 SIFT 특징 벡터는 부동 소수점을 갖는 임의의 실수로서, 상기 SIFT 특징 벡터를 전송하거나 거리를 비교할 때 상대적으로 많은 전송용량 및 시간이 필요하다. 따라서, 이러한 단점을 극복하기 위하여, 각 8방향 단위로 구분된 SIFT의 8차원 벡터에 대하여 벡터 양자화를 수행하고 실수값으로 표현되는 8차원 방향분포를 1차원의 코드북으로 대응시킨다. 이러한 벡터 양자화 과정을 거침으로써, 128차원의 실수계수 SIFT 특징 벡터는 16차원의 정수계수의 벡터로 변환될 수 있다. 이러한 16차원의 벡터로 양자화된 SIFT 특징 벡터를 낮은 데이터 양으로 전송하고, 벡터 간의 차이를 계산할 때는 양자화된 코드북의 128 차원 벡터로 환원하여 비교하게 된다.As shown in FIG. 11, the directional probability distribution is stored in eight directions, which are represented in a 128-dimensional vector form for a 16 × 16 block. The vector representing the directional probability distribution is a structure of the SIFT feature vector, and is stored together with parameters such as image coordinates, directionality, and Gaussian scale of the feature point. The 128-dimensional SIFT feature vector thus obtained is represented by a codebook by performing vector quantization. The initially obtained SIFT feature vector is any real number with floating point, which requires a relatively large capacity and time when transmitting the SIFT feature vector or comparing distances. Therefore, in order to overcome this disadvantage, vector quantization is performed on 8-dimensional vectors of SIFT divided into 8-direction units, and 8-dimensional direction distributions expressed by real values are mapped to 1-dimensional codebooks. Through this vector quantization process, a 128-dimensional real coefficient SIFT feature vector can be converted into a 16-dimensional integer coefficient vector. When the SIFT feature vector quantized with the 16-dimensional vector is transmitted with a low data amount and the difference between the vectors is calculated, the SIFT feature vector is reduced and compared with the 128-dimensional vector of the quantized codebook.

상술한 바와 같이 상기 특징점 추출부(502)가 입력 얼굴 영상에서 특징점을 추출하면, 상기 얼굴 인식부(504)는, 상기 입력 얼굴 영상의 특징점과 데이터베이스(540)에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식한다(S650).As described above, when the feature point extractor 502 extracts the feature point from the input face image, the face recognition unit 504 matches the feature point of the input face image with the feature point of the face image stored in the database 540. The input face image is recognized (S650).

즉, 상기 얼굴 인식부(504)는 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭하고, 상기 매칭되는 특징점의 개수를 이용하여 상기 매칭되는 특징점의 개수가 많은 영상을 얼굴 영상으로서 인식한다. 또한, 상기 얼굴 인식부(504)는 매칭되는 특징점의 개수 정보뿐만 아니라, 매칭되는 특징점의 위치, 매칭되는 특징점을 잇는 선분의 길이 및 기울기 등과 같이 매칭점되는 특징점의 분포 정보를 고려하여 얼굴 영상을 인식할 수 있다.That is, the face recognizing unit 504 matches feature points of the input face image and the stored face image through clustering by a Hough transform, and uses the matching feature points to match the feature points. An image having a large number of feature points to be recognized is recognized as a face image. In addition, the face recognizing unit 504 may extract the face image in consideration of the distribution information of the matching feature points such as the location of the matching feature points, the length and the slope of the line segments connecting the matching feature points, as well as the number of matching feature points. I can recognize it.

특히, 상기 얼굴 인식부(504)는, 개인 인증, 시스템 보안등에 있어서 상기 데이터베이스(540)에 저장된 얼굴 영상 정보 중 상기 입력 얼굴 영상과 소정의 기준값 이상의 매칭점을 갖는 얼굴 영상 정보가 존재하는 경우, 접근 권한을 인정하고, 그렇지 않은 경우 접근 권한을 부정하는 인증 모듈(미도시)을 포함할 수 있다.In particular, when the face recognition unit 504 has face image information having a matching point equal to or greater than a predetermined reference value among the face image information stored in the database 540 in personal authentication and system security, It may include an authentication module (not shown) that recognizes the access rights, otherwise denies the access rights.

일 실시예에 있어서, 본 발명에 따른 SIFT 기반의 특징점 추출 장치 및 이를 이용한 얼굴 인식 시스템은 마이크로프로세서상에 시스템 온 칩(system on chip) 형태로 구현하여 상기 마이크로프로세서로 하여금 상기와 같은 특징점 추출 및 얼굴 인식을 수행하도록 할 수 있다. 본 발명을 마이크로프로세서로 구현하면 각종 시스템의 크기를 줄일 수 있고, 조립 과정을 단순화시킬 수 있으며, 제조 비용을 절감할 수 있는 등의 이점이 있다.In one embodiment, the SIFT-based feature extraction apparatus and face recognition system using the same is implemented in the form of a system on chip on a microprocessor to allow the microprocessor to extract and Face recognition can be performed. If the present invention is implemented in a microprocessor, the size of various systems can be reduced, the assembly process can be simplified, and manufacturing costs can be reduced.

한편, 본 발명에 따른 SIFT 기반의 특징점 추출 방법 및 이를 이용한 얼굴 인식 방법의 세부 과정은 상기 특징점 추출 장치 및 얼굴 인식 시스템의 구성 모듈들의 세부 동작과 대응되는 설명이 가능하다.On the other hand, the detailed process of the SIFT-based feature point extraction method and the face recognition method using the same according to the present invention can be described corresponding to the detailed operation of the configuration module of the feature point extraction apparatus and the face recognition system.

또한, 본 발명에 따른 SIFT 기반의 특징점 추출 방법과 이를 이용한 얼굴 인식 방법은 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 본 발명이 소프트웨어를 통해 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.In addition, the SIFT-based feature point extraction method and the face recognition method using the same can be implemented as a program code that can be read by a computer in a computer-readable recording medium. When the present invention is executed through software, the constituent means of the present invention are code segments for performing necessary tasks. The program or code segments may be stored on a processor readable medium or transmitted by a computer data signal coupled with a carrier on a transmission medium or network.

컴퓨터가 판독할 수 있는 기록매체에는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 판독할 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 판독할 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽어들일 수 있는 코드가 저장되고 실행될 수 있다.The computer-readable recording medium includes all kinds of recording devices for storing data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이하, 본 발명의 현저한 효과를 검증한다.Hereinafter, the significant effects of the present invention are verified.

도 12a 및 도 12b에는 각각 일반 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점이 도시되어 있다.12A and 12B illustrate feature points and matching points extracted by applying the present invention to a general image, respectively.

도 12a 및 도 12b에 도시된 바와 같이, 추출된 특징점의 개수는 왼쪽부터 각각 687개, 및 772개이고, 이때 산출된 농도 임계값은 왼쪽부터 각각 0.0077 및 0.0056이었다. 또한, 이를 통해 획득한 매칭점은 135개이었다.As shown in FIGS. 12A and 12B, the number of extracted feature points was 687 and 772, respectively, from the left side, and the calculated concentration thresholds were 0.0077 and 0.0056, respectively, from the left side. In addition, 135 matching points were obtained.

도 13a 및 도 13b에는 각각 내시경 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점이 도시되어 있다.13A and 13B illustrate feature points and matching points extracted by applying the present invention to an endoscope image, respectively.

도 13a 및 도 13b에 도시된 바와 같이, 추출된 특징점의 개수는 왼쪽부터 각각 560개, 및 509개이고, 이때 산출된 농도 임계값은 왼쪽부터 각각 0.0031 및 0.0032이었다. 또한, 이를 통해 획득한 매칭점은 145개이었다.As shown in FIGS. 13A and 13B, the number of extracted feature points was 560 and 509, respectively, from the left side, and the calculated concentration thresholds were 0.0031 and 0.0032, respectively, from the left side. In addition, there were 145 matching points.

이와 같이, 본 발명에 의하는 경우 영상의 종류에 관계없이 더 많은 특징점을 추출할 수 있고, 그에 따라 더 많은 매칭점을 찾을 수 있음을 알 수 있다.As described above, according to the present invention, it is understood that more feature points can be extracted regardless of the type of image, and thus more matching points can be found.

도 14a 내지 도 18b에는 기존 방식 및 본 발명을 적용한 얼굴 인식 결과가 도시되어 있다.14A to 18B illustrate face recognition results using the conventional method and the present invention.

도 14a 및 도 14b에는 각각 기존 방식 및 본 발명을 적용하여 추출한 특징점이 도시되어 있다.14A and 14B show feature points extracted by applying the conventional method and the present invention, respectively.

도 15a 및 도 15b에는 각각 기존 방식 및 본 발명을 적용하여 획득한 매칭점이 도시되어 있다.15A and 15B show matching points obtained by applying the conventional method and the present invention, respectively.

도 16a 및 도 16b에는 각각 기존 방식 및 본 발명을 적용한 얼굴 인식 결과 도시되어 있다.16A and 16B show face recognition results using the conventional method and the present invention, respectively.

도 14a 내지 도 16b에 도시된 바와 같이, 본 발명에 의하는 경우 기존 방식보다 추출되는 특징점의 개수가 평균 30%이상 증가하고, 그에 따라 더 많은 매칭점을 획득하며, 결과적으로 얼굴 인식률을 높일 수 있음을 알 수 있다.As shown in FIGS. 14A to 16B, in the case of the present invention, the number of extracted feature points is increased by 30% or more on average, and thus, more matching points are obtained, thereby increasing face recognition rate. It can be seen that.

도 17a 내지 도 18b에는 표정 변화가 많은 얼굴 영상에 대해 기존 방식 및 본 발명을 적용한 얼굴 인식 결과가 도시되어 있다.17A to 18B illustrate a face recognition result using the conventional method and the present invention for a face image with a lot of facial expression changes.

도 17a 및 도 17b에는 각각 표정 변화가 많은 얼굴 영상에 대해 기존 방식 및 본 발명을 적용하여 추출한 특징점이 도시되어 있다.17A and 17B illustrate feature points extracted by applying the conventional method and the present invention to face images having a lot of facial expression changes, respectively.

도 18a 및 도 18b에는 각각 표정 변화가 많은 얼굴 영상에 대해 기존 방식 및 본 발명을 적용한 얼굴 인식 결과 도시되어 있다.18A and 18B show face recognition results of applying the conventional method and the present invention to face images having a lot of facial expression changes, respectively.

도 17a 내지 도 18b에 도시된 바와 같이, 표정 변화가 많은 얼굴 영상에 대해서도 본 발명에 의하는 경우 더 많은 특징점을 추출할 수 있으며, 그에 따라 얼굴 인식률을 높일 수 있음을 알 수 있다.As shown in FIG. 17A to FIG. 18B, even in the case of the face image having a lot of facial expression change, more feature points can be extracted, thereby increasing the face recognition rate.

지금까지 본 발명에 대해 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments. However, one of ordinary skill in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential technical spirit of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. That is, the true technical scope of the present invention is shown in the appended claims, and all differences within the equivalent scope will be construed as being included in the present invention.

도 1은 두 개의 일반 영상에 대해 SIFT를 적용하여 추출한 특징점을 나타낸 도면.1 is a diagram illustrating feature points extracted by applying SIFT to two general images;

도 2는 두 개의 내시경 영상에 대해 SIFT를 적용하여 추출한 특징점을 나타낸 도면.2 is a diagram illustrating feature points extracted by applying SIFT to two endoscope images;

도 3은 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 10으로 설정한 SIFT를 적용하여 추출한 특징점을 나타낸 도면.FIG. 3 is a diagram illustrating feature points extracted by applying a SIFT having a concentration threshold of 0.01 and a curvature threshold of 10 for two endoscope images; FIG.

도 4는 두 개의 내시경 영상에 대해 농도 임계값은 0.01, 곡률 임계값은 50으로 설정한 SIFT를 적용하여 추출한 특징점을 나타낸 도면.4 is a diagram illustrating feature points extracted by applying a SIFT set to a concentration threshold of 0.01 and a curvature threshold of 50 for two endoscope images;

도 5는 본 발명에 따른 SIFT 기반의 얼굴 인식 시스템의 일례를 나타낸 블록도.5 is a block diagram showing an example of a face recognition system based on SIFT according to the present invention.

도 6은 본 발명에 따른 SIFT 기반의 얼굴 인식 방법의 일례를 나타낸 흐름도.6 is a flowchart illustrating an example of a SIFT-based face recognition method according to the present invention.

도 7은 본 발명에 따른 SIFT 기반의 특징점 추출 장치를 나타낸 블록도.7 is a block diagram showing an apparatus for extracting feature points based on SIFT according to the present invention.

도 8은 본 발명에 따른 SIFT 기반의 특징점 추출 방법을 나타낸 흐름도.8 is a flowchart illustrating a method of extracting feature points based on SIFT according to the present invention.

도 9는 입력 영상의 가우시안 피라미드를 이용하여 DOG 영상을 생성하는 과정을 나타낸 도면.9 is a diagram illustrating a process of generating a DOG image using a Gaussian pyramid of an input image.

도 10은 후보 픽셀을 추출하기 위하여 비교되는 DOG 영상의 픽셀들을 나타낸 도면.10 shows pixels of a DOG image compared to extract candidate pixels.

도 11은 8 by 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자화 하는 과정을 나타낸 도면.FIG. 11 is a diagram illustrating a process of extracting a directional distribution for 8 by 8 blocks and quantizing them in eight directions. FIG.

도 12a 및 도 12b는 각각 일반 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점을 나타낸 도면.12A and 12B are diagrams illustrating feature points and matching points extracted by applying the present invention to a general image, respectively.

도 13a 및 도 13b는 각각 내시경 영상에 대해 본 발명을 적용하여 추출한 특징점 및 매칭점을 나타낸 도면.13A and 13B are diagrams illustrating feature points and matching points extracted by applying the present invention to an endoscope image, respectively.

도 14a 내지 도 18b는 기존 방식 및 본 발명을 적용한 얼굴 인식 결과를 나타낸 도면.14a to 18b is a view showing a face recognition result applying the conventional method and the present invention.

Claims (20)

SIFT를 기반으로 입력 영상의 특징점을 추출하는 장치에 있어서,An apparatus for extracting feature points of an input image based on a SIFT, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출부; 및A density threshold calculator for calculating a contrast threshold of a candidate pixel used for feature point extraction in response to an input image; And 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함하는 SIFT 기반의 특징점 추출 장치.SIFT-based feature point extraction apparatus comprising a feature point descriptor generation unit for generating a keypoint descriptor by using the candidate pixel of the concentration threshold or more of all candidate pixels. 제1항에 있어서,The method of claim 1, 상기 농도 임계값 산출부는, 상기 입력 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 것을 특징으로 하는 SIFT 기반의 특징점 추출 장치.The density threshold calculator may calculate a density value having a maximum number of pixels as the density threshold value through a histogram analysis of a difference of Gaussian (DOG) image generated from the input image. Feature point extraction device. 제1항에 있어서,The method of claim 1, 상기 특징점 기술자 생성부는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성하는 것을 특징으로 하는 SIFT 기반의 특징점 추출 장치.The feature point descriptor generation unit generates the feature point descriptor based on feature point information including position, size, and orientation information of a neighboring pixel based on the candidate pixel above the density threshold. . 제1항에 있어서The method of claim 1 상기 특징점 추출 장치는,The feature point extraction device, 상기 입력 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성부; 및A DOG image generator for generating a DOG image using a Gaussian pyramid of the input image; And 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출부를 더 포함하는 것을 특징으로 하는 SIFT 기반의 특징점 추출 장치.And a candidate pixel extracting unit extracting the entire candidate pixel by searching for the maximum or minimum point of the DOG image. SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출부; 및A feature point based on a SIFT, calculating a contrast threshold of a candidate pixel used for feature point extraction corresponding to an input face image, and extracting a feature point using candidate pixels above the density threshold. Extraction unit; And 상기 입력 얼굴 영상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식부를 포함하는 SIFT 기반의 얼굴 인식 시스템.And a face recognition unit configured to recognize the input face image by matching the feature point of the input face image with the feature point of the face image stored in the database. 제5항에 있어서,The method of claim 5, 상기 특징점 추출부는,The feature point extraction unit, 상기 입력 얼굴 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 농도 임계값 산출부; 및A density threshold calculator configured to calculate a density value having a maximum number of pixels as the density threshold value through a histogram analysis of a difference of Gaussian (DOG) image generated from the input face image; And 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성부를 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.And a feature point descriptor generator for generating a keypoint descriptor using candidate pixels above the density threshold among all candidate pixels. 제6항에 있어서,The method of claim 6, 상기 특징점 기술자 생성부는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.The feature point descriptor generation unit generates the feature descriptor based on feature point information including position, size, and orientation information with respect to neighboring pixels based on candidate pixels greater than or equal to the density threshold. . 제6항에 있어서The method of claim 6 상기 특징점 추출부는,The feature point extraction unit, 상기 입력 얼굴 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성부; 및A DOG image generator for generating a DOG image by using a Gaussian pyramid of the input face image; And 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출부를 더 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.And a candidate pixel extracting unit extracting the entire candidate pixel by searching for the maximum or minimum point of the DOG image. 제5항에 있어서,The method of claim 5, 상기 얼굴 인식부는, 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.And the face recognition unit matches feature points of the input face image and the stored face image through clustering by a Hough transform. 제5항에 있어서,The method of claim 5, 상기 얼굴 인식부는, 상기 매칭되는 특징점의 개수 및 분포 정보를 고려하여 상기 입력 얼굴 영상을 인식하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 시스템.And the face recognition unit recognizes the input face image in consideration of the number and distribution of matching feature points. 컴퓨터 시스템에서 SIFT를 기반으로 입력 영상의 특징점을 추출하는 방법에 있어서,A method for extracting feature points of an input image based on SIFT in a computer system, 입력 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하는 농도 임계값 산출 단계; 및A density threshold calculating step of calculating a contrast threshold of a candidate pixel used for feature point extraction corresponding to the input image; And 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성 단계를 포함하는 SIFT 기반의 특징점 추출 방법.And a feature point descriptor generation step of generating a keypoint descriptor using candidate pixels above the density threshold among all candidate pixels. 제11항에 있어서,The method of claim 11, 상기 농도 임계값 산출 단계는, 상기 입력 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 단계인 것을 특징으로 하는 SIFT 기반의 특징점 추출 방법.The concentration threshold calculating step may include calculating a density value having a maximum number of pixels as the density threshold value through a histogram analysis of a difference of Gaussian (DOG) image generated from the input image. SIFT based feature point extraction method. 제11항에 있어서,The method of claim 11, 상기 특징점 기술자 생성 단계는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성하는 단계인 것을 특징으로 하는 SIFT 기반의 특징점 추출 방법.The feature point descriptor generation step may include generating the feature descriptor using the feature point information including position, size, and orientation information with respect to a neighboring pixel based on the candidate pixel above the density threshold. Feature point extraction method. 제11항에 있어서The method of claim 11, 상기 특징점 추출 방법은,The feature point extraction method, 상기 농도 임계값 산출 단계 전에, 상기 입력 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성 단계; 및A DOG image generation step of generating a DOG image by using a Gaussian pyramid of the input image before the concentration threshold calculation step; And 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출 단계를 더 포함하는 것을 특징으로 하는 SIFT 기반의 특징점 추출 방법.And extracting the candidate pixels by searching for the maximum or minimum points of the DOG image. 컴퓨터 시스템에서 SIFT를 기반으로 얼굴 영상을 인식하는 방법에 있어서,A method for recognizing a face image based on a SIFT in a computer system, SIFT를 기반으로 하되, 입력 얼굴 영상에 대응하여 특징점 추출에 사용되는 후보 픽셀(candidate pixel)의 농도 임계값(contrast threshold)을 산출하고, 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점을 추출하는 특징점 추출 단계; 및A feature point based on a SIFT, calculating a contrast threshold of a candidate pixel used for feature point extraction corresponding to an input face image, and extracting a feature point using candidate pixels above the density threshold. Extraction step; And 상기 입력 얼굴 영상의 특징점과 데이터베이스에 저장된 얼굴 영상의 특징점을 매칭하여 상기 입력 얼굴 영상을 인식하는 얼굴 인식 단계를 포함하는 SIFT 기반의 얼굴 인식 방법.And a face recognition step of recognizing the input face image by matching the feature point of the input face image with the feature point of the face image stored in the database. 제15항에 있어서,The method of claim 15, 상기 특징점 추출 단계는,The feature point extraction step, 상기 입력 얼굴 영상부터 생성되는 DOG(Difference of Gaussian) 영상의 히스토그램(histogram) 분석을 통해 최대 픽셀수를 지니는 농도값을 상기 농도 임계값으로 산출하는 농도 임계값 산출 단계; 및A density threshold calculation step of calculating a density value having a maximum number of pixels as the density threshold value through a histogram analysis of a difference of Gaussian (DOG) image generated from the input face image; And 전체 후보 픽셀 중 상기 농도 임계값 이상의 후보 픽셀을 이용하여 특징점 기술자(keypoint descriptor)를 생성하는 특징점 기술자 생성 단계를 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.And a feature point descriptor generation step of generating a keypoint descriptor using candidate pixels above the density threshold among all candidate pixels. 제16항에 있어서,The method of claim 16, 상기 특징점 기술자 생성 단계는, 상기 농도 임계값 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방위 정보를 포함하는 특징점 정보를 이용하여 상기 특징점 기술자를 생성하는 단계인 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.The feature point descriptor generation step may include generating the feature descriptor using the feature point information including position, size, and orientation information with respect to a neighboring pixel based on the candidate pixel above the density threshold. Face recognition method. 제16항에 있어서The method of claim 16 상기 특징점 추출 단계는,The feature point extraction step, 상기 농도 임계값 산출 단계 전에, 상기 입력 얼굴 영상의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 DOG 영상을 생성하는 DOG 영상 생성 단계; 및A DOG image generation step of generating a DOG image using a Gaussian pyramid of the input face image before the concentration threshold value calculating step; And 상기 DOG 영상의 최대점 또는 최소점을 검색하여 상기 전체 후보 픽셀을 추출하는 후보 픽셀 추출 단계를 더 포함하는 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.And a candidate pixel extracting step of extracting the entire candidate pixel by searching for the maximum or minimum point of the DOG image. 제15항에 있어서,The method of claim 15, 상기 얼굴 인식 단계는, 허프 변환(Hough Transform)에 의한 클러스터링(clustering)을 통해 상기 입력 얼굴 영상 및 상기 저장된 얼굴 영상의 특징점을 매칭하는 단계인 것을 특징으로 하는 SIFT 기반의 얼굴 인식 방법.The face recognition step may include matching feature points of the input face image and the stored face image through clustering by a Hough transform. 제11항 내지 제19항 중 어느 한 항에 따른 방법을 컴퓨터 시스템에서 실행하기 위한 프로그램이 기록된 기록매체로서, 상기 컴퓨터 시스템이 판독할 수 있는 상기 기록매체.20. A recording medium having recorded thereon a program for executing a method according to any one of claims 11 to 19 on a computer system, the recording medium being readable by the computer system.
KR1020080132503A 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof KR101637229B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080132503A KR101637229B1 (en) 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080132503A KR101637229B1 (en) 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof

Publications (2)

Publication Number Publication Date
KR20100073749A true KR20100073749A (en) 2010-07-01
KR101637229B1 KR101637229B1 (en) 2016-07-08

Family

ID=42636649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080132503A KR101637229B1 (en) 2008-12-23 2008-12-23 Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof

Country Status (1)

Country Link
KR (1) KR101637229B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127793B1 (en) * 2011-01-04 2012-03-23 위드로봇 주식회사 System for image recognition and providing method thereof
KR20130023054A (en) * 2011-08-25 2013-03-07 삼성전자주식회사 Three-demensional display system with depth map mechanism and method of operation thereof
KR101374726B1 (en) * 2012-06-27 2014-03-17 한국과학기술원 Feature descriptor generating device and method, image object recognition device and method using the same
KR101478709B1 (en) * 2012-06-27 2015-01-05 한국과학기술원 Method and apparatus for extracting and generating feature point and feature descriptor rgb-d image
US9171227B2 (en) 2012-06-20 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method extracting feature information of a source image
CN105447893A (en) * 2015-12-08 2016-03-30 大连理工大学 Energy linear variation round mark point and extraction method
CN105551065A (en) * 2015-12-08 2016-05-04 大连理工大学 Multi-line fitting feature extraction method based on mark point energy distribution
CN105550657A (en) * 2015-12-23 2016-05-04 北京化工大学 Key point based improved SIFT human face feature extraction method
CN107403182A (en) * 2017-05-26 2017-11-28 深圳大学 The detection method and device of space-time interest points based on 3D SIFT frameworks
CN112862829A (en) * 2019-11-27 2021-05-28 武汉Tcl集团工业研究院有限公司 Label picture segmentation method and device and storage medium
KR102408971B1 (en) * 2021-02-10 2022-06-14 포항공과대학교 산학협력단 Apparatus For Transformating ISAR Image Using Cross-Range Scaling and Method thereof
CN116523852A (en) * 2023-04-13 2023-08-01 成都飞机工业(集团)有限责任公司 Foreign matter detection method of carbon fiber composite material based on feature matching

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102444544B1 (en) 2019-05-24 2022-09-19 한국전자통신연구원 Method for image pre-processing and apparatus for the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100300961B1 (en) * 1998-07-07 2001-09-06 윤종용 Optimum face region extraction method & face recognition method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100300961B1 (en) * 1998-07-07 2001-09-06 윤종용 Optimum face region extraction method & face recognition method thereof

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127793B1 (en) * 2011-01-04 2012-03-23 위드로봇 주식회사 System for image recognition and providing method thereof
KR20130023054A (en) * 2011-08-25 2013-03-07 삼성전자주식회사 Three-demensional display system with depth map mechanism and method of operation thereof
US9171227B2 (en) 2012-06-20 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method extracting feature information of a source image
KR101374726B1 (en) * 2012-06-27 2014-03-17 한국과학기술원 Feature descriptor generating device and method, image object recognition device and method using the same
KR101478709B1 (en) * 2012-06-27 2015-01-05 한국과학기술원 Method and apparatus for extracting and generating feature point and feature descriptor rgb-d image
CN105551065A (en) * 2015-12-08 2016-05-04 大连理工大学 Multi-line fitting feature extraction method based on mark point energy distribution
CN105447893A (en) * 2015-12-08 2016-03-30 大连理工大学 Energy linear variation round mark point and extraction method
CN105550657A (en) * 2015-12-23 2016-05-04 北京化工大学 Key point based improved SIFT human face feature extraction method
CN105550657B (en) * 2015-12-23 2019-01-29 北京化工大学 Improvement SIFT face feature extraction method based on key point
CN107403182A (en) * 2017-05-26 2017-11-28 深圳大学 The detection method and device of space-time interest points based on 3D SIFT frameworks
CN112862829A (en) * 2019-11-27 2021-05-28 武汉Tcl集团工业研究院有限公司 Label picture segmentation method and device and storage medium
CN112862829B (en) * 2019-11-27 2024-03-12 武汉Tcl集团工业研究院有限公司 Label picture segmentation method, device and storage medium
KR102408971B1 (en) * 2021-02-10 2022-06-14 포항공과대학교 산학협력단 Apparatus For Transformating ISAR Image Using Cross-Range Scaling and Method thereof
CN116523852A (en) * 2023-04-13 2023-08-01 成都飞机工业(集团)有限责任公司 Foreign matter detection method of carbon fiber composite material based on feature matching

Also Published As

Publication number Publication date
KR101637229B1 (en) 2016-07-08

Similar Documents

Publication Publication Date Title
KR20100073749A (en) Apparatus and method for extracting feature point based on sift, and face recognition system using thereof
US8452096B2 (en) Identifying descriptor for person or object in an image
US8447114B2 (en) Method and apparatus for calculating pixel features of image data
WO2015161816A1 (en) Three-dimensional facial recognition method and system
US20230099984A1 (en) System and Method for Multimedia Analytic Processing and Display
TW201437925A (en) Object identification device, method, and storage medium
CN111126240B (en) Three-channel feature fusion face recognition method
Diwakar et al. An extraction and recognition of tongue-print images for biometrics authentication system
JP6410450B2 (en) Object identification device, object identification method, and program
Xue et al. Automatic 4D facial expression recognition using DCT features
Sasikala et al. Feature extraction of real-time image using Sift algorithm
KR20180092197A (en) Method and device to select candidate fingerprint image for recognizing fingerprint
Creusot et al. Automatic keypoint detection on 3D faces using a dictionary of local shapes
Rukhiran et al. Effecting of environmental conditions to accuracy rates of face recognition based on IoT solution
CN112668374A (en) Image processing method and device, re-recognition network training method and electronic equipment
KR102434574B1 (en) Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image
US8306332B2 (en) Image search method and device
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
Barra et al. Unconstrained ear processing: What is possible and what must be done
Kaushik et al. Recognition of facial expressions extracting salient features using local binary patterns and histogram of oriented gradients
Das Human’s facial parts extraction to recognize facial expression
CN110276263B (en) Face recognition system and recognition method
KR102174208B1 (en) FACE RECOGNITION METHOD AND DEVICE USING INFRARED AND DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM
CN111104857A (en) Identity recognition method and system based on gait energy diagram
KR101521136B1 (en) Method of recognizing face and face recognition apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4