KR20080003617A - Object detector and detecting method using the adaboost and svm classifier - Google Patents

Object detector and detecting method using the adaboost and svm classifier Download PDF

Info

Publication number
KR20080003617A
KR20080003617A KR1020060062070A KR20060062070A KR20080003617A KR 20080003617 A KR20080003617 A KR 20080003617A KR 1020060062070 A KR1020060062070 A KR 1020060062070A KR 20060062070 A KR20060062070 A KR 20060062070A KR 20080003617 A KR20080003617 A KR 20080003617A
Authority
KR
South Korea
Prior art keywords
image
input image
sub
feature vector
target object
Prior art date
Application number
KR1020060062070A
Other languages
Korean (ko)
Other versions
KR100828183B1 (en
Inventor
양현승
정지년
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020060062070A priority Critical patent/KR100828183B1/en
Publication of KR20080003617A publication Critical patent/KR20080003617A/en
Application granted granted Critical
Publication of KR100828183B1 publication Critical patent/KR100828183B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B99/00—Subject matter not provided for in other groups of this subclass

Abstract

An eye zone detector using Adaboost and SVM study classifiers and a detecting method thereof are provided to detect a target object from an input image quickly and exactly, be applied to all computer vision application systems, which needs the detection of main specific points, and be useful to a real-time system requiring fast calculation and accuracy. An image preprocessing unit(11) accumulates and squares the black image of an input image to obtain a black accumulation image and a black accumulation square image. A sub-window setting unit(12) sets various sizes and positions of sub-windows. An Adaboost study classifier(13) detects whether there is a target object in the input image of a sub-window area set in the sub-window setting unit by using the black accumulation image and the black accumulation square image and extracts a candidate sub-window area. A specific vector extracting unit(14) extracts a specific vector from the input image of the candidate sub-window area. An SVM(Support Vector Machine) study classifier(15) detects whether there is the target object in the input image of the candidate sub-window area by using the specific vector extracted from the specific vector extracting unit.

Description

에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기 및 추출방법 { object detector and detecting method using the Adaboost and SVM classifier }Object detection and detecting method using the Adaboost and SVM classifier}

도 1은 이 발명의 한 실시예에 따른 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기의 구성도,1 is a block diagram of a target target extractor using the Ada Boost and SV learning classifier according to an embodiment of the present invention,

도 2는 에이다부스트 학습 분류기에서 검출된 후보 부윈도우를 극좌표계로 변환하는 과정을 도시한 도면,2 is a diagram illustrating a process of converting a candidate subwindow detected by an Adaboost learning classifier into a polar coordinate system;

도 3은 이 발명에 의한 눈 검출 결과를 도시한 도면이다.3 is a diagram showing an eye detection result according to the present invention.

< 도면의 주요 부분에 대한 부호의 간단한 설명 >     <Brief description of symbols for the main parts of the drawings>

11 : 영상 전처리부 12 : 부윈도우 설정부11: image preprocessor 12: sub-window setting unit

13 : 에이다부스트 학습 분류기 14 : 특징벡터 추출부13: Ada boost learning classifier 14: feature vector extraction unit

15 : 에스브이엠(SVM) 학습 분류기 16 : 저장부15: SVM learning classifier 16: storage unit

이 발명은 입력영상으로부터 목표대상을 추출하는 기술에 관한 것으로서, 보다 상세하게는 에이다부스트 학습 분류기를 이용하여 후보영역을 추출하고 그 후보영역에 대해 에스브이엠(SVM) 학습 분류기를 적용하여 목표대상을 추출하는 추출기 및 추출방법에 관한 것이다.The present invention relates to a technique of extracting a target object from an input image, and more particularly, extracting a candidate region using an Adaboost learning classifier and applying a SVM learning classifier to the candidate region. It relates to an extractor and an extraction method for extracting.

입력영상으로부터 특정 목표대상을 검출하는 기술은, 컴퓨터 비전 응용 시스템에 적용된다.The technique of detecting a specific target object from an input image is applied to a computer vision application system.

일반적으로 입력영상으로부터 목표대상을 검출하는 기술은, 다양한 크기와 위치의 부윈도우를 설정하고, 그 부윈도우로부터 특징을 추출하여 특징벡터로 표현하고, 그 특징벡터를 학습 분류기에 적용하여, 해당 부윈도우의 영역이 목표대상인지 아닌지를 검출하는 방법을 이용한다.In general, a technique for detecting a target object from an input image is to set a sub-window of various sizes and positions, extract a feature from the sub-window, express it as a feature vector, and apply the feature vector to a learning classifier, The method of detecting whether or not the area of the window is the target object is used.

간단한 분류기는 유클리디언 거리(Euclidian distance)와 같은 벡터간 거리나, 정규화된 상관성(normalized correlation)과 같은 유사도를 구하고, 그 벡터간 거리나 유사도를 문턱치와 비교하여 목표대상과 아닌 것을 구분한다.A simple classifier finds similarity, such as distance between vectors such as Euclidian distance, or normalized correlation, and compares the distance or similarity between vectors with a threshold to distinguish it from the target.

좀 더 정교하고 성능이 좋은 분류기로는 신경망이나 베이지안 분류기(Bayesian classifier)를 사용하기도 하고, SVM(Support Vector Machine) 학습 분류기나 에이다부스트(Adaboost) 학습 분류기를 사용하기도 한다.More sophisticated and powerful classifiers can use neural networks, Bayesian classifiers, support vector machine (SVM) learning classes, or aaboost learning classifiers.

에이다부스트 학습 분류기는 계산이 빠른 약한 분류기(weak classifier)를 가중합(weighted sum)으로 조합하여 분류 능력이 좋은 강한 분류기(strong classifier)를 만드는 방법으로, 이 강한 분류기를 순차적으로 배치하여 빠른 속도로 목표대상을 검출하는 알고리즘이다. 이 에이다부스트 학습 분류기는 매우 빠른 속도로 목표대상을 검출할 수는 있으나, 에이다부스트의 학습 방법은 학습 능력이 떨어져서 구조적 위험(structural risk)을 최소화하지 못하기 때문에 일반화 성능이 떨어지는 단점이 있다.The Adaboost Learning Classifier combines a weak classifier with fast weighting into a weighted sum to create a strong classifier with good classification capability. Algorithm for detecting target object. This Adaboost learning classifier can detect targets at a very high speed, but Adabooth's learning method has a disadvantage in generalization performance because it lacks learning ability to minimize structural risk.

이에 반해 에스브이엠(SVM) 학습 분류기는 우수한 학습 능력으로 인해 구조적 위험(structural risk)을 최소화하기 때문에 적은 학습 데이터로도 뛰어난 일반화 성능을 얻을 수 있으나, 계산량이 많아 검출속도가 느린 단점이 있다.On the other hand, the SVM learning classifier can achieve excellent generalization performance even with a small amount of learning data because it minimizes structural risk due to its excellent learning ability, but has a disadvantage of slow detection speed due to a large amount of computation.

종래에는 에이다부스트 학습 분류기나 에스브이엠(SVM) 학습 분류기를 단독으로 사용하기 때문에, 일반화 성능이 낮거나 계산속도가 느린 문제점이 있었다.Conventionally, since the Adaboost learning classifier or the SVM learning classifier is used alone, there is a problem that the generalization performance is low or the calculation speed is slow.

상기한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 에이다부스트 학습 분류기와 에스브이엠(SVM) 학습 분류기를 조합하여, 에이다부스트 학습 분류기를 이용하여 후보영역을 빠른 속도로 추출하고 에스브이엠(SVM) 학습 분류기를 이용하여 목표대상을 최종 검출함으로써, 빠른 속도로 높은 일반화 성능을 가진 목표대상 검출기 및 검출방법을 제공하기 위한 것이다.An object of the present invention devised to solve the above problems of the prior art, by combining the Ada Boost learning classifier and SVM learning classifier, extracting candidate regions at high speed using the Ada Boost learning classifier By finally detecting the target object using an SVM learning classifier, a target object detector and a detection method having a high generalization performance at a high speed are provided.

상기한 목적을 달성하기 위한 이 발명의 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기는, 입력영상의 흑백영상을 누적 및 자승하여 흑백누적영상과 흑백누적자승영상을 구하는 영상 전처리부와;A target target extractor using the Ada Boost and SV learning classifier of the present invention for achieving the above object, the image pre-processing unit for accumulating and square the black and white image of the input image to obtain a black and white cumulative image and a black and white cumulative square image;

상기 다양한 크기 및 위치의 부윈도우를 설정하는 부윈도우 설정부와;A sub-window setting unit for setting a sub-window of various sizes and positions;

상기 흑백누적영상과 흑백누적자승영상을 이용하여 상기 부윈도우 설정부에서 설정된 부윈도우 영역의 상기 입력영상에 목표대상이 존재하는 지를 검출하여 후보 부윈도우 영역을 추출하는 에이다부스트 학습 분류기와;An Adaboost learning classifier which detects whether a target object exists in the input image of the sub-window area set by the sub-window setting unit by using the black-and-white cumulative image and the black-and-white cumulative square image;

상기 후보 부윈도우 영역의 입력영상으로부터 특징벡터를 추출하는 특징벡터 추출부와;A feature vector extraction unit for extracting a feature vector from the input image of the candidate subwindow region;

상기 특징벡터 추출부에서 추출된 특징벡터를 이용하여 상기 후보 부윈도우 영역의 입력영상에 목표대상이 존재하는 지를 검출하는 에스브이엠(SVM) 학습 분류기를 포함한 것을 특징으로 한다.And a SVM learning classifier that detects whether a target object exists in the input image of the candidate subwindow region by using the feature vector extracted by the feature vector extractor.

또한, 이 발명의 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출방법은, 입력영상의 흑백영상을 누적 및 자승하여 흑백누적영상과 흑백누적자승영상을 구하는 영상 전처리단계와;In addition, the target object extraction method using the Ada Boost and SV learning classifier of the present invention, the image pre-processing step of accumulating and square the black and white image of the input image to obtain a black and white cumulative image and a black and white cumulative square image;

상기 다양한 크기 및 위치의 부윈도우를 설정하는 부윈도우 설정단계와;A sub-window setting step of setting the sub-windows of the various sizes and positions;

상기 흑백누적영상과 흑백누적자승영상을 이용하여 상기 부윈도우 설정단계에서 설정된 부윈도우 영역의 상기 입력영상에 목표대상이 존재하는 지를 검출하여 후보 부윈도우 영역을 추출하는 에이다부스트 학습 분류단계와;An Adaboost learning classification step of extracting a candidate subwindow region by detecting whether a target object exists in the input image of the subwindow region set in the subwindow setting step by using the black and white cumulative image and the black and white cumulative square image;

상기 후보 부윈도우 영역의 입력영상으로부터 특징벡터를 추출하는 특징벡터 추출단계와;A feature vector extraction step of extracting a feature vector from the input image of the candidate subwindow region;

상기 특징벡터 추출단계에서 추출된 특징벡터를 이용하여 상기 후보 부윈도 우 영역의 입력영상에 목표대상이 존재하는 지를 검출하는 에스브이엠(SVM) 학습 분류단계를 포함한 것을 특징으로 한다.And a SVM learning classification step of detecting whether a target object exists in the input image of the candidate subwindow region by using the feature vector extracted in the feature vector extraction step.

이하, 첨부된 도면을 참조하여 이 발명의 한 실시예에 따른 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기 및 추출방법을 보다 상세하게 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings will be described in more detail the target target extractor and extraction method using the Ada Boost and SV learning classifier according to an embodiment of the present invention.

도 1은 이 발명의 한 실시예에 따른 에이다부스트와 에스브이엠(SVM) 학습 분류기를 이용한 목표대상 추출기의 구성도이다.1 is a block diagram of a target target extractor using an Adaboost and SVM learning classifier according to an embodiment of the present invention.

이 발명의 목표대상 추출기는 영상 전처리부(11)와, 부윈도우 설정부(12)와, 에이다부스트 학습 분류기(13)와, 특징벡터 추출부(14)와, 에스브이엠(SVM) 학습 분류기(15)와, 저장부(16)를 구비한다.The target extractor of the present invention includes an image preprocessor (11), a sub-window setting unit (12), an Adaboost learning classifier (13), a feature vector extractor (14), and an SVM learning classifier. 15 and a storage unit 16 are provided.

영상 전처리부(11)는, 입력영상의 이미지 상태에 따라 노이즈를 제거하고, 입력영상이 컬러영상인 경우 입력영상의 명도값을 계산하여 흑백영상을 구하며, 그 흑백영상을 누적 및 자승하여 흑백누적영상(Lint(x,y))과 흑백누적자승영상(Lint 2(x,y))을 구한다. 이 흑백누적영상(Lint(x,y))과 흑백누적자승영상(Lint 2(x,y))을 구하는 식은 아래의 수학식 1과 같으며, 영상 전처리부(11)는 이 흑백누적영상(Lint(x,y))과 흑백누적자승영상(Lint 2(x,y))을 저장부(16)에 저장한다.The image preprocessing unit 11 removes the noise according to the image state of the input image, calculates the brightness value of the input image when the input image is a color image, and obtains the black and white image. Obtain the image (L int (x, y)) and the black and white cumulative square image (L int 2 (x, y)). The equation for obtaining the black and white cumulative image (L int (x, y)) and the black and white cumulative square image (L int 2 (x, y)) is shown in Equation 1 below, and the image preprocessor 11 The image (L int (x, y)) and the black and white cumulative square image (L int 2 (x, y)) are stored in the storage unit 16.

Figure 112006047695034-PAT00001
Figure 112006047695034-PAT00001

여기서, L(x,y)는 입력영상의 명도값이다.Here, L (x, y) is a brightness value of the input image.

부윈도우 설정부(12)는 목표대상이 되는 부윈도우의 크기와 위치를 설정하고, 그 부윈도우의 크기와 위치 정보를 에이다부스트 학습 분류기(13)에게 제공한다. 이 부윈도우 설정부(12)는 최소 크기의 부윈도우를 설정한 후 화면의 좌측 상단부터 우측 하단까지 스캔하면서 위치를 변화시키고, 그 후에는 크기를 변화시켜 다시 화면 좌측 상단부터 우측 하단까지 스캔하며 위치를 변화시키면서, 해당 부윈도우의 크기와 위치 정보를 에이다부스트 학습 분류기(13)에게 제공한다.The sub-window setting unit 12 sets the size and position of the sub-window that is the target object, and provides the size and position information of the sub-window to the adaboost learning classifier 13. The sub-window setting unit 12 changes the position while scanning from the top left to the bottom right of the screen after setting the minimum size of the sub-window, and then changes the size to scan again from the top left to the bottom right of the screen. While changing the position, the size and position information of the corresponding window is provided to the Adaboost learning classifier 13.

이 부윈도우 설정부(12)는 응용분야에 따른 제약조건을 이용하여 한정된 범위에서만 부윈도우를 설정할 수 있다. 예컨대, 얼굴영상으로부터 눈을 검출하고자 하는 경우에는 눈은 얼굴영상의 상반부에 있으므로, 주어진 얼굴영상의 상반부에서만 부윈도우를 설정하도록 할 수 있다.The sub-window setting unit 12 may set the sub-window only within a limited range using constraints according to the application. For example, when the eye is to be detected from the face image, since the eye is located in the upper half of the face image, the secondary window may be set only in the upper half of the given face image.

에이다부스트 학습 분류기(13)는 설정된 부윈도우 영역의 흑백누적영상(Lint(x,y))과 흑백누적자승영상(Lint 2(x,y))을 이용하여, 해당 부윈도우 영역에 목표대상이 존재하는 지를 검출한다.The Adaboost learning classifier 13 uses the black and white cumulative image (L int (x, y)) and the black and white cumulative square image (L int 2 (x, y)) of the set subwindow region to target the corresponding subwindow region. Detect if the object exists.

통상적으로 에이다부스트 학습 분류기는 오검출율을 낮추기 위하여 많은 단 계(15 단계(stage) 이상)로 이루어지고, 각 단계에 강한 분류기를 배치하며, 모든 단계의 강한 분류기에서 목표대상으로 분류된 부윈도우의 위치와 크기를 검출결과로 기억한다. 만약 한 단계에서라도 해당 부윈도우가 목표대상이 아니라고 분류하면 그 후의 단계는 수행하지 않고, 해당 부윈도우에 목표대상이 존재하지 않다고 판단한다. 모든 단계의 검사결과, 해당 부윈도우에 목표대상이 존재한다고 판단한 경우에는 그 부윈도우의 위치와 크기 정보를 특징벡터추출부(14)에게 제공한다. 이와 같이 통상적인 에이다부스트 학습 분류기는 15단계 이상의 강한 분류기를 채용하는데, 후반에 위치한 분류기일수록 계산의 복잡도가 증가한다.Typically, the Adaboost learning classifier is composed of many steps (15 or more stages), a strong classifier in each stage, and a sub-window classified as a target in the strong classifier of all stages to reduce the false detection rate. The position and size of are stored as the detection result. If the subwindow is not the target object even in one step, the subsequent step is not performed, and it is determined that the target object does not exist in the corresponding subwindow. If it is determined that the target object exists in the corresponding sub-window as a result of the inspection at all stages, the feature vector extracting unit 14 provides the position and size information of the sub-window. As described above, the conventional Adaboost learning classifier employs a strong classifier of 15 or more levels.

그러나, 이 발명의 에이다부스트 학습 분류기(13)는 목표대상이 존재할만한 후보 부윈도우 영역을 추출하는 기능만을 수행하기 때문에, 분류기의 단계 수를 10단계 미만으로 줄여서 계산량을 줄인다.However, since the Adaboost learning classifier 13 of the present invention performs only a function of extracting a candidate subwindow region where a target object may exist, the number of steps of the classifier is reduced to less than 10 steps, thereby reducing the amount of computation.

에이다부스트 학습 분류기(13)의 목표대상에 대한 학습은, 다양한 변화(개체의 개성, 조명 조건 및 회전, 이차원적 이동)를 반영하는 목표대상 영상들과, 반례 영상들을 이용하여 이루어진다.The learning of the target object of the Adaboost learning classifier 13 is performed by using target object images reflecting various changes (individual personality, lighting conditions and rotation, two-dimensional movement), and inverse images.

에이다부스트 학습 분류기의 목표대상 학습방법 및 목표대상 검출방법에 대한 상세한 설명은 참조문헌 [P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features." In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, 12-14, 2001]을 참조한다.For a detailed description of the target learning method and target detection method of the Adaboost Learning Classifier, refer to [P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features." In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, 12-14, 2001.

특징벡터 추출부(14)는 에스브이엠(SVM) 학습 분류기(15)에 입력하기 위한 특징벡터를 추출하는데, 이를 위해 에이다부스트 학습 분류기(13)에서 검출된 후보 부윈도우를 극좌표계로 변환하고, 그로부터 주성분분석(PCA)을 수행한다.The feature vector extractor 14 extracts a feature vector for input into the SVM learning classifier 15, and converts the candidate subwindow detected by the Adaboost learning classifier 13 into a polar coordinate system. Principal Component Analysis (PCA) is then performed.

즉, 에이다부스트 학습 분류기(13)에서 검출된 후보 부윈도우를 극좌표계로 변환하는 과정은 도 2에 도시된 바와 같이, 부윈도우를 충분히 덮을 수 있도록 반지름을 설정하고 픽셀의 밝기값을 샘플링하여, 수학식 2와 같이 극좌표계로 변환한다.That is, in the process of converting the candidate subwindow detected by the Adaboost learning classifier 13 into the polar coordinate system, as shown in FIG. 2, the radius is set to sufficiently cover the subwindow and the brightness value of the pixel is sampled. Convert to polar coordinate system as shown in Equation 2.

Figure 112006047695034-PAT00002
Figure 112006047695034-PAT00002

여기서, I(x,y)는 부윈도우 영상의 (x,y) 픽셀의 밝기값이고, Ip(r,θ)는 부윈도우의 극좌표계 변환영상의 (r,θ) 픽셀의 밝기값이다. (xc, yc)는 부윈도우 영역의 중심좌표값이다.Here, I (x, y) is the brightness value of (x, y) pixels of the sub-window image, and I p (r, θ) is the brightness value of (r, θ) pixels of the polar coordinate system conversion image of the sub-window. . (x c , y c ) is the center coordinate of the subwindow region.

부윈도우 영상을 균일한 간격으로 샘플링하여 극좌표계 변환영상을 얻으면, 중심영역은 고해상도로 샘플링되고, 주변영역은 저해상도로 샘플링된다. 이러한 특성은 목표대상과 배경의 중첩가능성이 높은 주변영역의 정보를 감소시키고, 중심영역의 정보를 유지시킴으로써, 배경과의 중첩에 보다 강인한 목표대상 검출이 가능해 진다.When the secondary window image is sampled at uniform intervals to obtain a polar coordinate conversion image, the center region is sampled at high resolution, and the peripheral region is sampled at low resolution. This characteristic reduces the information of the surrounding area which is likely to overlap the target object and the background, and maintains the information of the central area, thereby making it possible to detect the target object more robust to the overlapping with the background.

특징벡터 추출부(14)는 극좌표계 변환영상을 주성분분석(PCA)하여 차원 감소(dimension reduction)하고, 이 주성분분석을 통해 얻은 주성분(significant component)들 중 학습 데이터의 분산의 대부분을 차지하는 주성분을 추출하고, 이 추출된 주성분에 극좌표계 변환영상을 투영(projection)하여 특징벡터를 추출한다.The feature vector extractor 14 reduces the dimension by performing principal component analysis (PCA) on the polar coordinate transformed image, and selects a principal component that accounts for most of the variance of the training data among the principal components obtained through the principal component analysis. The feature vectors are extracted by projecting the polar coordinate transformation image onto the extracted principal components.

또한, 특징벡터 추출부(14)는 극좌표계 변환영상(x)과, 그 극좌표계 변환영상을 주성분분석(PCA)하여 얻은 특징벡터로부터 복원한 영상(WTc)과의 오차(e)를 구하여, 그 오차 성분을 특징벡터에 추가한다. 이를 수식으로 표현하면 수학식 3과 같다.In addition, the feature vector extracting unit 14 detects an error e between the polar coordinate system converted image (x) and the image W T c restored from the feature vector obtained by performing principal component analysis (PCA) of the polar coordinate system converted image. Then, the error component is added to the feature vector. If this is expressed as an equation, Equation 3 is obtained.

c = Wxc = Wx

e = │x - WTc│e = │x-W T c│

여기서, x는 극좌표계 변환영상이고, W는 극좌표계 변환영상을 주성분분석하여 얻은 주성분을 행벡터로 하는 행렬이고, c는 극좌표계 변환영상을 주성분분석하여 얻은 특징벡터이다.Here, x is a polar coordinate transform image, W is a matrix whose principal component is obtained by principal component analysis of the polar coordinate transform image, and c is a feature vector obtained by principal component analysis of the polar coordinate transform image.

부윈도우 영역에 목표대상이 포함되어 있지 않으면 이 오차(e) 값은 크고, 부윈도우 영역에 목표대상이 포함되어 있으면 오차(e) 값은 작으므로, 이 오차(e) 값은 부윈도우 영상이 목표대상인 지 검출하는데 매우 유용하다.If the target object is not included in the sub-window area, this error (e) is large. If the target object is included in the sub-window area, the error (e) value is small. It is very useful for detecting whether it is a target.

특징벡터추출부(14)는 극좌표계 변환영상을 주성분분석하여 얻은 특징벡터와, 앞서 설명하였던 오차 값을 에스브이엠(SVM) 학습 분류기(15)에게 제공한다.The feature vector extractor 14 provides the SVM learning classifier 15 with the feature vector obtained by the principal component analysis of the polar coordinate system image and the error value described above.

에스브이엠(SVM) 학습 분류기(15)는 특징벡터 추출부(14)로부터 주성분분석하여 얻은 특징벡터와, 오차 값을 이용하여 해당 부윈도우 영역의 목표대상 여부를 검출한다.The SVM learning classifier 15 detects whether the target window is a target object in the sub-window region using the feature vector obtained by the principal component analysis from the feature vector extractor 14 and the error value.

에스브이엠(SVM) 학습 분류기(15)의 목표대상에 대한 학습은 목표대상의 예제영상과 반례영상을 이용하여 수행하는데, 반례영상은 목표대상의 이웃한 영역으로부터 부윈도우를 취하여 얻을 수 있다. 특히 에이다부스트 학습 분류기 학습에 사용된 반례영상 중 오검출된 사례를 사용하여 에스브이엠(SVM) 학습 분류기를 학습한다면 이 발명의 효과를 증진시킬 수 있다.The learning of the target object of the SVM learning classifier 15 is performed using the example image and the inverse image of the target object. The inverse image may be obtained by taking a sub-window from a neighboring area of the target object. In particular, if the learning of the SVM learning classifier using the misdetected case of the back image used in the Adaboost learning classifier learning can enhance the effect of the present invention.

에스브이엠(SVM) 학습 분류기(15)의 목표대상 학습방법 및 목표대상 분류방법에 대한 상세한 설명은 참조문헌 [Christopher J. C. Burges, "A totorial on Support Vector Machines for Pattern Recognition", Data mining and Knowledge Discovery 2, 121-167, 1998]을 참조한다.For a detailed description of the target learning method and target classification method of the SVM learning classifier 15, refer to Christopher JC Burges, "A totorial on Support Vector Machines for Pattern Recognition", Data mining and Knowledge Discovery. 2, 121-167, 1998.

도 3은 이 발명에 의한 눈 검출 결과를 도시한 도면이다. 도면에서, 적색 십자표시는 5단계로 이루어진 에이다부스트 학습 분류기를 통해 얻은 눈의 위치 정보를 나타내고, 녹색 십자표시는 에이다부스트 학습 분류기에서 검출된 눈의 위치에 대해 에스브이엠(SVM) 학습 분류기로 가장 적합한 눈의 위치 정보를 나타낸다. 이 경우, 주어진 얼굴 영상에서 눈은 양쪽에 한 개씩 있으므로, 에스브이엠(SVM) 학습 분류기의 출력값이 가장 큰 위치를 선택하여 최종 눈의 위치로 검출한다.3 is a diagram showing an eye detection result according to the present invention. In the drawing, the red cross indicates eye position information obtained through the five-step Adabooth learning classifier, and the green cross indicates the eye position detected by the Adabooth learning classifier with the SVM learning classifier. It shows the most suitable eye position information. In this case, since there is one eye on each face in the given face image, the position of the SVM learning classifier having the largest output value is selected and detected as the final eye position.

에스브이엠(SVM) 학습 분류기(15)의 목표대상 검출 결과는 사용자에게 시각화하여 제공될 수 있다. 또한, 이 목표대상 검출 결과는 다른 후속 작업의 입력으로 사용될 수 있는 바, 도 3과 같이 검출된 눈 정보를 얼굴 표준화(크기 및 회전) 작업에 이용할 수 있다.The target detection result of the SVM learning classifier 15 may be visualized and provided to the user. In addition, the target detection result can be used as an input for another subsequent work, and thus the detected eye information can be used for face normalization (size and rotation) as shown in FIG. 3.

이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.Although the technical spirit of the present invention has been described above with the accompanying drawings, it is intended to exemplarily describe the best embodiment of the present invention, but not to limit the present invention. In addition, it is obvious that any person skilled in the art may make various modifications and imitations without departing from the scope of the technical idea of the present invention.

이상과 같이 이 발명에 따르면 입력 영상으로부터 목표대상을 빠르고 정확하게 검출할 수 있다. 이 발명은 입력 영상으로부터 주요 특징점 검출을 필요로 하는 모든 컴퓨터 비전 응용 시스템에 적용할 수 있으며, 특히 빠른 계산과 정확도를 요구하는 실시간 시스템에 유용하게 활용될 수 있다.As described above, according to the present invention, the target object can be detected quickly and accurately from the input image. The present invention can be applied to all computer vision application systems that require the detection of key feature points from the input image, and is particularly useful for real-time systems requiring fast calculation and accuracy.

Claims (10)

입력영상의 흑백영상을 누적 및 자승하여 흑백누적영상과 흑백누적자승영상을 구하는 영상 전처리부와;An image preprocessing unit which accumulates and squares black and white images of the input image to obtain black and white cumulative images and black and white cumulative square images; 상기 다양한 크기 및 위치의 부윈도우를 설정하는 부윈도우 설정부와;A sub-window setting unit for setting a sub-window of various sizes and positions; 상기 흑백누적영상과 흑백누적자승영상을 이용하여 상기 부윈도우 설정부에서 설정된 부윈도우 영역의 상기 입력영상에 목표대상이 존재하는 지를 검출하여 후보 부윈도우 영역을 추출하는 에이다부스트 학습 분류기와;An Adaboost learning classifier which detects whether a target object exists in the input image of the sub-window area set by the sub-window setting unit by using the black-and-white cumulative image and the black-and-white cumulative square image; 상기 후보 부윈도우 영역의 입력영상으로부터 특징벡터를 추출하는 특징벡터 추출부와;A feature vector extraction unit for extracting a feature vector from the input image of the candidate subwindow region; 상기 특징벡터 추출부에서 추출된 특징벡터를 이용하여 상기 후보 부윈도우 영역의 입력영상에 목표대상이 존재하는 지를 검출하는 에스브이엠(SVM) 학습 분류기를 포함한 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기.Adaboost and SMB, characterized by including a learning classifier (SVM) for detecting whether a target object exists in the input image of the candidate sub-window region using the feature vector extracted by the feature vector extractor Target Extractor using Learning Classifier. 제 1 항에 있어서, 상기 영상 전처리부는 상기 입력영상의 노이즈를 제거하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기.The target object extractor of claim 1, wherein the image preprocessing unit removes noise of the input image. 제 1 항에 있어서, 상기 부윈도우 설정부는 제약조건에 따라 상기 입력영상 의 한정된 범위 내에서 부윈도우를 설정하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기.The target target extractor of claim 1, wherein the sub-window setting unit sets the sub-window within a limited range of the input image according to a constraint condition. 제 1 항에 있어서, 상기 특징벡터 추출부는,The method of claim 1, wherein the feature vector extraction unit, 상기 후보 부윈도우 영역의 상기 입력영상의 밝기값을 극좌표계로 변환하고,Converts a brightness value of the input image of the candidate subwindow region into a polar coordinate system, 상기 극좌표계 변환영상을 주성분분석(PCA)하고,Principal component analysis (PCA) of the polar coordinate system conversion image, 상기 주성분분석한 결과로 얻은 주성분에 상기 후보 부윈도우 영역의 입력영상을 투영하여 상기 특징벡터를 추출하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기.And extracting the feature vector by projecting an input image of the candidate subwindow region onto the principal component obtained as a result of the principal component analysis. The target object extractor using the adaboost and SMB learning classifier. 제 4 항에 있어서, 상기 특징벡터 추출부는 상기 특징벡터로부터 복원된 영상과 원본 영상과의 오차 정보를 더 추출하여 상기 에스브이엠(SVM) 학습 분류기에게 제공하고,The method of claim 4, wherein the feature vector extracting unit further extracts error information between an image reconstructed from the feature vector and an original image, and provides the extracted information to the SVM learning classifier. 상기 에스브이엠(SVM) 학습 분류기는 상기 특징벡터와 상기 오차 정보를 이용하여 상기 후보 부윈도우 영역의 입력영상에 목표대상이 존재하는 지를 검출하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출기.The SVM learning classifier detects whether a target object exists in the input image of the candidate subwindow region using the feature vector and the error information. Target extractor used. 입력영상의 흑백영상을 누적 및 자승하여 흑백누적영상과 흑백누적자승영상을 구하는 영상 전처리단계와;An image preprocessing step of accumulating and squaring black and white images of an input image to obtain black and white cumulative images and black and white cumulative square images; 상기 다양한 크기 및 위치의 부윈도우를 설정하는 부윈도우 설정단계와;A sub-window setting step of setting the sub-windows of the various sizes and positions; 상기 흑백누적영상과 흑백누적자승영상을 이용하여 상기 부윈도우 설정단계에서 설정된 부윈도우 영역의 상기 입력영상에 목표대상이 존재하는 지를 검출하여 후보 부윈도우 영역을 추출하는 에이다부스트 학습 분류단계와;An Adaboost learning classification step of extracting a candidate subwindow region by detecting whether a target object exists in the input image of the subwindow region set in the subwindow setting step by using the black and white cumulative image and the black and white cumulative square image; 상기 후보 부윈도우 영역의 입력영상으로부터 특징벡터를 추출하는 특징벡터 추출단계와;A feature vector extraction step of extracting a feature vector from the input image of the candidate subwindow region; 상기 특징벡터 추출단계에서 추출된 특징벡터를 이용하여 상기 후보 부윈도우 영역의 입력영상에 목표대상이 존재하는 지를 검출하는 에스브이엠(SVM) 학습 분류단계를 포함한 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출방법.Adaboost and SV characterized in that it comprises a SVM learning classification step for detecting whether a target object exists in the input image of the candidate sub-window region using the feature vector extracted in the feature vector extraction step. A method of extracting target object using M learning classifier. 제 6 항에 있어서, 상기 영상 전처리단계는 상기 입력영상의 노이즈를 제거하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출방법.8. The method of claim 6, wherein the image preprocessing step removes noise of the input image. 제 6 항에 있어서, 상기 부윈도우 설정단계는 제약조건에 따라 상기 입력영상의 한정된 범위 내에서 부윈도우를 설정하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출방법.The method of claim 6, wherein the sub-window setting step sets a sub-window within a limited range of the input image according to a constraint. 제 6 항에 있어서, 상기 특징벡터 추출단계는,The method of claim 6, wherein the feature vector extraction step, 상기 후보 부윈도우 영역의 상기 입력영상의 밝기값을 극좌표계로 변환하고,Converts a brightness value of the input image of the candidate subwindow region into a polar coordinate system, 상기 극좌표계 변환영상을 주성분분석(PCA)하고,Principal component analysis (PCA) of the polar coordinate system conversion image, 상기 주성분분석한 결과로 얻은 주성분에 상기 후보 부윈도우 영역의 입력영상을 투영하여 상기 특징벡터를 추출하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출방법.And extracting the feature vector by projecting the input image of the candidate subwindow region onto the principal component obtained as a result of the principal component analysis. 제 9 항에 있어서, 상기 특징벡터 추출단계는 상기 특징벡터로부터 복원된 영상과 원본 영상과의 오차 정보를 더 추출하고,The method of claim 9, wherein the extracting the feature vector further extracts error information between an image reconstructed from the feature vector and an original image. 상기 에스브이엠(SVM) 학습 분류단계는 상기 특징벡터와 상기 오차 정보를 이용하여 상기 후보 부윈도우 영역의 입력영상에 목표대상이 존재하는 지를 검출하는 것을 특징으로 하는 에이다부스트와 에스브이엠 학습 분류기를 이용한 목표대상 추출방법.In the SVM learning classification step, the adaboost and SMB learning classifier may detect whether a target object exists in the input image of the candidate subwindow region using the feature vector and the error information. Target object extraction method using.
KR1020060062070A 2006-07-03 2006-07-03 eye detector and detecting method using the Adaboost and SVM classifier KR100828183B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060062070A KR100828183B1 (en) 2006-07-03 2006-07-03 eye detector and detecting method using the Adaboost and SVM classifier

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060062070A KR100828183B1 (en) 2006-07-03 2006-07-03 eye detector and detecting method using the Adaboost and SVM classifier

Publications (2)

Publication Number Publication Date
KR20080003617A true KR20080003617A (en) 2008-01-08
KR100828183B1 KR100828183B1 (en) 2008-05-08

Family

ID=39214751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060062070A KR100828183B1 (en) 2006-07-03 2006-07-03 eye detector and detecting method using the Adaboost and SVM classifier

Country Status (1)

Country Link
KR (1) KR100828183B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002473A1 (en) * 2011-06-29 2013-01-03 포항공과대학교 산학협력단 Method and apparatus for detecting object using volumetric feature vector and three-dimensional haar-like filter
KR101276792B1 (en) * 2011-12-29 2013-06-20 전자부품연구원 Eye detecting device and method thereof
US9111137B2 (en) 2009-02-09 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for recognizing hand shape in portable terminal
CN111679971A (en) * 2020-05-20 2020-09-18 北京航空航天大学 Adaboost-based software defect prediction method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101211872B1 (en) 2011-04-05 2012-12-13 성균관대학교산학협력단 Apparatus and method for realtime eye detection
KR102306358B1 (en) * 2020-02-04 2021-09-30 인하대학교 산학협력단 Method and Apparatus for Driver Drowsiness Detection with optimized pre-processing for eyelid-closure classification using SVM
KR102456987B1 (en) * 2022-03-15 2022-10-20 디엘이앤씨 주식회사 Method for detecting crack of exterior wall

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664956B1 (en) * 2004-11-24 2007-01-04 삼성전자주식회사 Method and apparatus for eye detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111137B2 (en) 2009-02-09 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for recognizing hand shape in portable terminal
WO2013002473A1 (en) * 2011-06-29 2013-01-03 포항공과대학교 산학협력단 Method and apparatus for detecting object using volumetric feature vector and three-dimensional haar-like filter
KR101276792B1 (en) * 2011-12-29 2013-06-20 전자부품연구원 Eye detecting device and method thereof
CN111679971A (en) * 2020-05-20 2020-09-18 北京航空航天大学 Adaboost-based software defect prediction method

Also Published As

Publication number Publication date
KR100828183B1 (en) 2008-05-08

Similar Documents

Publication Publication Date Title
Arth et al. Real-time license plate recognition on an embedded DSP-platform
KR100608595B1 (en) Face identifying method and apparatus
US7957560B2 (en) Unusual action detector and abnormal action detecting method
Prati et al. Analysis and detection of shadows in video streams: a comparative evaluation
US7840037B2 (en) Adaptive scanning for performance enhancement in image detection systems
US8983226B2 (en) Apparatus and method for detecting specific object pattern from image
KR100828183B1 (en) eye detector and detecting method using the Adaboost and SVM classifier
US7983480B2 (en) Two-level scanning for memory saving in image detection systems
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
WO2010071443A1 (en) Method for speeding up face detection
KR20140095333A (en) Method and apparratus of tracing object on image
Yao et al. License plate detection based on multistage information fusion
US7831068B2 (en) Image processing apparatus and method for detecting an object in an image with a determining step using combination of neighborhoods of a first and second region
JP2006323779A (en) Image processing method and device
Qasim et al. Deep learning for face detection: Recent advancements
Borhade et al. Advanced driver assistance system
Gangopadhyay et al. FACE DETECTION AND RECOGNITION USING HAAR CLASSIFIER AND LBP HISTOGRAM.
CN109657544B (en) Face detection method and device
Lin et al. Face detection based on skin color segmentation and SVM classification
Niazi et al. Hybrid face detection in color images
Greati et al. A Brazilian license plate recognition method for applications in smart cities
Qiu et al. An optimized license plate recognition system for complex situations
Duan et al. The logitboost based on joint feature for face detection
JP4789526B2 (en) Image processing apparatus and image processing method
JP2005209137A (en) Method and apparatus for object identification, and face direction identification apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120404

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee