KR20170136691A - Method of facial recognition in camera image - Google Patents

Method of facial recognition in camera image Download PDF

Info

Publication number
KR20170136691A
KR20170136691A KR1020160068401A KR20160068401A KR20170136691A KR 20170136691 A KR20170136691 A KR 20170136691A KR 1020160068401 A KR1020160068401 A KR 1020160068401A KR 20160068401 A KR20160068401 A KR 20160068401A KR 20170136691 A KR20170136691 A KR 20170136691A
Authority
KR
South Korea
Prior art keywords
reference point
face
point
camera image
line segment
Prior art date
Application number
KR1020160068401A
Other languages
Korean (ko)
Other versions
KR101998361B1 (en
Inventor
한기태
김성훈
문윤영
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020160068401A priority Critical patent/KR101998361B1/en
Publication of KR20170136691A publication Critical patent/KR20170136691A/en
Application granted granted Critical
Publication of KR101998361B1 publication Critical patent/KR101998361B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06K9/00221—
    • G06K9/00248—
    • G06K9/00281—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to the facial recognition method of a camera image. The facial recognition method includes a step of forming a face outline from a camera image; a step of removing an unnecessary region; a step of extracting a feature component by linear discriminant analysis; a step of recognizing a face using an artificial neural network. A processor recognizes a face from an input camera image. Accordingly, it is possible to overcome the conventional limit that the accuracy of face region detection is deteriorated by a hair length, a hat, etc. when detecting the forehead region of the upper part of an eyebrow in the face included in the camera image.

Description

카메라 영상의 얼굴 인식 방법{METHOD OF FACIAL RECOGNITION IN CAMERA IMAGE}METHOD OF FACIAL RECOGNITION IN CAMERA IMAGE [0002]

본 발명은 카메라 영상의 얼굴 인식 방법에 관한 것이다.The present invention relates to a method of recognizing a face of a camera image.

카메라 영상으로부터 얼굴을 인식하는 기술은 생체정보를 통한 개인정보 인증을 위한 별도의 인식장치를 구비하지 않고 단지 기존의 카메라로부터 얻은 영상으로부터 개인정보를 인증할 수 있어 그 효율성이 좋다.The technique of recognizing a face from a camera image does not have a separate recognition device for authentication of personal information through biometric information, and can efficiently authenticate personal information from a video obtained from an existing camera.

카메라 영상으로부터 얼굴을 인식하는 종래 기술에서는, 학습단계와 인식단계를 포함하여 학습 대상과 카메라 영상으로부터 인식한 대상을 비교하는데, 이때, 영상에서 특징을 분석하는 방법의 예로써 선형판별분석법(LDA; linear discriminant analysis)이 있다.In the conventional technique of recognizing a face from a camera image, a learning object and a recognition object are compared with each other including a learning phase and a recognition phase. In this case, a linear discriminant analysis (LDA) linear discriminant analysis).

그러나 이때, 얼굴 영역 검출 방법에 있어서 피부색상을 이용하여 얼굴 영역을 검출하는 방법의 경우, 조명이나 장애물에 의해 얼굴 영역에 그림자가 생기는 경우 얼굴 영역을 제대로 추출하기 어렵고, 카메라간 거리에 따라 얼굴 영역 크기가 상이한 경우 오검출이 발생할 수 있는 문제점이 있다.However, in the method of detecting the face region using the skin color in the face region detection method, it is difficult to extract the face region properly if the face region is shadowed due to illumination or obstacle, There is a problem that erroneous detection may occur when the sizes are different.

대한민국 등록특허공보 제1254181호Korean Patent Publication No. 1254181

본 발명이 이루고자 하는 기술적 과제는 일반 카메라 영상으로부터 얼굴 영역을 정확하게 검출하여 얼굴 인식률을 향상하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to improve face recognition rate by accurately detecting a face region from a general camera image.

본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법은 카메라 영상으로부터 얼굴 외곽선을 형성하는 단계; 불필요 영역을 제거하는 단계; 선형판별분석으로 특징성분을 추출하는 단계; 그리고 인공신경망을 이용하여 얼굴을 인식하는 단계;를 포함하여, 프로세서가 입력된 카메라 영상으로부터 얼굴을 인식하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of recognizing a face of a camera, comprising: forming a face outline from a camera image; Removing unnecessary areas; Extracting feature components by linear discriminant analysis; And recognizing the face using the artificial neural network, wherein the processor recognizes the face from the inputted camera image.

한 예에서, 상기 얼굴 외곽선은 카메라 영상에 포함된 얼굴 양쪽 외곽선과 얼굴의 상단 외곽선으로 둘러싸인 곡선인 것을 특징으로 한다.In one example, the face outline is a curve enclosed by both the outline of the face included in the camera image and the top outline of the face.

상기 카메라 영상으로부터 얼굴 외곽선을 형성하는 단계는, 얼굴에서 우측 기준점, 좌측 기준점 및 하측 기준점을 각각 검출하는 단계; 상기 우측 기준점, 상기 좌측 기준점 및 상기 하측 기준점으로부터 얼굴 특징점을 검출하는 단계; 상기 얼굴 특징점으로부터 얼굴 양쪽 외곽선을 계산하는 단계; 상기 우측 기준점 및 상기 좌측 기준점으로부터 상단 기준점을 지정하는 단계; 상기 상단 기준점, 상기 우측 기준점 및 상기 좌측 기준점으로부터 얼굴 상단 곡선을 계산하는 단계; 상기 얼굴 양쪽 외곽선과 상기 얼굴 상단 곡선을 연결하여 최종 얼굴 외곽선을 산출하는 단계;를 포함하는 것을 특징으로 한다.The step of forming a face outline from the camera image may include detecting a right reference point, a left reference point, and a lower reference point in a face, respectively; Detecting facial feature points from the right reference point, the left reference point, and the lower reference point; Calculating both outlines of the face from the facial feature points; Designating an upper reference point from the right reference point and the left reference point; Calculating an upper face curve from the upper reference point, the right reference point, and the left reference point; And calculating a final face contour by connecting the face contours and the face upper curves.

상기 얼굴에서 우측 기준점, 좌측 기준점 및 하측 기준점을 각각 검출하는 단계는, 눈 검출기 및 입 검출기를 이용하여 상기 카메라 영상으로부터 두 개의 눈 후보 영역과 입 후보 영역을 각각 검출하고, 상기 두 개의 눈 후보 영역에서 최초 우측 기준점과 최초 좌측 기준점을 검출하고, 상기 입 후보 영역에서 최초 하측 기준점을 검출하는 것을 특징으로 한다.Wherein the step of detecting the right side reference point, the left side reference point and the lower side reference point in the face respectively detects two candidate candidate regions and an input candidate region from the camera image using an eye detector and a mouth detector, The first left reference point and the first left reference point are detected in the input candidate region, and the first lower reference point is detected in the input candidate region.

상기 두 개의 눈 후보 영역은 상기 카메라 영상에 포함된 얼굴에서 우측 눈을 포함하는 사각형과 좌측 눈을 포함하는 사각형으로 형성되어 상기 최초 우측 기준점은 상기 우측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분의 가운데 지점으로 지정되고, 상기 최초 좌측 기준점은 상기 좌측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분의 가운데 지점으로 지정되며, 상기 입 후보 영역은 상기 카메라 영상에 포함된 얼굴에서 입을 포함하는 사각형으로 형성되어 상기 최초 하측 기준점은 상기 입을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 가로 선분의 가운데 지점으로 지정되는 것을 특징으로 한다.Wherein the two eye candidate regions are formed of a quadrangle including a right eye and a quadrangle including a left eye in a face included in the camera image, the first right reference point is a quadrangle including four quadrants of the quadrangle including the right eye, And the first left reference point is designated as a center point of a vertical line segment positioned on the outer side of the face among the four line segments of the rectangle including the left eye, Wherein the first lower reference point is designated as a center point of a horizontal line segment located on a side of a face out of four quadrants of the rectangle including the mouth.

상기 최초 우측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시키면서 90°의 가버 필터와 컨벌루션 연산을 수행하여 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 최종 우측 기준점으로 검출하고, 상기 최초 좌측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시키면서 90°의 가버 필터와 컨벌루션 연산을 수행하여 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 최종 좌측 기준점으로 검출하고, 상기 최초 하측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시키면서 0°의 가버 필터와 컨벌루션 연산을 수행하여 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 최종 하측 기준점으로 검출하는 것을 특징으로 한다.The first right reference point is shifted toward the outer edge of the face included in the camera image and a convolution operation is performed with a Gabor filter of 90 ° so that a point having the first value equal to or greater than the set threshold value is detected as a final right reference point The first left reference point is shifted toward the outer edge of the face included in the camera image, and a convolution operation with a 90 ° Gabor filter is performed. A point having a value that is the same as or the first largest value from the set threshold value is referred to as a final left reference point And performs a convolution operation with a Gabor filter of 0 ° while moving the first lower reference point toward the outer edge of the face included in the camera image. Then, a point having a value that is the same as the first threshold value or the first largest value is set as the final And the lower reference point is detected.

상기 최초 우측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시킴에 있어서, 상기 최초 우측 기준점은 상기 우측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분에 수직하는 방향으로 이동하고, 상기 최초 좌측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시킴에 있어서, 상기 최초 좌측 기준점은 상기 좌측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분에 수직하는 방향으로 이동하며, 상기 최초 하측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시킴에 있어서, 상기 최초 하측 기준점은 상기 입을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 가로 선분에 수직하는 방향으로 이동하는 것을 특징으로 한다.The first right reference point is moved in a direction perpendicular to a vertical line segment located on the outer side of the face out of the four line segments of the quadrangle including the right eye when the first right reference point is moved toward the outline of the face included in the camera image , The first left reference point is moved in a direction perpendicular to a vertical line segment located on the outer side of the face among the four line segments of the quadrangle including the left eye when the first left reference point is moved toward the outer side of the face included in the camera image Wherein the first lower reference point moves in a direction perpendicular to a horizontal line segment located on the outer side of the face out of the four line segments of the quadrangle including the mouth when the first lower reference point is moved toward the outer side of the face included in the camera image .

상기 우측 기준점, 상기 좌측 기준점 및 상기 하측 기준점으로부터 얼굴 특징점을 검출하는 단계는, 상기 우측 기준점과 상기 하측 기준점을 연결하는 제1 기준선분을 생성하는 단계; 상기 제1 기준선분 상에 n개의 점을 생성하는 단계; 상기 제1 기준선분 상에 생성된 상기 n개의 점을 한 선분의 중심점으로서 각각 포함하고 상기 제1 기준선분에 수직하며 상기 카메라 영상의 경계선과 접하는 길이의 선분을 갖는 n개의 직사각형을 생성하는 단계; 그리고 상기 n개의 직사각형을 회전시켜 지면에 수직하는 형태로 조정한 다음, 90°의 가버 필터와 컨벌루션 연산하여 상기 n개의 직사각형 내에서 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 n번째 특징점으로 지정하는 단계;를 포함하여 상기 우측 기준점과 상기 하측 기준점 사이의 n개의 특징점들을 추출하고, 상기 좌측 기준점과 상기 하측 기준점에 대해 상기 단계들을 반복하여 상기 좌측 기준점과 상기 하측 기준점 사이의 n개의 특징점들을 추출하는 것을 특징으로 한다.The step of detecting facial feature points from the right reference point, the left reference point, and the lower reference point may include: generating a first reference line segment connecting the right reference point and the lower reference point; Generating n points on the first reference line segment; Generating n rectangles each including the n points generated on the first reference line segment as center points of one line segment and having line segments perpendicular to the first reference line segment and in contact with a boundary line of the camera image; Then, the n rectangles are rotated so as to be perpendicular to the paper surface, and then convolution is performed with a 90 deg. Gabor filter to determine a point having the first value or the first largest value in the n rectangles, and a step of extracting n feature points between the right reference point and the lower reference point, and repeating the steps with respect to the left reference point and the lower reference point to determine a difference between the left reference point and the lower reference point, and extracting n feature points.

상기 제1 기준선분 상에 생성된 상기 n개의 점을 한 선분의 중심점으로서 각각 포함하고 상기 제1 기준선분에 수직하며 상기 카메라 영상의 경계선과 접하는 길이의 선분을 갖는 n개의 직사각형을 생성하는 단계; 에서,Generating n rectangles each including the n points generated on the first reference line segment as center points of one line segment and having line segments perpendicular to the first reference line segment and in contact with a boundary line of the camera image; in,

상기 n개의 점을 중심점으로서 포함하는 상기 선분은 가버 필터의 한 변의 길이와 동일한 길이인 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.Wherein the line segment including the n points as center points has a length equal to a length of one side of the Gabor filter.

상기 n개의 직사각형을 90°의 가버 필터와 컨벌루션 연산한 값을 설정된 임계값과 비교함에 있어서, 상기 설정된 임계값과 동일하거나 큰 값이 산출되지 않는 경우 특징점을 검출하지 않는 것을 특징으로 한다.When a value obtained by convoluting the n rectangles with a 90 deg. Gabor filter is compared with a set threshold value, a feature point is not detected when a value equal to or larger than the set threshold value is not calculated.

상기 n은 상기 1 기준선분의 길이를 상기 가버 필터 크기의 정사각형의 한 변의 길이로 나눈 최대 자연수인 것을 특징으로 한다.And n is the maximum natural number obtained by dividing the length of one reference line segment by the length of one side of the square of the Gabor filter size.

상기 얼굴 특징점으로부터 얼굴 양쪽 외곽선을 계산하는 단계는, 상기 우측 기준점과 상기 하측 기준점, 그리고 그 사이에 검출된 얼굴 특징점을 다항식 곡선 접합 방법을 이용하는 식 1의 이차 곡선 방정식으로부터 오류값 e가 최소가 되는 계수를 계산하고, 상기 좌측 기준점과 상기 하측 기준점, 그리고 그 사이에 검출된 얼굴 특징점을 다항식 곡선 접합 방법을 이용하는 식 1의 이차 곡선 방정식으로부터 오류값 e가 최소가 되는 계수를 계산하여 수행되는 것을 특징으로 한다.The step of calculating both outline lines of the face from the facial feature points may be performed by using a quadratic curve equation of Equation 1 using the polynomial curve joining method between the right and left reference points and the facial feature points detected between the right and left reference points, And calculating coefficients that minimize the error value e from the quadratic curve equation of Equation (1) using the polynomial curve joining method between the left reference point and the lower reference point and the facial feature points detected therebetween .

[식 1][Formula 1]

Figure pat00001
Figure pat00001

상기 우측 기준점 및 상기 좌측 기준점으로부터 상단 기준점을 지정하는 단계는, 상기 우측 기준점과 상기 좌측 기준점을 연결하는 가상의 선분을 생성하고, 상기 가상의 선분의 가운데 지점을 중심점으로 지정하는 단계; 그리고 상기 가상의 선분의 길이(d)의 절반의 길이(d/2)만큼 상기 중심점으로부터 상기 가상의 선분으로부터 수직하는 방향으로 떨어진 지점을 상기 상단 기준점으로 지정하는 단계;로부터 수행되는 것을 특징으로 한다.Wherein the step of designating the upper reference point from the right reference point and the left reference point includes generating a virtual line segment connecting the right reference point and the left reference point and designating a center point of the virtual line segment as a center point; And designating, as the upper reference point, a point that is away from the center point by a length (d / 2) of half the length d of the imaginary line segment in the vertical direction from the imaginary line segment .

상기 상단 기준점, 상기 우측 기준점 및 상기 좌측 기준점으로부터 얼굴 상단 곡선을 계산하는 단계는, 상기 얼굴 상단 곡선은 상기 상단 기준점, 상기 우측 기준점 및 상기 좌측 기준점을 연결하는 곡선으로서, 식 2의 원의 방정식으로부터 산출되는 것을 특징으로 한다.Calculating an upper face curve from the upper reference point, the right reference point, and the left reference point, wherein the upper face curve is a curve connecting the upper reference point, the right reference point, and the left reference point, .

[식 2][Formula 2]

Figure pat00002
Figure pat00002

상기 불필요 영역을 제거하는 단계는, 얼굴 외곽선 외부의 영역의 화소를 0으로 수정함으로써 수행되는 것을 특징으로 한다.The removing of the unnecessary area is performed by modifying the pixel of the area outside the face outline to zero.

상기 불필요 영역을 제거하는 단계 직후에, 얼굴영역의 크기를 정규화하는 단계;를 더 포함하는 것을 특징으로 한다.And normalizing the size of the face area immediately after removing the unnecessary area.

상기 얼굴영역의 크기를 정규화하는 단계는, 불필요 영역이 제거된 n개의 카메라 영상에 대해서 우측 기준점과 좌측 기준점 사이의 거리를 n개의 w로 지정하는 단계; 불필요 영역이 제거된 n개의 카메라 영상에 대해서 상단 기준점과 하단 기준점 사이의 거리를 n개의 h로 산출하는 단계; 그리고, 상기 wn와 hn의 평균을 계산하여 n개의 카메라 영상의 얼굴 크기를 정규화하는 단계;로부터 수행되는 것을 특징으로 한다.The step of normalizing the size of the face region may include: designating a distance between a right reference point and a left reference point as n w for n camera images from which unnecessary regions have been removed; Calculating n distances between the upper reference point and the lower reference point for n camera images from which unnecessary regions have been removed; And normalizing the face size of n camera images by calculating the average of wn and hn.

이러한 특징에 따르면, 영상으로부터 얼굴 외곽선을 검출하는 단계, 불필요 영역을 제거하는 단계, 그리고 얼굴영역의 크기를 정규화하는 단계를 포함함으로써, 카메라 영상에서 얼굴 인식을 저하시키는 불필요한 부분들을 삭제하여 얼굴 인식을 수행하므로, 카메라 영상으로부터의 얼굴 인식률이 향상되는 효과가 있다.According to this aspect, by including a step of detecting a face contour line from the image, a step of removing unnecessary area, and a step of normalizing the size of the face area, unnecessary parts that degrade face recognition are deleted from the camera image, The face recognition rate from the camera image is improved.

도 1은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법의 흐름을 나타낸 순서도이다.
도 2는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 영상으로부터 얼굴 외곽선을 형성하는 단계를 좀더 자세히 나타낸 순서도이다.
도 3은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 이용하는 영상 검출 특징을 나타낸 도면이다.
도 4는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 카메라 영상을 전처리 과정을 나타낸 도면이다.
도 5는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 이용하는 가버 필터를 나타낸 도면이다.
도 6은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 기준점 검출 단계의 수행 과정을 나타낸 도면이다.
도 7은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 기준점 검출 단계의 수행 결과를 나타낸 도면이다.
도 8은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 얼굴 특징점 검출단계의 한 과정을 나타낸 도면이다.
도 9는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 얼굴 특징점 검출단계에서 직사각형을 구하는 과정을 나타낸 순서도이다.
도 10은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 얼굴 특징점 검출단계의 한 과정을 나타낸 도면이다.
도 11은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 얼굴 특징점 검출단계의 수행결과를 나타낸 도면이다.
도 12는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 얼굴 양쪽 외곽선 검출단계의 수행결과를 나타낸 도면이다
도 13은 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 얼굴 상단 기준점 지정 및 얼굴 상단 곡선 계산 단계를 나타낸 도면이다.
도 14는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 최종 얼굴 외곽선 산출 단계를 나타낸 도면이다.
도 15는 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 불필요 영역 제거 단계와 얼굴영역의 크기를 정규화하는 단계의 처리결과를 나타낸 도면이다.FIG. 1 is a flowchart showing a flow of a method of recognizing a face of a camera image according to an embodiment of the present invention.
2 is a flowchart illustrating a step of forming a face outline from an image in a camera face image recognition method according to an embodiment of the present invention in more detail.
3 is a diagram illustrating an image detection feature used in a method of recognizing a face of a camera image according to an embodiment of the present invention.
4 is a view showing a process of preprocessing a camera image in a method of recognizing a face of a camera image according to an embodiment of the present invention.
5 is a diagram illustrating a Gabor filter used in a method of recognizing a face of a camera image according to an embodiment of the present invention.
6 is a flowchart illustrating a process of detecting a reference point in a method of recognizing a face of a camera image according to an exemplary embodiment of the present invention.
7 is a diagram illustrating a result of performing a reference point detection step in a method of recognizing a face of a camera image according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a process of detecting a facial feature point in a method of recognizing facial features of a camera image according to an exemplary embodiment of the present invention.
9 is a flowchart illustrating a process of obtaining a rectangle in the step of detecting a facial feature point in a method of recognizing a face of a camera image according to an exemplary embodiment of the present invention.
10 is a diagram illustrating a process of detecting facial feature points in a method of recognizing facial features of a camera image according to an embodiment of the present invention.
11 is a view illustrating a result of performing a facial feature point detection step in a method of recognizing a face of a camera image according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating the results of performing a face detection process for both sides of a face in a camera image face recognition method according to an embodiment of the present invention
FIG. 13 is a diagram illustrating an upper face reference point designation and a face upper curve calculation step in a camera face image recognition method according to an embodiment of the present invention.
FIG. 14 is a diagram illustrating a final face contour calculation step in the method of recognizing a face of a camera image according to an embodiment of the present invention.
FIG. 15 is a view showing the processing result of the unnecessary area removing step and the step of normalizing the size of the face area in the camera image face recognition method according to the embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

그러면 첨부한 도면을 참고로 하여 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법을 설명하도록 한다. 먼저, 도 1을 참고로 하여 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법을 설명하면, 카메라 영상의 얼굴 인식 방법은 영상으로부터 얼굴 외곽선을 형성하는 단계(S100), 불필요 영역을 제거하는 단계(S200), 얼굴영역의 크기를 정규화하는 단계(S300), 선형판별분석으로 특징성분을 추출하는 단계(S400), 그리고 인공신경망을 이용하여 얼굴을 인식하는 단계(S500)를 포함하여 이루어진다.Hereinafter, a method of recognizing a face of a camera image according to an embodiment of the present invention will be described with reference to the accompanying drawings. First, referring to FIG. 1, a method of recognizing a face of a camera image according to an exemplary embodiment of the present invention will be described. The face recognition method of a camera image includes forming a face outline from an image (S100) Step S300 of normalizing the size of the face region, step S400 of extracting the feature by linear discriminant analysis, and step S500 of recognizing the face using the artificial neural network.

도 1의 순서도를 구성하는 단계들은 카메라에서 촬영한 이미지, 즉, 카메라 영상(이하, 본 명세서 상에서는 ‘카메라 영상’이라고 기재함.)을 이용하여 수행하는 것으로서, 카메라와 연결되어 카메라로부터 카메라 영상을 전달받아 처리동작을 수행하거나 또는 유무선 통신을 통해 외부로부터 카메라 영상을 전달받아 처리동작을 수행할 수 있으며 이를 한정하지는 않는다.The steps constituting the flowchart of FIG. 1 are performed using an image captured by a camera, that is, a camera image (hereinafter referred to as a 'camera image' in the present specification) And may perform a processing operation by receiving the camera image or receiving a camera image from outside through wired / wireless communication, but the present invention is not limited thereto.

그리고 이때, 도 1에서 도시하는 처리단계들은 카메라와 연결되어 카메라로부터 카메라 영상을 전달받아 위의 처리단계들을 수행하는 프로세서 또는 프로세서를 포함하는 컴퓨터장치에서 수행될 수 있으며, 이를 한정하지는 않으나, 이하의 본 명세서 상에서는 각 단계들의 수행 주체를 프로세서로 통일하여 설명하도록 한다.1 may be performed in a computer apparatus including a processor or a processor connected to the camera and receiving the camera image from the camera to perform the above processing steps. However, the present invention is not limited thereto. In the present specification, the execution subject of each step is unified with a processor.

도 1의 단계들 중 영상으로부터 얼굴 외곽선을 형성하는 단계(S100)는 도 2에 도시한 순서도가 포함하는 단계들로부터 이루어지며, 자세하게는, 얼굴 영역, 눈 영역, 입 영역 검출 단계(S110), 얼굴에서 3개의 기준점 검출 단계(S120), 얼굴 특징점 검출 단계(S130), 얼굴 양쪽 외곽선 계산 단계(S140), 얼굴의 상단 기준점 지정(S150) 단계, 얼굴 상단 곡선 계산(S160) 단계, 그리고 얼굴 양쪽 외곽선과 얼굴 상단 곡선으로부터 최종 얼굴 외곽선 산출(S170) 단계를 포함한다.The step S100 of forming a face outline from the image in the steps of FIG. 1 consists of the steps included in the flowchart shown in FIG. 2. Specifically, the face region, the eye region, the input region detection step S110, (S140), the face upper limit point designation (S150), the upper face curve calculation step (S160), and both sides of the face And calculating a final face contour line from the contour line and the upper face curve (S170).

도 2의 단계 중 첫 번째로 수행되는 얼굴 영역, 눈 영역, 입 영역 검출 단계(S110)는 카메라 또는 외부로부터 전달받은 카메라 영상으로부터 얼굴 영역, 눈 영역, 그리고 입 영역을 각각 검출한다.The face region, the eye region, and the input region detection step S110, which are performed first in the steps of FIG. 2, detect the face region, the eye region, and the input region from the camera or the camera image transmitted from the outside.

이 단계(S110)에서 프로세서는 얼굴 검출기를 이용하여 카메라 영상에서 얼굴 영역을 검출하고, 눈 검출기를 이용하여 카메라 영상에서 눈 영역을 검출하며, 입 검출기를 이용하여 카메라 영상에서 입 영역을 검출한다.In step S110, the processor detects a face area in a camera image using a face detector, detects an eye area in a camera image using an eye detector, and detects a mouth area in a camera image using a mouth detector.

이때, 얼굴 검출기, 눈 검출기 및 입 검출기는 도 3의 (a)에 도시한 가장자리 특징(엣지 피쳐, edge feature), 도 3의 (b)에 도시한 선 특징(라인 피쳐, line feature), 그리고 도 3의 (c)에 도시한 4-사각 특징(포-렉탱글 피쳐, four-rectangle feature)을 이용하여 학습된다.At this time, the face detector, the eye detector, and the mouth detector have the edge feature (edge feature) shown in FIG. 3A, the line feature (line feature) shown in FIG. Is learned using the four-rectangle feature shown in FIG. 3 (c).

이와 같이, 도 3에 도시한 Harr-Like 기반의 특징들을 이용하여 카메라 영상에서 얼굴 영역, 눈 영역, 입 영역을 각각 검출함에 있어서, 프로세서는 도 4에 도시한 것처럼, 카메라 영상을 세 개의 영역으로 분리한 다음 각 검출기들을 이용하여 얼굴 영역, 눈 영역 및 입 영역을 검출한다.As described above, in detecting the face region, the eye region, and the input region in the camera image using the Harr-Like-based features shown in FIG. 3, the processor converts the camera image into three regions The face region, the eye region, and the mouth region are detected using the respective detectors.

이때, 얼굴 영역은 카메라 영상에서 얼굴 부분을 사각 형태로 검출된다.At this time, the face region is detected as a square shape in the camera image.

좀더 자세하게는, 프로세서는 도 4의 (a)에 도시한 것처럼 카메라 영상(1)을 우상단 영역(1a), 좌상단 영역(1b), 그리고 하단 영역(1c)으로 각각 영역화한다. 이는, 프로세서가 카메라 영상에서 눈 영역, 입 영역을 검출할 때 발생할 수 있는 오검출을 최소화하기 위한 것으로, 분리된 영역 중 우상단 영역(1a)과 좌상단 영역(1b)에서는 각각 눈 영역을 검출하도록 하고, 하단 영역(1c)에서는 입 영역을 검출하도록 한다.More specifically, as shown in FIG. 4 (a), the processor divides the camera image 1 into an upper-left region 1a, a left-upper-end region 1b, and a lower-end region 1c. This is for minimizing false detection that may occur when the processor detects the eye region and the input region in the camera image. In the upper and lower left regions 1a and 1b of the separated regions, the eye region is detected , And the lower region 1c detects the input region.

이때, 카메라 영상(1)의 상단부분을 우상단 영역(1a)과 좌상단 영역(1b)으로 구분하는 것은, 카메라 영상(1)에서 나타나는 사람의 얼굴은 카메라 촬영하는 사람의 실제 얼굴과 좌우반전되므로 이를 감안하여 지정되는 것이다.At this time, the upper part of the camera image 1 is divided into the upper-left end area 1a and the upper left end area 1b because the face of the person shown in the camera image 1 is reversed right and left with the actual face of the person who shoots the camera .

그리고, 프로세서는 도 4의 (a)와 같이 세 군데로 분리된 각 영역(1a, 1b, 1c)으로부터 눈 후보 영역(1a’, 1b’)과 입 후보 영역(1c’)을 각각 검출한다.The processor detects the eye candidate regions 1a 'and 1b' and the input candidate region 1c 'from the respective regions 1a, 1b and 1c separated into three regions as shown in FIG. 4 (a).

이때, 프로세서는 검출한 눈 후보 영역(1a’, 1b’) 및 입 후보 영역(1c’)을 이용하여 높은 정확성으로 눈 영역 및 입 영역을 검출할 수 있다.At this time, the processor can detect the eye area and the mouth area with high accuracy using the detected eye candidate areas 1a 'and 1b' and the mouth candidate area 1c '.

이와 같이, 얼굴 영역, 눈 영역, 입 영역 검출(S110)단계는 도 3 및 도 4를 참고로 하여 설명한 것과 같이 수행되고, 프로세서는 얼굴에서 3 개의 기준점 검출(S120) 단계를 수행한다.As such, the face area, eye area, and mouth area detection (S110) steps are performed as described with reference to FIGS. 3 and 4, and the processor performs three reference point detection (S120) steps on the face.

얼굴에서 3 개의 기준점을 검출(S120)하는 단계는 상위 단계인 얼굴 영역, 눈 영역, 입 영역 검출(S110) 단계로부터 생성된 눈 후보 영역(1a’, 1b’) 및 입 후보 영역(1c’)과 가버 필터(Gabor Filter)를 이용하여 기준점을 검출한다.The step of detecting three reference points in the face S120 includes the steps of extracting eye candidate regions 1a 'and 1b' and mouth candidate regions 1c 'generated from the face region, eye region, And a reference point is detected using a Gabor filter.

한 예에서, 프로세서는 도 5의 (a)에 도시한 것처럼 0°의 각도를 갖는 가버 필터와 도 5d의 (b)에 도시한 것처럼 90°의 각도를 갖는 가버 필터를 각각 생성하여 이를 기준점 검출에 이용한다. In one example, the processor generates a Gabor filter having an angle of 0 ° as shown in FIG. 5A and a Gabor filter having an angle of 90 ° as shown in FIG. 5D (b) .

그리고 이때, 프로세서는 도 6에 도시한 것처럼, 우상단 영역(1a)에 위치하는 눈 후보 영역(1a’)에서 최초 우측 기준점(PR; Point_Right)(11a’)을 지정하고, 좌상단 영역(1b)에 위치하는 눈 후보 영역(1b’)에서 최초 좌측 기준점(PL; Point_Left)(11b’)을 지정하고, 하단 영역(1c)에서 최초 하측 기준점(PB; Point_Bottom)(11c’)을 각각 지정한 다음, 지정된 최초 기준점들(11a’, 11b’, 11c’)을 각 화살표 방향을 따라 이동시키면서 가버 필터(21, 22)와 컨벌루션 연산을 수행하여 최종 기준점들(11a”, 11b”, 11c”)을 검출한다.6, the processor designates the first right reference point P R (Point_Right) 11a 'in the eye candidate region 1a' located in the upper-left corner region 1a, The first left reference point P L (Point_Left) 11b 'is designated in the eye candidate region 1b' located in the lower region 1c and the first lower reference point P B (Point_Bottom) 11c 'is designated in the lower region 1c Next, the final reference points 11a ", 11b", 11c "are subjected to convolution operations with the Gabor filters 21, 22 while moving the designated initial reference points 11a ', 11b', 11c ' .

이때, 프로세서는 눈 후보 영역(1a’)을 형성하는 네 개의 선분 중 좌측 세로 선분의 가운데 지점을 최초 우측 기준점(11a’)으로 지정하고, 지정된 최초 우측 기준점(11a’)을 화살표 방향, 즉, 좌측 세로 선분에 수직하는 방향으로 이동시키면서 90°의 가버 필터(21)와 컨벌루션 연산을 수행하여 그 값을 산출한다. At this time, the processor designates the center point of the left vertical segment among the four line segments forming the eye candidate region 1a 'as the first right reference point 11a', and designates the designated first right reference point 11a 'as the arrow direction, While performing a convolution operation with the Gabor filter 21 of 90 degrees while moving in the direction perpendicular to the left vertical line segment to calculate the value.

그리고 이때, 프로세서는 최초 우측 기준점(11a’)이 화살표 방향을 따라 이동함에 따라 산출된 컨벌루션 연산 값이 정해진 임계값 이상의 값으로 산출되는 그 첫 번째 위치를 최종 우측 기준점(11a”)으로 검출한다.At this time, the processor detects the first position where the calculated convolution operation value calculated as the first right reference point 11a 'moves along the arrow direction is calculated as a value equal to or greater than a predetermined threshold value as the final right reference point 11a' '.

이에 따라, 프로세서는 눈 영역의 중심, 즉, 눈동자의 중심으로부터 수평한 방향에 위치하는 얼굴의 외곽지점을 검출할 수 있다.Thus, the processor can detect the outer edge of the face located in the horizontal direction from the center of the eye region, that is, the center of the pupil.

같은 맥락으로서, 프로세서는 눈 후보 영역(1b’)을 형성하는 네 개의 선분 중 우측 세로 선분의 가운데 지점을 최초 좌측 기준점(11b’)으로 지정하고, 지정된 최초 좌측 기준점(11b’)을 화살표 방향을 따라 이동시키며 90°의 가버 필터(21)와 컨벌루션 연산을 수행하여, 그 산출 값이 처음으로 임계값과 같거나 큰 경우 해당 지점을 최종 좌측 기준점(11b”)으로 검출한다.In the same context, the processor designates the center point of the right vertical segment among the four line segments forming the eye candidate region 1b 'as the first left reference point 11b' and the designated first left reference point 11b ' And performs a convolution operation with the Gabor filter 21 of 90 °. When the calculated value is equal to or larger than the threshold value for the first time, the point is detected as the final left reference point 11b ''.

그리고, 프로세서는 입 후보 영역(1c’)을 형성하는 네 개의 선분 중 하측 가로 선분의 가운데 지점을 최초 하측 기준점(11c’)으로 지정하고, 지정된 최초 하측 기준점(11c’)을 화살표 방향을 따라 이동시키며 0°의 가버 필터(22)와 컨벌루션 연산을 수행하여, 그 산출 값이 처음으로 임계값과 같거나 큰 경우 해당 지점을 최종 하측 기준점(11c”)으로 검출한다.The processor designates the middle point of the lower horizontal line segment among the four line segments forming the mouth candidate region 1c 'as the first lower reference point 11c', moves the designated first lower reference point 11c 'along the arrow direction , Performs a convolution operation with the Gabor filter 22 at 0 °, and detects the point as the final lower reference point 11c "when the calculated value is equal to or larger than the threshold value for the first time.

이때, 최종 기준점(11a”, 11b” 11c”)들을 검출하기 위해 최초 기준점(11a’, 11b’, 11c’)들을 이동시키고 이를 가버 필터와 컨벌루션 연산을 수행하여 임계값과 비교함으로써 얼굴의 외곽선 지점을 각각 기준점으로서 산출할 수 있고, 이러한 산출 및 비교 기준이 되는 임계값에서, 최종 우측 기준점(11a”) 및 최종 좌측 기준점(11b”)의 임계값과, 최종 하측 기준점(11c”)의 임계값은 150~180이다.At this time, the initial reference points 11a ', 11b', and 11c 'are moved to detect the final reference points 11a' 'and 11b' '11c', and the result is compared with a threshold value by performing a convolution operation with the Gabor filter, Can be calculated as the reference point. The threshold values of the final right reference point 11a " and the final left reference point 11b " and the threshold of the final lower reference point 11c "Lt; / RTI >

이처럼, 도 5 및 도 6을 참고로 하여 설명한 것처럼, 프로세서는 도 7과 같이 카메라 영상의 얼굴에서 3개의 기준점, 즉, 최종 우측 기준점(11a”), 최종 좌측 기준점(11b”) 및 최종 하측 기준점(11c”)을 검출(S120)하며, 기준점들은 얼굴 외곽선을 형성하는 단계(S100)에서 얼굴 외곽선을 효율적으로 형성하는 데 기준이 된다.As described above with reference to FIG. 5 and FIG. 6, the processor is configured so that three reference points in the face of the camera image, that is, a final right reference point 11a ", a final left reference point 11b " (S120), and the reference points are used to form a face contour efficiently in step S100 of forming a face contour line.

다음으로, 도 2를 참고로 하여 영상으로부터 얼굴 외곽선을 형성하는 단계(S100)를 설명하면, 얼굴에서 3 개의 기준점을 검출(S120)한 이후, 얼굴 특징점을 검출(S130)하는 단계를 수행한다.Next, description will be made of a step (S100) of forming a face outline from an image with reference to FIG. 2. A step of detecting three facial points from a face (S120) and then detecting facial feature points (S130) is performed.

도 8을 참고로 하여 이 단계(S130)를 좀더 자세히 설명하면, 프로세서는 최종 우측 기준점(11a”)(PR)과 최종 하측 기준점(11c”)(PB)을 연결하여 제1 기준선분(

Figure pat00003
)(110)을 생성하고, 생성된 제1 기준선분 상에서 동일한 간격을 갖는 n개의 점을 구한다.8, the processor connects the final right reference point 11a " (P R ) and the final left reference point 11c " (P B )
Figure pat00003
) 110, and obtains n points having the same interval on the generated first reference line segment.

이때, 프로세서는 도 8에 도시한 것처럼 제1 기준선분(110)에 생성된 점들에 대해, 각 점을 포함하고 제1 기준선분(110)과 수직하는 직사각형들을 생성한다.At this time, as shown in FIG. 8, the processor generates rectangles that include respective points and are perpendicular to the first reference line segment 110, with respect to the points generated in the first reference line segment 110.

좀더 자세하게는, 제1 기준선분(110)에 생성된 첫 번째 점인 제1 점(P1)(111)은 제1 직사각형(111a)에 포함되는데, 제1 직사각형(111a)에서 제1 점(111)을 포함하는 선분의 길이인 세로 길이는 h이고, 길이가 h인 선분에 수직하는 선분의 길이인 가로 길이는 w1이다.More specifically, a first point (P 1 ) 111, which is the first point generated in the first reference line segment 110, is included in the first rectangle 111a. In the first rectangle 111a, a first point 111 ) Is h, and the horizontal length, which is the length of the line segment perpendicular to the line segment having the length h, is w1.

이때, 프로세서가 제1 기준선분(110)에 수직하되 제1 점(111)을 포함하는 제1 직사각형(111a)을 형성하는 동작을 도 9의 순서도에 도시한 흐름을 참고로 하여 좀더 자세히 설명하면, 먼저, 도 9에 도시한 것처럼, 제1 기준선분(110) 상에서 제1 점(111)을 기준으로 좌측으로 h/2만큼 떨어진 지점을 제1-1점(111’)로 지정하고, 제1 기준선분(110) 상에서 제1 점(111)을 기준으로 우측으로 h/2만큼 떨어진 지점을 제1-2점(111”)으로 지정한다(S210).At this time, the operation of forming the first rectangle 111a including the first point 111, which is perpendicular to the first reference line segment 110, will be described in more detail with reference to the flow shown in the flowchart of FIG. 9 , A first point 111 'is designated as a point on the first reference line segment 110 that is separated by h / 2 from the first point 111 with respect to the left as shown in FIG. 9, A point at a distance of h / 2 to the right with respect to the first point 111 on the one reference line segment 110 is designated as the first and second points 111 '' (S210).

그런 다음, 제1-1점(111’)에서 제1 기준선분(110)에 수직하는 방향을 따라 직선을 형성하다가, 제1-1점(111’)에서부터 시작된 직선이 얼굴 영역의 경계선과 접하는 지점에서 해당 직선을 선분으로 지정하여 제1-1 선분(111a’)을 형성한다(S220).Then, a straight line is formed along the direction perpendicular to the first reference line segment 110 at the first point 111 ', and a straight line starting from the first point 111' contacts the boundary line of the face region The straight line is designated as a line segment at the point to form the first line segment 111a '(S220).

즉, 제1-1점(111’)을 출발점으로 하여 제1 기준선분(110)에 수직하는 방향으로 뻗어나가던 직선은 얼굴 영역의 경계선인 도 8의 좌측 세로 선분과 접하는 지점에서 더 이상 직선으로서 뻗어나가지 않고 제1-1 선분(111a’)으로 형성되게 된다.That is, the straight line extending in the direction perpendicular to the first reference line segment 110 with the first point 111 'as a starting point is no longer a straight line at a point in contact with the left vertical line segment of FIG. 8, And is formed as a first line segment 111a 'without extending.

그리고, 제1-2점(111”)에서 제1 기준선분(110)에 수직하는 방향을 따라 직선을 형성하다가, 제1-2점(111”0에서 시작된 직선이 얼굴영역의 경계선과 접하는 지점에서 해당 직선을 선분으로 지정하여 제1-2 선분(111a”)을 형성한다(S230).Then, a straight line is formed along the direction perpendicular to the first reference line segment 110 at the 1-2 point 111 ", and a point at which the straight line starting from the 1-2 point 111" 0 touches the boundary line of the face area The line segment 111a " is formed by designating the straight line as a line segment at step S230.

이때, 제1-2점(111”)을 출발점으로 하여 제1 기준선분(110)에 수직하는 방향으로 뻗어나가던 직선은 얼굴 영역의 경계선인 도 8의 좌측 세로 선분과 접하는 지점에서 더 이상 직선으로서 뻗어나가지 않고 제1-2 선분(111a”)으로 형성되게 된다.At this time, a straight line extending from the point 1-2 in the direction perpendicular to the first reference line segment 110 as a starting point is a straight line at a point in contact with the left vertical line segment of FIG. 8, which is the boundary line of the face area Line segment 111a " without extending.

이 단계들로부터 형성된 제1-1 선분(111a’)과 제1-2 선분(111a”) 중 더 작은 길이를 갖는 선분을 제1 직사각형(111a)의 가로길이로 지정(S240)함으로써, 가로 길이가 w1이고 세로 길이가 h인 제1 직사각형(111a)이 형성된다.By specifying the line segment having the smaller length of the first 1-1 line segment 111a 'and the 1-2 line segment 111a' formed from these steps as the width of the first rectangle 111a (S240) The first rectangle 111a is w1 and the vertical length is h.

이때, 제1 직사각형(111a)의 세로 길이는 가버 필터의 한 변의 길이와 동일한 h이다.At this time, the vertical length of the first rectangle 111a is equal to the length of one side of the Gabor filter.

도 9를 참고로 하여 제1 점(111)을 포함하는 제1 직사각형(111a)의 생성을 설명한 것처럼, 프로세서는 제 기준선분(110) 상에 생성된 제2 점 내지 제n점들에 대해서도 도 9에 도시한 단계들을 수행하여 각 점에 대한 직사각형들을 생성한다.Referring to FIG. 9, as described above with reference to the generation of the first rectangle 111a including the first point 111, the processor also generates the first rectangle 111a including the first point 111, To generate rectangles for each point.

이때, 제1 기준선분(110) 상에 형성하는 점의 개수 n은 제1 기준선분(110)의 길이에서 정사각형(120)을 최대 개수로 포함하는 자연수로 설정될 수 있으며, 도 10에서 도시하는 한 예에서, n은 9로 설정되어, 제1 기준선분(110)에 9 개의 점을 생성하며, 각 점에 대해 제1 내지 제9 직사각형들을 생성한다. In this case, the number n of points formed on the first reference line segment 110 may be set to a natural number including the maximum number of the squares 120 in the length of the first reference line segment 110, In one example, n is set to 9 to create nine points in the first reference line segment 110 and generate first through ninth rectangles for each point.

그러나 이때, 제1 기준선분(110) 상에 형성하는 점의 개수 n은 제1 기준선분(110)에 포함되는 정사각형(120)의 최대개수보다 작거나 더 많도록 설정될 수 있으며, 이를 한정하지는 않는다.However, at this time, the number n of points formed on the first reference line segment 110 may be set to be smaller or larger than the maximum number of the squares 120 included in the first reference line segment 110, Do not.

그리고, 도 10에 도시한 것처럼, 최종 우측 기준점(11a”)과 최종 하측 기준점(11c”)을 잇는 제1 기준선분(110)에 형성된 9 개의 직사각형들은 반대편에도 형성되는데, 좀더 자세하게는, 프로세서는 최종 좌측 기준점과 최종 하측 기준점을 잇는 제2 기준선분을 생성하고, 제2 기준선분에 일정 간격을 갖는 m개의 점들을 생성하며 생성된 점들에 대해 직사각형을 생성한다.As shown in Fig. 10, the nine rectangles formed on the first reference line segment 110 connecting the final right reference point 11a " and the final lower reference point 11c " are also formed on the opposite side, A second reference line segment connecting the final left reference point and the final lower reference point is generated, m points having a predetermined interval are generated in the second reference line segment, and a rectangle is generated for the generated points.

이때, 제2 기준선분과 그 상에 형성되는 점들, 그리고 점들을 포함하고 제2 기준선분에 수직하는 방향으로 형성되는 직사각형들은 도면에 도시하지는 않았으나, 도 8 및 도 9를 참고로 하여 설명한 것과 동일한 처리동작을 최종 좌측 기준점(11b”)에 적용하는 형태로 해석될 수 있다.At this time, the rectangles formed in the direction including the second reference line segment, the points formed on the second reference line segment and the points, and the direction perpendicular to the second reference line segment are not shown in the drawing, but the same process as described with reference to Figs. 8 and 9 It can be interpreted as applying the operation to the final left reference point 11b ".

그리고, 프로세서는 생성된 직사각형들을 각각 90°의 각도를 갖는 가버 필터(22)와 컨볼루션 연산을 수행하여 그 연산 값이 설정된 임계값에 처음으로 도달하거나 처음으로 초과하는 지점을 우측 제1 얼굴 특징점으로 검출하는데, 이는 도 6을 참고로 하여 설명한 기준점 검출단계(S120)와 동일한 형태로 수행된다.Then, the processor performs a convolution operation with the Gabor filter 22 having an angle of 90 degrees with respect to the generated rectangles, and calculates a point at which the calculated value first reaches or exceeds the set threshold for the first time, , Which is performed in the same manner as the reference point detection step (S120) described with reference to FIG.

그러나 이때, 프로세서가 얼굴 특징점 검출단계(130)에서 직사각형으로부터 얼굴 특징점을 검출하는 것은, 기준점 검출단계(S120)에서 최초 기준점을 수평 또는 수직 방향으로 이동시키며 가버 필터와 컨벌루션 연산을 수행하는 것과는 달리, 제1 직사각형(111a)이 제1 기준선분(110)에 수직하는 방향으로 형성되어 도 10에 도시한 것처럼 비스듬한 형태를 가지므로, 프로세서는 도 10의 제1 직사각형(111a)이 비스듬하게 형성되는 것처럼 제1 기준선분(110)에 대해 비스듬하게 산출되는 모든 직사각형들을 회전시켜 지면에서 수직하는, 즉, 세로 길이가 가로 길이보다 긴 형태로 조정한 다음 90°의 가버 필터(22)와 컨벌루션 연산을 수행하여 특징점을 추출한다.However, at this time, the processor detects the facial feature points from the rectangles in the facial feature point detection step 130, as opposed to moving the initial reference points in the horizontal or vertical direction in the reference point detection step S120 and performing the convolution operation with the Gabor filter, As the first rectangle 111a is formed in a direction perpendicular to the first reference line segment 110 and has an oblique shape as shown in FIG. 10, the processor can be configured so that the first rectangle 111a of FIG. 10 is formed obliquely All the rectangles that are calculated obliquely with respect to the first reference line segment 110 are rotated so as to be vertical to the ground surface, that is, to be longer than the horizontal length, and then subjected to a convolution operation with the Gabor filter 22 of 90 ° To extract feature points.

또한, 프로세서가 직사각형들로부터 얼굴 특징점들을 검출하기 위한 컨벌루션 연산을 수행함에 있어서, 설정된 임계값과 동일하거나 그를 초과하는 값이 산출되지 않는 경우, 해당 직사각형에서 얼굴 특징점이 미검출되는 것으로 간주한다. Further, when the processor performs a convolution operation for detecting facial feature points from rectangles, if a value equal to or exceeding the set threshold value is not calculated, facial feature points in the corresponding rectangle are regarded as undetected.

도 11을 참고로 하는 한 예를 참고로 하여 이를 좀더 자세히 설명하면, 제1 기준선분(110)에 대해 생성되었던 제1 내지 제7 직사각형(111a, 117a)으로부터 제1 얼굴 특징점(111a’) 내지 제7 얼굴 특징점(117a’)이 각각 검출되지만, 제8 직사각형(118a) 및 제9 직사각형(119a)에 대한 얼굴 특징점은 미검출 상태로 남게 된다.Referring to FIG. 11, the first to seventh rectangles 111a and 117a generated from the first reference line segment 110 to the first facial feature points 111a 'to 111b' The seventh facial feature points 117a 'are respectively detected, but facial feature points for the eighth rectangle 118a and the ninth rectangle 119a are left in the undetected state.

이처럼, 3개의 기준점 검출(S120)단계에서 검출된 기준점들을 이용하여 얼굴 특징점들을 검출(S130)하면, 프로세서는 얼굴 양쪽 외곽선 계산(S140) 단계를 수행한다.As described above, when facial feature points are detected using the reference points detected in the three reference point detection (S120) (S130), the processor performs both face contour calculation (S140).

한 예에서, 프로세서는 얼굴 특징점들을 다항식 곡선 접합(Polynomial curve fitting) 방법을 이용하는 다음의 식 1의 이차 곡선 방정식으로부터 오류값 е가 최소가 되는 계수를 계산하여 도 12에 도시한 것처럼 얼굴 양쪽 외곽선(150a, 150b)을 계산한다.In one example, the processor calculates the facial feature points from the quadratic curve equation of Equation (1) using a polynomial curve fitting method to obtain the minimum error value, 150a and 150b.

[식 1][Formula 1]

Figure pat00004
Figure pat00004

그리고 이때, 얼굴 특징점들로부터 얼굴 양쪽 외곽선(150a, 150b)을 계산함에 있어서, 최종 우측 특징점(11a”)과 최종 하측 특징점(11c”)을 이용하거나 최종 좌측 특징점(11b”)과 최종 하측 특징점(11c”)을 얼굴 양쪽 외곽선(150a, 150b) 계산에 포함하여 계산을 수행할 수 있다. At this time, in calculating both of the face contour lines 150a and 150b from the facial feature points, the final right feature point 11a '' and the final bottom feature point 11c '' are used or the final left feature point 11b ' 11c ") can be included in the calculation of both face lines 150a and 150b.

그런 다음, 프로세서는 얼굴의 상단 기준점 지정(S150) 단계를 수행하는데, 도 13을 참고로 하여 자세히 설명하면, 얼굴 상단 기준점은 최종 우측 기준점(PR)(11a”)과 최종 좌측 기준점(PL)(11b”)을 잇는 가상의 선분(

Figure pat00005
)(210)을 생성하여, 가상의 선분(210)의 가운데 지점을 중심점(211)으로 지정한다.13, the upper face reference point is the final right reference point (P R ) 11a ", and the final left reference point (P L Quot;) 11b "
Figure pat00005
) 210, and designates the center point of the imaginary line segment 210 as the center point 211.

그리고, 중심점(211)에서 가상의 선분(210)의 길이(d)의 절반이 되는 거리(d/2)만큼 중심점(211)으로부터 떨어진 상단 기준점(PT)(11d”)을 지정한다.Then, an upper reference point (P T ) 11d " which is distant from the center point 211 by a distance d / 2 that is half the length d of the hypothetical line segment 210 at the center point 211 is designated.

이때, 상단 기준점(PT)(11d”)은 가상의 선분(210)에서 수직하도록 중심점(211)으로부터 떨어져 지정된다.At this time, the upper reference point (P T ) 11d " is specified away from the center point 211 so as to be perpendicular to the imaginary line segment 210.

그런 다음, 프로세서는 지정된 상단 기준점(PT)(11d”)과 최종 우측 기준점(PR)(11a”), 그리고 최종 좌측 기준점(PL)(11b”)을 이용하여 얼굴 상단 곡선(150c)을 계산한다.Then, the processor is designated the upper reference point (P T) (11d ") and end right side reference point (P R) (11a") , and using the last left the reference point (P L) (11b ") face the top curve (150c) .

한 예에서, 얼굴 상단 곡선(150c)은 다음의 식 2인 원의 방정식으로부터 산출될 수 있다.In one example, the upper face curve 150c can be calculated from the equation of the circle of the following equation (2).

[식 2][Formula 2]

Figure pat00006
Figure pat00006

이때, 상단 기준점을 지정(S150)하는 단계로부터 얼굴 상단 곡선(150c)을 계산함으로써, 카메라 영상에 포함된 얼굴에서 눈썹 위 부분의 이마 영역 등을 모두 감지할 때 머리카락 길이, 모자 등에 의해 얼굴 영역 검출의 정확도가 떨어지는 종래의 한계를 극복할 수 있는 효과가 있다.At this time, when the upper face curved line 150c is calculated from the step of designating the upper reference point (S150), when detecting the forehead area of the upper part of the eyebrows in the face included in the camera image, It is possible to overcome the limitations of the prior art.

그런 다음, 프로세서는 도 2의 마지막 단계인 얼굴 양쪽 외곽선과 얼굴 상단 곡선으로부터 최종 얼굴 외곽선을 산출(S170)하는 단계를 수행하여, 도 14에 도시한 것처럼 얼굴 양쪽 외곽선(150a, 150b)과 얼굴 상단 곡선(150c)을 잇는 최종 얼굴 외곽선이 형성된다.Then, the processor performs a step of calculating a final face outline from both the outline of the face and the curved line of the face, which is the last step of Fig. 2 (S170), to calculate the face outline 150a, 150b, A final face outline connecting the curve 150c is formed.

이처럼, 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법에서 영상으로부터 얼굴 외곽선을 형성하는 단계(S100)가 도 2 내지 도 14를 참고로 하여 설명한 것처럼 수행되며, 카메라 영상에서 얼굴 외곽선으로 둘러싸인 부분만을 인식 대상으로 추출한다.As described above, in the method of recognizing a face of a camera image according to an embodiment of the present invention, a step S100 of forming a face outline from an image is performed as described with reference to Figs. 2 to 14, Only the part is extracted as the recognition target.

그리고 이때, 프로세서는 얼굴 외곽선의 외부에 위치하는 영역의 화소들을 0으로 수정하여 불필요 영역을 제거하는 단계(S200)를 수행한다. At this time, the processor performs step S200 of removing the unnecessary area by modifying the pixels of the area located outside the face outline to 0 (step S200).

한 예에서, 불필요 영역을 제거하는 단계(S200)는 얼굴 양쪽 외곽선 계산(S140) 단계에서 계산된 곡선 방정식의 계수와 얼굴 상단 곡선 계산(S160) 단계에서 계산된 원의 방정식의 계수를 이용하여 곡선들의 외부에 위치하는 영역의 화소들의 값을 0으로 수정한다.In one example, the step S200 of removing unnecessary regions may be performed by using the coefficients of the curvilinear equation calculated at the step S140 of the face and the coefficients of the original equations calculated at the step S160, The value of the pixel in the region located outside the pixel is corrected to zero.

이에 따라, 도 14와 같이 최종 얼굴 외곽선으로 둘러싸인 카메라 영상에서 외곽선의 외부 화소가 제거되어 도 15의 (a)에 도시한 형태가 되며, 프로세서는 얼굴영역의 크기를 정규화하는 단계(S300)를 수행하여 도 15의 (a)의 영상을 도 15의 (b)에 도시한 형태로 수정한다.As a result, as shown in FIG. 14, the outer pixel of the outline is removed from the camera image surrounded by the final face outline, and the form is shown in FIG. 15A, and the processor performs a step S300 of normalizing the size of the face area , The image of FIG. 15 (a) is modified to the form shown in FIG. 15 (b).

이때, 얼굴영역의 크기를 정규화하는 단계(S300)는 불필요 영역이 제거되어 도 15의 (b) 형태를 갖는 n개의 이미지에 대해서 양쪽 기준점, 즉, 최종 우측 기준점(PR)과 최종 좌측 기준점(PL) 사이의 거리를 n개의 w(wide)와 상단 기준점(PT)과 최종 하단 기준점(PB) 사이의 거리를 n개의 h로(height) 산출하고, wn와 hn의 평균을 계산하여 얼굴 크기를 정규화한다.At this time, the step of normalizing the size of the face area (S300) is performed by removing unnecessary areas to obtain both of the reference points, i.e., the final right reference point (P R ) and the final left reference point the distance between the P L) the distance between the n w (wide) and a top reference point (P T) and a final bottom of the reference point (P B) of n h (height) the average of the output, and w n and h n Calculate and normalize face size.

다음으로, 프로세서는 선형판별분석(LDA)으로 특징성분을 추출하는 단계(S400) 및 인공신경망을 이용하여 얼굴을 인식하는 단계(S500)를 수행하여 상위단계(S100~S300)들에서 전처리 수행된 이미지를 분석하여 얼굴을 인식한다.Next, the processor performs the preprocessing in the upper steps (S100 to S300) by performing the step of extracting the characteristic components by the linear discriminant analysis (LDA) (S400) and the step of recognizing the face by using the artificial neural network (S500) Analyze the image to recognize the face.

이때, 선형판별분석으로 특징성분을 추출하는 단계(S400)에서, 프로세서는 선형판별분석으로 k명의 사람에 대해 k-1개의 Fisher face들을 구하고, m개의 이미지들에 대한 특징 성분인 가중치 w를 추출한다.In this case, in step S400 of extracting feature components by linear discriminant analysis, the processor obtains k-1 Fisher faces for k persons by linear discriminant analysis, and extracts weight w, which is a feature component for m images, do.

그리고 이때, n개의 이미지가 동일인물의 이미지인 경우, 특징 성분 w값은 유사한 값을 가지므로, 이를 역전파 알고리즘을 사용한 인공신경망에 입력값으로 사용하여 학습하고, 인공신경망에서는 노드간에 학습된 가중치 w들을 저장한다.In this case, if the n images are images of the same person, the feature value w has a similar value, so it is learned by using it as an input value to the artificial neural network using the back propagation algorithm. In the artificial neural network, w.

마지막으로, 인공신경망을 이용하여 얼굴을 인식하는 단계(S500)에서, 프로세서는 질의영상, 즉, 인식 대상인 이미지로부터 특징 성분인 가중치 w를 계산하고, 이를 학습된 인공신경망의 노드에 입력하여 얼굴 인식을 수행한다.Finally, in step S500 of recognizing a face using the artificial neural network, the processor computes a weight w, which is a feature component, from a query image, i.e., an image to be recognized, and inputs the weight w to a node of the learned artificial neural network, .

프로세서가 선형판별분석으로 특징성분을 추출(S400)하는 단계와 인공신경망을 이용하여 얼굴을 인식(S500)하는 단계는 공지기술이므로, 본 발명에서는 이의 더욱 자세한 설명에 대해서는 언급하지 않는다.The steps of the processor extracting feature components using the linear discriminant analysis (S400) and recognizing faces using the artificial neural network (S500) are well known in the art, and therefore, a detailed description thereof will not be given.

다만, 본 발명의 한 실시예에 따른 카메라 영상의 얼굴 인식 방법이 도 1 내지 도 15를 참고로 설명한 것처럼, 영상에서 외곽선을 검출하여 불필요한 부분을 삭제하고 정규화하는 전처리를 수행하여 영상을 인식하므로, 영상 인식의 효율이 크게 향상되는 효과가 있다.However, as described with reference to FIGS. 1 to 15, the method of recognizing a face of a camera image according to an embodiment of the present invention recognizes an image by detecting an outline in an image and performing a pre- The efficiency of image recognition is greatly improved.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

1 : 카메라 영상 1a : 우상단 영역
1a’ : 눈 후보 영역 11a’ : 최초 우측 기준점
11a” : 최종 우측 기준점 11c” : 최종 하측 기준점
11d”: 상단 기준점 21 : 가버 필터
110 : 제1 기준선분 111 : 제1 기준점
150a: 얼굴 양쪽 외곽선 150c : 얼굴 상단 곡선1: camera image 1a: upper right area
1a ': eye candidate region 11a': first right reference point
11a ": final right reference point 11c ": final bottom reference point
11d ": upper reference point 21: Gabor filter
110: first reference line segment 111: first reference point
150a: Outline of face both sides 150c: Curve of face

Claims (17)

카메라 영상으로부터 얼굴 외곽선을 형성하는 단계;
불필요 영역을 제거하는 단계;
선형판별분석으로 특징성분을 추출하는 단계; 그리고
인공신경망을 이용하여 얼굴을 인식하는 단계;
를 포함하여, 프로세서가 입력된 카메라 영상으로부터 얼굴을 인식하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.Forming a face outline from the camera image;
Removing unnecessary areas;
Extracting feature components by linear discriminant analysis; And
Recognizing a face using an artificial neural network;
Wherein the processor recognizes a face from the input camera image. 제1항에 있어서,
상기 얼굴 외곽선은 카메라 영상에 포함된 얼굴 양쪽 외곽선과 얼굴의 상단 외곽선으로 둘러싸인 곡선인 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.The method according to claim 1,
Wherein the face outline is a curve enclosed by both the outline of the face and the top outline of the face included in the camera image. 제1항에 있어서,
상기 카메라 영상으로부터 얼굴 외곽선을 형성하는 단계는,
얼굴에서 우측 기준점, 좌측 기준점 및 하측 기준점을 각각 검출하는 단계;
상기 우측 기준점, 상기 좌측 기준점 및 상기 하측 기준점으로부터 얼굴 특징점을 검출하는 단계;
상기 얼굴 특징점으로부터 얼굴 양쪽 외곽선을 계산하는 단계;
상기 우측 기준점 및 상기 좌측 기준점으로부터 상단 기준점을 지정하는 단계;
상기 상단 기준점, 상기 우측 기준점 및 상기 좌측 기준점으로부터 얼굴 상단 곡선을 계산하는 단계;
상기 얼굴 양쪽 외곽선과 상기 얼굴 상단 곡선을 연결하여 최종 얼굴 외곽선을 산출하는 단계;
를 포함하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법. The method according to claim 1,
The step of forming a face contour from the camera image comprises:
Detecting a right side reference point, a left side reference point, and a lower side reference point in the face, respectively;
Detecting facial feature points from the right reference point, the left reference point, and the lower reference point;
Calculating both outlines of the face from the facial feature points;
Designating an upper reference point from the right reference point and the left reference point;
Calculating an upper face curve from the upper reference point, the right reference point, and the left reference point;
Calculating a final face outline by connecting the face outlines and the face top curves;
The method of claim 1, 제3항에 있어서,
상기 얼굴에서 우측 기준점, 좌측 기준점 및 하측 기준점을 각각 검출하는 단계는,
눈 검출기 및 입 검출기를 이용하여 상기 카메라 영상으로부터 두 개의 눈 후보 영역과 입 후보 영역을 각각 검출하고,
상기 두 개의 눈 후보 영역에서 최초 우측 기준점과 최초 좌측 기준점을 검출하고, 상기 입 후보 영역에서 최초 하측 기준점을 검출하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법. The method of claim 3,
The step of detecting the right side reference point, the left side reference point and the lower side reference point, respectively,
Eye candidate region and an input candidate region from the camera image using an eye detector and a mouth detector, respectively,
Wherein the first right reference point and the first left reference point are detected in the two eye candidate regions and the first lower reference point is detected in the mouth candidate region. 제4항에 있어서,
상기 두 개의 눈 후보 영역은 상기 카메라 영상에 포함된 얼굴에서 우측 눈을 포함하는 사각형과 좌측 눈을 포함하는 사각형으로 형성되어 상기 최초 우측 기준점은 상기 우측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분의 가운데 지점으로 지정되고, 상기 최초 좌측 기준점은 상기 좌측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분의 가운데 지점으로 지정되며,
상기 입 후보 영역은 상기 카메라 영상에 포함된 얼굴에서 입을 포함하는 사각형으로 형성되어 상기 최초 하측 기준점은 상기 입을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 가로 선분의 가운데 지점으로 지정되는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법. 5. The method of claim 4,
Wherein the two eye candidate regions are formed of a quadrangle including a right eye and a quadrangle including a left eye in a face included in the camera image, the first right reference point is a quadrangle including four quadrants of the quadrangle including the right eye, And the first left reference point is designated as a center point of a vertical line segment located on the outer side of the face among the four line segments of the rectangle including the left eye,
Wherein the mouth candidate region is formed of a quadrangle including a mouth of a face included in the camera image, and the first lower reference point is designated as a center point of a horizontal line segment located on a face outer side among four quadrants of the quadrangle including the mouth. A method for recognizing a face of a camera image. 제5항에 있어서,
상기 최초 우측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시키면서 90°의 가버 필터와 컨벌루션 연산을 수행하여 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 최종 우측 기준점으로 검출하고,
상기 최초 좌측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시키면서 90°의 가버 필터와 컨벌루션 연산을 수행하여 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 최종 좌측 기준점으로 검출하고,
상기 최초 하측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시키면서 0°의 가버 필터와 컨벌루션 연산을 수행하여 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 최종 하측 기준점으로 검출하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법. 6. The method of claim 5,
The first right reference point is shifted toward the outer edge of the face included in the camera image and a convolution operation is performed with a Gabor filter of 90 ° so that a point having the first value equal to or greater than the set threshold value is detected as a final right reference point and,
The first left reference point is shifted toward the outer edge of the face included in the camera image and a convolution operation with a 90 ° Gabor filter is performed to detect a point having a value that is the same as or the first largest value from the set threshold value as a final left reference point and,
The first lower reference point is moved toward the outer edge of the face included in the camera image and a convolution operation is performed with a Gabor filter of 0 ° so that a point having a value that is the same as or the first largest value from the set threshold value is detected as a final lower reference point And a face image of the camera. 제6항에 있어서,
상기 최초 우측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시킴에 있어서, 상기 최초 우측 기준점은 상기 우측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분에 수직하는 방향으로 이동하고,
상기 최초 좌측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시킴에 있어서, 상기 최초 좌측 기준점은 상기 좌측 눈을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 세로 선분에 수직하는 방향으로 이동하며,
상기 최초 하측 기준점을 상기 카메라 영상에 포함된 얼굴의 외곽쪽으로 이동시킴에 있어서, 상기 최초 하측 기준점은 상기 입을 포함하는 사각형의 네 선분 중에서 얼굴 외곽쪽에 위치하는 가로 선분에 수직하는 방향으로 이동하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법. The method according to claim 6,
The first right reference point is moved in a direction perpendicular to a vertical line segment located on the outer side of the face out of the four line segments of the quadrangle including the right eye when the first right reference point is moved toward the outline of the face included in the camera image ,
The first left reference point moves in a direction perpendicular to a vertical line segment located on the outer side of the face out of the quadrants of the quadrangle including the left eye in moving the first left reference point to the outer side of the face included in the camera image ,
The first lower reference point moves in a direction perpendicular to a horizontal line segment located on the outer side of the face out of the four line segments of the quadrangle including the mouth in moving the first lower reference point toward the outer side of the face included in the camera image And a face image of the camera image. 제3항에 있어서,
상기 우측 기준점, 상기 좌측 기준점 및 상기 하측 기준점으로부터 얼굴 특징점을 검출하는 단계는,
상기 우측 기준점과 상기 하측 기준점을 연결하는 제1 기준선분을 생성하는 단계;
상기 제1 기준선분 상에 n개의 점을 생성하는 단계;
상기 제1 기준선분 상에 생성된 상기 n개의 점을 한 선분의 중심점으로서 각각 포함하고 상기 제1 기준선분에 수직하며 상기 카메라 영상의 경계선과 접하는 길이의 선분을 갖는 n개의 직사각형을 생성하는 단계; 그리고
상기 n개의 직사각형을 회전시켜 지면에 수직하는 형태로 조정한 다음, 90°의 가버 필터와 컨벌루션 연산하여 상기 n개의 직사각형 내에서 그 값이 설정된 임계값과 최초로 같거나 최초로 큰 값을 갖는 지점을 n번째 특징점으로 지정하는 단계;
를 포함하여 상기 우측 기준점과 상기 하측 기준점 사이의 n개의 특징점들을 추출하고, 상기 좌측 기준점과 상기 하측 기준점에 대해 상기 단계들을 반복하여 상기 좌측 기준점과 상기 하측 기준점 사이의 n개의 특징점들을 추출하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.The method of claim 3,
Wherein the step of detecting facial feature points from the right reference point, the left reference point,
Generating a first reference line segment connecting the right reference point and the lower reference point;
Generating n points on the first reference line segment;
Generating n rectangles each including the n points generated on the first reference line segment as center points of one line segment and having line segments perpendicular to the first reference line segment and in contact with a boundary line of the camera image; And
The n rectangles are rotated so as to be perpendicular to the paper surface and then convoluted with a 90 ° Gabor filter so that a point having a value that is the same as or the first largest value in the n rectangles, A second feature point;
Extracting n feature points between the right reference point and the lower reference point and repeating the steps for the left reference point and the lower reference point to extract n feature points between the left reference point and the lower reference point, And a face image of the camera image. 제8항에 있어서,
상기 제1 기준선분 상에 생성된 상기 n개의 점을 한 선분의 중심점으로서 각각 포함하고 상기 제1 기준선분에 수직하며 상기 카메라 영상의 경계선과 접하는 길이의 선분을 갖는 n개의 직사각형을 생성하는 단계; 에서,
상기 n개의 점을 중심점으로서 포함하는 상기 선분은 가버 필터의 한 변의 길이와 동일한 길이인 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.9. The method of claim 8,
Generating n rectangles each including the n points generated on the first reference line segment as center points of one line segment and having line segments perpendicular to the first reference line segment and in contact with a boundary line of the camera image; in,
Wherein the line segment including the n points as center points has a length equal to a length of one side of the Gabor filter. 제8항에 있어서,
상기 n개의 직사각형을 90°의 가버 필터와 컨벌루션 연산한 값을 설정된 임계값과 비교함에 있어서, 상기 설정된 임계값과 동일하거나 큰 값이 산출되지 않는 경우 특징점을 검출하지 않는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.9. The method of claim 8,
Wherein a feature point is not detected when a value obtained by convoluting the n rectangles with a 90 deg. Gabor filter is compared with a set threshold value and a value equal to or larger than the set threshold value is not calculated. Face recognition method. 제8항에 있어서,
상기 n은 상기 1 기준선분의 길이를 상기 가버 필터 크기의 정사각형의 한 변의 길이로 나눈 최대 자연수인 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.9. The method of claim 8,
Wherein n is a natural number obtained by dividing the length of one reference segment by the length of one side of the square of the Gabor filter size. 제3항에 있어서,
상기 얼굴 특징점으로부터 얼굴 양쪽 외곽선을 계산하는 단계는,
상기 우측 기준점과 상기 하측 기준점, 그리고 그 사이에 검출된 얼굴 특징점을 다항식 곡선 접합 방법을 이용하는 식 1의 이차 곡선 방정식으로부터 오류값 e가 최소가 되는 계수를 계산하고,
상기 좌측 기준점과 상기 하측 기준점, 그리고 그 사이에 검출된 얼굴 특징점을 다항식 곡선 접합 방법을 이용하는 식 1의 이차 곡선 방정식으로부터 오류값 e가 최소가 되는 계수를 계산하여 수행되는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.
[식 1]
Figure pat00007
The method of claim 3,
Wherein the step of calculating both outlines of the face from the facial feature points comprises:
A coefficient that minimizes the error value e is calculated from the quadratic curve equation of Equation (1) using the polynomial curve joining method between the right reference point, the lower reference point, and the facial feature points detected therebetween,
And calculating a coefficient that minimizes an error value e from a quadratic curve equation of Equation 1 using a polynomial curve joining method between the left reference point and the lower reference point and the facial feature points detected therebetween. Face recognition method.
[Formula 1]
Figure pat00007
 제3항에 있어서,
상기 우측 기준점 및 상기 좌측 기준점으로부터 상단 기준점을 지정하는 단계는,
상기 우측 기준점과 상기 좌측 기준점을 연결하는 가상의 선분을 생성하고, 상기 가상의 선분의 가운데 지점을 중심점으로 지정하는 단계; 그리고
상기 가상의 선분의 길이(d)의 절반의 길이(d/2)만큼 상기 중심점으로부터 상기 가상의 선분으로부터 수직하는 방향으로 떨어진 지점을 상기 상단 기준점으로 지정하는 단계;
로부터 수행되는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.The method of claim 3,
Wherein the step of designating the upper reference point from the right reference point and the left reference point comprises:
Generating a virtual line segment connecting the right reference point and the left reference point and designating a center point of the virtual line segment as a center point; And
Designating, as the upper reference point, a point that is away from the center point in a direction perpendicular to the imaginary line segment by a half (d / 2) of the length d of the imaginary line segment;
Wherein the face recognition is performed on the face of the camera. 제3항에 있어서,
상기 상단 기준점, 상기 우측 기준점 및 상기 좌측 기준점으로부터 얼굴 상단 곡선을 계산하는 단계는,
상기 얼굴 상단 곡선은 상기 상단 기준점, 상기 우측 기준점 및 상기 좌측 기준점을 연결하는 곡선으로서, 식 2의 원의 방정식으로부터 산출되는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.
[식 2]
Figure pat00008
The method of claim 3,
Calculating the upper face curve from the upper reference point, the right reference point, and the left reference point,
Wherein the face upper curve is a curve connecting the upper reference point, the right reference point, and the left reference point, and is calculated from a circle equation of Formula 2.
[Formula 2]
Figure pat00008
 제1항에 있어서,
상기 불필요 영역을 제거하는 단계는, 얼굴 외곽선 외부의 영역의 화소를 0으로 수정함으로써 수행되는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.The method according to claim 1,
Wherein the step of removing the unnecessary area is performed by modifying the pixels of the area outside the face outline to zero. 제1항에 있어서,
상기 불필요 영역을 제거하는 단계 직후에,
얼굴영역의 크기를 정규화하는 단계;
를 더 포함하는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.The method according to claim 1,
Immediately after removing the unnecessary area,
Normalizing the size of the face area;
The method of claim 1, further comprising: 제16항에 있어서,
상기 얼굴영역의 크기를 정규화하는 단계는,
불필요 영역이 제거된 n개의 카메라 영상에 대해서 우측 기준점과 좌측 기준점 사이의 거리를 n개의 w로 지정하는 단계;
불필요 영역이 제거된 n개의 카메라 영상에 대해서 상단 기준점과 하단 기준점 사이의 거리를 n개의 h로 산출하는 단계; 그리고,
상기 wn와 hn의 평균을 계산하여 n개의 카메라 영상의 얼굴 크기를 정규화하는 단계;
로부터 수행되는 것을 특징으로 하는 카메라 영상의 얼굴 인식 방법.

17. The method of claim 16,
Wherein normalizing the size of the face region comprises:
Designating a distance between a right reference point and a left reference point as n w for n camera images from which unnecessary regions have been removed;
Calculating n distances between the upper reference point and the lower reference point for n camera images from which unnecessary regions have been removed; And,
Normalizing the face size of n camera images by calculating an average of w n and h n ;
Wherein the face recognition is performed on the face of the camera.

KR1020160068401A 2016-06-01 2016-06-01 Method of facial recognition in camera image KR101998361B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160068401A KR101998361B1 (en) 2016-06-01 2016-06-01 Method of facial recognition in camera image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160068401A KR101998361B1 (en) 2016-06-01 2016-06-01 Method of facial recognition in camera image

Publications (2)

Publication Number Publication Date
KR20170136691A true KR20170136691A (en) 2017-12-12
KR101998361B1 KR101998361B1 (en) 2019-07-10

Family

ID=60943820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160068401A KR101998361B1 (en) 2016-06-01 2016-06-01 Method of facial recognition in camera image

Country Status (1)

Country Link
KR (1) KR101998361B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190114603A (en) * 2018-03-30 2019-10-10 경일대학교산학협력단 Apparatus for performing virtual fitting using cyclic artificial neural network, method thereof and computer recordable medium storing program to perform the method
KR20190114602A (en) * 2018-03-30 2019-10-10 경일대학교산학협력단 Apparatus for performing virtual fitting using multi-level artificial neural network, method thereof and computer recordable medium storing program to perform the method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034966A (en) * 2005-09-26 2007-03-29 캐논 가부시끼가이샤 Information processing device and control method
KR101254181B1 (en) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 Face recognition method using data processing technologies based on hybrid approach and radial basis function neural networks
KR20160029629A (en) * 2014-09-05 2016-03-15 삼성전자주식회사 Method and apparatus for face recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034966A (en) * 2005-09-26 2007-03-29 캐논 가부시끼가이샤 Information processing device and control method
KR101254181B1 (en) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 Face recognition method using data processing technologies based on hybrid approach and radial basis function neural networks
KR20160029629A (en) * 2014-09-05 2016-03-15 삼성전자주식회사 Method and apparatus for face recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190114603A (en) * 2018-03-30 2019-10-10 경일대학교산학협력단 Apparatus for performing virtual fitting using cyclic artificial neural network, method thereof and computer recordable medium storing program to perform the method
KR20190114602A (en) * 2018-03-30 2019-10-10 경일대학교산학협력단 Apparatus for performing virtual fitting using multi-level artificial neural network, method thereof and computer recordable medium storing program to perform the method

Also Published As

Publication number Publication date
KR101998361B1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
KR100374708B1 (en) Non-contact type human iris recognition method by correction of rotated iris image
Chen et al. Contour matching for 3D ear recognition
JP5107045B2 (en) Method for identifying a pixel representing an iris in an image acquired for the eye
JP4317465B2 (en) Face identification device, face identification method, and face identification program
KR101390756B1 (en) Facial feature detection method and device
TWI577327B (en) Method, apparatus and computer program product for positioning pupil
US20040190776A1 (en) Gesture recognition apparatus, gesture recognition method, and gesture recognition program
US7929734B2 (en) Method and apparatus for detecting eyes in face region
CN105740778B (en) Improved three-dimensional human face in-vivo detection method and device
TW201635198A (en) Positioning feature points of human face edge
JP2007094906A (en) Characteristic point detection device and method
JP2009523265A (en) Method for extracting iris features in an image
JP2009053916A (en) Face image processing apparatus, face image processing method, and computer program
JP2007188504A (en) Method for filtering pixel intensity in image
CN104573634A (en) Three-dimensional face recognition method
JP2004265267A (en) Face authentication method and face authentication device
US9858471B2 (en) Identification apparatus and authentication system
JP2011113313A (en) Attitude estimation device
KR101998361B1 (en) Method of facial recognition in camera image
CN111652018B (en) Face registration method and authentication method
JP2004303014A (en) Gesture recognition device, its method and gesture recognition program
JP3416666B2 (en) Head posture measurement device and CG character control device
JP5935118B2 (en) Object detection apparatus and object detection method
KR100951315B1 (en) Method and device detect face using AAMActive Appearance Model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant