WO2015076433A1 - 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 - Google Patents

지역 미세 패턴을 이용한 얼굴 영상 분석 방법 Download PDF

Info

Publication number
WO2015076433A1
WO2015076433A1 PCT/KR2013/010633 KR2013010633W WO2015076433A1 WO 2015076433 A1 WO2015076433 A1 WO 2015076433A1 KR 2013010633 W KR2013010633 W KR 2013010633W WO 2015076433 A1 WO2015076433 A1 WO 2015076433A1
Authority
WO
WIPO (PCT)
Prior art keywords
coefficient
code
edge
level code
pixel
Prior art date
Application number
PCT/KR2013/010633
Other languages
English (en)
French (fr)
Inventor
채옥삼
이찬우
류병용
김재면
Original Assignee
(주)나노인사이드
경희대학교 산학렵력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20130141216A external-priority patent/KR101484002B1/ko
Priority claimed from KR20130141214A external-priority patent/KR101484001B1/ko
Application filed by (주)나노인사이드, 경희대학교 산학렵력단 filed Critical (주)나노인사이드
Publication of WO2015076433A1 publication Critical patent/WO2015076433A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Definitions

  • the present invention relates to a face image analysis method using a local fine pattern, and more particularly, to recognize the edge response when information on the edge response direction of a coefficient selected in consideration of the edge response size is not an effective edge region.
  • a method of analyzing face images using local micropatterns that can increase face recognition and facial expression recognition rate without generating fragile codes having high uncertainty by generating codes or encoding codes by assigning color information of corresponding pixels. will be.
  • the geometric feature-based method is a method of expressing a change in the shape and expression of the face by using the position of the face components, ie, eyes, nose, mouth, lips, and eyebrows, and the relationship between them.
  • the geometric feature-based method is not used much because it is possible to simply express facial features with a few factors and easily cope with changes in position, size and orientation, but it is very difficult to accurately detect the components of the face.
  • the appearance feature-based method expresses a feature of a face image based on an entire or regional face image.
  • the external feature-based method is divided into a global feature based method and a local feature based method according to the size of the face image used.
  • each pixel constituting the face image is regarded as one feature element, and the entire image is represented by one feature vector.
  • This method is simple because it processes the entire image without extracting additional feature elements, but it does not accept the feature of brightness changes due to facial expression or lighting of the face image appearing on the part of the face image. There is a problem in that face recognition performance is poor.
  • the regional feature-based method sets up a local window in a region where a change can occur to accommodate the features of the face image, extracts the feature based on the brightness distribution in the window, and then generates a feature vector representing the overall shape of the face.
  • the regional feature-based method accommodates features of regional changes in the face image, it shows more stable and better facial image analysis results than the global feature-based method. Therefore, the research on the local feature-based method in the face image analysis technology is actively being conducted.
  • LBP Local Binary Pattern
  • a pattern of pixels in a block is accumulated by using a histogram for each block, and the accumulated histogram can be expressed as one local pattern.
  • the LBP method is a representative method of the region-based feature method, which is to create a feature vector representing the entire face image by connecting a region pattern.
  • LBP encodes a relationship between brightness values of neighboring pixels in order to overcome a problem in that a face image changes in overall brightness value according to an illumination or a photographing environment when encoding pixels.
  • the LBP coding method shows a good performance for face recognition and texture pattern recognition because it can express powerful and fine parts in the change of overall brightness value.
  • LBP has a problem in that it is impossible to maintain code consistency when noise is included.
  • an attempt is made to solve the LBP problem by improving the LBP encoding method.
  • LGBPHS Local Gabor Binary Pattern Histogram Sequence
  • the LGBPHS method solves the weakness of the noise somewhat compared to the LBP, but has the disadvantage of excessive computation and poor expressiveness of detailed patterns.
  • the local direction pattern (LDP) method encodes edge response direction information using all pixels in a mask, which is more powerful in noise than LBP.
  • the LDP method provides relatively superior performance in facial expression recognition than LBP, but has a disadvantage in that it is sensitive to noise and brightness changes in an area where there is little brightness change.
  • the LDP method In order to solve the problem of the LDP method, it is proposed to extend the LDP method by adding color information and edge size information.However, the LDP method includes a large amount of information, which increases the number of codes and causes a sampling error when accumulating in the histogram. There is a problem that the performance degradation occurs.
  • the LDP method is urgently needed to study a new method that can prevent the generation of codes with a large amount of uncertainty in a region with little change in brightness while minimizing the increase in the number of codes.
  • the present invention is applied to the Local Direction Pattern (LDP) algorithm to select coefficients in consideration of the edge response magnitude, and compares these coefficients with a preset threshold to increase the uncertainty in the smooth region where there is little change in the pixel brightness value.
  • LDP Local Direction Pattern
  • the present invention provides a face image analysis method using local micro-patterns to minimize face features and improve face feature discrimination.
  • the face image analysis method using the region micro pattern may include: an area performed by a face recognition system for analyzing a face image by applying at least one face recognition algorithm to the acquired face image after acquiring a face image
  • a face image analysis method using a fine pattern comprising: setting n ⁇ n neighboring area pixels in a face image and extracting m symmetrical compass operators of the neighboring area pixels; Obtaining an edge response magnitude in an m direction by applying the compass operator to the neighboring pixel; Selecting a first coefficient of the maximum edge reaction direction and a second coefficient of the maximum edge reaction direction excluding the first coefficient by using the edge response magnitude, and displaying the first coefficient and the second coefficient as a direction number; Comparing the edge response magnitudes of the first coefficient and the second coefficient with a predetermined threshold, dividing the first coefficient and the second coefficient into multiple levels, and providing a level code for the first coefficient and the second coefficient; ; And constructing a recognition code for expressing a local fine pattern of a specific bit
  • the recognition code determines that the direction code of the coefficient is not an effective edge region when the level code of the first coefficient or the level code of the second coefficient is a third level code. It is characterized in that the final recognition code is constructed by ignoring the edge response magnitude of the coefficient.
  • the face image analysis method using the region micro pattern may include: an area performed by a face recognition system for analyzing a face image by applying at least one face recognition algorithm to the acquired face image after acquiring a face image
  • a face image analysis method using a fine pattern comprising: setting n ⁇ n neighboring area pixels in a face image and extracting m symmetrical compass operators of the neighboring area pixels; Obtaining an edge response magnitude in an m direction by applying the compass operator to the neighboring pixel; Selecting a first coefficient of the maximum edge reaction direction and a second coefficient of the maximum edge reaction direction excluding the first coefficient by using the edge response magnitude, and displaying the first coefficient and the second coefficient as a direction number; Comparing the edge response magnitudes of the first coefficient and the second coefficient with a predetermined threshold, dividing the first coefficient and the second coefficient into multiple levels, and providing a level code for the first coefficient and the second coefficient; ; Constructing a recognition code for expressing a local fine pattern of a specific bit
  • the recognition code is determined to be an effective edge area when the level code of the first coefficient or the level code of the second coefficient is a first level code or a second level code, and the level code of the first coefficient or When the level code of the second coefficient is the third level code, the smoothing area is determined.
  • the lookup table divides the color information into C3, C4, C7, and C9 codes according to the number of bits, and divides the C3, C4, C7, and C9 codes into each pixel of the learned face image.
  • the color is expressed as a specific bit, and the color is divided into a plurality of groups and stored.
  • the facial image analysis method using the local micropattern of the present invention is applied to a local direction pattern (LDP) algorithm, and selects coefficients in consideration of the edge response size, and compares these coefficients with a preset threshold to change the pixel brightness value.
  • LDP local direction pattern
  • the recognition code for ignoring the edge response of the pixels is generated to increase the recognition rate for face recognition and facial expression without generating weak codes with high uncertainty.
  • the face image can be analyzed more accurately, and the face recognition service expressing the distinguishable features while sufficiently accommodating the minute change of the face image can be provided.
  • the facial image analysis method using the local micropattern of the present invention is applied to the Local Direction Pattern (LDP) algorithm to select coefficients in consideration of the edge response size, and compare the coefficients with a preset threshold to determine the pixel brightness value.
  • LDP Local Direction Pattern
  • the recognition rate for facial expression recognition may be increased, it is possible to provide an intelligent face recognition service that expresses distinguishable features while sufficiently accommodating minute changes in the face image.
  • FIG. 1 is a flowchart illustrating a method of analyzing a face image using a local fine pattern according to an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a neighboring pixel of an n ⁇ n mask.
  • FIG. 3 is a diagram illustrating an edge reaction direction in which a symmetrical compass operator is applied to neighboring pixels of a 3x3 mask.
  • FIG. 4 is a diagram illustrating a Kirsch mask and a Sobel mask among the compass operators.
  • FIG. 5 is a diagram illustrating a process of obtaining an 8-direction edge response magnitude in a neighboring pixel of a 3 ⁇ 3 mask.
  • FIG. 6 is a view for explaining a process of expressing the first coefficient and the second coefficient by the direction number.
  • FIG. 7 is a diagram illustrating a process of calculating each level code by comparing a first coefficient, a second coefficient, and a threshold.
  • FIG. 8 is a diagram illustrating a difference between a face image analysis method using a local micropattern and a conventional local direction pattern (LDP) method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of analyzing a face image using a local fine pattern according to an exemplary embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a difference between a face image analysis method using a local fine pattern and a conventional local direction pattern (LDP) method according to an embodiment of the present invention.
  • first and second are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • first component may be named a second component, and similarly, the second component may also be named a first component.
  • an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • FIG. 1 is a flowchart illustrating a method of analyzing a face image using a local fine pattern according to an exemplary embodiment of the present invention
  • FIG. 2 is a diagram illustrating a neighboring area pixel of an n ⁇ n mask
  • FIG. 3 is a 3 ⁇ 3 mask.
  • FIG. 4 is a diagram illustrating an edge reaction direction in which a symmetrical compass operator is applied to a neighboring pixel of FIG. 4
  • FIG. 4 is a diagram illustrating a Kirsch mask and a Sobel mask among the compass operators.
  • FIG. 5 is a diagram illustrating a process of obtaining an eight-way edge response magnitude in a neighboring pixel of a 3 ⁇ 3 mask
  • FIG. 6 is a diagram illustrating a process of expressing first coefficients and second coefficients by direction numbers.
  • 7 is a diagram illustrating a process of calculating each level code by comparing a first coefficient, a second coefficient, and a threshold.
  • a face image analysis method using a local fine pattern is performed by a face recognition system, and a face recognition system acquires a face image, and processes the acquired face image to recognize a face and recognize a face.
  • the face recognition result may be used in fields such as face recognition, facial expression recognition, face age recognition, and gender recognition through face.
  • the face recognition system sets neighboring pixels of an n ⁇ n mask in a face image and extracts four or eight symmetrical compass operators of neighboring pixels (see S1 and S2).
  • the neighboring pixel of the 3x3 mask is P1
  • the pixel of the neighboring area of the 5x5 mask is P2
  • the neighboring pixel of the 7x7 mask is P3.
  • an edge response magnitude in four directions or an edge response magnitude in eight directions may be obtained (see S3).
  • the face recognition system obtains the magnitude of the edge response in four directions of the north, south, east, and west of the neighboring pixels, and the magnitude of the eight-way edge response of the east, west, south, north, northeast, southeast, northwest, and southwest of the neighboring pixels.
  • the facial recognition system performs edge detection by processing an image of a face image by applying a typical Kirsh mask and a Sobel mask among eight-direction compass operators to perform edge detection. Can be obtained.
  • a pixel value of a 3 ⁇ 3 mask is calculated, and an edge response magnitude is obtained by applying a Kirsch mask among eight-direction symmetrical compass operators of neighboring pixels.
  • the first coefficient D1 is selected as the pixel in the maximum edge reaction direction among the edge response magnitudes in the eight directions, and the second coefficient D2 is selected as the pixel in the maximum edge reaction direction except the first coefficient (see S4).
  • the second coefficient is selected as the pixel having the largest edge reaction direction among the pixels except the neighboring pixel of the first coefficient.
  • the eighth direction of the 3 ⁇ 3 mask is applied to the first coefficient D1
  • the first coefficient D1 is '100' because it is the west direction, and is represented by the direction number since the second coefficient D2 is the southeast direction. '111' (see S5).
  • the face recognition system compares edge response magnitudes of the first coefficient D1 and the second coefficient D2 with a predetermined threshold t, thereby comparing the first coefficient D1 and the second coefficient D2. Is divided into three levels, and the level code T1 of the first coefficient D1 and the level code T2 of the second coefficient D2 are generated (see S6).
  • Equation 1 n is 1 or 2
  • Gn is the edge response magnitude of Dn
  • t represents the threshold value, respectively.
  • Equation 1 when the first coefficient D1 and the second coefficient D2 are larger than the positive threshold t, the first level code 10 is assigned, and the first coefficient D1 and the first coefficient D1 are given.
  • the second level code 11 is assigned when the two coefficients D2 are smaller than the negative threshold -t, and the third level code 00 is assigned in the remaining cases.
  • the edge response direction information of the first coefficient D1 and the second coefficient D2 is a valid edge region, but if T1 or T1 is '00', the edge response direction information is valid. Is determined to be an invalid brightness value, that is, a smoothing area with little change in brightness.
  • the face recognition system constructs a recognition code for expressing an 8-bit local fine pattern based on the first coefficient D1 and T1, the second coefficient D2, and T2 (see S7).
  • Recognition codes the first coefficient (D1), T1, the second coefficient (D2) and T2 to be arranged in 8 bits or 10 bits, and may be encoded by D1T1D2T2 and T1D1T2D2.
  • a weak code having high noise-sensitive uncertainty is often generated on a smoothed region with little change in brightness between pixels and on a smooth straight line boundary at both boundaries.
  • the recognition code may increase the recognition rate by ignoring the edge response of the corresponding area and generating the final recognition code instead of generating a weak code having high uncertainty on the smoothed area and the smooth straight line boundary of both boundaries.
  • the recognition code consists of D1T10000 in four directions, and D1T1000000 in eight directions.
  • the recognition code is given a default code, and configured as 00000000 in four directions, and 0000000000 in eight directions.
  • Equation 2 is an 8-bit recognition code in four directions
  • Equation 3 is an equation for explaining the 10-bit recognition code in eight directions.
  • FIG. 8 is a diagram illustrating a difference between a face image analysis method using a local micropattern and a conventional local direction pattern (LDP) method according to an embodiment of the present invention.
  • the LDP code according to the conventional LDP method is 00101100 in the smoothing area S1 having almost no pixel brightness difference, and is recognized by the face image analysis method using the local micropattern according to the present invention.
  • the code for 0000000000 shows that there is a difference in the code.
  • Gaussian noise is added to a face image to identify a vulnerability in the smoothing area S1, and the face image analysis method using a conventional LDP method and a local fine pattern according to the present invention. Generate edge direction information for each.
  • the face image analysis method using the local fine pattern according to the present invention may be applied to a local direction pattern (LDP) algorithm to generate a code for recognition in the form of an LDP code resistant to noise.
  • LDP local direction pattern
  • FIG. 9 is a flowchart illustrating a method of analyzing a face image using a local fine pattern according to an exemplary embodiment of the present invention.
  • a method of analyzing a face image using a local fine pattern is performed by a face recognition system, and the face recognition system acquires a face image, processes the acquired face image, and at least for face recognition and facial expression recognition.
  • the face recognition results may be used in fields such as face recognition, facial expression recognition, face age recognition, and gender recognition through face.
  • the face recognition system sets neighboring pixels of an n ⁇ n mask in a face image and extracts four or eight symmetrical compass operators of neighboring pixels (see S1 and S2).
  • the neighboring pixel of the 3x3 mask is P1
  • the pixel of the neighboring area of the 5x5 mask is P2
  • the neighboring pixel of the 7x7 mask is P3.
  • an edge response magnitude in four directions or an edge response magnitude in eight directions may be obtained (see S3).
  • the face recognition system obtains the magnitude of the edge response in four directions of the north, south, east, and west of the neighboring pixels, and the magnitude of the eight-way edge response of the east, west, south, north, northeast, southeast, northwest, and southwest of the neighboring pixels.
  • the facial recognition system performs edge detection by processing an image of a face image by applying a typical Kirsh mask and a Sobel mask among eight-direction compass operators to perform edge detection. Can be obtained.
  • a pixel value of a 3 ⁇ 3 mask is calculated, and an edge response magnitude is obtained by applying a Kirsch mask among eight-direction symmetrical compass operators of neighboring pixels.
  • the first coefficient D1 is selected as the pixel in the maximum edge reaction direction among the edge response magnitudes in the eight directions, and the second coefficient D2 is selected as the pixel in the maximum edge reaction direction except the first coefficient (see S4).
  • the second coefficient is selected as the pixel having the largest edge reaction direction among the pixels except the neighboring pixel of the first coefficient.
  • the eighth direction of the 3 ⁇ 3 mask is applied to the first coefficient D1
  • the first coefficient D1 is '100' because it is the west direction, and is represented by the direction number since the second coefficient D2 is the southeast direction. '111' (see S5).
  • the face recognition system compares edge response magnitudes of the first coefficient D1 and the second coefficient D2 with a predetermined threshold t, thereby comparing the first coefficient D1 and the second coefficient D2. Is divided into three levels, and the level code T1 of the first coefficient D1 and the level code T2 of the second coefficient D2 are generated (see S6).
  • n 1 or 2
  • Gn is the edge response magnitude of Dn
  • t represents the threshold value, respectively.
  • Equation 4 when the first coefficient D1 and the second coefficient D2 are larger than the positive threshold t, the first level code 10 is assigned, and the first coefficient D1 and the second coefficient D2 are provided.
  • the second level code 11 is assigned when the coefficient D2 is smaller than the negative threshold -t, and the third level code 00 is assigned in the remaining cases.
  • the face recognition system is an edge region in which the edge response direction information of the first coefficient D1 and the second coefficient D2 is valid when T1 and T2 are '10' or '11', but when T1 or T1 is '00'. It is determined that the edge response direction information is an invalid brightness value, that is, a smoothing area that is an invalid edge area with little brightness change.
  • the face recognition system constructs a recognition code for expressing an 8-bit local fine pattern based on the first coefficient D1 and T1, the second coefficient D2, and T2 (see S7).
  • Recognition codes the first coefficient (D1), T1, the second coefficient (D2) and T2 to be arranged in 8 bits or 10 bits, and may be encoded by D1T1D2T2 and T1D1T2D2.
  • a weak code having high noise-sensitive uncertainty is often generated on a smoothed region with little change in brightness between pixels and on a smooth straight line boundary at both boundaries.
  • the recognition code instead of generating a weak code with high uncertainty on the smoothed area and the smooth straight line boundary of the boundary, the recognition code generates a final recognition code assigned the color information code of the corresponding area using a lookup table to increase the recognition rate. (See S8 ⁇ S10)
  • the lookup table is divided into C3 code, C4 code, C7 code, and C9 code according to the number of bits representing color information, and the C3 code, C4 code, C7 code, and C9 code are used to color each pixel of the learned face image. Expressed in 3 bits, it is divided into 8 groups, and the C4 code is divided into 16 groups of 4 ratios, the C7 code is divided into 7 bit 128 groups, and the C9 code is divided into 9 bit 512 groups.
  • Equation 5 is an eight-bit recognition code in four directions
  • Equation 6 is an equation for explaining the 10-bit recognition code in eight directions.
  • FIG. 10 is a diagram illustrating a difference between a face image analysis method using a local fine pattern and a conventional local direction pattern (LDP) method according to an embodiment of the present invention.
  • the facial image analysis method using the local micropattern according to the present invention may be applied to a local direction pattern (LDP) algorithm to generate a code for recognition in the form of an LDP code resistant to noise.
  • LDP local direction pattern
  • the LDP code according to the conventional LDP method for the color image including the smoothing area S1 having almost no pixel brightness difference is 0001110, and the face using the local fine pattern according to the present invention.
  • Recognition code by the image analysis method is 1010100100 (T1D10C4) it can be seen that there is a difference in the code.
  • the conventional LDP method and the LDP code for the color image including the smoothing area S1 are 00001110, and the recognition code by the face image analysis method using the local fine pattern according to the present invention. 1010101001 (T1D10C4) it can be seen that there is a difference in the code.
  • LDP codes encode the direction information by calculating the main direction of the edge, but various problems may occur when the response size of the edge is small.
  • the conventional LDP method is encoded in a direction adjacent to the first main direction or a code in which the second and third direction information are meaningless when the edge response size in the first main direction is large and the remaining second and third sizes are small. Can be.
  • all directional information including the second and third of the remainder may be encoded into a code that is meaningless.
  • the conventional LDP method is inefficient because the direction information is unconditionally encoded without considering the edge response size, and the existing LDP code encodes the same code because the edge direction is the same in the texture whose color value is changed.
  • the edge response size is small in consideration of the edge response size
  • color information is encoded instead of the edge direction information. Since the magnitude of the first major edge direction is larger than the threshold value, the color information code is given and encoded without encoding the direction information.
  • the edge direction information and the color information are summed up to distinguish the color information difference which the existing LDP code cannot distinguish, and most of the color information of the face image Is set to a specific range, the color information code can be very helpful to improve the accuracy of face image analysis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 관한 것으로서,<u/>에지 반응 크기를 고려하여 선정된 계수의 에지반응 방향 정보가 유효한 에지 영역이 아닐 경우에 해당 에지 반응을 무시하는 인식용 코드를 생성하거나 해당 화소의 컬러 정보를 부여하여 부호화한 인식용 코드를 생성할 수 있다. 따라서, 본 발명은 LDP(Local Direction Pattern) 알고리즘에 적용되어 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분한 후에 해당 화소의 에지 반응을 무시하는 인식용 코드를 생성하거나 해당 화소의 컬러 정보 코드를 부여한 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식에 대한 인식률이 높아질 수 있고, 코드 길이를 최소화하면서 얼굴 특징 구별 능력도 향상시킬 수 있다.

Description

지역 미세 패턴을 이용한 얼굴 영상 분석 방법
본 발명은 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 관한 것으로, 보다 상세하게는 에지 반응 크기를 고려하여 선정된 계수의 에지반응 방향 정보가 유효한 에지 영역이 아닐 경우에 해당 에지 반응을 무시하는 인식용 코드를 생성하거나 해당 화소의 컬러 정보를 부여하여 부호화한 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식률이 높아질 수 있는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 관한 것이다.
최근, 얼굴 인식과 표정 인식과 같은 얼굴 영상 분석의 응용 분야가 많아지고 있다. 얼굴 영상 분석에 대한 응용 분야는 제품 차별화 및 사용자의 관심과 구매를 유도하기 때문에 이에 관한 연구가 활발하게 진행되고 있다. 얼굴 영상 분석은 크게 기하학적 특징 기반(Geometric feature based method)과 외형 특징 기반 방법(Appearance feature based method)의 2가지 방법이 있다.
기하학적 특징 기반 방법은 얼굴의 구성요소, 즉 눈, 코, 입, 입술, 눈썹 등의 위치와 이들 사이의 관계를 이용하여 얼굴의 형태와 표정의 변화를 표현하는 방법이다. 이러한 기하학적 특징 기반 방법은 얼굴 특징을 소수의 인자로 간단하게 표현 가능하고, 위치, 크기 및 방위 변화에 쉽게 대응할 수 있지만 얼굴의 구성요소를 정확하게 검출하는 것이 매우 어렵기 때문에 많이 사용되지 않고 있다.
외형 특징 기반 방법은 전체적인 또는 지역적인 얼굴 영상을 대상으로 얼굴 영상의 특징을 표현한다. 이때, 외형 특징 기반 방법은 사용되는 얼굴 영상의 크기에 따라 전역 특징 기반 방법과 지역 특징 기반 방법으로 구분된다.
전역 특징 기반 방법은 얼굴 영상을 구성하는 각 화소를 하나의 특징 요소로 보고, 영상 전체를 하나의 특징 벡터로 표현한다. 이러한 방법은 별도의 특징 요소에 대한 추출 과정을 거치지 않고 영상 전체를 대상으로 하기 때문에 영상 처리 방법이 간단하지만, 얼굴 영상의 일부분에 나타나는 얼굴 영상의 표정이나 조명으로 인한 밝기 변화에 대한 특징을 수용하지 못하기 때문에 얼굴 인식 성능이 떨어지는 문제점이 있다.
반면, 지역 특징 기반 방법은 얼굴 영상의 특징을 수용할 수 있도록 변화가 일어날 수 있는 영역에 지역적인 윈도우를 설정하고, 윈도우 내의 밝기 분포를 바탕으로 특징을 추출하여 전체적인 얼굴의 형태를 나타내는 특징 벡터를 구성한다.
이러한 지역 특징 기반 방법은 얼굴 영상의 지역적인 변화의 특징을 수용하기 때문에 전역 특징 기반 방법보다 안정적이고 양호한 얼굴 영상 분석 결과를 보여준다. 따라서, 얼굴 영상 분석 기술에서 지역 특징 기반 방법의 연구가 활발하게 진행되는 중이다.
지역 특징 기반의 얼굴 영상 분석 기술의 대표적인 알고리즘은 LBP(Local Binary Pattern)이다. LBP는 얼굴 영상을 지역적으로 분석하기 위해 얼굴 영상을 균일한 블록으로 분할한다. 이렇게 분할된 각 블록 내의 화소들을 3×3, 5×5, 7×7 등의 마스크 범위에서 모든 화소들과 이웃하고 있는 마스크의 중앙에 위치한 화소를 이웃 영역 화소라고 하고, 이 이웃 영역 화소를 이용하여 패턴을 부호화한다.
각 블록마다 히스토그램을 이용해서 블록 내 화소들의 패턴을 누적하고, 누적된 히스토그램은 하나의 지역 패턴으로 표현이 가능하다. LBP 방식은 지역 패턴을 연결하여 얼굴 영상 전체를 표현하는 특징 벡터를 만드는 것으로서 지역 기반 특징 방법의 대표적인 방법이다.
LBP는 화소들을 부호화할 때 얼굴 영상은 조명이나 촬영 환경에 따라 전체 적인 밝기 값이 변한다는 문제점을 극복하기 위해 이웃 영역 화소의 밝기 값과의 관계를 부호화한다. 이러한 LBP 부호화 방법은 전체적인 밝기 값 변화에는 강력하고 미세한 부분까지 패턴으로 표현이 가능하기 때문에 얼굴 인식과 텍스쳐 패턴 인식에 좋은 성능을 보여준다.
하지만, LBP는 잡음이 포함되는 경우에 코드의 일관성을 유지할 수 없는 문제점이 있다. 이러한 문제점을 극복하기 위해 LBP 부호화 방법의 개선을 통해 LBP 문제점을 해결하려고 시도하고 있다.
첫 번째로, LBP가 잡음에 취약한 문제점을 해결하기 위해 가보 필터된 영상에 LBP를 적용하는 LGBPHS(Local Gabor Binary Pattern Histogram Sequence) 방법이 있다.
LGBPHS 방법은 LBP에 비해 잡음의 취약성이 다소 해결되었지만 과도한 계산량과 세밀한 패턴의 표현력이 떨어지는 단점이 있다.,
두 번째로, LDP(Local Direction Pattern) 방법은 마스크 내의 모든 화소를 사용하여 에지 반응 방향 정보를 부호화하는 것으로서 LBP에 비해 잡음에 강력한 특징이 있다. LDP 방법은 LBP에 비해 표정 인식 등에서 상대적으로 우수한 성능을 제공하지만 밝기 변화가 거의 없는 영역에서 잡음과 밝기 변화에 민감하다는 단점이 있다.
LDP 방법의 문제점을 해결하기 위해, LDP에 컬러 정보, 에지 크기 정보를 추가하여 확장하는 방법을 제안하고 있지만, LDP 방법에 많은 정보가 포함되면서 코드 수가 증가하고, 히스토그램에 누적할 때 표본 오차가 발생하여 성능 저하가 발생하는 문제점이 있다.
즉, 코드 수가 증가하면서 히스토그램의 빈 수가 늘어나고 각 빈에 누적되는 화소수가 감소하기 때문에 표본 오차가 발생하고, 이러한 표본 오차는 히스토그램 기반 특징 벡터 표현을 이용한 얼굴 인식 및 표정 인식의 결과에 큰 영향을 미치게 된다.
따라서, LDP 방법은 코드 수의 증가를 최소화하면서 밝기 변화가 거의 없는 영역의 불확실성이 큰 코드 생성를 방지할 수 있는 새로운 방법의 연구가 절실이 요구되고 있다.
본 발명은 LDP(Local Direction Pattern) 알고리즘에 적용되어 에지 반응 크기를 고려하여 계수들을 선정하고, 이 계수들을 기 설정된 임계치와 비교하여 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분한 후에 해당 화소의 에지 반응을 무시하는 인식용 코드를 생성하거나 해당 화소에 컬러 정보 코드를 부여함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식률이 높아질 수 있고, 코드 길이를 최소화하면서 얼굴 특징 구별 능력도 향상시킬 수 있는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 제공한다.
실시예들 중에서, 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은, 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서, 얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계; 상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계; 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계; 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계; 및 상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계를 포함한다.
상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는, 상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 두번째 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 한다.
상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는, 상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 상기 제1 계수의 화소을 제외한 나머지 방향의 픽셀 중 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 한다.
상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계는, 상기 제1 계수와 제2 계수가 양수 임계치보다 클 경우에 제1 레벨 코드를 부여하고, 상기 제1 계수와 제2 계수가 음수 임계치보다 작을 경우에 제2 레벨 코드를 부여하며, 나머지 경우에 제3 레벨 코드를 부여하는 것을 특징으로 한다.
이때, 상기 인식용 코드는, 상기 인식용 코드는, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제3 레벨 코드인 경우에 해당 계수의 방향 정보가 유효한 에지 영역이 아니라고 판단하고, 해당 계수의 에지 반응 크기를 무시하여 최종 인식용 코드를 구성하는 것을 특징으로 한다.
실시예들 중에서, 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은, 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서, 얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계; 상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계; 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계; 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계; 상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계; 및 상기 제1 계수 또는 제2 계수가 위치한 화소가 무효한 에지 영역을 포함하는 평활화 영역(Smooth) 영역인 경우에, 상기 얼굴 영상의 각 화소 컬러를 복수 개의 그룹으로 구분하여 저장하는 룩업테이블을 이용하여 컬러 정보를 결정하고, 상기 인식용 코드에 컬러 정보 코드를 부여하는 단계를 포함한다.
상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는, 상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 두번째 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 한다.
상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는, 상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 상기 제1 계수의 화소을 제외한 나머지 방향의 화소 중 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 한다.
상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계는, 상기 제1 계수와 제2 계수가 양수 임계치보다 클 경우에 제1 레벨 코드를 부여하고, 상기 제1 계수와 제2 계수가 음수 임계치보다 작을 경우에 제2 레벨 코드를 부여하며, 나머지 경우에 제3 레벨 코드를 부여하는 것을 특징으로 한다.
여기서, 상기 인식용 코드는, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제1 레벨 코드 또는 제2 레벨 코드인 경우에 유효한 에지 영역으로 판단하고, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제3 레벨 코드인 경우에 평활화 영역이라고 판단하는 것을 특징으로 한다.
한편, 상기 룩업테이블은, 상기 컬러 정보를 비트 수에 따라 C3 코드, C4 코드, C7 코드 및 C9 코드로 구분하고, 상기 C3 코드, C4 코드, C7 코드 및 C9 코드를 학습된 얼굴 영상의 각 화소 컬러를 특정한 비트로 표현하여 복수 개의 그룹으로 각각 구분하여 저장하는 것을 특징으로 한다.
본 발명의 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은, LDP(Local Direction Pattern) 알고리즘에 적용되어 에지 반응 크기를 고려하여 계수들을 선정하고, 이 계수들을 기 설정된 임계치와 비교하여 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분한 후에 해당 화소의 에지 반응을 무시하는 인식용 코드를 생성함으로써 불확실성이 높은 취약 코드를 생성하지 않으면서도 얼굴 인식 및 표정 인식에 대한 인식률이 높아질 수 있으며, 기존의 LDP 알고리즘에 비해 정확하게 얼굴 영상을 분석할 수 있으며, 얼굴 영상의 미세한 변화를 충분히 수용하면서 구별 가능한 특징을 표현하는 얼굴 인식 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명의 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은, LDP(Local Direction Pattern) 알고리즘에 적용되어 에지 반응 크기를 고려하여 계수들을 선정하고, 이 계수들을 기 설정된 임계치와 비교하여 화소 밝기값의 변화가 거의 없는 평활화(Smooth) 영역에서 불확실성이 높은 화소를 구분하여 해당 화소의 컬러 정보 코드를 부여한 인식용 코드를 생성함으로써 코드 길이를 최소화하면서 얼굴 특징 구별 능력도 향상시킬 수 있을 뿐만 아니라 얼굴 인식 및 표정 인식에 대한 인식률이 높아질 수 있어 얼굴 영상의 미세한 변화를 충분히 수용하면서 구별 가능한 특징을 표현하는 지능형 얼굴 인식 서비스를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 설명하는 순서도이다.
도 2는 n×n 마스크의 이웃 영역 화소를 설명하는 도면이다.
도 3은 3×3 마스크의 이웃 영역 화소에 대칭적인 컴퍼스 연산자를 적용한 에지반응 방향을 설명하는 도면이다.
도 4는 컴퍼스 연산자 중 키르슈 마스크와 소벨 마스크를 설명하는 도면이다.
도 5는 3×3 마스크의 이웃 영역 화소에서 8방향 에지반응 크기를 구하는 과정을 설명하는 도면이다.
도 6은 제1 계수와 제2 계수를 방향 넘버로 표현하는 과정을 설명하는 도면이다.
도 7은 제1 계수와 제2 계수와 임계치의 비교를 통해 각 레벨코드를 산출하는 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법과 기존의 LDP(Local Direction Pattern) 방법의 차이점을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 설명하는 순서도이다.
도 10은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법과 기존의 LDP(Local Direction Pattern) 방법의 차이점을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 설명하는 순서도이고, 도 2는 n×n 마스크의 이웃 영역 화소를 설명하는 도면이며, 도 3은 3×3 마스크의 이웃 영역 화소에 대칭적인 컴퍼스 연산자를 적용한 에지반응 방향을 설명하는 도면이고, 도 4는 컴퍼스 연산자 중 키르슈 마스크와 소벨 마스크를 설명하는 도면이다. 도 5는 3×3 마스크의 이웃 영역 화소에서 8방향 에지반응 크기를 구하는 과정을 설명하는 도면이고, 도 6은 제1 계수와 제2 계수를 방향 넘버로 표현하는 과정을 설명하는 도면이며, 도 7은 제1 계수와 제2 계수와 임계치의 비교를 통해 각 레벨코드를 산출하는 과정을 설명하는 도면이다.
도 1 내지 도 4를 참고하면, 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 얼굴 인식 시스템에 의해 수행되고, 얼굴 인식 시스템은 얼굴 영상을 획득하고, 획득한 얼굴 영상을 이미지 처리하여 얼굴 인식 및 표정 인식을 위한 적어도 하나 이상의 얼굴 인식 알고리즘을 수행한 후에 얼굴 인식 결과를 얼굴 인식, 얼굴 표정 인식, 얼굴 나이 인식, 얼굴을 통한 성별 인식 등의 분야에 활용할 수 있다.
얼굴 인식 시스템은 얼굴 영상에서 n×n 마스크의 이웃 영역 화소를 설정하고, 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 4개 또는 8개 추출한다.(S1 및 S2 참고)
도 2를 참고하면, 3×3 마스크의 이웃 영역 화소는 P1이고, 5×5 마스크의 이웃 영역의 화소는 P2이며, 7×7 마스크의 이웃 영역 화소는 P3가 된다. 또한, 도 3에 도시된 바와 같이, 이웃 영역 화소에 대칭적인 4개 또는 8개의 컴퍼스 연산자를 적용하면 4 방향의 에지 반응 크기 또는 8 방향의 에지 반응 크기를 구할 수 있다.(S3 참고)
얼굴 인식 시스템은 이웃 영역 화소의 동서남북에 대한 4방향의 에지반응 크기를 구하고, 이웃 영역 화소의 동, 서, 남, 북, 북동, 남동, 북서 및 남서에 대한 8방향 에지반응 크기를 구한다.
도 4를 참고하면, 얼굴 인식 시스템은 8방향의 컴퍼스 연산자 중에서 대표적인 키르슈 마스크(Kirsh mask)와 소벨 마스크(Sobel mask)를 적용하여 얼굴 영상에 대한 이미지를 처리하여 에지 검출을 수행함으로써 에지반응 크기를 구할 수 있다.
도 5를 참고하면, 3×3 마스크의 화소값이 산출되고, 이웃 영역 화소의 8방향 대칭적인 컴퍼스 연산자 중 키르슈 마스크를 적용하여 에지반응 크기를 구한다.
8방향의 에지반응 크기 중에서 최대 에지반응 방향의 화소를 제1 계수(D1)를 선정하고, 제1 계수를 제외한 최대 에지반응 방향의 화소를 제2 계수(D2)를 선정한다.(S4 참고)
이때, 제2 계수는 제1 계수의 이웃한 화소를 제외한 나머지 화소들 중에서 에지반응 방향이 최대인 화소로 선정한다.
도 6을 참고하면, 제1 계수(D1)는 3×3 마스크의 8 방향을 적용하면 서쪽 방향이므로 방향 넘버로 표현하면 '100'되고, 제2 계수(D2)가 남동 방향이므로 방향 넘버로 표현하면 '111'이 된다.(S5 참고)
도 7을 참고하면, 얼굴 인식 시스템은 제1 계수(D1)와 제2 계수(D2)의 에지 반응 크기와 기설정된 임계치(t)를 비교하여 제1 계수(D1)와 제2 계수(D2)를 3레벨로 구분하고, 제1 계수(D1)의 레벨 코드(T1)과 제2 계수(D2)의 레벨 코드(T2)를 생성한다.(S6 참고)
수학식 1
Figure PCTKR2013010633-appb-M000001
수학식 1에서, n은 1 또는 2이고, Gn은 Dn의 에지 반응 크기이며, t는 임계치를 각각 나타낸다.
수학식 1에 나타난 바와 같이, 제1 계수(D1)과 제2 계수(D2)가 양수 임계치(t)보다 클 경우에 제1 레벨 코드(10)를 부여하고, 제1 계수(D1)과 제2 계수(D2)가 음수 임계치(-t)보다 작을 경우에 제2 레벨 코드(11)를 부여하며, 나머지 경우에 제3 레벨 코드(00)를 부여한다.
T1 및 T2가 '10'이거나 '11'일 경우에 제1 계수(D1)과 제2 계수(D2)의 에지반응 방향 정보가 유효한 에지 영역이지만, T1 또는 T1가 '00'이면 에지반응 방향 정보가 유효하지 않은 밝기값, 즉 밝기 변화가 거의 없는 평활화(Smooth) 영역이라고 판단한다.
얼굴 인식 시스템은 제1 계수(D1) 및 T1, 제2 계수(D2) 및 T2를 근거로 하여 8비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성한다.(S7 참고)
인식용 코드는 제1 계수(D1), T1, 제2 계수(D2) 및 T2를 나열하여 8비트 또는 10비트로 코딩하는데, D1T1D2T2로 부호화하는 방식과 T1D1T2D2로 부호화하는 방식을 사용할 수 있다.
D1T1D2T2로 부호화하는 방식과 T1D1T2D2로 부호화하는 방식은 화소간 밝기 변화가 거의 없는 평활화 영역 및 양쪽 경계의 평활한 직선 경계상에서 잡음에 민감한 불확실성이 높은 취약 코드가 생성되는 경우가 많다.
따라서, 인식용 코드는 평활화 영역 및 양쪽 경계의 평활한 직선 경계상에서 불확실성이 높은 취약 코드를 생성하는 대신에 해당 영역의 에지 반응을 무시하고 최종 인식용 코드를 생성하여 인식율을 높일 수 있다.(S8~S10 참고)
얼굴 인식 시스템은 T1=10 또는 T1=11이고, T2=10 또는 T2=11이면 8비트 또는 10비트로 D1T1D2T2의 인식용 코드를 구성한다.
얼굴 인식 시스템은 T1=10 또는 T1=11이지만 T2=00이면 인식용 코드는 4방향일 경우에 D1T10000으로 구성하고, 8방향일 경우에 D1T1000000으로 구성한다.
얼굴 인식 시스템은 T1=00, T2=00이면 인식용 코드는 디폴트 코드를 부여하여 4방향일 경우에 00000000으로 구성하고, 8방향일 경우에 0000000000로 구성한다.
수학식 2는 4방향의 8비트 인식용 코드이고, 수학식 3은 8방향의 10비트 인식용 코드를 설명하는 수식이다.
수학식 2
Figure PCTKR2013010633-appb-M000002
수학식 3
Figure PCTKR2013010633-appb-M000003
도 8은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법과 기존의 LDP(Local Direction Pattern) 방법의 차이점을 설명하는 도면이다.
도 8의 (a)을 참고하면, 화소 밝기 차이가 거의 없는 평활화 영역(S1)에서 기존의 LDP 방법에 의한 LDP 코드는 00101100이고, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 의한 인식용 코드는 00000000으로 코드에 차이가 있음을 알 수 있다.
기존 LDP코드는 평활화 영역에 에지 방향 정보를 생성하는 반면에 인식용 코드는 평활화 영역에서 계산된 에지 반응 크기가 작기 때문에 코든 불확실성이 높은 코드를 생성하는 대신에 에지 반응을 무시하여 '00000000' 코드를 생성한다.
도 8의 (b)을 참고하면, 평활화 영역(S1)에서의 취약점을 알아보기 위해 얼굴 영상에 가우시안 잡음을 추가하고, 기존의 LDP 방법과 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 대한 에지 방향 정보를 각각 생성한다.
가우시안 잡음을 추가하지 않은 얼굴 영상과 가우시안 잡을 추가한 얼굴 영상은 유사한 텍스처 패턴을 가지고 있지만, 기존 LDP 코드는 '00101100'에서 '10100001'로 바뀌어 전혀 다른 코드를 생성한다. 기존 LDP는 평활화 영역(S1)에서 잡음이 취약한 코드가 생성되지만, 인식용 코드는 4방향 또는 8방향의 에지 반응 크기를 고려해서 에지 반응 크기가 작을 때는 에지 방향 정보를 무시하므로 평활화 영역(S1)에서 취약 코드가 생성되지 않아 잡음에 강한 특성을 보여준다.
이와 같이, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 LDP(Local Direction Pattern) 알고리즘에 적용되어 잡음에 강한 LDP 코드 형태의 인식용 코드를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법을 설명하는 순서도이다.
도 9를 참고하면, 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 얼굴 인식 시스템에 의해 수행되고, 얼굴 인식 시스템은 얼굴 영상을 획득하고, 획득한 얼굴 영상을 이미지 처리하여 얼굴 인식 및 표정 인식을 위한 적어도 하나 이상의 얼굴 인식 알고리즘을 수행한 후에 얼굴 인식 결과를 얼굴 인식, 얼굴 표정 인식, 얼굴 나이 인식, 얼굴을 통한 성별 인식 등의 분야에 활용할 수 있다.
얼굴 인식 시스템은 얼굴 영상에서 n×n 마스크의 이웃 영역 화소를 설정하고, 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 4개 또는 8개 추출한다.(S1 및 S2 참고)
도 2를 참고하면, 3×3 마스크의 이웃 영역 화소는 P1이고, 5×5 마스크의 이웃 영역의 화소는 P2이며, 7×7 마스크의 이웃 영역 화소는 P3가 된다. 또한, 도 3에 도시된 바와 같이, 이웃 영역 화소에 대칭적인 4개 또는 8개의 컴퍼스 연산자를 적용하면 4 방향의 에지 반응 크기 또는 8 방향의 에지 반응 크기를 구할 수 있다.(S3 참고)
얼굴 인식 시스템은 이웃 영역 화소의 동서남북에 대한 4방향의 에지반응 크기를 구하고, 이웃 영역 화소의 동, 서, 남, 북, 북동, 남동, 북서 및 남서에 대한 8방향 에지반응 크기를 구한다.
도 4를 참고하면, 얼굴 인식 시스템은 8방향의 컴퍼스 연산자 중에서 대표적인 키르슈 마스크(Kirsh mask)와 소벨 마스크(Sobel mask)를 적용하여 얼굴 영상에 대한 이미지를 처리하여 에지 검출을 수행함으로써 에지반응 크기를 구할 수 있다.
도 5를 참고하면, 3×3 마스크의 화소값이 산출되고, 이웃 영역 화소의 8방향 대칭적인 컴퍼스 연산자 중 키르슈 마스크를 적용하여 에지반응 크기를 구한다.
8방향의 에지반응 크기 중에서 최대 에지반응 방향의 화소를 제1 계수(D1)를 선정하고, 제1 계수를 제외한 최대 에지반응 방향의 화소를 제2 계수(D2)를 선정한다.(S4 참고)
이때, 제2 계수는 제1 계수의 이웃한 화소를 제외한 나머지 화소들 중에서 에지반응 방향이 최대인 화소로 선정한다.
도 6을 참고하면, 제1 계수(D1)는 3×3 마스크의 8 방향을 적용하면 서쪽 방향이므로 방향 넘버로 표현하면 '100'되고, 제2 계수(D2)가 남동 방향이므로 방향 넘버로 표현하면 '111'이 된다.(S5 참고)
도 7을 참고하면, 얼굴 인식 시스템은 제1 계수(D1)와 제2 계수(D2)의 에지 반응 크기와 기설정된 임계치(t)를 비교하여 제1 계수(D1)와 제2 계수(D2)를 3레벨로 구분하고, 제1 계수(D1)의 레벨 코드(T1)과 제2 계수(D2)의 레벨 코드(T2)를 생성한다.(S6 참고)
수학식 4
Figure PCTKR2013010633-appb-M000004
수학식 4서, n은 1 또는 2이고, Gn은 Dn의 에지 반응 크기이며, t는 임계치를 각각 나타낸다.
수학식 4 나타난 바와 같이, 제1 계수(D1)과 제2 계수(D2)가 양수 임계치(t)보다 클 경우에 제1 레벨 코드(10)를 부여하고, 제1 계수(D1)과 제2 계수(D2)가 음수 임계치(-t)보다 작을 경우에 제2 레벨 코드(11)를 부여하며, 나머지 경우에 제3 레벨 코드(00)를 부여한다.
얼굴 인식 시스템은 T1 및 T2가 '10'이거나 '11'일 경우에 제1 계수(D1)과 제2 계수(D2)의 에지반응 방향 정보가 유효한 에지 영역이지만, T1 또는 T1가 '00'이면 에지반응 방향 정보가 유효하지 않은 밝기값, 즉 밝기 변화가 거의 없는 무효한 에지 영역인 평활화(Smooth) 영역이라고 판단한다.
얼굴 인식 시스템은 제1 계수(D1) 및 T1, 제2 계수(D2) 및 T2를 근거로 하여 8비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성한다.(S7 참고)
인식용 코드는 제1 계수(D1), T1, 제2 계수(D2) 및 T2를 나열하여 8비트 또는 10비트로 코딩하는데, D1T1D2T2로 부호화하는 방식과 T1D1T2D2로 부호화하는 방식을 사용할 수 있다.
D1T1D2T2로 부호화하는 방식과 T1D1T2D2로 부호화하는 방식은 화소간 밝기 변화가 거의 없는 평활화 영역 및 양쪽 경계의 평활한 직선 경계상에서 잡음에 민감한 불확실성이 높은 취약 코드가 생성되는 경우가 많다.
따라서, 인식용 코드는 평활화 영역 및 양쪽 경계의 평활한 직선 경계상에서 불확실성이 높은 취약 코드를 생성하는 대신에 룩업테이블을 이용하여 해당 영역의 컬러 정보 코드를 부여한 최종 인식용 코드를 생성하여 인식율을 높일 수 있다.(S8~S10 참고)
즉, 룩업 테이블은 컬러 정보를 표현하는 비트 수에 따라 C3 코드, C4 코드, C7 코드 및 C9 코드로 구분되고, C3 코드, C4 코드, C7 코드 및 C9 코드는 학습된 얼굴 영상의 각 화소 컬러를 3비트로 표현하여 8그룹으로 구분하고, C4 코드는 4비으 16 그룹, C7 코드는 7비트 128 그룹, C9 코드는 9비트 512 그룹으로 구분하여 저장한다.
얼굴 인식 시스템은 T1=10 또는 T1=11이고, T2=10 또는 T2=11이면 8비트 또는 10비트로 D1T1D2T2의 인식용 코드를 구성한다.
얼굴 인식 시스템은 T1=10 또는 T1=11이지만 T2=00이면 인식용 코드는 4방향일 경우에 D1T10C3(C3=3비트)으로 구성하고, 8방향일 경우에 D1T10C4(C4=4비트)으로 구성한다.
얼굴 인식 시스템은 T1=00, T2=00이면 인식용 코드를 컬러 정보 코드를 부여하여 4방향일 경우에 0C7(C7=7비트)으로 구성하고, 8방향일 경우에 0C9(C9=9비트)로 구성한다.
수학식 5 4방향의 8비트 인식용 코드이고, 수학식 6 8방향의 10비트 인식용 코드를 설명하는 수식이다.
수학식 5
Figure PCTKR2013010633-appb-M000005
수학식 6
Figure PCTKR2013010633-appb-M000006
도 10은 본 발명의 일 실시예에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법과 기존의 LDP(Local Direction Pattern) 방법의 차이점을 설명하는 도면이다.
본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 LDP(Local Direction Pattern) 알고리즘에 적용되어 잡음에 강한 LDP 코드 형태의 인식용 코드를 생성할 수 있다.
도 10의 (a)을 참고하면, 화소 밝기 차이가 거의 없는 평활화 영역(S1)을 포함하는 컬러 영상에 대한 기존의 LDP 방법에 의한 LDP 코드는 0001110이고, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 의한 인식용 코드는 1010100100(T1D10C4)으로 코드에 차이가 있음을 알 수 있다.
도 10의 (b)을 참고하면, 평활화 영역(S1)을 포함한 컬러 영상에 대한 기존의 LDP 방법과 LDP 코드는 00001110이고, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 의한 인식용 코드는 1010101001(T1D10C4)으로 코드에 차이가 있음을 알 수 있다.
이와 같이, 기존의 LDP 코드는 컬러값이 다른 텍스처를 구별하지 못하고 동일한 코드가 생성되지만, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 의한 인식용 코드는 에지 정보와 함께 컬러 정보를 부여하여 컬러 정보가 다른 텍스처를 구별할 수 있다.
기존의 LDP 코드는 에지의 주요 방향을 계산하여 방향 정보를 부호화지만, 에지의 반응 크기가 작을 때 여러 가지 문제점이 발생할 수 있다. 기존의 LDP 방법은 1번째 주 방향의 에지 반응 크기가 크고 나머지 2번째 및 3번째 크기가 작은 경우에 1번째 주 방향과 이웃한 방향으로 부호화 되거나 2번째 및 3번째 방향 정보가 무의미해지는 코드로 부호화될 수 있다. 또한 1번째 주방향의 에지 반응 크기가 작을 경우에 나머지의 2번째 및 3번째를 포함한 모든 방향 정보가 무의미해지는 코드로 부호화될 수 있다.
이와 같이, 기존의 LDP 방법은 에지 반응 크기를 고려하지 않고 무조건 방향정보를 부호화하기 때문에 비효율적이고, 기존의 LDP 코드는 컬러값이 바뀐 텍스처에서 에지 방향이 동일하기 때문에 동일한 코드를 부호화하고 있다.
그러나, 본 발명에 따른 지역 미세 패턴을 이용한 얼굴 영상 분석 방법은 에지 반응 크기를 고려하여 에지 반응 크기가 작을 경우에 에지 방향 정보 대신에 컬러 정보를 부호화한다. 첫 번째 주 에지 방향의 크기가 임계치보다 크기 때문에 방향 정보를 부호화하지 않고 컬러 정보 코드를 부여하여 부호화한다.
이와 같이, 본 발명에 따른 미세 패턴을 이용한 얼굴 영상 분석 방법은 에지 방향 정보와 컬러 정보를 모두 호화함으로써 기존의 LDP 코드가 구별할 수 없었던 컬러정보 차이를 구별할 수 있고, 대부분 얼굴 영상의 컬러 정보가 특정 범위로 설정되어 있으므로 컬러 정보 코드는 얼굴 영상의 분석의 정확도를 높이는데 상당히 도움이 될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (11)

  1. 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서,
    얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계;
    상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계;
    상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계;
    상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계; 및
    상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계를 포함하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  2. 제1항에 있어서, 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는,
    상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 두번째 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  3. 제1항에 있어서, 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는,
    상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 상기 제1 계수의 화소을 제외한 나머지 방향의 픽셀 중 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  4. 제1항에 있어서, 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계는,
    상기 제1 계수와 제2 계수가 양수 임계치보다 클 경우에 제1 레벨 코드를 부여하고, 상기 제1 계수와 제2 계수가 음수 임계치보다 작을 경우에 제2 레벨 코드를 부여하며, 나머지 경우에 제3 레벨 코드를 부여하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  5. 제4항에 있어서,
    상기 인식용 코드는, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제3 레벨 코드인 경우에 해당 계수의 방향 정보가 유효한 에지 영역이 아니라고 판단하고, 해당 계수의 에지 반응 크기를 무시하여 최종 인식용 코드를 구성하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  6. 얼굴 영상을 획득한 후에 상기 획득한 얼굴 영상에 적어도 하나 이상의 얼굴 인식 알고리즘을 적용하여 얼굴 영상을 분석하는 얼굴 인식 시스템에 의해 수행되는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법에 있어서,
    얼굴 영상에서 n×n의 이웃 영역 화소를 설정하고, 상기 이웃 영역 화소의 대칭적인 컴퍼스 연산자를 m개 추출하는 단계;
    상기 이웃 영역 화소에서 상기 컴퍼스 연산자를 적용하여 m 방향의 에지 반응 크기를 구하는 단계;
    상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하고, 상기 제1 계수와 제2 계수를 방향 넘버로 표시하는 단계;
    상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계;
    상기 제1 계수, 제1 계수의 레벨 코드, 제2 계수 및 제2 계수의 레벨 코드를 근거로 하여 특정 비트의 지역 미세 패턴을 표현하는 인식용 코드를 구성하는 단계; 및
    상기 제1 계수 또는 제2 계수가 위치한 화소가 무효한 에지 영역을 포함하는 평활화 영역(Smooth) 영역인 경우에, 상기 얼굴 영상의 각 화소 컬러를 복수 개의 그룹으로 구분하여 저장하는 룩업테이블을 이용하여 컬러 정보를 결정하고, 상기 인식용 코드에 컬러 정보 코드를 부여하는 단계를 포함하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  7. 제6항에 있어서, 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는,
    상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 두번째 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  8. 제6항에 있어서, 상기 에지 반응 크기를 이용하여 최대 에지 반응 방향의 제1 계수와 상기 제1 계수를 제외한 최대 에지반응 방향의 제2 계수를 선정하는 단계는,
    상기 제1 계수를 최대 에지반응 방향의 화소로 선정하고, 상기 제2 계수를 상기 제1 계수의 화소을 제외한 나머지 방향의 화소 중 최대 에지반응 방향의 화소로 선정하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  9. 제6항에 있어서, 상기 제1 계수와 제2 계수의 에지 반응 크기와 기설정된 임계치를 비교하여 상기 제1 계수와 제2 계수를 다중 레벨로 구분하고, 상기 제1 계수와 제2 계수에 대한 레벨 코드를 부여하는 단계는,
    상기 제1 계수와 제2 계수가 양수 임계치보다 클 경우에 제1 레벨 코드를 부여하고, 상기 제1 계수와 제2 계수가 음수 임계치보다 작을 경우에 제2 레벨 코드를 부여하며, 나머지 경우에 제3 레벨 코드를 부여하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  10. 제9항에 있어서,
    상기 인식용 코드는, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제1 레벨 코드 또는 제2 레벨 코드인 경우에 유효한 에지 영역으로 판단하고, 상기 제1 계수의 레벨 코드 또는 제2 계수의 레벨 코드가 제3 레벨 코드인 경우에 평활화 영역이라고 판단하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
  11. 제6항에 있어서,
    상기 룩업테이블은, 상기 컬러 정보를 비트 수에 따라 C3 코드, C4 코드, C7 코드 및 C9 코드로 구분하고, 상기 C3 코드, C4 코드, C7 코드 및 C9 코드를 학습된 얼굴 영상의 각 화소 컬러를 특정한 비트로 표현하여 복수 개의 그룹으로 각각 구분하여 저장하는 것을 특징으로 하는 지역 미세 패턴을 이용한 얼굴 영상 분석 방법.
PCT/KR2013/010633 2013-11-20 2013-11-21 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 WO2015076433A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20130141216A KR101484002B1 (ko) 2013-11-20 2013-11-20 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
KR10-2013-0141216 2013-11-20
KR10-2013-0141214 2013-11-20
KR20130141214A KR101484001B1 (ko) 2013-11-20 2013-11-20 지역 미세 패턴을 이용한 얼굴 영상 분석 방법

Publications (1)

Publication Number Publication Date
WO2015076433A1 true WO2015076433A1 (ko) 2015-05-28

Family

ID=53179689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/010633 WO2015076433A1 (ko) 2013-11-20 2013-11-21 지역 미세 패턴을 이용한 얼굴 영상 분석 방법

Country Status (1)

Country Link
WO (1) WO2015076433A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117707A (zh) * 2015-08-29 2015-12-02 电子科技大学 一种基于区域图像的人脸表情识别方法
CN105205460A (zh) * 2015-09-17 2015-12-30 电子科技大学 基于最大方向编码的人脸表情特征提取及识别方法
CN109948584A (zh) * 2019-03-28 2019-06-28 北京深醒科技有限公司 一种基于对抗神经网络的微小人脸检测方法和装置
CN110516608A (zh) * 2019-08-28 2019-11-29 南京大学 一种基于多模态数据异常检测的微表情识别方法
CN111161281A (zh) * 2019-12-25 2020-05-15 广州杰赛科技股份有限公司 一种人脸区域识别方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012098842A1 (ja) * 2011-01-20 2012-07-26 パナソニック株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置
KR101314293B1 (ko) * 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012098842A1 (ja) * 2011-01-20 2012-07-26 パナソニック株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置
KR101314293B1 (ko) * 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADIN RAMIREZ RIVERA ET AL.: "Local Directional Number Pattern for Face Analysis: Face and Expression Recognition", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 22, no. 5, May 2013 (2013-05-01), pages 1740 - 1752 *
JUXIANG ZHOU ET AL.: "Facial Expression Recognition Based on Local Directional Pattern Using SVM Decision-level Fusion", CONFERENCE ON COMPUTER AND APPLICATIONS (CCA, vol. 17, 18 April 2013 (2013-04-18), HARBIN, CHINA, pages 126 - 232, Retrieved from the Internet <URL:http://www.conferen.org/CCA2013> *
TASKEED JABID ET AL.: "Robust Facial Expression Recognition Based on Local Directional Pattern", ETRI JOURNAL, vol. 32, no. 5, October 2010 (2010-10-01), pages 784 - 794 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117707A (zh) * 2015-08-29 2015-12-02 电子科技大学 一种基于区域图像的人脸表情识别方法
CN105205460A (zh) * 2015-09-17 2015-12-30 电子科技大学 基于最大方向编码的人脸表情特征提取及识别方法
CN109948584A (zh) * 2019-03-28 2019-06-28 北京深醒科技有限公司 一种基于对抗神经网络的微小人脸检测方法和装置
CN110516608A (zh) * 2019-08-28 2019-11-29 南京大学 一种基于多模态数据异常检测的微表情识别方法
CN111161281A (zh) * 2019-12-25 2020-05-15 广州杰赛科技股份有限公司 一种人脸区域识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
WO2015076433A1 (ko) 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
KR100559471B1 (ko) 대칭축을 이용한 얼굴 검출 시스템 및 방법
JP2000215318A (ja) 入力ベクトルをクラスタリングする方法
CN107292307B (zh) 一种倒置汉字验证码自动识别方法及系统
CN106909884B (zh) 一种基于分层结构和可变形部分模型的手部区域检测方法和装置
US20010040982A1 (en) Object extracting method using motion picture
Hong et al. A background subtraction for a vision-based user interface
WO2010131435A1 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
WO2022019675A1 (ko) 시설 평면도에 포함된 기호 분석 장치 및 방법
WO2014183246A1 (zh) 一种医学影像处理方法与系统
Narkhede et al. Color image segmentation using edge detection and seeded region growing approach for CIELab and HSV color spaces
WO2020004815A1 (ko) 데이터의 어노말리 감지 방법
KR100903816B1 (ko) 정지영상에서의 얼굴추출시스템과 그 방법
KR101875891B1 (ko) 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
US7403636B2 (en) Method and apparatus for processing an image
WO2012053811A9 (ko) 텐서 보팅에 기반을 둔 컬러 클러스터링 시스템 및 그 방법
ES2880462T3 (es) Método de procesamiento de un vídeo
WO2022092743A1 (ko) 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치
Blauensteiner et al. On colour spaces for change detection and shadow suppression
WO2020040348A1 (ko) 쿠다를 사용하여 gpu 리소스를 분배하는 지능형 얼굴 인식과 트래킹 시스템 및 그 방법
Sahoo et al. A fast valley-based segmentation for detection of slowly moving objects
WO2024014789A1 (ko) 차트축감지방법 및 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13897755

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.10.2016)

122 Ep: pct application non-entry in european phase

Ref document number: 13897755

Country of ref document: EP

Kind code of ref document: A1