KR101506812B1 - Head pose estimation method using random forests and binary pattern run length matrix - Google Patents

Head pose estimation method using random forests and binary pattern run length matrix Download PDF

Info

Publication number
KR101506812B1
KR101506812B1 KR20130120354A KR20130120354A KR101506812B1 KR 101506812 B1 KR101506812 B1 KR 101506812B1 KR 20130120354 A KR20130120354 A KR 20130120354A KR 20130120354 A KR20130120354 A KR 20130120354A KR 101506812 B1 KR101506812 B1 KR 101506812B1
Authority
KR
South Korea
Prior art keywords
image
face
image patch
binary
node
Prior art date
Application number
KR20130120354A
Other languages
Korean (ko)
Inventor
김현덕
이상헌
손명규
김동주
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR20130120354A priority Critical patent/KR101506812B1/en
Application granted granted Critical
Publication of KR101506812B1 publication Critical patent/KR101506812B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

The present invention relates to a method for estimating a head pose of a user using a head image of the user captured by a camera, comprising: a first step of calling binary test functions of each node and means and variances of head pose labels of each leaf, from a decision tree of a previously trained random forest; a second step of moving an input head image to obtain an image patch having the same size as that of the image patch which was randomly extracted when the random forest was trained; a third step of moving, by using the binary test function called above, the obtained image patch to nodes of the decision tree, from the uppermost node to the lowermost one, until the image patch reaches the corresponding leaf, and then designating the head pose label for the image patch; and a fourth step of repeatedly performing the third step with respect to all the image patches, and then outputting a mode value of the head pose labels for all the image patches, as a head pose label of the input head image.

Description

랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법{HEAD POSE ESTIMATION METHOD USING RANDOM FORESTS AND BINARY PATTERN RUN LENGTH MATRIX}BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a method of estimating facial attitude using a random forest and a binary pattern repetition length matrix,

본 발명의 실시예는 카메라를 통해 사용자의 얼굴 정보를 이용하여 얼굴 자세를 추정하는 기술에 관한 것이다.An embodiment of the present invention relates to a technique for estimating a face posture using face information of a user through a camera.

얼굴 자세를 추정하는 기술은 컴퓨터 비전 분야에서 중요한 주제 중 하나이다. 정확하고 견고한 얼굴 자세 추정 알고리즘은 다양한 분야에서 응용이 되고 있다. 예를 들면 인간-컴퓨터 인터페이스(HCI), 운전자 감시 시스템, 엔터테인먼트 시스템 등이 있다.The technique of estimating face posture is one of the important topics in computer vision. Accurate and robust face attitude estimation algorithms are being applied in various fields. For example, a human-computer interface (HCI), a driver surveillance system, and an entertainment system.

이러한 이유로 많은 연구자들에 의하여 빠르며 정확한 얼굴 자세 추정 알고리즘들이 개발되고 있으며, 대표적인 방법으로는 모델 기반 접근 방법과 외형 기반 접근 방법으로 나눌 수 있다.For this reason, fast and accurate facial attitude estimation algorithms have been developed by many researchers, and representative methods can be classified into a model-based approach and an outline-based approach.

모델 기반 접근 방식은 정확한 얼굴 자세를 추정하기 위하여 얼굴 특징의 위치(예를 들면, 눈, 입, 코 등)과 기하학적 얼굴 모델을 결합한다. 일반적으로 이러한 접근 방법은 제한된 범위의 얼굴 자세에 대해서 정확한 추정이 가능하다. 하지만, 낮은 해상도의 영상에서는 얼굴 특징을 찾기가 어렵기 때문에 정확한 추정이 힘들며 얼굴 특징의 정확한 추출이 중요하기 때문에 얼굴 가림 현상에 민감하다.The model-based approach combines geometric facial models with the location of facial features (eg, eye, mouth, nose, etc.) to estimate the correct face posture. In general, this approach allows accurate estimation of a limited range of facial attitudes. However, since it is difficult to find facial features in low resolution images, accurate estimation is difficult and accurate extraction of facial features is important.

외형 기반 접근 방식은 얼굴 영역 전체에서 기계학습을 이용하여 얼굴 자세를 추정한다. 주로 사용되는 기계 학습 방법으로는 SVM(Support Vector Machine), 신경망(Neural Networks) 등이 있으나 학습 데이터의 양이 증가함에 따라 학습 시간이 오래 걸리며 실시간 동작에 어려움이 있다.The contour based approach estimates the face posture using machine learning across the face region. The most commonly used machine learning methods are SVM (Support Vector Machine) and Neural Networks. However, as the amount of learning data increases, learning time is long and it is difficult to operate in real time.

본 발명의 실시예에서는 이러한 문제점을 해결하기 위하여 학습데이터의 양의 많고 적음에 상관 없이 효율적으로 학습이 가능하며 실시간 동작이 가능한 랜덤 포레스트를 이용한 얼굴 자세 추정 알고리즘을 제안하고자 한다.In order to solve such a problem, the embodiment of the present invention proposes a face posture estimation algorithm using a random forest which can efficiently perform learning regardless of the amount of learning data, and real time operation.

또한 조명 변화에 강인한 알고리즘을 위하여 얼굴 특징 추출 방법인 BPRLM(Binary Pattern Run Length Matrix)를 이용하도록 한다.Also, we use BPRLM (Binary Pattern Run Length Matrix), which is a face feature extraction method, for algorithms resistant to illumination change.

일 실시예에 따르면, 사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수와 각 리프(Leaf)의 얼굴 자세 라벨의 평균과 분산을 호출하는 제1 단계; 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 제2 단계; 상기 호출된 이진 테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 동일한 크기의 영상 패치에 얼굴 자세 라벨을 지정하는 제3 단계; 및 모든 영상 패치에 대하여 상기 제3 단계를 반복한 후, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 상기 입력 얼굴 영상의 얼굴 자세 라벨로 출력하는 단계를 포함하는 얼굴 자세 추정 방법이 제공될 수 있다.According to an exemplary embodiment, a binary test function of each node and a mean and variance of a face attitude label of each leaf are called in a previously learned random forest decision tree. A second step of extracting an image patch having the same size as the randomly extracted image patch in the random forest learning while moving the input face image; A third step of moving from the top to the bottom of the decision tree using the called binary test function and designating the face posture label to the image patch of the same size if the image patch of the same size reaches the leaf; And outputting the mode of the face attitude label designated for every image patch to the face attitude label of the input face image after repeating the third step for all the image patches Can be provided.

일측에 있어서, 상기 얼굴 자세 추정 방법은, 상기 랜덤 포레스트를 이용하여 학습하는 단계를 더 포함할 수 있다. 또한, 상기 랜덤 포레스트를 이용하여 학습하는 단계는, 학습 데이터들 중 일정 개수의 영상 패치를 랜덤하게 추출하는 단계; 상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계; 상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계; 및 상기 노드를 구성하는 도중에 미리 정해진 조건 중 적어도 하나의 조건을 만족하면 상기 노드의 구성을 멈추고 상기 얼굴 자세 라벨의 평균과 분산을 저장하는 단계를 포함할 수 있다In one aspect, the face posture estimation method may further include a step of learning using the random forest. In addition, the step of learning using the random forest may include: extracting a predetermined number of image patches randomly from the learning data; Calculating a binary pattern and a repetition length matrix from the predetermined number of image patches; Constructing a node by recursively assigning a binary test function while descending from the top to the bottom of the decision tree; And stopping the configuration of the node and storing an average and a variance of the face posture label if at least one of the predetermined conditions is satisfied while configuring the node

또 다른 측면에 있어서, 상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계는, 상기 영상 패치에서 랜덤하게 픽셀을 선택하고, 상기 선택된 픽셀의 화소값을 기준으로 인접 이웃 화소값이 차이를 이진값으로 나타냄으로써 상기 이진 패턴을 계산하는 단계; 및 상기 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 상기 반복 길이 행렬을 계산하는 단계를 포함할 수 있다.In another aspect of the present invention, the step of calculating the binary pattern and the repeating length matrix from the predetermined number of image patches may include the steps of: selecting a pixel at random in the image patch; Computing the binary pattern by representing the difference as a binary value; And computing the repetition length matrix by storing a repetition length value occurring for the repetition length in the binary pattern.

또 다른 측면에 있어서, 상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계는, 상기 영상 패치들의 상기 이진 테스트 함수 만족 여부에 따라 오른쪽 자식 노드 또는 왼쪽 자식 노드로 분할하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of allocating the binary test function recursively to the node while descending from the top to the bottom of the decision tree may include determining whether the right child node or the left child node satisfies the binary test function Lt; RTI ID = 0.0 > node. ≪ / RTI >

또 다른 측면에 있어서, 상기 미리 정해진 조건은, 상기 결정 트리의 최대 깊이에 도달하는 경우; 및 현재 노드에 속한 상기 영상 패치의 개수가 자식 노드를 만들기에 부족한 경우 중 적어도 하나를 포함할 수 있다.In another aspect, the predetermined condition is that when reaching a maximum depth of the decision tree; And a case in which the number of image patches belonging to the current node is insufficient for creating a child node.

또 다른 측면에 있어서, 상기 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 상기 제2 단계는, 상기 랜덤 추출된 영상 패치의 경계 부분에서 나타나는 오류를 피하기 위하여 일정 픽셀 수만큼 오버랩(Overlap)되도록 상기 랜덤 추출된 영상 패치를 이동시키면서 상기 동일한 크기의 영상 패치를 추출하는 단계를 포함할 수 있다.According to another aspect of the present invention, the second step of extracting an image patch having the same size as the randomly extracted image patch in the random forest learning while moving the input face image may include extracting an error And extracting the image patches of the same size while moving the randomly extracted image patches so as to overlap the predetermined number of pixels to avoid overexposure.

또 다른 측면에 있어서, 상기 호출된 이진테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 영상 패치에 얼굴 자세 라벨을 지정하는 상기 제3 단계는, 상기 동일한 크기의 영상 패치가 리프에 도달되면 이동을 멈추고, 상기 리프에 저장된 얼굴 자세 라벨의 분산값이 특정값 이하일 경우 상기 리프에 저장된 평균값을 상기 영상 패치의 얼굴 자세 라벨로 지정하는 단계를 포함할 수 있다.According to another aspect of the present invention, in the third step of moving from the top to the bottom of the decision tree using the called binary test function and designating the face posture label to the image patch when the image patch of the same size reaches the leaf, Stopping the movement when the image patch of the same size reaches the leaf and designating the average value stored in the leaf as the face attitude label of the image patch when the variance value of the face attitude label stored in the leaf is less than a specific value .

기존의 얼굴 자세 추정방법들은 학습 데이터의 양이 증가함에 따라서 시간이 오래 걸리며 조명 변화에 대응하지 못하여 실제 응용함에 있어서 어려움이 있었으나 랜덤 포레스트 분류기를 이용하여 빅데이터에서도 실시간 구현이 가능하며, 이진 패턴 반복 길이 행렬을 고안하여 조명 변화에도 강인한 얼굴 자세 추정 방법을 제안할 수 있다.Conventional face posture estimation methods have a long time as the amount of learning data increases and they are difficult to apply in real applications because they can not cope with illumination change. However, it is possible to real time realization in big data using a random forest classifier, We can propose a robust method for estimating the face posture by devising a matrix of lengths.

또한, 이러한 방법을 이용하여 인간-컴퓨터 인터페이스 (HCI), 운전자 감시 시스템, 엔터테인먼트 시스템 등 다양한 분야에서 응용이 가능할 것으로 기대할 수 있다.In addition, it can be expected that this method can be applied to various fields such as a human-computer interface (HCI), a driver surveillance system, and an entertainment system.

도 1은 본 발명의 일실시예에 있어서, 랜덤 포레스트를 학습하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 이진 패턴을 생성하는 예시를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 이진 패턴 반복 길이 행렬을 생성하는 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 랜덤 포레스트를 이용하여 얼굴 자세 레벨의 추정 방법을 설명하기 위한 흐름도이다.1 is a flow chart for explaining a method of learning a random forest in an embodiment of the present invention.
2 is a diagram showing an example of generating a binary pattern in an embodiment of the present invention.
3 is a diagram illustrating an example of generating a binary pattern repetition length matrix in an embodiment of the present invention.
4 is a flowchart for explaining a method of estimating a face posture level using a random forest in an embodiment of the present invention.

이하, 랜덤 포레스트를 이용한 얼굴 자세 추정 방법에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.Hereinafter, a face posture estimation method using a random forest will be described in detail with reference to the accompanying drawings.

본 발명에서는 기존의 다양한 기계 학습 접근 방법과는 다르게, 랜덤 포레스트(Random Forest)를 이용한 얼굴 자세 인식 방법을 제안하고자 한다.In the present invention, unlike the conventional various machine learning approaches, a method of recognizing a face posture using a random forest is proposed.

랜덤 포레스트란 집단 학습법의 일종으로, 다수의 결정 트리를 조합하여 정밀도가 높은 식별기를 획득하는 방법이며, 적은 계산량으로 높은 식별 성능을 얻을 수 있어, 최근 컴퓨터 비전 분야에서 인기 있는 기계 학습 방법이다. 2001년 Breiman에 의해서 처음 고안되었으며, 이후 다양하게 변형되어 왔고, 그 중 본 발명에서는 LBP(Local Binary Pattern)와 GLRLM(Gray Level Run Length Matrix)을 결합한 BPRLM(Binary Pattern Run Length Matrix)을 이용한 랜덤 포레스트 기반의 얼굴 자세 추정 방법을 제안한다. BPRLM에 대해서는 이후 자세히 설명하도록 한다.Random forest is a kind of group learning method. It is a method of acquiring a highly accurate discriminator by combining a plurality of decision trees. It is a popular machine learning method in the field of computer vision since it can obtain high identification performance with a small calculation amount. In the present invention, a random forest (BPRLM) using a Binary Pattern Run Length Matrix (LRLB) combining a local binary pattern (LBP) and a gray level run length matrix (GLRLM) Based face posture estimation method. The BPRLM will be described in detail later.

랜덤 포레스트를 이용하여 얼굴 자세를 추정하기 위해서는 랜덤 포레스트를 학습하여 랜덤 포레스트에 포함되는 결정 트리들의 노드(Node)와 리프(Leaf)를 미리 구성하도록 한다.In order to estimate the face posture using the random forest, the node and the leaf of the decision trees included in the random forest are learned in advance by learning the random forest.

도 1은 본 발명의 일실시예에 있어서, 랜덤 포레스트를 학습하는 방법을 설명하기 위한 흐름도이다.1 is a flow chart for explaining a method of learning a random forest in an embodiment of the present invention.

단계(110)에서는 다수 개의 학습할 데이터들 중에서 랜덤하게 일정 개수의 영상 패치를 추출할 수 있다. 실시예에 있어서, 학습할 데이터는 영상, 이미지 데이터를 의미하며, 영상 패치는 해당 데이터의 한 조각을 의미할 수 있다. 영상 패치의 크기는 데이터의 크기에 따라서 다양하게 사용할 수 있으며, 실시예에 있어서, 80 x 80 픽셀의 크기를 사용할 수 있다. 또 다른 실시예에 있어서, 영상 패치를 추출할 때에 영상 패치의 경계 부분이 일정 부분 오버랩(Overlap)되도록 영상 패치를 추출할 수 있다.In step 110, a predetermined number of image patches may be randomly extracted from a plurality of data to be learned. In the embodiment, data to be learned means image and image data, and an image patch can mean one piece of the corresponding data. The size of the image patch can be variously used according to the size of the data, and in the embodiment, a size of 80 x 80 pixels can be used. In another embodiment, when extracting the image patch, the image patch may be extracted so that the boundary portion of the image patch overlaps a certain portion.

단계(120)에서는 추출된 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산할 수 있다. 해당 단계는 영상 패치로부터 특징을 추출하기 위한 것이다.In step 120, a binary pattern and a repeating length matrix may be calculated from the extracted predetermined number of image patches. The step is to extract the feature from the image patch.

먼저, BPRLM을 계산하기 위해서 이진 패턴을 계산하는 방법에 대해서 설명한다.First, a method of calculating a binary pattern to calculate BPRLM will be described.

도 2는 본 발명의 일실시예에 있어서, 이진 패턴을 생성하는 예시를 도시한 도면이다. 랜덤하게 추출된 영상 패치에서 랜덤하게 픽셀을 선택하고, 선택된 픽셀의 화소값을 기준으로 인접 이웃 화소값이 차이를 이진값으로 나타냄으로써 이진 패턴을 계산할 수 있다. 2 is a diagram showing an example of generating a binary pattern in an embodiment of the present invention. The binary pattern can be calculated by randomly selecting a pixel in a randomly extracted image patch and representing the difference between adjacent neighboring pixel values as a binary value based on the pixel value of the selected pixel.

도 2에 도시된 실시예를 통해 설명하면, 3의 화소값을 가지는 픽셀을 기준으로 인접 픽셀 8개의 값을 이진값으로 즉 0과 1의 값으로 나타낼 수 있는데, 실시예에 있어서, 기준 픽셀의 화소값 이하의 화소값에 대해서는 0으로 또한 기준 픽셀의 화소값보다 큰 화소값에 대해서는 1로 나타낼 수 있다. 따라서, 기준 픽셀의 화소값인 3보다 작은 1과 2에 대해서는 0으로 기록하며, 4 내지 8의 값에 대해서는 1로 기록할 수 있다.Referring to FIG. 2, eight neighboring pixels may be represented by binary values, that is, 0 and 1, based on a pixel having a pixel value of 3. In an exemplary embodiment, 0 " for a pixel value smaller than a pixel value and 1 for a pixel value larger than the pixel value of the reference pixel. Therefore, 0 and 1 can be written for 1 and 2 smaller than 3, which is the pixel value of the reference pixel, and 1 for values of 4 to 8, respectively.

또한, 이진 패턴으로 나타낼 때, 기준 위치를 기준으로 한쪽 방향으로 순서대로 기록함으로써 랜덤으로 선택한 다수 개의 픽셀에 대해서 각각 이진 패턴을 계산하여 기록할 수 있다. 따라서, 도 2의 실시예에 대란 이진 패턴은 ‘11000011’로 기록할 수 있다.In addition, when represented by a binary pattern, binary patterns can be calculated and recorded for a plurality of pixels randomly selected by sequentially recording in one direction with reference to the reference position. Therefore, in the embodiment of FIG. 2, the large binary pattern can be recorded as '11000011'.

이진 패턴을 생성한 후, 반복 길이 행렬(Run Length Matrix)을 계산할 수 있다. 이때, 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 반복 길이 행렬을 계산할 수 있다. 실시예에 있어서, 반복 길이는 동일한 값을 연속적으로 가지는 개수를 의미하며, 반복 길이 값은 패턴에서 반복 길이가 발생하는 횟수를 의미할 수 있다.After generating the binary pattern, a Run Length Matrix can be calculated. At this time, it is possible to calculate the repetition length matrix by storing the repetition length value occurring for the repetition length in the binary pattern. In an embodiment, the repetition length means the number of consecutive identical values, and the repetition length value can mean the number of times the repetition length occurs in the pattern.

도 3은 본 발명의 일실시예에 있어서, 이진 패턴 반복 길이 행렬을 생성하는 일례를 설명하기 위한 도면이다.3 is a diagram for explaining an example of generating a binary pattern repetition length matrix in an embodiment of the present invention.

랜덤하게 선택된 하나의 영상 패치에 대해서 랜덤하게 픽셀을 선택할 수 있다. 도 3에 도시된 실시예에 있어서, 영상 패치에서 두 개의 픽셀을 랜덤하게 선택하는 것에 대해 도시하고 있다.A pixel can be randomly selected for one image patch selected at random. In the embodiment shown in FIG. 3, a random selection of two pixels in an image patch is shown.

두 픽셀 중 하나의 픽셀을 BP1, 나머지 하나의 픽셀을 BP2라고 하여 각각의 픽셀에 대해서 이진 패턴을 계산할 수 있다. 이진 패턴을 계산하는 방법은 도 2를 통한 설명을 참조할 수 있다. 실시예에 따른 계산 결과, BP1은 01110100, BP2는 11110100의 값을 각각 얻을 수 있다.A binary pattern can be calculated for each pixel by setting one pixel of two pixels to BP 1 and the other pixel to BP 2 . A method of calculating the binary pattern can be described with reference to FIG. Calculation, BP 1 according to an embodiment is 01110100, BP 2 can obtain a value of 11.1101 million respectively.

그리고 이진 패턴을 이용하여 BPRLM을 계산함으로써 이진 패턴 반복 길이 행렬을 생성할 수 있다.Then, the binary pattern repetition length matrix can be generated by calculating the BPRLM using the binary pattern.

도 3에 의하면, BP1에 BPRLM을 계산한 것을 BPRLM1으로, BP2에 대해 BPRLM을 계산한 것을 BPRLM2로 나타내며, BPRLM을 계산한 결과는 행렬로 나타낼 수 있다.Referring to Figure 3, to calculate the BPRLM the BP 1 to BPRLM 1, denoted by BPRLM 2 that calculates a BPRLM for BP 2, calculation results of the BPRLM may be represented by a matrix.

앞서 설명한 바와 같이, 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 반복 길이 행렬을 계산할 수 있다.As described above, the iterative length matrix can be calculated by storing the iteration length value that occurs for the iteration length in the binary pattern.

따라서, BP1 및 BP2에 대해서 0과 1이 반복적으로 얼마나 나타나는 가에 대해서 행렬로서 나타낼 수 있다.Therefore, it can be expressed as a matrix as to how many times 0 and 1 appear repeatedly for BP 1 and BP 2 .

실시예에 있어서, BP1은 01110100 이므로, 연속되는 수가 존재하지 않는 0은 2개 1은 1개 존재하며, 0이 1번 연속되는 수가 1번, 1이 2번 연속되는 수가 1번 존재하므로, 각각의 값을 행렬 위치에 적절하게 배치시킬 수 있다. 한편, BP2는 11110100의 이진 패턴을 가지므로, 1이 3번 연속으로 1번 나타나며, 0과 1이 각각 1번 연속되지 않은 수로 나타나고, 0이 1번 연속으로 1번 나타나는 것을 계산할 수 있으며, 마찬가지로 행렬로 도 3과 같이 생성할 수 있다.In the embodiment, since BP 1 is 01110100, there exists 0 for 2 and 1 for 0 in which there are no consecutive numbers, and 0 is the number of consecutive 1s and 1 is 2 consecutive numbers, Each value can be appropriately placed at the matrix location. On the other hand, since BP 2 has a binary pattern of 11110100, 1 appears three times in a row, 0 and 1 are not consecutive numbers, and 0 is 1 consecutive number, Similarly, a matrix can be generated as shown in FIG.

도 1로 돌아가서, 도 1의 단계(130)에서는 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성할 수 있다. 이로서 결정 트리의 노드를 구성할 수 있다.Referring back to FIG. 1, in step 130 of FIG. 1, a node may be constructed by allocating a binary test function recursively from the top to the bottom of the decision tree. This allows the nodes of the decision tree to be constructed.

해당 단계에서는 부모 노드에서 자식 노드로 계속적으로 분할하는 단계가 반복될 수 있다. 이때, 영상 패치들의 이진 테스트 함수 만족 여부에 따라 오른쪽 자식 노드 또는 왼쪽 자식 노드로 분할할 수 있다. 실시예에 있어서, 영상 패치가 이진 테스트 함수를 만족하면 오른쪽 자식 노드로 분할되고, 그렇지 않은 경우엔 왼쪽 자식 노드로 분할될 수 있다. 영상 패치가 이진 테스트 함수를 만족한다는 기준은 앞서 도 3을 통해 설명한 이진 패턴 반복 길이 행렬에 대한 이진 테스트 함수를 만족한다는 것을 의미할 수 있다.In this step, the step of continuously dividing from the parent node to the child node may be repeated. At this time, it can be divided into the right child node or the left child node according to the satisfaction of the binary test function of the image patches. In an embodiment, if the image patch satisfies the binary test function, it is divided into right child nodes, otherwise it can be split into left child nodes. The criterion that the image patch satisfies the binary test function may mean that it satisfies the binary test function for the binary pattern repeat length matrix described in FIG.

실시예에 따른 이진 테스트 함수를 수학식 1과 같이 정의할 수 있다.The binary test function according to the embodiment can be defined as Equation (1).

Figure 112013091386195-pat00001
Figure 112013091386195-pat00001

여기서,

Figure 112013091386195-pat00002
는 p 픽셀에서의 이진 패턴 반복 길이 행렬의 (i, j)번째 값이고, τ는 임계값을 의미할 수 있다. 이와 같은 이진 테스트 함수를 한 개의 부모 노드에서 랜덤하게 약 2000개를 선택한 뒤 자식 노드로의 분할을 시행할 수 있다.here,
Figure 112013091386195-pat00002
Is the (i, j) th value of the binary pattern repetition length matrix at p pixels, and τ can mean a threshold value. The binary test function can be selected at random from about 2000 nodes in one parent node and then split into child nodes.

테스트 함수 중 최적의 테스트 함수 하나를 선택하여 부모 노드에 저장할 수 있는데, 최적의 테스트 함수를 선택하는 방법은 다양하게 시도되고 있다. 본 발명에서는 수학식 2와 같은 함수를 이용하여 최적의 테스트 함수를 선택할 수 있다.One of the test functions can be selected and stored in the parent node. There are various attempts to select the optimal test function. In the present invention, an optimal test function can be selected using a function such as Equation (2).

Figure 112013091386195-pat00003
Figure 112013091386195-pat00003

여기서, ni와 μi는 각 자식 노드 i에서의 영상 패치의 개수와 얼굴 자세 라벨의 평균을 의미하며, ci , j는 i번째 자식 노드에 속해 있는 j번째 샘플 패치의 얼굴 자세 라벨을 의미하고, μ는 부모 노드에 속해 있는 샘플 패치 전체의 얼굴자세 라벨의 평균을 의미할 수 있다. Here, n i and μ i mean the number of image patches and the average of facial attitude labels at each child node i, and c i , j means the face attitude label of the jth sample patch belonging to the i-th child node , And μ may mean the average of the face attitude label of the entire sample patch belonging to the parent node.

단계(140)에서는 노드를 구성하는 도중에 미리 정해진 조건 중 적어도 하나의 조건을 만족하면 노드의 구성을 멈추고 상기 얼굴 자세 라벨의 평균과 분산을 저장할 수 있다. 해당 단계를 통해서 결정 트리의 리프(Leaf)를 구성할 수 있다.In step 140, if at least one of the predetermined conditions is satisfied during the construction of the node, the configuration of the node can be stopped and the average and variance of the face posture label can be stored. Through this step, a leaf of the decision tree can be constructed.

여기서, 미리 정해진 조건은 상기 결정 트리의 최대 깊이에 도달하는 경우, 또는 현재 노드에 속한 영상 패치의 개수가 적은 경우, 즉 현재 노드에 속한 영상 패치의 개수가 자식 노드를 만들기에 부족한 경우 등에 해당할 수 있다.Here, when the predetermined condition reaches the maximum depth of the decision tree, or when the number of image patches belonging to the current node is small, that is, when the number of image patches belonging to the current node is insufficient for creating a child node .

이상 설명한 방법을 반복하여 여러 개의 결정 트리를 만드는 과정을 랜덤 포레스트를 학습하는 단계로 설명할 수 있다.The process of creating multiple decision trees by repeating the above-described method can be described as learning a random forest.

학습된 랜덤 포레스트를 이용하여 새로이 입력되는 얼굴 영상에 대해서 얼굴 자세, 특히 얼굴 자세 레벨에 대해서 추정할 수 있다. 실시예에 있어서, 얼굴 자세 레벨은 정면을 기준으로 얼굴이 상하 방향, 좌우 방향으로 이동한 각도 레벨에 대한 정보를 포함할 수 있다.The face posture, especially the face posture level, can be estimated for the newly inputted face image using the learned random forest. In an embodiment, the face posture level may include information on the angle level of the face moving in the up-and-down direction and the left-right direction with respect to the front face.

도 4는 본 발명의 일실시예에 있어서, 랜덤 포레스트를 이용하여 얼굴 자세 레벨의 추정 방법을 설명하기 위한 흐름도이다.4 is a flowchart for explaining a method of estimating a face posture level using a random forest in an embodiment of the present invention.

단계(410)에서는 사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수와 각 리프(Leaf)의 얼굴 자세 라벨의 평균과 분산을 호출할 수 있다. 실시예에 있어서, 도 1 내지 도 3을 통해 설명한 랜덤 포레스트 학습을 통해 구성된 결정 트리에 대해서 호출하는 것이다.In step 410, the binary test function of each node and the average and variance of the face attitude labels of each leaf in the previously learned random forest decision tree can be called. In the embodiment, a decision tree constructed through the random forest learning described with reference to FIGS. 1 to 3 is called.

단계(420)에서는 입력 얼굴 영상을 이동하면서 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출할 수 있다. 이때, 좌 상단에서 우 하단 방향으로 영상 패치가 추출될 수 있으며, 실시예에 있어서, 입력 얼굴 영상의 모든 픽셀에 대해서 영상 패치에 할당되도록 할 수 있다.In operation 420, an image patch having the same size as that of the randomly extracted image patch can be extracted in the random forest learning while moving the input face image. At this time, an image patch may be extracted from the upper left to the lower right direction, and in the embodiment, all the pixels of the input face image may be allocated to the image patch.

입력 얼굴 영상의 영상 패치를 추출할 때, 이웃한 영상 패치 사이의 경계 부분에서 오류가 나타나는 것을 방지하기 위해서 일정 픽셀씩 겹치도록, 예컨대 5픽셀 정도씩 오버랩되도록 영상 패치를 추출할 수 있다.When extracting the image patches of the input face image, the image patches may be extracted so as to overlap by a predetermined number of pixels, for example, about 5 pixels, in order to prevent errors from appearing at the boundary between adjacent image patches.

그리고 단계(430)에서는 호출된 이진 테스트 함수를 이용하여 결정 트리의 상단부터 하단으로 이동하며 영상 패치가 리프에 도달되면, 영상 패치에 얼굴 자세 라벨을 지정할 수 있다.In step 430, the invoked binary test function is used to move from the top to the bottom of the decision tree. If the image patch reaches the leaf, the face patch can be assigned to the image patch.

실시예에 있어서, 추출된 얼굴 패치를 하나씩 호출된 이진 테스트 함수에 적용하여 결정 트리의 상단에서 하단으로 이동시키도록 할 수 있다. 영상 패치가 리프에 도달하면 멈추고, 해당 리프에 저장되어 있는 얼굴 자세 라벨의 분산값이 특정값 이하일 경우, 해당 영상 패치의 얼굴 자세 라벨을 도달한 리프에 저장된 평균값으로 출력할 수 있다.In an embodiment, the extracted face patches may be applied to the called binary test function one by one to move from the top to the bottom of the decision tree. When the image patch reaches the leaf, the image patch is stopped and when the variance value of the face attitude label stored in the leaf is less than a specific value, the face attitude label of the image patch can be outputted as the average value stored in the reached leaf.

해당 단계는 랜덤 포레스트 학습 방법과는 달리 부모 노드에서 자식 노드로 분할하는 개념이 아닌 하나의 영상 패치가 노드를 타고 이동하는 개념으로 생각할 수 있다.Unlike the random forest learning method, the step is not a concept of dividing a parent node into child nodes, but a single image patch can be considered as a concept moving through a node.

단계(440)은 모든 영상 패치에 대해서 단계(410) 내지 단계(430)의 단계를 반복한 후에, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 입력 얼굴 영상의 얼굴 자세 라벨로서 출력할 수 있다.Step 440 repeats steps 410 to 430 for all image patches and then sets the mode of the face attitude label designated for every image patch to the face attitude label of the input face image Can be output.

단계(410) 내지 단계(430)을 거친 모든 영상 패치에 대해서 얼굴 자세 라벨이 지정될 수 있는데, 여기서 최빈값, 즉 지정된 빈도 수가 높은 값에 대해서 얼굴 자세 라벨로서 출력할 수 있다.The face attitude label can be designated for all the image patches passed through steps 410 to 430. Here, the mode attitude label can be outputted as the face attitude label for the mode value, that is, for the higher frequency value.

기존의 얼굴 자세 추정방법들은 학습데이터의 양이 증가함에 따라서 시간이 오래 걸리며 조명변화에 대응하지 못하여 실제 응용함에 있어서 어려움이 있었으나, 이와 같이 랜덤 포레스트 분류기를 이용하여 빅데이터에서도 실시간 구현이 가능하며, 이진 패턴 반복 길이 행렬을 고안하여 조명 변화에도 강인한 얼굴 자세 추정 방법을 제안할 수 있다.Conventional face posture estimation methods have a long time as the amount of learning data increases, and they are difficult to be applied in practical applications because they can not cope with illumination change. However, real-time realization can also be realized in big data using a random forest classifier, We can propose a robust face attitude estimation method by devising a binary pattern repetition length matrix.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk and a magnetic tape, optical media such as CD-ROM and DVD, magnetic disks such as a floppy disk, - Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents thereof, the appropriate results may be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (8)

사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수 및 각 리프(Leaf)의 얼굴 자세 라벨의 평균 값과 분산 값을 불러오는 제1 단계;
입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 제2 단계;
상기 불러온 이진 테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 동일한 크기의 영상 패치에 얼굴 자세 라벨을 지정하는 제3 단계; 및
모든 영상 패치에 대하여 상기 제3 단계를 반복한 후, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 상기 입력 얼굴 영상의 얼굴 자세 라벨로 출력하는 단계; 및
상기 랜덤 포레스트를 이용하여 학습하는 단계
를 포함하고,
상기 얼굴 자세 라벨은,
정면을 기준으로 얼굴이 상하 방향, 좌우 방향으로 이동한 각도 레벨을 포함하며,
상기 랜덤 포레스트를 이용하여 학습하는 단계는,
학습 데이터들 중 일정 개수의 영상 패치를 랜덤하게 추출하는 단계;
상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계;
상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계; 및
상기 노드를 구성하는 도중에 미리 정해진 조건 중 적어도 하나의 조건을 만족하면 상기 노드의 구성을 멈추고 상기 얼굴 자세 라벨의 평균과 분산을 저장하는 단계
를 포함하는 얼굴 자세 추정 방법.A first step of retrieving a binary test function of each node and an average value and a variance value of a face attitude label of each leaf in a decision tree of a random forest learned in advance;
A second step of extracting an image patch having the same size as the randomly extracted image patch in the random forest learning while moving the input face image;
A third step of moving from the top to the bottom of the decision tree using the loaded binary test function and designating the face posture label to the image patch of the same size when the image patch of the same size reaches the leaf; And
Outputting a mode of the face attitude label designated for every image patch to the face attitude label of the input face image after repeating the third step for all the image patches; And
A step of learning using the random forest
Lt; / RTI >
The face posture label,
The face includes an angle level moved in the vertical direction and the horizontal direction with respect to the front face,
Wherein the learning using the random forest comprises:
Extracting a predetermined number of image patches randomly from the learning data;
Calculating a binary pattern and a repetition length matrix from the predetermined number of image patches;
Constructing a node by recursively assigning a binary test function while descending from the top to the bottom of the decision tree; And
And stopping the configuration of the node and storing the average and variance of the face posture label if at least one of the predetermined conditions is satisfied while configuring the node
The method comprising the steps of: 삭제delete 제1항에 있어서,
상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계는,
상기 영상 패치에서 랜덤하게 픽셀을 선택하고, 상기 선택된 픽셀의 화소값을 기준으로 인접 이웃 화소값이 차이를 이진값으로 나타냄으로써 상기 이진 패턴을 계산하는 단계; 및
상기 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 상기 반복 길이 행렬을 계산하는 단계
를 포함하는 얼굴 자세 추정 방법.The method according to claim 1,
Wherein the step of calculating the binary pattern and the repeating length matrix from the predetermined number of image patches comprises:
Calculating a binary pattern by randomly selecting a pixel in the image patch and representing a difference between neighboring neighboring pixel values based on a pixel value of the selected pixel as a binary value; And
Calculating the repetition length matrix by storing a repetition length value occurring for the repetition length in the binary pattern
The method comprising the steps of: 제1항에 있어서,
상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계는,
상기 영상 패치들의 상기 이진 테스트 함수 만족 여부에 따라 오른쪽 자식 노드 또는 왼쪽 자식 노드로 분할하는 단계
를 포함하는 얼굴 자세 추정 방법.The method according to claim 1,
The step of recursively allocating a binary test function to form a node while descending from the top to the bottom of the decision tree,
Dividing the image patches into right child nodes or left child nodes according to whether the image patches satisfy the binary test function
The method comprising the steps of: 제1항에 있어서,
상기 미리 정해진 조건은,
상기 결정 트리의 최대 깊이에 도달하는 경우; 및
현재 노드에 속한 상기 영상 패치의 개수가 자식 노드를 만들기에 부족한 경우
중 적어도 하나를 포함하는 얼굴 자세 추정 방법.The method according to claim 1,
The predetermined condition is that,
When reaching a maximum depth of the decision tree; And
If the number of image patches belonging to the current node is insufficient for creating a child node
The method comprising the steps of: 제1항에 있어서,
상기 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 상기 제2 단계는,
상기 랜덤 추출된 영상 패치의 경계 부분에서 나타나는 오류를 피하기 위하여 일정 픽셀 수만큼 오버랩(Overlap)되도록 상기 랜덤 추출된 영상 패치를 이동시키면서 상기 동일한 크기의 영상 패치를 추출하는 단계
를 포함하는 얼굴 자세 추정 방법.The method according to claim 1,
The second step of extracting an image patch having the same size as the randomly extracted image patch in the random forest learning while moving the input face image,
Extracting the image patches of the same size while moving the randomly extracted image patches so as to overlap by a predetermined number of pixels to avoid an error appearing at a boundary portion of the randomly extracted image patches
The method comprising the steps of: 제1항에 있어서,
상기 불러온 이진테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 영상 패치에 얼굴 자세 라벨을 지정하는 상기 제3 단계는,
상기 동일한 크기의 영상 패치가 리프에 도달되면 이동을 멈추고, 상기 리프에 저장된 얼굴 자세 라벨의 분산값이 특정값 이하일 경우 상기 리프에 저장된 평균값을 상기 영상 패치의 얼굴 자세 라벨로 지정하는 단계
를 포함하는 얼굴 자세 추정 방법.The method according to claim 1,
The third step of moving the image from the top to the bottom of the decision tree using the loaded binary test function and designating the face posture label to the image patch when the image patch of the same size reaches the leaf,
Stopping movement when the image patch of the same size reaches the leaf and designating the average value stored in the leaf as the face attitude label of the image patch when the variance value of the face attitude label stored in the leaf is less than a specific value
The method comprising the steps of: 제1항에 있어서,
상기 이진 테스트 함수는,
[수학식]
Figure 112013091386195-pat00004

이고,
Figure 112013091386195-pat00005
는 p 픽셀에서의 이진 패턴 반복 길이 행렬의 (i, j)번째 값이고, τ는 임계값
인 얼굴 자세 추정 방법.
The method according to claim 1,
Wherein the binary test function comprises:
[Mathematical Expression]
Figure 112013091386195-pat00004

ego,
Figure 112013091386195-pat00005
Is the (i, j) th value of the binary pattern repetition length matrix at p pixels, and < RTI ID = 0.0 >
Face posture estimation method.
KR20130120354A 2013-10-10 2013-10-10 Head pose estimation method using random forests and binary pattern run length matrix KR101506812B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130120354A KR101506812B1 (en) 2013-10-10 2013-10-10 Head pose estimation method using random forests and binary pattern run length matrix

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130120354A KR101506812B1 (en) 2013-10-10 2013-10-10 Head pose estimation method using random forests and binary pattern run length matrix

Publications (1)

Publication Number Publication Date
KR101506812B1 true KR101506812B1 (en) 2015-04-08

Family

ID=53033638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130120354A KR101506812B1 (en) 2013-10-10 2013-10-10 Head pose estimation method using random forests and binary pattern run length matrix

Country Status (1)

Country Link
KR (1) KR101506812B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005273A (en) * 2015-07-02 2017-01-12 주식회사 에스원 System of Facial Feature Point Descriptor for Face Alignment and Method thereof
CN106650637A (en) * 2016-12-02 2017-05-10 华中师范大学 Smiling face detector based on condition random forests and method
KR101772818B1 (en) 2016-06-23 2017-08-29 이화여자대학교 산학협력단 Head pose estimation method based on mb-lbp
KR20190022027A (en) * 2017-08-25 2019-03-06 (주)뉴옵틱스 Cytometry apparatus and method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G Fanelli, J Gall, L Van Gool, 'Real Time Head Pose Estimation with Random Regression Forests', Computer Vision and Pattern Recognition (CVPR), 2011년 6월, pp. 617-624 *
G Fanelli, J Gall, L Van Gool, 'Real Time Head Pose Estimation with Random Regression Forests', Computer Vision and Pattern Recognition (CVPR), 2011년 6월, pp. 617-624*

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005273A (en) * 2015-07-02 2017-01-12 주식회사 에스원 System of Facial Feature Point Descriptor for Face Alignment and Method thereof
KR101705584B1 (en) 2015-07-02 2017-02-13 주식회사 에스원 System of Facial Feature Point Descriptor for Face Alignment and Method thereof
KR101772818B1 (en) 2016-06-23 2017-08-29 이화여자대학교 산학협력단 Head pose estimation method based on mb-lbp
CN106650637A (en) * 2016-12-02 2017-05-10 华中师范大学 Smiling face detector based on condition random forests and method
KR20190022027A (en) * 2017-08-25 2019-03-06 (주)뉴옵틱스 Cytometry apparatus and method
KR101995764B1 (en) 2017-08-25 2019-07-03 (주)뉴옵틱스 Cytometry apparatus and method

Similar Documents

Publication Publication Date Title
JP6972757B2 (en) Control programs, control methods, and information processing equipment
JP6972756B2 (en) Control programs, control methods, and information processing equipment
EP3620979A1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
JP4970531B2 (en) A method for automatically characterizing the behavior of one or more objects.
KR102315574B1 (en) Apparatus and method for classification of data, apparatus and method for segmentation of region of interest
US20130177235A1 (en) Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US20100315410A1 (en) System and method for recovering three-dimensional particle systems from two-dimensional images
KR20130121202A (en) Method and apparatus for tracking object in image data, and storage medium storing the same
KR101506812B1 (en) Head pose estimation method using random forests and binary pattern run length matrix
JP4553044B2 (en) Group learning apparatus and method
JP6597914B2 (en) Image processing apparatus, image processing method, and program
US9619729B2 (en) Density measuring device, density measuring method, and computer program product
KR101994319B1 (en) Apparatus of recognizing an object using a depth image and method thereof
CN110378942A (en) Barrier identification method, system, equipment and storage medium based on binocular camera
JP6577397B2 (en) Image analysis apparatus, image analysis method, image analysis program, and image analysis system
CN111008631A (en) Image association method and device, storage medium and electronic device
EP3623991A1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
JP6713422B2 (en) Learning device, event detection device, learning method, event detection method, program
KR101991186B1 (en) Bar detection method and apparatus
JP2018180646A (en) Object candidate area estimation device, object candidate area estimation method and object candidate area estimation program
KR102336284B1 (en) Moving Object Detection Method and System with Single Camera
KR101592087B1 (en) Method for generating saliency map based background location and medium for recording the same
JP2011232845A (en) Feature point extracting device and method
CN111860261B (en) Passenger flow value statistical method, device, equipment and medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 6