KR101307984B1 - Method of robust main body parts estimation using descriptor and machine learning for pose recognition - Google Patents
Method of robust main body parts estimation using descriptor and machine learning for pose recognition Download PDFInfo
- Publication number
- KR101307984B1 KR101307984B1 KR1020120097695A KR20120097695A KR101307984B1 KR 101307984 B1 KR101307984 B1 KR 101307984B1 KR 1020120097695 A KR1020120097695 A KR 1020120097695A KR 20120097695 A KR20120097695 A KR 20120097695A KR 101307984 B1 KR101307984 B1 KR 101307984B1
- Authority
- KR
- South Korea
- Prior art keywords
- body part
- main body
- edge
- point
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 주요 신체부위 추정방법에 관한 것으로, 보다 구체적으로는 신체 끝부분을 검출할 수 있는 방향성 기술자와 기계학습을 통한 학습데이터를 이용하여 머리, 손 및 발과 같은 주요 신체부위를 실시간으로 추정함으로써 사람의 자세 인식을 위한 정보를 제공할 수 있는 주요 신체부위 추정방법에 관한 것이다.
The present invention relates to a method for estimating main body parts, and more specifically, to estimate main body parts such as head, hands and feet in real time by using a directional technician capable of detecting a body end and learning data through machine learning. The present invention relates to a method for estimating major body parts, which can provide information for recognizing a person's posture.
사람의 주요 신체부위 추정을 통한 자세 인식은 비접촉식 인터페이스 시스템의 개발을 위해서 필수적인 과정이다.Posture recognition by estimating human body parts is an essential process for the development of a contactless interface system.
사람과 같이 움직이는 객체의 주요 신체부위 추정이 수행되기 위해서는 먼저 영상 내에서 사람을 검출하는 과정이 선행되어야 하고, 기 검출된 사람의 영상정보를 이용하여 주요 신체부위를 추정함으로써 자세를 인식할 수 있다.In order to perform the estimation of the main body parts of the moving object such as a person, a process of detecting a person must first be performed in the image, and posture can be recognized by estimating the main body parts using the image information of the detected person. .
종래의 주요 신체부위 추정방법으로는 2차원 실루엣(Silhouette) 영상을 이용하여 외곽선의 특징점 분석을 통해 추정하는 방법, 피부색의 색상정보를 이용하여 얼굴과 손을 검출하여 주요 신체부위를 추정하는 방법, MRF(Markov random filter)와 동적 그래프 컷(Graph cuts)에 기반한 마커리스(Markerless) 자세 인식방법 등이 있다.As a conventional method of estimating major body parts, a method of estimating the feature points of an outline using a two-dimensional silhouette image, a method of estimating major body parts by detecting a face and a hand using color information of skin color, There is a markerless attitude recognition method based on Markov random filter (MRF) and dynamic graph cuts.
상술한 세 가지 주요 신체부위 추정방법 중, 2차원 실루엣 영상을 이용하는 방법은 신체부위(예를 들면, 손)가 몸통부위와 겹치는 경우 검출이 불가능하며, 색상정보를 이용하는 방법은 조명이나 환경에 매우 민감한 단점이 있다.Of the three main body part estimation methods described above, the method of using a two-dimensional silhouette image is impossible to detect when the body part (for example, the hand) overlaps the body part, and the method of using color information is very useful for lighting or the environment. There is a sensitive disadvantage.
또한, MRF를 사용하는 방법은 계산에 많은 시간이 소요되어 실시간으로 사람의 주요 신체부위를 추정하기에는 어려움이 있고, 최적 해를 찾지 못하는 단점이 있다.
In addition, the method using the MRF takes a lot of time to calculate, it is difficult to estimate the main body parts of a person in real time, there is a disadvantage that does not find the optimal solution.
본 발명자들은 사람 영상 내에서 신체와 주요 신체부위가 겹치더라도 추정이 가능하고, 조명이나 환경변화에 강인하며, 연산량이 적어 실시간으로 주요 신체부위를 추정할 수 있는 방법을 연구 노력한 결과, 3차원 깊이 영상의 경계 에지와 내부 에지를 모두 검출하여 주요 신체부위가 겹치더라도 추정이 가능하고,색상정보를 이용하지 않아 조명이나 환경변화에 강인하며, 방향성 기술자를 통해 얻어진 주요 신체부위 후보 점과 기계학습을 통해 저장된 주요 신체부위에 대한 특징점을 서로 비교하여 추정함으로써 적은 연산량으로도 신체 주요 신체부위를 추정할 수 있는 추정 방법의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.The present inventors have been able to estimate even if the body and the main body parts overlap in the human image, it is robust to lighting or environmental changes, and the amount of calculations are small, so as a result of research efforts to estimate the main body parts in real time, three-dimensional depth It detects both the edges and internal edges of the image and can be estimated even if the main body parts overlap, and it is robust to lighting and environmental changes without using color information. By comparing and estimating the feature points for the main body parts, the technical configuration of the estimation method capable of estimating the main body parts of the body with a small amount of calculation was developed, thereby completing the present invention.
따라서, 본 발명의 목적은 머리, 손 또는 발과 같은 주요 신체부위가 몸통과 같은 신체와 겹치더라도 위치의 추정이 가능한 주요 신체부위 추정방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a method for estimating a main body part, which is capable of estimating a position even when a main body part such as a head, a hand or a foot overlaps with a body such as a torso.
또한, 본 발명의 다른 목적은 색상정보를 이용하지 않아 조명이나 환경변화에 강인한 주요 신체부위 추정방법을 제공하는 것이다.In addition, another object of the present invention is to provide a method for estimating main body parts that is robust to lighting or environmental changes without using color information.
또한, 본 발명의 또 다른 목적은 방향성 기술자(descriptor)를 이용하여 단순한 계산방법을 주요 신체부위의 끝점을 계산할 수 있으므로 연산량이 적어 실시간으로 추정이 가능한 주요 신체부위 추정방법을 제공하는 것이다.
In addition, another object of the present invention is to provide a method for estimating main body parts, which can be estimated in real time because the amount of computation is small because a simple calculation method can calculate the end points of main body parts using a directional descriptor.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기의 목적을 달성하기 위하여 본 발명은 컴퓨터 장치가 사람 영상 내에서 주요 신체부위를 검출하고 검출된 주요 신체부위가 머리, 손 또는 발 중, 어느 주요 신체부위에 해당하는지 판단함으로써, 주요 신체부위를 추정하는 주요 신체부위 추정 방법에 있어서, 사람 영상 내에서 주요 신체부위 영상 내부에 존재하는 대표 점을 특징점으로 선택하고, 상기 특징점을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 영상 에지까지의 거리인 에지 거리들로 구성되는 에지 거리 정보를 획득하며, 상기 특징점을 머리 특징점, 손 특징점 또는 발 특징점으로 구분하여 상기 에지 거리 정보와 함께 학습 데이터로 저장하는 단계; 주요 신체부위를 추정하고자 하는 사람 영상을 입력받는 단계; 상기 사람 영상의 에지를 검출하는 단계; 상기 사람 영상의 각 픽셀에 대해 픽셀을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 에지 거리를 계산하고, 영상 에지가 한쪽 방향으로 열려있어 일정한 개수의 에지 거리가 상기 일정한 반경의 거리와 동일하게 계산되는 픽셀을 주요 신체 부위 끝점으로 획득하는 단계; 상기 주요 신체부위 끝점이 일정한 범위 내에서 일정한 개수 이상 모여 있는 점들을 주요 신체 부위 예상 점들로 선택하고, 상기 주요 신체 부위 예상 점들의 중심점을 계산하여, 계산된 중심점을 주요 신체부위 후보 점으로 획득하는 단계; 상기 주요 신체부위 후보 점을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 에지 거리인 에지 거리 정보를 획득하는 단계; 상기 주요 신체부위 후보 점의 에지 거리 정보와 상기 학습 데이터의 머리, 손 또는 발 특징점의 에지 거리 정보 간의 차이를 비교하여 가장 차이가 적은 주요 신체부위 특징점의 주요 신체부위를 상기 주요 신체부위 후보 점의 신체부위로 추정하는 단계;를 포함하는 것을 특징으로 하는 주요 신체부위 추정방법을 제공한다.In order to achieve the above object, the present invention provides a main body part by detecting a main body part in a human image and determining which main body part among the head, hands, or feet is detected. In the method of estimating the main body part, a representative point existing in the main body part image in the human image is selected as a feature point, and the distance to the image edge within a predetermined radius in a plurality of different directions with respect to the feature point. Acquiring edge distance information consisting of edge distances, and dividing the feature point into a head feature point, a hand feature point, or a foot feature point and storing the feature point as learning data together with the edge distance information; Receiving a human image for estimating major body parts; Detecting an edge of the human image; For each pixel of the human image, an edge distance within a constant radius is calculated in a plurality of different directions around the pixel, and an image edge is open in one direction so that a constant number of edge distances are calculated to be equal to the distance of the constant radius. Obtaining the pixel to be the major body part endpoint; Selecting the points where the main body part end points are gathered in a predetermined number or more within a predetermined range as main body part prediction points, calculating a center point of the main body part prediction points, and obtaining the calculated center point as the main body part candidate point step; Acquiring edge distance information that is an edge distance within a predetermined radius in a plurality of different directions with respect to the main body part candidate points; By comparing the difference between the edge distance information of the main body part candidate point and the edge distance information of the head, hand or foot feature point of the training data, the main body part of the main body part feature point having the smallest difference is compared to the main body part candidate point. Estimating the body part; provides a main body part estimation method comprising a.
바람직한 실시예에 있어서, 상기 주요 신체부위 후보 점으로 획득하는 단계에서, 상기 중심점은 상기 주요 신체 부위 예상 점들의 평균 위치에 존재하는 점으로 계산된다.In a preferred embodiment, in the step of obtaining as the main body part candidate point, the center point is calculated as a point existing at an average position of the main body part predicted points.
바람직한 실시예에 있어서, 상기 주요 신체부위 후보 점의 신체부위로 추정하는 단계:는 상기 주요 신체부위 후보 점의 에지 거리 정보와 상기 학습 데이터의 머리, 손 또는 발 특징점의 에지 거리 정보 간의 유사도인 확률 점수를 계산하는 단계; 상기 확률 점수가 임계 확률 점수 이상인 주요 신체 부위를 선별하는 단계; 및 선별된 주요 신체 부위들 중, 가장 높은 확률 점수를 갖는 주요 신체 부위를 상기 주요 신체부위 후보 점의 신체부위로 추정하는 단계;를 포함한다.In a preferred embodiment, the step of estimating the body part of the main body part candidate point: a probability that is similarity between the edge distance information of the main body part candidate point and the edge distance information of the head, hand or foot feature point of the training data. Calculating a score; Selecting a major body part whose probability score is greater than or equal to a threshold probability score; And estimating the main body part having the highest probability score among the selected main body parts as the body part of the main body part candidate point.
바람직한 실시예에 있어서, 상기 특징점, 상기 주요 신체 부위 끝점 및 상기 주요 신체부위 후보 점의 에지 거리는 각 점을 중심으로 서로 일정한 각도 이격된 방향에 위치하는 영상 에지와의 거리를 계산하되, 상기 일정한 반경 내에 영상 에지가 존재하지 않을 경우 상기 일정한 반경의 거리를 상기 에지 거리로 계산하는 방향성 기술자(descriptor)에 의해 계산된다.In an exemplary embodiment, edge distances of the feature point, the main body part end point, and the main body part candidate point may be calculated by calculating a distance from an image edge positioned in a direction angularly spaced apart from each other, wherein the constant radius If there is no image edge in the image, it is calculated by a directional descriptor that calculates the distance of the constant radius as the edge distance.
바람직한 실시예에 있어서, 상기 방향성 기술자는 45도 이격된 방향에 위치하는 영상 에지를 검출하여, 총 8개의 에지 거리를 계산하는 8방향성 기술자이다.In a preferred embodiment, the directional descriptor is an eight-directional descriptor that detects image edges located in directions spaced 45 degrees apart and calculates a total of eight edge distances.
바람직한 실시예에 있어서, 상기 방향성 기술자는 22.5도 이격된 방향에 위치하는 영상 에지를 검출하여, 총 16개의 에지 거리를 계산하는 16방향성 기술자일 수 있다.In a preferred embodiment, the directional descriptor may be a 16-directional descriptor that detects image edges located in directions 22.5 degrees apart and calculates a total of 16 edge distances.
바람직한 실시예에 있어서, 상기 사람 영상은 각 픽셀이 깊이 값을 갖는 깊이 영상이다.In a preferred embodiment, the human image is a depth image in which each pixel has a depth value.
바람직한 실시예에 있어서, 상기 특징점, 상기 주요 신체 부위 끝점 및 상기 주요 신체부위 후보 점의 에지 거리 계산을 위한 일정한 반경은 각 점의 깊이 값에 따라 변화한다.In a preferred embodiment, the constant radius for the edge distance calculation of the feature point, the main body part end point and the main body part candidate point varies with the depth value of each point.
바람직한 실시예에 있어서, 상기 일정한 반경은 상기 깊이 값이 클수록(카메라와 거리가 가까울수록) 커지고, 상기 깊이 값이 작을수록(카메라와 거리가 멀수록) 작아진다.In a preferred embodiment, the constant radius becomes larger as the depth value is larger (closer to the camera), and smaller as the depth value (distant from the camera).
또한, 본 발명은 컴퓨터 장치를 수단으로 기능시켜 상기 주요 신체부위 추정방법을 수행할 수 있는 주요 신체부위 추정 프로그램이 저장된 컴퓨터 장치로 읽을 수 있는 기록 매체를 더 제공한다.The present invention further provides a recording medium readable by a computer device storing a main body part estimation program capable of performing the main body part estimation method by using a computer device as a means.
또한, 본 발명은 상기 주요 신체부위 추정 프로그램이 저장된 메모리 장치; 통신망과 연결되고 데이터를 입출력할 수 있는 통신장치; 및 상기 주요 신체부위 추정 프로그램을 상기 통신장치를 통해 외부의 클라이언트 컴퓨터 장치로 전송할 수 있는 중앙처리장치;를 포함하는 것을 특징으로 하는 서버 컴퓨터 장치를 더 제공한다.
The present invention also provides a memory device for storing the main body part estimation program; A communication device connected to a communication network and capable of inputting and outputting data; And a central processing unit capable of transmitting the main body part estimation program to an external client computer device through the communication device.
본 발명은 다음과 같은 우수한 효과를 가진다.The present invention has the following excellent effects.
먼저, 본 발명의 주요 신체부위 추정 방법에 의하면, 깊이 정보를 갖는 사람영상을 이용하여 외부 에지와 내부 에지를 획득하여 주요 신체부위를 추정할 수 있으므로 손 또는 발과 같은 주요 신체부위가 몸통과 같은 신체와 겹치더라도 추정이 가능한 장점이 있다.First, according to the method of estimating the main body part of the present invention, the main body part such as the hand or the foot can be estimated by acquiring the outer edge and the inner edge by using the human image having the depth information. There is an advantage that can be estimated even if the body overlaps.
또한, 본 발명의 주요 신체부위 추정 방법에 의하면, 색상정보를 이용하지 않고 에지 정보를 이용하므로 조명이나 환경변화에도 추정의 정확도를 보장할 수 있는 장점이 있다.In addition, according to the main body part estimation method of the present invention, since the edge information is used without using the color information, there is an advantage that the accuracy of the estimation can be guaranteed even when the lighting or the environment changes.
또한, 본 발명의 주요 신체부위 추정 방법에 의하면, 방향성 기술자(descriptor)를 이용하여 일 방향으로 개방된 에지 내부의 주요 신체부위 후보 점으로 계산함으로써, 주요 신체부위를 추정할 수 있으므로 MRF와 같이 복잡한 확률 계산 없이 적은 연산량으로 실시간 추정이 가능하다.
In addition, according to the method for estimating the main body part of the present invention, the main body part can be estimated by calculating the main body part candidate point inside the edge open in one direction by using a directional descriptor, so that the main body part can be estimated. Real-time estimation is possible with small amount of calculation without probability calculation.
도 1은 본 발명의 일 실시예에 따른 주요 신체부위 추정방법의 플로우 차트,
도 2는 본 발명의 일 실시예에 따른 주요 신체부위 추정방법에서 추정의 대상이 되는 사람 영상을 설명하기 위한 도면,
도 3은 도 2의 사람 영상에서 에지를 검출한 에지 영상을 보여주는 도면,
도 4는 도 3의 에지 영상의 설명을 위해 영상 에지만을 표시한 도면,
도 5는 본 발명의 일 실시예에 따른 주요 신체부위 추정방법에서 주요 신체부위 끝점을 검출하기 위한 8방향성 기술자를 설명하기 위한 도면,
도 6은 도 5의 8방향성 기술자의 사용례를 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른 주요 신체부위 추정방법에서 주요 신체부위 끝점을 검출하기 위한 16방향성 기술자를 설명하기 위한 도면,
도 8은 도 7의 16방향성 기술자를 머리 부위에 적용한 예를 보여주는 도면,
도 9는 도 7의 16방향성 기술자를 손 부위에 적용한 예를 보여주는 도면,
도 10은 도 7의 16방향성 기술자를 발 부위에 적용한 예를 보여주는 도면,
도 11은 본 발명의 일 실시예에 따른 방향성 기술자를 이용하여 내부 에지가 없는 사람 영상의 주요 신체부위 끝점을 검출한 영상을 보여주는 도면,
도 12는 도 11의 영상 에지와 주요 신체 부위 끝점만을 표시한 도면,
도 13은 본 발명의 일 실시예에 다른 방향성 기술자를 이용하여 내부 에지가 있는 사람 영상의 주요 신체부위 끝점을 검출한 영상을 보여주는 도면이다.1 is a flow chart of the main body part estimation method according to an embodiment of the present invention,
2 is a view for explaining a human image to be estimated in the main body part estimation method according to an embodiment of the present invention,
FIG. 3 is a diagram illustrating an edge image of detecting an edge in the human image of FIG. 2;
4 is a view showing only the image edge for explaining the edge image of FIG.
5 is a view for explaining an eight-way descriptor for detecting a main body part end point in the main body part estimation method according to an embodiment of the present invention;
6 is a view for explaining a use example of the eight-way descriptor of FIG.
7 is a view for explaining a 16-way descriptor for detecting the main body part end point in the main body part estimation method according to an embodiment of the present invention,
8 is a view showing an example in which the 16-directional descriptor of FIG. 7 is applied to a head part;
9 is a view showing an example in which the 16-directional descriptor of FIG. 7 is applied to a hand part;
10 is a view showing an example in which the 16-directional descriptor of FIG. 7 is applied to a foot site;
FIG. 11 is a diagram illustrating an image of detecting a main body part endpoint of a human image without an inner edge by using a directional descriptor according to an embodiment of the present invention; FIG.
12 is a view showing only the image edge and the main body part endpoint of FIG.
FIG. 13 is a diagram illustrating an image of detecting a main body end point of a human image having an inner edge by using another directional descriptor according to an embodiment of the present invention.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.Although the terms used in the present invention have been selected as general terms that are widely used at present, there are some terms selected arbitrarily by the applicant in a specific case. In this case, the meaning described or used in the detailed description part of the invention The meaning must be grasped.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.Hereinafter, the technical structure of the present invention will be described in detail with reference to preferred embodiments shown in the accompanying drawings.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. Like reference numerals designate like elements throughout the specification.
본 발명의 일 실시예에 따른 주요 신체부위 추정방법은 사람 영상 내에서 머리, 손 및 발의 주요 신체부위를 검출하는 방법으로써, 사람 영상의 자세를 인식할 수 있게 하는 방법이다.The main body part estimation method according to an embodiment of the present invention is a method of detecting the main body parts of the head, hands and feet in the human image, and is a method for recognizing the posture of the human image.
또한, 상기 주요 신체부위 추정방법은 컴퓨터 장치에 의해 수행되며, 상기 컴퓨터 장치는 상기 컴퓨터 장치를 상기 주요 신체부위 추정방법을 수행할 수 있는 수단으로 기능시키는 주요 신체부위 추정 프로그램에 의해 동작한다.In addition, the main body part estimation method is performed by a computer device, and the computer device is operated by a main body part estimation program that functions the computer device as a means for performing the main body part estimation method.
또한, 상기 신체부위 추정 프로그램은 하드디스크 드라이브, CD, USB메모리, SD카드와 같이 공지된 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기 컴퓨터 장치에서 읽혀짐으로써 상기 컴퓨터 장치가 기능하게 한다.In addition, the body part estimation program is stored in a known computer readable recording medium such as a hard disk drive, a CD, a USB memory, or an SD card to be read by the computer device so that the computer device functions.
그러나, 상기 신체부위 추정 프로그램은 주요 신체부위 추정 프로그램이 저장된 메모리 장치, 통신망과 연결되고 데이터를 입출력할 수 있는 통신장치 및 상기 주요 신체부위 추정 프로그램을 상기 통신장치를 통해 외부의 클라이언트 컴퓨터 장치로 전송할 수 있는 중앙처리장치를 포함하는 서버 컴퓨터 장치로부터 전송될 수 있다.However, the body part estimation program may include a memory device in which a main body part estimation program is stored, a communication device connected to a communication network and capable of inputting and outputting data, and transmitting the main body part estimation program to an external client computer device through the communication device. And from a server computer device including a central processing unit.
또한, 상기 컴퓨터 장치는 퍼스널 컴퓨터뿐만 아니라, 용도에 따라 특이하게 제작된 산업용 컴퓨터, 테블릿PC, 스마트 폰 등, 중앙처리장치와 상기 신체부위 추정 프로그램을 저장할 수 있는 메모리를 포함하는 컴퓨터 장치라면 어떠한 컴퓨터 장치라도 가능하다.
In addition, the computer device may be any computer device including not only a personal computer but also an industrial computer, a tablet PC, a smart phone, etc., which are specially manufactured according to the purpose, and a memory capable of storing the body part estimation program. A computer device may be possible.
이하에서는 본 발명의 일 실시예에 따른 주요 신체부위 추정방법에 대해 상세히 설명하기로 한다.Hereinafter, a method of estimating main body parts according to an exemplary embodiment of the present invention will be described in detail.
도 1을 참조하면 본 발명의 일 실시예에 따른 주요 신체부위 추정방법은 먼저, 임의의 사람 영상 내에서 머리, 손 및 발에 대한 특징점을 학습데이터로 생성하여 저장한다(S100).Referring to FIG. 1, the main body part estimation method according to an embodiment of the present invention first generates and stores feature points of a head, a hand, and a foot as learning data in an arbitrary human image (S100).
또한, 상기 학습데이터는 실제 추정하고자하는 사람 영상에서 검출된 주요 신체부위 후보 점과 비교대상이 되는 데이터로써, 임의의 자세를 갖는 사람 영상의 주요 신체부위 특징점에 대해 특징점을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 영상 에지까지의 거리인 에지 거리 정보가 계산되어 저장된다.In addition, the learning data is data to be compared with the main body part candidate points detected in the human image to be estimated, and a plurality of different points of the main body part characteristic points of the human image having an arbitrary posture are centered on the feature points. Edge distance information, which is the distance to the image edge within a certain radius in the direction, is calculated and stored.
또한, 상기 학습데이터는 머리 특징점, 손 특징점 및 발 특징점을 서로 구분하여 저장한다. In addition, the learning data stores head feature points, hand feature points, and foot feature points separately from each other.
즉, 상기 학습데이터는 비교의 기준이 되는 주요 신체부위 특징점의 정보들을 저장한 데이터이다.In other words, the learning data is data that stores information on the major body part feature points that are the basis of comparison.
또한, 상기 신체부위 특징점의 에지 거리 정보는 방향성 기술자에 의해 계산되며, 상기 방향성 기술자의 자세한 설명은 아래에서 설명할 주요 신체부위 끝점의 검출 설명에서 하기로 한다.In addition, the edge distance information of the body part feature point is calculated by the directional descriptor, a detailed description of the directional descriptor will be described in the detection description of the main body end point to be described below.
또한, 상기 주요 신체부위 특징점은 깊이 정보를 더 포함할 수 있으며, 상기 깊이 정보는 영상 내에서 전경에 해당하는지 배경에 해당하는지를 알 수 있는 정보로써, 스테레오 카메라 등에 의해 획득되며, 카메라와 거리가 가까운 객체일수록 깊이 값이 크고, 카메라와 거리가 먼 객체일수록 깊이 값이 작다.In addition, the main body part feature point may further include depth information, and the depth information is information for determining whether the image corresponds to the foreground or the background in the image, and is obtained by a stereo camera or the like and is close to the camera. Objects have a higher depth value, and objects farther from the camera have a smaller depth value.
이러한 깊이 정보는 상기 에지 거리 정보를 계산할 때, 반경의 길이를 조절하는데 사용된다.This depth information is used to adjust the length of the radius when calculating the edge distance information.
더욱 자세한 설명은 아래의 설명할 주요 신체부위 끝점을 검출하는 단계에서 하기로 한다.A more detailed description will be made later in the step of detecting the main body end points described below.
다음, 주요 신체부위를 추정하고자 하는 사람 영상을 입력받는다(S1000).Next, an image of a person who wants to estimate a main body part is received (S1000).
도 2는 상기 사람 영상(100)을 보여주는 것으로 상기 사람 영상(100)은 전체 영상에서 사람 영역만을 추출한 영상이다.2 illustrates the
또한, 사람 영역 추출방법은 공지된 다양한 사람 영상 추출방법을 사용할 수 있다. The human region extraction method may use various known human image extraction methods.
또한, 상기 사람 영상(100)의 모든 픽셀들은 깊이 정보를 갖는다.In addition, all pixels of the
다음, 상기 사람 영상(100)의 에지를 검출하여 에지 영상을 획득한다(S2000).Next, the edge of the
도 3는 상기 에지 영상(200)을 보여주는 것으로 영상 에지는 공지된 외곽선 추출방법을 사용할 수 있으며, 예를 들면, 소벨(sobel), 프리위(Prewitt), 로버츠(Roverts) 마스크를 이용하거나 캐니(canny) 에지 검출방법에 의해 획득될 수 있다.3 illustrates the edge image 200. The edge of the image may be a known outline extraction method. For example, a sobel, a prewitt, a Roberts mask, or a cane is used. canny) can be obtained by an edge detection method.
또한, 본 발명의 일 실시예에 따른 에지 영상(200)은 겹치는 신체부위의 영상 에지를 포함하며, 이는 상기 깊이 정보를 이용하여 계산된다.In addition, the edge image 200 according to an embodiment of the present invention includes an image edge of an overlapping body part, which is calculated using the depth information.
도 3은 도 2의 에지 영상의 영상 에지만을 표시한 도면으로써 영상 에지(210)는 외부 에지(211,external edge)와 내부 에지(212,internal)로 구분되며, 상기 외부 에지(211)는 사람의 상기 사람 영상(100)의 외곽선을 뜻하고, 상기 내부 에지(212)는 예를 들어 팔과 몸통이 서로 겹쳐져 있을 경우 겹쳐진 팔의 외곽선을 뜻한다.FIG. 3 is a view illustrating only the image edge of the edge image of FIG. 2, wherein the
즉, 종래의 이차원 실루엣 정보를 이용하여 외부 에지만을 검출할 경우, 손과 같은 신체 주요부위가 몸통에 겹쳐져 있을 때, 내부 에지를 검출할 수 없으므로 정확한 자세 인식을 위한 정보로 활용하기 어려운 문제가 있었던 것이다.That is, when only the outer edge is detected using conventional two-dimensional silhouette information, when the main body parts such as the hand overlap the body, the inner edge cannot be detected, which makes it difficult to use information for accurate posture recognition. will be.
다음, 상기 에지 영상(200)에서 주요 신체부위 끝점을 검출한다(S3000).Next, the main body part endpoint is detected from the edge image 200 (S3000).
또한, 상기 주요 신체부위 끝점이란 주요 신체부위의 내부에 존재하는 점으로 주요 신체부위 내에 존재할 가능성이 있는 점이다.In addition, the end point of the main body part is a point that exists inside the main body part and may exist in the main body part.
또한, 상기 주요 신체부위 끝점은 머리, 손, 발의 경우, 에지가 한쪽 방향으로 열려 있으므로 한쪽 방향으로 열려 있는 에지 내부의 점을 검출함으로 얻을 수 있다.In addition, the main body end point can be obtained by detecting a point inside the edge that is open in one direction because the edge is open in one direction in the case of the head, hands, and feet.
도 5는 상기 주요 신체부위 끝점을 검출하기 위한 마스크로써 각 픽셀을 중심으로 일정한 반경(r) 내에서 서로 다른 방향에 존재하는 에지의 거리를 계산하며, 방향성 기술자로 정의한다.FIG. 5 is a mask for detecting the main body end point, and calculates distances of edges in different directions within a predetermined radius r about each pixel, and is defined as a directional descriptor.
또한, 도 5는 픽셀(c)을 중심으로 8방향에 존재하는 에지의 거리를 계산할 수 있는 8방향성 기술자(300)를 보여주는 도면이며, 상기 8방향성 기술자는 픽셀(c)을 중심으로 서로 45도 이격된 방향에 존재하는 에지의 거리를 계산한다.In addition, FIG. 5 is a diagram illustrating an eight-
도 6은 상기 8방향성 기술자가 에지 거리를 계산하는 일례를 보여주는 것으로 상기 8방향성 기술자(300)는 픽셀을 중심으로 일정한 반경(r) 내에서 8방향의 에지 거리(e1,e2,e3,e4,e5,e6,e7)를 계산한다. 6 illustrates an example in which the eight-way descriptor calculates an edge distance. The eight-
또한, 상기 반경은 계산이 되는 픽셀의 깊이 값에 따라 달라지며 깊이 값이 클수록 커지고 작을수록 작아진다.In addition, the radius depends on the depth value of the pixel to be calculated, the larger the depth value, the smaller the smaller.
그 이유는 깊이 값이 큰 경우 주요 신체부위의 영상이 커지고, 깊이 값이 작을수록 주요 신체부위 영상이 작아지므로 주요 신체부위의 에지를 적절히 내부에 감쌀수 있게 하기 위함이다.The reason is that when the depth value is large, the image of the main body part becomes larger, and as the depth value is smaller, the main body part image becomes smaller, so that the edge of the main body part can be properly wrapped inside.
또한, 상기 8방향성 기술자에 의해 계산된 에지거리들(e1,e2,e3,e4,e5,e6,e7) 중, 상기 반경(r) 내에 에지가 존재하지 않을 경우에는 상기 반경(r)이 에지 거리(e8)로 계산된다.Further, of the edge distances e1, e2, e3, e4, e5, e6, e7 calculated by the eight-way descriptor, the radius r is an edge when there is no edge in the radius r. Calculated as distance e8.
즉, 상기 에지거리들(e1,e2,e3,e4,e5,e6,e7)들 중, 일정한 수의 에지 거리가 상기 반경(r)의 값과 동일할 경우, 해당 픽셀은 주요 신체부위 내부에 있는 픽셀로 추정할 수 있는 것이다. That is, when a certain number of edge distances among the edge distances e1, e2, e3, e4, e5, e6, e7 are equal to the value of the radius r, the corresponding pixel is located inside the main body part. It can be estimated by the pixels present.
이러한 주요 신체부위 끝점은 상기 에지 영상(200) 내부의 모든 픽셀에 상기 8방향성 기술자(300)를 적용하여 검출된다.This main body end point is detected by applying the eight-
또한, 도 7은 16방향성 기술자(400)를 도시한 것으로 상기 8방향성 기술자에 비해 서로 22.5도 이격된 16방향으로 에지 거리를 구할 수 있으므로 정밀하게 주요 신체부위 끝점을 검출할 수는 있으나 연산량이 많아지므로 목적에 맞게 선택하여야 한다.In addition, FIG. 7 illustrates the 16-
도 8은 상기 16방향성 기술자(400)를 이용하여 머리 부위의 신체부위 끝점을 검출하는 것을 보여주는 도면이고, 도 9는 상기 16방향성 기술자(400)를 이용하여 손 부위의 신체부위 끝점을 검출하는 것을 보여주는 도면이고, 도 10는 상기 16방향성 기술자(400)를 이용하여 발 부위의 신체부위 끝점을 검출하는 것을 보여주는 도면이다.FIG. 8 is a diagram illustrating detecting an end point of a body part of the head using the 16-
도 8 내지 도 10을 참조하면, 머리의 경우 한쪽 방향으로 열린 에지(목 부분)이 크므로 두 개의 에지 거리가 상기 반경(r)과 동일할 경우, 해당 픽셀을 신체부위 끝점으로 검출할 수 있고, 손과 발의 경우 열린 에지(손목 발목 부분)이 작으므로 하나의 에지 거리가 상기 반경(r)과 동일할 경우, 해당 픽셀을 신체부위 끝점으로 검출할 수도 있다.8 to 10, in the case of the head, since the edge (neck part) opened in one direction is large, when two edge distances are equal to the radius r, the corresponding pixel may be detected as the body end point. In the case of hands and feet, since the open edge (ankle ankle part) is small, when one edge distance is equal to the radius r, the corresponding pixel may be detected as the body end point.
이 역시 사용자의 선택에 따라 하나의 에지 거리만이 상기 반경(r)과 동일할 경우 해당 픽셀을 주요 신체부위 끝점으로 검출할 수 있고, 두 개 또는 세 개의 에지 거리만이 상기 반경(r)과 동일할 경우 해당 픽셀을 주요 신체부위 끝점으로 검출할 수 있다.If only one edge distance is equal to the radius r according to the user's selection, the corresponding pixel can be detected as the main body end point, and only two or three edge distances can be detected with the radius r. If the same, the pixel can be detected as the main body end point.
다음, 상기 주요 신체부위 끝점들이 일정한 범위 내에서 일정한 개수 이상 모여 있는 점들을 주요 신체부위 예상 점으로 검출한다(S4000).Next, the points where the main body part end points are gathered in a predetermined number or more within a predetermined range are detected as the main body part predicted points (S4000).
이 과정은 상기 주요 신체부위 끝점들 중, 주요 신체부위의 내부에 존재하지 않는 점들을 제거하기 위한 것이다.This process is for removing points of the main body parts that are not present inside the main body parts.
도 11은 상기 주요 신체부위 끝점들을 검출한 영상을 보여주는 도면이고, 도 12는 상기 주요 신체부위 끝점들과 영상 에지만을 표시한 도면으로, 도 11 및 도 12를 참조하면, 영상 에지 내의 주요 신체부위 끝점(P1)은 어깨, 겨드랑이와 같이 에지 간의 폭이 좁은 부분에 주요 신체 부위가 아닌 점(P3)이 간헐적으로 포함될 수 있다.FIG. 11 is a diagram illustrating an image of detecting the main body part endpoints, and FIG. 12 is a diagram illustrating only the main body part end points and an image edge. Referring to FIGS. 11 and 12, the main body part in the image edge is shown. The end point P1 may intermittently include a point P3, which is not a main body part, in a narrow portion between the edges such as the shoulder and the armpit.
따라서, 상기 주요 신체부위 끝점(P1)들 중, 일정한 범위 내에 모여있는 점들만을 상기 주요 신체부위 예상 점들(P2)로 검출함으로써, 주요 신체부위 외부에 존재하는 노이즈(P3)를 제거할 수 있다.Accordingly, by detecting only the points gathered within a predetermined range among the main body part end points P1 as the main body part predicted points P2, noise P3 existing outside the main body part can be removed. .
또한, 도 13은 내부 에지가 있는 에지 영상에서 상기 주요 신체부위 후보점(P4)을 검출한 것으로 내부 에지가 있는 경우에도 상기 주요 신체부위 후보점(P4)이 잘 검출되는 것을 확인할 수 있다.In addition, FIG. 13 illustrates that the main body part candidate point P4 is detected in an edge image having an inner edge, and it is confirmed that the main body part candidate point P4 is well detected even when there is an inner edge.
다음, 상기 주요 신체부위 예상점(P2)의 중심점을 하나의 주요 신체부위 후보점(P4)으로 획득한다(S5000).Next, a center point of the main body part predicted point P2 is obtained as one main body part candidate point P4 (S5000).
또한, 상기 주요 신체부위 후보점(P4)은 상기 주요 신체부위 예상 점들(P2)을 대표하는 점으로 주요 신체부위의 내부 중앙에 있을 확률이 높은 점이다.In addition, the main body part candidate point P4 represents the main body part predicted points P2 and is a high probability of being in the inner center of the main body part.
또한, 상기 주요 신체부위 후보점(P4)은 상기 주요 신체부위 예상 점들(P2)의 평균 위치에 존재하는 점을 계산하여 획득할 수 있다.In addition, the main body part candidate point P4 may be obtained by calculating a point existing at an average position of the main body part predicted points P2.
다음, 상기 주요 신체부위 후보점(P4)의 에지 거리 정보를 획득한다(S6000).Next, edge distance information of the main body part candidate point P4 is obtained (S6000).
또한, 상기 주요 신체부위 후보점(P4)의 에지 거리는 상술한 8방향성 기술자(300) 또는 16방향성 기술자(400)에 의해 계산된다.In addition, the edge distance of the main body part candidate point P4 is calculated by the above-described eight-
또한, 상기 주요 신체부위 후보점(P4)은 에지 거리 정보 이외에 깊이 정보를 더 포함한다.In addition, the main body part candidate point P4 further includes depth information in addition to the edge distance information.
다음, 상기 주요 신체부위 후보점(P4)과 상기 학습데이터의 머리, 손 및 발 특징점을 서로 비교하여 상기 주요 신체부위 후보점(P4)의 신체 부위를 추정한다.Next, the body part of the main body part candidate point P4 is estimated by comparing the main body part candidate point P4 with the head, hand, and foot feature points of the learning data.
또한, 상기 주요 신체부위 후보점(P4)과 상기 학습데이터의 머리, 손 및 발 특징점을 서로 비교하는 방법은 기계 학습 분류기를 통해 이루어지고, 더욱 자세하게는 먼저, 상기 주요 신체부위 후보점(P4)의 에지 거리 정보와 상기 특징점들의 에지 거리 정보를 서로 비교하여 에지 거리 정보들 간의 유사도인 확률점수를 계산한다.In addition, a method of comparing the main body part candidate point P4 and the head, hand, and foot feature points of the learning data with each other is performed through a machine learning classifier, and more specifically, the main body part candidate point P4. Comparing the edge distance information and the edge distance information of the feature points with each other to calculate a probability score that is a similarity between the edge distance information.
이때, 주요 신체부위 후보점(P4)의 깊이 정보와 동일한 깊이 정보를 갖는 특징점의 에지 거리 정보과 서로 비교된다.At this time, the edge distance information of the feature point having the same depth information as that of the main body part candidate point P4 is compared with each other.
다음, 상기 확률점수가 임계 확률 점수 이상인 주요 신체 부위를 선별한다.Next, the main body parts whose probability scores are equal to or greater than a critical probability score are selected.
여기서, 상기 주요 신체부위 후보점(P4)이 머리, 손 및 발 중, 어느 하나의 주요 신체부위로 분류될 수 있으나, 두 개 이상의 주요 신체부위로 분류될 수도 있고, 분류되는 주요 신체부위가 존재하지 않을 수도 있다.Here, the main body part candidate point P4 may be classified into any one main body part among the head, hands, and feet, but may be classified into two or more main body parts, and the main body parts are classified. You may not.
또한, 상기 주요 신체부위 후보점(P4)이 머리, 손 및 발 중, 어느 하나의 주요 신체부위로 분류되거나, 주요 신체부위가 분류되지 않을 경우, 종료된다.In addition, when the main body part candidate point P4 is classified as one main body part among the head, hands, and feet, or when the main body part is not classified, it ends.
그러나, 상기 주요 신체부위 후보점(P4)이 두 개 이상의 주요 신체부위로 분류될 경우에는 가장 높은 확률 점수를 갖는 주요 신체 부위로 분류한다.However, when the main body part candidate point P4 is classified into two or more main body parts, the main body part candidate point P4 is classified as the main body part having the highest probability score.
또한, 본 발명에서는 사람의 신체부위를 추정하는 방법에 대해 설명하였으나, 동물이나 움직이는 사물에 대해서도 주요 부위 추정이 가능함은 자명하다.
In addition, the present invention has been described a method for estimating the body part of a person, it is obvious that it is possible to estimate the main part even for animals or moving objects.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the present invention. Various changes and modifications will be possible.
100:사람 영상 200:에지 영상
210:영상 에지 211:외부 에지
212:내부 에지 300:8방향성 기술자
400:16방향성 기술자100: person video 200: edge video
210: image edge 211: outer edge
212: inner edge 300: 8 directional descriptor
Directional Engineer
Claims (11)
사람 영상 내에서 주요 신체부위 영상 내부에 존재하는 대표 점을 특징점으로 선택하고, 상기 특징점을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 영상 에지까지의 거리인 에지 거리들로 구성되는 에지 거리 정보를 획득하며, 상기 특징점을 머리 특징점, 손 특징점 또는 발 특징점으로 구분하여 상기 에지 거리 정보와 함께 학습 데이터로 저장하는 단계;
주요 신체부위를 추정하고자 하는 사람 영상을 입력받는 단계;
상기 사람 영상의 에지를 검출하는 단계;
상기 사람 영상의 각 픽셀에 대해 픽셀을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 에지 거리를 계산하고, 영상 에지가 한쪽 방향으로 열려있어 일정한 개수의 에지 거리가 상기 일정한 반경의 거리와 동일하게 계산되는 픽셀을 주요 신체 부위 끝점으로 획득하는 단계;
상기 주요 신체부위 끝점이 일정한 범위 내에서 일정한 개수 이상 모여 있는 점들을 주요 신체 부위 예상 점들로 선택하고, 상기 주요 신체 부위 예상 점들의 중심점을 계산하여, 계산된 중심점을 주요 신체부위 후보 점으로 획득하는 단계;
상기 주요 신체부위 후보 점을 중심으로 서로 다른 복수의 방향으로 일정한 반경 내의 에지 거리인 에지 거리 정보를 획득하는 단계;
상기 주요 신체부위 후보 점의 에지 거리 정보와 상기 학습 데이터의 머리, 손 또는 발 특징점의 에지 거리 정보 간의 차이를 비교하여 가장 차이가 적은 주요 신체부위 특징점의 주요 신체부위를 상기 주요 신체부위 후보 점의 신체부위로 추정하는 단계;를 포함하는 것을 특징으로 하는 주요 신체부위 추정방법.
In the main body part estimation method for estimating and detecting the main body part of the head, hand or foot in the human image,
In the human image, a representative point existing in the main body part image is selected as a feature point, and edge distance information including edge distances, which are distances to an image edge within a predetermined radius, in a plurality of different directions with respect to the feature point. Acquiring the feature points into head feature points, hand feature points, or foot feature points and storing the feature points as learning data together with the edge distance information;
Receiving a human image for estimating major body parts;
Detecting an edge of the human image;
For each pixel of the human image, an edge distance within a constant radius is calculated in a plurality of different directions around the pixel, and an image edge is open in one direction so that a constant number of edge distances are calculated to be equal to the distance of the constant radius. Obtaining the pixel to be the major body part endpoint;
Selecting the points where the main body part end points are gathered in a predetermined number or more within a predetermined range as main body part prediction points, calculating a center point of the main body part prediction points, and obtaining the calculated center point as the main body part candidate point step;
Acquiring edge distance information that is an edge distance within a predetermined radius in a plurality of different directions with respect to the main body part candidate points;
By comparing the difference between the edge distance information of the main body part candidate point and the edge distance information of the head, hand or foot feature point of the training data, the main body part of the main body part feature point having the smallest difference is compared to the main body part candidate point. Estimating the body part; main body part estimation method comprising a.
상기 주요 신체부위 후보 점으로 획득하는 단계에서,
상기 중심점은 상기 주요 신체 부위 예상 점들의 평균 위치에 존재하는 점으로 계산되는 것을 특징으로 하는 주요 신체부위 추정방법.
The method of claim 1,
In the step of acquiring the main body part candidate points,
And the center point is calculated as a point that exists at an average position of the predicted points of the main body part.
상기 주요 신체부위 후보 점의 신체부위로 추정하는 단계:는
상기 주요 신체부위 후보 점의 에지 거리 정보와 상기 학습 데이터의 머리, 손 또는 발 특징점의 에지 거리 정보 간의 유사도인 확률 점수를 계산하는 단계;
상기 확률 점수가 임계 확률 점수 이상인 주요 신체 부위를 선별하는 단계; 및
선별된 주요 신체 부위들 중, 가장 높은 확률 점수를 갖는 주요 신체 부위를 상기 주요 신체부위 후보 점의 신체부위로 추정하는 단계;를 포함하는 것을 특징으로 하는 주요 신체부위 추정방법.
The method of claim 1,
Estimating the body part of the main body part candidate point:
Calculating a probability score which is a similarity between edge distance information of the main body part candidate point and edge distance information of a head, hand or foot feature point of the training data;
Selecting a major body part whose probability score is greater than or equal to a threshold probability score; And
Estimating a main body part having the highest probability score among the selected main body parts as a body part of the main body part candidate point; and a main body part estimating method comprising a.
상기 특징점, 상기 주요 신체 부위 끝점 및 상기 주요 신체부위 후보 점의 에지 거리는 각 점을 중심으로 서로 일정한 각도 이격된 방향에 위치하는 영상 에지와의 거리를 계산하되, 상기 일정한 반경 내에 영상 에지가 존재하지 않을 경우 상기 일정한 반경의 거리를 상기 에지 거리로 계산하는 방향성 기술자(descriptor)에 의해 계산되는 것을 특징으로 하는 주요 신체부위 추정방법.
The method according to any one of claims 1 to 3,
An edge distance of the feature point, the main body part end point, and the main body part candidate point is calculated from a distance of an image edge located in a direction angularly spaced from each other with respect to each point, but no image edge exists within the constant radius. Otherwise, the main body part estimation method, which is calculated by a directional descriptor that calculates the distance of the constant radius as the edge distance.
상기 방향성 기술자는 45도 이격된 방향에 위치하는 영상 에지를 검출하여, 총 8개의 에지 거리를 계산하는 8방향성 기술자인 것을 특징으로 하는 주요 신체부위 추정방법.
5. The method of claim 4,
The directional descriptor is a main body part estimation method, characterized in that the eight-way descriptor to detect the image edge located in a 45 degree spaced direction, to calculate a total of eight edge distances.
상기 방향성 기술자는 22.5도 이격된 방향에 위치하는 영상 에지를 검출하여, 총 16개의 에지 거리를 계산하는 16방향성 기술자인 것을 특징으로 하는 주요 신체부위 추정방법.
5. The method of claim 4,
The directional descriptor is a main body part estimation method, characterized in that the 16-directional descriptor to calculate the total 16 edge distances by detecting the image edge located in a direction spaced 22.5 degrees apart.
상기 사람 영상은 각 픽셀이 깊이 값을 갖는 깊이 영상인 것을 특징으로 하는 주요 신체부위 추정방법.
5. The method of claim 4,
The human image is a body image estimation method, characterized in that each pixel is a depth image having a depth value.
상기 특징점, 상기 주요 신체 부위 끝점 및 상기 주요 신체부위 후보 점의 에지 거리 계산을 위한 일정한 반경은 각 점의 깊이 값에 따라 변화하는 것을 특징으로 하는 주요 신체부위 추정방법.
The method of claim 7, wherein
And a predetermined radius for calculating the edge distance of the feature point, the main body part end point, and the main body part candidate point is changed according to the depth value of each point.
상기 일정한 반경은 상기 깊이 값이 클수록(카메라와 거리가 가까울수록) 커지고, 상기 깊이 값이 작을수록(카메라와 거리가 멀수록) 작아지는 것을 특징으로 하는 주요 신체부위 추정방법.
The method of claim 8,
The constant radius is the main body part estimation method, characterized in that the larger the depth value (closer to the camera), the smaller the depth value (smaller to the camera) is smaller.
A recording medium readable by a computer device storing a main body part estimation program capable of performing the main body part estimation method according to any one of claims 1 to 3 by functioning the computer device as a means.
통신망과 연결되고 데이터를 입출력할 수 있는 통신장치; 및
상기 주요 신체부위 추정 프로그램을 상기 통신장치를 통해 외부의 클라이언트 컴퓨터 장치로 전송할 수 있는 중앙처리장치;를 포함하는 것을 특징으로 하는 서버 컴퓨터 장치.A memory device storing the main body part estimation program of claim 10;
A communication device connected to a communication network and capable of inputting and outputting data; And
And a central processing unit for transmitting the main body part estimation program to an external client computer device through the communication device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120097695A KR101307984B1 (en) | 2012-09-04 | 2012-09-04 | Method of robust main body parts estimation using descriptor and machine learning for pose recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120097695A KR101307984B1 (en) | 2012-09-04 | 2012-09-04 | Method of robust main body parts estimation using descriptor and machine learning for pose recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101307984B1 true KR101307984B1 (en) | 2013-09-26 |
Family
ID=49456022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120097695A KR101307984B1 (en) | 2012-09-04 | 2012-09-04 | Method of robust main body parts estimation using descriptor and machine learning for pose recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101307984B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9460368B2 (en) | 2014-01-23 | 2016-10-04 | Samsung Electronics Co., Ltd. | Method of learning a parameter to estimate posture of an articulated object and method of estimating posture of an articulated object |
| KR101749029B1 (en) * | 2015-12-08 | 2017-06-20 | 연세대학교 산학협력단 | Apparatus and Method of Body Part Detection in Image |
| KR20210068768A (en) * | 2019-12-02 | 2021-06-10 | 주식회사 알체라 | Method and apparatus for controlling device by gesture recognition |
| KR20210135033A (en) | 2020-05-04 | 2021-11-12 | 한양대학교 에리카산학협력단 | System And Method For Detecting Body Part Segmentation And Joint Coordinates |
| CN114947902A (en) * | 2022-05-16 | 2022-08-30 | 天津大学 | X-ray head shadow measurement mark point automatic positioning method based on reinforcement learning |
| KR20230063987A (en) | 2021-11-01 | 2023-05-10 | 금오공과대학교 산학협력단 | Depth-probability information-based head posture estimation technique |
| KR20240101253A (en) | 2022-12-23 | 2024-07-02 | 서강대학교산학협력단 | Gender recognition apparatus using deep learning and method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008519357A (en) | 2004-11-05 | 2008-06-05 | 本田技研工業株式会社 | Human posture estimation with data-driven probability propagation |
| JP2011113398A (en) | 2009-11-27 | 2011-06-09 | Secom Co Ltd | Attitude estimation device |
| KR20120014925A (en) * | 2009-05-11 | 2012-02-20 | 우니베지태트 주 뤼벡 | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose |
| JP2012120647A (en) | 2010-12-07 | 2012-06-28 | Alpha Co | Posture detection system |
-
2012
- 2012-09-04 KR KR1020120097695A patent/KR101307984B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008519357A (en) | 2004-11-05 | 2008-06-05 | 本田技研工業株式会社 | Human posture estimation with data-driven probability propagation |
| KR20120014925A (en) * | 2009-05-11 | 2012-02-20 | 우니베지태트 주 뤼벡 | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose |
| JP2011113398A (en) | 2009-11-27 | 2011-06-09 | Secom Co Ltd | Attitude estimation device |
| JP2012120647A (en) | 2010-12-07 | 2012-06-28 | Alpha Co | Posture detection system |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9460368B2 (en) | 2014-01-23 | 2016-10-04 | Samsung Electronics Co., Ltd. | Method of learning a parameter to estimate posture of an articulated object and method of estimating posture of an articulated object |
| KR101749029B1 (en) * | 2015-12-08 | 2017-06-20 | 연세대학교 산학협력단 | Apparatus and Method of Body Part Detection in Image |
| KR20210068768A (en) * | 2019-12-02 | 2021-06-10 | 주식회사 알체라 | Method and apparatus for controlling device by gesture recognition |
| KR102357763B1 (en) * | 2019-12-02 | 2022-02-03 | 주식회사 알체라 | Method and apparatus for controlling device by gesture recognition |
| KR20210135033A (en) | 2020-05-04 | 2021-11-12 | 한양대학교 에리카산학협력단 | System And Method For Detecting Body Part Segmentation And Joint Coordinates |
| KR20230063987A (en) | 2021-11-01 | 2023-05-10 | 금오공과대학교 산학협력단 | Depth-probability information-based head posture estimation technique |
| CN114947902A (en) * | 2022-05-16 | 2022-08-30 | 天津大学 | X-ray head shadow measurement mark point automatic positioning method based on reinforcement learning |
| KR20240101253A (en) | 2022-12-23 | 2024-07-02 | 서강대학교산학협력단 | Gender recognition apparatus using deep learning and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101307984B1 (en) | Method of robust main body parts estimation using descriptor and machine learning for pose recognition | |
| US9092665B2 (en) | Systems and methods for initializing motion tracking of human hands | |
| US9286694B2 (en) | Apparatus and method for detecting multiple arms and hands by using three-dimensional image | |
| US8615108B1 (en) | Systems and methods for initializing motion tracking of human hands | |
| US9372546B2 (en) | Hand pointing estimation for human computer interaction | |
| Qian et al. | NCC-RANSAC: A fast plane extraction method for 3-D range data segmentation | |
| US9465444B1 (en) | Object recognition for gesture tracking | |
| US9111135B2 (en) | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera | |
| JP5554984B2 (en) | Pattern recognition method and pattern recognition apparatus | |
| KR101612605B1 (en) | Method for extracting face feature and apparatus for perforimg the method | |
| EP2339507B1 (en) | Head detection and localisation method | |
| US20130028517A1 (en) | Apparatus, method, and medium detecting object pose | |
| EP2704056A2 (en) | Image processing apparatus, image processing method | |
| JP7113013B2 (en) | Subject head tracking | |
| Tamjidi et al. | 6-DOF pose estimation of a portable navigation aid for the visually impaired | |
| Raheja et al. | Hand gesture pointing location detection | |
| CN111382637A (en) | Pedestrian detection tracking method, device, terminal equipment and medium | |
| US9811916B1 (en) | Approaches for head tracking | |
| CN109447996A (en) | Hand Segmentation in 3-D image | |
| Park et al. | Hand detection and tracking using depth and color information | |
| CN115862124A (en) | Sight estimation method and device, readable storage medium and electronic equipment | |
| US10074010B2 (en) | Image processing method, device and non-transitory computer-readable medium | |
| KR101614798B1 (en) | Non-contact multi touch recognition method and system using color image analysis | |
| Park et al. | Depth image correction for intel realsense depth camera | |
| CN109146969B (en) | Pedestrian positioning method, device and processing equipment and storage medium thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160722 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190827 Year of fee payment: 7 |