KR102446923B1 - Apparatus and method for reducing human pose dataset using DBSCAN - Google Patents
Apparatus and method for reducing human pose dataset using DBSCAN Download PDFInfo
- Publication number
- KR102446923B1 KR102446923B1 KR1020200158459A KR20200158459A KR102446923B1 KR 102446923 B1 KR102446923 B1 KR 102446923B1 KR 1020200158459 A KR1020200158459 A KR 1020200158459A KR 20200158459 A KR20200158459 A KR 20200158459A KR 102446923 B1 KR102446923 B1 KR 102446923B1
- Authority
- KR
- South Korea
- Prior art keywords
- dataset
- posture
- clustering
- human posture
- density
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Physiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Physical Education & Sports Medicine (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법은, 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득함으로써, 중복되는 자세 데이터들은 모두 줄이고 다양성이 높은 자세 데이터셋을 획득하고, 이로 인해 종래의 사람 자세 데이터셋을 이용하여 사람 자세 추정 모델을 학습하는 종래의 방식에 비해 아주 적은 데이터를 사용함에도 불구하고 종래의 사람 자세 추정 모델의 성능을 그대로 유지할 수 있으며, 아울러, 축약된 사람 자세 데이터셋을 통해 학습함으로써, 종래의 방식을 이용한 사람 자세 추정 모델의 학습에 소요되는 시간에 비해 아주 적은 시간으로도 학습이 가능함에도 불구하고 종래의 사람 자세 추정 모델과 유사한 성능을 발휘할 수 있고, 또한, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행함으로써, 서로 유사한 자세 데이터들끼리 묶는 클러스터링의 성능을 향상시킬 수 있다.An apparatus and method for reducing a human posture data set using density-based clustering according to a preferred embodiment of the present invention apply a density-based clustering algorithm to a highly redundant human posture data set to cluster similar posture data among each other, and each cluster By extracting only a small number of posture data and obtaining an abbreviated human posture data set from In spite of using very little data compared to the conventional method of learning , the performance of the conventional human posture estimation model can be maintained as it is. Despite the fact that training is possible with very little time compared to the time required for training the estimation model, it can exhibit similar performance to the conventional human pose estimation model, and also, through pose analysis, the metric space ( metric space) and clustering through DBSCAN, a density-based clustering algorithm, in the acquired metric space, it is possible to improve the clustering performance of grouping similar posture data.
Description
본 발명은 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법에 관한 것으로서, 더욱 상세하게는 원본 사람 자세 데이터셋을 유사한 자세 데이터들끼리 클러스터링하는, 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for reducing a human posture dataset using density-based clustering, and more particularly, to an apparatus and method for clustering an original human posture dataset among similar posture data.
종래의 사람 자세 데이터셋(pose dataset)의 경우 거대한 양의 데이터를 모두 학습시키지 않고 적정량을 샘플링하는 방식을 사용하고 있다. 그중 가장 많이 활용되는 방법은 일정 기간마다 하나씩 데이터를 임의 추출하는 방식이다.In the case of a conventional human pose dataset, a method of sampling an appropriate amount without learning all of a huge amount of data is used. Among them, the most used method is to randomly extract data one at a time for a certain period of time.
그러나, 이와 같은 방식의 경우 특정 자세가 계속 반복되는 사람 자세 데이터셋의 특성상 계속 유사한 데이터가 추출될 수 있는 등의 중복성을 완벽하게 제거할 수 없는 문제가 있고, 이는 사람 자세 추정 모델의 성능에도 영향을 미치는 단점이 있다.However, in the case of such a method, there is a problem in that it is not possible to completely remove the redundancy, such as that similar data can be continuously extracted due to the characteristics of the human posture dataset in which a specific posture is continuously repeated, which also affects the performance of the human posture estimation model. has the disadvantage of affecting
본 발명이 이루고자 하는 목적은, 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득하는, 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법을 제공하는 데 있다.An object of the present invention is to apply a density-based clustering algorithm to a highly redundant human posture dataset to cluster similar posture data, and to extract only a small number of posture data from each cluster to obtain an abbreviated human posture dataset An object of the present invention is to provide an apparatus and method for reducing human posture datasets using density-based clustering.
또한, 본 발명이 이루고자 하는 목적은, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행하는, 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법을 제공하는 데 있다.In addition, an object of the present invention is to obtain a metric space from an original human posture dataset through posture analysis, and perform clustering in the obtained metric space through DBSCAN, a density-based clustering algorithm, density-based, An object of the present invention is to provide an apparatus and method for reducing human posture data sets using clustering.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치는, 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 준비부; 상기 클러스터링 준비부를 통해 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 획득하는 파라미터 획득부; 상기 파라미터 획득부를 통해 획득한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링부; 및 상기 클러스터링부를 통해 획득한 클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 데이터 축약부;를 포함한다.The apparatus for reducing human posture dataset using density-based clustering according to a preferred embodiment of the present invention for achieving the above object uses a density-based clustering algorithm to change the value of a parameter of the density-based clustering algorithm, a clustering preparation unit for clustering the original human posture dataset; a parameter obtaining unit which obtains a value of the parameter suitable for the original human posture dataset based on the number of clusters obtained according to a change in the value of the parameter through the clustering preparation unit; a clustering unit configured to cluster the original human posture dataset using the density-based clustering algorithm based on the value of the parameter obtained through the parameter obtaining unit; and a data reduction unit that extracts a preset number of posture data for each cluster obtained through the clustering unit to obtain a reduced human posture data set.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 나타내는 상기 파라미터의 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.Here, the parameter obtaining unit may obtain a value of the parameter indicating the largest number of clusters as a value of the parameter suitable for the original human posture dataset.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 하나의 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.Here, the parameter obtaining unit may obtain one of the parameter values indicating the number of clusters within a preset range based on the largest number of clusters as a value of the parameter suitable for the original human posture dataset. can
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.Here, the parameter obtaining unit is configured to obtain a value representing the smallest mean per joint position error (MPJPE) among the parameter values representing the number of clusters within a preset range based on the number of the largest number of clusters, the original human posture data. It can be obtained as a value of the above parameter suitable for the set.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 랜덤하게 선택한 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.Here, the parameter obtaining unit obtains, as a value of the parameter suitable for the original human posture dataset, a value randomly selected from among the values of the parameter indicating the number of clusters within a preset range based on the number of the largest number of clusters. can do.
여기서, 상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득부;를 더 포함하며, 상기 클러스터링 준비부 및 상기 클러스터링부는, 상기 메트릭 공간 획득부를 통해 획득한 상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링할 수 있다.Here, based on the original human posture dataset, a metric space obtaining unit for obtaining a metric space through one of a posture structural analysis, a posture semantic analysis, and a posture structure and semantic analysis; The clustering preparation unit and the clustering unit may cluster the original human posture dataset by performing clustering using the density-based clustering algorithm in the metric space obtained through the metric space obtaining unit.
여기서, 상기 메트릭 공간 획득부는, 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정하며, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정하며, 상기 전체 골격 유사도, 상기 지역 골격 유사도, 상기 전체 관절 거리 유사도 및 상기 뼈대 길이 유사도를 가중합하여 상기 2개의 비교 대상 자세의 유사도를 측정하여, 자세의 구조적 분석을 수행할 수 있다.Here, the metric space acquisition unit aligns the three-dimensional skeleton structure of the two comparison target postures based on the pelvic center, and measures the overall skeletal similarity based on the aligned three-dimensional skeleton structure of the two comparison target postures, The regional skeletal similarity is measured based on the three-dimensional skeleton structure of the two compared postures aligned, and the total joint distance similarity is measured based on the three-dimensional skeleton structure of the two sorted postures to be compared, and the aligned The skeletal length similarity is measured based on the three-dimensional skeleton structure of the two comparison target postures, and the total skeletal similarity, the regional skeletal similarity, the overall joint distance similarity, and the skeletal length similarity are weighted and summed to determine the two comparison target postures. By measuring the similarity, a structural analysis of the posture can be performed.
여기서, 상기 메트릭 공간 획득부는, 자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습된 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행할 수 있다.Here, the metric space obtaining unit may perform semantic analysis of the posture by using a machine learning model learned through learning data including posture data in which multidimensional attributes of posture are labeled.
여기서, 상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리부;를 더 포함하며, 상기 메트릭 공간 획득부는, 상기 전처리부를 통해 전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득할 수 있다.Here, a preprocessing unit for preprocessing the original human posture dataset by normalizing and aligning the data set further includes, wherein the metric space obtaining unit is based on the original human posture dataset preprocessed through the preprocessor The metric space can be obtained.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치는, 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 준비 단계; 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 획득하는 파라미터 획득 단계; 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 단계; 및 클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 단계;를 포함한다.The apparatus for reducing human posture dataset using density-based clustering according to a preferred embodiment of the present invention for achieving the above object uses a density-based clustering algorithm to change the value of a parameter of the density-based clustering algorithm, clustering preparation step of clustering the original human posture dataset; a parameter acquiring step of acquiring a value of the parameter suitable for the original human posture dataset based on the number of clusters acquired according to a change in the value of the parameter; a clustering step of clustering the original human posture dataset using the density-based clustering algorithm based on the parameter value suitable for the original human posture dataset; and extracting a preset number of posture data for each cluster to obtain an abbreviated human posture data set.
여기서, 상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득 단계;를 더 포함하며, 상기 클러스터링 준비 단계 및 상기 클러스터링 단계는, 상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 것으로 이루어질 수 있다.Here, based on the original human posture dataset, a metric space acquisition step of acquiring a metric space through one of a posture structural analysis, a posture semantic analysis, and a posture structure and semantic analysis; The clustering preparation step and the clustering step may include clustering the original human posture dataset by performing clustering using the density-based clustering algorithm in the metric space.
여기서, 상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리 단계;를 더 포함하며, 상기 메트릭 공간 획득 단계는, 전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득하는 것으로 이루어질 수 있다.Here, the method further includes a preprocessing step of preprocessing the original human posture dataset by normalizing and aligning the original human posture dataset, wherein the obtaining the metric space includes the metric space based on the preprocessed original human posture dataset. can be achieved by obtaining
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법 중 어느 하나를 컴퓨터에서 실행시킨다.A computer program according to a preferred embodiment of the present invention for achieving the above technical problem is stored in a computer-readable recording medium, and any one of the methods for reducing the human posture data set using the density-based clustering described above is executed on the computer. make it
본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법에 의하면, 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득함으로써, 중복되는 자세 데이터들은 모두 줄이고 다양성이 높은 자세 데이터셋을 획득하고, 이로 인해 종래의 사람 자세 데이터셋을 이용하여 사람 자세 추정 모델을 학습하는 종래의 방식에 비해 아주 적은 데이터를 사용함에도 불구하고 종래의 사람 자세 추정 모델의 성능을 그대로 유지할 수 있다.According to the apparatus and method for reducing a human posture dataset using density-based clustering according to a preferred embodiment of the present invention, a density-based clustering algorithm is applied to a highly redundant human posture dataset to cluster similar posture data with each other, and cluster By extracting only a small number of posture data from each to obtain an abbreviated human posture data set, all overlapping posture data is reduced and a posture data set with high diversity is obtained, thereby estimating human posture using the conventional human posture data set In spite of using very little data compared to the conventional method of learning the model, the performance of the conventional human posture estimation model can be maintained.
아울러, 축약된 사람 자세 데이터셋을 통해 학습함으로써, 종래의 방식을 이용한 사람 자세 추정 모델의 학습에 소요되는 시간에 비해 아주 적은 시간으로도 학습이 가능함에도 불구하고 종래의 사람 자세 추정 모델과 유사한 성능을 발휘할 수 있다.In addition, by learning through the reduced human posture dataset, performance similar to the conventional human posture estimation model despite the fact that learning is possible with very little time compared to the time required for learning the human posture estimation model using the conventional method can exert
또한, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행함으로써, 서로 유사한 자세 데이터들끼리 묶는 클러스터링의 성능을 향상시킬 수 있다.In addition, a metric space is obtained from the original human posture data set through posture analysis, and clustering is performed in the obtained metric space through DBSCAN, a density-based clustering algorithm, thereby tying together similar posture data. can improve
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 과정의 일례를 설명하기 위한 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 배경을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 목표를 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 골격 유사도를 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 신체 부위를 나타내는 것이다.
도 7은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 지역 관절 각의 측정을 나타내는 것이다.
도 8은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 관절 거리 유사도를 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 뼈대 길이 유사도를 설명하기 위한 도면이다.
도 10은 본 발명의 바람직한 실시예에 따른 자세 의미론적 분석을 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링 알고리즘의 파라미터를 설명하기 위한 도면으로, 도 11의 (a)는 Eps에 따른 클러스터링의 추세를 나타내고, 도 11의 (b)는 minPts에 따른 클러스터링의 추세를 나타낸다.
도 12는 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 클러스터 개수와 자세 추정 손실을 설명하기 위한 도면이다.
도 13은 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 정성적 평가 결과를 설명하기 위한 도면이다.
도 14는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating an apparatus for reducing a human posture dataset using density-based clustering according to a preferred embodiment of the present invention.
2 is a diagram for explaining an example of a reduction process of a human posture dataset using density-based clustering according to a preferred embodiment of the present invention.
3 is a view for explaining the background of the metric space acquisition process according to a preferred embodiment of the present invention.
4 is a diagram for explaining a performance goal of a metric space acquisition process according to a preferred embodiment of the present invention.
5 is a diagram for explaining the degree of overall skeletal similarity in posture structural analysis according to a preferred embodiment of the present invention.
6 is a diagram for explaining the regional skeletal similarity of posture structural analysis according to a preferred embodiment of the present invention, and shows body parts.
7 is a diagram for explaining the regional skeletal similarity of postural structural analysis according to a preferred embodiment of the present invention, and shows the measurement of regional joint angles.
8 is a diagram for explaining the degree of similarity of total joint distance in posture structural analysis according to a preferred embodiment of the present invention.
9 is a view for explaining the degree of similarity of the length of the skeleton in the posture structural analysis according to a preferred embodiment of the present invention.
10 is a diagram for explaining posture semantic analysis according to a preferred embodiment of the present invention.
11 is a diagram for explaining the parameters of a density-based clustering algorithm according to a preferred embodiment of the present invention. FIG. 11 (a) shows a clustering trend according to Eps, and FIG. 11 (b) is a diagram according to minPts. It shows the trend of clustering.
12 is a diagram for explaining the number of clusters and loss of posture estimation according to a change in a parameter value according to a preferred embodiment of the present invention.
13 is a view for explaining a qualitative evaluation result according to a change in a parameter value according to a preferred embodiment of the present invention.
14 is a flowchart illustrating a method for reducing a human posture dataset using density-based clustering according to a preferred embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments published below, but may be implemented in various different forms, and only these embodiments make the publication of the present invention complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.In the present specification, terms such as “first” and “second” are for distinguishing one component from other components, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In the present specification, identification symbols (eg, a, b, c, etc.) in each step are used for convenience of description, and identification symbols do not describe the order of each step, and each step is clearly Unless a specific order is specified, the order may differ from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다"등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this specification, expressions such as “have”, “may have”, “include” or “may include” indicate the presence of a corresponding feature (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.In addition, the term '~ unit' as used herein means software or a hardware component such as a field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Thus, as an example, '~' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data structures and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, a preferred embodiment of an apparatus and method for reducing a human posture data set using density-based clustering according to the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 1 및 도 2를 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치에 대하여 설명한다.First, an apparatus for reducing a human posture data set using density-based clustering according to a preferred embodiment of the present invention will be described with reference to FIGS. 1 and 2 .
도 1은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치를 설명하기 위한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 과정의 일례를 설명하기 위한 도면이다.1 is a block diagram for explaining an apparatus for reducing a human posture data set using density-based clustering according to a preferred embodiment of the present invention, and FIG. 2 is a human posture data using density-based clustering according to a preferred embodiment of the present invention. It is a diagram for explaining an example of the abbreviation process of the set.
도 1 및 도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치(이하 '자세 데이터 축약 장치'라 한다)(100)는 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득한다.1 and 2, the apparatus for reducing human posture data using density-based clustering according to a preferred embodiment of the present invention (hereinafter referred to as 'posture data reduction apparatus') 100 implements the density-based clustering algorithm with redundancy. Applied to this high human posture dataset, similar posture data are clustered, and only a small number of posture data is extracted from each cluster to obtain an abbreviated human posture data set.
여기서, 밀도 기반 클러스터링 알고리즘은 DBSCAN(density-based spatial clustering of applications with noise) 등을 말한다.Here, the density-based clustering algorithm refers to a density-based spatial clustering of applications with noise (DBSCAN).
또한, 본 발명에 따른 자세 데이터 축약 장치(100)는 서로 유사한 자세 데이터들끼리 묶는 클러스터링의 성능을 향상시키기 위해, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행할 수 있다.In addition, the posture
예컨대, 도 2에 도시된 바와 같이, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 서로 유사한 자세 데이터들끼리 묶는 클러스터링을 수행하고, 클러스터 별로 적은 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득할 수 있다. 이때, 밀도 기반 클러스터링 알고리즘인 DBSCAN의 파라미터(Eps, minPts)의 값을 변화시키면서 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 획득하고, 획득한 파라미터의 값을 기반으로 원본 사람 자세 데이터셋의 클러스터링을 수행할 수 있다.For example, as shown in FIG. 2 , a metric space is obtained from the original human posture dataset through posture analysis, and posture data similar to each other are grouped together through DBSCAN, a density-based clustering algorithm, in the obtained metric space. An abbreviated human posture dataset can be obtained by performing clustering and extracting a small number of posture data for each cluster. At this time, while changing the values of parameters (Eps, minPts) of DBSCAN, which is a density-based clustering algorithm, a parameter value suitable for the original human posture dataset is acquired, and clustering of the original human posture dataset is performed based on the obtained parameter value. can be done
아울러, 자세 데이터 축약 장치(100)는 외부 디바이스(도시하지 않음)로부터 원본 사람 자세 데이터셋을 제공받을 수 있다.In addition, the posture
또한, 자세 데이터 축약 장치(100)는 도 2에 도시된 바와 같이, 카메라 캡쳐 시스템을 통해 촬영된 2D 자세 이미지들을 기반으로 2D 객체를 3D 객체로 재구성한 데이터를 통해 원본 사람 자세 데이터셋을 획득할 수 있다.In addition, as shown in FIG. 2 , the posture
여기서, 카메라 캡쳐 시스템은 자세 데이터를 취득하기 위한 시스템으로서, 하나의 객체를 미리 설정된 다각도에서 동시에 촬영(예컨대, 객체를 중심에 두고 객체의 주변에 미리 설정된 각도 단위로 설치된 54개의 카메라를 통해 객체를 동시에 촬영)하여 객체에 대한 다각도의 2D 자세 이미지들(예컨대, 54개의 2D 자세 이미지)을 획득할 수 있다. 그리고, 카메라 캡쳐 시스템은 삼각화(triangulization) 기법 등을 통해 복수개의 2D 자세 이미지로부터 3D 자세 이미지를 획득할 수 있다.Here, the camera capture system is a system for acquiring posture data, and simultaneously shoots one object from a preset multi-angle (eg, the object is captured through 54 cameras installed in preset angular units around the object with the object at the center. simultaneously) to obtain multi-angle 2D posture images (eg, 54 2D posture images) of the object. In addition, the camera capture system may acquire a 3D posture image from a plurality of 2D posture images through a triangulization technique or the like.
물론, 자세 데이터 축약 장치(100)는 외부 디바이스로부터 제공받은 원본 사람 자세 데이터셋과 카메라 캡쳐 시스템을 통해 획득한 원본 사람 자세 데이터셋 전부를 이용할 수도 있다.Of course, the posture
이를 위해, 자세 데이터 축약 장치(100)는 전처리부(110), 메트릭 공간 획득부(120), 클러스터링 준비부(130), 파라미터 획득부(140), 클러스터링부(150) 및 데이터 축약부(160)를 포함할 수 있다.To this end, the posture
그러면, 도 3 내지 도 12를 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치에 대하여 보다 자세하게 설명한다.Next, an apparatus for reducing a human posture data set using density-based clustering according to a preferred embodiment of the present invention will be described in more detail with reference to FIGS. 3 to 12 .
도 3은 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 배경을 설명하기 위한 도면이고, 도 4는 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 목표를 설명하기 위한 도면이며, 도 5는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 골격 유사도를 설명하기 위한 도면이고, 도 6은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 신체 부위를 나타내는 것이며, 도 7은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 지역 관절 각의 측정을 나타내는 것이고, 도 8은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 관절 거리 유사도를 설명하기 위한 도면이며, 도 9는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 뼈대 길이 유사도를 설명하기 위한 도면이고, 도 10은 본 발명의 바람직한 실시예에 따른 자세 의미론적 분석을 설명하기 위한 도면이며, 도 11은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링 알고리즘의 파라미터를 설명하기 위한 도면으로, 도 11의 (a)는 Eps에 따른 클러스터링의 추세를 나타내고, 도 11의 (b)는 minPts에 따른 클러스터링의 추세를 나타내며, 도 12는 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 클러스터 개수와 자세 추정 손실을 설명하기 위한 도면이다.3 is a diagram for explaining the background of the metric space acquisition process according to a preferred embodiment of the present invention, and FIG. 4 is a diagram for explaining the performance goal of the metric space acquisition process according to a preferred embodiment of the present invention, 5 is a diagram for explaining the overall skeletal similarity of the posture structural analysis according to a preferred embodiment of the present invention, and FIG. 6 is a diagram for explaining the regional skeletal similarity of the posture structural analysis according to a preferred embodiment of the present invention. 7 is a diagram for explaining the regional skeletal similarity of postural structural analysis according to a preferred embodiment of the present invention, showing the measurement of regional joint angles, and FIG. 8 is a preferred embodiment of the present invention. It is a view for explaining the overall joint distance similarity of the posture structural analysis according to the present invention, Figure 9 is a view for explaining the skeleton length similarity of the posture structural analysis according to a preferred embodiment of the present invention, Figure 10 is a preferred embodiment of the present invention It is a diagram for explaining the semantic analysis of posture according to , and FIG. 11 is a diagram for explaining the parameters of a density-based clustering algorithm according to a preferred embodiment of the present invention, and (a) of FIG. 11 is a trend of clustering according to Eps , and FIG. 11 (b) shows a trend of clustering according to minPts, and FIG. 12 is a diagram for explaining the number of clusters and loss of posture estimation according to changes in parameter values according to a preferred embodiment of the present invention.
전처리부(110)는 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리할 수 있다.The
즉, 전처리부(100)는 자세 데이터들이 일관적인 특성을 가질 수 있도록 하기 위해, 원본 사람 자세 데이터셋을 구성하는 자세 데이터의 스케일을 정규화(normalization)하고 자세 데이터의 방향을 정렬(alignment)할 수 있다.That is, the
3D 자세 데이터의 경우 기준이 되는 시점에 따라서 동일한 동작임에도 불구하고 학습 시 다른 동작으로 분류되는 경우가 많이 있다. 또한, 똑같은 자세를 취하더라도 서로 다른 사람이 동작을 취할 경우 팔/다리의 길이 등과 같은 개인적 요소 때문에 다르게 나타나는 경우가 있다.In the case of 3D posture data, there are many cases where the 3D posture data is classified as a different motion during learning, even though it is the same motion depending on a reference point of time. In addition, even if the same posture is taken, when different people take action, it may appear differently due to personal factors such as arm/leg length.
이러한 부분을 방지하기 위해, 아래의 [수학식 1]을 통해, 각 사람의 해당 관절에서의 가장 큰 값과 가장 작은 값의 차이를 분모로, 해당 관절의 값과 가장 작은 값의 차이를 분자로 하여 정규화하는 과정을 수행한다.In order to prevent this part, through [Equation 1] below, the difference between the largest value and the smallest value in the joint of each person is the denominator, and the difference between the value of the joint and the smallest value is the numerator. to perform the normalization process.
여기서, xi는 입력 데이터를 나타낸다. minx와 maxx는 각각 입력 데이터의 최소 값과 최대 값을 나타낸다. 동일한 비율을 모든 데이터에 적용하는 것에 의해 자세를 정규화할 수 있다.Here, x i represents input data. min x and max x represent the minimum and maximum values of the input data, respectively. Posture can be normalized by applying the same ratio to all data.
그리고, 각도의 경우 양쪽 관절의 각도를 규정하여 몸이 바라보는 각도를 일정하게 하는 정렬 과정을 수행한다.And, in the case of an angle, an alignment process is performed in which the angle of both joints is defined and the angle the body looks at is constant.
메트릭 공간 획득부(120)는 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득할 수 있다.The metric
이때, 메트릭 공간 획득부(120)는 전처리부(110)를 통해 전처리된 원본 사람 자세 데이터셋을 기반으로 메트릭 공간을 획득할 수 있다.In this case, the metric
자세 데이터 공간은 xyz 좌표로 이루어진 공간으로, 자세 데이터의 스케일 정규화(normalization) 및 방향 정렬(alignment)을 통해 성능을 향상시킬 수 있지만, 관절의 물리적인 위치만을 다룬 것이어서 한계가 있다.The posture data space is a space composed of xyz coordinates, and although the performance can be improved through scale normalization and alignment of the posture data, there is a limit because it deals with only the physical location of the joint.
이에, 본 발명은 자세 데이터 공간에서 바로 클러스터링을 수행하는 것도 가능하지만, 자세의 구조적/의미론적 분석을 통해 도출된 메트릭 공간에서 클러스터링을 수행하여 샘플링 과정에서 손실되는 정보량을 최소화하는 것도 가능하다.Accordingly, in the present invention, it is possible to perform clustering directly in the posture data space, but it is also possible to minimize the amount of information lost in the sampling process by performing clustering in the metric space derived through structural/semantic analysis of posture.
즉, 메트릭 공간 획득부(120)는 새로운 특징을 찾아내는 공간인 자세 메트릭 공간(pose metric space)에 원본 사람 자세 데이터셋을 맵핑함으로써, 차원을 낮추어 연산량을 줄일 수 있고, 보다 유의미한 클러스터링을 진행할 수 있다.That is, the metric
여기서, 메트릭은 모션(motion)의 특징이나 행동을 정의하는 기준을 말한다. 예컨대, 걷는 모션에 대한 메트릭은 오른팔을 앞으로 하고, 왼팔을 뒤로 하는 것일 수 있다. 메트릭은 관절(joint)의 관계성을 통해 동작을 규정하는 구조적 메트릭(structual metric)과 인공지능을 통해 학습되어 유사한 자세를 찾아내는 의미론적 메트릭(semantic metric)으로 구분할 수 있다.Here, the metric refers to a criterion defining a characteristic or behavior of a motion. For example, a metric for a walking motion may be with the right arm forward and the left arm back. The metric can be divided into a structural metric that defines motion through joint relationships and a semantic metric that finds similar postures learned through artificial intelligence.
구조적 메트릭 요소는 일부 관절이 형성하는 다각형의 형태의 변화를 감지하여 이를 측정하는 것으로, 여기서 다각형은 인체의 계층적 구조를 고려하여 구성될 수 있다. 의미론적 메트릭 요소는 자세의 다차원 속성 레이블링(labeling)을 통하여 학습된 머신러닝 모델을 통해 추출된 피쳐를 통해 구성될 수 있다.The structural metric element detects and measures a change in the shape of a polygon formed by some joints, wherein the polygon may be constructed in consideration of the hierarchical structure of the human body. Semantic metric elements can be constructed through features extracted through a machine learning model trained through multidimensional attribute labeling of posture.
예컨대, 도 3에 도시된 바와 같이 각도가 틀어져 있어, 2개의 자세는 정량적 유사도가 낮은 것으로 판단될 수 있으나, 2개의 자세는 의미론적 유사도가 높을 수 있다. 실질적으로 서로 유사한 자세 데이터가 하나의 클러스터로 묶일 수 있도록 하기 위해, 본 발명은 원본 사람 자세 데이터셋을 기반으로 메트릭 공간을 획득하고, 이로 인해 도 4에 도시된 바와 같이 새로운 차원으로 원본 자세 데이터셋을 맵핑하여 의미론적으로 더 가까운 자세 데이터를 찾을 수 있도록 할 수 있고, 찾아낸 새로운 특징으로 DBSCAN 클러스터링을 진행할 수 있다.For example, as shown in FIG. 3 , since the angles are different, the two postures may be determined to have low quantitative similarity, but the two postures may have high semantic similarity. In order to enable substantially similar posture data to be grouped into one cluster, the present invention acquires a metric space based on the original human posture dataset, thereby taking the original posture dataset into a new dimension as shown in FIG. 4 . can be mapped to find semantically closer posture data, and DBSCAN clustering can be performed with the new features found.
보다 자세하게 설명하면, 메트릭 공간 획득부(120)는 정렬 과정 -> 전체 골격 유사도 측정 과정 -> 지역 골격 유사도 측정 과정 -> 전체 관절 거리 유사도 측정 과정 -> 뼈대 길이 유사도 측정 과정 -> 최종 유사도 측정 과정을 통해, 자세의 구조적 분석을 수행할 수 있다.In more detail, the metric
즉, 메트릭 공간 획득부(120)는 2개의 자세의 공정한 비교를 위해, 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬할 수 있다.That is, for a fair comparison of the two postures, the metric
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정할 수 있다. 예컨대, 하나의 자세를 구성하는 관절들의 개별적인 관절 각도를 거시적으로 비교한다. 도 5에 도시된 바와 같이, 골반 중심 관절을 기준으로 나머지 관절들이 이루는 사이의 내각(방위각)을 측정한다. 이를 통해, 2개의 비교 대상 자세의 관절 벡터간 유사도를 측정한다.The
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정할 수 있다. 예컨대, 도 6에 도시된 바와 같이, 사람의 신체는 5개의 커다란 부위(몸통, 양팔, 양다리)를 기준으로 독립적으로 움직이는데, 하나의 신체 부위 내에서 지역적으로 관절간 생성하는 관절 각의 차이를 비교한다. 도 7은 하나의 신체 부위 내의 지역 관절 각 측정 방식을 나타낸다. 하나의 신체 부위는 4개의 관절을 가지며, 각 관절들은 교대로 원점이 되어, 나머지 관절의 상대적인 관절 각도를 측정한다. 이와 같이 측정된 상대적인 관절 각도들을 묶어서 하나의 신체 부위의 관절 각을 정규화한다. 정규화된 신체 부위의 상대적인 관절 각들을 전체 하나의 지역 골격 구족의 관절 벡터로 만들어 두 벡터간 유사도를 측정한다.The
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정할 수 있다. 예컨대, 도 8에 도시된 바와 같이, 골반 중심 관절을 기준으로 나머지 관절들의 유클리드 기하상 거리를 측정하여 하나의 벡터를 만들고, 이를 전체 관절 거리 벡터라고 했을 때, 2개의 비교 대상 자세의 전체 관절 거리 벡터간 유사도를 측정한다.The metric
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정할 수 있다. 예컨대, 도 9에 도시된 바와 같이, 사람은 개별적인 신체적 특성을 가지므로, 비교 대상이 되는 각 3D 자세의 의미론적인 뼈대(목뼈, 어깨뼈, 골반뼈 등)를 기준으로 2개의 비교 대상 자세 사이의 뼈대 길이를 벡터화하고, 2개의 비교 대상 자세의 뼈대 길이 벡터간 유사도를 측정한다.The
메트릭 공간 획득부(120)는 전체 골격 유사도, 지역 골격 유사도, 전체 관절 거리 유사도 및 뼈대 길이 유사도를 가중합하여 2개의 비교 대상 자세의 최종 유사도를 측정할 수 있다. 여기서, 최종 유사도는 0에서 1 사이의 값을 가지며, 1에 가까워질수록 2개의 비교 대상 자세가 서로 유사하다는 것을 나타낸다.The
아울러, 메트릭 공간 획득부(120)는 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행할 수 있다.In addition, the metric
여기서, 머신러닝 모델은 자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습될 수 있다.Here, the machine learning model may be learned through training data composed of posture data in which multidimensional properties of posture are labeled.
의미론적 메트릭 요소는 자세의 다차원 속성 레이블링(labeling)을 통하여 학습된 머신러닝 모델을 통해 추출된 피쳐를 통해 구성될 수 있다. 예컨대, 자세에 대한 분류 정보(대분류-중분류-소분류 등), 자세의 역동성, 자세에 대한 팔다리의 구체적인 상태 등과 같이 자세를 설명하는 다양한 속성들을 자세에 레이블링할 수 있다. 이와 같이, 다양한 속성이 레이블링된 자세 데이터를 통해 머신러닝 모델을 학습하고, 도 10에 도시된 바와 같이, 학습된 머신러닝 모델을 통해 원본 사람 자세 데이터셋의 자세 데이터의 의미론적 유사도 분석을 수행할 수 있다.Semantic metric elements can be constructed through features extracted through a machine learning model trained through multidimensional attribute labeling of posture. For example, various attributes describing the posture, such as classification information about the posture (large classification-medium classification-small classification, etc.), dynamics of the posture, and specific states of limbs with respect to the posture, may be labeled on the posture. In this way, a machine learning model is trained through the posture data labeled with various properties, and as shown in FIG. 10, semantic similarity analysis of the posture data of the original human posture dataset is performed through the trained machine learning model. can
클러스터링 준비부(130)는 밀도 기반 클러스터링 알고리즘을 이용하여, 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.The
이때, 클러스터링 준비부(130)는 메트릭 공간 획득부(120)를 통해 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.In this case, the
파라미터 획득부(140)는 클러스터링 준비부(130)를 통해 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 획득할 수 있다.The
즉, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 나타내는 파라미터의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.That is, the
이때, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 하나의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.In this case, the
여기서, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.Here, the
예컨대, 도 11의 (a)를 참조하면, Eps가 작은 값을 가지면, 점들이 다른 점들과 묶이지 않을 수 있기 때문에 모든 데이터가 노이즈로 분류된다. 그러나, Eps가 점점 커지면, 노이즈 점들은 클러스터를 형성하는 것을 시작하게 되고, 클러스터의 개수가 점진적으로 증가한다. 이때, Eps가 특정 레벨보다 커지게 되면, 노이즈의 개수가 떨어져 0개에 근접하게 된다. 그러나, 클러스터들은 좀 더 큰 클러스터들을 형성하게 되고, 클러스터의 개수는 떨어지게 된다. 도 11의 (b)를 참조하면, minPts는 그래프의 전반적인 형태가 변화지 않는 것을 확인할 수 있고, minPts가 커짐에 따라 클러스터의 개수가 가장 많은 곳이 그래프의 오른쪽으로 이동하는 것을 확인할 수 있다. Eps가 작은 경우 클러스터의 데이터는 상당한 유사성을 가지지만, 클러스터 개수가 너무 적기 때문에 샘플링 중에 문제가 발생하게 된다. 또한, Eps가 너무 크면 클러스터의 분산이 증가하여 중복성이 높은 데이터를 제거하기 위한 클러스터 샘플링의 목표와 일치하지 않게 된다. 따라서, 클러스터의 개수가 가장 많은 클러스터의 개수를 기준으로 하여 원본 사람 자세 데이터셋에 가장 적합한 파라미터의 값을 획득한다.For example, referring to FIG. 11A , if Eps has a small value, all data is classified as noise because the points may not be bound with other points. However, as Eps gradually increases, noise points start to form clusters, and the number of clusters gradually increases. At this time, when Eps becomes larger than a specific level, the number of noises decreases and approaches 0. However, the clusters form larger clusters, and the number of clusters decreases. Referring to (b) of FIG. 11 , it can be seen that the overall shape of the graph for minPts does not change, and as minPts increases, it can be confirmed that the location with the largest number of clusters moves to the right side of the graph. When Eps is small, the data in the clusters have significant similarity, but problems occur during sampling because the number of clusters is too small. In addition, if Eps is too large, the variance of the cluster increases, which does not match the goal of cluster sampling to remove highly redundant data. Accordingly, a parameter value most suitable for the original human posture dataset is obtained based on the number of clusters having the largest number of clusters.
도 12에 도시된 바와 같이, 클러스터의 개수는 파라미터(Eps)의 값에 따라 점차 증가하다가 감소하는 경향을 보이는 것을 확인할 수 있다. 클러스터의 개수가 가장 많은 개수를 보이는 것은 유사한 자세들이 가장 적절하게 묶여 있다는 것을 나타내며, 이때의 자세 추정(pose estimation) 성능도 가장 우수한 것을 확인할 수 있다. 이에 따라, 클러스터의 개수가 가장 많은 부분 중 일부분만을 자세 추정 알고리즘을 이용하여 검증하면, 해당 원본 사람 자세 데이터셋에 가장 적절한 파라미터의 값을 찾을 수 있다. 예컨대, 도 12를 참조하면, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위(도 12의 음영 부분) 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 가장 오류가 적은 값인 '0.014'를 파라미터(Eps)의 값으로 획득할 수 있다.As shown in FIG. 12 , it can be seen that the number of clusters gradually increases and then decreases according to the value of the parameter Eps. Showing the largest number of clusters indicates that similar postures are most appropriately grouped, and it can be seen that the pose estimation performance at this time is also the best. Accordingly, if only a part of the portion having the largest number of clusters is verified using the posture estimation algorithm, it is possible to find the most appropriate parameter value for the original human posture dataset. For example, referring to FIG. 12 , among parameter values indicating the number of clusters within a preset range (shaded portion in FIG. 12 ) based on the number of the largest number of clusters, '0.014', which is the value with the least error, is used as a parameter (Eps). can be obtained as a value of
또한, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 랜덤하게 선택한 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수도 있다. 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위(도 12의 음영 부분) 내의 파라미터의 값들의 오류 차이는 크지 않기 때문에, 해당 범위 내의 파라미터 값들 중에서 랜덤하게 하나의 값을 선택하여도 성능의 차이는 크지 않다.In addition, the
클러스터링부(150)는 파라미터 획득부(140)를 통해 획득한 파라미터의 값을 기반으로, 밀도 기반 클러스터링 알고리즘을 이용하여, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.The
이때, 클러스터링부(150)는 메트릭 공간 획득부(120)를 통해 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.In this case, the
데이터 축약부(160)는 클러스터링부(150)를 통해 획득한 클러스터 별로 미리 설정된 개수(예컨대, 1개 등)의 자세 데이터를 랜덤하게 추출하여 축약 사람 자세 데이터셋을 획득할 수 있다.The data reduction unit 160 may obtain a reduced human posture dataset by randomly extracting a preset number (eg, one, etc.) of posture data for each cluster obtained through the
예컨대, 클러스터링이 성공적으로 수행되었다는 의미는 의미론적으로 유사한 자세 데이터들이 해당 클러스터를 대표하도록 잘 묶였다는 것을 의미한다. 이에 따라 랜덤하게 자세 데이터를 추출하여도 추출된 자세 데이터는 해당 클러스터를 대표할 수 있으므로, 클러스터 각각에서 1개의 자세 데이터를 뽑아도 무방하다. 다만, 모델의 성능이 너무 적은 개수의 자세 데이터로 인해 감소하게 되는 경우, 2개 ~ 3개의 자세 데이터를 각 클러스터에서 랜덤하게 추출할 수도 있다.For example, the successful clustering means that semantically similar posture data are well grouped to represent the cluster. Accordingly, even if the posture data is randomly extracted, since the extracted posture data can represent the corresponding cluster, it is okay to extract one posture data from each cluster. However, when the performance of the model is reduced due to too few posture data, two or three posture data may be randomly extracted from each cluster.
그러면, 도 13을 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치의 성능에 대하여 설명한다.Then, with reference to FIG. 13, the performance of the apparatus for reducing the human posture dataset using density-based clustering according to a preferred embodiment of the present invention will be described.
도 13은 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 정성적 평가 결과를 설명하기 위한 도면이다.13 is a view for explaining a qualitative evaluation result according to a change in a parameter value according to a preferred embodiment of the present invention.
본 발명에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치의 성능을 평가하기 위해, 3D 사람 자세 데이터셋인 Human3.6M을 이용한다. 최적의 파라미터 값 획득 과정의 수행 후에, 본 발명에 의해 형성된 클러스터들로부터 데이터를 샘플링하여 클러스터 샘플링(CS) 데이터셋을 획득한다. 그런 다음, 클러스터 샘플링(CS) 데이터셋과 동일한 개수를 가지도록, Human3.6M에서 랜덤하게 샘플링하여 랜덤 샘플링(RS) 데이터셋을 획득한다. 클러스터 샘플링(CS) 데이터셋과 랜덤 샘플링(RS) 데이터셋은 3D 사람 자세 추정 딥러닝 모델인, Simple-net을 학습하는데 이용된다. Simple-net을 이용하여 2개의 데이터셋의 성능을 비교하고 분석한다.In order to evaluate the performance of the apparatus for reducing the human posture dataset using density-based clustering according to the present invention, a 3D human posture dataset, Human3.6M, is used. After performing the optimal parameter value acquisition process, a cluster sampling (CS) dataset is obtained by sampling data from the clusters formed by the present invention. Then, a random sampling (RS) dataset is obtained by randomly sampling in Human3.6M to have the same number as the cluster sampling (CS) dataset. The cluster sampling (CS) dataset and the random sampling (RS) dataset are used to train Simple-net, a 3D human posture estimation deep learning model. Compare and analyze the performance of two datasets using Simple-net.
Human3.6M : Human3.6M 데이터셋은 3D 사람 자세 추정에 자주 사용되며, 4개의 시점에서 15개의 서로 다른 동작을 수행하는 11명의 피험자의 360만개의 3D 자세(프레임)로 구성된다. 피사체는 RGB 카메라로 4개의 다른 시점에서 촬영되며, 피사체의 관절 위치는 MoCap 시스템으로 측정된다. 캘리브레이션 파라미터는 RGB 카메라 및 MoCap 시스템에 사용할 수 있다. 실험에서는 5개의 피사체(S1, S5, S6, S7, S8)를 훈련 및 검증에 사용하고 2개의 피사체(S9, S11)를 테스트에 사용한다. 원래 Human3.6M 데이터셋을 사용하는 경우 훈련에 약 156만 개의 자세(프레임)를 사용하고 테스트에 약 0.55백만 개의 자세(프레임)를 사용한다.Human3.6M: The Human3.6M dataset is frequently used for 3D human posture estimation, and consists of 3.6 million 3D postures (frames) of 11 subjects performing 15 different motions at 4 viewpoints. The subject is photographed from four different viewpoints with an RGB camera, and the joint position of the subject is measured with the MoCap system. Calibration parameters are available for RGB cameras and MoCap systems. In the experiment, five subjects (S1, S5, S6, S7, S8) are used for training and verification, and two subjects (S9, S11) are used for testing. Using the original Human3.6M dataset, we use about 1.56 million poses (frames) for training and about 0.55 million poses (frames) for testing.
Simple-net : 클러스터된 데이터의 성능을 평가하기 위해 간단하고 구현하기 쉬운 3D 자세 추정 모델인 Simple-net을 사용한다. Simple-net은 정규화, dropout 및 RELU(Rectified Linear Unit)을 사용한다. Simple-net 기본 블록은 1024개의 히든 유닛이 있는 선형 레이어, dropout 및 RELU 활성화로 구성된다. 이는 두번 반복되며, 두 블록은 잔차 연결(residual connection)로 연결된다.Simple-net: Simple-net, a simple and easy-to-implement 3D posture estimation model, is used to evaluate the performance of clustered data. Simple-net uses regularization, dropout, and a Rectified Linear Unit (RELU). The Simple-net basic block consists of a linear layer with 1024 hidden units, dropout and RELU activation. This is repeated twice, and the two blocks are connected by a residual connection.
종래의 방식인 랜덤 샘플링(RS)과 본 발명에 따른 클러스터 샘플링(CS)을 통해 획득된 MPJPE(mean per joint position error) 점수를 비교한다. Eps는 0.001 단위로 하여 0.001 ~ 0.03을 사용하고, minPts는 3, 4, 5의 3개의 값을 이용한다. 아래의 [표 1]을 참조하면, minPts는 3이고 Eps는 0.014인 경우가 가장 좋은 MPJPE 값이 획득된다. [표 1]에서 알 수 있듯이, 본 발명에 따른 클러스터 샘플링(CS)은 종래의 방식인 랜덤 샘플링(RS) 및 전체 데이터를 이용한 경우보다 향상된 성능을 보이는 것을 확인할 수 있다. 또한, 본 발명은 원본 사람 자세 데이터셋의 극히 일부인 축약 사람 자세 데이터셋을 이용하더라도 종래의 방식과 유사한 성능을 보이는 것을 확인할 수 있다.A mean per joint position error (MPJPE) score obtained through the conventional random sampling (RS) and cluster sampling (CS) according to the present invention is compared. Eps uses 0.001 to 0.03 as a unit of 0.001, and minPts uses 3 values: 3, 4, and 5. Referring to [Table 1] below, the best MPJPE value is obtained when minPts is 3 and Eps is 0.014. As can be seen from [Table 1], it can be seen that the cluster sampling (CS) according to the present invention exhibits improved performance compared to the case of using the conventional random sampling (RS) and total data. In addition, it can be seen that the present invention exhibits similar performance to the conventional method even when an abbreviated human posture dataset, which is a very small part of the original human posture dataset, is used.
여기서, 대괄호는 [minPts, Eps, 샘플링 개수]를 나타내고, 소괄호는 (자세 데이터의 개수)를 나타낸다.Here, square brackets indicate [minPts, Eps, number of samples], and parentheses indicate (number of posture data).
최적의 파라미터 검색을 통해 찾은 파라미터로 추출된 데이터셋이 사람의 관점에서 적절하게 클러스터링되었는지를 확인하기 위해 주관적인 테스트를 수행한다. 0.001 ~ 0.03 사이의 다양한 Eps 세트에서 자세를 추출하고, 클러스터의 평균 (μ)과 분산(σ)을 계산한다. 그후, 자세를 [μ-2σ, μ-σ, μ, μ+σ, μ+2σ]의 5 단계로 추출하여, 5점 척도로 피사체와 얼마나 유사한지 평가한다. 매우 유사한 클러스터는 분산(σ)이 크지 않기 때문에 높은 점수를 받지만, 자세가 비슷하지 않은 클러스터는 낮은 점수를 받는다.A subjective test is performed to confirm whether the dataset extracted with the parameters found through the optimal parameter search is properly clustered from the human point of view. Postures are extracted from various Eps sets between 0.001 and 0.03, and the mean (μ) and variance (σ) of the clusters are calculated. Then, the posture is extracted in 5 steps of [μ-2σ, μ-σ, μ, μ+σ, μ+2σ], and how similar it is to the subject is evaluated on a 5-point scale. Clusters that are very similar receive a high score because the variance (σ) is not large, whereas clusters that are not similar in posture score low.
위의 실험은 총 30명을 대상으로 진행되었으며 30개 문항 각각은 5점 척도로 채점되었다. 척도의 항목은 [1:매우 유사하지 않음, 2:비유사함, 3:유사하지도 유사하지 않지도 않음, 4:유사함 및 5: 매우 유사함]이다. 도 13의 결과(도 13의 음영 부분)는 피험자들이 유사한 데이터가 일정 수준의 Eps까지 수집되었다고 생각하는 것을 보여준다. 반면, 일정 수준의 Eps 이상의 클러스터를 평가할 때, 대부분의 피험자는 클러스터 내부가 유사하지 않아 클러스터가 제대로 동작하지 않는다고 느낀다는 것을 확인할 수 있다.The above experiment was conducted for a total of 30 people, and each of the 30 questions was scored on a 5-point scale. The items on the scale are [1: very dissimilar, 2: dissimilar, 3: neither similar nor dissimilar, 4: similar, and 5: very similar]. The results in FIG. 13 (shaded portion in FIG. 13 ) show that the subjects thought that similar data were collected up to a certain level of Eps. On the other hand, when evaluating a cluster with a certain level of Eps or higher, it can be confirmed that most subjects feel that the cluster is not operating properly because the inside of the cluster is not similar.
즉, 피실험자들이 본 발명에 따른 축약 사람 자세 데이터셋이 얼마나 유사한지를 평가한 결과, 도 13에 도시된 바와 같이, 본 발명에서 최적이라고 판단한 부분에서 피실험자들도 굉장히 유사하다고 느낀다는 것을 확인할 수 있다.That is, as a result of evaluating how similar the abbreviated human posture dataset according to the present invention is, it can be confirmed that the subjects also feel very similar in the part determined to be optimal in the present invention, as shown in FIG. 13 .
그러면, 도 14를 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법에 대하여 설명한다.Next, a method for reducing a human posture dataset using density-based clustering according to a preferred embodiment of the present invention will be described with reference to FIG. 14 .
도 14는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법을 설명하기 위한 흐름도이다.14 is a flowchart illustrating a method for reducing a human posture dataset using density-based clustering according to a preferred embodiment of the present invention.
도 14를 참조하면, 자세 데이터 축약 장치(100)는 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리할 수 있다(S110).Referring to FIG. 14 , the posture
즉, 자세 데이터 축약 장치(100)는 자세 데이터들이 일관적인 특성을 가질 수 있도록 하기 위해, 원본 사람 자세 데이터셋을 구성하는 자세 데이터의 스케일을 정규화(normalization)하고 자세 데이터의 방향을 정렬(alignment)할 수 있다.That is, the posture
그런 다음, 자세 데이터 축약 장치(100)는 전처리된 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간을 획득할 수 있다(S120).Then, the posture
즉, 자세 데이터 축약 장치(100)는 2개의 자세의 공정한 비교를 위해, 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬하고, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정하며, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정하고, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정하며, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정하고, 전체 골격 유사도, 지역 골격 유사도, 전체 관절 거리 유사도 및 뼈대 길이 유사도를 가중합하여 2개의 비교 대상 자세의 최종 유사도를 측정하여, 자세의 구조적 분석을 수행할 수 있다.That is, the posture
아울러, 자세 데이터 축약 장치(100)는 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행할 수 있다. 여기서, 머신러닝 모델은 자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습될 수 있다.In addition, the posture
이후, 자세 데이터 축약 장치(100)는 밀도 기반 클러스터링 알고리즘을 이용하여, 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 메트릭 공간에서 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링한다(S130).Thereafter, the posture
그러면, 자세 데이터 축약 장치(100)는 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 획득한다(S140).Then, the posture
즉, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 나타내는 파라미터의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.That is, the posture
이때, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 하나의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다. 여기서, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다. 또한, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 랜덤하게 선택한 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수도 있다.At this time, the posture
그런 다음, 자세 데이터 축약 장치(100)는 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 기반으로, 밀도 기반 클러스터링 알고리즘을 이용하여, 메트릭 공간에서 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링한다(S150).Then, the posture
이후, 자세 데이터 축약 장치(100)는 클러스터 별로 미리 설정된 개수(예컨대, 1개 등)의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득한다(S160).Thereafter, the posture
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.Even if all the components constituting the embodiment of the present invention described above are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components are selectively combined to perform some or all functions of the combined components in one or a plurality of hardware program modules It may be implemented as a computer program having In addition, such a computer program is stored in a computer readable media such as a USB memory, a CD disk, a flash memory, etc., read and executed by the computer, thereby implementing the embodiment of the present invention. The computer program recording medium may include a magnetic recording medium, an optical recording medium, and the like.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes and substitutions are possible within the scope that does not depart from the essential characteristics of the present invention by those of ordinary skill in the art to which the present invention pertains. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings. . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
100 : 자세 데이터 축약 장치,
110 : 전처리부,
120 : 메트릭 공간 획득부,
130 : 클러스터링 준비부,
140 : 파라미터 획득부,
150 : 클러스터링부,
160 : 데이터 축약부100: posture data reduction device;
110: preprocessing unit,
120: metric space acquisition unit;
130: clustering preparation unit;
140: parameter acquisition unit,
150: clustering unit,
160: data abbreviation part
Claims (13)
상기 클러스터링 준비부를 통해 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값을 획득하는 파라미터 획득부;
상기 파라미터 획득부를 통해 획득한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링부; 및
상기 클러스터링부를 통해 획득한 클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 데이터 축약부;
를 포함하며,
상기 파라미터 획득부는, 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수 중에서 가장 많은 클러스터의 개수를 이용하여, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값을 획득하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.a clustering preparation unit that uses a density-based clustering algorithm to change a parameter value of the density-based clustering algorithm and clusters an original human posture dataset;
a parameter obtaining unit which obtains a value of the parameter corresponding to the original human posture dataset based on the number of clusters obtained according to a change in the value of the parameter through the clustering preparation unit;
a clustering unit configured to cluster the original human posture dataset using the density-based clustering algorithm based on the value of the parameter obtained through the parameter obtaining unit; and
a data abbreviation unit for obtaining a reduced human posture dataset by extracting a preset number of posture data for each cluster obtained through the clustering unit;
includes,
The parameter obtaining unit obtains the value of the parameter corresponding to the original human posture dataset by using the largest number of clusters among the number of clusters obtained according to a change in the value of the parameter.
A device for reducing human posture dataset using density-based clustering.
상기 파라미터 획득부는,
가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 하나의 값을, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값으로 획득하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 1,
The parameter acquisition unit,
Obtaining one of the parameter values indicating the number of clusters within a preset range based on the largest number of clusters as a value of the parameter corresponding to the original human posture dataset,
A device for reducing human posture dataset using density-based clustering.
상기 파라미터 획득부는,
가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값으로 획득하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 3,
The parameter acquisition unit,
A value indicating the smallest mean per joint position error (MPJPE) among the values of the parameters indicating the number of clusters within a preset range based on the number of the largest number of clusters, the parameter corresponding to the original human posture dataset. obtained by value,
A device for reducing human posture dataset using density-based clustering.
상기 파라미터 획득부는,
가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 랜덤하게 선택한 값을, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값으로 획득하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 3,
The parameter acquisition unit,
Obtaining a value randomly selected from values of the parameter indicating the number of clusters within a preset range based on the largest number of clusters as a value of the parameter corresponding to the original human posture dataset,
A device for reducing human posture dataset using density-based clustering.
상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득부;
를 더 포함하며,
상기 클러스터링 준비부 및 상기 클러스터링부는,
상기 메트릭 공간 획득부를 통해 획득한 상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 1,
a metric space acquisition unit for acquiring a metric space through one of a structural analysis of a posture, a semantic analysis of a posture, and a structure and semantic analysis of a posture based on the original human posture dataset;
further comprising,
The clustering preparation unit and the clustering unit,
Clustering the original human posture dataset by performing clustering using the density-based clustering algorithm in the metric space obtained through the metric space obtaining unit,
A device for reducing human posture dataset using density-based clustering.
상기 메트릭 공간 획득부는,
2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정하며, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정하며, 상기 전체 골격 유사도, 상기 지역 골격 유사도, 상기 전체 관절 거리 유사도 및 상기 뼈대 길이 유사도를 가중합하여 상기 2개의 비교 대상 자세의 유사도를 측정하여, 자세의 구조적 분석을 수행하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 6,
The metric space acquisition unit,
Align the three-dimensional skeleton structure of the two comparison postures with respect to the pelvic center, measure the overall skeletal similarity based on the aligned three-dimensional skeleton structure of the two comparison postures, and arrange the two comparison postures Measure regional skeletal similarity based on the three-dimensional skeleton structure of The bone length similarity is measured based on the skeleton structure, and the similarity of the two comparison target postures is measured by weighting the total skeleton similarity, the regional skeleton similarity, the overall joint distance similarity, and the skeleton length similarity. performing analysis,
A device for reducing human posture dataset using density-based clustering.
상기 메트릭 공간 획득부는,
자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습된 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 6,
The metric space acquisition unit,
Performing semantic analysis of posture using a machine learning model learned through training data consisting of posture data in which multidimensional properties of posture are labeled,
A device for reducing human posture dataset using density-based clustering.
상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리부;
를 더 포함하며,
상기 메트릭 공간 획득부는,
상기 전처리부를 통해 전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득하는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.In claim 6,
a preprocessor for preprocessing the original human posture dataset by normalizing and aligning;
further comprising,
The metric space acquisition unit,
obtaining the metric space based on the original human posture dataset preprocessed through the preprocessor,
A device for reducing human posture dataset using density-based clustering.
상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값을 획득하는 파라미터 획득 단계;
상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 단계; 및
클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 단계;
를 포함하며,
상기 파라미터 획득 단계는, 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수 중에서 가장 많은 클러스터의 개수를 이용하여, 상기 원본 사람 자세 데이터셋에 대응되는 상기 파라미터의 값을 획득하는 것으로 이루어지는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법.a clustering preparation step of clustering an original human posture dataset by changing a parameter value of the density-based clustering algorithm by using a density-based clustering algorithm;
a parameter obtaining step of obtaining a value of the parameter corresponding to the original human posture dataset based on the number of clusters obtained according to a change in the value of the parameter;
a clustering step of clustering the original human pose dataset using the density-based clustering algorithm based on the parameter value corresponding to the original human pose dataset; and
obtaining an abbreviated human posture data set by extracting a preset number of posture data for each cluster;
includes,
The parameter acquiring step comprises acquiring the parameter value corresponding to the original human posture dataset by using the largest number of clusters among the number of clusters acquired according to the change in the value of the parameter,
A reduction method of human posture dataset using density-based clustering.
상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득 단계;
를 더 포함하며,
상기 클러스터링 준비 단계 및 상기 클러스터링 단계는,
상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 것으로 이루어지는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법.In claim 10,
a metric space acquisition step of acquiring a metric space through one of a posture structural analysis, a posture semantic analysis, and a posture structure and semantic analysis based on the original human posture data set;
further comprising,
The clustering preparation step and the clustering step are,
performing clustering using the density-based clustering algorithm in the metric space, and clustering the original human posture dataset,
A reduction method of human posture dataset using density-based clustering.
상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리 단계;
를 더 포함하며,
상기 메트릭 공간 획득 단계는,
전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득하는 것으로 이루어지는,
밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법.In claim 11,
a preprocessing step of normalizing and aligning the original human posture dataset;
further comprising,
The metric space acquisition step includes:
Consisting of obtaining the metric space based on the pre-processed original human posture dataset,
A reduction method of human posture dataset using density-based clustering.
A computer program stored in a computer-readable recording medium in order to execute the method of reducing a human posture data set using the density-based clustering according to any one of claims 10 to 12 in a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200158459A KR102446923B1 (en) | 2020-11-24 | 2020-11-24 | Apparatus and method for reducing human pose dataset using DBSCAN |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200158459A KR102446923B1 (en) | 2020-11-24 | 2020-11-24 | Apparatus and method for reducing human pose dataset using DBSCAN |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220071403A KR20220071403A (en) | 2022-05-31 |
| KR102446923B1 true KR102446923B1 (en) | 2022-09-22 |
Family
ID=81785850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200158459A KR102446923B1 (en) | 2020-11-24 | 2020-11-24 | Apparatus and method for reducing human pose dataset using DBSCAN |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102446923B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101482419B1 (en) | 2013-07-15 | 2015-01-16 | 서울대학교산학협력단 | Method and apparatus for generating motion data |
| JP2015069410A (en) | 2013-09-30 | 2015-04-13 | Kddi株式会社 | Attitude parameter estimation device, system, method and program |
| US20170339168A1 (en) | 2016-05-20 | 2017-11-23 | Informatica Llc | Method, apparatus, and computer-readable medium for detecting anomalous user behavior |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101844291B1 (en) * | 2012-01-16 | 2018-04-03 | 삼성전자주식회사 | Apparatus and method for creating pose cluster |
| KR102044071B1 (en) * | 2017-11-02 | 2019-11-12 | 한국 한의학 연구원 | Apparatus and method for analyzing body shape |
| KR102439783B1 (en) * | 2017-12-04 | 2022-09-02 | 한국전자통신연구원 | Apparatus and method for monitoring a human pose and action |
-
2020
- 2020-11-24 KR KR1020200158459A patent/KR102446923B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101482419B1 (en) | 2013-07-15 | 2015-01-16 | 서울대학교산학협력단 | Method and apparatus for generating motion data |
| JP2015069410A (en) | 2013-09-30 | 2015-04-13 | Kddi株式会社 | Attitude parameter estimation device, system, method and program |
| US20170339168A1 (en) | 2016-05-20 | 2017-11-23 | Informatica Llc | Method, apparatus, and computer-readable medium for detecting anomalous user behavior |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220071403A (en) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652827B (en) | Front face synthesis method and system based on generation countermeasure network | |
| Luu et al. | Contourlet appearance model for facial age estimation | |
| EP1811456B1 (en) | Face feature point detector and feature point detector | |
| CN104978549B (en) | Three-dimensional face images feature extracting method and system | |
| US11449590B2 (en) | Device and method for user authentication on basis of iris recognition | |
| US10380444B2 (en) | 3D mask face anti-spoofing with remote photoplethysmography | |
| US20080014563A1 (en) | Method for Recognising Faces by Means of a Two-Dimensional Linear Disriminant Analysis | |
| CN108182397B (en) | Multi-pose multi-scale human face verification method | |
| CN106599785B (en) | Method and equipment for establishing human body 3D characteristic identity information base | |
| CN110032940B (en) | Method and system for re-identifying pedestrians through video | |
| CN106980848A (en) | Facial expression recognizing method based on warp wavelet and sparse study | |
| CN106096517A (en) | A kind of face identification method based on low-rank matrix Yu eigenface | |
| Liu et al. | Adaptive cascade regression model for robust face alignment | |
| Derkach et al. | Head pose estimation based on 3-D facial landmarks localization and regression | |
| CN106611158A (en) | Method and equipment for obtaining human body 3D characteristic information | |
| Zafeiriou et al. | Probabilistic slow features for behavior analysis | |
| Papatheodorou et al. | Evaluation of 3D face recognition using registration and PCA | |
| Russ et al. | 3D facial recognition: a quantitative analysis | |
| CN104217211B (en) | Multi-visual-angle gait recognition method based on optimal discrimination coupling projection | |
| Gürel et al. | Design of a face recognition system | |
| Salah et al. | 3D facial feature localization for registration | |
| Verlekar et al. | View-invariant gait recognition exploiting spatio-temporal information and a dissimilarity metric | |
| KR102446923B1 (en) | Apparatus and method for reducing human pose dataset using DBSCAN | |
| Abbasnejad et al. | A hierarchical bayesian network for face recognition using 2d and 3d facial data | |
| Gharghabi et al. | Person recognition based on face and body information for domestic service robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |