KR20110013200A - Identifying method of human attitude and apparatus of the same - Google Patents

Identifying method of human attitude and apparatus of the same Download PDF

Info

Publication number
KR20110013200A
KR20110013200A KR1020100036589A KR20100036589A KR20110013200A KR 20110013200 A KR20110013200 A KR 20110013200A KR 1020100036589 A KR1020100036589 A KR 1020100036589A KR 20100036589 A KR20100036589 A KR 20100036589A KR 20110013200 A KR20110013200 A KR 20110013200A
Authority
KR
South Korea
Prior art keywords
posture
human body
module
image
feature
Prior art date
Application number
KR1020100036589A
Other languages
Korean (ko)
Inventor
마오린 천
루펑 추
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/805,457 priority Critical patent/US20110025834A1/en
Publication of KR20110013200A publication Critical patent/KR20110013200A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

PURPOSE: A human body posture method and an apparatus thereof for using a chromatics camera and a TOF depth camera are provided to identify the posture of the human body in the efficient use of chromatics information. CONSTITUTION: An input module(101) captures the posture of the human body through a depth camera and a chromatics camera. A training module(103) builds an NNC(Nearest Neighbor Classifier). A feature extracting module(105) extracts the feature of the posture. A searching module(106) compares the extracted posture feature of the feature extraction module with the posture template through the NNC. An output module(107) performs re-designation about a virtual human body model.

Description

인체 자세 식별 방법 및 장치{Identifying Method of Human Attitude and Apparatus of the same}Identifying Method of Human Attitude and Apparatus of the same}

본 발명은 컴퓨터 시각 기술에 관한 것이며, 더 상세하게는, 실시간 인체 자세 식별과 운동 분석 예측에 관한 것이다.TECHNICAL FIELD The present invention relates to computer vision technology, and more particularly, to real-time human pose identification and motion analysis prediction.

인체 운동 분석과 인체 자세 식별은 매우 중요한 기술이며, 상기 기술은 의미 있는 인체 자세를 이용하여 사람과 기계의 상호 교환, 가상 3D 인터랙티브 게임, 3D 자세 식별 등의 실현을 돕고 있다. 최근 몇 년 동안, 인체 운동 캡쳐 연구는 그 학문적 가치와 상업적 가치로 인해 점점 많은 관심을 받고 있다. Human body motion analysis and human body posture identification are very important techniques, and the technology helps to realize human and machine interchange, virtual 3D interactive game, and 3D posture identification using meaningful human body posture. In recent years, human body motion capture research has received increasing attention due to its academic and commercial value.

현재 인체 운동을 분석하는 다양한 방법이 있다. 일부 방법은 대상에 특정한 표기를 부착해야 하거나 특정한 운동 캡쳐 장비가 필요하므로 일반적인 환경(예를 들어 홈 엔터테인먼트, 3 차원 인터랙티브 게임 등)에서 상기 조건이 사용자를 불편하게 하고 상기 방법의 응용을 한정할 수 있다. 실제적인 응용에 있어서 이미 행한 많은 노력은 인체 운동 분석에 사용되는 표기에 있어서는 매우 적었다. 기존의 방법은 주로 두 가지로 나눌 수 있는데, 즉, 인체 부위를 기반으로 분석하는 방법과 샘플을 기반으로 분석하는 방법이다. 한편, 선행기술의 방법은 색채 이미지를 기반으로 하는 방법과 3차원 레이저 스캐닝 인체 모델 보조 방법으로 나눌 수 있다.There are currently many ways to analyze human movement. Some methods require specific markings on the subject or require specific athletic capture equipment, so that the conditions may be inconvenient for users and limit the application of the method in typical environments (eg home entertainment, three-dimensional interactive games, etc.). have. Many efforts already made in practical applications have been very small in the notation used in the analysis of human motion. The existing methods can be mainly divided into two types, namely, analysis based on human parts and analysis based on samples. Meanwhile, the prior art methods may be divided into a method based on a color image and a method of assisting a 3D laser scanning human body model.

공지된 바와 같이, 색채 이미지는 색채, 무늬, 형상 등과 같은 2차원(2D) 정보만 제공할 수 있으므로, 2 차원 정보 중의 자세를 확정하기 어려운 문제가 있다. 예를 들어, 인체의 일부 부위가 스스로 차폐되는(self-occlusion) 경우, 색채 이미지 중의 인체 자세의 불확실성 때문에 색채 이미지를 기반으로 하는 방법은 정확하게 인체 자세를 식별할 수 없다. As is known, since the color image can provide only two-dimensional (2D) information such as color, pattern, shape, and the like, it is difficult to determine the posture in the two-dimensional information. For example, when some parts of the human body are self-occlusion, the method based on the color image cannot accurately identify the human body posture due to the uncertainty of the human body posture in the color image.

비록 개선된 자세 추측 방법을 사용하더라도 자세가 불확실한 색채 정보는 낮은 처리 속도와 정확하지 않은 자세의 추측 결과를 초래할 수 있다. 이 외에, 상이한 계절, 사람의 복장 및 환경 조명의 변화에 따라 색채 정보도 안정적이지 않아(또는 강건(robust)하지 않음), 복잡한 환경의 경우 색채 정보를 기반으로 하는 인체 자세 식별 방법은 요구를 만족시킬 수 없다. Even with the improved posture guessing method, color information with uncertain posture can result in low processing speed and inaccurate posture guessing. In addition, color information is not stable (or not robust) due to different seasons, changes in human attire, and environmental lighting, and in complex environments, a human body posture identification method based on color information satisfies the needs. You can't.

따라서 많은 연구학자와 엔지니어들은 레이저로 스캐닝하는 3D 모델을 이용하여 보다 정확한 결과를 구한다. 그러나, 캡쳐 장치의 높은 비용과 거대한 크기 때문에 레이저 스캐너는 실제 환경(예를 들어 가정 엔터테인먼트, 3 차원 인터랙티브 게임 등)에서 사용될 수 없다. 이러한 문제를 해결하기 위해 복잡한 환경에서 실시간으로 인체 자세를 식별할 수 있는 방법과 장치가 필요하다.As a result, many researchers and engineers use 3D models that scan with laser to produce more accurate results. However, due to the high cost and large size of the capture device, laser scanners cannot be used in real environments (eg home entertainment, three-dimensional interactive games, etc.). To solve this problem, there is a need for a method and a device capable of identifying a human posture in real time in a complex environment.

본 발명의 일 실시예에 따르면, 표기가 필요 없는 인체 자세 식별 또는 인체 운동 분석에 초점을 맞추기 위해 조합된TOF 깊이 카메라(동시에 깊이 이미지와 세기 이미지를 제공 가능)와 색채 카메라를 제공한다. According to an embodiment of the present invention, there is provided a combined TOF depth camera (which can simultaneously provide a depth image and an intensity image) and a color camera for focusing on human body posture identification or human body movement analysis that does not require marking.

본 발명의 일 실시예에 따르면, 복잡한 환경에서 인체 자세를 식별하는 방법과 장치를 제공하며, 상기 방법과 장치는 깊이 정보와 색채 정보를 효율적으로 이용하여 인체 자세 식별을 할 수 있다.According to an embodiment of the present invention, there is provided a method and apparatus for identifying a human body posture in a complicated environment, and the method and apparatus can identify the human body posture by efficiently using depth information and color information.

본 발명의 일측면에 따르면, 인체 자세 식별 장치를 제공하고, 상기 장치는, 동시에 인체 자세를 캡쳐하여 입력 이미지를 생성하기 위한 깊이 카메라와 색채 카메라를 포함하는 입력 모듈; 입력 이미지를 적절한 포맷으로 전환하는 전처리를 하며 상기 이미지를 고정 크기로 통일화하고 형상이 독립적인 자세 샘플을 생성하여 샘플 데이터를 생성하는 전처리 모듈; 트레이닝 단계에서 통계학습방법으로 샘플 데이터의 차원을 낮추어 원본 이미지 공간으로부터 특징 공간까지의 사영변환행렬을 구하며 최근접분류기(NNC; Nearest Neighbor Classifier)를 구축하는 트레이닝 모듈; 상기 사영변환행렬에 의거하여 각각 트레이닝 단계와 인체 자세 식별 단계에서 샘플 데이터로부터 구별되는 자세 특징을 추출하는 특징 추출 모듈; 특징 추출 모듈이 트레이닝 단계에서 추출한 구별되는 자세 특징을 따라 자세 템플릿 데이터베이스를 구축하는 템플릿 데이터베이스 구축 모듈; 상기 NNC를 통해 상기 특징 추출 모듈이 인체 식별 단계에서 추출한 구별되는 자세 특징을 상기 자세 모듈 데이터베이스 중의 자세 템플릿과 비교하여 인체 자세 매칭을 하는 검색 모듈; 최고 매칭 자세를 출력하며, 상기 최고 매칭 자세를 기반으로 가상 인체 모델에 대해 위치 재지정을 하는 출력 모듈을 포함한다.According to an aspect of the present invention, there is provided an apparatus for identifying a human body posture, the apparatus comprising: an input module including a depth camera and a color camera for simultaneously capturing a body posture to generate an input image; A preprocessing module for preprocessing the input image into an appropriate format, unifying the image to a fixed size, and generating sample data by generating a shape-independent posture sample; A training module for constructing a nearest neighbor classifier (NNC) by obtaining a projection transformation matrix from the original image space to the feature space by lowering the dimension of the sample data by a statistical learning method in the training step; A feature extraction module for extracting a posture feature distinguished from sample data in a training step and a human body posture identification step based on the projective transformation matrix; A template database building module for constructing a posture template database according to the distinctive posture features extracted by the feature extraction module in the training step; A retrieval module for matching the human body posture by comparing the distinguished posture feature extracted by the feature extraction module in the human body identification step with the posture template in the posture module database through the NNC; And an output module configured to output the best matching pose, and to reposition the virtual human model based on the best matching pose.

본 발명의 다른 일측면에 따르면, 인체 자세 식별 방법을 제공하며, 상기 방법은, (a)깊이 카메라와 색채 카메라를 이용하여 동시에 인체 자세를 캡쳐하여 입력 이미지를 생성하는 단계; (b)상기 입력 이미지에 대해 전처리하여 적절한 포맷으로 전환하며, 상기 이미지를 고정 크기로 통일화하여 형상이 독립적인 자세 샘플을 생성하여 샘플 데이터를 생성하는 단계; (c)트레이닝 단계에서 통계학습방법을 이용하여 샘플 데이터의 차원을 낮추어 원본 이미지 공간에서 특징 공간까지의 사영변환행렬을 구하며, NNC를 구축하는 단계; (d)상기 사영변환행렬에 의거하여 각각 트레이닝 단계와 인체 자세 식별 단계에서 샘플 데이터에서 구별되는 자세 특징을 추출하는 단계; (e)트레이닝 단계에서 추출한 구별되는 자세 특징에 따라 자세 템플릿 데이터베이스를 구축하는 단계; (f)상기 NNC를 통해 상기 인체 식별 단계에서 추출된 구별되는 자세 특징을 상기 자세 모듈 데이터베이스 중의 자세 템플릿과 비교하여 인체 자세의 매칭을 하는 단계; (g)최고 매칭 자세를 출력하며, 상기 최고 매칭 자세를 기반으로 가상 인체 모델에 대해 위치 재지정을 하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for identifying a human body posture, the method comprising: (a) generating an input image by capturing a body posture simultaneously using a depth camera and a color camera; (b) preprocessing the input image to convert the image into an appropriate format, and unifying the image to a fixed size to generate a posture sample having a shape independent, thereby generating sample data; (c) obtaining a projection transformation matrix from the original image space to the feature space by lowering the dimension of the sample data using a statistical learning method in the training step, and constructing an NNC; (d) extracting posture characteristics distinguished from sample data in a training step and a human body posture identification step based on the projective transformation matrix; (e) constructing a posture template database according to the distinctive posture features extracted in the training step; (f) comparing the posture characteristics extracted in the human body identification step through the NNC with a posture template in the posture module database to match the human posture; (g) outputting a best matching pose, and repositioning the virtual human model based on the best matching pose.

본 발명은 복잡한 환경에서 인체 자세를 식별하는 방법과 장치를 제공하며, 상기 방법과 장치는 깊이 정보와 색채 정보를 효율적으로 이용하여 인체 자세 식별을 할 수 있다.The present invention provides a method and apparatus for identifying a human body posture in a complex environment, and the method and apparatus can identify the human body posture by efficiently using depth information and color information.

첨부된 도면을 참고하여 다음 실시예에 대한 설명을 통해 본 발명의 상기 장점과/또는 다른 장점은 뚜렷해질 수 있으며 이해하기가 쉬워진다.
도 1은 본 발명의 일실시예에 따른 인체 자세 식별 장치의 블록 도이다;
도 2는 본 발명의 일실시예에 따른 입력 모듈이 캡쳐한 샘플 이미지이다;
도3은 본 발명의 일실시예에 따른 인체 자세 식별 방법의 흐름도이다;
도4은 본 발명의 일실시예에 따른 전처리 모듈의 이미지 처리 과정을 나타낸 도면이다;
도 5은 본 발명 일실시예에 따른 어깨 부위 지점 위치 측정의 실시예를 나타낸 도면이다;
도6은 본 발명 일실시예에 따른 트레이닝 모듈의 분류기(classifier)의 트레이닝 과정을 나타낸 도면이다;
도 7 은 본 발명 일실시예에 따른 템플릿 데이터베이스 구축 모듈의 템플릿 데이터베이스 구축 과정을 나타낸 도면이다;
도 8은 본 발명 일실시예에 따른 특징 추출 모듈의 특징 추출 과정을 나타낸 도면이다;
도9는 본 발명 일실시예에 따른 검색 모듈의 특징 매칭 과정 및 출력 모듈의 인체 자세 출력 과정을 나타낸 도면이다.
도 10 내지 도 13은 본 발명에 따라 실시된 실험1과 실험2를 나타낸 도면이다.The above advantages and / or other advantages of the present invention may be apparent from the description of the following embodiments with reference to the accompanying drawings and are easy to understand.
1 is a block diagram of a human body posture identification apparatus according to an embodiment of the present invention;
2 is a sample image captured by an input module according to an embodiment of the present invention;
3 is a flowchart of a method for identifying a human body posture according to an embodiment of the present invention;
4 is a diagram illustrating an image processing process of a preprocessing module according to an embodiment of the present invention;
5 is a view showing an embodiment of the shoulder position point measurement according to an embodiment of the present invention;
6 is a diagram illustrating a training process of a classifier of a training module according to an embodiment of the present invention;
7 is a view showing a template database building process of the template database building module according to an embodiment of the present invention;
8 is a view showing a feature extraction process of a feature extraction module according to an embodiment of the present invention;
9 is a view illustrating a feature matching process of a search module and a body posture output process of an output module according to an embodiment of the present invention.
10 to 13 is a view showing Experiment 1 and Experiment 2 carried out in accordance with the present invention.

이하에는 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.

도 1은 본 발명의 일실시예에 따른 인체 자세 식별 장치의 블록 도이다. 도 1에서 도시한 바와 같이, 상기 인체 자세 식별 장치는 입력 모듈(101), 전처리 모듈(102), 트레이닝 모듈(103), 템플릿 데이터베이스(DB) 구축 모듈(104), 특징 추출 모듈(105), 검색 모듈(106) 및 출력 모듈(107)을 포함한다.1 is a block diagram of a human body posture identification apparatus according to an embodiment of the present invention. As shown in FIG. 1, the apparatus for identifying a human body posture includes an input module 101, a preprocessing module 102, a training module 103, a template database (DB) construction module 104, a feature extraction module 105, A search module 106 and an output module 107.

입력 모듈(101)은 카메라 두 개, 즉 깊이 카메라와 색채 카메라를 포함하고, 상기 깊이 카메라는 예를 들어 TOF(Time of Flight) 깊이 카메라와 같은 것일 수 있다. TOF깊이 카메라와 색채 카메라는 동시에 인체의 자세를 캡쳐하여 입력 이미지를 생성한다. The input module 101 includes two cameras, that is, a depth camera and a color camera, and the depth camera may be, for example, a time of flight (TOF) depth camera. The TOF depth camera and the color camera simultaneously capture the posture of the human body and generate an input image.

전처리 모듈(102)는 입력 이미지를 적절한 포맷으로 전환하는 전처리를 하며, 상기 이미지를 고정 크기로 통일화하고 형상이 독립적인 자세 샘플을 생성한다. 상기 통일화된 샘플의 초기 데이터는 높은 차원을 가진다. The preprocessing module 102 performs preprocessing to convert the input image into an appropriate format, unifying the image to a fixed size and generating a shape-independent posture sample. The initial data of the unified sample has a high dimension.

전처리한 후에, 트레이닝 모듈(103)은 트레이님 단계(즉 학습 단계)에서 통계학습방법(예를 들어 PCA(주요 요소 분석), LLE(국부 선형성 삽입) 등)을 이용하여 샘플 데이터의 차원을 낮추어 원본 이미지 공간으로부터 특징 공간까지의 사영변환행렬(즉 특징 추출에 위한 특징 선택 기제를 구함)을 구하며 NNC를 구축한다. After preprocessing, the training module 103 lowers the dimension of the sample data using a statistical learning method (e.g. PCA (Key Element Analysis), LLE (Local Linearity Insertion, etc.), etc.) in the tray step (ie the learning step). The NNC is constructed by obtaining the projective transformation matrix (that is, the feature selection mechanism for feature extraction) from the original image space to the feature space.

인체 자세를 식별하기 위해, 템플릿 DB구축 모듈(104)는 오프라인 초기 자세 템플릿 데이터베이스를 구축한다. 템플릿 DB구축 모듈(104)에서는 다른 인체 자세에 대해 수동 표시를 한다. To identify the human body posture, the template DB building module 104 constructs an offline initial posture template database. In the template DB building module 104, a manual display is performed for different body positions.

다음으로 특징 추출 모듈(105)는 사영변환행렬에 따라 트레이닝 단계에서 샘플 데이터로부터 다른 자세 특징을 추출하여, 템플릿 DB구축 모듈(104)은 최종적으로 자세 특징과 관련 자세 간의 자세 대응 관계를 구축한다. 온라인 자세 식별 단계에서 특징 추출 모듈(105)는 사영변환행렬에 의거하여 구별되는 자세 특징만을 추출한다. Next, the feature extraction module 105 extracts another posture feature from the sample data in the training step according to the projection transformation matrix, and the template DB construction module 104 finally establishes a posture correspondence relationship between the posture feature and the related posture. In the online posture identification step, the feature extraction module 105 extracts only posture features distinguished based on the projection transformation matrix.

검색 모듈(106)은 상기 구별되는 자세 특징을 수신하여 NNC를 통해 상기 특징 추출 모듈(105)이 인체 식별 단계에서 추출한 구별되는 자세 특징을 상기 자세 모듈 데이터베이스 중의 자세 템플릿과 비교하여 인체 자세 매칭을 한다. 다음으로 출력 모듈(107)은 최고 매칭 자세를 제공하며 가상 인체 모델에 대해 위치 재지정을 한다. 이에 모든 인체 식별 과정을 완성한다.The search module 106 receives the distinguished posture feature and compares the posture feature extracted by the feature extraction module 105 at the human body identification step through the NNC with a posture template in the posture module database to perform body posture matching. . The output module 107 then provides the best matching pose and repositions the virtual anatomical model. This completes all human identification processes.

본 발명에서는 두 개의 카메라를 사용하여 동시에 같은 장면을 캡쳐한다. 한 카메라는 TOF 깊이 카메라이고 다른 한 카메라는 색채 카메라이다. 상기 색채 카메라는 기존의 CCD/CMOS 카메라일 수 있고 색채 이미지를 제공할 수 있다. 상기 TOF 깊이 카메라는 깊이 이미자와 세기 이미지를 제공할 수 있다. 깊이 이미지는 촬영 대상과 TOF 깊이 카메라 간의 거리를 가리킨다. 세기 이미지는 TOF 깊이 카메라가 수신한 조명의 강도 에너지를 가리킨다.In the present invention, two cameras are used to capture the same scene at the same time. One camera is a TOF depth camera and the other is a color camera. The color camera may be a conventional CCD / CMOS camera and may provide a color image. The TOF depth camera can provide a depth imager and an intensity image. The depth image indicates the distance between the shooting object and the TOF depth camera. The intensity image indicates the intensity energy of the light received by the TOF depth camera.

도 2는 본 발명의 일실시예에 따른 입력 모듈(101)이 캡쳐한 샘플 이미지를 나타낸 도면이다. 2 illustrates a sample image captured by the input module 101 according to an embodiment of the present invention.

도 2를 참조하면, 세기 이미지는 또렷한 배경 이미지를 제공했으며, 상기 배경 이미지는 전경 이미지 추출과 윤곽(silhouette) 분할에 매우 알맞다. 직관적으로 쉽게 또렷한 배경 강도 이미지를 이용하여 인체의 머리와 몸의 위치를 검출할 수 있다. 사람이 착용하는 안경이 빛을 심각하게 반사하는 경우에 눈의 위치 검출시 세기 이미지는 가장 좋은 선택이 아닐 수 있다. Referring to FIG. 2, the intensity image provided a clear background image, which is very suitable for foreground image extraction and silhouette segmentation. Intuitively, it is easy to detect the position of the human head and body using a clear background intensity image. The intensity image may not be the best choice when detecting the position of the eye, in which case the glasses worn by humans seriously reflect light.

그러므로 색채 이미지를 이용하여 눈 위치를 측정할 수 있다. 색채 이미지에서 눈 위치를 측정하는 다양한 방법이 있다. 이외에 일부 경우에 색채 이미지와 윤곽 이미지가 인체에 대한 분석에 있어 다르게 나올 수 있으므로 깊이 이미지를 충분히 이용하여 인체 자세의 다른 결과를 줄일 수 있다.Therefore, the eye position can be measured using the color image. There are various ways to measure eye position in the color image. In addition, in some cases, the color image and the contour image may be different in the analysis of the human body, so that the depth image can be sufficiently used to reduce other results of the human body posture.

상기 세 가지 입력 이미지(색채 이미지, 깊이 이미지, 세기 이미지)를 얻은 후에 상기 이미지를 적절한 포맷으로 전환하는 전처리가 필요하다. 상기 세 가지 입력 이미지를 이용하여 이미지에 대한 전처리를 실행한다.After obtaining the three input images (color image, depth image, intensity image), preprocessing is required to convert the image into the appropriate format. The three input images are used to perform preprocessing on the images.

도3은 본 발명의 일실시예에 따른 인체 자세 식별 방법의 흐름도이다.Figure 3 is a flow chart of a human body posture identification method according to an embodiment of the present invention.

도 3을 참조하면, 단계(301)에서 입력 모듈(101) 중의 깊이 카메라와 색채 카메라는 동시에 인체의 자세를 캡쳐하여 입력 이미지를 생성한다. Referring to FIG. 3, in step 301, the depth camera and the color camera in the input module 101 simultaneously capture a posture of a human body to generate an input image.

단계(302)에서 전처리 모듈(102)는 입력 이미지에 대해 전처리하여 적절한 포맷으로 전환하고, 상기 이미지를 고정 크기로 통일화하고 형상이 독립적인 자세 샘플을 생성한다. In step 302 the preprocessing module 102 preprocesses the input image to convert it into an appropriate format, unifying the image to a fixed size and generating a shape-independent posture sample.

단계(303)에서 트레이닝 모듈(103)은 트레이닝 단계에서 통계학습방법을 사용하여 샘플 데이터의 차원을 낮추어 원본 이미지 공간으로부터 특징 공간까지의 사영변환행렬을 구하며, NNC를 구축한다. In step 303, the training module 103 obtains a projection transformation matrix from the original image space to the feature space by lowering the dimension of the sample data using the statistical learning method in the training step, and constructs the NNC.

단계(304)에서 특징 추출 모듈(105)은 상기 사영변환행렬에 의거하여 각각 트레이닝 단계와 인체 자세 식별 단계에서 샘플 데이터로부터 구별되는 자세 특징을 추출한다. In step 304, the feature extraction module 105 extracts a posture feature distinguished from the sample data in the training step and the body posture identification step, respectively, based on the projection transformation matrix.

단계(305)에서 템플릿 데이터베이스(DB) 구축 모듈(104)은 트레이닝 단계에서의 구별되는 자세 특징을 따라 자세 템플릿 데이터베이스를 구축한다. In step 305 the template database (DB) building module 104 builds a posture template database according to the distinctive posture characteristics in the training phase.

단계(306)에서 검색 모듈(106)은 상기 NNC를 통해 상기 특징 추출 모듈(105)이 인체 식별 단계에서 추출한 다른 자세 특징을 상기 자세 모듈 데이터베이스 중의 자세 템플릿과 비교하여 인체 자세 매칭을 한다. In step 306, the search module 106 compares the other posture features extracted by the feature extraction module 105 in the human body identification step through the NNC with a posture template in the posture module database to perform body posture matching.

단계(307)에서 출력 모듈(107)은 최고 매칭 자세를 출력하며, 상기 최고 매칭 자세를 기반으로 가상 인체 모델에 대해 위치 재지정을 한다.In step 307, the output module 107 outputs the best matching pose, and repositions the virtual human model based on the best matching pose.

다음으로 도 4과 도5를 참조하여 본 발명에 따른 이미지 전처리에 대해 설명한다. 도 4는 본 발명의 일실시예에 따른 전처리 모듈(102)의 이미지 전처리 과정을 나타낸 도면이다.Next, the image preprocessing according to the present invention will be described with reference to FIGS. 4 and 5. 4 is a diagram illustrating an image preprocessing process of the preprocessing module 102 according to an embodiment of the present invention.

도 4를 참조하면, 단계(401)에서 전처리 모듈(102)는 세기 이미지를 이용해서 인체 구역을 분할하여 윤곽을 추출한다. 이 과정에서 문턱값(threshold value) 분할 방법을 사용할 수 있다. Referring to FIG. 4, in step 401, the preprocessing module 102 extracts the contour by segmenting the human body region using the intensity image. In this process, a threshold value division method may be used.

단계(402)에서 전처리 모듈(102)은 분할된 인체 구역을 색채 이미지의 마스크(mask)로 사용하고 머리와 몸의 검출에 사용한다. 머리와 몸의 검출에 있어 전처리 모듈(102)는 기존의 아다부스트(AdaBoost)계산법이 제공한 측정기 트레이닝 및 부분 특징을 사용할 수 있다. 전처리 모듈(102)는 이미지를 통일화 하기 위해 몇 개 참조 지점이 필요하다. In step 402 the preprocessing module 102 uses the segmented human zone as a mask of the color image and for the detection of the head and body. For head and body detection, the preprocessing module 102 may use meter training and partial features provided by the existing AdaBoost calculation method. The preprocessing module 102 needs several reference points to unify the image.

단계(403)에서 전처리 모듈(102)는 눈 위치와 어깨 위치를 참조 지점으로 선택하고, 이는 인체의 정면도에 있어서 눈 위치가 머리 구역의 강건한 참조 지점이며 어깨 위치는 몸 구역의 강건한 참조 지점이기 때문이다. 강건하게 눈 위치를 검출하기 위해 전처리 모듈(102)는 기존의 트레이닝된 눈 부위 검출기를 사용할 수 있고, 상기 눈 위치 검출기는 또한 아다부스트(AdaBoost)계산법과 부분 특징 방법을 기반으로 트레이닝을 받을 수 있다. 어깨 위치(왼쪽 어깨 지점PLS과 오른쪽 어깨 지점PRS를 포함)를 강건하게 측정하기 위해 전처리 모듈(102)은 간단한 방법을 사용하고 상기 방법은 도 4에서 도시한 바와 같이 마스크의 깊이 이미지의 장점을 가지고 있다. 전처리 모듈(102)은 몸 구역의 수평 사영과 수직 사영 중의 만곡 지점을 측정하여 어깨 지점으로 한다.In step 403 the preprocessing module 102 selects the eye position and the shoulder position as reference points, since in the front view of the human body the eye position is a robust reference point of the head zone and the shoulder position is a robust reference point of the body zone. to be. To robustly detect eye position, the preprocessing module 102 may use an existing trained eye region detector, which may also be trained based on the AdaBoost calculation and partial feature method. . In order to robustly measure the shoulder position (including left shoulder point P LS and right shoulder point P RS ), the preprocessing module 102 uses a simple method, which shows the advantages of the depth image of the mask as shown in FIG. 4. Have The pretreatment module 102 measures the point of curvature of the horizontal and vertical projections of the body zone as the shoulder point.

눈 위치와 어깨 위치에 대해 위치 측정한 후, 단계(404)에서 전처리 모듈(102)은 형상의 통일화 처리를 실행한다. 상기 형상 통일화의 목적은 형상이 독립적인 샘플을 생성하는 것이다. P1이 왼쪽 눈과 오른쪽 눈 사이의 중심을, P2가 왼쪽 어깨 지점PLS와 오른쪽 어깨 지점 PRS 사이의 중심을, D1이 P1와P2사이의 거리를, D2가 왼쪽 어깨 지점PLS와 오른쪽 어깨 지점 PRS 사이의 거리를 가리킨다고 가정하고, D1는 샘플의 높이h의 참조 길이로, D2는 샘플의 넓이w의 참조 길이로 사용된다. 형상 통일화 부분(1024)은 다음과 같은 공식으로 샘플을 편집하고 80x48의 크기로 통일화한다. 즉 D2/D1=5: 2 (이 비례는 형상의 통일화에 쓰임), w = 4xD2및 h = 6xD1 (샘플 구역의 크기에 쓰임)이다. 복싱 동작에 있어서, 수집된 이미지가 복잡한 복싱 동작을 포함하지 않으므로 전처리 모듈(102)는 샘플을 편집하여 80x80의 크기로 통일화하며, w = h = 6xD1로 설정한다.After measuring the position relative to the eye position and the shoulder position, in step 404 the pretreatment module 102 performs a unification process of the shape. The purpose of the shape unification is to produce samples that are independent of shape. P 1 is the center between the left and right eyes, P 2 is the center between the left shoulder point P LS and the right shoulder point P RS , D 1 is the distance between P 1 and P 2 , and D 2 is the left shoulder Assume that the distance between the point P LS and the right shoulder point P RS is indicated, D 1 is used as the reference length of the height h of the sample, D 2 is used as the reference length of the width w of the sample. The shape unification portion 1024 edits a sample and unifies it to a size of 80x48 using the following formula. That is, D 2 / D 1 = 5: 2 (this proportionality is used for shape unification), w = 4xD 2 and h = 6xD 1 (for the size of the sample zone). In the boxing operation, since the collected image does not include a complex boxing operation, the preprocessing module 102 edits the sample and unifies it to a size of 80x80 and sets w = h = 6xD 1 .

도 5은 본 발명의 일실시예에 따른 어깨 부위 지점의 위치 측정의 예를 나타낸 도면이다. 5 is a view showing an example of measuring the position of the shoulder point in accordance with an embodiment of the present invention.

도 5 중의 (a)는 인체 전경 구역의 윤곽이다. (A) of FIG. 5 is a contour of a human foreground area.

도5 중의 (b)는 상기 이미지(상기 윤곽)의 수직 방향의 히스토그램이고, 가로 좌표는 이미지의 수평 방향의 위치(즉 이미지의 열 좌표, 수치 범위는 0~이미지의 넓이)를 가리키며, 세로 좌표는 한 열 좌표 점에 있는, 그림 중의 상기 열의 모든 픽셀 값의 합계 값(즉, 상기 열 좌표 점의 수직 방향의 사영 값)를 가리킨다. (B) in FIG. 5 is a histogram in the vertical direction of the image (the outline), the horizontal coordinate indicates the position in the horizontal direction of the image (that is, the column coordinate of the image, the numerical range is 0 to the width of the image), the vertical coordinate Denotes the sum value of all pixel values of the column in the picture at one column coordinate point (ie, the projected value in the vertical direction of the column coordinate point).

도5 중의 (c)는 이미지가 수평 방향의 히스토그램이고, 가로 좌표는 이미지의 수직 방향의 위치(즉 이미지의 행 좌표, 수치 범위는 0~이미지 높이)를 가리키고, 세로 좌표는 한 행 좌표 점에 있는, 그림 중의 상기 행의 모든 픽셀 값의 합계 값(즉, 상기 행 좌표 점의 수평 방향의 사영 값)을 가리킨다. In Fig. 5, (c) shows that the image is a histogram in the horizontal direction, the horizontal coordinates indicate the vertical position of the image (that is, the row coordinates of the image, the numerical range is 0 to the image height), and the vertical coordinates are at one row coordinate point. Which is the sum of all pixel values of the row in the picture (ie, the projected value in the horizontal direction of the row coordinate point).

도5 중의 (d)는 인체 어깨 지점에 대해 위치 측정(구역 측정)을 한 결과이다.(D) in FIG. 5 is a result of position measurement (zone measurement) with respect to the shoulder point of the human body.

다음으로 도6을 참조하여 본 발명에 따른 분류기 트레이닝에 대해 설명한다. 도6은 본 발명의 일실시예에 따른 트레이닝 모듈(103)의 분류기의 트레이닝 과정을 나타낸 도면이다.Next, a classifier training according to the present invention will be described with reference to FIG. 6 is a diagram illustrating a training process of the classifier of the training module 103 according to an embodiment of the present invention.

트레이닝 모듈(103)은 PCA(주요 구성 요소 분석)과 LLE(국부 선형성 삽입) 학습 방법을 이용하여 원본 이미지 공간으로부터 특징 공간까지의 사영변환행렬을 구한다.The training module 103 obtains the projective transformation matrix from the original image space to the feature space using PCA (Key Component Analysis) and LLE (Local Linearity Insertion) learning methods.

도6을 참조하면, 단계(601)에서, 트레이닝 모듈(103)은 트레이닝 데이터 집합을 구축한다. 트레이닝 집합의 선택 기준은 트레이닝 샘플(즉 트레이닝 단계의 자세 샘플)로 하여금 다양하고 대표성이 있게 하는 것이고, 트레이닝 데이터 집합으로 하여금 가능한 한 많은 인체 자세를 포함하게 하는 것이다. 트레이닝 모듈(103)은 주로 상이한 복싱 동작에 따라 다양한 트레이닝 샘플을 선택하고, 트레이닝 샘플을 균일하게 이미지 공간에 분포하게 한다. 6, in step 601, the training module 103 builds a training data set. The selection criterion of the training set is to make the training sample (i.e., the pose sample of the training phase) diverse and representative, and to make the training data set include as many human positions as possible. The training module 103 mainly selects various training samples according to different boxing operations, and distributes the training samples uniformly in the image space.

다음으로 단계(602)에서 트레이닝 모듈(103)은 트레이닝 샘플 데이터를 적절한 입력 벡터로 전환하여 학습을 실행한다. 즉, 트레이닝 모듈(103)은 직접 2D데이터를 1D 벡터로 전환한다. Next, in step 602, the training module 103 converts the training sample data into an appropriate input vector to execute the learning. That is, the training module 103 directly converts 2D data into 1D vectors.

다음으로 단계(603)에서 트레이닝 모듈(103)은 PCA(주요 구성 요소 분석)과 LLE(국부 선형성 삽입) 등 통계학습방법을 이용하여 차원의 낮춤을 실행하여 사영변환행열을 구한다. 이 분야의 기술자는 기존의 기술에서 PCA와 LLE에 대한 구체적인 내용을 얻을 수 있으니 여기서 이에 대한 자세한 설명은 생략한다. Next, in step 603, the training module 103 calculates the projection transformation matrix by lowering the dimension by using statistical learning methods such as PCA (Key Component Analysis) and LLE (Local Linearity Insertion). A person skilled in the art can obtain details of PCA and LLE from the existing technology, and thus a detailed description thereof will be omitted.

다음으로 단계(604)에서 트레이닝 모듈(103)은 L1거리(유사 정도 도량 값)를 가진 NNC를 구축하고, L1의 정의는 다음에서 설명한다.Next, in step 604 the training module 103 builds an NNC with L 1 distance (similarity metrology value), the definition of L 1 is described below.

다음으로 도 7를 참조하여 본 발명의 일실시예에 따른 템플릿 DB 구축에 대해 설명한다. 도 7 은 본 발명 일실시예에 따른 템플릿 DB 구축 모듈(104)의 템플릿 DB구축 과정을 나타낸 도면이다. 템플릿 DB 구축은 샘플을 기반으로 하는 운동 분석에 있어서 중요한 부분이다.Next, a template DB construction according to an embodiment of the present invention will be described with reference to FIG. 7. 7 is a diagram illustrating a template DB building process of the template DB building module 104 according to an embodiment of the present invention. Template DB building is an important part of sample-based motion analysis.

도 7을 참조하면, 단계(701)에서 템플릿 DB 구축 모듈(104)는 상이한 자세 샘플을 선택한다. Referring to FIG. 7, in step 701 the template DB building module 104 selects different pose samples.

다음으로 단계(702)에서 템플릿 DB 구축 모듈(104)는 자세 샘플 이미지에 대해 수동으로 표지를 표기한다. 우선적으로 템플릿 DB 구축 모듈(104)은 표지를 기반으로 하는 운동 캡쳐 시스템이나 적절한 컴퓨터 그래픽 소프트웨어를 사용하여 표기된 데이터 집합을 생성하는 것이다. 현재의 장치 및 배포의 제한으로 본 실시예에서 8 가지 복싱 동작 자세를 수집했으며 그 표시 과정을 생략했다. 특징 추출 모듈(105)은 트레이닝 모듈(103)이 구한 사영변환행열에 의거하여 샘플로부터 낮은 차원을 가진 다른 특징을 추출한다. Next, at step 702, the template DB building module 104 manually marks the posture sample image. Preferred is the template DB building module 104 for generating marked data sets using a marker-based athletic capture system or appropriate computer graphics software. Due to current device and distribution limitations, eight boxing behavior postures have been collected in this embodiment and the display process has been omitted. The feature extraction module 105 extracts another feature having a low dimension from the sample based on the projection transformation matrix obtained by the training module 103.

다음으로 단계(703)에서 템플릿 DB 구축 모듈(104)는 추출한 다른 특징을 기반으로 상기 다른 특징과 자세(골격) 간의 대응 관계를 구축한다. 본 실시예에서는 상기 다른 특징과 8 가지 복싱 동작의 인덱스 간의 대응 관계를 구축했다. 다음으로 단계(704)에서 템플릿 DB 구축 모듈(104)는 구축한 대응 관계를 기반으로 특징 벡터 및 관련 골격(또는 동작) 인덱스를 포함한 템플릿을 생성한다.Next, in step 703, the template DB building module 104 builds a corresponding relationship between the other feature and the posture (skeleton) based on the extracted other feature. In this embodiment, a corresponding relationship between the above-mentioned other features and the indices of eight boxing operations is established. Next, in step 704, the template DB building module 104 generates a template including a feature vector and an associated skeleton (or motion) index based on the corresponding relationship established.

다음으로 도8과 도9를 참조하여 본 발명에 따른 온라인 자세 식별에 대해 설명한다. 분류기와 구축된 적절한 템플릿 DB를 트레이닝한 후에 온라인 자세 식별을 실행할 수 있다. 트레이닝 단계와 유사하게 먼저 입력 이미지에 대해 전처리를 한다. 그 다음의 과정은 특징 추출, 특징 매칭과 인체 자세 출력을 포함한다.Next, an online posture identification according to the present invention will be described with reference to FIGS. 8 and 9. After training the classifier and the appropriate template DB built, you can perform online posture identification. Similar to the training phase, we first preprocess the input image. The following process includes feature extraction, feature matching, and body posture output.

도 8은 본 발명의 일실시예에 따른 특징 추출 모듈(105)의 특징 추출 과정을 나타낸 도면이고, 도9는 본 발명의 일실시예에 따른 검색 모듈(106)의 특징 매칭 및 출력 모듈(107)의 인체 자세 출력 과정을 나타낸 도면이다.8 is a view illustrating a feature extraction process of the feature extraction module 105 according to an embodiment of the present invention, and FIG. 9 is a feature matching and output module 107 of the search module 106 according to an embodiment of the present invention. ) Is a diagram illustrating a human body posture output process.

특징 추출의 목적은 구별되는 특징을 추출하여 매칭하는 것이다. 도8를 참조하면, 단계(801)에서 특징 추출 모듈(105)는 입력 이미지의 깊이 정보를 적절한 이미지 벡터로 전환하고, 즉 직접 2D 데이터를 1D데이터로 전개한다. 다음으로 단계(802)에서 특징 추출 모듈(105)는 트레이닝 단계에서 구한 사영변환행열을 이용하여 이미지 공간으로부터 온 데이터를 특징 공간으로 사영한다. 본 발명에서는 트레이닝된 PCA 및 LLE 사영행렬변환을 사용할 수 있다.The purpose of feature extraction is to extract and match distinct features. Referring to Fig. 8, in step 801 the feature extraction module 105 converts the depth information of the input image into an appropriate image vector, i.e. directly expands the 2D data into 1D data. Next, in step 802, the feature extraction module 105 projects the data from the image space into the feature space using the projection transformation matrix obtained in the training step. In the present invention, trained PCA and LLE projective matrix transformations can be used.

X={x1, x2, ...xN}이 입력된 1D 이미지 데이터(이 중에서 N = wxh, w는 샘플의 넓이이고, h는 샘플의 높이이다)로, W가 트레이닝된 PCA/LLE 사영변환행열(W의 차원은 NxM이다. M << N)로 가정한다. 따라서 단계(803)에서 특징 추출 모듈(105)는 특징 벡터V, 즉 V = WT X를 구할 수 있고, 상기 특징 벡터V의 차원은 M이다.1D image data with X = {x 1 , x 2 , ... x N } input, where N = wxh, w is the width of the sample, h is the height of the sample, and W is trained PCA / Assume that the LLE projective transformation matrix (the dimension of W is NxM, where M << N). Thus, in step 803 the feature extraction module 105 can find a feature vector V, ie V = W T X, the dimension of the feature vector V being M.

특징을 추출한 후, NNC를 이용하여 템플릿 데이터베이스에서 top-n개의 최고 매칭 자세를 추출한다. 말하자면, 검색 모듈(106)은 NNC를 통해 상기 인체 식별 단계에서 추출된 다른 자세 특징을 상기 자세 모듈 데이터베이스(104) 중의 자세 템플릿과 비교하여 인체 자세의 매칭을 한다. After the feature is extracted, top-n best matching poses are extracted from the template database using NNC. In other words, the search module 106 compares other posture features extracted in the human body identification step through the NNC with a posture template in the posture module database 104 to match the body posture.

상세하게, 도9를 참조하면, 단계(901)에서 검색 모듈(106)은 NNC를 이용하여 현재의 특징 벡터와 템플릿 데이터베이스에 있는 특징 벡터 간의 거리를 계산한다. In detail, referring to FIG. 9, in step 901 the search module 106 calculates the distance between the current feature vector and the feature vector in the template database using the NNC.

V0이 현재의 특징 벡터(즉, 입력된 특징 벡터)로, Vi이 템플릿 DB에 있는 특징 벡터(i=1,…,N)로，Si이 관련 골격(자세) 인덱스(i=1,...,N)로 가정한다. 거리측정L1 = |V0-Vi| (i=1,...,N)를 사용하여 입력된 특징 벡터 V0를 템플릿 DB 중의 N개 Vi 모두와 매칭해서 여러 개 유사 정도 도량 값 L1을 구한다. V 0 is the current feature vector (i.e. the input feature vector), V i is the feature vector (i = 1, ..., N) in the template DB, and S i is the associated skeleton (posture) index (i = 1). , ..., N). Distance measurement L 1 = | V 0 -V i | (i = 1, ..., N) is used to match the input feature vector V 0 with all N V i in the template DB to obtain several similarity measure values L 1 .

단계(902)에서 검색모듈(106)은 상기 거리 L1을 기반으로 템플릿 DB에서 최고 매칭 인덱스 top-n 개를 구할 수 있다. In operation 902, the search module 106 may obtain top-n best matching indices from a template DB based on the distance L 1 .

단계(903)에서 출력 모듈(107)은 최고 매칭 인덱스에 의거하여 템플릿 DB에서 최고 매칭 자세(골격)를 구한다. 다음으로 단계(904)에서 출력 모듈(107)은 최고 매칭 자세(골격)를 기반으로 가상 인체 모델에 대해 위치 재지정을 한다.In step 903, the output module 107 obtains the best matching pose (skeleton) from the template DB based on the best matching index. Next, in step 904, the output module 107 repositions the virtual anatomical model based on the best matching pose (skeleton).

예를 들어, 오프라인 학습 단계에서 자세 템플릿 DB(104)를 구축하고, 상기 자세 템플릿 DB(104)는 태극권 동작 집합 한 세트를 포함하고 동작 이미지500개를 포함한다. 자세 템플릿 DB(104)를 구축 시 인체 동작별 각각 특징 벡터를 추출하며 관절 지점 위치별 표시를 한다(출력 모듈(107)이 가상 인물의 디스플레이에 대한 구동이 편리함). 실제 온라인 동작 식별 단계에 있어서, 사용자가 동작 하나를 하면 상기 동작의 이미지를 캡쳐하여 전처리 모듈(102)은 전처리를 실행하고, 특징 추출 모듈(105)은 다른 자세 특징을 추출하고 상기 동작의 특징 벡터를 구하고; 검색 모듈(106)은 NNC를 통해 상기 특징 벡터를 자세 템플릿 DB(104) 중에 있는 특징 벡터500세트와 비교하여 유사 정도를 계산해서 유사도가 가장 큰 n개의 동작을 찾고, 이러한 과정은 바로 top-n개 NN의 분류 과정이며, n이 1일 때 한 개의 가장 유사한 동작을 찾았다는 뜻이다; For example, a posture template DB 104 is constructed in an offline learning phase, and the posture template DB 104 includes a set of Tai Chi gestures and includes 500 motion images. When constructing the posture template DB 104, each feature vector for each human motion is extracted and displayed for each joint point position (the output module 107 is convenient to drive the display of the virtual person). In the actual online motion identification step, when the user makes one motion, the image of the motion is captured and the preprocessing module 102 executes the preprocessing, and the feature extraction module 105 extracts another postural feature and the feature vector of the motion. To obtain; The search module 106 calculates the degree of similarity by comparing the feature vector with 500 feature vectors in the posture template DB 104 through NNC to find the n motions having the highest similarity. Is the classification process of NNs, meaning that when n is 1, one of the most similar actions is found;

출력 모듈(107)은 상기 동작과 대응되는 인체 관절 지점 정보를 출력하여 가상 인물의 구동 또는 디스플레이를 한다.The output module 107 outputs human joint point information corresponding to the operation to drive or display a virtual person.

다음으로 도10 내지 도 13을 참조하여 본 발명에 따라 실시된 실험1과 실험2를 설명한다.Next, Experiment 1 and Experiment 2 performed according to the present invention will be described with reference to FIGS. 10 to 13.

도10을 참조하면, 실험1에서는 특정한 사람을 대상으로 한다. 트레이닝 데이터에는 테스트하는 사람들의 자세 데이터를 포함한다. 트레이닝 단계는 사람 4명과 관련이 있고 8 가지 자세의 복싱 동작 및 1079 개 샘플(각 샘플의 크기는 80x80)가 있고, 100 차원으로 다시 인체 모델에 대해 위치 측정을 실행한다. Referring to FIG. 10, in Experiment 1, a specific person is targeted. Training data includes posture data of the people who are testing. The training phase involves 4 people, 8 posture boxing moves and 1079 samples (80x80 in size for each sample), and then perform position measurements on the human body model again in 100 dimensions.

테스트 단계에서 트레이닝 단계와 같은 4명의 사람과 관련이 있고 8 가지의 복싱 동작이 있으며 1079 개의 샘플을 테스트했다.The test phase involved four people, such as the training phase, there were eight boxing moves, and 1079 samples were tested.

도 11은 실험1의 결과를 나타냈다. 도11 중의 (a)는 LLE방법을 이용하여 검색한 결과를 나타냈고, 도11 중의 (b)는 PCA방법을 이용하여 검색된 결과를 나타냈으며, 도11의 (a)와 (b) 중에, 왼쪽 상단 위치의 한 이미지는 검색 대상으로 입력되고 다른 이미지들은 반환 값으로 출력된다.11 shows the results of Experiment 1. (A) in FIG. 11 shows the results of the search using the LLE method, and (b) in FIG. 11 shows the results of the search using the PCA method. In FIG. 11 (a) and (b), the left side is shown. One image at the top position is entered as the search target and the other images are returned as the return value.

도 12를 참조하면, 실험2에 있어서 특정되지 않은 사람을 대상으로 한다. 트레이닝 데이터에서는 테스트된 사람의 자세 데이터가 포함되지 않는다. 트레이닝 단계에서는 사람 4명과 관련이 있고 8 가지 자세의 복싱 동작 및 1079 개의 샘플이 있고, 100 차원으로 다시 인체 모델에 대해 위치 재지정을 실행한다. 테스트 단계에서는 트레이닝 단계와 다른 사람 2명과 관련이 있고, 8 가지 복싱 동작이 있으며 494개의 샘플을 테스트했다.Referring to FIG. 12, a person who is not specified in Experiment 2 is targeted. Training data does not include posture data for the person tested. In the training phase, there are four people involved, there are eight posture boxing movements and 1079 samples, and repositioning the human body model in 100 dimensions. In the test phase, it involves the training phase and two other people, eight boxing moves, and tested 494 samples.

도 13은 실험2의 결과를 나타냈다. 도13 중의(a)는 LLE방법을 이용하여 검색된 결과를 나타냈고, 도13 중의 (b)는 PCA방법을 이용하여 검색된 결과를 나타냈으며, 도13의 (a)와 (b) 중에, 왼쪽 상단 위치의 한 이미지는 검색 대상으로 입력되고 다른 이미지들은 반환 값으로 출력된다.13 shows the results of Experiment 2. (A) of FIG. 13 shows the results of the search using the LLE method, and (b) of FIG. 13 shows the results of the search using the PCA method. In FIG. 13 (a) and (b), the upper left corner is shown. One image of the location is entered as the search target and the other images are returned as the return value.

따라서, 전통적인 색채 이미지를 기반으로 하는 방법과 비교하면, 본 발명은 깊이 데이터를 이용함으로써 윤곽 중의 모호성 문제를 해결할 수 있다. 본 발명은 깊이 정보와 색채 정보를 이용하며 형상 통일화 방법을 제공할 수 있고, 상기 방법은 형상이 독립적인 자세를 식별할 수 있다. 이외에 본 발명에서는 통계학습방법과 빠른 검색 방법을 사용함으로써 인체 자세 식별 장치의 구조를 간단하게 하며 더욱 효율 있게 한다.Thus, compared to the traditional color image based method, the present invention can solve the ambiguity problem in the contour by using the depth data. The present invention can provide a shape unification method using depth information and color information, and the method can identify a posture independent of shape. In addition, the present invention simplifies the structure of the human body posture identification device and makes it more efficient by using a statistical learning method and a quick search method.

또한 본 발명의 일 실시예에 따른 인체 자세 식별 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the human body posture identification method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

101 입력 모듈
102 전처리 모듈
103 트레이닝 모듈
104 템플릿 DB 구축 모듈
105 특징 추출 모듈
106 검색 모듈
107 출력 모듈101 input module
102 Pretreatment Module
103 training modules
104 Template DB Build Module
105 Features Extraction Module
106 search module
107 output module

Claims (19)

인체 자세를 동시에 캡쳐하여 입력 이미지를 생성하기 위한 깊이 카메라와 색채 카메라를 포함하는 입력 모듈;
입력 이미지를 적절한 포맷으로 전환하는 전처리를 하며, 상기 이미지를 소정 크기로 통일화하고 형상이 독립적인 자세 샘플을 생성하여 샘플 데이터를 생성하는 전처리 모듈;
트레이닝 단계에서 통계학습방법으로 샘플 데이터의 차원을 낮추어 원본 이미지 공간으로부터 특징 공간까지의 사영변환행렬을 구하며, NNC를 구축하는 트레이닝 모듈;
상기 사영변환행렬에 의거하여 각각 트레이닝 단계와 인체 자세 식별 단계에서 샘플 데이터로부터 구별되는 자세 특징을 추출하는 특징 추출 모듈;
특징 추출 모듈이 트레이닝 단계에서 추출한 구별되는 자세 특징에 따라 자세 템플릿 데이터베이스를 구축하는 템플릿 데이터베이스 구축 모듈;
상기 NNC를 통해 상기 특징 추출 모듈이 인체 식별 단계에서 추출한 구별되는 자세 특징을 상기 자세 모듈 데이터베이스 중의 자세 템플릿과 비교하여 인체 자세 매칭을 하는 검색 모듈;
최고 매칭 자세를 출력하며, 상기 최고 매칭 자세를 기반으로 가상 인체 모델에 대해 위치 재지정을 하는 출력 모듈;
을 포함하는 인체 자세 식별 장치.An input module including a depth camera and a color camera for simultaneously capturing a human body posture to generate an input image;
A preprocessing module for preprocessing the input image into an appropriate format, and unifying the image to a predetermined size and generating sample data by generating a posture sample having a shape independent;
A training module for obtaining a projection transformation matrix from the original image space to the feature space by lowering the dimension of the sample data by a statistical learning method in the training step, and constructing an NNC;
A feature extraction module for extracting a posture feature distinguished from sample data in a training step and a human body posture identification step based on the projective transformation matrix;
A template database building module for constructing a posture template database according to the distinctive posture features extracted by the feature extraction module in the training step;
A retrieval module for matching the human body posture by comparing the distinguished posture feature extracted by the feature extraction module in the human body identification step with the posture template in the posture module database through the NNC;
An output module for outputting a best matching posture and repositioning the virtual human model based on the best matching posture;
Human posture identification device comprising a. 제1항에 있어서,
상기 깊이 카메라는 상기 인체 자세의 깊이 이미지와 세기 이미지를 생성하고,
상기 색채 카메라는 상기 인체 자세의 색채 이미지를 생성하는 인체 자세 식별 장치.The method of claim 1,
The depth camera generates a depth image and an intensity image of the human body posture,
The color camera is a human body posture identification device for generating a color image of the human body posture. 제2항에 있어서,
상기 전처리 모듈은 상기 세기 이미지를 이용하여 인체 자세를 분할하여 윤곽을 추출하고, 상기 분할된 인체 구역을 이용하여 머리와 몸을 감지하여, 눈 위치와 어깨 위치를 참조 지점으로 형상 통일화 처리를 진행하여, 형상을 독립적인 자세 샘플을 생성하는 인체 자세 식별 장치.The method of claim 2,
The preprocessing module extracts the contour by dividing the human body posture using the intensity image, detects the head and the body by using the divided human body zone, and performs the shape unification process using the eye position and the shoulder position as reference points. Human posture identification device, to generate shape independent posture samples. 제3항에 있어서,
상기 트레이닝 모듈은 상기 자세 샘플의 이미지 공간에서의 균일한 분포를 위해 트레이닝 데이터 집합을 생성하고, 샘플 데이터를 입력 벡터로 전환하고, 통계학습방법을 이용하여 샘플의 차원을 낮추어서 상기 사영변환행렬를 구하는 인체 자세 식별 장치.The method of claim 3,
The training module generates a training data set for uniform distribution in the image space of the pose sample, converts the sample data into an input vector, and lowers the dimension of the sample using a statistical learning method to obtain the projective transformation matrix. Posture identification device. 제4항에 있어서,
상기 통계학습방법은 PCA 방법 또는 LLE방법을 포함하는 인체 자세 식별 장치.The method of claim 4, wherein
The statistical learning method is a human body posture identification device including a PCA method or LLE method. 제5항에 있어서,
상기 템플릿 데이터베이스 구축 모듈은 상이한 자세 샘플을 선택하여 자세 샘플 이미지에 대한 수동 표지를 표기하고,
상기 특징 추출 모듈은 상기 사영변환행렬에 의거하여 자세 샘플에서 낮은 차원을 가진 구별되는 특징을 추출하고,
상기 템플릿 데이터베이스 구축 모듈은 상기 추출된 구별되는 특징을 기반으로 상기 다른 특징과 자세 간의 대응 관계를 구축하며, 상기 구축된 대응 관계에 의거하여 특징 벡터 및 관련된 자세 인덱스가 포함된 템플릿을 생성하여 템플릿 데이터베이스를 구축하는 인체 자세 식별 장치.The method of claim 5,
The template database building module selects different posture samples and displays a manual mark on the posture sample image,
The feature extraction module extracts a distinctive feature having a low dimension from the pose sample based on the projective transformation matrix,
The template database building module constructs a correspondence relationship between the other features and postures based on the extracted distinguished features, and generates a template including a feature vector and an associated posture index based on the constructed correspondences. Human body posture identification device to build it. 제6항에 있어서,
상기 특징 추출 모듈은,
상기 입력 이미지의 깊이 데이터를 1차원 데이터 벡터로 전화하여, 상기 트레이닝 단계 중에서 구한 사영변환행렬을 이용하여 이미지 공간으로부터 온 데이터를 특징 공간으로 사영하여 특징 벡터를 구하는 인체 자세 식별 장치.The method of claim 6,
The feature extraction module,
And a depth vector of the input image is converted into a one-dimensional data vector to obtain a feature vector by projecting data from an image space into a feature space using a projection transformation matrix obtained during the training step. 제7항에 있어서,
상기 검색 모듈은 NNC를 통해 현재의 특징 벡터 및 템플릿 데이터베이스 중의 특징 벡터 간의 거리를 계산하여, 상기 거리에 의거하여 템플릿 데이터베이스에서 최고 매칭 인덱스를 구하는 인체 자세 식별 장치.The method of claim 7, wherein
And the search module calculates a distance between a current feature vector and a feature vector in a template database through an NNC, and obtains a best matching index from a template database based on the distance. 제8항에 있어서,
상기 출력 모듈은 상기 최고 매칭 인덱스에 의거하여 템플릿 데이터베이스에서 최고 매칭 자세를 구하며, 상기 최고 매칭 자세를 기반으로 하여 가상 인체 모델에 대해 위치를 재지정하는 인체 자세 식별 장치.The method of claim 8,
And the output module obtains a best matching pose from a template database based on the best matching index, and repositions a virtual human model based on the best matching pose. (a)깊이 카메라와 색채 카메라를 이용하여 동시에 인체 자세를 캡쳐하여 입력 이미지를 생성하는 단계;
(b)상기 입력 이미지에 대해 전처리하여 적절한 포맷으로 전환하며, 상기 이미지를 고정 크기로 통일화하여 형상이 독립적인 자세 샘플을 생성하여 샘플 데이터를 생성하는 단계;
(c)트레이닝 단계에서 통계학습방법을 이용하여 샘플 데이터의 차원을 낮추어 원본 이미지 공간에서 특징 공간까지의 사영변환행렬을 구하며, NNC를 구축하는 단계;
(d)상기 사영변환행렬에 의거하여 트레이닝 단계와 인체 자세 식별 단계에서 각각 샘플 데이터에서 구별되는 자세 특징을 추출하는 단계;
(e)트레이닝 단계에서 추출한 구별되는 자세 특징을 따라 자세 템플릿 데이터베이스를 구축하는 단계;
(f)상기 NNC를 통해 상기 인체 식별 단계에서 추출된 구별되는 자세 특징을 상기 자세 모듈 데이터베이스 중의 자세 템플릿과 비교하여 인체 자세의 매칭을 하는 단계;
(g)최고 매칭 자세를 출력하며, 상기 최고 매칭 자세를 기반으로 가상 인체 모델에 대해 위치 재지정을 하는 단계;
를 포함하는 인체 자세 식별 방법.(a) generating an input image by capturing a human body posture simultaneously using a depth camera and a color camera;
(b) preprocessing the input image to convert the image into an appropriate format, and unifying the image to a fixed size to generate a posture sample having a shape independent, thereby generating sample data;
(c) obtaining a projection transformation matrix from the original image space to the feature space by lowering the dimension of the sample data using a statistical learning method in the training step, and constructing an NNC;
(d) extracting posture characteristics distinguished from the sample data in the training step and the human body posture identification step based on the projective transformation matrix;
(e) constructing a posture template database according to the distinctive posture features extracted in the training step;
(f) comparing the posture characteristics extracted in the human body identification step through the NNC with a posture template in the posture module database to match the human posture;
(g) outputting a best matching pose, and repositioning the virtual human model based on the best matching pose;
Human body posture identification method comprising a. 제10항에 있어서,
상기 깊이 카메라는 상기 인체 자세의 깊이 이미지와 세기 이미지를 생성하고,
상기 색채 카메라는 상기 인체 자세의 색채 이미지를 생성하는 인체 자세 식별 방법.The method of claim 10,
The depth camera generates a depth image and an intensity image of the human body posture,
The color camera body pose identification method for generating a color image of the body posture. 제11항에 있어서,
상기 단계(b)는,
상기 세기 이미지를 이용하여 상기 인체 자세를 분할하여 윤곽을 추출하는 단계;
상기 분할된 인체 구역을 이용하여 머리와 몸을 검출하는 단계;
눈 위치와 어깨 위치를 참조 지점으로 형상 통일화 처리를 진행하여, 형상이 독립적인 자세 샘플을 생성하는 단계;
를 포함하는 인체 자세 식별 방법.The method of claim 11,
Step (b) is,
Extracting a contour by dividing the human body posture using the intensity image;
Detecting the head and the body using the divided human zones;
Performing a shape unification process on the eye position and the shoulder position to a reference point to generate a posture sample having a shape independent;
Human body posture identification method comprising a. 제12항에 있어서,
상기 단계(c)는,
상기 자세 샘플의 이미지 공간에서의 균일한 분포를 위해 트레이닝 데이터 집합을 생성하는 단계;
상기 샘플 데이터를 입력 벡터로 전환하는 단계;
통계학습방법을 이용하여 샘플의 차원을 낮추어 상기 사영변환행렬을 구하는 단계;
를 포함하는 인체 자세 식별 방법.The method of claim 12,
Step (c) is,
Generating a training data set for uniform distribution in the image space of the pose sample;
Converting the sample data into an input vector;
Obtaining a projection transformation matrix by lowering the dimension of a sample using a statistical learning method;
Human body posture identification method comprising a. 제13항에 있어서,
상기 통계학습방법은 PCA방법 또는 LLE방법을 포함하는 인체 자세 식별 방법.The method of claim 13,
The statistical learning method is a human body posture identification method comprising a PCA method or LLE method. 제14항에 있어서,
상기 단계(e)는,
상이한 자세 샘플을 선택하여 자세 샘플 이미지에 대해 수동 표기를 하는 단계;
상기 트레이닝 단계에서 추출된 구별되는 특징을 기반으로 상기 구별되는 특징과 자세 간의 대응 관계를 구축하는 단계;
상기 구축된 대응 관계에 의거하여, 특징 벡터 및 관련된 자세 인덱스가 포함된 템플릿을 생성하여 템플릿 데이터베이스를 구축하는 단계;
를 포함하는 인체 자세 식별 방법.The method of claim 14,
Step (e),
Selecting different posture samples and manually marking the posture sample images;
Establishing a correspondence relationship between the distinguished feature and the posture based on the distinguished feature extracted in the training step;
Building a template database by generating a template including a feature vector and an associated posture index based on the established correspondence;
Human body posture identification method comprising a. 제15항에 있어서,
상기 단계(d)는,
상기 입력 이미지의 깊이 데이터를 1차원 데이터 벡터로 전화하는 단계;
상기 트레이닝 단계 중에서 구한 투영 변환 매트릭스를 이용하여 이미지 공간으로부터 온 데이터를 특징 공간으로 투영하여 특징 벡터를 구하는 단계;
를 포함하는 인체 자세 식별 방법.16. The method of claim 15,
Step (d) is,
Converting depth data of the input image into a one-dimensional data vector;
Obtaining a feature vector by projecting data from the image space into the feature space using the projection transformation matrix obtained during the training step;
Human body posture identification method comprising a. 제16항에 있어서,
상기 단계(f)는
NNC를 통해 현재의 특징 벡터 및 템플릿 데이터베이스 중의 특징 벡터 간의 거리를 계산하는 단계;
상기 거리에 의거하여 템플릿 데이터베이스에서 최고 매칭 인덱스를 구하는 단계;
를 포함하는 인체 자세 식별 방법.The method of claim 16,
Step (f) is
Calculating a distance between the current feature vector and the feature vector in the template database via the NNC;
Obtaining a best matching index in a template database based on the distance;
Human body posture identification method comprising a. 제17항에 있어서,
상기 단계(g)는,
상기 최고 매칭 인덱스에 의거하여 템플릿 데이터베이스에서 최고 매칭 자세를 구하는 단계;
상기 최고 매칭 자세를 기반으로 가상 인체 모델에 대해 위치 재지정하는 단계;
를 포함하는 인체 자세 식별 방법.The method of claim 17,
Step (g) is,
Obtaining a best matching attitude from a template database based on the best matching index;
Repositioning a virtual human model based on the best matching pose;
Human body posture identification method comprising a. 제10 내지18항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.A computer-readable recording medium having recorded thereon a program for performing the method of claim 10.
KR1020100036589A 2009-07-31 2010-04-20 Identifying method of human attitude and apparatus of the same KR20110013200A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/805,457 US20110025834A1 (en) 2009-07-31 2010-07-30 Method and apparatus of identifying human body posture

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200910161452.7 2009-07-31
CN200910161452.7A CN101989326B (en) 2009-07-31 2009-07-31 Human posture recognition method and device

Publications (1)

Publication Number Publication Date
KR20110013200A true KR20110013200A (en) 2011-02-09

Family

ID=43745858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036589A KR20110013200A (en) 2009-07-31 2010-04-20 Identifying method of human attitude and apparatus of the same

Country Status (2)

Country Link
KR (1) KR20110013200A (en)
CN (1) CN101989326B (en)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170445A3 (en) * 2011-06-06 2013-04-25 Microsoft Corporation Object digitization
WO2013166368A1 (en) * 2012-05-04 2013-11-07 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9767352B2 (en) 2012-01-13 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing body part association
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10134120B2 (en) 2014-10-10 2018-11-20 Hand Held Products, Inc. Image-stitching for dimensioning
US10140724B2 (en) 2009-01-12 2018-11-27 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10203402B2 (en) 2013-06-07 2019-02-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10247547B2 (en) 2015-06-23 2019-04-02 Hand Held Products, Inc. Optical pattern projector
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10393506B2 (en) 2015-07-15 2019-08-27 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
CN111797791A (en) * 2018-12-25 2020-10-20 上海智臻智能网络科技股份有限公司 Human body posture recognition method and device
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11029762B2 (en) 2015-07-16 2021-06-08 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184008A (en) * 2011-05-03 2011-09-14 北京天盛世纪科技发展有限公司 Interactive projection system and method
KR101815975B1 (en) * 2011-07-27 2018-01-09 삼성전자주식회사 Apparatus and Method for Detecting Object Pose
CN102436301B (en) * 2011-08-20 2015-04-15 Tcl集团股份有限公司 Human-machine interaction method and system based on reference region and time domain information
CN102324041B (en) * 2011-09-09 2014-12-03 深圳泰山在线科技有限公司 Pixel classification method, joint body gesture recognition method and mouse instruction generating method
CN102509074B (en) * 2011-10-18 2014-01-29 Tcl集团股份有限公司 Target identification method and device
KR101919831B1 (en) 2012-01-11 2018-11-19 삼성전자주식회사 Object Recognition Apparatus, Classification Tree Learning Apparatus and Method thereof
CN103390174A (en) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 Physical education assisting system and method based on human body posture recognition
CN103390150B (en) * 2012-05-08 2019-01-08 北京三星通信技术研究有限公司 human body part detection method and device
CN103310193B (en) * 2013-06-06 2016-05-25 温州聚创电气科技有限公司 A kind of method that records sportsman's important technology action moment in gymnastics video
CN103366160A (en) * 2013-06-28 2013-10-23 西安交通大学 Objectionable image distinguishing method integrating skin color, face and sensitive position detection
CN104573612B (en) * 2013-10-16 2019-10-22 北京三星通信技术研究有限公司 The device and method of the posture for the multiple human objects being overlapped in estimating depth image
CN104463089A (en) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 Human body posture recognizing device
CN104748750B (en) * 2013-12-28 2015-12-02 华中科技大学 A kind of model constrained under the Attitude estimation of Three dimensional Targets in-orbit method and system
CN103778436B (en) * 2014-01-20 2017-04-05 电子科技大学 A kind of pedestrian's attitude detecting method based on image procossing
CN104125396B (en) * 2014-06-24 2018-06-08 小米科技有限责任公司 Image capturing method and device
CN104952221B (en) * 2015-07-09 2017-06-13 深圳大学 Myopia-proof intelligent desk lamp
CN105631861B (en) * 2015-12-21 2019-10-01 浙江大学 Restore the method for 3 D human body posture from unmarked monocular image in conjunction with height map
CN105997094B (en) * 2016-05-09 2019-03-29 北京科技大学 A kind of gesture recognition device and method
CN106780569A (en) * 2016-11-18 2017-05-31 深圳市唯特视科技有限公司 A kind of human body attitude estimates behavior analysis method
CN108154161A (en) * 2016-12-05 2018-06-12 上海西门子医疗器械有限公司 The method of training grader, the method and medical instrument for determining detected object position
CN106780530B (en) * 2016-12-15 2019-06-14 广州视源电子科技股份有限公司 A kind of figure prediction technique and equipment
CN108629345B (en) * 2017-03-17 2021-07-30 北京京东尚科信息技术有限公司 High-dimensional image feature matching method and device
CN107358149B (en) * 2017-05-27 2020-09-22 深圳市深网视界科技有限公司 Human body posture detection method and device
CN108121963B (en) * 2017-12-21 2021-08-24 北京奇虎科技有限公司 Video data processing method and device and computing equipment
CN108345869B (en) * 2018-03-09 2022-04-08 南京理工大学 Driver posture recognition method based on depth image and virtual data
CN109101866B (en) * 2018-06-05 2020-12-15 中国科学院自动化研究所 Pedestrian re-identification method and system based on segmentation silhouette
CN110362843B (en) * 2018-11-20 2022-06-17 莆田学院 Virtual human overall attitude approximate generation method based on typical attitude
TWI707249B (en) * 2018-11-27 2020-10-11 美律實業股份有限公司 System and method for generating label data
CN110020630B (en) * 2019-04-11 2020-12-18 成都乐动信息技术有限公司 Method and device for evaluating action completion degree, storage medium and electronic equipment
CN112288798A (en) * 2019-07-24 2021-01-29 鲁班嫡系机器人（深圳）有限公司 Posture recognition and training method, device and system
US11564651B2 (en) 2020-01-14 2023-01-31 GE Precision Healthcare LLC Method and systems for anatomy/view classification in x-ray imaging
CN111353543B (en) * 2020-03-04 2020-09-11 镇江傲游网络科技有限公司 Motion capture data similarity measurement method, device and system
CN115294375B (en) * 2022-10-10 2022-12-13 南昌虚拟现实研究院股份有限公司 Speckle depth estimation method and system, electronic device and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0308943D0 (en) * 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images
CN101079103A (en) * 2007-06-14 2007-11-28 上海交通大学 Human face posture identification method based on sparse Bayesian regression
CN101332362B (en) * 2008-08-05 2012-09-19 北京中星微电子有限公司 Interactive delight system based on human posture recognition and implement method thereof

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140724B2 (en) 2009-01-12 2018-11-27 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10845184B2 (en) 2009-01-12 2020-11-24 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
WO2012170445A3 (en) * 2011-06-06 2013-04-25 Microsoft Corporation Object digitization
US9767352B2 (en) 2012-01-13 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing body part association
WO2013166368A1 (en) * 2012-05-04 2013-11-07 Intermec Ip Corp. Volume dimensioning systems and methods
US10467806B2 (en) 2012-05-04 2019-11-05 Intermec Ip Corp. Volume dimensioning systems and methods
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9292969B2 (en) 2012-05-07 2016-03-22 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10635922B2 (en) 2012-05-15 2020-04-28 Hand Held Products, Inc. Terminals and methods for dimensioning objects
US10805603B2 (en) 2012-08-20 2020-10-13 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US10908013B2 (en) 2012-10-16 2021-02-02 Hand Held Products, Inc. Dimensioning system
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9784566B2 (en) 2013-03-13 2017-10-10 Intermec Ip Corp. Systems and methods for enhancing dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10203402B2 (en) 2013-06-07 2019-02-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US10240914B2 (en) 2014-08-06 2019-03-26 Hand Held Products, Inc. Dimensioning system with guided alignment
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10402956B2 (en) 2014-10-10 2019-09-03 Hand Held Products, Inc. Image-stitching for dimensioning
US10859375B2 (en) 2014-10-10 2020-12-08 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10121039B2 (en) 2014-10-10 2018-11-06 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10134120B2 (en) 2014-10-10 2018-11-20 Hand Held Products, Inc. Image-stitching for dimensioning
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10218964B2 (en) 2014-10-21 2019-02-26 Hand Held Products, Inc. Dimensioning system with feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10393508B2 (en) 2014-10-21 2019-08-27 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US11906280B2 (en) 2015-05-19 2024-02-20 Hand Held Products, Inc. Evaluating image values
US11403887B2 (en) 2015-05-19 2022-08-02 Hand Held Products, Inc. Evaluating image values
US10593130B2 (en) 2015-05-19 2020-03-17 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10247547B2 (en) 2015-06-23 2019-04-02 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US10612958B2 (en) 2015-07-07 2020-04-07 Hand Held Products, Inc. Mobile dimensioner apparatus to mitigate unfair charging practices in commerce
US10393506B2 (en) 2015-07-15 2019-08-27 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US11353319B2 (en) 2015-07-15 2022-06-07 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US11029762B2 (en) 2015-07-16 2021-06-08 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10747227B2 (en) 2016-01-27 2020-08-18 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10872214B2 (en) 2016-06-03 2020-12-22 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10417769B2 (en) 2016-06-15 2019-09-17 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN111797791A (en) * 2018-12-25 2020-10-20 上海智臻智能网络科技股份有限公司 Human body posture recognition method and device
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Also Published As

Publication number Publication date
CN101989326A (en) 2011-03-23
CN101989326B (en) 2015-04-01

Similar Documents

Publication Publication Date Title
KR20110013200A (en) Identifying method of human attitude and apparatus of the same
US20110025834A1 (en) Method and apparatus of identifying human body posture
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
Choi et al. A general framework for tracking multiple people from a moving camera
US8401225B2 (en) Moving object segmentation using depth images
JP5950296B2 (en) Person tracking attribute estimation device, person tracking attribute estimation method, program
JP7452016B2 (en) Learning data generation program and learning data generation method
CN104517102A (en) Method and system for detecting classroom attention of student
Guo et al. Gesture recognition of traffic police based on static and dynamic descriptor fusion
CN116682140A (en) Three-dimensional human body posture estimation algorithm based on attention mechanism multi-mode fusion
Hu et al. Human interaction recognition using spatial-temporal salient feature
JP3732757B2 (en) Image recognition method and image recognition apparatus
Darujati et al. Facial motion capture with 3D active appearance models
Kanaujia et al. 3D human pose and shape estimation from multi-view imagery
Yan et al. Cimi4d: A large multimodal climbing motion dataset under human-scene interactions
Liu et al. Estimation of sunlight direction using 3D object models
Baca et al. Automated data annotation for 6-dof ai-based navigation algorithm development
Shere et al. Temporally consistent 3D human pose estimation using dual 360deg cameras
Bhatia et al. 3d human limb detection using space carving and multi-view eigen models
JP2015118583A (en) Information processor, information processing method and program
Wang et al. Research and implementation of the sports analysis system based on 3D image technology
JP2007257489A (en) Image processor and image processing method
Wang et al. Markerless body motion capturing for 3d character animation based on multi-view cameras
Abughalieh et al. Human Body Orientation from 2D Images
Sarsenov et al. Detection of Objects and Trajectories in Real-time using Deep Learning by a Controlled Robot.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application