KR101556696B1 - Method and system for recognizing action of human based on unit operation - Google Patents
Method and system for recognizing action of human based on unit operation Download PDFInfo
- Publication number
- KR101556696B1 KR101556696B1 KR1020130165630A KR20130165630A KR101556696B1 KR 101556696 B1 KR101556696 B1 KR 101556696B1 KR 1020130165630 A KR1020130165630 A KR 1020130165630A KR 20130165630 A KR20130165630 A KR 20130165630A KR 101556696 B1 KR101556696 B1 KR 101556696B1
- Authority
- KR
- South Korea
- Prior art keywords
- joint
- unit operation
- main unit
- behavior
- motion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Abstract
본 발명은 단위 동작에 따른 사람의 행동 인식 방법 및 시스템에 관한 것으로, 보다 구체적으로는 입력부가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 단계; 단위동작추출부가 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단계; 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계; 및 판단부가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 단계;를 포함한다.
이러한 구성에 의해, 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다. The present invention relates to a method and system for recognizing a person's behavior according to a unitary operation, and more particularly, to a method and system for recognizing movement of a person according to a unitary operation, Extracting at least one main unit operation from the joint motion information; Detecting an operation characteristic of the joint from the main unit operation; And a determination unit classifying the motion characteristics of the joint according to at least one of a type, a time, and a position, and determining a behavior of the person according to movement of the joint.
According to the above configuration, a method and system for recognizing a person's behavior according to the unit operation of the present invention can extract a meaningful main unit operation from the human movement information of a person and extract the extracted main unit operation from at least one of type, By classifying the information hierarchically according to the information, it is possible to improve the accuracy of human behavior recognition through the movement of the joints.
Description
본 발명은 단위 동작에 따른 사람의 행동 인식 방법 및 시스템에 관한 것으로, 특히 사람의 관절 움직임을 단위 동작별로 분석하여 사람의 행동을 정확하게 파악할 수 있는 단위 동작에 따른 사람의 행동 인식 방법 및 시스템에 관한 것이다.
The present invention relates to a method and system for recognizing a person's behavior according to a unitary operation, and more particularly, to a method and system for recognizing a person's behavior according to a unitary motion that can accurately grasp a person's behavior by analyzing movement of a person's joint will be.
IT 기술의 발달에 따라 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 기술의 연구가 증가하고 있는 추세이다. 즉, 게임이나 가전제품의 구동을 위해 사용자가 직접 조작하지 않더라도, 사용자의 행동을 분석하여 게임 또는 가전제품을 조작제어가 가능한 것이다. 이러한 기술을 구현하기 위해서는 사용자의 다양한 행동을 정확하게 인식하기 위한 기술의 필요성이 증대되었다. According to the development of IT technology, there is an increasing tendency to research a technology for controlling a system by recognizing a specific action as an instruction even if the user does not input the command directly. That is, even if the user does not directly operate the game or the home appliance, it is possible to control the game or the appliances by analyzing the behavior of the user. In order to implement such a technology, there is a growing need for techniques to accurately recognize various behaviors of users.
하지만 이와 같은 사람의 행동 인식 기술은 사람의 행동으로부터 획득한 모든 데이터에 대하여 행동에 대한 특징을 추출하기 때문에, 의미없는 행동들 즉, 노이즈 데이터에 대해서도 특징을 추출하여 행동을 인식하기 때문에 행동 인식의 정확도가 감소하며, 노이즈 데이터를 포함하여 동작 특징을 추출하고 이에 대한 행동 인식을 수행하기 때문에 많은 데이터로 인해 계산량이 증가하는 문제점이 발생했다.
However, since such a person's behavior recognition technology extracts the behavioral characteristics of all the data acquired from the person's behavior, it extracts the characteristics of the noise data, that is, the noise data, The accuracy is reduced, and since the motion characteristic is extracted including the noise data and the behavior recognition is performed, there is a problem that the amount of calculation is increased due to a lot of data.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 사람의 행동을 나타내는 관절 움직임 정보로부터 단위 동작을 추출한 후 추출된 단위 동작의 시간 및 위치 정보를 계층적으로 분류하여 사람의 행동을 정확하고 신속하게 인식할 수 있는 단위 동작에 따른 사람의 행동 인식 방법 및 시스템을 제공하고자 한다.
In order to solve the problems of the related art as described above, the present invention extracts a unitary motion from joint motion information indicating a behavior of a person, classifies time and position information of the extracted unitary motion in a hierarchical manner, And a method and system for recognizing a person's behavior according to a unitary operation that can be quickly recognized.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법은 입력부가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 단계; 단위동작추출부가 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단계; 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계; 및 판단부가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 단계;를 포함한다. According to another aspect of the present invention, there is provided a method of recognizing a person's movement according to a unit operation, the method comprising: inputting at least one joint motion information indicating a joint motion state of a user; Extracting at least one main unit operation from the joint motion information; Detecting an operation characteristic of the joint from the main unit operation; And a determination unit classifying the motion characteristics of the joint according to at least one of a type, a time, and a position, and determining a behavior of the person according to movement of the joint.
보다 바람직하게는 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정; 추출된 적어도 하나의 단위 동작에 대하여 중요도를 판단하는 과정; 및 중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출하는 과정;을 포함하는 단위동작추출부가 상기 관절 움직임 정보로부터 주요 단위 동작을 추출하는 단계를 포함할 수 있다. And more preferably extracting at least one unit operation from the joint motion information; Determining a degree of importance for at least one extracted unit operation; And a step of extracting a unit operation having a degree of importance exceeding a predetermined first threshold value in each unit operation of which significance is determined by setting the unit operation as a main unit operation and extracting the unit operation from the joint motion information, And extracting the extracted data.
특히, 기설정된 폭을 갖는 슬라이딩 윈도우(sliding Window)방식을 이용하여 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정을 포함할 수 있다. In particular, the method may include extracting at least one unit operation from joint motion information that extracts at least one unit operation from the joint motion information using a sliding window method having a predetermined width.
보다 바람직하게는 상기 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정; 상기 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교하는 과정; 상기 제2 임계값을 초과하는 복잡도를 갖는 주요 단위 동작에 대하여 클러스터링(clustering)을 통해 그룹화하는 과정; 및 상기 클러스터링을 통해 그룹화된 주요 단위 동작에 대한 각 그룹별 대표값을 연산하여 관절의 동작 특징을 검출하는 과정;을 포함하는 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계를 포함할 수 있다. More preferably measuring the complexity for the at least one major unit operation; Comparing a complexity of the main unit operation with a predetermined second threshold; Grouping a main unit operation having a complexity exceeding the second threshold value through clustering; And detecting a motion characteristic of the joint by calculating a representative value of each group for the main unit operation grouped through the clustering, wherein the operation feature detector detects the motion feature of the joint from the main unit operation .
보다 바람직하게는 상기 적어도 하나의 주요 단위 동작에 대하여 시간을 기준으로 과거 주요 단위 동작 및 미래 주요 단위 동작으로 구분하는 과정; 상기 과거 주요 단위 동작 및 미래 주요 단위 동작에 대한 상호 정보량을 연산하는 과정; 및 상기 과거의 상호 정보량과 미래의 상호 정보량 간에 위치에 따른 가우시안 분포(Gaussian distribution)를 통해 복잡도를 측정하는 과정;을 포함하는 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정을 포함할 수 있다. More preferably, dividing the at least one major unit operation into a past major unit operation and a future major unit operation based on time; Calculating a mutual information amount of the past main unit operation and a future main unit operation; And measuring a complexity through at least one Gaussian distribution between the past mutual information amount and a future mutual information amount based on the complexity of at least one major unit operation .
특히, 상기 관절의 동작 특징에 대한 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계를 포함할 수 있다. Particularly, the step of judging the behavior of the person according to the motion of the joint may include a step of classifying at least one of the type, time, and position of the motion characteristics of the joint by dividing the information into hierarchies having a tree structure form.
보다 바람직하게는 각 관절의 종류에 따라 동작 특징을 분류하는 과정; 동일한 관절에 대해 분류된 동작 특징을 종합하여 인식되는 행동의 종류를 판단하는 과정; 및 각 관절별 인식되는 행동의 종류를 종합하여 최종 인식되는 사람의 행동의 종류를 판단하는 과정;을 포함하는 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계를 포함할 수 있다. More preferably, classifying the motion characteristics according to the kind of each joint; Determining a type of behavior to be recognized by synthesizing motion characteristics classified for the same joint; And determining a type of a behavior of a person who is finally recognized by combining the types of behaviors recognized by each joint, and determining a behavior of the person according to the movement of the joint.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 시스템은 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 입력부; 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단위동작추출부; 추출된 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 동작특징검출부; 및 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 판단부;를 포함한다. According to another aspect of the present invention, there is provided a behavior recognition system for a human according to a unit operation, the system comprising: an input unit for receiving at least one joint motion information indicating a joint motion state; A unit operation extracting unit for extracting at least one main unit operation from the joint motion information; An operation feature detecting unit for detecting an operation feature of a joint from the extracted main unit operation; And a determiner for classifying the motion characteristics of the joint according to at least one of type, time, and position to determine a behavior of a person according to movement of the joint.
특히, 3D 카메라를 통해 사람의 관절 움직임 정보를 입력받는 입력부를 포함할 수 있다. In particular, it may include an input unit for inputting human articulation motion information through a 3D camera.
특히, 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 판단부를 포함할 수 있다.
In particular, it may include a determination unit that classifies at least one of the type, the time, and the position of the motion characteristics of the joint by dividing the information into hierarchies having a tree structure type.
본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다. A method and system for recognizing a person's behavior according to a unitary operation of the present invention includes extracting a meaningful main unit operation from the movement information of a person and extracting the extracted main unit operation according to at least one of type, It is possible to improve the accuracy of human behavior recognition through the movement of the joints.
또한 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 행동 중 의미없는 노이즈 데이터를 제외하고 의미있는 주요 단위 동작으로부터 동작 특징을 검출함으로써, 사람의 행동 인식에 필요한 데이터 계산량을 현저히 감소시켜, 사람의 행동 인식에 따른 소요시간을 단출시킬 수 있는 효과가 있다.
In addition, the method and system for recognizing a person's behavior according to the unit operation of the present invention can significantly reduce the data calculation amount necessary for recognizing a person's behavior by detecting an action characteristic from a meaningful main unit operation, excluding meaningless noise data So that the time required for recognizing a person's behavior can be reduced.
도 1은 본 발명의 일 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법의 순서도이다.
도 3은 사람의 관절 움직임 정보를 입력받는 과정을 나타낸 도면이다.
도 4는 관절 위치에 대한 이동 궤적을 나타낸 그래프이다.
도 5는 관절 움직임 정보로부터 단위 동작을 추출하는 과정을 나타낸 그래프이다.
도 6은 단위 동작의 복잡도 측정과정을 나타낸 그래프이다.
도 7은 주요 단위 동작을 추출과정을 나타낸 알고리즘이다.
도 8은 단위 동작으로부터 동작 특징을 검출하는 과정을 나타낸 도면이다.
도 9는 계층적 시공간 분류기를 나타낸 도면이다.1 is a block diagram of a human behavior recognition system according to a unit operation according to an embodiment of the present invention.
2 is a flowchart of a method of recognizing a person's behavior according to a unit operation according to another embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of receiving human articulation motion information.
4 is a graph showing a movement locus with respect to a joint position.
5 is a graph illustrating a process of extracting a unitary motion from joint motion information.
6 is a graph illustrating a process of measuring the complexity of a unit operation.
FIG. 7 shows an algorithm for extracting a main unit operation.
8 is a diagram illustrating a process of detecting an operation characteristic from a unitary operation.
9 shows a hierarchical space-time classifier.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, the present invention will be described in detail with reference to preferred embodiments and accompanying drawings, which will be easily understood by those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
이하, 도 1을 참조하여 본 발명에 따른 단위 동작에 따른 사람의 행동 인식 시스템에 대하여 자세히 살펴보도록 한다. Hereinafter, a human behavior recognition system according to a unit operation according to the present invention will be described in detail with reference to FIG.
도 1은 본 발명의 일 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 시스템의 블록도이다.1 is a block diagram of a human behavior recognition system according to a unit operation according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 단위 동작에 따른 사람의 행동 인식 시스템(100)은 입력부(120), 단위동작추출부(140), 동작특징검출부(160) 및 판단부(180)를 포함한다. 1, a human
입력부(120)는 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는다. 이러한 입력부(120)는 3D 카메라를 통해 사람의 관절 움직임 정보를 입력받을 수 있다. The
단위동작추출부(140)는 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출한다. 이러한 단위동작추출부(140)는 상기 관절 움직임 정보로부터 슬라이딩 윈도우 방식을 이용하여 적어도 하나의 단위 동작을 추출하여, 이에 대한 중요도를 판단하며, 판단한 단위 동작별 중요도가 기설정된 임계값을 초과하는지 여부를 판단하여 주요 단위 동작을 추출한다. The unit
동작특징검출부(160)는 추출된 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출한다. 이러한 동작특징검출부(160)는 상기 단위 동작 추출부(140)를 통해 추출된 주요 단위 동작에 대하여 복잡도를 측정하고, 측정한 복잡도가 기설정된 임계값을 초과하는지 비교하여 임계값을 초과하는 주요 단위 동작을 클러스터링 과정을 통해 그룹화하고, 각 그룹의 대표값 연산을 통해 관절의 동작 특징을 검출할 수 있다. The motion
판단부(180)는 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단한다. 이러한 판단부(180)는 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류할 수 있다. The
이하, 도 2를 참조하여 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법에 대하여 자세히 살펴보도록 한다. Hereinafter, a method for recognizing a person's behavior according to a unit operation according to another embodiment of the present invention will be described in detail with reference to FIG.
도 2는 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법의 순서도이다.2 is a flowchart of a method of recognizing a person's behavior according to a unit operation according to another embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 단위 동작에 따른 사람의 행동 인식 방법은 먼저, 입력부(120)가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는다(S210). 이때, 상기 입력부(120)가 3D 카메라를 통해 사람의 관절 움직임 상태를 나타내는 사람의 관절 움직임 정보를 영상 형태로 입력받을 수 있다. As shown in FIG. 2, in the human motion recognition method according to the unit operation of the present invention, the
예를 들면, 도 3에 도시된 바와 같이, 사람의 왼손에 대한 움직임을 인식하기 위해, 3D 카메라가 상기 왼손의 움직임을 시간순으로 연속촬영하여 왼손 관절의 움직임을 나타내는 영상을 획득한다. 이후, 입력부가 상기 3D 카메라로부터 획득한 영상을 통해 행동을 인식하고자 하는 왼손 관절의 움직임을 나타내는 관절 움직임 정보를 수신한다. For example, as shown in FIG. 3, in order to recognize the movement of the left hand of a person, the 3D camera continuously captures the movement of the left hand in chronological order to acquire an image representing movement of the left hand joint. Then, the input unit receives the joint motion information indicating the motion of the left-hand joint to recognize the behavior through the image acquired from the 3D camera.
즉, 도 3(a)에서는 사람이 차렷자세로 서 있음에 따라 사람의 엉덩이 부분에 처음 왼손이 위치하고 있다가, 도3(b)에 도시된 바와 같이, 상기 사람이 양팔을 들어올리는 경우, 처음 사람의 엉덩이 부분에 위치하는 왼손이 도 3(a)와 비교하여 엉덩이보다 더 위 쪽에 위치하는 것을 알 수 있다. 이어서, 도 3(c)에서는 사람이 양팔을 끝까지 들어올림에 따라 상기 왼손의 위치는 다른 도면의 위치와 비교하여 가장 높은 곳에 위치하는 것을 알 수 있다. 또한, 도 3(d)에서는 상기 사람이 양팔을 끝까지 들어올린 상태로 멈춰있지 않고 다시 양팔을 내림에 따라, 왼손은 도 3(c)에 비하여 상대적으로 더 낮은 위치인 사람의 머리 정도의 위치에 존재하며, 도 3(e)를 통해 사람이 양팔을 완전히 다 내려 차렷자세를 유지함에 따라, 다시 도 3(a)와 유사한 사람의 엉덩이 정도의 위치에 왼손이 존재하는 것을 알 수 있다. That is, in FIG. 3 (a), the first left hand is located at the hip portion of the person as the person stands in a clear posture. When the person lifts both arms as shown in FIG. 3 (b) It can be seen that the left hand located at the hip of the person is located above the hip compared to FIG. 3 (a). In FIG. 3 (c), the position of the left hand is located at the highest position as compared with the position of the other drawings as a person lifts both arms completely. In Fig. 3 (d), as the person does not stop with both arms lifted to the end, and the arms are lowered again, the left hand is positioned at a relatively lower position of the human head as compared with Fig. 3 (c) As shown in FIG. 3 (e), as the person keeps his / her arms completely closed and held in a posture, it can be seen that the left hand exists at the position of the hip of a person similar to FIG. 3 (a).
결과적으로, 사람의 왼손 관절에 대한 움직임이 완만한 상승곡선과 급격한 하강곡선으로 변화하는 것을 알 수 있다. As a result, it can be seen that the movement of a person's left hand joint changes to a gentle rising curve and a sudden falling curve.
이어서, 단위동작추출부(140)가 앞서 과정 S210에서 입력부(120)가 수신한 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출한다(S220). Subsequently, the unit
이하, 관절 움직임 정보로부터 주요 단위 동작을 추출하는 과정에 대하여 보다 자세히 살펴보도록 한다. Hereinafter, the process of extracting the main unit operation from the joint motion information will be described in more detail.
먼저, 수신한 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출한다. 특히, 기설정된 폭(width)을 갖는 슬라이딩 윈도우(Sliding Window)방식을 이용하여 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출할 수 있다. 이때, 사용되는 슬라이딩 윈도우 방식이란, 메모리 버퍼의 일정 영역에 해당하는 윈도에 포함되는 모든 패킷을 전송하고, 그 패킷들의 전달이 확인되는 대로 이 윈도를 옆으로 옮김(slide)으로써 그 다음 패킷들을 전송하는 방식을 나타낸다. 이러한 슬라이딩 윈도우는 아직 확인을 받지 않고도 여러 패킷을 보내는 것을 가능하게 하므로, 매번 전송한 패킷에 대해 확인을 받아야만 그 다음 패킷을 전송하는 방법(Stop and wait)을 사용하는 것 보다 네트워크를 훨씬 더 효율적으로 사용할 수 있는 방식이다. First, at least one unit operation is extracted from the received joint motion information. In particular, at least one unit operation can be extracted from the joint motion information using a sliding window method having a preset width. In this case, the sliding window method used is to transmit all packets included in a window corresponding to a predetermined area of the memory buffer, slide the window as it is transmitted, . This sliding window allows multiple packets to be sent without being acknowledged, so it must be acknowledged for each transmitted packet before it can be used to make the network much more efficient than using the next (stop and wait) It can be used.
이와 같이, 추출된 적어도 하나의 단위 동작에 대하여 각각의 단위 동작별 중요도를 판단한다.In this manner, the importance of each extracted unit operation is determined for each unit operation.
이후, 중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출한다.Thereafter, a unit operation having a degree of importance exceeding a preset first threshold value among the unit operations whose importance is determined is set as a main unit operation and extracted.
보다 원활한 이해를 돕기 위해, 앞서 설명한 왼손 관절의 움직임을 예로 들어 설명하도록 한다. For better understanding, the movement of the left hand joint described above will be described as an example.
도 3에서 설명한 왼손 관절의 위치 상태를 시간변화에 따라 순차적으로 그래프로 나타내면 도 4와 같이 표현될 수 있다. The positional state of the left-hand joint described with reference to FIG. 3 can be expressed as shown in FIG.
도 4는 관절 위치에 대한 이동 궤적을 나타낸 그래프이다.4 is a graph showing a movement locus with respect to a joint position.
도 4에 도시된 바와 같이, 왼손 관절의 움직임에 따른 시간별 이동 궤적을 확인할 수 있는데, 특히, 왼손 관절의 이동 궤적 중 A 구간, B 구간, C 구간, D 구간에서 이전과 달리 급격한 위치변화가 존재하는 것을 알 수 있다. 이에 따라, 왼손 관절의 움직임을 측정하는데 있어서, 왼손 관절의 모든 움직임에 대하여 동작 특징을 추출하는 것이 아니라, 위치변화가 큰 구간 즉, 임계값을 초과하는 위치변화를 갖는 구간에 대해서만 동작 특징을 추출하는 것이 바람직하다. 예를 들면, 임계값을 초과하는 위치변화를 갖는 구간 즉, 상기 A 구간, B 구간, C 구간, D 구간을 주요 단위 동작으로 설정하여 추출할 수 있다. As shown in FIG. 4, the movement trajectory according to the movement of the left hand joint can be confirmed. Especially, in the movement trajectory of the left hand joint, there is a sudden position change in the section A, the section B, the section C, . Accordingly, in measuring the motion of the left-hand joint, not only the motion feature is extracted for all the movements of the left-hand joint but the motion feature is extracted only for the section having a large position change, that is, . For example, a section having a positional change exceeding a threshold value, that is, the section A, the section B, the section C, and the section D can be set as a main unit operation.
도 5는 관절 움직임 정보로부터 단위 동작을 추출하는 과정을 나타낸 그래프이다.5 is a graph illustrating a process of extracting a unitary motion from joint motion information.
도 5에 도시된 바와 같이, 기설정된 폭(W)을 갖는 슬라이딩 윈도우를 통해 관절의 움직임에 대한 이동 궤적을 탐색하면, S1 내지 S34와 같은 복수 개의 단위 동작을 추출할 수 있다. As shown in FIG. 5, a plurality of unit operations S 1 to S 34 can be extracted by searching for a movement trajectory for the movement of a joint through a sliding window having a predetermined width W.
이러한 단위 동작 추출과정을 왼손 관절 뿐만 아니라, 사람의 모든 관절에 대하여 각각의 관절 움직임 정보에 기초하여 단위 동작 추출과정을 반복 수행한다. The unit motion extraction process is repeatedly performed on the basis of each joint motion information for all the joints of the human body as well as the left and right joints.
이후, 동작특징검출부(160)가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출한다(S230). Thereafter, the
먼저, 주요 단위 동작으로부터 관절의 동작 특징을 검출하기 위해, 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정한다. 이러한 복잡도 측정과정을 도 6을 참조하여 자세히 살펴보도록 한다. First, the complexity is measured for at least one major unit operation to detect motion characteristics of the joint from the major unit operation. The complexity measurement process will be described in detail with reference to FIG.
도 6은 단위 동작의 복잡도 측정과정을 나타낸 그래프이다. 6 is a graph illustrating a process of measuring the complexity of a unit operation.
도 6에 도시된 바와 같이, 단위 동작의 복잡도 측정과정은 먼저, 적어도 하나의 주요 단위 동작에 대하여 시간을 기준으로 나누어 과거 주요 단위 동작 및 미래 주요 단위 동작으로 구분한다. 예를 들어, S1 이라는 주요 단위 동작에 대하여 시간을 기준으로 하여 이등분하면, 과거 주요 단위 동작 S1 past 및 미래 주요 단위 동작 S1 future 로 나누어진다. As shown in FIG. 6, the process of measuring the complexity of a unit operation is divided into a past major unit operation and a future major unit operation by dividing at least one major unit operation on a time basis. For example, halving the basis of the time with respect to the main unit of the operation S 1, the main exchange unit operation S 1 is divided into past and future main unit operation S 1 future.
이후, 상기 과거 주요 단위 동작 및 미래 주요 단위 동작에 대한 상호 정보량을 하기의 기재된 수학식 1을 통해 연산한다. Then, the mutual information amount for the past main unit operation and the future main unit operation is calculated through Equation (1) described below.
[수학식 1][Equation 1]
이때, 상기 H(S)는 엔트로피를 나타내며, 각 시간에서의 위치는 가우시안 분포로 가정하여 하기의 수학식 2와 같이 표현될 수 있다. At this time, the H (S) represents an entropy, and the position at each time can be expressed as the following
[수학식 2]&Quot; (2) "
상기 과거의 상호 정보량과 미래의 상호 정보량 간에 위치에 따른 가우시안 분포(Gaussian distribution)를 통해 복잡도를 측정한다. 이때, 상기 가우시안 분포는 도수분포곡선이 평균값을 중앙으로 하여 좌우대칭인 종 모양을 이루는 것을 나타낸다. 이러한 주요 단위 동작의 복잡도는 주요 단위 동작의 중요성에 따라 중요성이 높을수록 복잡도 또한 높아지고, 중요성이 낮을수록 복잡도는 낮아지는 특성을 갖는다. The complexity is measured through a Gaussian distribution according to the position between the past mutual information amount and the future mutual information amount. At this time, the Gaussian distribution indicates that the frequency distribution curve forms a symmetrical bell shape centering on the average value. The complexity of these major unit operations is characterized in that the more important the importance is, the higher the complexity is, and the less important the complexity is.
이와 같이 측정된 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교하여, 상기 측정된 주요 단위 동작에 대한 복잡도가 기설정된 제2 임계값을 초과하는지 여부를 판단한다. 이때, 상기 제2 임계값은 복잡도에 대한 기준치를 나타내는 값이며, 사용자에 의해 기설정되어 그 값은 변경 가능하다. The complexity of the main unit operation thus measured is compared with a predetermined second threshold value to determine whether the complexity of the measured main unit operation exceeds a preset second threshold value. At this time, the second threshold value is a value indicating a reference value for the complexity, and is previously set by the user, and the value can be changed.
이처럼, 기설정된 임계값과 비교하여 높은 복잡도를 갖는 주요 단위 동작을 추출하는 과정을 도 7에 도시된 알고리즘으로 표현할 수 있다. A process of extracting a main unit operation having a high complexity compared with a predetermined threshold value can be expressed by the algorithm shown in FIG.
이하, 도 8을 참조하여 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 과정에 대하여 보다 자세히 살펴보도록 한다. Hereinafter, the process of detecting the motion characteristics of the joint from the main unit operation will be described in more detail with reference to FIG.
도 8은 단위 동작으로부터 동작 특징을 검출하는 과정을 나타낸 도면이다.8 is a diagram illustrating a process of detecting an operation characteristic from a unitary operation.
도 8에 도시된 바와 같이, 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정한 후, 측정된 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교한다. As shown in FIG. 8, after the complexity is measured for at least one major unit operation, the complexity for the measured major unit operation is compared with a predetermined second threshold value.
이후, 상기 제2 임계값을 초과하는 복잡도를 갖는 주요 단위 동작에 대하여 클러스터링(clustering)을 통해 그룹화한다. 이때, 상기 클러스터링이란, 유사성 개념에 기초하여 데이터를 다수의 그룹으로 분류하는 작업 형태를 나타내는 것으로서, 본 발명에서는 유사한 형태를 갖는 주요 단위 동작들끼리 그룹화하는 과정을 나타낸다. Thereafter, the main unit operations having a complexity exceeding the second threshold value are grouped by clustering. Here, the clustering refers to a work type in which data is classified into a plurality of groups based on the concept of similarity. In the present invention, a process of grouping major unit operations having a similar form is shown.
이와 같이, 클러스터링을 통해 그룹화된 주요 단위 동작에 대한 각 그룹(N개, 이때, N은 자연수이다.)에 대하여 각 그룹별 대표값을 연산하여 관절의 동작 특징을 검출한다. 예를 들면, 제1 그룹의 대표값이 2인 경우에는 관절의 동작 변화가 크지 않고 미세한 것을 알 수 있으며, 제5 그룹의 대표값이 10인 경우에는 관절의 동작 변화가 매우 큰 것을 알 수 있다. In this way, the representative characteristic values of each group are calculated for each group (N, N, where N is a natural number) of the main unit operations grouped through clustering to detect motion characteristics of the joints. For example, when the representative value of the first group is 2, it can be seen that the movement of the joint is not large and the movement of the joint is fine, and when the representative value of the fifth group is 10, the movement of the joint is very large .
판단부(180)가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단한다(S240). 특히, 이러한 판단부(180)가 상기 관절의 동작 특징에 대한 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류할 수 있다.The
이하, 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 사람의 행동을 판단하는 과정에 대하여 보다 자세히 살펴보도록 한다. Hereinafter, the process of judging the behavior of a person by classifying the motion characteristics of the joint according to at least one of type, time, and position will be described in more detail.
먼저, 각 관절의 종류에 따라 동작 특징을 분류한다.First, the motion characteristics are classified according to the type of each joint.
이어서, 동일한 관절에 대해 분류된 동작 특징을 종합하여 인식되는 행동의 종류를 판단한다. Then, the type of behavior recognized is determined by synthesizing the motion characteristics classified for the same joint.
이후, 각 관절별 인식되는 행동의 종류를 종합하여 최종 인식되는 사람의 행동의 종류를 판단한다. Thereafter, the types of behaviors recognized by each joint are combined to determine the type of behavior of the finally recognized person.
예를 들어, 주요 단위 동작에 대한 동작 특징이 추출되면, 추출된 주요 단위 동작에 대한 동작 특징을 기존의 학습된 동작 특징과 비교하여 유사도를 판단한 후, 판단한 유사도에 기초하여 주요 단위 동작의 종류를 판단할 수 있다. 이때, X 라는 주요 단위 동작의 종류, 관측된 위치, 시간에 대한 확률 표현은 하기의 수학식 3과 같이 결합 확률분포를 통해 표현할 수 있다. For example, if an operation feature for a main unit operation is extracted, the operation feature for the extracted main unit operation is compared with the previously learned operation feature to determine the similarity, and then the type of the main unit operation is determined based on the determined similarity It can be judged. At this time, the probability expression for the kind, the observed position, and the time of the main unit operation X can be expressed through a joint probability distribution as shown in Equation (3) below.
[수학식 3]&Quot; (3) "
이때, X는 동작 특징의 종류를 나타내고, Tx는 동작 특징이 관측된 시간, Sx는 동작 특징이 관측된 위치를 나타낸다. 특히, 상기 P(Tx, Sx|X)의 분포를 정규분포를 통해 표현하면 하기의 수학식 4와 같이 표현될 수 있다. In this case, X represents the kind of the operation characteristic, Tx represents the time at which the operation characteristic is observed, and Sx represents the position where the operation characteristic is observed. In particular, the distribution of P (Tx, Sx | X) can be expressed by the following equation (4).
[수학식 4]&Quot; (4) "
이때, 상기 
이에 따라, I 번째 동작 특징 관측값을 O i ={oi, ti, si}로 표현하면, 사람의 각 관절에서 추출된 n 개의 관측값들의 시계열 데이터는 o1, … on 으로 표현될 수 있다. 이때, 각 관측값들의 시계열 데이터 o1, … on 가 주어짐에 따라, 이에 따른 관절의 행동이 ci라는 행동 인식에 대한 확률은 P(ci| o1, … on)와 같이 표현될 수 있다. Accordingly, I can be represented in the second operating characteristics observations O i = {o i, t i, s i}, the time series data of n number of observations derived from the joint of the person o 1, ... o can be expressed as n . In this case, time series data o 1 , ... As o n is given, the probability of the behavior recognition that the behavior of the joint is c i can be expressed as P (c i | o 1 , ... o n ).
도 9는 계층적 시공간 분류기를 나타낸 도면이다.9 shows a hierarchical space-time classifier.
도 9에 도시된 바와 같이, 사람의 각 관절별로 관측된 복수 개의 동작 특징들의 종류, 시간 및 위치 정보를 이용하여 사람의 행동을 분류할 수 있다. As shown in FIG. 9, the behavior of a person can be classified using the type, time, and position information of a plurality of operation features observed for each joint of a person.
특히, i는 관절의 종류를 나타내고, O는 인식된 동작 특징, C는 각 관절별로 인식된 행동의 종류, Activity는 최종적으로 인식된 행동의 종류를 나타낸다. 즉, 첫 번째 계층(1st layer)에서는 각 관절별로 서로 다른 분류기가 존재하며, 두 번째 계층(2nd layer)에서는 상기 첫 번째 계층에서 사용한 각 관절별 분류기의 결과를 모아서 다시 한 번 분류를 수행한다. 또한 이때, 세 줄의 타원 표현은 시간, 공간, 동작 특징의 종류를 한 번에 표현하기 위한 표현 방법이다. Particularly, i represents the type of joint, O represents the recognized motion characteristic, C represents the kind of behavior recognized per joint, and Activity represents the type of behavior finally recognized. That is, The first layer (1 st layer) and different classification groups are present for each joint, and the second layer (2 nd layer) In performing the once sorted gather the results of the joint-specific classifier used in the first layer do. In this case, the three-line ellipse representation is a representation method for expressing the types of time, space, and motion characteristics at one time.
이에 따라, I 번째 관절 데이터가 관측되었을 때, 행동의 종류 ci에 대한 확률은 하기의 수학식 5와 같이 표현될 수 있다. Accordingly, when the I-th joint data is observed, the probability for the type of behavior c i can be expressed as Equation (5) below.
[수학식 5]&Quot; (5) "
이와 같이, 각 관절에서의 행동 인식 결과를 모두 합하여 최종적인 행동의 확률 P(A=ak)은 하기의 수학식 6과 같이 표현될 수 있다. As described above, the probability P (A = a k ) of the final behavior can be expressed by the following equation (6) by summing up the behavior recognition results at each joint.
[수학식 6]&Quot; (6) "
또한, 최종 인식된 행동의 종류는 확률을 최대로 만드는 행동으로 결정되며, 하기의 수학식 7과 같이 표현될 수 있다. In addition, the type of the finally recognized action is determined to be the action that maximizes the probability, and can be expressed as Equation (7) below.
[수학식 7]&Quot; (7) "
또한, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.In addition, embodiments of the present invention may be embodied in computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다. A method and system for recognizing a person's behavior according to a unitary operation of the present invention includes extracting a meaningful main unit operation from the movement information of a person and extracting the extracted main unit operation according to at least one of type, It is possible to improve the accuracy of human behavior recognition through the movement of the joints.
또한 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 행동 중 의미없는 노이즈 데이터를 제외하고 의미있는 주요 단위 동작으로부터 동작 특징을 검출함으로써, 사람의 행동 인식에 필요한 데이터 계산량을 현저히 감소시켜, 사람의 행동 인식에 따른 소요시간을 단출시킬 수 있는 효과가 있다. In addition, the method and system for recognizing a person's behavior according to the unit operation of the present invention can significantly reduce the data calculation amount necessary for recognizing a person's behavior by detecting an action characteristic from a meaningful main unit operation, excluding meaningless noise data So that the time required for recognizing a person's behavior can be reduced.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Do.
120: 입력부 140: 단위동작추출부
160: 동작특징검출부 180: 판단부120: Input unit 140: Unit operation extraction unit
160: Operation feature detection unit 180:
Claims (10)
단위동작추출부가 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단계;
동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계; 및
판단부가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 단계;
를 포함하며,
상기 단위동작추출부가 상기 관절 움직임 정보로부터 주요 단위 동작을 추출하는 단계는, 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하고, 추출된 적어도 하나의 단위 동작에 대하여 중요도를 판단하며, 중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
Receiving at least one joint motion information indicating a joint motion state of an input unit;
Extracting at least one main unit operation from the joint motion information;
Detecting an operation characteristic of the joint from the main unit operation; And
Determining a behavior of a person according to motion of the joint by classifying the motion characteristics of the joint according to at least one of type, time, and position;
/ RTI >
Wherein the step of extracting the unit operation extracting unit extracts a unit operation from the joint movement information, extracting at least one unit operation from the joint movement information, determining a degree of importance for at least one extracted unit operation, Wherein the unitary action having a degree of importance exceeding a predetermined first threshold value is selected as a main unit action and extracted.
상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정은
기설정된 폭을 갖는 슬라이딩 윈도우(Sliding Window)방식을 이용하여 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
The method according to claim 1,
And extracting at least one unit operation from the joint motion information,
Wherein at least one unit operation is extracted from the joint motion information using a sliding window method having a predetermined width.
상기 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계는
상기 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정;
상기 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교하는 과정;
상기 제2 임계값을 초과하는 복잡도를 갖는 주요 단위 동작에 대하여 클러스터링(clustering)을 통해 그룹화하는 과정; 및
상기 클러스터링을 통해 그룹화된 주요 단위 동작에 대한 각 그룹별 대표값을 연산하여 관절의 동작 특징을 검출하는 과정;
을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
The method according to claim 1,
Wherein the step of the operation feature detecting unit detecting the operation feature of the joint from the main unit operation
Measuring complexity for the at least one major unit operation;
Comparing a complexity of the main unit operation with a predetermined second threshold;
Grouping a main unit operation having a complexity exceeding the second threshold value through clustering; And
Calculating a representative value of each group for a main unit operation grouped through the clustering to detect motion characteristics of the joint;
And a unit for recognizing the behavior of a person according to the unit operation.
상기 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정은
상기 적어도 하나의 주요 단위 동작에 대하여 시간을 기준으로 과거 주요 단위 동작 및 미래 주요 단위 동작으로 구분하는 과정;
상기 과거 주요 단위 동작 및 미래 주요 단위 동작에 대한 상호 정보량을 연산하는 과정; 및
상기 과거 주요 단위 동작 및 상기 미래 주요 단위 동작이 이루어지는 시간에서의 동작 위치에 대해 각각 가우시안 분포(Gaussian distribution)에 따른 엔트로피 값을 산출함으로써 상호 정보량에 의한 복잡도를 측정하는 과정;
을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
5. The method of claim 4,
The process of measuring the complexity for the at least one major unit operation
Dividing the at least one main unit operation into a past main unit operation and a future main unit operation based on time;
Calculating a mutual information amount of the past main unit operation and a future main unit operation; And
Measuring a complexity due to a mutual information amount by calculating an entropy value according to a Gaussian distribution with respect to an operation position at a time when the past main unit operation and the future main unit operation are performed;
And a unit for recognizing the behavior of a person according to the unit operation.
상기 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계는
상기 관절의 동작 특징에 대한 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
The method according to claim 1,
The step of judging the behavior of the person according to the motion of the joint
Wherein at least one of a type, a time, and a position of the motion characteristic of the joint is classified and classified into hierarchies having a tree structure type.
상기 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계는
각 관절의 종류에 따라 동작 특징을 분류하는 과정;
동일한 관절에 대해 분류된 동작 특징을 종합하여 인식되는 행동의 종류를 판단하는 과정; 및
각 관절별 인식되는 행동의 종류를 종합하여 최종 인식되는 사람의 행동의 종류를 판단하는 과정;
을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
The method according to claim 1,
The step of judging the behavior of the person according to the motion of the joint
A process of classifying motion characteristics according to the type of each joint;
Determining a type of behavior to be recognized by synthesizing motion characteristics classified for the same joint; And
A process of judging the type of behavior of a person who is finally recognized by synthesizing types of behaviors recognized per each joint;
And a unit for recognizing the behavior of a person according to the unit operation.
상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단위동작추출부;
추출된 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 동작특징검출부; 및
상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 판단부;
를 포함하며,
상기 단위동작추출부는, 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하고, 추출된 적어도 하나의 단위 동작에 대하여 중요도를 판단하며, 중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 시스템.
An input unit for receiving at least one joint motion information indicating a joint motion state of a person;
A unit operation extracting unit for extracting at least one main unit operation from the joint motion information;
An operation feature detecting unit for detecting an operation feature of a joint from the extracted main unit operation; And
A judging unit for judging a behavior of a person according to movement of a joint by classifying the motion characteristics of the joint according to at least one of type, time, and position;
/ RTI >
Wherein the unit operation extraction unit extracts at least one unit operation from the joint motion information, determines a degree of importance for at least one extracted unit operation, exceeds a predetermined first threshold value among the unit operations for which the degree of importance is determined, Wherein the unitary action having the degree of importance is extracted and set as a main unit operation.
상기 입력부는
3D 카메라를 통해 사람의 관절 움직임 정보를 입력받는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 시스템.
9. The method of claim 8,
The input unit
And a human motion information of the human being is inputted through the 3D camera.
상기 판단부는
상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 시스템.9. The method of claim 8,
The determination unit
Wherein at least one of a type, a time, and a position of an operation characteristic of the joint is classified and classified into hierarchies having a tree structure form.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130165630A KR101556696B1 (en) | 2013-12-27 | 2013-12-27 | Method and system for recognizing action of human based on unit operation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130165630A KR101556696B1 (en) | 2013-12-27 | 2013-12-27 | Method and system for recognizing action of human based on unit operation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150076916A KR20150076916A (en) | 2015-07-07 |
| KR101556696B1 true KR101556696B1 (en) | 2015-10-01 |
Family
ID=53789779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130165630A KR101556696B1 (en) | 2013-12-27 | 2013-12-27 | Method and system for recognizing action of human based on unit operation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101556696B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101693740B1 (en) * | 2014-05-08 | 2017-01-06 | 한양대학교 산학협력단 | Apparatus and method for activity recognition by using layered hidden markov model |
| KR101874188B1 (en) * | 2016-06-24 | 2018-08-02 | 한양대학교 산학협력단 | Method and apparatus for recognizing action of human based on feedback of recognized activity |
-
2013
- 2013-12-27 KR KR1020130165630A patent/KR101556696B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| L. Miranda, et al.,"Real-time gesture recognition from depth data through key poses learning and decision forests," Graphics, Patterns and Images (SIBGRAPI), 2012.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150076916A (en) | 2015-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3191989B1 (en) | Video processing for motor task analysis | |
| US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| CN111027487B (en) | Behavior recognition system, method, medium and equipment based on multi-convolution kernel residual error network | |
| US20180211104A1 (en) | Method and device for target tracking | |
| JP6969611B2 (en) | Information processing systems, control methods, and programs | |
| KR101682268B1 (en) | Apparatus and method for gesture recognition using multiclass Support Vector Machine and tree classification | |
| JP2014137818A (en) | Method and device for identifying opening and closing operation of palm, and man-machine interaction method and facility | |
| US11922317B2 (en) | Learning data generation apparatus, learning model generation system, learning data generation method, and non-transitory storage medium | |
| JP2008536208A (en) | Space-time self-organizing map | |
| CN110069129B (en) | Determination system and determination method | |
| CN103488294A (en) | Non-contact gesture control mapping adjustment method based on user interactive habits | |
| KR101762010B1 (en) | Method of modeling a video-based interactive activity using the skeleton posture datset | |
| CN115294658A (en) | Personalized gesture recognition system and gesture recognition method for multiple application scenes | |
| WO2019068931A1 (en) | Methods and systems for processing image data | |
| JP6977345B2 (en) | Image processing device, image processing method, and image processing program | |
| Gharasuie et al. | Real-time dynamic hand gesture recognition using hidden Markov models | |
| CN108496185A (en) | System and method for object detection | |
| KR101556696B1 (en) | Method and system for recognizing action of human based on unit operation | |
| Penatti et al. | Human activity recognition from mobile inertial sensors using recurrence plots | |
| Chua et al. | Vision-based hand grasping posture recognition in drinking activity | |
| KR101899590B1 (en) | Method and Apparatus for Recognizing Hand Shapes and Gestures | |
| KR101762400B1 (en) | Method and apparatus for recognizing action | |
| Abedi et al. | Modification of deep learning technique for face expressions and body postures recognitions | |
| CN113051972A (en) | Gesture recognition system based on WiFi | |
| CN114764580A (en) | Real-time human body gesture recognition method based on no-wearing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 5 |