KR101908284B1 - 신체 연결 관계 분석 장치 및 방법 - Google Patents

신체 연결 관계 분석 장치 및 방법 Download PDF

Info

Publication number
KR101908284B1
KR101908284B1 KR1020120004435A KR20120004435A KR101908284B1 KR 101908284 B1 KR101908284 B1 KR 101908284B1 KR 1020120004435 A KR1020120004435 A KR 1020120004435A KR 20120004435 A KR20120004435 A KR 20120004435A KR 101908284 B1 KR101908284 B1 KR 101908284B1
Authority
KR
South Korea
Prior art keywords
candidate
body part
body parts
skeleton
unit
Prior art date
Application number
KR1020120004435A
Other languages
English (en)
Other versions
KR20130083677A (ko
Inventor
유병인
류희섭
최창규
이창교
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120004435A priority Critical patent/KR101908284B1/ko
Priority to US13/713,351 priority patent/US9767352B2/en
Publication of KR20130083677A publication Critical patent/KR20130083677A/ko
Application granted granted Critical
Publication of KR101908284B1 publication Critical patent/KR101908284B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B43/00—Cabinets, racks or shelf units, characterised by features enabling folding of the cabinet or the like
    • A47B43/02—Cabinets, racks or shelf units, characterised by features enabling folding of the cabinet or the like made of cardboard or the like

Abstract

입력 영상(Observed Image)으로부터 추출한 사용자 영상으로부터 하나 이상의 신체 부분을 인식하고, 상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정한 후, 상기 선정된 하나 이상의 후보 신체 부분을 기반으로 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 신체 연결 관계 분석 장치 및 방법을 제공한다.

Description

신체 연결 관계 분석 장치 및 방법{APPARATUS AND METHOD FOR ANALYSISING BODY PARTS ASSOCIATION}
본 발명의 실시예들은 사용자의 자세를 인식하는데 있어서, 신체 부분의 연결 관계를 분석하는 장치 및 방법에 관한 것이다.
일상 생활에서 인간은 두 눈을 이용하기 때문에, 원거리의 해상도가 낮은 인체 자세(human body pose)일지라도 잘 인지할 수 있다.
컴퓨터 비젼 시스템에서 인체 자세(human body pose)를 인지하는 방법은 다양한 분야에서 요구되고 있으나, 아직까지 정확하게 인체 자세를 인지하는 것은 어려운 실정이다.
기존에 인체 자세를 인지하기 위하여 주로 모델(Model)에 기반한 방법이 사용되었다.
그러나, 기존의 모델에 기반한 인체 인지 방법은 요가나, 스트레칭과 같이 신체 부분(Body parts)에 대한 맞물림(Occlusion)이 많고, 앉거나 누워서 수행하는 복잡한 자세(Complex Pose)의 추정(estimation)에는 적용하기 어렵다.
또한, 일반적인 신체 부분 인식 방법은 학습되지 않은 새로운 체형이나, 다양한 의상을 입을 경우에 다양한 위치에 동일한 신체 부분이 인식되고, 그 결과 연결 위치 추정이 부정확 하다.
따라서, 신체 부분 인식 방법은 신체를 인식하는 시점에 입력된 영상의 사용자 체형을 고려해서 인식률을 향상 시킬 필요가 있다.
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 영상 추출부, 상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 신체 인식부, 상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 신체 선정부 및 상기 선정된 하나 이상의 후보 신체 부분을 기반으로 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 자세 판단부를 포함한다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 하나 이상의 후보 신체 부분을 기반으로 신체의 순차적 연결 구조를 고려한 신체 부분 인식 결과를 추출하는 연결 구조 인식부 및 상기 신체 부분 인식 결과를 이용하여 하나 이상의 후보 뼈대(Candidate Bone)를 생성하는 후보 뼈대 생성부를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 후보 뼈대 생성부는 서로 연관성이 있는 상기 하나 이상의 후보 신체 부분 간의 조합을 구성하도록 하나 이상의 그룹으로 구분하여 상기 하나 이상의 후보 뼈대를 생성할 수 있다.
본 발명의 일측에 따르면, 상기 후보 뼈대 생성부는 상기 하나 이상의 그룹 중 신체 구조상 서로 인접한 신체 부분을 연결하여 상기 후보 뼈대를 생성할 수 있다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 하나 이상의 후보 뼈대(Candidate Bone)에 대한 오인식 결과를 분석하는 오인식 분석부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 오인식 결과를 고려하여 상기 각각의 신체 부분에 대한 연결 위치를 추출하는 연결 위치 분석부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 신체 부분 인식 결과를 반영하여 이전 프레임의 스켈레톤 정보와 연결되는 현재 스켈레톤 정보를 복원할 수 있다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 하나 이상의 신체 부분으로부터 몸체(Torso)와 연결된 시드 신체 부분(Seed Body Parts)을 선택하는 시드 선택부, 상기 시드 신체 부분을 기본 신체 부분(Base Body Part)으로 할당하는 할당부, 상기 하나 이상의 후보 신체 부분 중 상기 기본 신체 부분과 신체 구조상 연결되는 연결 신체 부분을 검색하는 연결 검색부, 상기 기본 신체 부분과 상기 연결 신체 부분을 연결하는 깊이 연속체(depth continuity)를 연산하여 기설정된 값과 비교하는 비교부 및 상기 깊이 연속체가 상기 기설정된 값 이하인 경우, 상기 선정된 후보 신체 부분을 삭제하는 후보 삭제부를 포함하고, 상기 연결 검색부는 상기 연결 신체 부분이 터미널 신체 부분(Terminal Body Part)가 아닌 경우, 상기 연결 신체 부분을 상기 기본 신체 부분으로 할당하여 상기 연결 신체 부분을 재검색할 수 있다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 하나 이상의 후보 뼈대에 대한 양단 신체 부분을 각각 선택하는 양단 신체 부분 선택부, 상기 양단 신체 부분이 서로 연결되는 선분(line)과 상기 사용자 영상의 실루엣의 매칭(matching) 정도를 판단하여 ACC 값(Accurate Value)을 연산하는 매칭 판단부, 상기 ACC 값이 기설정된 임계값 이하 또는 현재 저장된 ACC 최대값보다 작은 경우, 상기 하나 이상의 후보 뼈대를 삭제하는 후보 삭제부 및 상기 ACC 값이 기설정된 임계값 초과 또는 현재 저장된 ACC 최대값보다 큰 경우, 상기 연산된 ACC 값을 ACC 최대값으로 저장하는 ACC 저장부를 포함하고, 상기 각각의 모듈의 동작을 반복 수행하여 상기 하나 이상의 후보 뼈대를 선별할 수 있다.
본 발명의 일측에 따르면, 상기 자세 판단부는 상기 하나 이상의 후보 뼈대에 대한 양단 신체 부분을 각각 선택하는 양단 신체 부분 선택부, 상기 양단 신체 부분을 서로 연결되는 선분(line)이 인체 모델에 저장된 모델 최대 길이 및 모델 최소 길이의 사이 값이 아닌 경우, 상기 하나 이상의 후보 뼈대를 삭제하는 제1 후보 삭제부, 상기 하나 이상의 후보 뼈대가 신체 구조 각도상 가능한 구조인지 여부를 판단하여, 불가능한 경우 상기 하나 이상의 후보 뼈대를 삭제하는 제2 후보 삭제부를 포함하고, 상기 각각의 모듈의 동작을 반복 수행하여 상기 하나 이상의 후보 뼈대를 선별할 수 있다.
본 발명의 일실시예에 따른 신체 연결 관계 분석 방법은 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 단계, 상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 단계, 상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 단계 및 상기 선정된 하나 이상의 후보 신체 부분을 기반으로 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 단계를 포함한다.
본 발명의 일실시예에 따르면 사용자 영상 학습에 사용되지 않은 새로운 체형에 대한 자세를 인식할 수 있다.
본 발명의 일실시예에 따르면 새로운 의상을 입은 사용자의 자세를 인식할 수 있다.
도 1은 본 발명의 일실시예에 따른 신체 연결 관계 분석 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 신체 연결 관계 분석 방법을 도시한 흐름도이다.
도 3은 본 발명의 일측에 따른 신체 부분 조합을 통한 신체 연결 관계 분석 방법을 도시한 도면이다.
도 4 및 도 5는 본 발명의 일측에 따른 단계(230)을 통하여 생성된 후보 신체 부분을 도시한 도면이다.
도 6은 본 발명의 일측에 따른 후보 뼈대의 예를 도시한 도면이다.
도 7은 본 발명의 일측에 따른 순차적 선형 검사 방법을 도시한 흐름도이다.
도 8은 본 발명의 일측에 따른 실루엣 검사 방법을 도시한 흐름도이다.
도 9는 본 발명의 일측에 따른 뼈대 길이 및 각도 검사 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 사용자 영상을 인식하는 시점에 입력된 사용자 영상의 사용자 체형을 고려해서 인식률을 향상 시키는 방법을 제공할 수 있다.
예를 들어, 본 발명의 일실시예에 따르면 입력된 사용자 영상에서 머리, 목, 어깨, 팔꿈치, 몸통, 손, 무릎, 다리 등의 신체 부분(Body Parts)을 인식하고, 상기 인식 결과로부터 신체 부분 간의 조합(Association)을 분석하여 오인식된 결과를 필터링(filtering)할 수 있다.
도 1은 본 발명의 일실시예에 따른 신체 연결 관계 분석 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 영상 추출부(110), 상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 신체 인식부(120), 상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 신체 선정부(130) 및 상기 선정된 하나 이상의 후보 신체 부분을 기반으로 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 자세 판단부(140)로 구성된다.
아래에서는 도 1의 신체 연결 관계 분석 장치를 이용하여 신체 연결 관계 분석 방법을 설명하도록 하며, 본 발명의 이해를 돕고자 각 모듈의 도면 부재는 도 1의 도면 부재를 인용하는 것으로 한다.
도 2는 본 발명의 일실시예에 따른 신체 연결 관계 분석 방법을 도시한 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 영상 추출부(110)를 이용하여 입력 영상(Observed Image)으로부터 사용자 영상을 추출하고, 신체 인식부(120)를 이용하여 상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식한다(210).
본 발명의 일측에 따른 신체 연결 관계 분석 장치는 단계(210)에서 촬영 장치의 입력 영상을 기반으로 백그라운드 학습(Background Learning)을 통해 배경을 학습하고, 학습된 배경과 현재 영상 간의 차이 영상을 사용자 영상으로 출력할 수 있으나, 특정 방법에 제한되지는 않는다.
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 신체 선정부(130)를 이용하여 상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정한다(220).
본 발명의 일측에 따른 신체 연결 관계 분석 장치는 단계(220)에서 상기 사용자 영상으로부터 적응형 부스팅(Adaptive boosting), 랜덤 포레스트(Random Forest), 해결 트리(Decision Tree), 신경 네트워크(Neural Network) 등의 다양한 머신 학습(Machine Learning) 방법을 통하여 학습된 신체 부분 구분법(Body Parts Classifier)에 의해 후보 신체 부분(Candidate Body Parts)을 선정할 수 있다.
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 자세 판단부(140)를 이용하여 상기 선정된 하나 이상의 후보 신체 부분을 기반으로 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력한다(230).
본 발명의 일측에 따른 신체 연결 관계 분석 장치는 단계(230)에서 상기 후보 신체 부분을 입력으로 후보 뼈대(Candidate Bone)을 생성하고 오인식 결과를 검사하여 최종 사용자 자세 스켈레톤을 출력할 수 있다.
도 3은 본 발명의 일측에 따른 신체 부분 조합을 통한 신체 연결 관계 분석 방법을 도시한 도면이다.
도 3을 참조하면, 본 발명의 일측에 따른 자세 판단부(140)는 연결 구조 인식부를 이용하여 상기 하나 이상의 후보 신체 부분을 기반으로 신체의 순차적 연결 구조를 고려한 신체 부분 인식 결과를 추출할 수 있다(310).
예를 들어, 본 발명의 일측에 따른 자세 판단부는 후보 신체 부분에 대한 이미지를 입력으로 순차적 선형 검사(Sequential Alignment Testing) 등을 통해 신체의 순차적 연결 구조를 고려한 신체 부분 인식 결과를 검출할 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 후보 뼈대 생성부를 이용하여 상기 신체 부분 인식 결과를 이용하여 하나 이상의 후보 뼈대(Candidate Bone)를 생성할 수 있다(320).
본 발명의 일측에 따른 후보 뼈대 생성부는 서로 연관성이 있는 상기 하나 이상의 후보 신체 부분 간의 조합을 구성하도록 하나 이상의 그룹으로 구분하여 상기 하나 이상의 후보 뼈대를 생성할 수 있다.
본 발명의 일측에 따른 후보 뼈대 생성부는 상기 하나 이상의 그룹 중 신체 구조상 서로 인접한 신체 부분을 연결하여 상기 후보 뼈대를 생성할 수 있다.
본 발명의 일측에 따르면, 상기 하나 이상의 후보 신체 부분 간에는 다수의 후보(candidate)들의 조합이 나타날 수 있으며, 상기 조합 중 서로 연관성이 있는 후보 신체 부분 간의 조합을 구성하기 위해, 아래 표 1과 같이 다수의 그룹(Group)으로 구분하여 상기 하나 이상의 후보 뼈대를 생성할 수 있다.
그룹 구분
몸통 그룹 머리, 목, 등뼈, 골반
왼팔 그룹 왼 어깨, 왼 팔꿈치, 왼 손목, 왼손
오른팔 그룹 오른 어깨, 오른 팔꿈치, 오른 손목, 오른손
왼다리 그룹 왼 허벅지, 왼 무릎, 왼 발목, 왼발
오른다리 그룹 오른 허벅지, 오른 무릎, 오른 발목, 오른발
본 발명의 일측에 따르면, 상기 각각의 그룹에 속한 신체 부분 중에서도 신체 구조상 인접한 신체 부분을 연결하여 후보 뼈대를 생성할 수 있다.
본 발명의 일측에 따른 자세 판단부는 오인식 분석부를 이용하여 상기 하나 이상의 후보 뼈대(Candidate Bone)에 대한 오인식 결과를 분석할 수 있다(330).
본 발명의 일측에 따른 신체 연결 관계 분석 장치는 순차적 선형 검사(Sequential Alignment Testing), 실루엣 검사(Silhouette Testing) 또는 뼈대 길이 및 각도 검사(Bone Length & Angle Testing) 등을 통하여 오인식 결과를 검출 할 수 있다.
본 발명의 일측에 따르면, 상기 다양한 오인식 결과 검출 방법은 동시에 사용될 수도 있고, 독립적으로 사용될 수도 있는 바 자세한 오인식 결과 검출 방법은 아래에서 다시 설명하도록 한다.
본 발명의 일측에 따르면, 상기 오인식 결과 검출 방법을 반영한 결과를 베이시안 예측 프레임워크(Bayesian Estimation Framework)의 입력으로 이용할 수 있으며, 이를 수학식으로 표현하면 아래 수학식 1과 같다.
[수학식 1]
P(X|Z) = max( P(X|X’)P(X’|Z’) ) P(Z|X) P(X)
여기서, 상기 P(X|Z)는 신체 부분 Z와 X의 연결 예측 확률이고, 상기 P(X|X’)는 신체 부분 X’에서 X로의 변환 확률이고, 상기 P(X’|Z’)는 마지막 연결 추정 확률, 상기 P(Z|X)는 신체 부분 인식 확률에 따른 X 연결 확률이며, 상기 P(X)는 상기 X 연결 확률에 따른 모델을 나타낸다.
본 발명의 일측에 따른 자세 판단부는 연결 위치 분석부를 이용하여 상기 오인식 결과를 고려하여 상기 각각의 신체 부분에 대한 연결 위치를 추출할 수 있다(340).
본 발명의 일측에 따르면, 후보 신체 부분에 대한 결과를 프루닝(Pruning) 하지 않는 경우, 다수의 후보들의 조합이 생성될 수 있어 잘못된 스켈레톤을 생성할 수 있기 때문에, 오인식 결과를 검출하여 각각의 신체 부분에서 연결 위치를 인지할 수 있다.
본 발명의 일측에 따른 자세 판단부는 상기 신체 부분 인식 결과를 반영하여 이전 프레임의 스켈레톤 정보와 연결되는 현재 스켈레톤 정보를 복원할 수 있다(350).
도 4 및 도 5는 본 발명의 일측에 따른 단계(230)을 통하여 생성된 후보 신체 부분을 도시한 도면이다.
도 4 및 도 5에 도시된 바와 같이, 본 발명의 일측에 따른 자세 판단부(140)는 학습된 후보 신체 부분 조합에 의해 팔꿈치나 손으로 인식될 수 있는 결과를 출력할 수 있다.
도 6은 본 발명의 일측에 따른 후보 뼈대의 예를 도시한 도면이다.
도 6에 도시된 바와 같이, 본 발명의 일측에 따른 자세 판단부(140)는 팔꿈치와 손을 이어서 뼈대를 형성할 수 있는 후보가 3가지를 출력할 수 있으며, 상기 후보 중 적합한 후보를 선택할 수 있다.
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 순차적 선형 검사(Sequential Alignment Testing)를 기반으로 신체 부분(Body Parts)을 인식할 수 있으며, 다양한 체형의 사용자 영상으로부터 신체 부분의 오인식 결과를 제거하기 위해, 신체 구조상 인접하는 신체 부분을 선택할 수 있다.
도 7은 본 발명의 일측에 따른 순차적 선형 검사 방법을 도시한 흐름도이다.
도 7을 참조하면, 본 발명의 일측에 따른 자세 판단부(140)는 시드 선택부를 이용하여 상기 하나 이상의 신체 부분으로부터 몸체(Torso)와 연결된 시드 신체 부분(Seed Body Parts)을 선택할 수 있다(710).
예를 들어, 본 발명의 일측에 따른 시드 선택부는 상기 인식된 신체 부분 이미지에서 몸체와 연결된 시드 신체 부분 S를 선택할 수 있으며, 여기서, 상기 S는 몸체와 연결된 목, 어깨, 골반 등일 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 할당부를 이용하여 상기 시드 신체 부분을 기본 신체 부분(Base Body Part)으로 할당할 수 있다(720).
예를 들어, 본 발명의 일측에 따른 할당부는 상기 시드 신체 부분 S를 상기 기본 신체 부분 Cbase로 할당할 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 연결 검색부를 이용하여 상기 하나 이상의 후보 신체 부분 중 상기 기본 신체 부분과 신체 구조상 연결되는 연결 신체 부분을 검색할 수 있다(730).
본 발명의 일측에 따른 연결 검색부는 상기 Cbase와 신체 구조상 연결될 수 있는 신체 부분 C를 후보 신체 부분 중에서 검색할 수 있다. 예를 들어, 상기 목은 머리가 될 수 있고, 상기 어깨는 경우 팔의 상박 부분이 될 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 비교부를 이용하여 상기 기본 신체 부분과 상기 연결 신체 부분을 연결하는 깊이 연속체(depth continuity)를 연산하여 기설정된 값과 비교한다(740).
예를 들어, 본 발명의 일측에 따른 비교부는 상기 Cbase와 상기 C를 연결하는 가상의 선분의 깊이 연속체를 계산할 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 후보 삭제부를 이용하여 상기 깊이 연속체가 상기 기설정된 값 이하인 경우, 상기 선정된 후보 신체 부분을 삭제할 수 있다(750).
예를 들어, 본 발명의 일측에 따른 후보 삭제부는 상기 깊이 연속체 값이 기설정된 임계치 이하인 경우, 신체 구조상 연결된 신체 부분이 아닌 것으로 간주하여 상기 C를 후보 신체 부분으로부터 삭제 할 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 상기 연결 검색부를 이용하여 상기 연결 신체 부분이 터미널 신체 부분(Terminal Body Part)인지 여부를 판단할 수 있다(760).
본 발명의 일측에 따른 연결 검색부는 상기 연결 신체 부분이 터미널 신체 부분인 경우, 상기 연결 신체 부분을 기본 신체 부분으로 할당할 수 있다(770).
예를 들어, 본 발명의 일측에 따른 연결 검색부는 상기 C가 손, 발 또는 머리와 같은 신체 구조상 터미널 신체 부분이 아닌 경우, 상기 C를 Cbase로 할당하여 계속적으로 신체 구조상 연결되는 신체 부분 C를 검출할 수 있다.
본 발명의 일측에 따른 연결 검색부는 상기 연결 신체 부분이 터미널 신체 부분이 아닌 경우, 다른 시드 신체 부분이 존재하는지 여부를 판단하여 상기 연결 신체 부분을 상기 기본 신체 부분으로 할당하여 상기 연결 신체 부분을 재검색할 수 있다(780).
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 실루엣 검사(Silhouette Testing)를 기반으로 신체 부분을 인식할 수 있으며, 다양한 체형의 사용자 영상으로부터 신체 부분의 오인식 결과를 제거하기 위하여 실루엣 영상에 후보 뼈대(Candidate Bone)의 매칭(matching) 여부를 판단하여 신체 부분의 인식 결과를 선택할 수 있다.
도 8은 본 발명의 일측에 따른 실루엣 검사 방법을 도시한 흐름도이다.
도 8을 참조하면, 본 발명의 일측에 따른 자세 판단부(140)는 양단 신체 부분 선택부를 이용하여 상기 하나 이상의 후보 뼈대에 대한 양단 신체 부분을 각각 선택할 수 있다(810).
예를 들어, 본 발명의 일측에 따른 양단 신체 부분 선택부는 팔꿈치와 손을 연결하는 뼈대를 검출하기 위하여 실루엣 검사를 실시할 수 있으며, 상기 하나 이상의 후보 뼈대 중에서 뼈대의 양 끝에 있는 신체 부분 BP1 및 BP2를 선택할 수 있다.
본 발명의 일측에 따르면, 신체 부분 인식 결과에 의해 도 4와 같이 BP1과 BP2는 하나 이상의 결과를 얻을 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 매칭 판단부를 이용하여 상기 양단 신체 부분이 서로 연결되는 선분(line)과 상기 사용자 영상의 실루엣의 매칭(matching) 정도를 판단하여 ACC 값(Accurate Value), 즉, 뼈대, 선분 등이 사용자 영상의 실루엣과 정합되는 정도를 나타내는 값인 실루엣 정합률을 연산한다(820).
예를 들어, 본 발명의 일측에 따른 매칭 판단부는 선택된 BP1과 BP2를 연결하는 선분(line)이 사용자 영상 실루엣에 얼마나 매칭되는지 여부를 ACC 값으로부터 검출 할 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 상기 ACC 값이 기설정된 임계값 이하 또는 현재 저장된 ACC 최대값(CURRENT_MAX)보다 작은지 여부를 판단하고(830), 작은 경우 상기 하나 이상의 후보 뼈대를 후보 삭제부를 이용하여 삭제할 수 있다(840).
본 발명의 일측에 따른 자세 판단부(140)는 상기 ACC 값이 기설정된 임계값 초과 또는 현재 저장된 ACC 최대값보다 큰지 여부를 판단하고(850), 상기와 같은 경우 상기 연산된 ACC 값을 ACC 저장부를 이용하여 ACC 최대값으로 저장한다(860).
본 발명의 일측에 따른 자세 판단부(140)는 다른 후보 뼈대가 존재하는지 여부를 판단하여(870), 다른 후보 뼈대가 존재하지 않을 때까지 상기 각각의 모듈의 동작을 반복 수행하여 상기 하나 이상의 후보 뼈대를 선별함으로써, 최종적으로 사용자 자세 스켈레톤을 출력 할 수 있다(880).
본 발명의 일실시예에 따른 신체 연결 관계 분석 장치는 뼈대 길이 및 각도 검사(Bone Length & Angle Testing)를 기반으로 신체 부분을 인식할 수 있으며, 다양한 체형의 사용자 영상으로부터 신체 부분의 오인식 결과를 제거하기 위하여 후보 뼈대의 길이와 각도가 스켈레톤 모델(Skeleton Model)과 유사한지 여부에 따라 인식 결과를 선택할 수 있다.
도 9는 본 발명의 일측에 따른 뼈대 길이 및 각도 검사 방법을 도시한 흐름도이다.
도 9를 참조하면, 본 발명의 일측에 따른 자세 판단부(140)는 양단 신체 부분 선택부를 이용하여 상기 하나 이상의 후보 뼈대에 대한 양단 신체 부분을 각각 선택할 수 있다(910).
예를 들어, 본 발명의 일측에 따른 양단 신체 부분 선택부는 팔꿈치와 손을 연결하는 뼈대를 검출하기 위하여 실루엣 검사를 실시할 수 있으며, 상기 하나 이상의 후보 뼈대 중에서 뼈대의 양 끝에 있는 신체 부분 BP1 및 BP2를 선택할 수 있다.
본 발명의 일측에 따르면, 신체 부분 인식 결과에 의해 도 4와 같이 BP1과 BP2는 하나 이상의 결과를 얻을 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 양단 신체 부분이 서로 연결되는 선분(line)을 연산할 수 있다(920).
본 발명의 일측에 따른 자세 판단부(140)는 제1 후보 삭제부를 이용하여 상기 양단 신체 부분을 서로 연결되는 선분(line)이 인체 모델에 저장된 모델 최대 길이 및 모델 최소 길이의 사이 값인지 여부를 판단하고(930), 사이 값이 아닌 경우 상기 하나 이상의 후보 뼈대를 삭제할 수 있다(940).
예를 들어, 본 발명의 일측에 따른 제1 후보 삭제부는 선택된 BP1과 BP2를 연결하는 선분(line)이 신체 모델로부터 읽어온 최대 길이(MODEL_MAX)와 최소 길이(MODEL_MIN)사이가 아닌 경우, 오인식된 후보 뼈대로 판단하여 해당 후보 뼈대를 제거할 수 있다.
본 발명의 일측에 따른 자세 판단부(140)는 선분(line)이 인체 모델에 저장된 모델 최대 길이 및 모델 최소 길이의 사이 값인 경우, 상기 하나 이상의 후보 뼈대의 각도를 추출할 수 있다(950).
본 발명의 일측에 따른 자세 판단부(140)는 제2 후보 삭제부를 이용하여 상기 하나 이상의 후보 뼈대가 신체 구조 각도상 가능한 구조인지 여부를 판단하고(960), 불가능한 경우 상기 하나 이상의 후보 뼈대를 삭제할 수 있다(940).
본 발명의 일측에 따른 자세 판단부(140)는 상기 하나 이상의 후보 뼈대가 신체 구조 각도상 가능한 구조인지 경우, 상기 후보 뼈대를 저장할 수 있다(970).
본 발명의 일측에 따른 자세 판단부(140)는 다른 후보 뼈대가 존재하는지 여부를 판단하여(980), 다른 후보 뼈대가 존재하지 않을 때까지 상기 각각의 모듈의 동작을 반복 수행하여 상기 하나 이상의 후보 뼈대를 선별함으로써, 최종적으로 사용자 자세 스켈레톤을 출력 할 수 있다(990).
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 영상 추출부
120: 신체 인식부
130: 신체 선정부
140: 자세 판단부

Claims (21)

  1. 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 영상 추출부;
    상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 신체 인식부;
    상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 신체 선정부; 및
    상기 선정된 하나 이상의 후보 신체 부분을 기반으로 신체 부분의 연관성을 분석하여 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 자세 판단부를 포함하고,
    상기 자세 판단부는,
    서로 연관성이 있는 상기 하나 이상의 후보 신체 부분을 그룹으로 분류하고, 상기 하나 이상의 그룹 중 신체 구조상 서로 인접한 신체 부분을 연결하여 후보 뼈대를 생성하고,
    상기 자세 판단부는,
    상기 하나 이상의 신체 부분으로부터 몸체(Torso)와 연결된 시드 신체 부분(Seed Body Parts)을 선택하는 시드 선택부;
    상기 시드 신체 부분을 기본 신체 부분(Base Body Part)으로 할당하는 할당부;
    상기 하나 이상의 후보 신체 부분 중 상기 기본 신체 부분과 신체 구조상 연결되는 연결 신체 부분을 검색하는 연결 검색부;
    상기 기본 신체 부분과 상기 연결 신체 부분을 연결하는 깊이 연속체(depth continuity)를 연산하여 기설정된 값과 비교하는 비교부; 및
    상기 깊이 연속체가 상기 기설정된 값 이하인 경우, 상기 선정된 후보 신체 부분을 삭제하는 후보 삭제부를 포함하고,
    상기 연결 검색부는 상기 연결 신체 부분이 터미널 신체 부분(Terminal Body Part)가 아닌 경우, 상기 연결 신체 부분을 상기 기본 신체 부분으로 할당하여 상기 연결 신체 부분을 재검색하는
    신체 연결 관계 분석 장치.
  2. 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 영상 추출부;
    상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 신체 인식부;
    상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 신체 선정부; 및
    상기 선정된 하나 이상의 후보 신체 부분을 기반으로 신체 부분의 연관성을 분석하여 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 자세 판단부를 포함하고,
    상기 자세 판단부는,
    서로 연관성이 있는 상기 하나 이상의 후보 신체 부분을 그룹으로 분류하고, 상기 하나 이상의 그룹 중 신체 구조상 서로 인접한 신체 부분을 연결하여 후보 뼈대를 생성하고,
    상기 자세 판단부는,
    상기 하나 이상의 후보 신체 부분을 기반으로 신체의 순차적 연결 구조를 고려한 신체 부분 인식 결과를 추출하는 연결 구조 인식부;
    상기 신체 부분 인식 결과를 이용하여 하나 이상의 후보 뼈대(Candidate Bone)를 생성하는 후보 뼈대 생성부;
    상기 하나 이상의 후보 뼈대에 대한 양단 신체 부분을 각각 선택하는 양단 신체 부분 선택부;
    상기 양단 신체 부분이 서로 연결되는 선분(line)과 상기 사용자 영상의 실루엣의 매칭(matching) 정도를 판단하여 ACC 값 (Accurate Value)을 연산하는 매칭 판단부;
    상기 ACC 값이 기설정된 임계값 이하 또는 현재 저장된 ACC 최대값보다 작은 경우, 상기 하나 이상의 후보 뼈대를 삭제하는 후보 삭제부; 및
    상기 ACC 값이 기설정된 임계값 초과 또는 현재 저장된 ACC 최대값보다 큰 경우, 상기 연산된 ACC 값을 ACC 최대값으로 저장하는 ACC 저장부
    를 포함하고,
    상기 양단 신체 부분 선택부, 상기 매칭 판단부 상기 후보 삭제부, 상기 ACC 저장부 각각의 동작을 반복 수행하여 상기 하나 이상의 후보 뼈대를 선별하는
    신체 연결 관계 분석 장치.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    상기 자세 판단부는,
    상기 하나 이상의 후보 뼈대(Candidate Bone)에 대한 오인식 결과를 분석하는 오인식 분석부
    를 더 포함하는 신체 연결 관계 분석 장치.
  6. 제5항에 있어서,
    상기 자세 판단부는,
    상기 오인식 결과를 고려하여 상기 각각의 신체 부분에 대한 연결 위치를 추출하는 연결 위치 분석부
    를 더 포함하는 신체 연결 관계 분석 장치.
  7. 제2항에 있어서,
    상기 자세 판단부는,
    상기 신체 부분 인식 결과를 반영하여 이전 프레임의 스켈레톤 정보와 연결되는 현재 스켈레톤 정보를 복원하는 신체 연결 관계 분석 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 단계;
    상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 단계;
    상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 단계; 및
    상기 선정된 하나 이상의 후보 신체 부분을 기반으로 신체 부분의 연관성을 분석하여 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 단계를 포함하고,
    상기 사용자 자세 스켈레톤을 출력하는 단계는,
    서로 연관성이 있는 상기 하나 이상의 후보 신체 부분을 그룹으로 분류하는 단계; 및
    상기 하나 이상의 그룹 중 신체 구조상 서로 인접한 신체 부분을 연결하여 후보 뼈대를 생성하는 단계를 포함하고,
    상기 후보 뼈대를 생성하는 단계는,
    상기 하나 이상의 신체 부분으로부터 몸체(Torso)와 연결된 시드 신체 부분(Seed Body Parts)를 선택하는 단계;
    상기 시드 신체 부분을 기본 신체 부분(Base Body Part)으로 할당하는 단계;
    상기 하나 이상의 후보 신체 부분 중 상기 기본 신체 부분과 신체 구조상 연결되는 연결 신체 부분을 검색하는 단계;
    상기 기본 신체 부분과 상기 연결 신체 부분을 연결하는 깊이 연속체(depth continuity)를 연산하여 기설정된 값과 비교하는 단계; 및
    상기 깊이 연속체가 상기 기설정된 값 이하인 경우, 상기 선정된 후보 신체 부분을 삭제하는 단계를 포함하고,
    상기 연결 신체 부분을 검색하는 단계는,
    상기 연결 신체 부분이 터미널 신체 부분(Terminal Body Part)가 아닌 경우, 상기 연결 신체 부분을 상기 기본 신체 부분으로 할당하여 상기 연결 신체 부분을 재검색하는 단계를 포함하는
    신체 연결 관계 분석 방법.
  12. 입력 영상(Observed Image)으로부터 사용자 영상을 추출하는 단계;
    상기 사용자 영상으로부터 하나 이상의 신체 부분을 인식하는 단계;
    상기 하나 이상의 신체 부분 간의 조합을 기반으로 하나 이상의 후보 신체 부분(Candidate Body Parts)을 선정하는 단계; 및
    상기 선정된 하나 이상의 후보 신체 부분을 기반으로 신체 부분의 연관성을 분석하여 상기 사용자 영상에 대한 사용자 자세 스켈레톤(Skeleton)을 출력하는 단계를 포함하고,
    상기 사용자 자세 스켈레톤을 출력하는 단계는,
    서로 연관성이 있는 상기 하나 이상의 후보 신체 부분을 그룹으로 분류하는 단계; 및
    상기 하나 이상의 그룹 중 신체 구조상 서로 인접한 신체 부분을 연결하여 후보 뼈대를 생성하는 단계를 포함하고,
    상기 사용자 자세 스켈레톤을 출력하는 단계는,
    상기 하나 이상의 후보 신체 부분을 기반으로 신체의 순차적 연결 구조를 고려한 신체 부분 인식 결과를 추출하는 단계;
    상기 신체 부분 인식 결과를 이용하여 하나 이상의 후보 뼈대(Candidate Bone)를 생성하는 단계;
    상기 하나 이상의 후보 뼈대에 대한 양단 신체 부분을 각각 선택하는 제1 단계;
    상기 양단 신체 부분이 서로 연결되는 선분(line)과 상기 사용자 영상의 실루엣의 매칭(matching) 정도를 판단하여 ACC 값 (Accurate Value)을 연산하는 제2 단계;
    상기 ACC 값이 기설정된 임계값 이하 또는 현재 저장된 ACC 최대값보다 작은 경우, 상기 하나 이상의 후보 뼈대를 삭제하는 제3 단계; 및
    상기 ACC 값이 기설정된 임계값 초과 또는 현재 저장된 ACC 최대값보다 큰 경우, 상기 연산된 ACC 값을 ACC 최대값으로 저장하는 제4 단계
    를 포함하고,
    상기 제1 단계, 상기 제2 단계, 상기 제3단계, 상기 제4단계 각각을 반복 수행하여 상기 하나 이상의 후보 뼈대를 선별하는
    신체 연결 관계 분석 방법.
  13. 삭제
  14. 삭제
  15. 제12항에 있어서,
    상기 하나 이상의 후보 뼈대를 생성하는 단계는,
    상기 하나 이상의 후보 뼈대(Candidate Bone)에 대한 오인식 결과를 분석하는 단계
    를 더 포함하는 신체 연결 관계 분석 방법.
  16. 제15항에 있어서,
    상기 하나 이상의 후보 뼈대를 생성하는 단계는,
    상기 오인식 결과를 고려하여 상기 각각의 신체 부분에 대한 연결 위치를 추출하는 단계
    를 더 포함하는 신체 연결 관계 분석 방법.
  17. 제12항에 있어서,
    상기 사용자 자세 스켈레톤(Skeleton)을 출력하는 단계는,
    상기 신체 부분 인식 결과를 반영하여 이전 프레임의 스켈레톤 정보와 연결되는 현재 스켈레톤 정보를 복원하는 단계
    를 포함하는 신체 연결 관계 분석 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 제11항, 제12항 및 제15항 내지 제17항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020120004435A 2012-01-13 2012-01-13 신체 연결 관계 분석 장치 및 방법 KR101908284B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120004435A KR101908284B1 (ko) 2012-01-13 2012-01-13 신체 연결 관계 분석 장치 및 방법
US13/713,351 US9767352B2 (en) 2012-01-13 2012-12-13 Apparatus and method for analyzing body part association

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120004435A KR101908284B1 (ko) 2012-01-13 2012-01-13 신체 연결 관계 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130083677A KR20130083677A (ko) 2013-07-23
KR101908284B1 true KR101908284B1 (ko) 2018-10-16

Family

ID=48780015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120004435A KR101908284B1 (ko) 2012-01-13 2012-01-13 신체 연결 관계 분석 장치 및 방법

Country Status (2)

Country Link
US (1) US9767352B2 (ko)
KR (1) KR101908284B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056602A (ko) 2018-11-15 2020-05-25 송응열 객체 움직임 인식 방법 및 장치
KR20220170544A (ko) 2021-06-23 2022-12-30 하대수 운동 보조를 위한 객체 움직임 인식 시스템 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363575B2 (ja) * 2015-09-29 2018-07-25 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
US10068129B2 (en) 2015-11-18 2018-09-04 Adobe Systems Incorporated Recognizing unknown person instances in an image gallery
CN105469113B (zh) * 2015-11-19 2019-03-22 广州新节奏智能科技股份有限公司 一种二维视频流中的人体骨骼点追踪方法及系统
CN106864368B (zh) * 2015-12-11 2021-12-21 罗伯特·博世有限公司 应用于车辆的警示方法及系统
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
JP6943294B2 (ja) * 2017-12-14 2021-09-29 富士通株式会社 技認識プログラム、技認識方法および技認識システム
KR102083385B1 (ko) * 2018-08-28 2020-03-02 여의(주) 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법
KR102416709B1 (ko) 2019-03-15 2022-07-05 주식회사 앨리스헬스케어 클라우드 서버 기반의 기계학습 관절정보 추출 시스템 및 그 방법
JP2022006708A (ja) * 2020-06-24 2022-01-13 オムロン株式会社 動作認識システム、方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206656A (ja) * 2002-11-08 2004-07-22 Minolta Co Ltd 検出装置および検出方法
JP2005339100A (ja) * 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
JP2007066094A (ja) 2005-08-31 2007-03-15 Matsushita Electric Ind Co Ltd 姿勢推定装置および姿勢推定方法
JP2008537815A (ja) 2005-03-17 2008-09-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4904264B2 (ja) 2004-07-30 2012-03-28 エクストリーム リアリティー エルティーディー． ３ｄ空間次元に基づく画像処理のためのシステムおよび方法
US8014565B2 (en) 2005-08-26 2011-09-06 Sony Corporation Labeling used in motion capture
EP2062158B1 (en) 2006-07-31 2012-09-05 OnLive, Inc. System and method for performing motion capture and image reconstruction
US8330823B2 (en) 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
CN101989326B (zh) 2009-07-31 2015-04-01 三星电子株式会社 人体姿态识别方法和装置
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US20120087573A1 (en) * 2010-10-11 2012-04-12 Vinay Sharma Eliminating Clutter in Video Using Depth Information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206656A (ja) * 2002-11-08 2004-07-22 Minolta Co Ltd 検出装置および検出方法
JP2005339100A (ja) * 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
JP2008537815A (ja) 2005-03-17 2008-09-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
JP2007066094A (ja) 2005-08-31 2007-03-15 Matsushita Electric Ind Co Ltd 姿勢推定装置および姿勢推定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056602A (ko) 2018-11-15 2020-05-25 송응열 객체 움직임 인식 방법 및 장치
KR20220170544A (ko) 2021-06-23 2022-12-30 하대수 운동 보조를 위한 객체 움직임 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20130083677A (ko) 2013-07-23
US9767352B2 (en) 2017-09-19
US20130182958A1 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
KR101908284B1 (ko) 신체 연결 관계 분석 장치 및 방법
Ali et al. Chaotic invariants for human action recognition
KR20210122855A (ko) 검출 모델 훈련 방법과 장치, 컴퓨터 장치, 및 저장 매체
CN112639873A (zh) 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法
US20130028517A1 (en) Apparatus, method, and medium detecting object pose
CN108241836A (zh) 用于安检的方法及装置
KR101233843B1 (ko) 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치
CN107851192B (zh) 用于检测人脸部分及人脸的设备和方法
KR20120086728A (ko) 시각 검색 애플리케이션용 유명인사의 인물 모델 자동 마이닝
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111950321B (zh) 步态识别方法、装置、计算机设备及存储介质
CN107273883B (zh) 决策树模型训练方法、确定ocr结果中数据属性方法及装置
US11663731B2 (en) Determining method, information processing apparatus, and recording medium
KR20200119391A (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
Yang et al. Combination of manual and non-manual features for sign language recognition based on conditional random field and active appearance model
CN112364712A (zh) 一种基于人体姿态的坐姿识别方法、系统及计算机可读存储介质
CN111797704B (zh) 一种基于相关物体感知的动作识别方法
CN112699907B (zh) 数据融合的方法、装置和设备
CN108875488A (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质
KR102475004B1 (ko) 그림 상 객체 분석을 기반으로 한 심리 분석 방법 및 이러한 방법을 수행하는 장치
Vieriu et al. Background invariant static hand gesture recognition based on Hidden Markov Models
Rezaei et al. Data augmentation for heart arrhythmia classification
CN108256578A (zh) 一种灰度图像的识别方法、装置、设备及可读存储介质
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
Jang et al. Color channel-wise recurrent learning for facial expression recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant