KR100808543B1 - 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법 - Google Patents

스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법 Download PDF

Info

Publication number
KR100808543B1
KR100808543B1 KR1020060089785A KR20060089785A KR100808543B1 KR 100808543 B1 KR100808543 B1 KR 100808543B1 KR 1020060089785 A KR1020060089785 A KR 1020060089785A KR 20060089785 A KR20060089785 A KR 20060089785A KR 100808543 B1 KR100808543 B1 KR 100808543B1
Authority
KR
South Korea
Prior art keywords
module
image
self
model
dimensional
Prior art date
Application number
KR1020060089785A
Other languages
English (en)
Inventor
박성기
전세웅
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020060089785A priority Critical patent/KR100808543B1/ko
Application granted granted Critical
Publication of KR100808543B1 publication Critical patent/KR100808543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Abstract

본 발명은 유비쿼터스 환경 또는 지능적 환경에서 스테레오 비전 센서를 사용하여 사람의 동작 정보를 획득하는 방법에 관한 것으로서, 스테레오 비전 센서를 사용하여 사람의 각 관절의 운동을 모델링하고 그에 따른 사람의 동작을 측정하는 스테레오 비전 센서를 사용한 사람 동작 정보 획득 장치 및 방법에 관한 것이다.
본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치는 스테레오 영상과 거리정보를 수집하는 스테레오 카메라와, 전경에 해당하는 사람과 배경을 분리하는 배경 분리 처리 모듈과, 사람에 대한 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 생성하는 사람의 기구적 모델 모듈과, 스테레오 영상과 사람에 대한 거리 정보에 대한 히스토그램 분석을 통하여 2차원 이미지를 생성하고 자체폐색을 분리하는 자체 폐색 분리 모듈과, 상기 자체폐색 분리 모듈에서 생성된 2차원 이미지에서 사람 동작을 분석한 후, 거리정보를 추가함으로써 3차원 모델의 위치 정보를 보강하여 사람의 3차원 동작을 얻는 상기 동작 분석 모듈을 포함한다.
스테레오 카메라, 사람 동작, 사람의 기구학적 모델, 히스토그램 분석, 자체폐색.

Description

스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치 및 방법{Apparatus and method for acquiring Man movement information using stereo vision sensor}
도1은 본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치의 구성도이다.
도2는 상기 도1의 사람의 기구적 모델 모듈에서 생성되는 3차원 평면 조합 사람 모델의 구성도이다.
도3은 상기 도1의 사람의 기구적 모델 모듈에서 생성되는 2차원 혼합 가우시안 사람 모델의 구성도이다.
도4는 사람 동작에서 자체폐색이 발생하는 모습의 예를 나타내는 상태도이다.
도5는 본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 방법의 순서도이다.
도6은 상기 도5의 자체 폐색 분리 단계의 세부 순서도이다.
도7은 상기 도5의 동작 분석 단계의 세부 순서도이다.
도8은 일반적인 자세를 취한 사람의 거리정보에 대한 히스토그램 분포 예시도이다.
도9는 상기 도7의 가우시안 모델 추정 단계의 세부 순서도이다.
본 발명은 유비쿼터스 환경 또는 지능적 환경에서 스테레오 비전 센서를 사용하여 사람의 동작 정보를 획득하는 방법에 관한 것으로서, 스테레오 비전 센서를 사용하여 사람의 각 관절의 운동을 모델링하고 그에 따른 사람의 동작을 측정하는 스테레오 비전 센서를 사용한 사람 동작 정보 획득 장치 및 방법에 관한 것이다.
스테레오 카메라와 같은 비전 센서에 기반한 사람 동작 추정 방법은 마커를 사용한 사람의 움직임 추정(Marker based human motion capture)방법과 마커를 사용하지 않는 사람의 움직임 추정(Markerless Human Motion Capture)방법으로 구성된다.
마커를 사용한 사람의 움직임 추정 방법은 사용자에게 신호를 발신하는 마커를 몸에 붙이므로써 마커에서 발신하는 신호를 수신하여 사용자의 동작을 추정하는 방법으로 컴퓨터 그래픽스 분야에서 많은 연구가 진행 되어 왔고 상용화된 제품도 판매되고 있다. 그러나 마커를 사용한 사람의 움직임 추정 방법은 공간상에서 정확한 위치를 제공하는 반면에 사용자에게 마커를 붙여야 하고 사용자가 어느 정도 장비 사용법을 익혀 마커가 움직이거나 밀리지 않도록 주의해서 사용해야 하는 단점이 있다.
마커를 사용하지 않는 사람의 움직임 추정 방법은 비젼 센서를 통하여 사용자 의 모습을 확인하고 모습이 변화하면 동작하는 것으로 판단하여 동작을 추정하는 방법으로 많은 연산량으로 인해 상기 마커를 사용한 사람의 움직임 추정 방법보다 처리속도가 떨어지는 단점이 있으나 사용자에게 어떤 장비도 장착시키지 않으며 사용자의 복장에 관계없이 움직임 정보를 얻어 낼 수 있는 장점이 있어 기술의 발전에 따라 컴퓨터의 처리속도가 증가하는 현재 상황으로는 처리속도가 느린 단점은 극복이 가능하여 많은 연구가 진행되고 있다.
마커를 사용하지 않는 사람의 움직임 추정 방법은 종래의 단일 카메라를 이용하여 사람의 동작을 추정하는 방법에서 최근에는 스테레오 카메라를 사용하여 사람의 동작을 추정하는 방법으로 변화하고 있다.
이는 스테레오 카메라에서 제공할 수 있는 거리 정보가 사람의 동작을 해석하는데 가장 장애가 되는 요인인 사람 동작 요소들의 자체폐색(self-occlusion)을 해석할 수 있는 좋은 수단을 제공해주기 때문이다.
스테레오 카메라를 사용하여 사람의 동작을 추정하는 방법으로는 JoJic의 연구(N. Jojic, M. Turk, and T.S. Huang, "Tracking self-occluding articulated objects in dense disparity maps," The Proceedings of the Seventh IEEE International Conference on Computer Vision, pp. 123 - 130, 1999)와 Demirdjian의 연구(D. Demirdjian and T. Darrell, "3-D articulated pose tracking for untethered diectic reference," Fourth IEEE International Conference on Multimodal Interface, pp. 267- 272, 2002)가 있다.
JoJic의 방법은 스테레오 카메라로부터 얻은 사람 동작의 3D 데이터를 모두 한꺼번에 기대치 최대화(expectation-maximization) 방식을 이용하여 각 관절의 움직임을 해석하는 방법으로써 계산향이 많아 실시간성으로 구현하기 여려다는 단점이 있고, Demirdjian의 연구는 자체 폐색이 없는 동작에 대한 움직임 해석 방법으로 자체 폐색의 해결 방법을 명확히 언급되지 않은 단점이 있었다.
본 발명은 상기한 바와 같은 종래 기술의 불편함을 해결하기 위하여 안출된 것으로서,
본 발명의 목적은 사람 상반신의 기구학적 3차원 모델을 응용하고자 하는 필요 자유도로 미리 모델링하고 스테레오 카메라에서 감지된 사람의 거리정보를 거리별로 계층화하고 이에 대한 히스토그램 분석을 통하여 자체 폐색을 해결함으로써 사람 상반신의 각 관절의 운동 정보를 추출하고 효율적으로 동작을 분석하는 단일 스테레오 카메라를 이용하여 사람의 상반신 동작 정보를 획득하는 방법을 제공하는 것이다.
본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치는 스테레오 영상과 영상 각 픽셀에 대한 거리정보를 수집하여 제공하는 스테레오 카메라와, 상기 스테레오 카메라에서 수집된 거리정보로부터 전경에 해당하는 사람과 배경을 분리하는 배경 분리 처리 모듈과, 사람에 대한 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 이용한 사람 모델 모듈과, 상기 스테레오 카메라에서 수집된 스테레오 영상과 상기 배경 분리 처리 모듈에서 분리된 사람에 대한 상이도 이미지에 대하여 일정 간격의 상이도 영상에 대한 히스토그램 분석을 통하여 2차원 이미지를 생성하고 자체폐색을 분리하는 자체 폐색 분리 모듈과, 상기 자체폐색 분리 모듈에서 생성된 2차원 이미지를 상기 사람 모델 모듈을 이용한 2차원 혼합 가우시안 모델과 대조하여 사람 동작을 분석한 후, 이를 다시 거리정보를 추가하여 3차원 평면 조합 모델과 대조함으로써 3차원 모델의 위치 정보를 보강하여 사람의 3차원 동작을 얻는 상기 동작 분석 모듈을 포함하는 것을 특징으로 한다.
이하, 본 발명의 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치 및 방법을 보다 상세하게 설명하면 다음과 같다.
도1은 본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치의 구성도이다.
스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치는 도1에 도시된바와 같이 스테레오 카메라(100)와 배경 분리 처리 모듈(200)과 사람의 기구적 모델 모듈(300)과 자체폐색 분리 모듈(400)과 동작 분석 모듈(500)로 구성된다.
상기 스테레오 카메라(100)는 스테레오 영상과 영상 각 픽셀에 대한 거리정보(depth map)를 연속적으로 수집하는 구성이다.
상기 스테레오 카메라(100)는 물론 텍스쳐의 변화가 없는 픽셀들에서는 거리정보를 얻을 수 없으나 그렇지 아니한 픽셀에 대하여는 영상 정합(correspondence)에 의하여 상이도(disparity) 값을 얻고 그를 통하여 거리정보를 수집한다.
상기 배경 분리 처리 모듈(200)은 상기 스테레오 카메라(100)에서 수집된 거리정보로부터 사람의 동작을 분석하기 위하여 전경(foreground)에 해당하는 사람과 배경(background)을 분리하는 구성입니다.
상기 배경 분리 처리 모듈(200)은 배경보다는 사람이 항상 스테레오 영상 획득장치와 가까이 있다는 가정하에서 거리의 불연속을 이용하여 배경 분리 작업을 수행한다.
상기 사람의 기구적 모델 모듈(300)은 자체폐색 및 동작분석시에 이용하는 사람의 상반신에 대한 모델링을 제공하는 구성입니다.
상기 사람의 기구적 모델 모듈(300)은 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 생성할 수 있다.
상기 사람의 기구적 모델 모듈(300)은 생성된 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델이나, 사용자에게 입력된 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 자체폐색 분리 모듈(400)과 동작 분석 모듈(500)로 전송한다.
상기 스테레오 카메라(100)에서 수집되는 사람의 거리정보가 각 평면으로 보간(fitting)할 수 있는 정도의 정확도로 수집되므로 상기 사람의 기구적 모델 모듈(300)에서 생성되는 3차원 평면 조합 모델은 도2에 도시된바와 같이 사람을 3차원상에 있는 평면 조합 모델로 가정하여 생성된다.
또한, 자체폐색의 문제의 해결과 각 동작 해석의 실시간을 가능하도록 하기 위하여 상기 사람의 기구적 모델 모듈(300)에서 도3에 도시된 바와 같이 생성되는 2차원 혼합 가우시안 모델은 상이도값에 대한 계층적 히스토그램 분포를 얻고, 이를 통하여 자체 폐색을 검색하기 위하여 생성되는 모델로 하기된 수학식 1,2와 같이 각 변수를 설정하여 2차원 혼합 가우시안 모델의 가중치들을 설정한다.
Figure 112006066908526-pat00001
Figure 112006066908526-pat00002
여기서,
Figure 112006066908526-pat00003
은 각각 머리, 몸, 상박, 하박을 2차원 이미지 평면상에 나타낼 때의 넓이 이고,
Figure 112006066908526-pat00004
는 각각 머리의 직경, 몸의 폭, 몸의 높이, 상박의 길이, 상박의 폭, 하박의 길이, 하박의 폭을 나타내며,
Figure 112006066908526-pat00005
은 혼합 가우시안 분포 모델에서 각각 머리 부분, 몸부분 왼쪽상박, 오른쪽상박, 왼쪽하박, 오른쪽 하박의 가중치를 나타낸다.
상기 자체폐색 분리 모듈(400)은 상기 스테레오 카메라(100)에서 수집된 스테레오 영상과 상기 배경 분리 처리 모듈(200)에서 분리된 사람에 대한 거리 정보를 상기 사람의 기구적 모델(300)에서 제공되는 모델을 이용하여 일정 간격으로 나 누어 그 각 간격에서의 거리정보에 대한 히스토그램 분석을 통하여 2차원의 이진화 된 사람 영상을 생성함으로써 도 4에 도시된 바와 같이 팔이 몸의 다른 부분을 가리면서 발생하는 자체폐색를 분리하는 구성이다.
다만 하박이 몸의 뒷 부분으로 가려져 버리면 한 대의 스테레오 카메라를 이용하는 경우에는 그러한 경우에 대한 검지가 처음부터 불가능하므로 본 발명의 실시 예에서는 하박이 몸의 앞쪽에서 자체폐색을 일으키는 경우를 다루기로 한다.
상기 동작 분석 모듈(500)은 상기 자체폐색 분리 모듈(400)에서 생성된 2차원 이미지를 기대치 최대화 알고리즘을 사용하여 2차원 혼합 가우시안 모델 및 각 2차원 데이터가 어느 관절에 속하는지를 구분하고 여기에 다시 거리정보를 추가하여 상기 사람의 기구적 모델(300)에서 제공되는 3차원 평면 조합 모델로 보간(fitting) 하여 사람의 3차원 동작을 분석할 수 있는 정보를 제공한다.
상기 동작 분석 모듈(500)은 상기 자체폐색 분리 모듈(400)에서 2차원의 이진화된 사람 영상에서 폐색된 영역을 제거하고 기대치 최대화 알고리즘을 적용함으로써 가우시안 모델의 변수를 추정해 나가는데 있어 국소 최소점으로 수렴하게 되는 경우를 예방할 뿐 아니라 2 차원상에서의 기대치 최대화 알고리즘을 적용하므로 기존의 연구와 같이 3 차원상에서의 모델 변수를 직접 추정하는 방법에 비하여 계산량이 절감된다.
도5는 본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 방법의 순서도이다.
스테레오 비전 센서를 이용한 사람 동작 정보의 획득 방법은 도8에 도시된바 와 같이 영상 및 거리 정보 수집 단계(S100)와 배경 분리 처리 단계(S200)와 자체폐색 분리 단계(S300)와 동작 분석 단계(S400)로 구성된다.
영상 및 거리 정보 수집 단계(S100)는 상기 스테레오 카메라(100)가 측정되는 스테레오 영상과 영상 각 픽셀에 대한 상이도 및 거리정보(depth map)를 수집하여 배경 분리 처리 모듈(200)로 전송하는 단계이다.
배경 분리 처리 단계(S200)는 상기 배경 분리 처리 모듈(200)이 영상 및 거리 정보 수집 단계(S100)에서 전송된 거리정보로부터 전경(foreground)에 해당하는 사람과 배경(background)을 분리하여 생성된 상이도 이미지를 자체폐색 분리 모듈(400)로 전송하는 단계입니다.
자체폐색 분리 단계(S300)는 자체폐색 분리 모듈(400)이 상기 영상 및 거리 정보 수집 단계(S100)에서 수집된 스테레오 영상과 상기 배경 분리 처리 단계(S200)에서 분리된 사람에 대한 상이도 이미지를 사람의 기구적 모델 모듈(300)에서 제공되는 모델을 이용하여 일정 간격으로 나누고 그 각 간격에서의 상이도 값에 대한 히스토그램을 계산하여 2차원의 이진화된 사람 영상을 생성하고 팔이 몸의 다른 부분을 가리면서 발생하는 자체폐색를 분리하여 해결하는 단계로 상세한 설명은 도6을 사용하여 후술한다.
동작 분석 단계(S400)는 상기 동작 분석 모듈(500)이 상기 자체폐색 분리 단계(S300)에서 구별된 폐색부위와 2차원의 이진화된 사람 영상에 기대치 최대화 알고리즘을 사용하여 각 관절에 해당하는 혼합 가우시안 모델을 추정하고, 추정된 가우시안 모델에 따라 사람 동작을 2차원상에서 분석한 후 거기에 깊이 정보를 추가 하여 상기 사람의 기구적 모델(300)에서 제공되는 3차원 평면 조합 모델로 보간(fitting) 함으로써 3차원적으로 동작을 추정하는 단계로 도7을 사용하여 후술한다.
도6은 상기 도5의 자체폐색 분리 단계의 상세 순서도이다.
상기 자체폐색 분리 단계(S300)는 도6에 도시된 바와 같이 상이도 이미지에 대한 히스토그램을 계산 단계(S310)와, 상이도값의 시작점과 끝점 설정 단계(S320)와 시작점의 값 증가 단계(S330)와, 전체 거리값 영상 중 현재 상이도값보다 값이 작은 부분 제거 단계(S340)와, 남은 상이도 영상을 이진화 시키는 단계(S350)와, 이진화된 영상 덩어리들에 번호 설정 및 크기와 위치 계산 단계(S360)와, 각 덩어리의 크기와 수에 따라 폐색된 부위를 구분하는 단계(S370)와 자체폐색이 발생했는가를 확인하는 단계(S380) 및 시작점이 끝점 보다 큰가를 확인하는 단계(S390)를 포함한다.
상이도 이미지에 대한 히스토그램 계산 단계(S310)는 상기 자체폐색 분리 모듈(400)이 배경 분리 처리 단계(S200)에서 전송된 배경이 분리된 상이도 이미지에 대한 히스토그램을 계산하는 단계이다.
상기 상이도 이미지에 대한 히스토그램을 구하는 단계(S310)에서 일반적인 자세를 취한 사람의 거리정보 이미지에 대한 히스토그램 형태는 도8에 도시된바와 같다. 도8의 히스토그램 값 중 최대로 누적된 거리값
Figure 112006066908526-pat00006
은 몸의 중심부분에 해당하는 거리 값이라고 정의한다. 이는 서 있는 사람의 상반신이 측정될 때 몸통이 가장 많은 부분을 차지하기 때문이다.
상이도값의 시작점과 끝점 설정 단계(S320)는 상기 자체폐색 분리 모듈(400)이 하기된 수학식 3에 기재된바와 같이 상기 상이도 이미지에 대한 히스토그램을 구하는 단계(S310)에서 구해진 최대로 누적된 상이도값에 일정 간격을 더해서 시작점
Figure 112006066908526-pat00007
를 설정하고 상이도 히스토그램에서 히스토그램 값을 갖는 최대 상이도 값
Figure 112006066908526-pat00008
로 끝점을 설정하는 단계이다.
Figure 112006066908526-pat00009
여기서,
Figure 112006066908526-pat00010
는 최대로 누적된 상이도값,
Figure 112006066908526-pat00011
은 일정 상이도 값 간격을 나타낸다.
시작점의 값 증가 단계(S330)는 상기 자체폐색 분리 모듈(400)이 상기 상이도 값의 시작점과 끝점 설정 단계(S320)에서 설정된 상이도값의 시작점
Figure 112006066908526-pat00012
값을
Figure 112006066908526-pat00013
씩 증가 시키는 단계이다.
전체 상이도 값 영상 중 현재 상이도 값보다 값이 작은 부분 제거 단계(S340)는 상기 자체폐색 분리 모듈(400)이 현재 상이도 값
Figure 112006066908526-pat00014
를 기준으로 전체 거리값 영상 중
Figure 112006066908526-pat00015
보다 값이 작은 부분을 제거하는 단계이다.
남은 상이도 영상을 이진화 시키는 단계(S350)는 상기 자체폐색 분리 모듈(400)이 하기된 수학식 4를 사용하여 남은 상이도 영상을 2차원 영상으로 변환하는 단계이다.
Figure 112006066908526-pat00016
여기서,
Figure 112006066908526-pat00017
는 이진화된 거리데이터 영상,
Figure 112006066908526-pat00018
은 전체 거리데이터 영상이다.
이진화된 영상 덩어리들에 번호 설정 및 크기와 위치 계산 단계(S360)는 상기 자체폐색 분리 모듈(400)이 상기 남은 상이도 영상을 이진화 시키는 단계(S350)에서 2차원 영상으로 변환된 영상에 영상처리의 일반적 알고리즘인 컴포넌트 라벨링 기법을 사용해 덩어리에 번호를 매기고 각 덩어리의 픽셀수를 더하여 각 덩어리의 크기를 계산하고 각 덩어리를 구성하는 픽셀들의 평균 위치로 각 덩어리의 위치를 구하는 단계이다.
각 덩어리의 크기와 수에 따라 폐색된 부위를 구분하는 단계(S370)는 상기 자체폐색 분리 모듈(400)이 이진화된 영상 덩어리들에 번호 설정 및 크기와 위치 계산 단계(S430)에서 구한 덩어리의 위치가 다른 덩어리의 위치와 같은 곳에 위치하면 폐색이 발생한 것으로 판단하며 폐색되는 덩어리의 크기와 일치하는 부위에서 폐색이 발생하는 것으로 판단하는 단계로, 같은 곳에 위치한 덩어리들의 크기가 하 기된 수학식5에서 계산된 하박의 크기로 추정되는 값과 비슷할 때 그 개수가 1개라면 하나의 하박이 몸을 가리는 상황이고 2개라면 양쪽 하박 모두가 몸을 가리는 상황으로 판단한다.
Figure 112006066908526-pat00019
여기서,
Figure 112006066908526-pat00020
은 거리 데이터 영상의 하박의 넓이이고,
Figure 112006066908526-pat00021
는 사람과의 거리,
Figure 112006066908526-pat00022
은 일정비율, f는 초점거리이며,
Figure 112006066908526-pat00023
은 실제 모델 하박의 넓이이다.
자체폐색이 발생하였나 확인 단계(S380)는 상기 자체폐색 분리 모듈(400)이 상기 각 덩어리의 크기와 수에 따라 폐색된 부위를 구분하는 단계(S370)에서 폐색이 발생된 것이 확인하고 폐색이 발생되었으면 자체폐색 분리 단계(S300)를 종료하는 단계이다.
시작점이 끝점 보다 큰가를 확인하는 단계(S390)는 상기 자체폐색 분리 모듈(400)이 상기 상이도값의 시작점의 값 증가 단계(S330)에서
Figure 112006066908526-pat00024
가 증가된 상이도값의 시작점
Figure 112006066908526-pat00025
값이 상기 상이도값의 시작점과 끝점 설정 단계(S320)에서 설정된 끝점보다 큰가를 확인하여, 크지 않으면 상기 상이도값의 시작점의 값 증가 단 계(S330)로 진행하는 단계이다.
도7은 상기 도5의 동작 분석 단계의 상세 순서도이다.
동작 분석 단계(S400)는 도7에 도시된바와 같이 자체 폐색이 발생된 부분이 있는가 확인 단계(S410)와 자쳬 폐색이 발생된 부분을 제거하는 단계(S420)와 가우시안 모델 추정 단계(S430)와 모델 각 부분의 위치 추정 단계(S440)로 구성된다.
자체 폐색이 발생된 부분이 있는가 확인 단계(S410)는 상기 동작 분석 모듈(500)이 상기 자체폐색 분리 단계(S300)에서 폐색이 발생하여 폐색된 부분이 구분된 상태인가를 확인하는 단계이다.
자체 폐색이 발생된 부분을 제거하는 단계(S420)는 상기 동작 분석 모듈(500)이 폐색에 의하여 미리 검지된 몸의 부위를 제거하는 단계입니다.
상기 가우시안 모델 추정 단계(S430)는 상기 동작 분석 모듈(500)이 기대치 최대화 알고리즘을 사용하여 상기 사람의 기구적 모델(300)에서 제공되는 2차원 혼합 가우시안 모델의 각 관절에 해당하는 가우시안 모델을 추정하는 단계로 하기된 도 9를 사용하여 후술한다.
상기 모델 각 부분의 위치 추정 단계(S440)는 상기 동작 분석 모듈(500)이 상기 가우시안 모델 추정 단계(S430)에서 추정된 가우시안 모델의 각 부분들의 위치 데이터에 각 부분의 깊이값을 대입함으로써 3차원 좌표값에 준하여 각 모델들의 위치를 평면 보간(fitting)을 통하여 3차원적으로 추정하는 단계이다.
도9는 상기 도7의 가우시안 모델 추정 단계의 상세 순서도이다.
가우시안 모델 추정 단계(S430)는 도9에 도시된바와 같이 초기변수 설정 단 계(S431)와 함수 Q계산 단계(S432)와 함수 Q를 최대화하는 θ추정 단계(S433)와 θ가 수렴하는가 확인 단계(S434) 및 모델 추정 단계(S435)로 구성되며 혼합 가우시안 모델을 추정하는데 널리 사용되고 있다.
상기 초기변수 설정 단계(S431)는 상기 동작 분석 모듈(500)이 하기된 수학식6 에 따라 각각의 매개변수인 (
Figure 112006066908526-pat00026
)을 초기화하여 설정하는 단계이다.
먼저 상이도 이미지에서의 혼합 가우시안 모델의 확률분포를 구하기 위해서는 하기된 수학식 6에 의하여 본 발명에서 사용하는 다변수 가우시안 모델을 구해야 한다.
Figure 112006066908526-pat00027
여기서,
Figure 112006066908526-pat00028
는 평균(mean),
Figure 112006066908526-pat00029
는 공분산 행렬(covariance matrix)을 나타내며, 상기 수학식 6에 의한 다변수 가우시안 모델을 바탕으로 불완전 데이터(Y)에 기반하여 혼합 가우시안 모델의 확률분포를 표현하면 하기된 수학식 7과 같다.
Figure 112006066908526-pat00030
여기서,
Figure 112006066908526-pat00031
은 가우시안의 갯수를 나타내고,
Figure 112006066908526-pat00032
는
Figure 112006066908526-pat00033
번째 가우시안의 가중치를 나타내며 가중치의 합은 반드시 1이어야 한다.
상기 식의 사람 모델을 기반으로 하는 식의 전개를 하면 하기된 수학식 8과 같이 나타낼 수 있다.
Figure 112006066908526-pat00034
여기서,
Figure 112006066908526-pat00035
은 앞서 모델링한 혼합 가우시안 분포 모델에서 각각 머리 부분, 몸 부분 왼쪽상박, 오른쪽상박, 왼쪽하박, 오른쪽 하박의 가중치이며, 각각의 매개변수 (
Figure 112006066908526-pat00036
))의 초기화 값은, 수작업으로 초기화 위치에 대한 입력에 따라 평균(mean)값을 부여할 수 있으며, 가우시안 모델의 분산행렬(covariance matrix)은
Figure 112006066908526-pat00037
=
Figure 112006066908526-pat00038
으로 시작할 수 있 다. 이 과정이 초기변수 설정단계(S431)이다.
상기 함수 Q계산 단계(S432)는 상기 동작 분석 모듈(500)이 위와 같이 정의된 확률 함수를 바탕으로 하기된 수학식 9에 따라 함수 Q를 계산하는 단계이다.
Figure 112006066908526-pat00039
이러한 함수 Q를 최대화하는 θ추정 단계(S433)는 상기 동작 분석 모듈(500)이 Q함수가 최대일 때의 추정 매개변수(
Figure 112006066908526-pat00040
={
Figure 112006066908526-pat00041
,
Figure 112006066908526-pat00042
, w})를 혼합 가우시안 모델의 확률분포를 사용하여 하기된 수학식 10과 같이 계산하는 단계이다.
Figure 112006066908526-pat00043
상기 혼합 가우시안 모델의 확률분포를 사용하여 Q함수가 최대일 때의 추정 매개변수(
Figure 112006066908526-pat00044
={
Figure 112006066908526-pat00045
,
Figure 112006066908526-pat00046
, w})는 하기된 수학식 11, 12, 13과 종래의 계산 방법에 따라 계산한다.
Figure 112006066908526-pat00047
Figure 112006066908526-pat00048
Figure 112006066908526-pat00049
여기서,
Figure 112006066908526-pat00050
은 총 관찰된 데이터
Figure 112006066908526-pat00051
의 갯수 또는 벡터의 차원,
Figure 112006066908526-pat00052
는
Figure 112006066908526-pat00053
번째 가우시안 모델을 나타내며
Figure 112006066908526-pat00054
는 각 가우시안 모델의 가중치,
Figure 112006066908526-pat00055
는 초기 매개변수이다.
θ가 수렵하는가 확인 단계(S434)는 상기 동작 분석 모듈(500)이 상기 함수 Q를 최대화하는 θ추정 단계(S433)에서 추정된 θ가 초기 매개 변수인
Figure 112006066908526-pat00056
로 수렴하는가를 확인하고 수렴하지 않으면 상기 함수 Q계산 단계(S432)를 실행하는 단계 이다.
모델 추정 단계(S435)는 기대치 최대화 알고리즘에 의하여 결과적으로 추정된 매개변수(
Figure 112006066908526-pat00057
={
Figure 112006066908526-pat00058
,
Figure 112006066908526-pat00059
, w})와 각 데이터(Y)가 혼합 가우시안 모델에서 어느 모드에 속하는지가 결정된 것을 말한다.
이러한 기대치 최대화 알고리즘을 이용하여 2차원의 사람의 전경 데이터들이 어는 관절에 속하며, 또한 그 평균값 및 분산값을 알 수 있게 된다. 이러한 2차원 상이도값 이미지는 또한 스테레오 카메라의 보정 데이터에 의하여 3차원 거리값으로 바로 변환할 수 있으므로 그 변환된 3차원 데이터들을 도 2에 해당하는 각 평면 관절로 구분하여 보간을 수행하면 각 관절의 3차원 운동 정보를 구할 수 있다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
상기한 바와 같은 본 발명에 따른 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치 및 방법은 수동적 센서에 해당하는 스테레오 카메라를 이용하여 사람의 동작 정보를 획득하여 사람의 몸에 특별한 마커를 붙이지 아니하고 사람의 동작 정보를 획득할 수 있는 수단을 제시함으로써 인간-로봇의 상호작용이라든가 유비쿼터스 환경에서 사람의 제스쳐와 같은 동작을 해석할 수 있는 기본 정보를 제시할 수 있는 효과가 있다.
또한, 사람의 동작을 모방하여 동작하는 원격지의 로봇 제어와 같은 분야에도 사용가능한 효과가 있다.

Claims (4)

  1. 스테레오 영상과 영상 각 픽셀에 대한 거리정보를 수집하여 제공하는 스테레오 카메라와,
    상기 스테레오 카메라에서 수집된 거리정보로부터 전경에 해당하는 사람과 배경을 분리하는 배경 분리 처리 모듈과,
    사람에 대한 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 제공하는 사람의 기구적 모델 모듈과,
    상기 스테레오 카메라에서 수집된 스테레오 영상과 상기 배경 분리 처리 모듈에서 분리된 사람에 대한 상이도 값 정보를 사람의 기구적 모델 모듈에서 제공되는 모델에 따라 일정 간격으로 나누고, 그 각 간격에서의 상이도 정보에 대한 히스토그램 분석을 통하여 2차원 이미지를 생성하여 자체폐색을 분리하는 자체 폐색 분리 모듈과,
    상기 자체폐색 분리 모듈에서 생성된 2차원 이미지를 상기 사람의 기구적 모델 모듈에서 제공된 2차원 혼합 가우시안 모델과 대조하여 사람 동작을 분석한 후, 이를 다시 거리정보를 추가하여 3차원 평면 조합 모델과 보간(fitting)함으로써 사람의 3차원 동작을 얻는 동작 분석 모듈을 포함하는 것을 특징으로 하는 스테레오 비전 센서 기반의 사람 동작 획득 장치.
  2. 스테레오 영상과 거리정보를 수집하는 스테레오 카메라와, 전경에 해당하는 사람과 배경을 분리하는 배경 분리 처리 모듈과, 사람에 대한 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 제공하는 사람의 기구적 모델 모듈과, 스테레오 영상과 사람에 대한 상이도 값 정보에 대한 히스토그램 분석을 통하여 2차원 이미지를 생성하고 자체폐색을 분리하는 자체 폐색 분리 모듈과, 상기 자체폐색 분리 모듈에서 생성된 2차원 이미지에서 사람 동작을 분석한 후, 거리정보를 추가함으로써 3차원 모델의 위치 정보를 보강하여 사람의 3차원 동작을 얻는 동작 분석 모듈을 포함하는 장치에서의 사람 동작 획득 방법에 있어서,
    상기 스테레오 카메라가 측정되는 스테레오 영상과 영상 각 픽셀에 대한 상이도 및 거리정보(depth map)를 수집하여 배경 분리 처리 모듈로 전송하는 영상 및 거리 정보 수집 단계와,
    상기 배경 분리 처리 모듈이 영상 및 거리 정보 수집 단계에서 전송된 거리정보로부터 전경(foreground)에 해당하는 사람과 배경(background)을 분리하여 자체폐색 분리 모듈로 전송하는 배경 분리 처리 단계와,
    상기 사람의 기구적 모델 모듈이 사람의 상반신에 대한 3차원 평면 조합 모델과 2차원 혼합 가우시안 모델을 자체폐색 분리 모듈로 전송하는 사람 모델 단계와,
    자체폐색 분리 모듈이 스테레오 영상과 사람에 대한 상이도 값 정보를 사람의 기구적 모델 모듈에서 제공되는 정보에 따라 일정 부위로 구분하고 그 부위의 각 간격에서의 상이도 값에 대한 히스토그램 분석을 통하여 2차원의 이진화된 사람 영상을 생성하고 팔이 몸의 다른 부분을 가리면서 발생하는 자체폐색을 분리하는 자체폐색 분리 단계 및;
    동작 분석 모듈이 분리된 폐색부위와 2차원의 이진화된 사람 영상에 기대치 최대화 알고리즘을 사용하여 각 관절에 해당하는 혼합 가우시안 모델을 추정하고, 추정된 가우시안 모델에 따라 사람 동작을 2차원상에서 분석한 후 거기에 깊이 정보를 추가하여 3차원적으로 동작을 추정하는 동작 분석 단계를 포함하는 것을 특징으로 하는 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 방법.
  3. 제2항에 있어서,
    상기 자체폐색 분리 단계는,
    상기 자체폐색 분리 모듈이 배경 분리 처리 단계에서 전송된 배경이 분리된 상이도 이미지에 대한 히스토그램을 계산하는 상이도 이미지에 대한 히스토그램 계산 단계와,
    상기 자체폐색 분리 모듈이 수학식 3에 기재된바와 같이 최대로 누적된 거리값에 일정 간격을 더해서 시작점
    Figure 112006066908526-pat00060
    를 설정하고 상이도 히스토그램에서 히스토그램 값을 갖는 최대 상이도 값
    Figure 112006066908526-pat00061
    로 끝점을 설정하는 상이도값의 시작점과 끝점 설정 단계와,
    상기 자체폐색 분리 모듈이 시작점
    Figure 112006066908526-pat00062
    값을 1증가 시키는 시작점의 값 증가 단계와,
    상기 자체폐색 분리 모듈이 현재 거리값
    Figure 112006066908526-pat00063
    를 기준으로 전체 거리값 영상 중
    Figure 112006066908526-pat00064
    보다 값이 작은 부분을 제거하는 전체 거리값 영상 중 현재 거리값보다 값이 작은 부분 제거 단계와
    상기 자체폐색 분리 모듈이 수학식 4를 사용하여 남은 상이도 영상을 2차원 영상으로 변환하는 남은 상이도 영상 이진화 단계와,
    상기 자체폐색 분리 모듈이 2차원 영상으로 변환된 영상에 컴포넌트 라벨링 기법을 사용해 덩어리에 번호를 매기고 각 덩어리마다 크기와 위치를 계산하는 이진화된 영상 덩어리들에 번호 설정 및 크기와 위치 계산 단계와,
    상기 자체폐색 분리 모듈이 상기 이진화된 영상 덩어리들에 번호 설정 및 크기와 위치 계산 단계에서 구한 덩어리의 위치가 다른 덩어리의 위치와 같은 곳에 위치하면 폐색이 발생한 것으로 판단하며 폐색되는 덩어리의 크기와 일치하는 부위에서 폐색이 발생하는 것으로 판단하는 각 덩어리의 크기와 수에 따라 폐색된 부위를 구분하는 단계와,
    상기 자체폐색 분리 모듈이 상기 각 덩어리의 크기와 수에 따라 폐색된 부위를 구분하는 단계에서 폐색이 발생되었으면 자체폐색 분리 단계를 종료하는 자체폐색이 발생하였나 확인 단계 및;
    상기 자체폐색 분리 모듈이 상기 상이도값의 시작점의 값 증가 단계에서
    Figure 112006066908526-pat00065
    가 증가된 상이도값의 시작점
    Figure 112006066908526-pat00066
    값이 상기 상이도값의 시작점과 끝점 설정 단계에서 설정된 끝점보다 큰가를 확인하여, 크지 않으면 상기 상이도값의 시작점의 값 증가 단계로 진행하는 시작점이 끝점 보다 큰가를 확인하는 단계를 포함하는 것 을 특징으로 하는 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 방법.
    (수학식 3)
    Figure 112006066908526-pat00067
    여기서,
    Figure 112006066908526-pat00068
    는 최대로 누적된 거리값,
    Figure 112006066908526-pat00069
    은 일정 간격을 나타낸다.
    (수학식 4)
    Figure 112006066908526-pat00070
    여기서,
    Figure 112006066908526-pat00071
    는 이진화된 거리데이터 영상,
    Figure 112006066908526-pat00072
    은 전체 거리데이터 영상이다.
  4. 제2항에 있어서,
    상기 동작 분석 단계는,
    상기 동작 분석 모듈이 상기 자체폐색 분리 단계에서 폐색이 발생하여 폐색된 부분이 구분된 상태인가를 확인하는 자체 폐색 발생 확인 단계와,
    상기 동작 분석 모듈이 폐색에 의하여 미리 검지된 몸의 부위를 제거하는 자체 폐색이 발생 부분 제거 단계와,
    상기 동작 분석 모듈이 기대치 최대화 알고리즘을 사용하여 상기 사람의 기구적 모델에서 제공되는 2차원 혼합 가우시안 모델의 각 관절에 해당하는 가우시안 모델을 추정하는 가우시안 모델 추정 단계와,
    상기 동작 분석 모듈이 상기 가우시안 모델 추정 단계에서 추정된 가우시안 모델의 각 부분들의 위치 데이터에 각각의 부분의 깊이값을 대입함으로써 3차원 좌표값에 준하여 각 모델들의 위치를 보간(fitting)하여 3차원적으로 추정하는 모델 각 부분의 위치 추정 단계를 포함하는 것을 특징으로 하는 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 방법.
KR1020060089785A 2006-09-15 2006-09-15 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법 KR100808543B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060089785A KR100808543B1 (ko) 2006-09-15 2006-09-15 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060089785A KR100808543B1 (ko) 2006-09-15 2006-09-15 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법

Publications (1)

Publication Number Publication Date
KR100808543B1 true KR100808543B1 (ko) 2008-02-29

Family

ID=39383639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060089785A KR100808543B1 (ko) 2006-09-15 2006-09-15 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법

Country Status (1)

Country Link
KR (1) KR100808543B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933957B1 (ko) 2008-05-16 2009-12-28 전남대학교산학협력단 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법
WO2010134725A2 (ko) * 2009-05-21 2010-11-25 팅크웨어(주) 제스처 기반 사용자 인터페이스 시스템 및 그 방법
WO2012023639A1 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 다수의 센서를 이용하는 객체 계수 방법 및 장치
KR101256046B1 (ko) 2011-08-12 2013-04-18 한국과학기술원 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
KR101305694B1 (ko) * 2011-10-20 2013-09-09 엘지이노텍 주식회사 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
KR101383988B1 (ko) * 2012-11-28 2014-04-10 정영규 3차원 카메라를 이용한 객체 인식 시스템 및 방법
US8805024B2 (en) 2010-12-22 2014-08-12 Electronics And Telecommunications Research Institute Motion capture apparatus and method
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
KR20200074350A (ko) * 2018-12-14 2020-06-25 한국철도기술연구원 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055310A (ko) * 2002-12-20 2004-06-26 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055310A (ko) * 2002-12-20 2004-06-26 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933957B1 (ko) 2008-05-16 2009-12-28 전남대학교산학협력단 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법
WO2010134725A2 (ko) * 2009-05-21 2010-11-25 팅크웨어(주) 제스처 기반 사용자 인터페이스 시스템 및 그 방법
WO2010134725A3 (ko) * 2009-05-21 2011-02-24 팅크웨어(주) 제스처 기반 사용자 인터페이스 시스템 및 그 방법
US10462454B2 (en) 2010-07-20 2019-10-29 Memory Engine Inc. Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
US9087258B2 (en) 2010-08-17 2015-07-21 Lg Electronics Inc. Method for counting objects and apparatus using a plurality of sensors
WO2012023639A1 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 다수의 센서를 이용하는 객체 계수 방법 및 장치
US8805024B2 (en) 2010-12-22 2014-08-12 Electronics And Telecommunications Research Institute Motion capture apparatus and method
KR101256046B1 (ko) 2011-08-12 2013-04-18 한국과학기술원 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US8934673B2 (en) 2011-10-20 2015-01-13 Lg Innotek Co., Ltd. Image processing method and apparatus for detecting target
KR101305694B1 (ko) * 2011-10-20 2013-09-09 엘지이노텍 주식회사 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
KR101383988B1 (ko) * 2012-11-28 2014-04-10 정영규 3차원 카메라를 이용한 객체 인식 시스템 및 방법
KR20200074350A (ko) * 2018-12-14 2020-06-25 한국철도기술연구원 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법
KR102160547B1 (ko) * 2018-12-14 2020-09-29 한국철도기술연구원 무임승차 징후자 검지 및 특징 정보 추출 시스템과 그 방법

Similar Documents

Publication Publication Date Title
KR100808543B1 (ko) 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
EP1870038B1 (en) Motion capture apparatus and method, and motion capture program
EP2674913B1 (en) Three-dimensional object modelling fitting & tracking.
US6674877B1 (en) System and method for visually tracking occluded objects in real time
CN103778635B (zh) 用于处理数据的方法和装置
JP5211069B2 (ja) ラベル付けを用いた人体姿勢の推定および追跡
JP2009536731A5 (ko)
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
CN111596767A (zh) 一种基于虚拟现实的姿态捕获方法和装置
JP3144400B2 (ja) ジェスチャ認識装置及び方法
Yamauchi et al. Recognition of walking humans in 3D: Initial results
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
Haker et al. Self-organizing maps for pose estimation with a time-of-flight camera
Maryam et al. A novel human posture estimation using single depth image from Kinect v2 sensor
Amat et al. Stereoscopic system for human body tracking in natural scenes
Meers et al. Face recognition using a time-of-flight camera
Kapuscinski et al. Recognition of signed dynamic expressions observed by ToF camera
Shah et al. Gesture recognition technique: a review
KR101566448B1 (ko) 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
Devarakota et al. 3-D-skeleton-based head detection and tracking using range images
Cordea et al. 3D head pose recovery for interactive virtual reality avatars
Barrois et al. Spatio-temporal 3d pose estimation of objects in stereo images
Liu et al. Cascaded particle filter for real-time tracking using RGB-D sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120131

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee