KR100939294B1 - 3차원 공간에서의 사람 움직임 추적 방법 및 장치 - Google Patents

3차원 공간에서의 사람 움직임 추적 방법 및 장치 Download PDF

Info

Publication number
KR100939294B1
KR100939294B1 KR1020070137456A KR20070137456A KR100939294B1 KR 100939294 B1 KR100939294 B1 KR 100939294B1 KR 1020070137456 A KR1020070137456 A KR 1020070137456A KR 20070137456 A KR20070137456 A KR 20070137456A KR 100939294 B1 KR100939294 B1 KR 100939294B1
Authority
KR
South Korea
Prior art keywords
person
silhouette
tracking
image
human body
Prior art date
Application number
KR1020070137456A
Other languages
English (en)
Other versions
KR20090069704A (ko
Inventor
김대환
김대진
김효정
천영재
김순기
김태완
정석주
Original Assignee
주식회사 케이티
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티, 포항공과대학교 산학협력단 filed Critical 주식회사 케이티
Priority to KR1020070137456A priority Critical patent/KR100939294B1/ko
Publication of KR20090069704A publication Critical patent/KR20090069704A/ko
Application granted granted Critical
Publication of KR100939294B1 publication Critical patent/KR100939294B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

3차원 공간에서의 사람 움직임 추적 방법 및 장치가 개시된다. 본 발명에 따른 사람 움직임 추적 방법은, 스테레오 영상으로부터 얻어지는 시각차 정보를 이용하여 사람을 검출하는 단계, 상기 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 상기 결정된 초기 자세와 상기 실루엣의 형태에 따라서 상기 사람에 3차원 인체 모델을 초기화하는 단계 및 상기 초기화된 3차원 인체 모델을 기초로 상기 사람의 움직임을 추적하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 입력 영상으로부터 3차원 인체 모델을 이용하여 사람의 움직임을 추적하고자 하는 경우에 3차원 인체 모델을 다양한 자세에 대하여 정확하게 초기화할 수 있는 효과가 있다.
사람 움직임 추적, 3차원 인체 모델

Description

3차원 공간에서의 사람 움직임 추적 방법 및 장치{Method and apparatus for tracking human body in 3D space}
본 발명은 3차원 공간에서의 사람 움직임 추적 방법 및 장치에 관한 것으로, 보다 상세하게는 입력 영상으로부터 3차원 인체 모델을 이용하여 사람의 움직임을 추적하는 방법 및 장치에 관한 것이다.
영상에 기반하여 사람의 움직임을 추적하는 연구가 근래에 많이 이루어지고 있다. 영상 기반 감시, 모션 캡쳐, 사람 행동 분석, 휴먼 컴퓨터 인터페이스(Human Computer Interface, HCI)와 휴먼 로봇 인터페이스(Human Robot Interface, HRI)와 같은 휴먼 인터페이스 등의 다양한 응용 분야에서 사람의 움직임에 대한 분석이 필요하기 때문이다.
사람의 움직임을 추적하기 위한 기술로서, 종래에 인체에 움직임을 감지할 수 있는 마커를 부착하고, 이 마커 자체를 트랙킹함으로써 사람의 움직임을 추적하는 방법이 있었다. 그러나 마커를 인체에 직접 부착해야 하는 번거로움과 마커를 부착할 수 있는 특수한 상황에서만 사람의 움직임을 추적할 수 밖에 없는 문제점이 있었다.
따라서 입력 영상으로부터 사람의 형상에 근사화된 3차원 인체 모델을 이용하여 사람의 움직임을 추적하는 기술이 근래에 각광받고 있다. 이를 위하여는 우선 3차원 인체 모델을 입력 영상에 존재하는 사람에 초기화할 필요가 있는데, 임의의 포즈에 대하여 3차원 인체 모델을 초기화하는 것은 쉽지 않다. 따라서 종래에 수동으로 특정한 위치에 특정한 자세를 취하고 3차원 인체 모델을 초기화하였다.
본 발명이 이루고자 하는 기술적 과제는 입력 영상으로부터 3차원 인체 모델을 이용하여 사람의 움직임을 추적하고자 하는 경우에 3차원 인체 모델을 다양한 자세에 대하여 정확하게 초기화할 수 있는 사람 움직임 추적 방법 및 장치를 제공하는 데 있다.
나아가, 본 발명이 이루고자 하는 기술적 과제들은 상기에 언급된 바로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 3차원 공간에서의 사람 움직임 추적 방법은, (a) 스테레오 영상으로부터 얻어지는 시각차 정보를 이용하여 사람을 검출하는 단계; (b) 상기 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 상기 결정된 초기 자세와 상기 실루엣의 형태에 따라서 상기 사람에 3차원 인체 모델을 초기화하는 단계; 및 (c) 상기 초기화된 3차원 인체 모델을 기초로 상기 사람의 움직임을 추적하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 (a) 단계는, 상기 시각차 정보를 이용하여 사람 후보를 검출하는 단계; 및 상기 검출된 사람 후보에 대하여 얼굴을 검출함으로써 사람임을 검증하는 단계를 포함할 수 있다.
또한, 상기 실루엣은, 시각차 영상, 또는 상기 시각차 영상에 대응하는 영상과 미리 얻어진 배경 영상과의 차분 영상을 이용하여 추출될 수 있다.
또한, 상기 (b) 단계는, 상기 사람의 실루엣 영상을 추출하는 단계; 상기 추출된 실루엣 영상으로부터 상기 실루엣의 특징으로서 후 모멘트(Hu moment)를 계산하는 단계; 및 상기 계산된 후 모멘트에 따라서 상기 초기 자세를 결정하는 단계를 포함할 수 있다.
나아가, 상기 (b) 단계는, 상기 추출된 실루엣 영상으로부터 수평 및 수직 히스토그램을 생성하는 단계; 및 상기 결정된 초기 자세와 상기 수평 및 수직 히스토그램을 분석한 결과에 따라 상기 3차원 인체 모델을 초기화하는 단계를 더 포함할 수 있다.
또한, 상기 (c) 단계는, (c1) 파티클 필터를 이용하여 상기 사람의 움직임을 대략적으로 추적하는 단계; 및 (c2) 상기 대략적으로 추적된 사람의 움직임을 기반으로 ICP(iterative closest point) 알고리즘을 이용하여 정확한 움직임을 추적하는 단계를 포함할 수 있다.
또한, 상기 (c1) 단계는 상기 사람의 과거 움직임 정보를 이용하여 파티클 샘플을 생성하기 위한 기준 위치를 정할 수 있다.
또한, 상기 (c2) 단계에서 사람 움직임 추적이 실패할 경우 상기 (c1) 단계에서 샘플의 분포 영역을 확대하여 파티클 샘플을 생성할 수 있다.
또한, 상기 사람 움직임 추적 방법은, 인체학적 구조상 사람이 움직일 수 있는 범위에 상기 3차원 인체 모델이 존재할 수 있도록 제약 조건을 가하는 단계를 더 포함할 수 있다.
상기 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 3차원 공간에서의 사람 움직임 추적 장치는, 스테레오 영상으로부터 얻어지는 시각차 정보를 이용하여 사람을 검출하는 사람 검출부; 상기 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 상기 결정된 초기 자세와 상기 실루엣의 형태에 따라서 상기 사람에 3차원 인체 모델을 초기화하는 모델 초기화부; 및 상기 초기화된 3차원 인체 모델을 기초로 상기 사람의 움직임을 추적하는 움직임 추적부를 포함하는 것을 특징으로 한다.
여기서, 상기 사람 검출부는, 상기 시각차 정보를 이용하여 사람 후보를 검출하는 후보 검출부; 및 상기 검출된 사람 후보에 대하여 얼굴을 검출함으로써 사람임을 검증하는 얼굴 검출부를 포함할 수 있다.
또한, 상기 실루엣은, 시각차 영상, 또는 상기 시각차 영상에 대응하는 영상과 미리 얻어진 배경 영상과의 차분 영상을 이용하여 추출될 수 있다.
또한, 상기 모델 초기화부는, 상기 사람의 실루엣 영상을 추출하는 실루엣 추출부; 상기 추출된 실루엣 영상으로부터 상기 실루엣의 특징으로서 후 모멘트(Hu moment)를 계산하는 계산부; 및 상기 계산된 후 모멘트에 따라서 상기 초기 자세를 결정하는 결정부를 포함할 수 있다.
나아가, 상기 모델 초기화부는, 상기 추출된 실루엣 영상으로부터 수평 및 수직 히스토그램을 생성하는 히스토그램 생성부; 및 상기 결정된 초기 자세와 상기 수평 및 수직 히스토그램을 분석한 결과에 따라 상기 3차원 인체 모델을 초기화하는 초기화부를 더 포함할 수 있다.
또한, 상기 움직임 추적부는, 파티클 필터를 이용하여 상기 사람의 움직임을 대략적으로 추적하는 제1 추적부; 및 상기 대략적으로 추적된 사람의 움직임을 기반으로 ICP(iterative closest point) 알고리즘을 이용하여 정확한 움직임을 추적하는 제2 추적부를 포함할 수 있다.
또한, 상기 제1 추적부는 상기 사람의 과거 움직임 정보를 이용하여 파티클 샘플을 생성하기 위한 기준 위치를 정할 수 있다.
또한, 상기 제2 추적부에서 사람 움직임 추적이 실패할 경우 상기 제1 추적부에서 샘플의 분포 영역을 확대하여 파티클 샘플을 생성할 수 있다.
또한, 상기 사람 움직임 추적 장치는, 인체학적 구조상 사람이 움직일 수 있는 범위에 상기 3차원 인체 모델이 존재할 수 있도록 제약 조건을 가하는 제약 조건 부여부를 더 포함할 수 있다.
상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 사람 움직임 추적 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 의하면, 입력 영상으로부터 3차원 인체 모델을 이용하여 사람의 움직임을 추적하고자 하는 경우에 3차원 인체 모델을 다양한 자세에 대하여 정확하게 초기화할 수 있는 효과가 있다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 공간에서의 사람 움직임 추적 장치의 블록도이다. 도 1을 참조하면, 본 실시예에 따른 사람 움직임 추적 장치(100)는 사람 검출부(110), 모델 초기화부(120), 움직임 추적부(130) 및 제약 조건 부여부(140)를 포함하여 이루어진다.
사람 검출부(110)는 스테레오 카메라(미도시)로부터 얻어지는 스테레오 영상을 입력받는다. 스테레오 영상은 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 2개의 2차원 영상, 즉 서로 짝(pair) 관계에 있는 2차원 영상을 의미한다. 사람 검출부(110)는 스테레오 영상으로부터 시각차(disparity) 정보를 획득하고, 이 시각차 정보를 이용하여 사람을 검출한다. 사람 검출부(110)는 구체적으로, 도 1에 도시된 바와 같이 후보 검출부(112)와 얼굴 검출부(114)로 이루어진다.
후보 검출부(112)는 스테레오 영상으로부터 시각차 정보, 예를 들어 시각차 맵을 획득하고, 시각차 맵을 이용하여 사람 후보를 검출한다. 보다 구체적으로 설명하면, 후보 검출부(112)는 시각차 맵을 사람의 키 방향인 높이 방향(Y축 방향)으로 투상(projection)함으로써 2차원 공간-시각차 히스토그램을 생성한다. 그리고 2 차원 공간-시각차 히스토그램(spatial-disparity histogram)과 물체-지향 크기-적응 필터(object-oriented scale-adaptive filter : OOSAF)를 승적(convolution) 연산함으로써 사람 후보를 검출한다. 2차원 공간-시각차 히스토그램과 OOSAF가 승적 연산되면 사람 후보는 2차원 공간-시각차 히스토그램 상에서 부드러운 외곽선을 가지는 블롭(blob)으로 나타나게 된다.
얼굴 검출부(114)는 후보 검출부(112)에 의하여 검출된 사람 후보에 대하여 얼굴을 검출함으로써 사람임을 검증한다. 후보 검출부(112)에 의해 얻어진 사람 후보는 실제 사람일 수도 있고 아닐 수도 있기 때문에, 실제 사람임을 알기 위해서 얼굴 검출을 이용한다. 얼굴 검출부(114)는 얼굴 검출을 위하여 외형 기반(appearance-based) 패턴 인식 방법의 하나인 AdaBoost 알고리즘을 사용할 수 있다.
모델 초기화부(120)는 사람 검출부(110)에서 검출된 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 초기 자세와 사람의 실루엣의 형태에 따라 사람에 3차원 인체 모델을 초기화한다. 모델 초기화부(120)는 구체적으로, 도 1에 도시된 바와 같이 실루엣 추출부(122), 계산부(124), 결정부(126), 히스토그램 생성부(128) 및 초기화부(129)로 이루어진다.
실루엣 추출부(122)는 사람의 실루엣 영상을 추출한다. 여기서, 실루엣 추출부(122)는 스테레오 영상으로부터 얻어지는 시각차 영상과, 이 시각차 영상에 대응하는 영상과 미리 얻어진 배경 영상의 차분 영상(subtracted image)을 앤드 연산하여 실루엣 영상을 추출할 수 있다. 시각차 영상에 대응하는 영상과 미리 얻어지는 배경 영상은 스테레오 카메라를 구성하는 두 카메라 중 어느 하나로부터 얻어진다.
도 2는 3차원 인체 모델의 초기화에 제공되는 장면으로서, 사람이 두팔을 벌리고 있는 자세를 하고 있다. 도 3은 도 2에 도시된 장면으로부터 얻어지는 시각차 영상(좌측) 및 시각차 영상과 상기된 차분 영상을 앤드 연산함으로써 추출된 실루엣 영상(우측)을 나타낸다. 여기서, 실루엣 추출부(122)는 시각차 영상 혹은 상기 차분 영상 자체를 실루엣 영상으로 삼을 수도 있다. 다만, 시각차 영상과 상기된 차분 영상을 앤드 연산함으로써 조명 상태 및 배경과의 구별이 열악한 경우에도 정확한 실루엣 영상을 추출할 수 있다.
계산부(124)는 실루엣 추출부(122)에서 추출된 실루엣 영상으로부터 실루엣의 특징을 반영할 수 있는 파라미터를 계산한다. 여기서 실루엣의 특징을 반영할 수 있는 파라미터로서, 후 모멘트(Hu moment)를 사용할 수 있다. 후 모멘트는 위치, 크기, 방향에 무관하게 이미지의 형상 분석에 유용한 파라미터로서 7차원의 벡터 형태이다. 후 모멘트에 대한 내용은 [M. Hu, "Visual Pattern Recognition by Moment Invariants," IRE Trans. Information Theory, vol. 8, no. 2, pp. 179-187, 1962]에 기술되어 있으므로 상세한 설명은 생략하기로 한다.
결정부(126)는 계산부(124)에서 계산된 파라미터, 예를 들어 후 모멘트에 따라서, 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정한다. 복수 개의 자세는 사람이 취할 수 있는 대표적인 동작들로 구성될 수 있다. 예를 들어, 두팔을 내리고 있는 자세, 두팔을 벌리고 있는 자세, 좌측 팔만 내리고 있는 자세, 우측 팔만 내리고 있는 자세의 4가지 자세로 정의될 수 있다. 미리 정하여진 자세 들의 수가 많을수록 3차원 인체 모델을 초기화함에 있어 초기화의 정확도는 높아진다. 도 2에 도시된 장면이 3차원 인체 모델의 초기화에 제공된다면, 상기된 4가지 자세들 중 두팔을 벌리고 있는 자세로 초기 자세가 결정될 것이다.
결정부(126)는 실루엣의 특징을 반영하는 파라미터에 따라 초기 자세를 결정하기 위하여 신경 회로망(Neural network)를 이용할 수 있다. 신경 회로망은 인간의 뇌신경 세포와 그 결합 구조를 모방하여 만든 전자 회로망으로서, 유형 식별이나 비선형 사상(mapping)에 고도의 능력을 발휘할 수 있는 회로망이다. 결정부(126)는 신경 회로망 외에도 입력과 출력을 매핑할 수 있는 분류 수단으로서 SVM 분류기(Support Vector Machine) 등을 사용할 수 있다.
히스토그램 생성부(128)는 실루엣 추출부(122)에 의하여 추출된 실루엣 영상으로부터 수평 및 수직 히스토그램을 생성한다. 도 4a 및 4b는 각각 히스토그램 생성부(128)에 의하여 생성되는 수평 및 수직 히스토그램을 나타낸다. 도 4a에 도시된 수평 히스토그램은 도 3의 우측에 도시된 실루엣 영상에 대한 수평 방향의 화소 좌표에 따른 수직 라인의 화소값의 합을 나타낸다. 도 3의 우측 영상 및 도 4a를 참조하면, 실루엣 영상의 수평 방향의 가운데 지점에서는 수직 라인에 밝은색 화소가 많은 부분을 차지하므로 화소값의 합이 높게 나타나는 반면, 사람의 실루엣의 양 끝 지점에서는 수직 라인에 밝은색 화소가 적은 부분을 차지하므로 화소값의 합이 낮게 나타남을 알 수 있다. 도 4b에 도시된 수직 히스토그램은 도 3의 우측에 도시된 실루엣 영상에 대한 수직 방향의 좌표에 따른 수평 라인의 화소값의 합을 나타낸다. 도 3의 우측 영상 및 도 4b를 참조하면, 수평 라인이 양팔을 관통하는 지점에 해당하는 수직 방향의 좌표에서는 화소값의 합이 높게 나타나는 반명 수평 라인이 얼굴 부분을 관통하는 수직 방향의 좌표에서는 화소값의 합이 낮게 나타나는 것을 알 수 있다.
초기화부(129)는 결정부(126)에서 결정된 초기 자세와 히스토그램 생성부(128)에서 생성된, 실루엣 영상의 수평 및 수직 히스토그램을 분석한 결과에 따라 사람 검출부(110)에서 검출된 사람에 3차원 인체 모델을 초기화한다. 본 실시예에서 3차원 인체 모델로는 사람의 신체 구조를 근사화한 실린더 모델을 사용할 수 있다. 도 5는 이러한 실린더 모델의 일 예로서, 인체가 도시된 바와 같이 9개의 실린더와 1개의 구로 모델링된다. 여기서, 실린더 모델은 도 6에 도시된 바와 같이 몸통(Torso)을 기준으로 트리 구조를 이룬다. 실린더 모델에서 각 구 또는 실린더의 움직임은 회전축의 방향을 결정하는 회전 벡터와 회전축의 위치를 결정하는 위치 벡터로 나타내어진다. 이러한 실린더 모델을 사용하는 경우, 초기 자세가 결정되면 각 실린더가 취하고 있는 방향을 알 수 있으며, 각 실린더가 취하고 있는 방향을 기초로 수평 및 수직 히스토그램을 분석하면 각 실린더의 위치와 크기를 알 수 있다. 예를 들어 이미지 상에서 몸통(torso) 실린더의 네 모서리에 해당하는 점의 좌표를 알 수 있게 된다.
또한, 초기화부(129)는 3차원 인체 모델을 초기화함에 있어서 사람의 인체 구조학적 비례 정보를 더 이용할 수 있다. 예를 들어 몸통의 너비나 높이가 구해지면 상대적인 팔(leg)의 길이 혹은 다리(leg)의 길이를 예측할 수 있으며, 양팔을 벌리고 있는 자세에서 초기 자세와 히스토그램 분석 결과만으로 위팔(upper arm)과 아래팔(lower arm)이 잘 구분이 되지 않는 경우 인체 구조학적 비례 정보를 이용하여 위팔과 아래팔을 구분할 수 있다.
도 7은 본 실시예에 따라서 도 2에 도시된 장면에 대하여 3차원 인체 모델을 초기화한 결과를 나타낸다. 도 7을 참조하면 9개의 실린더와 1개의 구가 영상에 존재하는 사람에 오버랩되어 있음을 알 수 있다.
다시 도 1을 참조하면, 움직임 추적부(130)는 모델 초기화부(120)에서 초기화된 3차원 인체 모델을 기초로 사람의 움직임을 추적한다. 여기서, 사람 움직임의 추적은 3차원 인체 모델을 스테레오 카메라로부터 얻어진 영상에 존재하는 사람에 피팅(fitting)하는 것이 목적이다. 움직임 추적부(130)는 구체적으로, 도 1에 도시된 바와 같이 제1 추적부(132)와 제2 추적부(134)로 이루어진다.
제1 추적부(132)는 파티클 필터(particle filter)를 이용하여 사람의 움직임을 대략적으로 추적한다. 파티클 필터를 이용하여 사람의 움직임을 추적하는 과정은 크게 두 단계로 나뉜다. 첫 번째 단계인 상태 전이(state transition) 단계에서는 추적하고자 하는 대상인 사람의 움직임 정보를 이용하여 파티클 샘플, 즉 실린더 모델의 샘플을 생성한다. 두 번째 단계인 관찰 측정(observation measurement) 단계에서는 각 파티클 샘플의 측정값을 이용하여 사람의 움직임을 추정한다. 따라서 파티클 필터를 이용하여 사람의 움직임을 추적하기 위해서는 2개의 모델을 정의해야 한다. 첫 번째 모델은 상태 전이 모델(state transition model)로서 추적하고자 하는 사람의 움직임 정보를 모델링하는 것이다. 두 번째 모델은 관찰 모델(observation model)로서 현재의 움직임 상태(motion state)에서 실린더 모델의 샘플과 관찰 데이터(observation data), 즉 스테레오 카메라로부터 입력받은 영상의 관계를 찾는 것이다.
본 실시예에서 상태 전이 모델은 사람의 과거 움직임 정보, 예를 들면 이전 프레임에서의 실린더 모델의 속도를 이용하여 현재 프레임에서 파티클 샘플을 생성하기 위한 기준 위치를 정한다. 이전 프레임에서의 실린더 모델의 속도를 이용하여 파티클 샘플을 생성하기 위한 기준 위치는 다음 수학식에 따라 구해질 수 있다.
Figure 112007093209857-pat00001
여기서,
Figure 112007093209857-pat00002
,
Figure 112007093209857-pat00003
는 각각 t 프레임 및 t-1 프레임에서 예측된 속도를,
Figure 112007093209857-pat00004
및
Figure 112007093209857-pat00005
는 각각 t-1 프레임 및 t-2 프레임에서의 모션 파라미터를,
Figure 112007093209857-pat00006
는 파티클 샘플을 생성하기 위한 기준 위치를 나타내는 모션 파라미터를 의미한다. 모션 파라미터란 객체(실린더)의 위치를 나타내기 위한 파라미터로서, 이동(translation)과 회전(rotation) 정보를 가지는 파라미터이다. 그리고
Figure 112007093209857-pat00007
는 0과 1 사이의 임의의 값이다. 이처럼 사람의 과거 움직임 정보를 이용하여 각 프레임마다 파티클 샘플을 생성하기 위한 기준 위치를 변경하고, 일정 영역에서 파티클 샘플을 생성한다.
관찰 모델은 파티클 샘플과 관찰 데이터 간의 최대 공산 함수(maximum likelihood function)를 이용한다. 최대 공산 함수는, 실린더 모델의 각 포인트의 법선 벡터(normal vector)와 관찰 데이터인 영상에 나타난 사람의 각 포인트의 법선 벡터의 내적의 합의 평균으로 정의된다. 최대 공산 함수는 다음 수학식에 따라 정의될 수 있다.
Figure 112007093209857-pat00008
여기서, N은 포인트의 개수를,
Figure 112007093209857-pat00009
및
Figure 112007093209857-pat00010
는 각각 포인트 i에 대한 실린더 모델의 각 포인트의 법선 벡터 및 사람의 각 포인트의 법선 벡터를,
Figure 112007093209857-pat00011
는 벡터의 내적 연산을 의미한다. 제1 추적부(132)는
Figure 112007093209857-pat00012
를 기준으로 샘플링된 파티클 중 최대 공산 함수가 최소가 되는 모션 파라미터
Figure 112007093209857-pat00013
를 찾아서 이를 사람 움직임으로 추정한다.
제2 추적부(134)는 제1 추적부(132)에서 대략적으로 추적된 사람의 움직임을 기반으로 ICP(iterative closest point) 알고리즘을 이용하여 정확한 사람의 움직임을 추적한다. 상술한 제1 추적부(132)에 의한 파티클 필터링 및 제2 추적부(134)에 의한 ICP 알고리즘은 3차원 인체 모델을 구성하는 실린더 별로 독립적으로 적용된다. 또한, 도 5에 도시된 바와 같은 실린더 모델을 사용하는 경우 10개의 각 실린더 모델을 사람에 피팅시키는데, 일정 순서, 예를 들면 몸통, 머리, 위팔, 아래팔 윗다리, 아랫다리 순서로 ICP 알고리즘을 적용하여 피팅시킬 수 있다.
본 실시예에서, 임의의 실린더에 대하여 사람의 움직임을 추적하는 과정은 다음과 같은 스텝들로 이루어진다.
스텝 1. 상술한 제1 추적부(132)에 의하여 얻어진 모션 파라미터
Figure 112007093209857-pat00014
를 기준으로, 스테레오 영상에서 얻어진 사람 위의 점 IPi와, 실린더 모델 위의 점 MPi 사이의 거리 d(IPi, MPi)가 최소화되도록 하는 대응점의 집합 Y=C(IPi, MPi)를 구한다.
스텝 2. Y=C(IPi, MPi) 사이의 정합(Registration) 과정을 통하여 움직임 변화량 ΔP를 구한다. 대응점 사이의 정합 과정에 관하여는 [P.J.Besl and N.MacKay, "A method for registration of 3-d shapes," IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239-256, 1992]에 기술되어 있으므로 상세한 설명은 생략하기로 한다.
스텝 3. 실린더 모델 위의 점 MPi에 다음 수학식에서와 같이 상기 스텝 2에서 구해진 움직임 변화량 ΔP를 움직임 변환(motion transformation) 적용한다.
Figure 112007093209857-pat00015
그리고 움직임 변화량 ΔP를 적용한 결과 피팅 에러(fitting error)의 변화가 없을 때까지 상기된 스텝 1 내지 3을 반복(iteration)한다. 물론 스텝이 반복되는 경우에 상기 스텝 1에서 기준이 되는 모션 파라미터
Figure 112007093209857-pat00016
는 상기 스텝 3에서 움직임 변환 적용된 모션 파라미터가 된다.
사람의 움직임이 빠를 경우에 상술한 제2 추적부(134)에서 사람 움직임을 추적하는 도중 추적이 실패할 수가 있다. 추적이 실패하는 경우는 실린더 모델과 추적의 대상인 사람과의 차이가 크게 벌어지는 경우로서, 예를 들면 피팅 에러가 매우 커져 일정 값 이하로 내려가지 않으면 추적이 실패한 것으로 볼 수 있다. 본 실시예에서는 이러한 경우에 제1 추적부(132)에서 파티클 샘플을 생성할 때에 샘플의 분포 영역을 확대하여 파티클 샘플을 생성하도록 한다. 이렇게 함으로써 제1 추적부(132)에서 추적의 대상이 되는 사람과 가까운 모션 파라미터
Figure 112007093209857-pat00017
가 구해지므로, 사람 움직임 추적이 실패하더라도 제2 추적부(134)가 다시 사람의 움직임을 정확히 추적할 수 있게 된다.
제약 조건 부여부(140)는 움직임 추적부(130)에 의하여 피팅된 3차원 인체 모델이 인체학적 구조상 사람이 움직일 수 있는 범위에 존재하도록 제약 조건(Constraints)을 가한다. 이는 잘못 추적된 움직임이나 인체학적 구조상 움직일 수 없는 범위에 3차원 인체 모델이 존재하는 것을 방지하여 보다 정확한 움직임을 추적할 수 있도록 하기 위함이다. 제약 조건으로는 관절 제약 조건(Articulation constraints), 관절 범위 제약 조건(articulation range constraints), 침입 제약 조건(Penetration constraints), 몸통 높이 제약 조건(Torso height constraints) 등이 있다.
관절 제약 조건은 사람의 인체학적 구조상 몸통은 머리와 위팔, 윗다리와 연결되어 있고 아래팔과 아랫다리는 각각 위팔과 윗다리에 연결되어야 하는 등 각 사 지 별 연결 부위는 연결되어져 있어야 하는 것을 의미한다. 관절 범위 제약 조건은 사람의 각 관절들은 움직일 수 있는 범위의 한계가 존재한다는 조건이다. 예를 들어 다리가 Z 축 방향으로 180도 이상 변할 수는 없다. 따라서 각 축마다 관절들이 움직일 수 있는 한계 각도를 설정하여 그 범위 안에서만 움직임을 허용하도록 한다. 침입 제약 조건은 사람의 각 사지는 3차원 공간 상에서 서로 침입할 수 없다는 조건이다. 따라서 사람의 움직임 추적 중 실린더끼리 침입이 발생하지 않도록 각도와 위치를 조절한다. 몸통 높이 제약 조건은 사람의 몸통 영역의 애매성을 제거하기 위한 것으로서, 3차원 인체 모델은 이미 설명한 바와 같이 몸통을 중심으로 하는 계층적 구조로 표현되기 때문에 몸통의 경우 가장 높은 레벨이므로 가장 안정적인 추적을 하여야 한다. 따라서 3차원 인체 모델의 초기화 시의 몸통의 3차원 공간상의 높이에 제약을 주어 안정적인 추적이 되도록 한다.
도 8은 상술한 실시예에 따라 도 7에 도시된 바와 같이 초기화된 3차원 인체 모델에 기초하여 사람의 움직임이 추적된 실험 결과를 나타낸다. 도 8에서는 여러 프레임들 중 편의상 네 개의 프레임만 도시하였다. 각 프레임에서 좌측의 영상은 스테레오 카메라를 통하여 얻은 영상이고, 우측은 사람의 움직임이 추적된 결과를 나타낸다. 본 실험 결과는 첫 번째 프레임의 영상(도 2에 해당)이 사람 검출 및 3차원 인체 모델의 초기화에 사용되고, 이를 바탕으로 사람의 움직임이 추적된 결과이다.
도 9는 본 발명의 일 실시예에 따른 3차원 공간에서의 사람 움직임 추적 방법의 흐름도이다. 본 실시예에 따른 사람 움직임 추적 방법은 도 1에 관하여 설명 된 사람 움직임 추적 장치에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1에 관하여 기술된 내용은 본 실시예에 따른 사람 움직임 추적 방법에도 적용된다.
910단계에서 사람 움직임 추적 장치는, 스테레오 영상을 입력받고, 스테레오 영상으로부터 얻어지는 시각차 정보를 이용하여 사람을 검출한다.
920단계에서 사람 움직임 추적 장치는, 상기 910단계에서 검출된 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 결정된 초기 자세와 실루엣의 특징에 따라 상기 910단계에서 검출된 사람에 3차원 인체 모델을 초기화한다.
930단계에서 사람 움직임 추적 장치는 상기 920단계에서 초기화된 3차원 인체 모델을 기초로 사람의 움직임을 추적한다.
940단계에서 사람 움직임 추적 장치는 상기 930단계에서 사람의 움직임을 추적한 결과에 따른 3차원 인체 모델이 인체학적 구조상 사람이 움직일 수 있는 범위에 존재하도록 제약 조건을 가한다.
도 10은 본 발명의 일 실시예에 따라 도 9에 도시된 910단계를 보다 구체적으로 나타낸 흐름도이다. 본 실시예에 따른 910단계는 도 1에 도시된 사람 검출부(110)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1의 사람 검출부(110)에 관하여 기술된 내용은 본 실시예에 따른 910단계에도 적용된다.
911단계에서 사람 움직임 추적 장치는 스테레오 영상으로부터 얻어지는 시각 차 정보를 이용하여 사람 후보를 검출한다.
912단계에서 사람 움직임 추적 장치는 상기 911단계에서 검출된 사람 후보에 대하여 얼굴을 검출함으로써 사람임을 검증한다.
도 11은 본 발명의 일 실시예에 따라 도 9에 도시된 920단계를 보다 구체적으로 나타낸 흐름도이다. 본 실시예에 따른 920단계는 도 1에 도시된 모델 초기화부(120)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 2의 모델 초기화부(120)에 관하여 기술된 내용은 본 실시예에 따른 920단계에도 적용된다.
921단계에서 사람 움직임 추적 장치는 상기 910단계에서 검출된 사람의 실루엣 영상을 추출한다.
922단계에서 사람 움직임 추적 장치는 상기 921단계에서 추출된 사람의 실루엣 영상으로부터 실루엣의 특징으로서 후 모멘트(Hu moment)를 계산한다.
923단계에서 사람 움직임 추적 장치는 상기 922단계에서 계산된 후 모멘트에 따라서 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로서 결정한다.
924단계에서 사람 움직임 추적 장치는 상기 921단계에서 추출된 실루엣 영상으로부터 수평 및 수직 히스토그램을 생성한다.
925단계에서 사람 움직임 추적 장치는 상기 923단계에서 결정된 초기 자세와 상기 924단계에서 생성된 수평 및 수직 히스토그램을 분석한 결과에 따라 3차원 인체 모델을 상기 910단계에서 검출된 사람에 초기화한다.
도 12는 본 발명의 일 실시예에 따라 도 9에 도시된 930단계를 보다 구체적 으로 나타낸 흐름도이다. 본 실시예에 따른 930단계는 도 1에 도시된 움직임 추적부(130)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 2의 움직임 추적부(130)에 관하여 기술된 내용은 본 실시예에 따른 930단계에도 적용된다.
931단계에서 사람 움직임 추적 장치는 파티클 필터를 이용하여 사람의 움직임을 대략적으로 추적한다. 여기서, 파티클 필터를 적용함에 있어서, 사람의 과거 움직임 정보를 이용하여 파티클 샘플을 생성하기 위한 기준 위치를 정할 수 있다.
932단계에서 사람 움직임 추적 장치는 상기 931단계에서 대략적으로 추적된 사람의 움직임을 기반으로 ICP 알고리즘을 이용하여 정확한 움직임을 추적한다. 도 12에는 도시하지 않았으나, 상기 931단계와 상기 932단계는 반복적으로 수행되며, 만일 상기 932단계에서 사람 움직임 추적이 실패할 경우 상기 931단계에서 파티클 필터를 적용함에 있어서 샘플의 분포 영역을 확대하여 파티클 샘플을 생성할 수 있다.
상술한 본 발명에 의하면, 스테레오 영상으로부터 검출된 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 초기 자세와 사람의 실루엣의 형태에 따라서 상기 사람에 3차원 인체 모델을 초기화함으로써, 3차원 인체 모델을 다양한 자세에 대하여 정확하게 초기화할 수 있게 된다. 또한, 파티클 필터를 이용하여 사람의 움직임을 대략적으로 추적하고, 이를 기반으로 ICP 알고리즘을 이용하여 추적함으로써 빠른 움직임에서도 실시간 추적이 가능하다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 공간에서의 사람 움직임 추적 장치의 블록도이다.
도 2는 3차원 인체 모델의 초기화에 제공되는 장면이다.
도 3은 도 2에 도시된 장면으로부터 얻어지는 시각차 영상 및 시각차 영상과 상기된 차분 영상을 앤드 연산함으로써 추출된 실루엣 영상을 나타낸다.
도 4a 및 4b는 각각 히스토그램 생성부(128)에 의하여 생성되는 수평 및 수직 히스토그램을 나타낸다.
도 5는 사람의 신체 구조를 근사화한 실린더 모델의 일 예이다.
도 6에 실린더 모델의 트리 구조를 나타낸다.
도 7은 본 발명의 일 실시예에 따라서 도 2에 도시된 장면에 대하여 3차원 인체 모델을 초기화한 결과를 나타낸다.
도 8은 본 발명의 일 실시예에 따라 도 7에 도시된 바와 같이 초기화된 3차원 인체 모델에 기초하여 사람의 움직임이 추적된 실험 결과를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 3차원 공간에서의 사람 움직임 추적 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따라 도 9에 도시된 910단계를 보다 구체적으로 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따라 도 9에 도시된 920단계를 보다 구체적으로 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따라 도 9에 도시된 930단계를 보다 구체적으로 나타낸 흐름도이다.

Claims (19)

  1. 3차원 공간에서의 사람 움직임 추적 방법에 있어서,
    (a) 스테레오 영상으로부터 얻어지는 시각차 정보를 이용하여 사람을 검출하는 단계;
    (b) 상기 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 상기 결정된 초기 자세와 상기 실루엣의 형태에 따라서 상기 사람에 3차원 인체 모델을 초기화하는 단계; 및
    (c) 상기 초기화된 3차원 인체 모델을 기초로 상기 사람의 움직임을 추적하는 단계를 포함하는 것을 특징으로 하는 사람 움직임 추적 방법.
  2. 제1항에 있어서, 상기 (a) 단계는,
    상기 시각차 정보를 이용하여 사람 후보를 검출하는 단계; 및
    상기 검출된 사람 후보에 대하여 얼굴을 검출함으로써 사람임을 검증하는 단계를 포함하는 것을 특징으로 하는 사람 움직임 추적 방법.
  3. 제1항에 있어서,
    상기 실루엣은, 시각차 영상, 또는 상기 시각차 영상에 대응하는 영상과 미리 얻어진 배경 영상과의 차분 영상을 이용하여 추출되는 것을 특징으로 하는 사람 움직임 추적 방법.
  4. 제1항에 있어서, 상기 (b) 단계는,
    상기 사람의 실루엣 영상을 추출하는 단계;
    상기 추출된 실루엣 영상으로부터 상기 실루엣의 특징으로서 후 모멘트(Hu moment)를 계산하는 단계; 및
    상기 계산된 후 모멘트에 따라서 상기 초기 자세를 결정하는 단계를 포함하는 것을 특징으로 하는 사람 움직임 추적 방법.
  5. 제4항에 있어서, 상기 (b) 단계는,
    상기 추출된 실루엣 영상으로부터 수평 및 수직 히스토그램을 생성하는 단계; 및
    상기 결정된 초기 자세와 상기 수평 및 수직 히스토그램을 분석한 결과에 따라 상기 3차원 인체 모델을 초기화하는 단계를 더 포함하는 것을 특징으로 하는 사람 움직임 추적 방법.
  6. 제1항에 있어서, 상기 (c) 단계는,
    (c1) 파티클 필터를 이용하여 상기 사람의 움직임을 추적하는 단계; 및
    (c2) 상기 추적된 사람의 움직임을 기반으로 ICP(iterative closest point) 알고리즘을 이용하여 정확한 움직임을 추적하는 단계를 포함하는 것을 특징으로 하는 사람 움직임 추적 방법.
  7. 제6항에 있어서,
    상기 (c1) 단계는 상기 사람의 과거 움직임 정보를 이용하여 파티클 샘플을 생성하기 위한 기준 위치를 정하는 것을 특징으로 하는 사람 움직임 추적 방법.
  8. 제6항에 있어서,
    상기 (c2) 단계에서 사람 움직임 추적이 실패할 경우 상기 (c1) 단계에서 샘플의 분포 영역을 확대하여 파티클 샘플을 생성하는 것을 특징으로 하는 사람 움직임 추적 방법.
  9. 제1항에 있어서,
    인체학적 구조상 사람이 움직일 수 있는 범위에 상기 3차원 인체 모델이 존재할 수 있도록 제약 조건을 가하는 단계를 더 포함하는 것을 특징으로 하는 사람 움직임 추적 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 기재된 사람 움직임 추적 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. 3차원 공간에서의 사람 움직임 추적 장치에 있어서,
    스테레오 영상으로부터 얻어지는 시각차 정보를 이용하여 사람을 검출하는 사람 검출부;
    상기 사람의 실루엣의 특징에 따라 미리 정하여진 복수 개의 자세 중 어느 하나를 초기 자세로 결정하고, 상기 결정된 초기 자세와 상기 실루엣의 형태에 따라서 상기 사람에 3차원 인체 모델을 초기화하는 모델 초기화부; 및
    상기 초기화된 3차원 인체 모델을 기초로 상기 사람의 움직임을 추적하는 움직임 추적부를 포함하는 것을 특징으로 하는 사람 움직임 추적 장치.
  12. 제11항에 있어서, 상기 사람 검출부는,
    상기 시각차 정보를 이용하여 사람 후보를 검출하는 후보 검출부; 및
    상기 검출된 사람 후보에 대하여 얼굴을 검출함으로써 사람임을 검증하는 얼굴 검출부를 포함하는 것을 특징으로 하는 사람 움직임 추적 장치.
  13. 제11항에 있어서,
    상기 실루엣은, 시각차 영상, 또는 상기 시각차 영상에 대응하는 영상과 미리 얻어진 배경 영상과의 차분 영상을 이용하여 추출되는 것을 특징으로 하는 사람 움직임 추적 장치.
  14. 제11항에 있어서, 상기 모델 초기화부는,
    상기 사람의 실루엣 영상을 추출하는 실루엣 추출부;
    상기 추출된 실루엣 영상으로부터 상기 실루엣의 특징으로서 후 모멘트(Hu moment)를 계산하는 계산부; 및
    상기 계산된 후 모멘트에 따라서 상기 초기 자세를 결정하는 결정부를 포함하는 것을 특징으로 하는 사람 움직임 추적 장치.
  15. 제14항에 있어서, 상기 모델 초기화부는,
    상기 추출된 실루엣 영상으로부터 수평 및 수직 히스토그램을 생성하는 히스토그램 생성부; 및
    상기 결정된 초기 자세와 상기 수평 및 수직 히스토그램을 분석한 결과에 따라 상기 3차원 인체 모델을 초기화하는 초기화부를 더 포함하는 것을 특징으로 하는 사람 움직임 추적 장치.
  16. 제11항에 있어서, 상기 움직임 추적부는,
    파티클 필터를 이용하여 상기 사람의 움직임을 추적하는 제1 추적부; 및
    상기 추적된 사람의 움직임을 기반으로 ICP(iterative closest point) 알고리즘을 이용하여 정확한 움직임을 추적하는 제2 추적부를 포함하는 것을 특징으로 하는 사람 움직임 추적 장치.
  17. 제16항에 있어서,
    상기 제1 추적부는 상기 사람의 과거 움직임 정보를 이용하여 파티클 샘플을 생성하기 위한 기준 위치를 정하는 것을 특징으로 하는 사람 움직임 추적 장치.
  18. 제16항에 있어서,
    상기 제2 추적부에서 사람 움직임 추적이 실패할 경우 상기 제1 추적부에서 샘플의 분포 영역을 확대하여 파티클 샘플을 생성하는 것을 특징으로 하는 사람 움직임 추적 장치.
  19. 제11항에 있어서,
    인체학적 구조상 사람이 움직일 수 있는 범위에 상기 3차원 인체 모델이 존재할 수 있도록 제약 조건을 가하는 제약 조건 부여부를 더 포함하는 것을 특징으로 하는 사람 움직임 추적 장치.
KR1020070137456A 2007-12-26 2007-12-26 3차원 공간에서의 사람 움직임 추적 방법 및 장치 KR100939294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070137456A KR100939294B1 (ko) 2007-12-26 2007-12-26 3차원 공간에서의 사람 움직임 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070137456A KR100939294B1 (ko) 2007-12-26 2007-12-26 3차원 공간에서의 사람 움직임 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090069704A KR20090069704A (ko) 2009-07-01
KR100939294B1 true KR100939294B1 (ko) 2010-01-29

Family

ID=41321317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070137456A KR100939294B1 (ko) 2007-12-26 2007-12-26 3차원 공간에서의 사람 움직임 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100939294B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101607569B1 (ko) * 2009-07-14 2016-03-30 엘지이노텍 주식회사 인물 검출 장치 및 그 방법
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
KR101107736B1 (ko) * 2010-02-26 2012-01-20 서울대학교산학협력단 영상 상의 물체 추적 방법
KR20170014247A (ko) 2015-07-29 2017-02-08 옵토이엔지(주) 볼로미터를 이용한 ３축 모션센서 시스템
CN109108968A (zh) * 2018-08-17 2019-01-01 深圳市三宝创新智能有限公司 机器人头部运动调整的交互方法、装置、设备和存储介质
CN111311632B (zh) * 2018-12-11 2023-12-01 深圳市优必选科技有限公司 一种物体位姿跟踪方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053427A1 (en) 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Face recognition from video images
KR100721536B1 (ko) 2005-12-09 2007-05-23 한국전자통신연구원 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053427A1 (en) 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Face recognition from video images
KR100721536B1 (ko) 2005-12-09 2007-05-23 한국전자통신연구원 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
21C프론티어사업 워크샾(2006, 6쪽)
신호처리합동학술대회(2006, 4쪽)

Also Published As

Publication number Publication date
KR20090069704A (ko) 2009-07-01

Similar Documents

Publication Publication Date Title
KR100939294B1 (ko) 3차원 공간에서의 사람 움직임 추적 방법 및 장치
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
US8249334B2 (en) Modeling of humanoid forms from depth maps
US9525862B2 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
Pekelny et al. Articulated object reconstruction and markerless motion capture from depth video
Baak et al. A data-driven approach for real-time full body pose reconstruction from a depth camera
US9619704B2 (en) Fast articulated motion tracking
US9058514B2 (en) Apparatus and method for estimating joint structure of human body
JP2009536731A5 (ko)
CN110555908B (zh) 基于室内移动目标背景修复的三维重建方法
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2008304269A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
Grest et al. Single view motion tracking by depth and silhouette information
Gall et al. Drift-free tracking of rigid and articulated objects
Darujati et al. Facial motion capture with 3D active appearance models
Migniot et al. 3D human tracking from depth cue in a buying behavior analysis context
Haker et al. Self-organizing maps for pose estimation with a time-of-flight camera
Dornaika et al. Face and facial feature tracking using deformable models
Riecický et al. Optical-inertial Synchronization of MoCap Suit with Single Camera Setup for Reliable Position Tracking.
Liu et al. Implementation of levels-of-detail in Bayesian tracking framework using single RGB-D sensor
Cheng et al. Model-based recognition of human walking in dynamic scenes
Nguyen et al. Video-based analysis of gait with side views
Liu et al. Scale robust head pose estimation based on relative homography transformation
Zhu et al. Real-time 3D pose reconstruction of human body from monocular video sequences
Ahad et al. Low-level Image Processing for Action Representations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191008

Year of fee payment: 10

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 11