KR20140133773A - 3-차원 물체 모델링, 피팅 및 트랙킹 - Google Patents

3-차원 물체 모델링, 피팅 및 트랙킹 Download PDF

Info

Publication number
KR20140133773A
KR20140133773A KR1020137030985A KR20137030985A KR20140133773A KR 20140133773 A KR20140133773 A KR 20140133773A KR 1020137030985 A KR1020137030985 A KR 1020137030985A KR 20137030985 A KR20137030985 A KR 20137030985A KR 20140133773 A KR20140133773 A KR 20140133773A
Authority
KR
South Korea
Prior art keywords
skeletal
fitting
point cloud
tracked
user
Prior art date
Application number
KR1020137030985A
Other languages
English (en)
Other versions
KR101519940B1 (ko
Inventor
로랑 귀그
앙트완 르노
제레미 로이
Original Assignee
소프트키네틱 소프트웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트키네틱 소프트웨어 filed Critical 소프트키네틱 소프트웨어
Publication of KR20140133773A publication Critical patent/KR20140133773A/ko
Application granted granted Critical
Publication of KR101519940B1 publication Critical patent/KR101519940B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 명세서는, 3-차원 포인트 클라우드에서 물체의 골격 표현을 피팅하고 트래킹하는, 마커 없는 3-차원 모델링에 대한 방법 및 시스템을 기술하고 있다. 특히, 시간에 따라 인간 사용자 골격 표현의 트래킹에 관한 것이다. 본 방법은 깊이 맵으로부터 도출되는 3-차원 포인트 클라우드를 입력하는 단계(210); 사용자의 골격을 표현하는 제어 포인트의 세트를 미리 결정하고, 시작 골격 포즈를 결정하고, 미리 결정된 정지 크기로 3D 포인트 클라우드를 샘플링하여 그리드로 투영된 사용자 3D 포인트 클라우드의 정투영 표현을 획득하고(220), 사용자의 주요 부분의 중심 축을 근사화하는 곡률 중심 포인트의 세트를 결정하고, 토르소 평면을 결정하고, 몸체의 주요 방향을 개선 및/또는 정의하는 단계를 포함한다. 본 방법은, 그 후에, 위상학 및 기하학적 제한을 사용하여, 곡률 중심 포인트와 같은 연관 데이터 및 사용자 3D 포인트 클라우드로 제어 포인트의 세트의 반복적인 로컬 및 글로벌 피팅을 수행하여, 시간에 따라 골격 자세를 트래킹하는 단계(230)를 포함한다. 그리고 나서, 골격 포즈를 안정화하는 단계(240); 불분명함을 해결하는 단계(250); 및 적합한 출력을 제공하는 단계(260)가 본원발명의 바람직한 구현예의 최종 단계이다.

Description

3-차원 물체 모델링, 피팅 및 트랙킹 {THREE-DIMENSIONAL OBJECT MODELLING FITTING ＆ TRACKING}
본원 발명은 3-차원 물체 모델링에 관한 것이며, 더욱 자세하게는, 물체의 모델링, 피팅 및 트래킹 방법, 특히, 이에 한정되는 것은 아니나, 3-차원 이미징 시스템에 의해 캡처된 깊이 맵의 시간 연속에서 사용자의 골격 표현을 결정, 피팅 및 트래킹하는 방법에 관한 것이다.
3-차원(3D) 이미징 시스템, 예컨대 입체시(stereovision) 카메라, 비행시간법(time-of-flight, TOF) 카메라 및 구조광(structured-light) 카메라가 장면의 각각의 영상화 포인트(imaged point)에 대한 적어도 X, Y, Z 좌표를 제공하는 2D 이미지인 깊이 맵의 시간 연속을 제공한다. X 및 Y 좌표는 카메라 센서 매트릭스 어레이에서 픽셀의 수평 및 수직 위치를 나타낼 수 있고, Z 좌표는 장면에서 영상화 포인트의 거리를 이미징 디바이스로 나타낼 수 있다. 대안으로, 장면의 각 영상화 포인트는 3D 공간에서 그 위치에 대응하는 X, Y, Z 좌표를 포함하며, 좌표는, 예컨대 기준 포인트에서 기원(origin)을 갖는 3D 좌표 시스템에 대하여 표현된다. 카메라 위치가 카메라 좌표 시스템을 특정하기 위하여 기준 포인트로 선택될 수 있다. 그러나, 장면의 영상화 포인트는 또한 기준 포인트가 카메라 위치에 설정되지 않는 다른 3D 좌표 시스템에서 표현되나, 장면의 각 영상화 포인트의 X, Y, Z 좌표가 소위 세계 좌표 시스템의 실제 위치를 표현하도록, 실제 장면의 포인트 위치에 있도록 결정될 수 있다. 특정 제한을 포함하는, 실세계 좌표 시스템과 카메라 좌표 시스템 사이의 변환이, 특정 3D 좌표의 기하학적 투영도를 수행하기 위해, 예컨대 캘리브레이션 매트릭스를 사용하는 수리적 변환을 적용함으로써 간단히 수행될 수 있다.
사용되는 좌표 시스템이 무엇이든지, 생성된 깊이 맵이 그 후에, 물체를 WO-A-2011/080282에 기재된 바와 같은 특정 2D 또는 3D 분석 방법을 사용하여 장면의 관절식 인간 몸체 또는 동물체, 즉 사용자를 포함하는 물체를 검출, 위치추적, 트랙킹, 분할 및 분석하기 위해 처리될 수 있다. 특히, 그러한 방법의 한가지 결과는 실제 장면에서 각 몸체 또는 물체를 가상 세계로 표현하는 것으로서 3D 포인트의 세트를 정의하는 것을 도울 수 있다.
물체 또는 적어도 사용자의 몸체를 표현하는 그러한 3D 포인트 클라우드의 처리가 모델 또는 물체 또는 몸체의 다른 종류의 표현의 맵핑, 피팅 및 트랙킹을 가능하게 한다. 예를 들어, 인간 몸체 또는 물체의 골격 표현은 실세계에서의 물체 또는 사용자의 움직임에 대하여 가상 환경에서의 물체 또는 몸체의 대응하는 가상 표현을 모니터링하고 제어하기 위하여, 매핑되고, 피팅되고, 트래킹될 수 있다. 이것을 모션 캡처라고 한다.
종래의 이미지 처리 기술에서는, 장면 내의 골격을 트래킹하기 위한 일반적인 방법은 골격이 트래킹된 사용자와 연관된 마커의 사용을 요구하며, 이 마커는 사용자 그 자신보다는 오히려 트래킹된다. 일부 실시예에서, 이 마커가 사용자에 의해 착용된 의복 또는 다른 품목에 부착된다.
최근에는, 범위 이미징 디바이스 출력 데이터, 즉 깊이 맵이 마커-부재(marker-less) 골격 트래킹을 위해 사용되도록 시작되었다. 그러한 이미징 디바이스를 사용하여, 트래킹은 패턴 매칭 기술을 사용하는 몸체 부분 인식과 혼합된, 일부 추정 기술, 또는 2D 또는 3D 모션 검출에 의지한다. 게다가, 정지 인식 및 추정이 또한 모델을 이용하는 매칭 기술을 주로 사용한다.
US2010/0034457에서는, 깊이 맵으로부터의 휴머노이드 형태의 모델링을 위한 컴퓨터-구현 방법이 개시된다. 더욱 자세하게는, 이 방법은 휴머노이드 대상의 몸체를 포함하는 장면의 깊이 맵을 수신하는 단계를 포함한다. 깊이 맵은 픽셀의 매트릭스를 포함하며, 각 픽셀은 장면에서 각각의 위치에 대응하며, 기준 위치로부터 각각의 위치로의 거리를 나타내는 각각의 픽셀 값을 가진다. 깊이 맵은 고려 대상의 토르소(torso) 및 하나 이상의 사지(limb)를 식별하기 위하여 후속하여 처리되는 몸체의 윤곽(contour)을 찾도록 분할된다. 깊이 맵에서 하나 이상의 식별된 사지의 배열을 분석함으로써, 입력 신호가 컴퓨터에 작동하는 애플리케이션 프로그램을 제어하도록 생성된다.
US-A-2011/0052006에서는, 깊이 맵으로부터 골격을 추출하기 위한 방법이 기재되어 있다. 이 방법은 머리를 가지는 휴머노이드 형태를 포함하는 장면의 깊이 맵의 시간 연속을 수신하는 단계를 포함한다. 깊이 맵은 각각의 픽셀 깊이 값을 갖는 픽셀의 매트릭스를 포함한다. 디지털 처리기는 머리의 위치를 찾도록 하나 이상의 깊이 맵을 처리하며, 그 위치에 기초하여 휴머노이드 형태의 치수를 추정하며, 이때 휴머노이드는 캘리브레이션 포즈 또는 자세로 서있다. 처리기는 추정된 치수, 몸체 부분 인식 및 모션 추정 방법을 사용하여 연속으로 휴머노이드의 움직임을 트래킹한다.
US-A-2010/0194872에서는, 장면의 깊이 정보를 캡처하는 시스템 및 방법이 인간 입력을 처리하도록 사용된다. 장면의 깊이 이미지는 이미징 디바이스에 의해 캡처된다. 이미지 캡처는 장면에 대한 카메라의 방향(orientation)에 의존한다. 깊이 이미지는 그 후 깊이 이미지가 인간과 비-인간 타겟 둘 다 포함하는지를 결정하도록 분석된다. 예를 들어, 깊이 이미지는 인간 타겟 및 일부 비-인간 타겟을 포함하는 하나 이상의 타겟을 포함할 수 있다. 일구현예에 따르면, 각 타겟은 플로드-필되고(flood-filled), 그 타겟이 인간 타겟인지 아닌지 여부를 결정하기 위해 패턴과 비교된다. 깊이 이미지의 하나 이상의 타겟이 인간 타겟을 포함하면, 인간 타겟이 스캐닝되고, 인간 타겟의 골격 모델이 인간 몸체가 식별되는 인간 타겟의 이진 마스크의 스캔에 기초하여 생성된다.
US-A-2011/0249865에서는, 깊이 정보를 포함하는 입력 이미지가 포함되는, 3-차원(3D) 환경에서 대상의 마커-부재 모션을 트래킹하기 위한 방법에 기초한 이미지 처리가 개시된다. 이 방법은 움직임 검출 원리를 사용하는 2-차원(2D) 낮은 몸체 부분 및 높은 몸체 부분 검출 유닛을 사용한다. 이 검출 유닛은, 각각의 3D 몸체 부분에 대한 개별의 지원자를 공간에서 위치 추적하도록, 낮은 및 높은 몸체 부분 모델을 사용하는 몇몇의 3D 몸체 부분 검출 유닛과 연관된다. 모델 렌더링 유닛이 일부 예상되는 몸체 포즈에 따라 완벽한 모델을 렌더링하도록 사용된다.
US2011/0292036에서는, 애플리케이션 인터페이스로 깊이 센서를 사용하는 방법이 개시된다. 이 방법은 데이터가 휴머노이드 대상의 몸체를 포함하는 장면의 깊이 맵 상에서 처리하는 것을 수행하는 단계를 포함한다. 위에서 논의된 US2010/0034457에서 사용된 것과 유사한 방법으로, 깊이 맵은 픽셀의 매트릭스를 포함하며, 이때 각 픽셀은 장면에서 각각의 위치에 대응하고, 기준면으로부터 각 위치로의 거리를 나타내는 각각의 픽셀 깊이 값을 가진다. 깊이 맵은 그 후 휴머노이드 대상의 몸체의 적어도 일부분의 골격을 추출하도록 디지털 프로세서에서 처리되며, 상기 골격은 각각의 좌표를 갖는 다수의 조인트를 포함하고, 상이한 각각의 깊이 값을 갖는 둘 이상의 숄더 조인트를 포함하며, 각각의 깊이 값은 기준면에 대하여 적어도 10° 회전된 몸체의 관상면(coronal plane)을 정의하기 위해 사용된다. 애플리케이션 프로그램 인터페이스(application program interface, API)가 적어도 조인트의 좌표를 나타낸다.
US2011/0211754에서는, 조합된 색 이미지 및 깊이 처리에 의해 몸체 부분을 트랙킹하는 방법이 개시된다. 이 방법은 이미지 처리 기술에 의존하며, 인간 대상을 포함하는 장면의 깊이 이미지를 수신하는 단계 및 인간 대상을 포함하는 장면의 색 이미지를 수신하는 단계를 포함한다. 대상의 몸체 부분이 하나 이상의 이미지에서 식별된다. 깊이 이미지 및 색 이미지 둘 다의 품질이 평가되며, 상기 품질에 응답하여, 하나의 이미지가 이미지들에서의 몸체 부분의 처리에서 우세하도록 선택된다. 다른 이미지로부터 지지하는 데이터를 사용하는 반면, 인식된 부분이 상기 우세한 이미지에서 위치 추적된다.
일부 존재하는 방법이 일부 특정 구현예에 따른 골격 맵핑을 개시한다 할지라도, 적절히 다루어지지 않는 한가지 중요한 점은, 깊이 맵 또는 장면의 각 영상화 포인트를 표현하는 대응하는 3D 포인트 클라우드를 사용하는 경우 본래의 깊이 맵 해상도에 무관하게 처리 시간을 갖는 강력하고(robust) 효율적인 방법을 제공하기 위해, 특히 강력하고 효율적으로 피팅된 골격으로의 로우(raw) 깊이 맵의 전체 처리가 저가의 하드웨어 플랫폼으로 실시간 수행되는 것이다.
추가로, 세그먼트의 교합(occlusion)을 처리하고 조인트 한계, 속도 제한 및 동시에 충돌 제한을 수용할 수 있는 임의의 물체 피팅 및 트래킹 방법이 개시되어 있지 않다. 게다가, 존재하는 방법 그 어느 것도 트래킹되는 사용자 또는 물체에 대해 형태학의 불가지론(morphology agnostic)이나 자세 오류로부터 회복할 수 없다. 게다가, 존재하는 방법 그 어느 것도 물체의 골격 표현의 피팅 및 트래킹을 개선하기 위한 물체의 일부의 중심 축의 추정, 또는 피팅 프로세스를 위한 다-기준 반복 에너지 최소화를 사용하지 않는다.
따라서, 본원발명의 대상은, 물체에 부착되는 마커의 필요없이, 물체의 골격 표현을 생성, 피팅 및 트래킹하기 위한 방법을 제공하는 것이다.
본원발명의 또 다른 대상은 물체의 골격 표현의 피팅 및 트래킹을 최적화하기 위해 피팅되고 트래킹되는 물체에 대응하는 3D 포인트 클라우드의 정투영(orthographic projection) 공간에서의 투영을 사용하는 것이다.
본원발명의 또 다른 대상은 깊이 맵을 사용하여 물체의 골격 표현을 판단, 피팅 및 트래킹하기 위한 방법으로서, 피팅을 수행하기 위해 시드 정보(seed information)로서 물체의 부분의 중심 축의 추정을 사용하는 방법을 제공하는 것이다.
본원발명의 추가 대상은 깊이 맵을 사용하여 물체의 골격 표현을 결정, 피팅 및 트래킹하는 강력하고 효율적인 방법으로서, 세그먼트의 교합, 조인트 한계, 속도 제한, 충돌 제한 및 형태학의 불가지론시 오류 회복을 처리할 수 있는 방법을 제공하는 것이다.
본원발명의 또 다른 추가 대상은 로컬 레벨 및 글로벌 레벨에서 다중 기준 에너지 최소화를 반복하여 사용하는 물체의 골격 표현의 효율적인 피팅 및 트래킹을 제공하는 것이다.
본원발명의 제1 특징에 따르면, 3-차원 포인트 클라우드에 의해 표현된 3-차원 장면 내의 물체의 골격 표현을 피팅하고 트래킹하는 방법으로서, 상기 골격 표현은 복수의 제어 포인트의 배열을 포함하며, 상기 방법은 다음의 단계를 포함한다:
a) 장면 내에 피팅되고 트래킹되는 물체에 관련된 입력 정보를 결정하기 위해 장면의 3-차원 포인트 클라우드를 사용하는 단계;
b) 장면 내에 피팅되고 트래킹되는 물체의 결정된 3-차원 포인트 클라우드를 정투영 표현(orthographic representation)으로 변환하는 단계;
c) 피팅되고 트래킹되는 물체의 적어도 일부의 중심 축 위치를 추정하기 위해 곡률 중심 포인트(curvature centre point)를 결정하는 단계;
d) 3-차원 장면 내에서 피팅되고 트래킹되는 물체를 표현하는 복수의 제어 포인트의 위치를 결정하는 단계; 및
e) 시간에 대하여 물체의 골격 표현의 위치를 개선하기 위해 3-차원 장면 내에서 복수의 제어 포인트를 피팅하고 트래킹하는 단계.
여기에 사용되는 용어 "물체"은 인간, 동물 또는 로봇일 수 있는 무생물 또는 생물을 지칭한다.
여기에 사용되는 용어 "골격 표현"은 물체를 표현하는 제어 포인트의 세트, 및 피팅되고 트래킹되는 물체의 포즈를 정의하는 공간에서의 배열을 지칭한다.
본원 방법은, 물체에 부착되는 마커 없이, 3-차원 장면 내에서 피팅되고 트래킹되는 물체, 예컨대 인간 사용자의 특정 골격 표현을 사용하고, 시간에 따라 장면 내에 골격 표현을 트래킹할 수 있는 장점을 갖는다.
용어 "트래킹"은 3-차원 장면을 캡처하는 3-차원 이미징 디바이스, 예컨대 카메라에 대하여 물체의 상대적인 움직임을 지칭하는 것으로 쉽게 이해될 것이다.
이는 정지한 물체에 대해 이미징 디바이스가 움직이고 있다면, 또한 움직임이 없다 할지라도 시간의 기간 동안 물체가 적어도 한번 검출된다면, 그러한 물체가 장면 내에서 또한 트래킹될 수 있음을 의미한다.
본원발명에서 고려되는 골격 표현은 제어 포인트의 세트를 사용한다. 이미징 디바이스에 의해 캡처되는 각 프레임에서 처리되기 위해 필요한 제어 포인트의 수는 방법을 수행하는 시스템의 처리 능력에 따라, 또는 표현되는 몸체 세그먼트의 정확도에 따라, 또는 피팅되고 트래킹되는 물체에 따라, 구체적으로 미리 정의될 수 있다. 예를 들어, 인간 사용자에 대해 13개 제어 포인트가 인간 골격 표현의 적절한 모범예가 되도록 고려될 수 있다. 따라서, 피팅되고 트래킹되는 물체가 시간에 따라 항상 동일한 유형일 수 있다는 점을 고려한다면, 예를 들어 시스템이 항상 인간의 골격 표현을 피팅하고 트래킹하도록 사용된다면, 제어 포인트의 수는 미리 결정될 수 있다. 그러나, 인식 방법은 또한 장면에서 검출된 물체를 자동으로 식별하고, 그 후에 식별된 물체를 피팅되고 트래킹하기 위한 관심 물체로 고려하도록, 제어 포인트의 수 및 그들의 배열의 셋업을 포함하는 최적의 골격 표현을 설정하도록 사용될 수 있다. 예를 들어, 시스템은 시간에 따라 단일 장면 내의 인간 및 로봇의 골격 표현을 피팅하고 트래킹하도록 요구될 수 있다. 시스템은, 인간에 대응하는 물체로부터 로봇에 대응하는 물체까지 검출, 인식 및 구별하고, 따라서, 각 단일 물체에 대해 맞는 골격 표현을 설정한다.
바람직하게 각각의 단계 c), d) 및 e)가 정투영 표현을 사용하는 단계를 포함한다는 것을 또한 이해할 것이다.
일구현예에서, 3-차원 포인트 클라우드는 3-차원 장면의 깊이 맵으로부터 도출될 수 있다. 또 다른 구현예에서, 입력 정보가 3-차원 포인트 클라우드에서 각 포인트에 대해 결정된 법선 맵(normal map)을 추가로 포함할 수 있다. 추가 구현예에서, 입력 정보는 법선 맵과 깊이 맵의 조합을 포함할 수 있다. 또 다른 추가 구현예에서, 입력 정보는 피팅되고 트래킹되는 알려진 물체에 대응하는 결정된 골격 표현을 포함할 수 있다.
게다가, 단계 a)는 또한 3-차원 포인트 클라우드로부터 관심있는 하나 이상의 물체를 결정하는 단계를 포함할 수 있다. 이는 또한 피팅되고 트래킹되는 물체의 주요 방향(principle direction)을 결정하는 단계를 포함할 수 있다. 또 다른 구현예에서, 피팅되고 트래킹되는 물체를 자동으로 인식하고, 따라서 여러 종류의 물체가 장면에서 피팅되고 트래킹되어야 한다면 이 물체의 골격 표현을 결정하는 단계를 추가로 포함할 수 있다.
바람직한 일구현예에서, 단계 a)는 물체가 이전에 피팅되고 트래킹되지 않은 경우에, 피팅되고 트래킹되는 물체의 골격 포즈의 표현을 정의하는 제어 포인트의 위치의 초기 배열을, 공간에서 결정하는 단계를 포함할 수 있다.
바람직하게는, 단계 b)가 피팅되고 트래킹되는 물체의 3-차원 포인트 클라우드를 그리드(grid)로 투영하는 단계로서, 상기 그리드는 각각 미리 결정된 크기를 가진 복수의 그리드 빈(grid bin)을 포함하며, 이 투영은 공간에서 미리 결정된 고정 크기로 물체의 3-차원 포인트 클라우드를 샘플링한다.
추가로, 단계 b)는 연관되는 그리드 빈에서 3-차원 포인트 클라우드에 있는 각 포인트에 관련되는 정보를 축척하고 가중하는 단계를 포함한다. 일구현예에서, 이 방법은 또한 그리드 빈이 비어있는 경우에 이웃하여 있는 그리드 빈으로부터 보간된(interpolated) 정보로 그것을 채우는 단계를 포함한다.
바람직하게는, 단계 c)가 물체 부분들의 곡률 중심 포인트, 정투영 표현의 그리드 빈에 의해 바람직하게 제공된 법선 데이터(normal data)를 사용함으로써 추정되는 위치를 결정하는 단계를 포함한다.
단계 c)는 피팅되고 트래킹되는 물체의 각 부분의 중심 축의 양(volumn)을 근사화하도록 각 곡률 중심 포인트를 접촉구(osculating sphere)와 연관시키는 단계를 더 포함할 수 있다.
바람직하게는, 단계 c)가 곡률 중심 포인트와 그것의 연관된 접촉구를, 그들이 연관되도록 피팅되고 트래킹되는 물체의 각 부분의 표면의 볼록체(convexity)를 나타내는 태그로 연관시키는 단계를 포함한다. 표면의 볼록체는 다음 중 하나로서 분류될 수 있다: 평면, 오목면 및 볼록면. 특히, 평면은 인간 사용자의 토르소에 대응할 수 있고, 볼록면은 인간 사용자의 사지의 일부에 대응할 수 있다. 오목면은 효율적인 인간 골격 피팅 및 트래킹을 고려하는 경우에 특히 적절한 것으로 항상 고려되지는 않는다.
바람직하게는, 단계 d)가 물체가 이전에 피팅되고 트래킹되었다면 이전의 프레임의 골격 표현 세트를 사용하고, 또는 물체가 이전에 피팅되거나 트래킹되지 않았다면 단계 a)에서 결정된 초기 골격 표현을 사용하여, 제어 포인트의 위치를 결정하는 단계를 포함한다.
유리하게, 단계 d)는 다음의 단계를 더 포함한다:
d1) 각 쌍의 인접한 제어 포인트들 사이의 하나 이상의 세그먼트를 피팅하는 단계.
추가로, 단계 d)는 다음의 단계를 더 포함한다:
d2) 물체에서 평면을 식별하는 단계.
게다가, 단계 d2)는 다음의 단계를 더 포함한다:
d3) 볼록체 태그를 사용하여 피팅되고 트래킹되는 물체의 3-차원 포인트 클라우드에서의 평면을 식별하는 단계.
게다가, 단계 d)는 다음의 단계를 더 포함한다:
d4) 물체의 주요 방향을 식별하는 단계;
d5) 물체의 하나 이상의 부분의 위치를 식별하는 단계; 및
d6) 물체의 각 부분의 위치 및 서로에 대해 주요 방향을 개선하는(refining) 단계.
물체가 생물, 예컨대 인간 사용자인 경우의 바람직한 일구현예에서, 단계 d2)는 토르소로서 평면을 식별하는 단계를 포함할 수 있고, 단계 d5)는 머리에 대응하는 몸체 부분을 식별하는 단계를 포함할 수 있다.
일구현예에서, 단계 e)는 트랙킹되도록 골격 표현의 위치를 피팅하기 위해 식별된 제어 포인트의 특성들을 이용하는 단계를 포함한다. 이용되는 특성은 다음 중 하나 이상을 포함할 수 있다: 위치, 속도, 가속도 및 시간에 대해 결정된 확률 인자.
게다가, 단계 e)는 시간에 대하여 물체의 골격 표현의 포즈를 반복하여 피팅하기 위해 로컬 및 글로벌 에너지 최소화 전략의 조합을 이용하는 단계를 포함할 수 있다. 그러한 에너지 최소화 전략은 다음 중 하나 이상의 기준을 포함할 수 있다: 대상까지 거리; 이전 골격까지 거리; 및 실루엣까지 거리. 바람직하게는, 상기 에너지 최소화 전략이 대상까지 거리; 이전 골격까지 거리; 및 실루엣까지 거리의 모든 기준을 사용한다.
단계 e)는 피팅 및 트래킹의 결과를 최적화하기 위해 시간에 대하여 결정된 확률 인자에 따라 복수의 가능한 제어 포인트 위치를 평가하는 단계를 더 포함할 수 있다. 바람직한 구현예에서, 단계 e)는 하나 이상의 미리 결정된 기준에 따라 로컬 및 글로벌 에너지 최소화의 둘 다를 반복하여 수행하는 단계를 포함한다.
추가로, 에너지 최소화 전략은 경사도 감소-유형(gradient descent-type) 알고리즘을 사용하여 에너지 최소화 전략이 수행될 수 있다.
게다가, 골격이 트랙킹되면, 각 제어 포인트 위치가 골격의 움직임의 돌연한(jerky) 비정상적 표현을 피하기 위해 추가의 단계에서 바람직하게 안정화될 수 있다.
추가 단계에서, 성공적으로 트래킹되지 않은 골격의 제어 포인트에 대하여 적합한 위치를 생성하기 위하여 완료 기술이 사용될 수 있다. 예를 들어, 그러한 기술은, 모호한 알려진 물체 자세로 인한 트래킹 오류를 보상하고, 및/또는 3-차원 장면을 캡처하는 이미징 디바이스에 보이지 않는 골격의 부분들에 대하여 보상하도록 에너지 최소화 이후에 골격의 실종된 부분들을 가진 3-차원 포인트 클라우드를 실장하도록 사용될 수 있다.
본 발명은 물체에 부착되는 마커의 필요없이, 물체의 골격 표현을 생성, 피팅 및 트래킹하기 위한 방법을 제공한다.
본원발명의 더 나은 이해를 위하여, 오직 예시로서 다음의 도면이 참조로 제공될 것이다:
도 1은 본원발명에 따라 트래킹하기 위해 사용되는 인간 몸체의 골격 표현을 도시한다;
도 2는 본원발명에 따른 전체 인간 몸체 골격 트래킹 프로세스의 흐름도를 도시한다;
도 3은 수평 및 수직 경사도로부터 법선 맵을 도출하는 것과 같은 이미지 처리를 작동하기 위하여 깊이 맵에 적용되는 3×3 커널을 도시한다;
도 4는 도 3의 그리드 어레이의 두 개의 인접한 그리드 요소에 대하여 Z-축 및 X-축 각각을 따르는 깊이 ΔZx 경사도 및 깊이 ΔZy 경사도를 보여주는 깊이 맵의 상면도를 도시한다;
도 5는 정투영 표현으로의 사용자 포인트 클라우드 투영의 일부로서 원리 역할을 하는 빈(bin)을 도시한다;
도 6은 사용자의 몸체 부분의 중심 축의 양을 표현하기 위해 사용되는 접촉구로서, 접촉구의 중심이 법선 맵으로부터 근사치인 곡률 중심 포인트에 대응하는, 접촉구의 2D도를 도시한다;
도 7a는 본원발명에 따른 정투영 사용자 그리드(orthographic user grid, ORUS)를 도시한다;
도 7b는 본원발명에 따른 곡률 중심 포인트 및 그들의 연관된 접촉구의 위치를 도시한다;
도 7c는 도 7a의 정투영 사용자 그리드와 도 7b의 곡률 중심 포인트 및 그들의 연관된 접촉구의 조합을 도시한다;
도 7d는 본원발명에 따라 접촉구 윤곽이 피팅 프로세스의 결과로서 골격에 의해 대체된 도 7a의 정투영 사용자 그리드를 도시한다;
도 7e는 본원발명에 따라 곡률 중심 포인트가 피팅된 골격 모델과 함께 접촉구의 세트에 의해 표현되는 사용자에 대응하는 3D 포인트 클라우드를 도시한다;
도 8a는 기원으로서 사용자 3D 포인트 클라우드 질량 중심 위치를 사용하는 사용자 중심의 방사 거리 계산 원리를 도시한다;
도 8b는 도 8a에 도시된 것처럼 측정된 방사 거리로부터 결정되는 프로필을 도시한다;
도 9는 본원발명에 따른 골격 표현 피팅 및 트래킹 프로세스에서 사용되는 반복적인 로컬 및 전체 에너지 최소화의 원리를 도시한다.
본원발명은 특정 도면을 참조하여 특정 구현예에 대하여 기술될 것이나 본원발명이 이에 한정되는 것은 아니다. 도시된 도면은 오직 개략적이며 제한되는 것은 아니다. 도면에서, 요소들의 일부의 크기가 과장될 수 있으며 실례의 목적의 스케일로 도시되지 않는다.
여기서 사용되는 용어 "수직의(vertical)" 및 "수평의(horizontal)"는 도면의 특정 방향을 지칭하며, 이 용어들은 본 명세서에 기술된 특정 구현예에 제한되지 않음이 이해될 것이다.
또한, 골격 피팅 및 트래킹 방법이 인간 몸체의 골격에 대하여 기술되어 있다 할지라도, 이에 한정되는 것이 아니며, 물체가 생물인지 아닌지, 및/또는 관절식(articulated)인지 아닌지 여부에 상관없이, 임의의 다른 종류의 물체가 사용될 수 있음이 이해될 것이다.
도 1은 가상 환경의 인간을 피팅하고 트래킹하기 위해 사용되는 골격 표현(100)을 도시한다. 골격 표현(100)은 제어 포인트의 세트 또는 일부 제한을 갖는 조인트들 사이에서 관절식 단단한 몸체의 세트, 및 미리 결정된 수의 자유도를 포함한다. 더욱 자세하게는, 도시된 바와 같이, 골격 표현(100)이 패치(140)와 9개의 세그먼트(150, 152, 154, 156, 158, 160, 162, 164, 166)를 정의하는 13개의 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)를 포함할 수 있다. 패치(140) 및 세그먼트(150, 152, 154, 156, 158, 160, 162, 164, 166)는 10개의 입체(solid) 부분 또는 골격 표현(100) 내의 단단한 몸체로 고려될 수 있다.
이러한 입체 부분 및 단단한 몸체는, 예컨대 그들의 표현이 비정상적 자세 또는 포즈에 따라 서로 교차하는 것이 허용되지 않음을 보장하는 충돌 제한을 포함할 수 있다. 각각의 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)가 예컨대 가상 환경 내에서 위치하는 3D의 자유에 관련될 수 있는, 3 자유도만 포함할 수 있다.
인간 골격이 피팅되고 트래킹되는 일특정 구현예에서, 3 자유도를 각각 갖는 오직 13개 제어 포인트로 인간 골격 표현을 한정하는 것, 즉 각각의 3D 위치가 3 이상의 자유도를 갖는 더 많은 수의 제어 포인트를 사용하나 인간 골격의 행동의 실제 표현을 유지하는 경우보다 더욱 효율적인 피팅 및 트래킹 처리의 수행을 가능하게 한다는 점에 주의해야 한다. 더 많은 수의 제어 포인트 및/또는 더 많은 수의 자유도, 더 높은 복잡성이, 가장 최적으로 피팅된 포즈 해결로의 수학적 수렴의 느린 속도로, 이러한 제어 포인트의 가장 실제 포즈를, 사용자를 표현하는 3D 포인트 클라우드로 피팅하는데 요구된다. 그러나, 13개의 제어 포인트의 사용이 인간의 골격 표현에 대한 바람직한 구현예에 대응한다 할지라도, 다른 적합한 수의 제어 포인트 및/또는 자유도가 트래킹되는 관절식 물체에 따라, 예컨대 렌더링된 관절의 양과 세그먼트의 수에 따라, 또는 플랫폼 성능에 따라 선택될 수 있다. 예를 들어, 또 다른 구현예에서, 인간 골격 표현은 17개 제어 포인트를 포함하여 사지 말단(limbs extremity)의 양호한 렌더링, 즉, 손 또는 발에 대응하는 각각의 이전 제어 포인트가 발목 및 발의 말단와 손목 및 손의 말단을 각각 대응하는 두 제어 포인트로의 대체를 제공할 수 있다.
13개 제어 포인트를 사용하는 인간 골격 피팅 및 트래킹의 특정 구현예에서, 각 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134), 각 세그먼트(150, 152, 154, 156, 158, 160, 162, 164, 166) 및 패치(140)가 위에서 기술된 적합한 3D 이미징 디바이스에 의해 결정된 3D 포인트 클라우드로 사용자에 대응하는 포인트로 맵핑된다.
제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)는 효율적으로 골격 부분 또는 조인트에 대응된다: 포인트(110)는 머리에 대응됨; 포인트(112, 114)는 손 또는 손목에 대응됨; 포인트(116, 118)는 팔꿈치에 대응됨; 포인트(120, 122)는 어깨에 대응됨; 포인트(124, 126)는 발 또는 발목에 대응됨; 포인트(128, 130)는 무릎에 대응됨; 포인트(132, 134)는 둔부에 대응됨.
패치(140)는 토르소를 정의하기 위해 함께 연결되는 4개의 제어 포인트(120, 122, 132, 134), 즉 어깨(120, 122) 및 골반골(132, 134)를 포함한다.
세그먼트(150, 152, 154, 156, 158, 160, 162, 164, 166)는, 머리(포인트(110))를 토르소(패치(140))에 연결하므로, 목에 가까운 세그먼트(150); 손 또는 손목과 팔꿈치 사이(포인트(각각 112과 116, 및 114과 118))인 하부 팔에 거의 대응하는 세그먼트(152, 154); 팔꿈치와 어깨 사이(포인트(각각 116과 120, 및 118과 122))인 상부 팔에 거의 대응하는 세그먼트(156, 158); 팔 또는 발목과 무릎 사이(포인트(각각 124와 128, 및 126과 130))인 하부 다리에 거의 대응하는 세그먼트(160, 162); 및 무릎과 둔부 사이(포인트(각각 128과 132, 및 130과 134))에 거의 대응하는 세그먼트(164, 166)를 제외하고, 서로 연결되는 제어 포인트의 쌍들 사이의 조립에 대응한다.
도 2를 참조하면, 흐름도(200)는 3D 장면 내의 시간에 따라 자유롭게 움직이는 사용자의 골격 표현을 제공하는 프로세스의 단계를 도시한다. 골격 피팅 및 트래킹이 3D 이미징 시스템에 의해 제공되는 3D 포인트 클라우드를 사용하여 수행되며, 골격 표현은 시간에 따라 사용자의 실제 움직임을 매칭하도록 계산된다. 제1 단계에서, 단계 210은 입력 데이터, 예컨대 장면의 사용자를 영상화하는 깊이 맵에서, 사용자 마스크 및 대응하는 사용자 3D 포인트 클라우드, 잠재적인 사용자 머리 위치 및 잠재적인 사용자 주요 방향 위치가 제공되고 개선되는, 초기 단계이다. 특히, 단계 210은 피팅되고 트래킹되는 물체에 따라 공간에서 제어 포인트의 수의 면에서, 그리고 제어 포인트의 배열의 면에서의 골격 표현의 결정을 포함한다. 이러한 결정은, 예를 들어, 장면 내에 있는 인간을 트래킹하고, 그들이 표현되는 3D 포인트 클라우드로 골격 표현을 피팅하는 경우, 피팅되고 트래킹되는 물체가 알려지고 시간에 따라 변하지 않는지 여부를 수동으로 미리 정의할 수 있다. 이러한 결정은 또한 관심 물체가 검출되고, 인식되고 복수의 알려진 물체 중에서 관심 물체로서 식별되는 런타임에 자동으로 정의될 수 있다. 예를 들어, 2D 및 3D 매칭 기술에 한정되는 것은 아니나, 이들을 포함하는 상태로부터의 인식 기술은, 장면 내의 상이한 생물 또는 무생물을 인식하도록 사용될 수 있다. 이 인식으로부터, 피팅 및 트래킹을 위한 각각의 골격 표현이 그 후 관심있는 대상으로서 인식되는 물체에 따라 결정될 수 있다.
단계 210은 또한 피팅 및 트래킹 프로세스를 시작하기 위하여 결정된 골격 표현의 기본 초기 포즈의 비-체계적(non-systematic) 결정을 포함한다. 용어 "비-체계적"은 그러한 골격 표현의 로우(raw) 또는 기본 초기 포즈 결정이 물체가 검출되고, 물체가 이전 골격 표현이 가능하지 않은 경우에만 수행됨을 의미한다. 예를 들어, 인간 사용자가 트래킹된다면, 검출 및 머리의 위치추적은 인간 사용자의 초기 주요 방향을 제공하여 도움이 될 수 있다. 주요 방향은 사용자의 3D 표현의 무게 중심 및 머리를 통해 통과하는 방향으로 고려될 수 있다.
인간 사용자의 주요 방향의 결정이 관심 물체의 클러스터의 세트로의 분할을 사용하여, WO-A-2008/128568에서 기술된 것처럼, 각각의 포인트가 3-차원 공간의 적어도 한 세트의 좌표를 가진 복수의 포인트를 표현하는 3D 이미지 데이터가 3D 이미징 시스템을 사용하여 캡처되도록, 달성될 수 있다. 상기 포인트들은 클러스터의 세트를 형성하도록 그룹화되며, 상기 클러스터의 세트로부터, 관심 물체가 미리 결정된 파라미터에 따라, 예컨대, 위치, 크기 및 형태에 따라 선택된다. 관심 물체에 관련있는 클러스터가 추가의 파라미터 세트, 예컨대 3D 공간 내의 위치 및/또는 색에 따라 서브-클러스터의 세트로 그룹화된다. 각 서브-클러스터는 3D 공간의 중심을 가지며, 이러한 서브-클러스터들의 각각의 중심과 양을 연관시킴으로서, 관심 물체의 표현이 획득될 수 있다. 서브-클러스터의 표현 및 위치로부터, 주요 방향 및 또한 트래킹되는 물체, 이 경우에는 인간 사용자의 골격 표현에 대한 초기 포즈를 추정하는 것이 가능하다. 예를 들어, 로우 초기 포즈가 인간의 사진 말단의 위치추적을 고려할 수 있으며, 즉, 클러스터가 하나의 단일의 다른 클러스터에 연결되고, 머리, 손 및 발에 대응하며, 미리 결정된 주요 방향으로 인해 그 위치가 분명해진다.
초기 단계 210, 그리고 다른 사전-설정 단계 220는 실제 피팅 및 트래킹 단계 230 이전에 수행된다. 특히, 사전설정 단계 220는 프로세스에서 다음으로 따라오는 피팅 및 트래킹 단계를 최적화하기 위해 필수적인 특정 특징을 생성하기 위한 것이다. 즉, 이 단계는 단계 230에서 시간에 따라 사용자의 골격 표현의 더 양호한 피팅 및 트래킹을 가능하게 하는 특정의 강제적인 입력을 제공하기 위하여 깊이 맵에 내장되는 3D 포인트 데이터의 정투영(orthographic projection)을 수행하는 것을 목적으로 한다.
흐름도로 돌아와서, 다음 단계 230은 골격 표현의 피팅 및 트래킹 단계와 대응한다. 그 다음의 단계인, 안정화 단계 240가 그 후에 골격 표현의 돌연적이고 불연속적인 움직임이 불가능하게 하도록 수행될 수 있다. 그 후에 추가의 완료 단계 250가 트래킹을 방해할 수도 있는 일부 잠재적인 모호한 자세의 세트에 대해 특정 위치로 제어 포인트를 다시 타게팅하도록 수행되며, 결국에는 출력 개선 단계 260가 미리 결정된 세트의 사양(specification)에 따르도록, 예컨대 골격 표현에 관련된 데이터를 특정 애플리케이션에 적합한 미터법으로 변환하여, 처리된 데이터 출력을 생성하도록 수행된다. 위에서 언급한 바와 같이, 장면의 각 영상화 포인트는 3D 공간에서의 그 위치에 대응하는 X, Y, Z 좌표를 포함할 수 있으며, 상기 좌표는 기원, 즉 기준 포인트를 가진 3D 좌표 시스템에 대하여 표현된다. 카메라 위치가 카메라 좌표 시스템을 특정하기 위하여 기준 포인트로서 선택될 수 있다. 데이터 변환의 일례가 카메라 좌표 시스템과 실세계 좌표 또는 데카르트 좌표(Cartesian coordinate) 시스템 간일 수 있다.
초기 단계 210으로 돌아와서, 입력 데이터가 깊이 맵, 사용자 마스크 및/또는 사용자 3D 포인트 클라우드, 깊이 맵으로부터 추출된 법선 맵, 사용자 3D 포인트 클라우드의 주요 방향, 또 다른 독립적인 방법으로부터 추출된 머리 부분, 관심있는 포인트의 세트, 예컨대 WO-A-2008/128568에 기재된 것과 같은 클러스터링 방법에 의해 정의된 중심(본 명세서에서는 "키 포인트"로도 지칭됨), 및 3D 포인트 클라우드의 질량 중심을 포함할 수 있다.
위에서 기술한 바와 같이, 깊이 맵은 다른 정보들 중에서 거리 데이터를 제공한다. 거리 데이터는 일반적으로 깊이 감지(또는 3D 이미징) 카메라 디바이스에 의해 캡처된 장면을 표현하는 3D 포인트 클라우드의 3D 포인트들의 각각의 포인트의 Z 좌표에 내포된다(embedded). 거리 데이터는, 예컨대 카메라 디바이스 위치일 수 있거나 장면에서 미리정의된 또 다른 기준 위치일 수도 있는 장면의 각 영상화 포인트 및 또 다른 기준 위치 사이의 거리 측정에 대응한다. 사용자 마스크 또는 대응하는 사용자 3D 포인트 클라우드가 그 후에, 피팅되고 트래킹되는 각각의 골격의 관절식 물체 또는 사용자에 속하는 픽셀을 정확히 정의하도록 결정된다. 이러한 결정은 WO-A-2011/080282에 자세히 기재되어 있는 전용 방법을 사용하여 수행될 수 있다. WO-A-2011/080282에서는, 3D 포인트 클라우드의 픽셀이 중심을 갖는 지역으로 그룹화되고, 그 후 이 지역들이 상호연결된 지역의 클러스터로 그룹화되는, 물체를 트래킹하는 방법이 기재된다. 그들의 상호연결의 시공간적 특성으로부터, 클러스터가 동일한 물체에 속하는지 여부 및 물체가 2D 에서 또 다른 클러스터에 의해 부분적으로 교합되는지 여부를 결정하도록 클러스터가 평가된다.
초기 단계 210은 입력 센서로부터 직접 획득될 수 있는 법선 맵을, 그것을 지지하든지 깊이 맵으로부터 계산되던지 아닌지 간에 결정하는 단계 또는 개선하는 단계를 포함한다. 후자의 경우에, 결정된 법선 맵은 도 3 및 4를 참조하여 이하 기술되는 고정 크기 커널에 대한 깊이 맵에서 수평 및 수직 경사도를 사용함으로써 깊이 맵으로부터 추출될 수 있다. 법선 맵을 결정하기 위한 다른 방법은, 예를 들어, 국소적으로 피팅된 평면 또는 픽셀의 세트 또는 콘볼루션 마스크(convolution mask)에 속하는 각 중심 픽셀의 법선(normal)을 정의하는 단계를 포함할 수 있다고 알려져 있다.
특히, 도 3에 도시된 일구현예에 대하여, 9개의 그리드 요소, 또는 픽셀(310, 320, 330, 340, 350, 360, 370, 380, 390), 즉 커널을 포함하는 3×3 그리드 어레이(300)가 X- 및 Y-축 중 각각의 축에 따른 ΔZx 및 ΔZy 깊이 경사도의 각 픽셀에 대한 결정을 수행하도록 깊이 맵에 콘볼루션 마스크로서 적용될 수 있다. 이러한 경사도로부터, 각 픽셀에 대한 로컬 평면 방향 및 일부 다른 작동들 가운데 대응하는 법선(normal)이 그 후에 근사화될 수 있다.
도 4는 깊이 맵으로 영상화된 물체인 표면(430)을 갖는 물체를 갖는 3D 장면의 상면도를 도시한다. 도 3의 콘볼루션 마스크(300)를 깊이 맵에 적용하는 것이 각 픽셀에 대한 깊이 경사도의 결정을 허용한다. 예를 들어, 단일 차원인 X축만 고려하는 경우, 물체 포인트(410)가 픽셀(350)에 의해 커널에 영상화되고, 깊이 맵에서 영상화 포인트(420)가 픽셀(360)에 의해 커널에서 영상화된다. 포인트(410)에서 ΔX를 표현하는 포인트(410)와 포인트(420) 사이의 깊이 경사도 ΔZx가 그 후에 결정된다. 동일한 동작이, 포인트(410)에서 ΔZy를 결정하기 위해 Y축 및 커널의 포인트(320)에 대하여 수행될 수 있다. 포인트(410)에서의 ΔZx 및 ΔZy가 그 후 각 픽셀에 대한 로컬 평면 방향에 근사화하기 위하여 입력으로서 사용되고, 이로부터 법선(normal)이 추출될 수 있다.
초기 단계 210은 3D 포인트 클라우드의 질량 중심의 위치를 결정하는 단계 또는 개선하는 단계를 더 포함한다. 상기 질량 중심은 통상의 기술자에게 자명한 여러 방법으로 결정될 수 있다.
초기 단계 210은, 예컨대 3D 포인트 클라우드의 주성분 분석(principal component analysis, PCA)으로 사용하여 획득될 수 있는 사용자의 주요 방향을 결정하는 단계 또는 개선하는 단계를 더 포함한다.
초기 단계 210은 통상의 기술자에게 알려진 적합한 방법을 사용하여 머리의 위치를 결정하는 단계 또는 개선하는 단계를 더 포함한다.
입력 데이터를 개선하고 결정하는 것으로부터, 초기 단계 210은 또한 골격 표현이 이미 수행되지 않았을 경우 다음의 피팅 및 트래킹 단계에 대한 올바른 시작 포인트를 제공하기 위하여 사용자의 3D 포인트 클라우드에 따라 골격 표현의 실제 초기 위치를 설정하기 위한 것이다. 이 초기 단계는 트래킹되는 사용자/물체가 특정 포즈로 서있기를 요구하지는 않지만, 사용자/물체 부분들 사이의 분명한 상대적 위치, 예컨대 이에 한정되는 것은 아니지만, 팔이 교차되지 않음, 다리가 교차되지 않음, 최소한의 가능한 교합(occlusion)으로 보일 수 있는 모든 사지를 요구한다. 사용자/물체의 더 간단한 포즈, 더 빠른 포즈 초기화가 정확한 골격 표현 포즈로 수렴될 것이다. 이러한 포즈 초기 단계는 다음의 서브 단계를 포함한다:
1) 입력을 준비하는 단계;
2) 최적의 머리 후보들을 결정하는 단계;
3) 토르소를 추정하는 단계; 및
4) 초기 골격 포즈를 결정하는 단계.
입력을 준비하는 단계에 대하여, 사용자 3D 포인트 클라우드 주변으로 균일하게 산재되는, 관심 있는 포인트의 세트, 즉 키 포인트에 관련된 통계가, 예컨대 정보, 즉 위치, 픽셀 수, 제1 및 제2 순서 모션 데이터, 중심의 연결, 지역의 인접성, 이웃하는 중심, 이웃하는 중심들 사이의 거리 등을 결정하기 위해 클러스터링 알고리즘에 의해 생성되는 중심들을 사용하여 수집된다. 각도가 또한 각 키 포인트와 그것의 이웃들의 쌍의 조합 간에 결정될 수 있고; 포즈 식별 프로세스에서 사용되는, 키 포인트 및/또는 중심이 아래의 더 자세하세 기술된 세 카테고리 중 하나로 분류되고; 사용자의 몸체의 주요 방향을, 예컨대 질량 중심 위치로 조합된 머리 위치추적 기술을 사용함으로써, 라인 피팅 기술을 사용함으로써, PCA나 유사한 평면/형태 피팅 알고리즘을 사용함으로써, 또는 토르소에 속하는 것으로 분류되는 키 포인트를 사용함으로써, 결정한다.
세 카테고리는 다음 중 하나로 정의된다: '말단', 즉 잠재적 머리, 손 또는 발; '사지', 즉 잠재적 팔꿈치 또는 무릎, 다리 또는 팔; 및 '토르소'. 상기 '말단' 카테고리는 매우 뾰족한 각을 가진 키 포인트들 및/또는 중심들, 및/또는 오직 하나 및/또는 이웃이 아닌 하나를 포함한다. 상기 '사지'는 카테고리는 두 이웃들 사이에 위치하는 말단 및 중심이 아닌 키 포인트를 포함한다. 상기 '토르소' 카테고리는 말단 또는 사지로서 분류되지 않는 키 포인트 및/또는 중심을 포함한다.
머리 후보가 적합한 머리 검출 알고리즘을 사용하여 결정된다. 머리 후보의 결정은 다음의 조건이 만족될 것을 요구한다: 후보는 '말단'이어야 한다; 후보는 실세계 좌표 시스템에 대하여 가장 높은 포인트 중 하나이어야 한다(캘리브레이션이 존재한다는 가정 하에); 후보는 '토르소' 카테고리로 분류되는 일부 포인트에 연결되어야 한다; 후보는 사용자의 주요 몸체 방향으로 느슨하게 배열되어야 한다.
각 잠재적인 머리 후보에 대하여, 골반 위치, 왼쪽 및 오른쪽 어깨, 및 왼쪽 및 오른쪽 둔부를 포함하는 추론되는 사용자 토르소가 결정된다. 토르소 추론이 사용자가 서있고, 가장 높은 머리 후보 포인트로부터 사용자 높이를 얻을 수 있고, 사용자 높이에 따라 토르소 비율 및 스케일을 정의한다는 가정으로 달성된다. 이러한 초기 비율은 초기 단계에 의해 오직 사용되고, 사용자의 실제 차원이 게속해서 개선되는 골격 피팅 최적화 루프에 의해 후에 수정될 수 있다.
이전에 분류된 각 개별의 키 포인트 또는 중심을 사용하는 경우, 골격 표현 초기 포즈가 분류된 키 포인트 및/또는 중심을 최적으로 피팅하는 제어 포인트의 특정 배열로서 고려될 수 있다. 따라서, 골결 표현, 즉 제어 포인트는 식별된 키 포인트 및/또는 중심의 각각의 위치에 따라 피팅되고 및/또는 매칭되어야 한다.
초기 포즈 검출을 결정하는 방법은 이전에 계산된 정보의 전체를 사용하는 반면, 포즈 평가의 회수를 최소화하는 것을 목표로 한다. 일구현예에서, 포즈 검출이 탐사-개발 전략(exploration-exploitation strategy) 또는 전체 백트래킹 탐사일 수 있다.
포즈를 결정하기 위하여, 각 키 포인트 및/또는 중심이 몸체 부분, 즉 머리, 토르소, 왼쪽 및 오른쪽 팔, 및 왼쪽 및 오른쪽 다리와 연관된다. 이 연관은 위에서 기술한 포즈 추정 단계 210(입력을 준비하는 단계)에서 이루어지는 초기 키 포인트 분류를 사용하여 생성되나, 이에 필수적으로 한정되는 것은 아니다. 연관이 수행되는 경우, 특정 팔 또는 다리의 배치(configuration)의 평가가 유지되며, 필요충분 조건으로, 그 평가는 일부 표준이 되는 인간 관절 및 형태학적 제한을 만족한다. 극적인 처리 동안 되도록 빨리 이러한 평가 단계를 수행함으로써 탐사하는 검색 공간이 줄어든다. 유지될 완료 포즈는 키 포인트 및/또는 중심과 몸체 부분의 연관을 최고로 만족하는 것을 제공하는 포즈이다.
예를 들어, 일구현예에서, 하향식 백트래킹 탐사가 임의의 식별된 머리 후보 및 대응하는 토르소 키 포인트 후보로부터 시작할 수 있다. 잠재적 양립가능한 전체 몸체 포즈가 그 후에 다른 키 포인트, 기본적으로 사지를 탐사함으로써, 다양한 전략 또는 다양한 전략의 조합을 사용함으로써, 결정된다:
(i) 제1 전략에서, '말단'으로 분류되는 각 키 포인트가 잠재적인 발 및/또는 손으로 탐사될 수 있다. 키 포인트 연결에 대한 정보를 포함하는 지역 인접성 그래프(region adjacencies graph, RAG)가 그 후에 손 및 발에 대응하는 잠재적 후보, 및 그들이 링크된 가장 가까운 토르소 키 포인트 후보 사이에 있는 팔꿈치 및 모릎을 검색하도록 사용된다.
(ii) 또 다른 전략에서, '사지' 카테고리에 속하는 키 포인트가 또한 잠재적 팔꿈치 또는 무릎으로 탐사될 수 있고, 상기 RAG가 잠재적 팔꿈치 및 무릎 후보로부터 잠재적 손 및 발 후보의 인증을 돕거나 검색하도록 추가로 사용될 수 있다.
추가의 일구현예에서, 다양한 특정 탐사 전략이 그 자체로 또는 다른 전략과 조합하여 조건부로 수행될 수 있다. 예를 들어, 하나의 특정 전략은 사용자가 확실히 몸체를 따라 쭉 뻗은 팔로 서 있는 경우에 최적의 키 포인트 후보 배열을 검색하기 위해 사용될 수 있다.
또 다른 추가의 구현예에서, 추가 제한이 키 포인트 위치에 대해 제어 포인트 배열에 적용되는 특정 제한을 사용함으로써 잘못된 포즈 후보를 배제하도록 사용될 수 있다. 예를 들어, 관절이 제한되고 느슨한 사지 길이 제한이 포즈 후보를 허락하거나 거절하도록 고려될 수 있다.
도 2로 돌아와서, 사전-설정 단계(단계 220)는 피팅 및 트래킹 단계 230 이전에 미리 결정된 양의 픽셀 또는 빈을 가진 그리드에서 깊이 맵의 정투영을 생성하는 단계를 포함한다. 이 빈의 각각은 피팅되고 트래킹되는 물체에 대응하는 3D 포인트에 관련된 정보를 수집한다. 이 정보는 깊이 측정, IR 조명값, 법선 벡터 및/또는 이 측정, 값 및/또는 벡터 등의 통계적 모드일 수 있다.
빈으로 상기 정보의 수집은 빈으로 물체의 3D 포인트에 대응하는 데이터를 저장함으로써 수행된다. 각 빈은 이미징 디바이스, 예컨대 이미징 센서 또는 카메라로부터 공간의 이 지점들의 거리에 따라 물체의 몇몇 3D 포인트로부터의 정보를 수집할 수 있다. 이것은, 카메라 또는 이미징 센서에 근접한 거리와 비교되는 이미징 센서 또는 카메라로부터 거리에서 동일한 정확도로 샘플링되지 않는 3D 공간을 야기하는, 고정된 해상도의 2D 이미징 센서에 의해, 3D 포인트 클라우드가 샘플링되기 때문이다. 예를 들어, 이미징 센서 또는 카메라로부터 5m에서, 획득된 포인트가 실세계의 7cm 표면에 대응할 수 있고, 반면에 이미징 센서 또는 카메라로부터 1m에서, 획득된 포인트가 실세계의 1.5cm 표면에 대응할 수 있다. 그런데, 빈으로 데이터 투영에 대한 고정된 치수, 예컨대 5cm의 샘플링 단계를 미리 결정하는 것이 또한 이미징 센서 또는 카메라로부터 연관된 투영된 3D 포인트의 거리에 따라 빈으로 수집되는 상이한 데이터의 양에 이르게 할 수 있다.
이는, 예를 들어 이미징 센서로부터 5m 거리의 하나의 단일 포인트가 정투영에서 그리드의 하나의 단일 빈으로 투영될 수 있고, 1m의 거리의 3개 이상의 포인트가 정투영에서 그리드의 단일 빈으로 투영될 수 있음을 의미한다. 이는 또한 포인트가 이미징 센서로부터 더 가깝고, 더 많은 포인트가 그리드의 각 빈에 들어갈 수록 더 정확한 정투영 그리드임을 의미한다.
그리드의 정투영 때문에, 처리되는 이미지가 카메라로부터 물체의 거리에 상관없이 고정된 크기이다. 이것은 카메라로부터 물체의 거리와 별도로 가까운 고정된 그리드 크기를 결정함으로써 지속적인 처리 시간이 달성될 수 있음을 의미한다. 대개의 경우에는, 처리 성능, 즉 처리 시간 및 처리 품질을 최적화하기 위해 트레이드-오프(trade-off)가 존재한다.
본원발명의 바람직한 구현예에서, 정투영이 전체 깊이 맵으로 수행되지 않지만, 바람직하게는 사용자 마스크 이미지, 사용자의 질량 중심으로 중심을 두는 직교 재-투영 그리드를 사용함으로써 정의되는, 그것의 제한된 영역으로 수행된다. 이 프로세스의 결과는 정투영 사용자 또는 ORUS라 할 수 있다. 재-투영을 수행하는 경우, 초기 3D 포인트 클라우드의 몇몇 픽셀이 동일한 단일의 셀 요소, 즉, 정투영 그리드 내의 빈을 나타낼 수 있고, 반면에 일부 다른 셀 요소나 ORUS 그리드의 빈은 비어있을 수 있다.
ORUS에 의해 제공되는 데이터는 각 픽셀 또는 셀 또는 빈이 포함하는 이미지를 포함한다: ORUS 셀과 연관된 초기 3D 포인트 클라우드 포인트에 대응하는 법선의 추정; 최소 Z-좌표 값, 즉 ORUS 그리드의 단일 빈으로 투영되는 깊이 맵 픽셀의 최소 깊이 값일 수 있는 통계적 모드; 및 그리드 픽셀에 투영되는 3D 포인트 클라우드 포인트의 X, Y 및 Z 좌표의 평균 값.
도 5에서, ORUS 재-투영 방법 원리를 도시하는 실시예가 보여진다. 카메라(500)가 트래킹되는 물체(510)를 포함하는 장면을 캡처한다. 이 경우에, 물체(510)는 도시된 커브로 나타내진다. 물체(510)가 깊이 감지 캡처 프로세스에 의해 샘플링되고, 각 샘플링된 포인트(511)는 물체(510)로부터 카메라(500)의 센서 매트릭스 어레이로의 투영(512)에 대응한다. 몇몇의 샘플링된 포인트, 깊이 감지 시스템의 해상도에 의해 정의되는 수가 존재하나, 명확성을 위해 도 1에 오직 하나만 라벨링되고 있음을 이해해야 할 것이다. 투영(512)은, 깊이 감지 시스템의 해상도 뿐만 아니라 그것의 시야를 포함하는, 사용되는 이미징 디바이스 또는 카메라의 유형에 의해 결정된다. ORUS 프로세스는, 투영(513)에 나타난 것처럼, 커브 또는 물체(510)의 각 샘플링된 포인트를, 복수의 빈(530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550)을 포함하는 고정된 단계 크기 투영 그리드(520)로 직교로 투영한다. 수직면의 부분 표현에 대응하는, 그리드(520)의 오직 하나의 라인만 도 5에 도시되어 있다. 그리드(520)의 각 빈(530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550)은, 관찰되는 물체(510)로부터 샘플링된 포인트를 축척하고, 커브의 깊이 값을 나타내는 하나 이상의 값을 포함한다. 각 빈(530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550)은 또한 도 3 및 4에 대하여 위에서 언급한 바와 같이 대응하는 법선의 값을 포함할 수 있다. 한 예로서, 빈(530, 532, 534, 536, 538, 540, 544, 546, 548, 550)은 깊이 값을 포함하나, 빈(542)는 비어 있고, 따라서 물체(510)의 재-투영에 의해 생성되는 교합 또는 홀에 대응한다. 동일한 방법으로, 빈(548) 및 빈(544)는 카메라 시스템에 의해 장면으로부터의 두 개의 샘플링된 포인트로부터 추출되는 데이터를 포함한다.
바람직한 일구현예에서, ORUS 그리드의 비어있는 빈이 하나의 통계적 모드, 예를 들어 이웃하는 빈에서 각 샘플링된 포인트의 데이터의 평균을 사용하는 보간(interpolation) 기술을 사용하여 다시 채워질 수 있다. 이 경우에, 빈(542)는 빈(540) 및 빈(544)의 값에 대응하는 보간된 값으로 다시 채워질 수 있다. 보간된 데이터 값은 적어도 깊이 값, 및 법선 값을 포함한다. 또 다른 구현예에서, 깊이 맵의 삼각법(triangulation)이 수행될 수 있고, 삼각형이 ORUS 그리드에 투영되고 임의의 삼각형 레스터화(triangle rasterisation) 방법, 예컨대 주사선(scanline) 렌더링, 및 폴리곤-바이-폴리곤(polygon-by-polygon) 또는 픽셀-바이-픽셀(pixel-by-pixel)에 기초하기 보다는 로우-바이-로우(row-by-row)로 동작하는, 3D 컴퓨터 그래픽에서 가시적인 표면 결정을 위한 알고리즘의 사용으로 채워질 수 있다.
ORUS 투영을 사용하여, 사용자에 대응하는 3D 포인트 클라우드는 도 8a 및 8b에 도시된 사용자 몸체의 주요 방향을 결정하거나 개선하도록 처리될 수 있다. 도 8a에서, 윤곽(810)을 가진 사용자 형태(800)가 도시된다. 사용자 형태(800)는 질량 중심(820)을 가진다. 윤곽(810)에 나타난 것처럼, 질량 중심(820)으로부터의 선(830)이 사용자 형태(800)의 경계로 확장된다. 명확성을 위해, 오직 하나의 선(830)이 도 8a에 라벨링된다. 각 선은 적합한 각도, α에 의해 인접 선으로부터 이격된다. 각도 α는, 질량 중심(820)으로부터 윤곽(810)으로 결정될 수 있는 거리 측정의 수에 따라서 임의의 적합한 각도, 예컨대 2°, 5°또는 10°를 갖는다. 상기 거리 측정은 그 후에 도 8b에 도시된 바와 같이 다이아그램에서 각도에 대해 표시된다.
도 8b에서, 예컨대 사용자의 질량 중심(820)으로부터 각도에 대해 윤곽(810)으로의, 기준 포인트로부터 선의 길이 또는 거리 측정의 표시에 대응하는 프로필(840)이 도시된다. 이 경우에, 프로필(840)은 사용자의 확장된 팔, 두 다리, 및 머리의 각각에 대응하는 피크(850, 860, 870, 880)의 수이다.
도 8b에 대하여, 머리가 피크(880), 즉 사용자 몸체의 주요 방향에 의해 결정되는 0°위치에 가장 가까운 피크로 결정된다. 다리는 180°위치의 어느 한 측, 즉 실질적으로 머리 위치에 대향하여 위치하는 피크(860, 870)로 결정된다. 확장된 팔은 0°와 90° 사이의 피크(850)로 결정된다. 머리의 위치에 대응하는 피크는 또한 어깨에 대응하는 두 피크 사이로 결정될 수도 있다(도시되지 않음).
이 경우에 다른 팔이 사용자 형태(800)의 토르소 위치에 의해 효과적으로 교합되기 때문에 선(830)의 길이로부터 결정될 수 없다. 그러나, 사용자가 상이한 위치, 예컨대 두 팔이 다 확장되는 위치로 서있다면, 다른 팔의 위치가 270°와 0° 사이의 피크로 결정될 수 있다(도시되지 않음).
바람직한 일구현예에서, 통계적 분석에 기초한 다이아그램 모드가 검출되는 모든 모드에 대하여 사용자의 3D 포인트 클라우드 내의 머리의 위치를 결정하거나 개선하는데 수행된다. 추가로, 모드의 분배의 일부 명료한 배치를 식별하는 것은 머리 위치 또는 전체 포즈에 연관된 오류의 트래킹으로부터 회복하는데 유용하다. 예를 들어, 잠재적인 어깨 모드에 대하여 잠재적인 머리 모드의 대칭이 고려될 수 있다. 유사한 방법으로, 사지 모드 사양이 고려될 수 있다. 또 다른 실시예에서, 유사한 높이의 진폭을 가지고 하향 방향으로 30 도 미만으로 인접한 두 개의 개별의 모드는, 머리 및 팔에 잠재적으로 양호하게 대응하는 다른 모드를 가진 사용자의 다리에 양호하게 대응할 수 있다; 바람직하게 팔을 표현하는 두 모드 사이에 위치하는 것인 머리 모드. 특정 구현예에서, 또 다른 프로세스에 의해 제공되는 머리 위치가 설정되거나, 모드 통계적 분석을 통해 정의되는 사용자 3D 포인트 클라우드에 부착되는 중심 또는 관심있는 하나의 포인트에 대응하는 더 적합한 위치에 있도록 개선될 수 있다.
이러한 사용자 머리 위치 결정 또는 개선으로부터, 주요 방향이 결정되거나, 머리 중심으로부터 질량 중심(820)으로, 그리고 도 8a에 따른 발 사이의 위치로 하향하는 직선으로 통과하는 것으로 개선될 수 있다.
도 2로 돌아가서, 단계 220에서 ORUS 데이터가 그 후에 곡률 중심 포인트를 결정하기 위해 다음 단계에서 사용된다. 특히, 곡률 중심 포인트 위치 추정이 법선 벡터, 즉 ORUS 그리드의 법선 데이터를 사용하여, 물체의 일부들의 섹션의 중심 포인트에 대응하는 포인트인 곡률 중심 포인트를 추정하기 위해 로컬 레벨에서 법선의 교차를 결정하도록 수행된다. 곡률 중심 포인트의 위치에 관련된 데이터가 ORUS 그리드에 축척되고, 이러한 곡률 중심 포인트의 축척의 최대의 밀도를 갖는 위치가 그 후에 물체의 일부의 중심 축의 최대 근사로 정의되는 것으로 설정된다(즉, 인간의 피팅 및 트래킹의 경우에 사지에 대한 뼈). 특히, 각 최대 밀도 위치는 접촉구의 파라미터를 함께 정의하는 중심 및 반경을 갖는다. 게다가, 각 접촉구가, 그것이 추출되는 커브 C의 포인트의 수렴에 대하여 예컨대 포지티브, 네거티브, 또는 널(null) 곡률 포인트로 분류된다. 바람직한 구현예에서, 소위 정의된 접촉구 및 그 파라미터가 사용자 몸체 뼈의 중심 축, 사용자 몸체 뼈 양, 토르소 평면의 중심 축을 근사화하기 위해, 그리고 몸체의 주요 방향을 강화하고 및/또는 개선하기 위해 사용된다.
도 6에서, 접촉구의 실시예가 2D로 도시된다. 커브 C와 포인트 P에서 접촉하는 구(610)로서, 중심이 포인트 P에서 커브에 법평면에 누워있는 구가 접촉구로 정의된다. 이 경우에, 커브 C에 의해 정의된 면에 대하여, 접촉구(610)는, 화살표(630)에 의해 도시된 것처럼 그 중심(620)이 포인트 P의 표면 C로 법선에 놓이도록 도시되며, 중심(620)은 ORUS 그리드에 투영된 커브 C의 법선의 교차의 최대 밀도에 대응한다. 접촉구의 중심(620)은 잠재적인 몸체 뼈의 중심 축 또는 선의 위치의 표시를 제공한다. 몸체에 부착된 접촉구의 모든 중심을 함께 연관함으로써, 골격 표현의 배치의 추정을 획득하거나 개선할 수 있다.
위에서 언급한 바와 같이, 접촉구 및 곡률 중심 포인트는 그들이 연관되는 표면의 수렴에 따라 세 유형이 되도록 연관될 수 있음을 주의할 것이다: 즉, 현 구현예에서 폐기되는 오목면에 대응하는 포지티브 반경을 갖는 유형; 적어도 부분적으로 토르소일 수 있는 평면을 나타내는 0에 가까운 작은 반경 값을 갖는 유형; 및 현 구현예에서 특히 고려되는, 관식 구조, 예컨대 사용자의 사지에 대응하는 네거티브 반경을 갖는 유형. 접촉구의 반경이 곡률 중심 포인트와 P 포인트 사이의 거리에 의해 초기에 결정되면, 미리정의되는 것으로 이해해야 할 것이다.
단계 220에서 결정된 데이터로부터, 특정 트래킹 기술에 따른 반복적인 로컬 및 글로벌 피팅이 그 후에 위상적(topological) 및 기하학적 제한을 사용하여 수행된다(단계 230). 로컬 피팅은 3D 포인트 클라우드에서 결정된 예상되는 위치, 예컨대 3D 포인트 클라우드로부터 또는 바람직하게는 ORUS 그리드 분석으로부터 결정된 머리의 위치로 머리 제어 포인트의 피팅에 대해 이전 위치로부터 골격 표현의 각 제어 포인트를 재-위치하는 것을 목표로 한다. 물체의 골격 표현이 이전에 피팅되고 트래킹된 경우에, "이전 위치"에 의해, 이전 프레임 중 하나에서 골격 표현의 제어 포인트의 위치 및 공간에서 그들의 배열, 바람직하게는 이전 프레임을 사용하는 것을 의미한다. 물체의 골격 표현이 이전에 피팅되고 트래킹되지 않은 경우에는, 이전 위치가 피팅되고 트래킹되는 물체의 골격 표현의 초기 포즈를 사용하여 결정된다. 현재 골격 포즈 표현에 대한 입력으로서 사용되는 이전 프레임에서 골격 표현은 또한 모션 추정 기술, 예컨대 이전 프레임에서 제어 포인트의 위치, 속도 및 가속도와 같은 운동 모멘트(kinetic moment) 파라미터의 하나 이상의 제1, 제2 및 제3 순서를 사용하여 강화될 수 있음이 이해된다. 글로벌 피팅은 제어 포인트들 서로에 대해, 그리고 결정된 글로벌 포즈에 대해 골격 표현의 모든 제어 포인트를 전체적으로 재-위치시키는 것을 목표로 한다.
위상적 제한의 고려는 결정된 상호-관계를 가진 연결된 포인트의 세트, 예컨대 4개의 연결 포인트의 세트인 사용자의 토르소를 표현하는 도 1에 도시된 패치(140)를 고려하는 것을 포함한다. 추가로, 상부 및 하부 팔, 상부 및 하부 다리가 두 개의 연결 포인트의 세트로 고려될 수 있다. 특히, 사용자 머리 위치를 토르소에 대하여 고려하는 경우, 목에 대응하는 연결된 포인트의 세트가 두 어깨 사이의 세그먼트의 중심으로 머리를 링크하는 3개의 제어 포인트의 삼각형 구조로 고려된다.
기하학적 제한의 고려는 다음을 포함한다: 두 개의 연결된 제어 포인트 사이의 최소 및/또는 최대 거리, 상부 및 하부 사지의 길이 뿐만 아니라 목의 길이가 제한된다. 두 개의 비-연결된 제어 포인트 사이의 제한, 예컨대 머리와 둔부 사이의 거리도 또한 고려될 수 있다. 특히, 기하학적 제한은 위상적 제한에 의해 이용가능한 포즈 추정 해결 공간을 효과적으로 제한하기 위해, 그리고 이하 더욱 자세히 기술될 피팅 단계를 간소화하기 위해 사용되며, 예를 들어, 머리와 어깨를 고려하는 경우에 직교성 제한이 강화될 수 있다.
바람직한 일구현예에서, 프로세스가 신뢰성 있는 측정을 수집하는 만큼, 골격 표현의 제어 포인트들의 기하학적 제한 간의 거리는 시간에 따라 보강된다. 보강(Strengthening)은, 예컨대 가우시안 혼합(mixture of Gaussian) 또는 시간 평균화(temporal averaging)를 통해 수행될 수 있다. 골격 표현의 포즈가 애매하지 않은 경우, 예컨대 사용자가 장면에서 사지가 교차되지 않고 몸체의 부분들이 교합되지 않아서 모든 말단의 완벽한 검출 및 식별이 가능한 방식으로 서있는 경우에, 신뢰성 있는 측정이 때때로 측정될 수 있다.
위상적 및 기하학적 제한에 더하여, 속도 및 충돌 제한이 또한 결코 실질적으로 중첩되거나 함께 병합되서는 안되는 패치 및/또는 관련 세그먼트의 골격 표현 제어 포인트의 정확한 위치의 양호한 추정을 획득하기 위해 고려될 수 있다. 특히, 속도 제한이 제어 포인트의 모션의 속도에 관련이 있다. 이들은 미리정의된 범위의 허용 속도로 포함되어야 한다. 허용 속도는 골격 표현의 각각의 단일 제어 포인트에 대해 정의될 수 있다. 미리정의된 범위와 비교하여 낮은 속도는 움직임이 나타나지 않는 것으로 고려된다. 허용 속도보다 높은 속도도 모션이 없는 표시로 고려된다. 따라서, 미리정의된 속도를 벗어난 임의의 속도는 고려되는 제어 포인트가 이전 프레임에 있는 한 동일한 위치를 유지할 것이라는 결과로 움직임이 없는 것으로 간주된다.
충돌 제한은 중첩, 병합 및 하나의 제어 포인트, 임의의 중첩이 허용되지 않도록 다른 것으로부터 세그먼트 및/또는 패치의 특정 정도로의 거리와 관계가 있어서, 그들간의 임의의 중첩은 허용되지 않는다. 용어 "허용되지 않는다"에 의해, 피팅 프로세스는 예컨대 최근에 인정된 위치로 세그먼트 위치를 정지시키거나, 세그먼트 위치를 연관된 모든 제한에 대하여 에너지 최소화 원리를 만족시키도록 또 다른 위치로 조정한다는 것을 이해해야 한다. 글로벌 트래킹 단계의 효율성은 피팅의 정확성에 달려 있기 때문에, 시간에 따라 위상적 및 기하학적 제한에도 달려있다. 골격 표현의 초기 포즈 추정인, 적어도 시작하는 경우이거나 이전 트래킹이 수행되지 않았던 경우를 제안하는 단계 210이, 골격 표현의 제어 포인트의 분명한 배열을 제공하기 때문에, 트래킹 프로세스의 효율성을 개선하는데 도움이 되는 단계를 제공한다.
트래킹 단계로 돌아와서, 이 단계는 상이한 기준들의 조합일 수 있는 에너지를 최소화하는 방법에 기초한다. 예컨대:
- 문제가 되는 거리, 즉 골격으로부터 접촉구 중심으로의 거리;
- 현재 골격 포즈로부터 이전 골격 포즈로의 거리;
- 이미징 디바이스에 의해 보이는 사용자 표면으로 거리, 즉 골격 표현은 깊이에 따른 사용자 마스크를 지지하고 사용자의 실루엣 내에 포함되어야 한다는 사실("거리에서 실루엣"이라 함).
에너지 최소화의 최적화가 두 레벨, 즉 로컬 레벨과 글로벌 레벨로 수행된다. 프로세스는 기본적으로 골격 표현의 각 제어 포인트에 대해, 위에 기술된 기준 및 제한에 대한 부분인 골격 표현의 글로벌 에너지를 최소화하는 로컬 레벨 위치를 찾는 것, 즉 제한에 대하여 관련되는 다른 제어 포인트의 일부 위치의 일부 잠재적인 변경을 포함하는 신규 위치에서의 제어 포인트의 위치를 피팅하는 것을 목표로 한다. 예를 들어, 두 제어 포인트 사이의 거리가 팔뚝 세그먼트 크기에 의해 제한되기 때문에, 팔꿈치에 대응하는 제어 포인트의 위치가 변경되는 경우, 손에 대응하는 제어 포인트의 위치의 변경이 조금 변경될 수 있다. 최적화는 반복하여, 예컨대 경사도 하강(gradient descent)이라는 알고리즘을 사용하거나 레벤버그-마쿼트(Levenberg-Marquardt) 유사 방법을 사용하여 수행된다. 수렴 기준이, 예컨대 로컬 최적화가 로컬 최소화에 근접함을 의미하는 반복적인 최적화에 부합하면, 그 후에 추가로 안내되는 배치 수정(configuration modification)이, 에너지가 로컬 최적화 단계에서 이전에 결정된 것보다 낮은 또 다른 배치를 찾는 노력이 가능하도록 결정된 로컬 최소화를 얻기 위해 사용된다. 그리고 나서, 안내되는 배치 수정은 로컬 최적화 프로세스의 상단에서의 글로벌 최적화를 수행하는 데 목적이 있다. 로컬 및 글로벌 최적화의 몇몇의 루프가, 연속하여 또는 연속하지 않는 방식으로 수행되어, 최소의 글로벌 에너지의 도달; 최소의 로컬 에너지의 도달; 에너지 최소화 프로세스에서 미리 결정된 수의 반복의 도달; 및/또는 수렴을 위해 할당되는 미리 결정된 시간의 도달 중 하나 이상 또는 그들의 조합을 만족하는 적합한 골격 포즈 해결로의 수렴이 가능하다.
안내되는 배치 수정의 바람직한 일구현예는, 글로벌 시스템의 에너지의 양호한 최소화를 목표로, 예컨대 시스템의 상태에서 일부 알려진 패턴, 즉 제한된 수의 알려진 사용자 포즈를 검출하고, 미리정의된 연관된 응답, 즉 미리정의된 골격 포즈 또는 미리정의된 골격 제어 포인트 배열을 적용하는 특정 프로세스를 사용한다.
더 바람직한 구현예에서, 글로벌 피팅 및 트래킹 성능을 개선하기 위하여, 각각의 특정 프로세스가 확률 인자, 예컨대 그들의 발생율; 그들의 성공율; 및 그들의 최소화 효율비 중 하나 이상에 의해 가중화된다. 최소화 효율비는 이미 수행된 최소화 프로세스의 각각의 속도 성능에 대응한다. 더 높은 가중치를 갖는 특정 프로세스가 낮은 가중 인자를 갖는 임의의 다른 특정 프로세스 이전에, 우선하여 선택될 것이다.
도 9에서, 골격 표현의 글로벌 에너지, 즉 골격 표현의 제어 포인트의 거리, 및 결정된 곡률 중심, 이전의 위치, 및 사용자 마스크에 대하여 연관된 몸체(즉, 세그먼트 및 패치)에 대응하는 글로벌 에너지는, 굵은 대시 점선(910)에 의해 표현된다. 점선(910)의 형태가 예시의 목적으로 도시되고 있으며, 하나의 사용자 포즈로부터 다른 사용자 포즈, 및 하나의 골격 표현으로부터 다른 골격 표현에 따라 상당히 다양할 수 있음이 이해될 것이다. 각 프레임에 대해, 에너지 최소화 프로세스에 진입하는 경우(도 2의 단계 230), 골격의 글로벌 에너지가 포인트(921)에 의해 나타난 것처럼 결정된다. 화살표(920)에 나타난 것처럼, 로컬 반복 에너지 최소화 프로세스는, 포인트(922, 923)에 나타난 것처럼, 최소 에너지가 포인트(923)에 나타난 것처럼 골격 표현에 대해 발견될 때까지, 골격 표현에 대한 관련된 잠재적 제어 포인트 배치를 연속으로 분석함(parsing)으로서 수행된다. 반복 수는 하나의 사용자 포즈로부터 또 다른 사용자 포즈로 변할 수 있고, 허용되는 반복의 수는 수렴 시간 프로세스를 제한하거나 무한 루프를 피하기 위해 설정될 수 있음을 이해해야 한다.
포인트(923)에 의해 나타난 것처럼 로컬 최소가 발견되면, 화살표(950)에 의해 나타나는 것처럼 안내되는 배치 수정 프로세스가 포인트(923)에서 결정된 로컬 최소를 버려서 국소적으로 발견되었던 것(포인트(923))보다 더 낮은 에너지의 관련 배치인 골격 표현의 또 다른 제어 포인트를 발견하는 것이 가능하다. 도 9에서, 안내되는 배치 수정 프로세스(화살표(950))은 글로벌 최적화, 포인트(923)의 에너지보다 더 낮은 에너지를 갖는 포인트(951)로 표현되는 골격 표현의 배치의 결과를 수행하는데 도움이 된다. 오직 하나의 글로벌 최소 검색이 도 9에 도시되어 있다 할지라도, 이러한 글로벌 에너지 최소화도 허용된 처리 시간에 대하여 수렴 정확도를 최적화하기 위해 파라미터를 사용하는 것을 포함하는 로컬 최적화와 동일한 방법으로 반복될 수 있음을 이해해야 할 것이다.
최상의 글로벌 최소가 포인트(951)에서 발견되면, 또 다른 로컬 최소 최적화 프로세스가 화살표(980)에 의해 나타난 바대로 수행되어서, 골격 표현의 관련 로컬 배치가 최소 로컬 에너지가 발견될 때까지 포인트(982, 983)에 의해 표현되는 것으로서 반복을 사용하여 발견된다.
로컬 및 글로벌 에너지 최소화 최적화를 반복하여 수행한 이후에, 포인트(983)에 나타난 것처럼 골격 표현의 최적의 배치를 찾을 수 있다. 그리고 나서, 골격 표현의 이러한 배치가 최적의 피팅, 즉 실제 사용자 포즈를 최상으로 표현하는 골격 표현의 최상의 제어 포인트 배치에 대응하는 것으로 간주될 수 있다.
다음 단계는 골격 표현의 제어 포인트 위치를 필터링하는 강력한 안정화를 적용하는 단계를 포함한다(단계 240). 바람직하게는, 모든 제어 포인트가 고려되지만, 움직임이 없었을 경우에는 일부의 포인트가 고려될 필요가 없을 수 있음을 이해해야 할 것이다. 프레임-투-프레임 안정화를 수행하는 방법이, 안정화된 이미지를 제공하기 위해 카메라 또는 다른 센서에 의해 캡처된 물리적 가변적 일련의 측정이 처리되는, WO-A-2011/080281에 기재되어 있다. 이 처리는 미리 결정된 임계치를 갖는 제1 및 제2 측정치 간의 차이를 비교하는 단계를 포함하며, 이때 차이가 미리 결정된 임계치 미만이면, 제2 측정치는 차이가 제1 필터링 값을 사용하여 감소되는 교정된 제2 측정치로 대체된다. 제2 및 제3 측정치도 유사하게, 차이가 미리 결정된 임계치 미만이면, 제3 측정치는 제1 필터링 값보다 낮은 제2 필터링 값을 사용하여 감소되는 교정된 제3 측정치로 대체된다. 이것은 골격 움직임 표현을 스무스(smooth)하게 하도록 고려되는 모든 골격 제어 포인트에 대해 반복된다.
다음 단계인 단계 250에서, 정보가 특정 제어 포인트에 대해 이용가능하지 않은 경우, 예컨대 골격 표현의 대응하는 제어 포인트를 가리는 3-차원 포인트 클라우드 상의 교합이 있는 경우, 완료 프로세스가 골격 표현의 제어 포인트의 적어도 일부를 위한 위치에 대한 추정을 제공하도록 수행된다. 특정 일실시예는 사용자의 손이, 적어도 팔꿈치를 초래하고, 팔꿈치에 대응하는 포인트를 갖지 않는 사용자에 대응하는 3D 포인트 클라우드를 초래하여, 깊이 감지 시스템, 즉 이미징 센서 또는 카메라의 시축(optical axis)에 대해 어깨와 정렬되는 경우이다. 이 특정 실시예에서, 완료 단계는, 예컨대 골격 표현의 제어 포인트의 최근에 알려진 위치가 고려됨으로써, 트래킹 및 안정화 결과가 강화되는 이전의 단계 230 및 단계 240에 기초하여 팔꿈치 위치를 추정하는 단계를 포함한다. 바람직한 일구현예에서, 분실(missing) 정보의 완료는 다음 중 하나 이상을 사용한다: 칼만-기반 위치 추정, 역운동학(nverse kinematic) 기반 위치 개선, 조인트 제한 및 중력 시뮬레이션.
특히, 칼만-기반 위치 추정을 사용하는 경우, 정보가 에너지 최소화 프로세스를 최적화하는데 이용가능하지 않은 골격 표현의 제어 포인트는 이전 위치, 속도 및 가속도에 따라 설정된 위치를 갖는다. 운동학 기반 위치 개선을 사용하는 경우, 그 자체로 또는 칼만-기반 완료와 조합하여, 골격 표현의 제어 포인트 위치가, 예컨대 이웃하는 제어 포인트로의 거리에 대하여 재설정된다. 조인트 제한 위치 개선을 사용하는 경우, 그 자체로 또는 다른 완료 프로세스 중 하나와 조합하여, 골격 표현의 제어 포인트 위치가, 예컨대 고려되는 사용자(또는 물체)의 생리적 특성에 따라 그들 각각 및 그들 이웃들의 각각 사이에 허용되는 각도 제한에 대하여 개선된다. 중력 시뮬레이션 기반 위치 개선을 사용하는 경우, 그 자체로 또는 다른 이전의 완료 프로세스 중 하나와 조합하여, 골격 표현의 고려되는 제어 포인트 위치가, 예컨대 중력에 대하여 개선되며, 즉 각 위치는 고려되는 제어 포인트에 할당된 미리 결정된 가중치의 추정 및 경과 시간에 따라 이전에 추정된 위치보다 더 낮게 조정된다. 특히, 각 제어 포인트의 가중치를 미리 결정하는 것은 사용자의 크기와 치스, 시간에 따라 개선된 크기와 치수에 대하여 수행될 수 있다.
최종 단계인 단계 260은 다음 중 하나를 포함하는 출력을 제공하는 것을 목표로 한다: 도 1에 관해 위에서 기재한 것과 같은, 카메라의 시야 내의 사용자의 골격 표현에 대응하는 제어 포인트의 세트; 및 사용자의 골격 표현을 제공하는 3D 원시정보, 예컨대, 세그먼트, 삼각형, 패치의 세트. 제어 포인트 또는 3D 원시정보의 세트는 3D 좌표 데이터, 3D 방향 데이터, 모션 관련 데이터(상이한 레벨에서), 조인트의 식별(도 1을 참조하여 위에 기재된 것과 같은 제어 포인트) 또는 3D 원시정보, 및 조인트(위에 기재된 것과 같은 제어 포인트) 또는 3D 원시정보의 상태를 포함할 수 있다.
도 2를 참조하여 기재된 방법이 인간 사용자 및 사용자의 골격 표현의 형성에 대한 것이라 할지라도, 이미징 센서 또는 카메라의 시야 내의 임의의 다른 물체를 표현하는 골격 표현을 결정하고, 그 물체의 골격 표현을 피팅하고 트래킹하기 위해 사용될 수도 있음을 이해해야할 것이다.
추가로, 카메라 또는 다른 이미징 디바이스가 캡처되는 장면에 대하여 움직이고 있다면 정지된 물체가 트래킹될 수 있다. 특히, 장면 내의 다른 포인트뿐만 아니라 카메라 위치일 수 있는 기원 포인트, 또는 참조 포인트, 예컨대 바닥 상의 포인트인 서있는 참조 포인트나 트래킹되는 물체 상의 포인트인 움직이는 참조 포인트의 좌표 시스템에 따라 임의의 3D 정보가 제공될 수 있다.
본 방법은 다음의 장점을 가진다:
(1) 고정된 단계 그리드가 정투영을 위해 사용된다 . 그러한 그리드는 처리 시간을 이미지 해상도로부터 효율적으로 분리시키며, 즉 처리 시간이 이미지 해상도와 실질적으로 무관하다.
(2) 본 방법을 최적화할 때 품질과 성능 간의 조정이 가능하다. 예를 들어, ORUS 그리드의 크기 및 각 시간 간격에서 작동하는 특정 프로세스의 수를 선택함으로써 가능하다.
(3) 세그먼트에서 각 뼈의 중심 축의 근사화는 포인트 클라우드로부터 로컬 법선 벡터가 교차하는 공간에서 위치의 추정에 의해 정의되는 곡률 중심 포인트의 세트를 사용하여 결정된다.
(4) 골격 표현에 대한 피팅 및 트래킹 에너지 측량이 정의되며, 만족되는 기준을 포함한다.
(5) 골격 표현의 포즈 에너지의 로컬 최소에 대응하는 포즈 추정을 결정하기 위한 특정 프로세스에 연관된 로컬 및 글로벌 에너지 최소화를 포함하는 독창적인 트래킹 전략이 사용되므로, 최소의 글로벌 포즈 에너지의 결정을 가능하게 한다.
(6) 시간에 대하여 움직임 행동을 스무스하게 하기 위하여 골격 표현의 결정된 제어 포인트 각각의 위에 안정화 단계가 적용된다.
(7) 불분명하다고 알려진 포즈를 해결하기 위해 마지막에 완료 단계가 사용된다.
도 7a는 정투영 사용자 그리드(orthographic user grid, ORUS)를 도시한다. 사용자가 이상한 형태로 나타난다 할지라도, 이는 사용자에 대응하는 3D 포인트 클라우드를 캡처하도록 사용되는 이미징 디바이스 또는 카메라의 해상도 때문이다.
도 7b는 곡률 중심 포인트 및 그들의 연관 접촉구의 위치를 도시하고 있다. 도시된 바대로, 접촉구는 골격과 같은 고레벨 정보에 대한 대체는 아니지만 이미 골격으로 보이는 것을 효과적으로 제공한다.
도 7c는 도 7a의 정투영 사용자 그리드 및 도 7b의 곡률 중심 포인트와 그들의 연관 접촉구의 조합을 도시한다. 도시된 바대로, 접촉구 윤곽은 골격 모델과 유사한 방법으로 ORUS 그리드 내에 피팅된다.
도 7d는 접촉구 윤곽이 피팅 프로세스의 결과로 골격으로 대체되는 도 7a의 정투영 사용자 그리드를 도시한다. 도시된 바대로, 제어 포인트는 보이나, 도 1에 도시된 것과 같은 토르소에 대응하는 패치(140)는 도시되지 않는다.
도 7e는 접촉구 중심 위치를 결정하는 곡률 중심 포인트가 골격 모델과 함께 사용자의 뼈대의 관식 구조 근사화를 표현하도록 윤곽이 나타나는, 사용자에 대응하는 3D 포인트 클라우드를 도시한다. 여기서, 사용자 포즈는 도 7b에 도시된 것과 유사하다. 골격이 본원발명에 따라 위에서 기재된 바대로 접촉구 상에 피팅되기 때문에, 접촉구 윤곽 및 골격 모델은 매우 유사함에 주의해야 할 것이다.

Claims (23)

  1. 3-차원 포인트 클라우드에 의해 표현된 3-차원 장면 내의 물체의 골격 표현(100)을 피팅하고 트래킹하는 방법으로서,
    상기 골격 표현(100)은 복수의 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)의 배열을 포함하며,
    상기 방법은,
    a) 장면 내의 피팅되고 트래킹되는 물체에 관련된 입력 정보를 결정하기 위해 상기 장면의 3-차원 포인트 클라우드를 사용하는 단계;
    b) 피팅되고 트래킹되는 물체의 결정된 3-차원 포인트 클라우드를 정투영 표현(orthographic representation)으로 변환하는 단계(220);
    c) 피팅되고 트래킹되는 물체의 하나 이상의 부분들의 중심 축 위치를 추정하기 위해 곡률 중심 포인트(curvature centre point)(620)를 결정하는 단계;
    d) 상기 3-차원 장면 내의 피팅되고 트래킹되는 물체를 표현하는 상기 복수의 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)의 위치를 결정하는 단계; 및
    e) 시간에 대하여 상기 물체의 골격 표현(100)의 위치를 개선하기 위해 3-차원 장면 내의 복수의 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)를 피팅하고 트래킹하는 단계
    를 포함하는,
    물체의 골격 표현을 피팅하고 트래킹하는 방법.
  2. 제1항에 있어서,
    상기 입력 정보가 3-차원 포인트 클라우드에서 각 포인트에 대해 결정된 법선(normal)을 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 단계 a)는 관심 있는 하나 이상의 물체에 대응하는 3-차원 포인트 클라우드를 결정하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  4. 제3항에 있어서,
    상기 단계 a)는 피팅되고 트래킹되는 물체의 주요 방향을 결정하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 단계 a)는, 물체가 이전에 피팅되고 트래킹되지 않았던 경우에, 피팅되고 트래킹되는 물체의 골격 포즈의 표현을 정의하는 제어 포인트 위치의, 공간에서의 초기 배열을 결정하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 단계 b)는, 피팅되고 트래킹되는 물체의 3-차원 포인트 클라우드를, 미리 결정된 크기를 각각 가진 복수의 그리드 빈(grid bin)(530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550)을 포함하는 그리드(grid)(520)로 투영하는 단계를 포함하며, 상기 투영은 공간에서 미리 결정된 고정 크기로 상기 물체의 3-차원 포인트 클라우드를 샘플링하는 것인, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  7. 제6항에 있어서,
    상기 단계 b)는, 정보가 연관되는 상기 그리드 빈(530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550)에서 3-차원 포인트 클라우드의 각 포인트에 관련되는 정보를 축척하고 가중하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  8. 제7항에 있어서,
    그리드 빈(542)이 비어있는 경우에, 이웃한 채워진 그리드 빈(540, 544)으로부터 보간된(interpolated) 정보로 그리드 빈을 채우는 단계를 더 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 단계 c)는, 상기 그리드 빈(530, 532, 534, 536, 538, 540, 542, 544, 546, 548, 550)에 의해 제공된 법선 데이터(normal data)로부터 곡률 중심 포인트(620)를 결정하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  10. 제9항에 있어서,
    상기 단계 c)는, 피팅되고 트래킹되는 물체의 각 부분의 중심 축의 양을 근사화하기 위해 각각의 곡률 중심 포인트(620)를 접촉구(610)와 연관시키는 단계를 더 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  11. 제10항에 있어서,
    단계 c)는, 각각의 곡률 중심 포인트(620)와 그것의 연관된 접촉구(610)를, 그들이 연관되도록 피팅되고 트래킹되는 물체의 각 부분의 표면의 볼록체(convexity)를 나타내는 태그로 연관시키는 단계를 더 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 단계 d)는, d1) 각 쌍의 제어 포인트들(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134) 사이의 하나 이상의 세그먼트(152, 154, 156, 158, 160, 162, 164, 166)를 피팅하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 단계 d)는, d2) 물체의 3-차원 포인트 클라우드에서 평면(140)을 식별하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  14. 제13항에 있어서,
    상기 단계 d2)는, d3) 볼록체 태그를 사용하여 피팅되고 트래킹되는 물체의 3-차원 포인트 클라우드에서 평면(140)을 식별하는 단계를 더 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  15. 제13항 또는 제14항에 있어서,
    상기 단계 d)는,
    d4) 상기 물체의 주요 방향(principle direction)을 식별하는 단계;
    d5) 상기 물체의 하나 이상의 부분의 위치를 식별하는 단계; 및
    d6) 상기 물체의 각 부분의 위치 및 서로에 대한 주요 방향을 개선하는(refining) 단계를 더 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 단계 e)는, 트랙킹되는 상기 물체의 골격 표현의 위치를 피팅하기 위해 식별된 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)의 특성들을 이용하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  17. 제16항에 있어서,
    상기 이용되는 특성은, 위치, 속도, 가속도 및 시간에 대해 결정된 확률 인자 중 하나 이상을 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 단계 e)는, 시간에 대하여 상기 물체의 골격 표현의 포즈를 피팅하기 위해 로컬 에너지 최소화 전략(energy minimisation strategy) 및 글로벌 에너지 최소화 전략의 조합을 이용하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  19. 제18항에 있어서,
    상기 에너지 최소화 전략들은, 대상까지 거리, 이전 골격까지 거리, 및 실루엣까지 거리 중 하나 이상을 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  20. 제19항에 있어서,
    상기 에너지 최소화 전략들은, 대상까지 거리, 이전 골격까지 거리, 및 실루엣까지 거리 기준의 전부를 사용하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  21. 제18항 내지 제20항 중 어느 한 항에 있어서,
    상기 단계 e)는, 피팅과 트래킹의 결과를 최적화하기 위해 시간에 대하여 결정된 확률 인자에 따라 제어 포인트(110, 112, 114, 116, 118, 120, 122, 124, 126, 128, 130, 132, 134)의 복수의 가능한 위치를 평가하는 단계를 더 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  22. 제21항에 있어서,
    상기 단계 e)는, 하나 이상의 미리 결정된 기준에 따라 로컬 에너지 최소화 및 글로벌 에너지 최소화의 둘 다를 반복하여 수행하는 단계를 포함하는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
  23. 제18항 내지 제22항 중 어느 한 항에 있어서,
    상기 에너지 최소화 전략들은 경사도 감소-유형(gradient descent-type) 알고리즘을 사용하여 수행되는, 물체의 골격 표현을 피팅하고 트래킹하는 방법.
KR1020137030985A 2012-06-14 2013-05-16 3-차원 물체 모델링, 피팅 및 트래킹 KR101519940B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12172091.6 2012-06-14
EP12172091.6A EP2674913B1 (en) 2012-06-14 2012-06-14 Three-dimensional object modelling fitting & tracking.
PCT/EP2013/060196 WO2013186010A1 (en) 2012-06-14 2013-05-16 Three-dimensional object modelling fitting & tracking

Publications (2)

Publication Number Publication Date
KR20140133773A true KR20140133773A (ko) 2014-11-20
KR101519940B1 KR101519940B1 (ko) 2015-05-13

Family

ID=48464003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137030985A KR101519940B1 (ko) 2012-06-14 2013-05-16 3-차원 물체 모델링, 피팅 및 트래킹

Country Status (6)

Country Link
US (1) US9317741B2 (ko)
EP (1) EP2674913B1 (ko)
JP (1) JP5855751B2 (ko)
KR (1) KR101519940B1 (ko)
CN (1) CN103733227B (ko)
WO (1) WO2013186010A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082062A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터 사이의 매칭 관계를 확정하는 방법 및 장치
WO2019143174A1 (ko) * 2018-01-20 2019-07-25 삼성전자 주식회사 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2790152B1 (en) * 2013-04-12 2015-12-02 Alcatel Lucent Method and device for automatic detection and tracking of one or multiple objects of interest in a video
CN103268631B (zh) * 2013-05-23 2015-09-30 中国科学院深圳先进技术研究院 点云骨架提取方法及装置
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
IN2013MU04097A (ko) * 2013-12-27 2015-08-07 Tata Consultancy Services Ltd
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US9633483B1 (en) * 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
CN104050720B (zh) * 2014-06-24 2017-02-15 中国科学院深圳先进技术研究院 点云曲面重建方法及系统
US20160110593A1 (en) * 2014-10-17 2016-04-21 Microsoft Corporation Image based ground weight distribution determination
JP2016091108A (ja) * 2014-10-30 2016-05-23 パナソニックＩｐマネジメント株式会社 人体部位検出システムおよび人体部位検出方法
US10696517B2 (en) 2014-11-26 2020-06-30 Otis Elevator Company Elevator security and control system based on passenger movement
CN105741312B (zh) * 2014-12-09 2018-04-27 株式会社理光 目标对象跟踪方法和设备
CN105788000A (zh) * 2014-12-16 2016-07-20 富泰华工业（深圳）有限公司 网格补孔方法及系统
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
CN104658012B (zh) * 2015-03-05 2017-04-12 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
US9959655B2 (en) * 2015-04-17 2018-05-01 Autodesk, Inc. Segmented full body inverse kinematics
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
US9830703B2 (en) * 2015-08-12 2017-11-28 Nvidia Corporation Model-based three-dimensional head pose estimation
WO2017031718A1 (zh) * 2015-08-26 2017-03-02 中国科学院深圳先进技术研究院 弹性物体变形运动的建模方法
US11893671B2 (en) 2015-09-07 2024-02-06 Sony Interactive Entertainment LLC Image regularization and retargeting system
EP3341919A4 (en) * 2015-09-07 2019-04-03 Sony Interactive Entertainment America LLC PICTURE REGULATORY AND RETARGETING SYSTEM
CA3000727C (en) * 2015-10-05 2023-12-12 Bayer Healthcare Llc Generating orthotic product recommendations
US9691153B1 (en) * 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
US10043279B1 (en) * 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
JP6613876B2 (ja) * 2015-12-24 2019-12-04 トヨタ自動車株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
KR102535617B1 (ko) * 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
WO2017123920A1 (en) * 2016-01-14 2017-07-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US9880075B2 (en) * 2016-02-11 2018-01-30 Caterpillar Inc. Wear measurement system using a computer model
US9875535B2 (en) * 2016-02-11 2018-01-23 Caterpillar Inc. Wear measurement system using computer vision
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
EP3426179B1 (en) 2016-03-12 2023-03-22 Philipp K. Lang Devices for surgery
US10607665B2 (en) * 2016-04-07 2020-03-31 Micron Technology, Inc. Span mask generation
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
US10192147B2 (en) * 2016-08-30 2019-01-29 Microsoft Technology Licensing, Llc Foreign substance detection in a depth sensing system
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
KR101798132B1 (ko) 2016-12-26 2017-11-16 한국생산기술연구원 로봇의 충돌 검출 고속화를 위한 작업 환경 모델링 장치 및 방법
EP3568070B1 (en) 2017-01-16 2024-01-03 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US10083524B1 (en) * 2017-04-21 2018-09-25 Octi Systems and methods for determining location and orientation of a camera
EP3624059A4 (en) * 2017-05-10 2020-05-27 Fujitsu Limited METHOD, DEVICE, TARGET OBJECT RECOGNITION SYSTEM, AND PROGRAM
US10282913B2 (en) 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
US10535160B2 (en) 2017-07-24 2020-01-14 Visom Technology, Inc. Markerless augmented reality (AR) system
JP6947215B2 (ja) * 2017-08-07 2021-10-13 富士通株式会社 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
WO2019051464A1 (en) 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
US10607079B2 (en) * 2017-09-26 2020-03-31 Toyota Research Institute, Inc. Systems and methods for generating three dimensional skeleton representations
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
CN107917712B (zh) * 2017-11-16 2020-07-28 苏州艾吉威机器人有限公司 一种同步定位与地图构建方法及设备
EP3732653A4 (en) 2017-12-28 2021-04-28 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
CN108272513B (zh) * 2018-01-26 2021-03-16 智美康民(珠海)健康科技有限公司 临床定位方法、装置、计算机设备和存储介质
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
CN108304819B (zh) * 2018-02-12 2021-02-02 北京世纪好未来教育科技有限公司 姿态识别系统及方法、存储介质
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机
CN108765577B (zh) * 2018-04-09 2021-07-09 华南农业大学 一种实时点云数据驱动的四肢畜牧动物骨架增强现实跟踪方法
CN108564600B (zh) * 2018-04-19 2019-12-24 北京华捷艾米科技有限公司 运动物体姿态跟踪方法及装置
CN108597019A (zh) * 2018-05-09 2018-09-28 深圳市华讯方舟太赫兹科技有限公司 点云采样方法、图像处理设备及具有存储功能的装置
US11035943B2 (en) * 2018-07-19 2021-06-15 Aptiv Technologies Limited Radar based tracking of slow moving objects
US10573050B1 (en) 2018-11-20 2020-02-25 Sony Corporation Marker-based pose estimation
CN109618183B (zh) * 2018-11-29 2019-10-25 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109740628A (zh) * 2018-12-03 2019-05-10 深圳市华讯方舟太赫兹科技有限公司 点云聚类方法、图像处理设备及具有存储功能的装置
CN109766868B (zh) * 2019-01-23 2020-12-11 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
GB2580691B (en) * 2019-01-24 2022-07-20 Imperial College Innovations Ltd Depth estimation
CN109859237B (zh) * 2019-01-25 2023-05-26 湖南大学 一种基于红外扫描的人体骨骼运动分析方法
KR102058421B1 (ko) * 2019-01-31 2020-01-22 주식회사 팀엘리시움 대상물의 표면 메시를 획득하는 방법 및 이를 이용한 장치
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US10825196B2 (en) 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
US11331006B2 (en) * 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
CN110097639B (zh) * 2019-03-18 2023-04-18 北京工业大学 一种三维人体姿态估计方法
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
CN110009029B (zh) * 2019-03-28 2021-02-12 北京智行者科技有限公司 基于点云分割的特征匹配方法
CN110084161B (zh) * 2019-04-17 2023-04-18 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110223336B (zh) * 2019-05-27 2023-10-17 上海交通大学 一种基于tof相机数据的平面拟合方法
JP7285703B2 (ja) * 2019-06-17 2023-06-02 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
CN112149466A (zh) 2019-06-28 2020-12-29 富士通株式会社 手臂动作识别方法、装置及图像处理设备
CN110766719B (zh) * 2019-09-21 2022-11-18 北醒（北京）光子科技有限公司 一种目标跟踪方法、设备及存储介质
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110992400A (zh) * 2019-11-13 2020-04-10 北京影谱科技股份有限公司 基于边缘的动态投影映射对象跟踪方法和装置
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11373331B2 (en) 2019-12-18 2022-06-28 Agt International Gmbh System, method and computer program product for determining sizes and/or 3D locations of objects imaged by a single camera
DE112020006670T5 (de) * 2020-02-03 2022-11-24 Mitsubishi Electric Corporation Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren
CN111402290B (zh) * 2020-02-29 2023-09-12 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
JP2020140719A (ja) * 2020-04-02 2020-09-03 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
JP2023525534A (ja) * 2020-05-11 2023-06-16 コグネックス・コーポレイション ３次元画像から外形を抽出する方法及び装置
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
CN112446952B (zh) * 2020-11-06 2024-01-26 杭州易现先进科技有限公司 三维点云法向量的生成方法、装置、电子设备及存储介质
CN112669462B (zh) * 2021-01-18 2023-02-28 新拓三维技术(深圳)有限公司 一种适用于扫描点云的模型处理方法及系统
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
JP2022155037A (ja) * 2021-03-30 2022-10-13 新東工業株式会社 情報処理装置、情報処理方法、およびプログラム
CN112907709B (zh) * 2021-03-31 2023-07-25 福建天晴在线互动科技有限公司 一种虚拟人物抓握目标物体动作的实现方法及系统
CN113269890B (zh) * 2021-07-21 2021-11-19 广州中望龙腾软件股份有限公司 边界面网格生成方法、智能终端以及存储装置
US11861779B2 (en) * 2021-12-14 2024-01-02 Adobe Inc. Digital object animation using control points
US11954801B2 (en) 2022-04-11 2024-04-09 Microsoft Technology Licensing, Llc Concurrent human pose estimates for virtual representation
US11983819B2 (en) * 2022-05-25 2024-05-14 Verizon Patent And Licensing Inc. Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject
CN114821814B (zh) * 2022-06-27 2022-09-30 中建安装集团有限公司 一种融合可见光、红外、结构光的步态识别方法
WO2024009503A1 (ja) * 2022-07-08 2024-01-11 富士通株式会社 姿勢推定プログラム、装置、及び方法
CN115131478A (zh) * 2022-07-15 2022-09-30 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115458128B (zh) * 2022-11-10 2023-03-24 北方健康医疗大数据科技有限公司 一种基于关键点生成数字人体影像的方法、装置及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
WO2008128568A1 (en) * 2007-04-20 2008-10-30 Softkinetic S.A. Volume recognition method and system
EP2327061A4 (en) * 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
JP5162512B2 (ja) * 2009-03-26 2013-03-13 Ｋｄｄｉ株式会社 多次元時系列データ分析装置及び多次元時系列データ分析プログラム
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
JP5233977B2 (ja) * 2009-12-11 2013-07-10 株式会社デンソー 乗員姿勢推定装置
EP2357608B1 (en) 2009-12-28 2012-11-21 Softkinetic Software Tracking method
EP2357605B1 (en) 2009-12-28 2013-01-16 Softkinetic Software Stabilisation method and computer system
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
WO2011108028A1 (ja) 2010-03-05 2011-09-09 富士通株式会社 無線通信システム、端末装置、及び無線通信システムにおける無線通信方法
RU2534892C2 (ru) 2010-04-08 2014-12-10 Самсунг Электроникс Ко., Лтд. Устройство и способ для захвата безмаркерных движений человека
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
JP5667818B2 (ja) * 2010-09-09 2015-02-12 セーレン株式会社 ３次元形状の骨格モデル作成方法及び装置並びに３次元形状の寸法測定方法及び装置
US20120218395A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
EP3751517A1 (en) * 2011-05-16 2020-12-16 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
WO2013162735A1 (en) * 2012-04-25 2013-10-31 University Of Southern California 3d body modeling from one or more depth cameras in the presence of articulated motion
US9047507B2 (en) * 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082062A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터 사이의 매칭 관계를 확정하는 방법 및 장치
WO2019143174A1 (ko) * 2018-01-20 2019-07-25 삼성전자 주식회사 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
US11317074B2 (en) 2018-01-20 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for processing data for three-dimensional image
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치

Also Published As

Publication number Publication date
US20140334670A1 (en) 2014-11-13
US9317741B2 (en) 2016-04-19
EP2674913A1 (en) 2013-12-18
KR101519940B1 (ko) 2015-05-13
EP2674913B1 (en) 2014-07-23
JP2014522058A (ja) 2014-08-28
CN103733227B (zh) 2017-02-22
JP5855751B2 (ja) 2016-02-09
CN103733227A (zh) 2014-04-16
WO2013186010A1 (en) 2013-12-19

Similar Documents

Publication Publication Date Title
KR101519940B1 (ko) 3-차원 물체 모델링, 피팅 및 트래킹
JP5211069B2 (ja) ラベル付けを用いた人体姿勢の推定および追跡
EP2680228B1 (en) Improvements in or relating to three dimensional close interactions.
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
Corazza et al. Markerless motion capture through visual hull, articulated icp and subject specific model generation
CN107392086B (zh) 人体姿态的评估装置、系统及存储装置
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
US20130293679A1 (en) Upper-Body Skeleton Extraction from Depth Maps
KR20040055310A (ko) 고속 마커프리 모션 캡쳐 장치 및 방법
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
JP2012123667A (ja) 姿勢推定装置および姿勢推定方法
Borsu et al. Automated surface deformations detection and marking on automotive body panels
JP2015028702A (ja) 情報処理装置、情報処理方法およびプログラム
JP5289290B2 (ja) 姿勢推定装置
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
Yamauchi et al. Recognition of walking humans in 3D: Initial results
Phan et al. Towards 3D human posture estimation using multiple kinects despite self-contacts
Mohsin et al. Localization and identification of body extremities based on data from multiple depth sensors
KR101511450B1 (ko) 산등성이 데이터를 이용한 객체의 움직임 추적 장치 및 방법
EP4053790A1 (en) Image processing device, image processing method, and non-transitory computer readable medium whereon image processing program is stored
Hahn et al. Tracking of human body parts using the multiocular contracting curve density algorithm
US20240013415A1 (en) Methods and systems for representing a user
JP5359477B2 (ja) 道路領域推定装置及びプログラム
Kerdvibulvech et al. 3d human motion analysis for reconstruction and recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 4