KR101932788B1 - 깊이-기반 질량의 중심으로부터의 머리 회전 추적 기법 - Google Patents

깊이-기반 질량의 중심으로부터의 머리 회전 추적 기법 Download PDF

Info

Publication number
KR101932788B1
KR101932788B1 KR1020137032248A KR20137032248A KR101932788B1 KR 101932788 B1 KR101932788 B1 KR 101932788B1 KR 1020137032248 A KR1020137032248 A KR 1020137032248A KR 20137032248 A KR20137032248 A KR 20137032248A KR 101932788 B1 KR101932788 B1 KR 101932788B1
Authority
KR
South Korea
Prior art keywords
head
depth
user
center
pixels
Prior art date
Application number
KR1020137032248A
Other languages
English (en)
Other versions
KR20140028060A (ko
Inventor
데이비드 마크 아이콘
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140028060A publication Critical patent/KR20140028060A/ko
Application granted granted Critical
Publication of KR101932788B1 publication Critical patent/KR101932788B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

사용자의 머리의 회전은 깊이 이미지로부터의 깊이 값들의 함수로서 결정될 수 있다. 일부 실시예들에 따르면, 사용자의 머리를 포함하는 깊이 이미지로부터의 픽셀들의 영역은 머리부로서 식별된다. 머리부 내의 픽셀들에 대한 깊이 값들은 사용자의 머리에 대한 깊이-질량의 중심을 계산하는데 사용된다. 사용자의 머리의 회전은 사용자의 머리에 대한 깊이-질량의 중심에 기초하여 결정될 수 있다.

Description

깊이-기반 질량의 중심으로부터의 머리 회전 추적 기법{HEAD ROTATION TRACKING FROM DEPTH-BASED CENTER OF MASS}
많은 소프트웨어 애플리케이션들에서, 사용자의 머리의 배향(orientation)은 효과적이고 자연적인 형태의 입력으로서 사용될 수 있다. 예를 들면, 3D 게임들, 가상 현실 환경들, 및 시각화(visualization)에서, 머리의 배향은 장면을 보는 카메라의 배향을 제어하는데 사용될 수 있어서, 사용자에게 경험에 대한 더 많은 제어를 제공하고, 몰입(immersion)을 고조시키고, 다른 작업들을 위해 조이스틱, 마우스 또는 해트 스위치(hat switch)와 같은 몇몇의 다른 수단에 의해 카메라를 제어하는 것으로부터 사용자의 손들을 자유롭게 한다. 이것은, 예를 들면, 비행 및 운전 시뮬레이터 팬들이 가상 조종석(virtual cockpit)을 둘러보고 환경을 빠르게 스캔하는 것을 가능하게 하여 그 팬들 사이에서 인기가 있다.
과거에, 이러한 형태의 머리 배향 추적 시스템들은 종종 2 개의 접근법들 중 하나를 택하였다. 일부는 사용자의 머리 또는 모자에 부착된 반사기들(reflectors) 또는 능동 적외선 LED들과 같이 추적을 가능하게 하기 위해 사용자에게 특수화된 하드웨어의 부가를 요구한다. 이것은 사용자의 안락함에 영향을 주고, 추적 경험을 위한 준비를 요구하고, LED들에 전력을 공급하기 위한 배터리들 또는 케이블 중 어느 하나를 요구한다. 하드웨어의 증강 없이 사용자를 추적하는 방법들은 카메라 정보를 프로세싱하고 머리 배향을 결정하기 위한 훨씬 더 복잡하고 계산적으로 비싼 알고리즘들을 요구한다. 많은 현재 구현예들이 그러하듯이, 이러한 정보가 RGB(즉, 컬러) 카메라로부터 올 경우, 결과들의 품질이 조명에 의해 영향을 받을 수 있다. 이 주제에 대한 학술 문헌에 기재된 많은 알고리즘들은 상당한 프로세싱 리소스들을 요구하고, 그래서 많은 애플리케이션들에서 비실용적이다.
본 요약부는 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 한정하기 위한 것은 더더욱 아니다.
본 발명의 실시예들은 깊이 이미지로부터의 깊이 값들을 사용함으로써 사용자의 머리의 회전을 결정하는 것에 관한 것이다. 사용자의 머리를 포함하는 깊이 이미지의 영역은 머리부(head region)로서 식별될 수 있다. 이어서, 머리부 내의 픽셀들로부터의 깊이 값들은 사용자의 머리의 회전과 상관되는 깊이-질량(depth-mass)의 중심을 계산하는데 사용될 수 있다. 따라서, 사용자의 머리의 회전은 사용자의 머리에 대해 계산된 깊이-질량의 중심에 기초하여 결정될 수 있다.
본 발명은 첨부된 도면을 참조하여 아래에 상세히 설명된다.
도 1은 본 발명의 실시예들을 구현하는데 사용하기에 적절한 예시적인 컴퓨팅 환경의 블록도이다.
도 2는 본 발명의 실시예에 따라 사용자의 머리의 깊이-질량의 중심을 결정하고 사용자의 머리의 회전을 결정하기 위해 깊이-질량의 중심을 사용하기 위한 방법을 도시한 흐름도이다.
도 3a 및 도 3b는 본 발명의 실시예에 따라 사용자의 머리 주변에서 식별된 머리부들을 갖는 깊이 이미지들을 나타낸다.
도 4는 픽셀에 대한 깊이 값에 대응하는 주어진 기준 위치로부터 사용자의 머리 상의 포인트까지의 거리 및 사용자의 머리의 상부를 도시한 평면도이다.
도 5a 내지 도 5c는 사용자의 머리가 좌측 또는 우측으로 회전함에 따라 깊이-질량의 중심이 좌측 또는 우측으로 시프팅하는 사용자의 머리의 상부를 도시한 평면도들이다.
도 6은 본 발명의 실시예에 따라 사용자의 머리에 대한 깊이-질량의 중심 및 사용자의 머리의 회전을 결정하기 위해 배경 깊이 값을 사용하기 위한 방법을 도시한 흐름도이다.
도 7은 주어진 포인트에 대응하는 픽셀의 깊이 값 및 배경 깊이 값에 기초하여 결정된 주어진 포인트에 대한 사용자의 머리의 깊이를 예시한 평면도이다.
본 발명의 청구 대상은 법에 명시된 요건들을 충족시키도록 여기에 구체적으로 설명된다. 그러나, 상세한 설명 자체는 본 출원의 범위를 한정하도록 의도되지 않는다. 오히려, 본 발명자는 청구된 청구 대상이 또한 다른 현재 또는 미래의 기술들과 관련하여 본 문헌에 설명된 단계들과 유사한 단계들의 조합들 또는 상이한 단계들을 포함하도록 다른 방식들로 구현될 수 있다는 것을 고려하였다. 게다가, 용어들 "단계" 및/또는 "블록"이 본원에서 채용되는 방법들의 상이한 요소들을 함축하는데 사용될 수 있지만, 개별적인 단계들의 순서가 명시적으로 기재되지 않는 경우 및 개별적인 단계들의 순서가 명시적으로 기재될 때를 제외하고, 상기 용어들은 본원에 개시된 다양한 단계들 중에서 또는 사이에서 임의의 특정 순서를 암시하는 것으로 해석되지 않아야 한다.
본 발명의 실시예들은, 사용자의 머리의 회전을 추적하기 위해 깊이 카메라로부터의 거리 정보 및 가벼운 계산 메트릭을 사용하는 것에 관한 것이다. 상기 접근법은 메모리 및 CPU를 최소로 소비하면서 실시간으로 실행될 수 있다. 부가적으로, 상기 접근법은 사용자의 머리에 임의의 특수화된 하드웨어의 부가를 요구하지 않고, 또한 RGB 카메라의 사용을 요구하지 않는다. 이와 같이, 본 발명의 실시예들은 임의의 다양한 상이한 애플리케이션들에서 사용자의 머리의 회전을 결정하는데 유용하다. 이것은 비디오 게임 또는 다른 가상 환경을 위한 카메라 관점을 제어하기 위해 회전을 사용하는 것을 포함할 수 있지만, 이에 한정되지는 않는다.
본 발명의 실시예들에 따르면, 깊이 이미지는 사용자가 위치된 영역으로부터 캡쳐될 수 있다. 당분야에 알려진 바와 같이, 깊이 이미지는 각각의 픽셀에 대한 깊이 값을 갖는 다수의 픽셀들을 포함할 수 있다. 각각의 픽셀에 대한 깊이 값은 깊이 카메라에 의해 보여지는 영역 내의 객체 상의 포인트와 기준 위치 사이의 거리에 대응한다. 깊이 이미지 내의 사용자의 머리를 포함하는 영역은 머리부로서 식별될 수 있다. 이어서, 머리부 내의 픽셀들의 깊이 값들은 사용자의 머리에 대한 깊이-질량의 중심을 계산하는데 사용될 수 있다. 깊이-질량의 중심은 균일한 밀도의 고체의 질량의 중심에 대응할 수 있고, 질량의 두께는 머리부 내의 픽셀들의 깊이 값들의 함수이다. 이러한 접근법이 깊이 이미지로부터의 깊이 데이터에 의존하기 때문에, 이것은 본원에서 "깊이-질량의 중심"으로서 지칭된다. 개념적으로, 깊이는 밀도에 대한 대용물(surrogate)로서 볼 수 있다. 일부 실시예들에서, 이러한 접근법은 배경 깊이 값을 설정하는 것 및 머리부 내의 픽셀들에 대한 깊이 값들과 배경 깊이 값 사이의 차이에 의해 결정된 머리부 내의 사용자의 머리의 두께를 포함하는 고체에 대한 깊이-질량의 중심을 결정하는 것을 포함할 수 있다. 이어서, 그러한 실시예들에서 깊이-질량의 중심은, 고체에 대해 균일한 밀도를 가정하면, 일반적으로 고체에 대한 질량의 중심에 대응한다.
깊이-질량의 중심은 사용자의 머리의 회전에 대한 양호한 상관 관계(correlation)를 제공한다. 이와 같이, 사용자의 머리의 회전은 깊이 이미지로부터 계산된 깊이-질량의 중심에 기초하여 결정될 수 있다. 일부 실시예들에서, 회전은 깊이-질량의 중심의 위치 및 깊이 이미지로부터 또한 결정될 수 있는 사용자의 머리의 중심의 위치 사이의 차이에 기초할 수 있다.
따라서, 일 양상에서, 본 발명의 실시예는, 하나 이상의 컴퓨팅 장치들에 의해 사용될 때, 하나 이상의 컴퓨팅 장치들로 하여금 방법을 수행하게 하는 컴퓨터-사용가능 명령어들을 저장하는 하나 이상의 컴퓨터-저장 매체에 관한 것이다. 상기 방법은 깊이 이미지에 대한 깊이 이미지 데이터를 수신하는 것을 포함하고, 깊이 이미지 데이터는 복수의 픽셀들 각각에 대한 깊이 값들을 포함한다. 상기 방법은 또한 깊이 이미지에서 머리부를 식별하는 것을 포함하고, 머리부는 사용자의 머리에 대응한다. 상기 방법은 배경 깊이 값을 결정하는 것을 더 포함한다. 상기 방법은 또한 머리부 내의 픽셀들에 대한 깊이 값들, 배경 깊이 값 및 머리부 내의 픽셀들의 위치들의 함수로서 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 것을 포함한다. 상기 방법은 머리 위치의 중심을 식별하는 것을 더 포함한다. 상기 방법은 또한 깊이-질량의 중심 및 머리 위치의 중심에 기초하여 사용자의 머리의 회전을 결정하는 것을 포함한다.
또 다른 실시예에서, 본 발명의 양상은 사용자의 머리의 회전을 결정하기 위해 깊이 이미지를 사용하기 위한 방법에 관한 것이다. 상기 방법은 깊이 이미지 내의 머리부에 대한 픽셀들에 대응하는 깊이 이미지 데이터를 수신하는 것을 포함한다. 상기 방법은 또한 머리부 내의 픽셀들의 깊이 값들에 기초하여 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 것을 포함한다. 상기 방법은 깊이-질량의 중심에 기초하여 사용자의 머리의 회전을 결정하는 것을 더 포함한다.
본 발명의 추가적인 실시예는 프로세서를 포함하는 컴퓨팅 장치에 관한 것이며, 상기 프로세서는 깊이 이미지 내의 복수의 픽셀들에 대한 깊이 값들을 수신하고, 사용자의 머리를 포함하는 제 1 서브셋의 픽셀들을 포함하는 머리부를 식별하기 위해 깊이 값들을 분석하고, 제 1 서브셋의 픽셀들에 대한 깊이 값들을 분석함으로써 배경 깊이 값을 결정하고, 배경 깊이 값을 초과하지 않는 깊이 값들을 갖는 머리부 내의 제 2 서브셋의 픽셀들에 대한 깊이 값들의 함수로서 깊이-질량의 중심을 계산하고 ― 깊이-질량의 중심은 제 2 서브셋의 픽셀들에 대한 깊이 값들 및 배경 깊이 값으로부터 결정된 균일한 밀도의 고체에 대한 질량의 중심을 컴퓨팅함으로써 계산됨 ― , 사용자의 머리의 중심에 대응하는 머리부 내의 위치를 식별하고, 깊이-질량의 중심 및 사용자의 머리의 중심에 대응하는 머리부 내의 위치에 기초하여 사용자의 머리의 회전을 결정하도록 구성된다.
본 발명의 실시예들의 개요를 간략히 설명하면, 본 발명의 실시예들이 구현되는 예시적인 동작 환경은 본 발명의 다양한 양상들에 대한 일반적인 맥락을 제공하기 위해 후술된다. 처음에 도 1을 참조하면, 특히, 본 발명의 실시예들을 구현하기 위한 예시적인 동작 환경이 도시되고, 이는 일반적으로 컴퓨팅 장치(100)로서 지정된다. 그러나, 컴퓨팅 장치(100)는 적절한 컴퓨팅 환경의 하나의 예이며, 본 발명의 사용 또는 기능의 범위에 관하여 임의의 한정을 제안하도록 의도되지 않는다. 컴퓨팅 장치(100)가 예시된 구성요소들 중 어느 하나 또는 결합에 관련된 임의의 의존성 또는 요건을 갖는 것으로 해석되지 않아야 한다.
본 발명은, 개인 휴대 정보 단말 또는 다른 핸드헬드 장치와 같은 컴퓨터 또는 다른 머신에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터-실행 가능 명령어들을 포함하여 컴퓨터 코드 또는 머신-사용가능 명령어들의 일반적인 맥락으로 설명될 수 있다. 일반적으로, 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함하는 프로그램 모듈들은 특정 작업들을 수행허가나 특정 추정 데이터 형태들을 구현하는 코드를 지칭한다. 본 발명은 핸드-헬드 장치들, 소비자 전자기기, 범용 컴퓨터들, 더 전문적인 컴퓨팅 장치들 등을 포함하여 다양한 시스템 구성들로 실시될 수 있다. 본 발명은, 작업들이 통신 네트워크를 통해 링크되는 원격 프로세싱 장치들에 의해 수행되는 분산형 컴퓨팅 환경들에서 또한 실시될 수 있다.
도 1을 참조하면, 컴퓨팅 장치(100)는 다음의 장치들: 메모리(112), 하나 이상의 프로세서들(114), 하나 이상의 프리젠테이션 구성요소들(116), 입력/출력(I/O) 포트들(118), 입력/출력 구성요소들(120) 및 예시적인 전원(122)에 직접적으로 또는 간접적으로 연결되는 버스(110)를 포함한다. 버스(110)는 하나 이상의 버스들(이를테면, 어드레스 버스, 데이터 버스 또는 이들의 조합)일 수 있는 것을 나타낸다. 도 1의 다양한 블록들이 명확히 하기 위해 라인들로 도시되지만, 실제로, 다양한 구성요소들을 기술하는 것은 그렇게 명확하지 않고, 비유적으로, 라인들은 더 정확하게는 애매하고 흐릿할 것이다. 예를 들면, 디스플레이 장치와 같은 프리젠테이션 구성요소가 I/O 구성요소인 것으로 고려될 수 있다. 또한, 프로세서들은 메모리를 갖는다. 본 발명자는 그러한 것이 당업계에서 자연스럽다는 것을 인지하고, 도 1의 도면이 본 발명의 하나 이상의 실시예들과 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치의 단지 예시라는 것을 다시 언급하였다. "워크 스테이션", "서버", "랩탑", "핸드-헬드 장치" 등과 같은 그러한 카테고리들 간에 구별이 이루어지지 않는데, 왜냐하면 이들 모두가 도 1의 범위 내에 있는 것으로 고려되고 "컴퓨팅 장치"로서 지칭되기 때문이다.
컴퓨팅 장치(100)는 통상적으로 다양한 컴퓨터-판독 가능 매체를 포함한다. 컴퓨터-판독 가능 매체는 컴퓨팅 장치(100)에 의해 액세스될 수 있고 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 모두를 포함하는 임의의 이용 가능한 매체일 수 있다. 비제한적인 예로서, 컴퓨터-판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들(DVD) 또는 다른 광학 디스크 저장소, 자기 카세트들, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치들, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되지는 않는다. 통신 매체는 통상적으로 컴퓨터-판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 반송파와 같은 변조된 데이터 신호 내의 다른 데이터 또는 다른 전송 메커니즘을 포함하고, 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 그의 특성들 중 하나 이상을 갖거나 정보를 신호에 인코딩하기 위한 방식으로 변경된 신호를 의미한다. 비제한적인 예로서, 통신 매체는 유선 네트워크 또는 직접적인 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 위의 것들 중 임의의 조합들은 또한 컴퓨터-판독 가능 매체의 범위 내에 포함되어야 한다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터-저장 매체를 포함한다. 메모리는 이동식, 비이동식 또는 이들의 조합일 수 있다. 예시적인 하드웨어 장치들은 고체-상태 메모리, 하드 드라이브들, 광학-디스크 장치들 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 I/O 구성요소들(120)과 같은 다양한 엔티티들로부터 데이터를 판독하는 하나 이상의 프로세서들을 포함한다. 프리젠테이션 구성요소(들)는 데이터 표시들을 사용자 또는 다른 장치에 제공한다. 예시적인 프리젠테이션 구성요소들은 디스플레이 장치, 스피커, 인쇄 구성요소, 진동 구성요소 등을 포함한다.
I/O 포트들(118)은 컴퓨팅 장치(100)가 I/O 구성요소들(120)을 포함하는 다른 장치들에 논리적으로 연결되도록 허용하고, I/O 구성요소들(120) 중 일부는 내장될 수 있다. 예시적인 구성요소들은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나(satellite dish), 스캐너, 프린터, 무선 장치 등을 포함한다.
이제 도 2를 참조하면, 본 발명의 실시예에 따라 사용자의 머리에 대한 깊이-질량의 중심을 결정하고, 사용자의 머리의 회전을 결정하기 위해 깊이-질량의 중심을 사용하기 위한 방법(200)을 예시한 흐름도가 제공된다. 블록(202)에 도시된 바와 같이, 깊이 이미지 데이터가 초기에 수신된다. 이것은 단일 깊이 이미지 프레임에 대한 깊이 이미지 데이터일 수 있다. 깊이 이미지는 공지된 깊이 카메라 기술들을 사용하여 캡쳐될 수 있다. 당분야에 알려진 바와 같이, 깊이 이미지 데이터는 깊이 이미지 내의 다수의 픽셀들 각각에 대한 깊이 값들을 포함할 수 있다. 주어진 픽셀에 대한 깊이 값은 이미징된 객체 상의 포인트 및 기준 위치 사이의 거리에 대응한다.
사용자 머리 주변의 영역은, 블록(204)에 도시된 바와 같이, 깊이 이미지에서 머리부로서 식별된다. 본원에서 사용된 바와 같이, 머리부는 사용자의 머리를 포함하는 것으로 식별된 깊이 이미지 내의 일정의 픽셀들이다. 머리부는 사용자의 일정의 머리 또는 사용자의 머리의 서브-구역을 포함할 수 있다. 부가적으로, 머리부는 본 발명의 실시예들에 따라 깊이 이미지의 임의의 형상 또는 크기의 영역일 수 있다. 이것은 도 3a 및 도 3b에 예로서 예시된다. 예를 들면, 도 3a는 사용자(302A)를 포함하는 깊이 이미지(300A)를 도시하고, 여기서 사용자의 머리 주변의 직사각형 영역이 머리부(304A)로서 식별된다. 도 3b는 사용자(302B)를 포함하는 깊이 이미지(300B)를 도시하고, 여기서 사용자의 머리 주변의 원형 영역이 머리부(304B)로서 식별된다. 깊이 이미지들(300A 및 300B)이 본원에서 예시를 위해 간략화되었지만, 실제로, 깊이 이미지들은 다양한 깊이의 다수의 객체들을 갖는 더 복잡한 캡쳐링 영역들일 수 있다. 부가적으로, 도 3a 및 도 3b가 사용자의 전체 신체를 포함하는 깊이 이미지들(300A 및 300B)을 예시하지만, 깊이 이미지들이 단지 사용자의 신체의 일부(예를 들면, 사용자의 허리부터 사용자의 머리까지)를 캡쳐할 수 있다는 것이 이해되어야 한다.
머리부는 본 발명의 다양한 실시예들에 따라 다수의 상이한 방식들로 깊이 이미지 내에서 식별될 수 있다. 일부 실시예들에서, 시스템은 머리부를 자동으로 식별하기 위해 깊이 이미지를 분석할 수 있다. 이것은 일반적으로 인간의 머리의 크기 및 형상에 대응하는 깊이 이미지 내의 객체의 실루엣을 식별하는 것을 포함할 수 있다. 이러한 접근법은 비교적 계산적으로 간단하다. 이러한 접근법의 예로서, 일 실시예에서, 객체들은 일반적으로 유사한 깊이를 갖는 픽셀들의 영역들 및 상이한 깊이를 갖는 픽셀들의 영역들에 의해 생성된 에지들을 갖는 픽셀들의 영역들을 찾음으로써 깊이 이미지 내에서 식별될 수 있다. 다수의 상이한 객체가 길이 이미지에서 식별될 수 있다. 이와 같이, 상이한 객체들은 어느 것이 인간의 머리의 크기 및 형상에 가장 가깝게 대응하는지를 결정하도록 각각 분석될 수 있다. 이것은 먼저 인간의 신체의 크기 및 형상에 가깝게 대응하는 실루엣을 갖는 객체를 찾고, 이어서 인간의 머리의 크기 및 형상에 대응하는 객체의 부분을 찾는 것을 포함할 수 있다.
다른 실시예들에서, 머리부는 사용자에 의해 수동으로 설정될 수 있다. 예를 들면, 사용자가 머리 위치를 지정하도록 허용하는 사용자 인터페이스(UI)가 제공될 수 있다. UI는 사용자의 실시간 이미지를 포함하고, 사용자가 (예를 들면, 바운딩 박스를 좌측, 우측, 상부 및 하부 측으로 이동시킴으로써) 사용자의 머리 주변에 디스플레이된 머리부의 경계를 이동시키도록 허용할 수 있다. 이러한 접근법은, 사용자가 돌아다니지 않아서 사용자의 머리가 동일한 영역에 머무는 상황들, 이를테면, 사용자가 고정된 의자에 착석할 때 특히 적용 가능할 수 있다. 사용자가 머리부를 수동으로 설정하도록 허용함으로써, 상술된 것과 같이 머리부를 식별하기 위해 깊이 이미지를 분석하는 프로세스가 회피될 수 있다.
또 다른 실시예들에서, 머리부는 시스템에 의해 설정된 고정 구역일 수 있고, 사용자는 사용자의 머리를 머리부에 대응하는 영역에 위치시키도록 지시를 받을 수 있다. 예를 들면, 사용자의 머리의 뷰 및 머리부에 대응하는 박스를 도시하는 UI가 제공될 수 있다. 이어서, 사용자는 UI에서 사용자의 머리가 UI에 도시된 박스에 위치되도록 자신을 위치시키도록 지시를 받을 수 있다.
도 2를 다시 참조하면, 사용자의 머리에 대한 깊이-질량의 중심은, 블록(206)에 도시된 바와 같이, 머리부 내의 픽셀들의 깊이 값들에 기초하여 계산될 수 있다. 이전에 표시된 바와 같이, 깊이-질량의 중심은 일반적으로 깊이 이미지의 머리부 내의 픽셀들로부터의 깊이 값에 기초하여 균일한 밀도의 고체에 대해 결정된 질량의 중심을 지칭할 수 있다. 깊이-질량의 중심은 사용자의 머리에 대응하는 볼륨 또는 깊이 값들을 생성하는데 사용되는 기준 위치 및 사용자의 머리 사이의 영역에 대응하는 볼륨에 기초할 수 있다(즉, 사용자 머리에 대한 깊이-질량의 중심은 전자의 볼륨에 직접적으로 비례할 것이고, 한편 사용자의 머리에 대한 깊이-질량의 중심은 후자의 볼륨에 간접적으로 비례할 것이다). 일반적으로, 각각의 픽셀의 깊이 값(즉, 깊이 이미지를 캡쳐한 깊이 카메라에 의해 결정된 객체로부터 기준 위치까지의 거리) 및 각각의 픽셀의 X-위치(즉, 수평 위치)의 함수로서 사용자의 머리에 대한 깊이-질량의 중심을 계산하기 위한 알고리즘이 채용될 수 있다. 이것은 머리부 내의 모든 픽셀들 또는 이들의 일부를 포함할 수 있다. 일부 실시예들에서, 에지들 근처의 픽셀들이 덜 가중화되도록 각각의 픽셀의 X-위치의 함수로서 가중화가 적용될 수 있다. 이것은 에지들 근처의 잡음을 설명하는데 도움을 줄 수 있다.
개념적으로, 이것이 도 4 및 도 5a-도 5b에 예시된다. 특히, 도 4는 깊이 이미지 내의 머리부로서 이미징된 영역(404) 및 사용자의 머리(402)의 상부를 도시한 평면도를 예시한다. 깊이 이미지 내의 각각의 픽셀은 일부 기준 위치(406)에 대해 객체 상의 포인트의 거리(ZN)를 나타내는 깊이 값을 갖는다.
도 5a로부터 이해될 수 있듯이, 사용자가 앞쪽을 보고 있을 때, 머리부(504a) 내의 중심 포인트(506A)의 각각의 측면 상의 깊이 값들은 대략 동일하여, 깊이-질량의 중심(5a에 도시되지 않음)이 중심 포인트(506A) 근처에 있는 것으로 계산될 수 있다. 그러나, 도 5b에 도시된 바와 같이, 사용자가 사용자의 머리(502B)를 사용자의 좌측으로 회전하면, 머리부(504B)에 대응하는 영역 내의 사용자의 머리(502B) 중 더 많은 부분이 사용자의 좌측으로 시프팅할 것이고, 사용자의 머리의 질량의 중심이 또한 사용자의 중심으로 시프팅할 것이다. 이것은, 사용자의 머리(502B)까지의 거리가 총괄적으로 우측 측면과 비교하여 좌측 측면 상에서 더 짧을 것이라는 점에서 깊이 이미지에서 반영될 것이다. 결과적으로, 깊이-질량(508B)의 중심은 중심 포인트(506B)의 사용자의 좌측에 위치될 그러한 깊이 값들에 기초하여 계산될 것이다. 도 5b에 도시된 바와 같이, 깊이-질량(508B)의 중심은 X-방향을 따른 위치에 대응한다. 대안적으로, 사용자가 사용자의 머리(502C)를 사용자의 우측으로 회전시키면, 도 5c에 도시된 바와 같이, 머리부(504C)에 대응하는 영역 내의 사용자의 머리(502C) 중 더 많은 부분은 사용자의 우측으로 시프팅할 것이고, 사용자의 머리의 질량의 중심은 사용자의 또한 우측으로 시프팅할 것이다. 이것은, 사용자의 머리(502C)까지의 거리가 총괄적으로 좌측 측면과 비교하여 우측 측면 상에서 더 짧을 것이라는 점에서 깊이 이미지에서 반영될 것이다. 결과적으로, 깊이-질량(508C)의 중심은 중심 포인트(506C)의 사용자의 우측에 위치될 그러한 깊이 값들에 기초하여 계산될 것이다.
도 2로 다시 되돌아가면, 블록(206)에서 계산된 깊이-질량의 중심에 기초하여, 블록(208)에 도시된 바와 같이 사용자의 머리의 회전이 결정된다. 예를 들면, 도 5b에 표현된 바와 같이, X-방향을 따른 깊이-질량(508B)의 중심의 위치는 사용자의 머리(502B)가 사용자의 좌측으로 회전되는 정도를 표시할 수 있다. 마찬가지로, 도 5c에 표현된 바와 같이, X-방향을 따른 깊이-질량(508C)의 중심의 위치는 사용자의 머리가 우측으로 회전되는 정도를 표시할 수 있다. 일부 실시예들에서, 사용자의 머리의 위치는 사용자의 머리의 깊이-질량의 중심과 중심 위치를 비교함으로써 결정될 수 있다. 예를 들면, 이것은 도 5b의 깊이-질량(508B)의 위치와 중심 위치(506B)를 포함할 수 있다.
블록(208)에서 결정된 사용자의 머리의 회전은 임의의 다양한 상이한 애플리케이션들에서 채용될 수 있다. 비제한적인 예로서, 일부 실시예들에서, 사용자의 머리의 회전은 게임 또는 다른 가상 세계에서 카메라 관점의 회전을 제어하는데 사용될 수 있다.
일부 실시예들에서, 사용자의 머리의 깊이-질량의 중심은 배경 깊이에 대해 각각의 픽셀에서 사용자 머리의 깊이 또는 두께를 계산하기 위해 기준 포인트로서 배경 깊이를 사용하여 결정될 수 있다. 이러한 접근법은 도 6의 방법(600)을 참조하여 설명되고, 도 7에 개념적으로 예시된다. 도 6에 도시된 바와 같이, 배경 깊이 값이 블록(602)에서 결정된다. 이것은, 예를 들면, 깊이 이미지에서 머리부를 식별한 후에(예를 들면, 도 2의 블록(204)을 참조하여 위에 논의된 바와 같이) 이루어질 수 있다.
배경 깊이 값은 본 발명의 실시예들의 범위 내에서 다양한 방식들로 결정될 수 있다. 일부 실시예들에서, 머리부 내의 픽셀들로부터의 최대 깊이 값은 배경 깊이 값으로서 간단히 설정될 수 있다. 다른 실시예들에서, 배경 깊이 값은 머리부 내의 픽셀들의 깊이 값으로부터 계산되는 평균 깊이 값의 함수일 수 있다. 예를 들면, 머리부 내의 모든 픽셀들에 대한 평균 깊이 값이 계산될 수 있고, 배경 깊이 값을 생성하기 위해 그 평균 깊이 값 이상의 특정 양의 깊이(예를 들면, 10-20 cm)가 부가될 수 있다. 일부 예들에서, 평균 값은 머리부의 중심 근처의 영역 내의 픽셀들과 같이, 머리부 내의 픽셀들의 일부분만으로부터 계산될 수 있다. 또 다른 실시예들에서, 배경 깊이 값은 사용자에 의해 수동으로 설정될 수 있다. 예를 들면, 배경 깊이 값을 설정하기 위한 수동 접근법은, 사용자가 위에 논의된 바와 같이 머리부를 수동으로 설정할 때 채용될 수 있다. 일반적으로, 사용자가 머리부에 대한 경계 영역을 이동시키고 설정할 뿐만 아니라 배경 깊이 값을 설정하도록 허용하는 UI가 제공될 수 있다. 다시, 이러한 접근법은, 사용자가 돌아다니지 않아서 사용자의 머리가 일반적으로 동일한 지점에 머무는 상황들에 더 많이 적용될 수 있다.
블록(604)에 도시된 바와 같이, 배경 깊이 값보다 더 큰 깊이 값들을 갖는 머리부 내의 픽셀들은 무시될 수 있다. 이와 같이, 이어서, 배경 깊이 값 미만인 깊이 값들을 갖는 픽셀들만이 추가적인 프로세싱을 위해 고려될 것이다. 본질적으로, 배경 깊이 값보다 큰 깊이 값들을 갖는 머리부의 부분은 추가적인 프로세싱을 위해 클리핑 및 폐기될 수 있다.
나머지 픽셀들에 대한 깊이 값들, 배경 깊이 값 및 나머지 픽셀들의 X-위치(즉, 수평 위치)를 사용하여, 블록(606)에 도시된 바와 같이, 사용자의 머리에 대한 깊이-질량의 중심이 계산된다. 일부 실시예들에 따르면, 이것은 각각의 픽셀에 대한 깊이 값 및 배경 깊이 값 사이의 차이에 기초하여 각각의 픽셀에서의 사용자의 머리의 깊이(즉, 두께)를 결정하는 것을 포함할 수 있다. 이것이 도 7에 개념적으로 예시된다. 특히, 도 7은 깊이 이미지 내의 머리부에 대응하는 영역(704) 및 사용자의 머리(702)의 상부를 도시하는 평면도를 예시한다. 픽셀 A에 대한 깊이 값은 기준 위치(도시되지 않음)로부터 사용자의 머리(702) 상의 포인트(708)까지의 거리(ZA)(706)에 대응할 것이고, 배경 깊이 값은 기준 위치로부터의 거리(ZB)(710)에 대응할 것이다. 거리들(ZA)(706) 및 (ZB)(710)의 차이는 포인트(708)에서 사용자의 머리(DA)(712)의 깊이(즉, 두께)에 대응할 것이다.
따라서, 일부 실시예들에서, 깊이-질량의 중심은 각각의 픽셀에 대한 깊이 값 및 배경 깊이 값 사이의 차이에 기초하여 각각의 픽셀에서 사용자의 머리의 깊이(즉, 두께)를 계산함으로써 결정될 수 있다. 각각의 픽셀에서 사용자의 머리의 깊이는 각각의 픽셀의 X-위치와 곱셈될 수 있고, 이러한 값들이 합산될 수 있고, 합산된 값은 사용자의 머리의 깊이의 합에 의해 나뉘어(divided) 사용자의 머리의 깊이-질량의 중심을 계산한다. 이러한 접근법은 다음의 수학식으로 표현될 수 있다.
Figure 112013111287154-pct00001
여기서 CDM은 깊이-질량의 중심을 나타내고, Xi는 픽셀(i)의 X-위치이고, Di는 픽셀(i)에서 사용자의 머리의 깊이이다. 위에서 언급한 바와 같이, 주어진 픽셀(즉, Di)에서 사용자의 머리의 깊이는 픽셀에 대한 깊이 값(즉, 기준 포인트로부터 이미징된 객체 상의 포인트까지의 거리) 및 배경 깊이 값 사이의 차이다. 이러한 방식으로, 깊이-질량의 중심은 균일한 밀도의 고체의 질량의 중심과 유사하고, 고체는 깊이 값들 및 배경 깊이 값에 대응하는 사용자의 머리의 두께에 대응한다. 일부 실시예들에서, 가중화는 에지들 근처의 픽셀들이 덜 가중화되도록 각각의 픽셀의 X-위치의 함수로서 적용될 수 있다. 이것은 에지들 근처의 잡음을 설명하는데 도움을 줄 수 있다.
다시 도 6을 참조하면, 깊이-질량의 중심을 결정하는 것 이외에, 사용자의 머리의 중심 위치가 또한 블록(608)에 도시된 바와 같이 결정될 수 있다. 일부 실시예들에서, 이것은 간단히 머리부의 중심일 수 있다. 다른 실시예들에서, 이것은, 블록(604)에서의 배경 값 이상의 깊이 값들을 갖는 픽셀들을 클리핑한 후에 남아있는 픽셀들에 대응하는 것으로 고려될 수 있는 사용자의 머리의 실루엣의 중심일 수 있다. 일부 실시예들에서, 깊이-질량의 중심에 대해 상술된 것과 유사한 수학식은 고려되는 모든 픽셀들에 대한 사용자의 머리의 깊이에 대해 동일한 값(예를 들면, 1의 값)을 간단히 사용하여 머리 위치의 중심을 결정하는데 사용될 수 있다.
블록(610)에 도시된 바와 같이, 사용자의 머리의 회전은 블록(606)에서 결정된 깊이-질량의 중심 및 블록(608)에서 결정된 머리 위치의 중심을 비교함으로써 결정된다. 이전에 언급한 바와 같이, 사용자의 머리의 회전은 임의의 다양한 상이한 애플리케이션들에서 채용될 수 있다. 비제한적인 예로서, 일부 실시예들에서, 사용자의 머리의 회전은 게임 또는 다른 가상 세계에서 카메라 관점의 회전을 제어하는데 사용될 수 있다.
일부 실시예들에서, 사용자가 사용자의 머리 상에 어떠한 것(예를 들면, 앞 챙(forward brim)을 갖는 모자 또는 적절한 형상을 갖는 일종의 헬멧)을 착용하면, 이것은 회전에 따라 좌측/우측으로 시프팅하는 더 많은 깊이-질량을 제공하고 머리 형상을 정규화(normalizing)함으로써 추적을 개선할 수 있다. 이것은, 예를 들면, 사용자의 머리가 잘 추적되지 않는 일부 상황들에서 채용되거나 일관된 경험을 보장하기 위해 채용될 수 있다. 예시를 위한 특정 예로서, 이러한 접근법은, 사용자들이 헬멧을 착용하는 놀이 공원에서의 시뮬레이션 게임과 같은 상황에서 채용될 수 있고, 모든 사용자들이 동일한 헬멧을 착용하기 때문에, 사용자들 사이의 비정상적인 형상의 헤어 또는 다른 중요한 형상/크기 차이들이 상기 시스템에서 문제를 발생시키지 않을 것이다.
수평 평면에서 사용자의 머리의 회전을 결정하기 위해 깊이-질량의 중심이 X-방향(즉, 수평 방향)에서 결정되는 실시예들이 본원에 설명되었지만, 일부 실시예들이 수평 평면에서 사용자의 머리의 회전을 결정하기 위해 Y-방향(즉, 수직 방향)에서 깊이-질량의 중심을 결정하기 위해 유사한 접근법들을 사용할 수 있다는 것이 이해되어야 한다. 부가적으로, 사용자의 머리의 회전을 결정하기 위한 본원에 설명된 프로세스는 시간에 걸쳐 사용자의 머리의 회전을 추적하기 위해 깊이 이미지들의 상이한 프레임들에 대해 계속해서 반복될 수 있다. 임의의 및 모든 그러한 변형들 및 이들의 조합들은 본 발명의 실시예들의 범위 내에 있는 것으로 고려된다.
이해될 수 있듯이, 본 발명의 실시예들은 깊이 이미지로부터 계산된 깊이-질량의 중심에 기초하여 사용자의 머리의 회전을 결정하는 것을 제공한다. 본 발명은, 모든 면들에서 제한적이기보다는 예시적인 것으로 의도된 특정 실시예들에 관련하여 설명되었다. 대안적인 실시예들은 본 발명의 범위로부터 벗어나지 않고 본 발명이 속하는 당업계의 숙련자에게 명백해질 것이다.
앞서 말한 것으로부터, 본 발명이 상기 시스템 및 방법에 대해 분명하고 내재된 다른 이점들과 함께 상술된 모든 목적들 및 목표들을 달성하도록 잘 적응된 것이라는 것을 알 수 있다. 특정 특징들 및 서브조합들이 유용하고 다른 특징들 및 서브조합들을 참조하지 않고 채용될 수 있다는 것이 이해될 것이다. 이것은 특허청구범위에 의해 고려되고, 특허청구범위 내에 있다.
100: 컴퓨팅 장치 110: 버스
112: 메모리 114: 프로세서(들)
116: 프리젠테이션 구성요소(들) 118: I/O 포트(들)
120: I/O 구성요소들 122: 전원

Claims (20)

  1. 사용자의 머리의 회전을 결정하기 위해 깊이 이미지를 사용하기 위한 방법에 있어서,
    복수의 픽셀들에 대한 깊이 값들을 포함하는 깊이 이미지 데이터를 수신하는 단계;
    배경 깊이 값을 결정하는 단계;
    상기 깊이 이미지 내의 머리부(head region)를 상기 깊이 이미지 데이터로부터 식별하는 단계;
    상기 배경 깊이 값을 초과하지 않는 깊이 값을 갖는 상기 머리부의 픽셀들의 서브셋을 식별하는 단계;
    상기 머리부의 픽셀들의 서브셋의 깊이 값들에 기초하여 상기 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 단계 ― 상기 깊이-질량의 중심을 계산하는 단계는 상기 배경 깊이 값 및 상기 픽셀들의 서브셋에 대한 깊이 값들로부터 결정된 균일한 밀도의 고체에 대한 질량의 중심을 컴퓨팅하는 단계를 포함함 ― ;
    상기 깊이-질량의 중심의 위치에 기초하여 상기 사용자의 머리의 회전을 결정하는 단계
    를 포함하는, 깊이 이미지를 사용하기 위한 방법.
  2. 제1항에 있어서,
    인간의 신체의 크기 및 형상에 가깝게 대응하는 실루엣을 갖는 객체를 발견함으로써, 상기 머리부를 결정하는 단계; 및
    상기 인간의 머리의 크기 및 형상에 대응하는 객체의 부분을 결정하는 단계
    를 더 포함하는, 깊이 이미지를 사용하기 위한 방법.
  3. 제2항에 있어서,
    상기 이미지는 적청록 카메라(red blue green camera) 이외의 카메라를 사용하여 캡쳐되는 것인, 깊이 이미지를 사용하기 위한 방법.
  4. 제1항에 있어서,
    상기 깊이-질량의 중심의 위치에 기초하여 상기 사용자의 머리의 회전을 결정하는 단계는:
    상기 사용자의 머리의 중심에 대응하는 상기 머리부에서의 위치를 근사화하는 단계; 및
    상기 사용자의 머리의 중심에 대응하는 상기 머리부에서의 위치와 상기 깊이-질량의 중심 간의 차에 기초하여 상기 사용자의 머리의 회전을 결정하는 단계
    를 포함하는 것인, 깊이 이미지를 사용하기 위한 방법.
  5. 제1항에 있어서,
    가상 환경을 위한 카메라 관점(camera viewpoint)을 제어하기 위해 상기 사용자의 머리의 회전을 사용하는 단계를 더 포함하는, 깊이 이미지를 사용하기 위한 방법.
  6. 비일시적인(non-transitory) 유형의(tangible) 컴퓨팅 장치에 있어서,
    프로세서를 포함하며, 상기 프로세서는:
    깊이 이미지의 복수의 픽셀들에 대한 깊이 값들을 수신하고;
    배경 깊이 값을 결정하고;
    상기 깊이 이미지 내의 머리부를 상기 깊이 이미지 데이터로부터 식별하고;
    상기 배경 깊이 값을 초과하지 않는 깊이 값을 갖는 상기 머리부의 픽셀들의 서브셋을 식별하고;
    상기 머리부의 픽셀들의 서브셋의 깊이 값들에 기초하여 사용자의 머리에 대한 깊이-질량의 중심을 계산하며 ― 상기 깊이-질량의 중심을 계산하는 것은, 상기 배경 깊이 값 및 상기 픽셀들의 서브셋에 대한 깊이 값들로부터 결정된 균일한 밀도의 고체에 대한 질량의 중심을 컴퓨팅하는 것을 포함함 ― ;
    상기 깊이-질량의 중심의 위치에 기초하여 상기 사용자의 머리의 회전을 결정하도록
    구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  7. 제6항에 있어서,
    상기 장치는:
    상기 머리부 내의 픽셀들로부터 최대 깊이 값을 식별하는 것; 및
    상기 최대 깊이 값의 함수로서 상기 배경 깊이 값을 설정하는 것
    에 의하여 상기 배경 깊이 값을 결정하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  8. 제6항에 있어서,
    상기 장치는:
    상기 머리부의 픽셀들의 적어도 일부에 대한 깊이 값들에 기초하여 평균 깊이 값을 계산하는 것; 및
    상기 평균 깊이 값의 함수로서 상기 배경 깊이 값을 설정하는 것
    에 의하여 상기 배경 깊이 값을 결정하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  9. 제6항에 있어서,
    상기 장치는:
    깊이 값들에 기초하여 상기 깊이 이미지의 객체들을 식별하는 것; 및
    인간의 머리의 크기 및 형상에 대응하는 실루엣을 갖는 제1 객체를 식별하기 위하여 상기 객체들을 분석하는 것
    에 의하여 상기 머리부를 식별하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  10. 제6항에 있어서,
    상기 장치는:
    상기 사용자가 상기 사용자의 머리의 이미지를 보도록 그리고 상기 머리부에 대한 경계의 위치를 제어하도록 허용하는 사용자 인터페이스를 제공하는 것; 및
    상기 머리부에 대한 경계의 위치를 설정하는 사용자 입력을 수신하는 것
    에 의하여 상기 머리부를 식별하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  11. 제6항에 있어서,
    상기 장치는:
    인간의 신체의 크기 및 형상에 가깝게 대응하는 실루엣을 갖는 객체를 발견하는 것; 및
    인간의 머리의 크기 및 형상에 대응하는 상기 객체의 부분을 결정하는 것
    에 의하여 상기 머리부를 식별하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  12. 제6항에 있어서,
    상기 장치는:
    상기 사용자의 머리의 중심에 대응하는 상기 머리부의 위치를 근사화하는 것; 및
    상기 사용자의 머리의 중심에 대응하는 상기 머리부의 위치와 상기 깊이-질량의 중심 간의 차에 기초하여 상기 사용자의 머리의 회전을 결정하는 것
    에 의해, 상기 깊이-질량의 중심에 기초하여 상기 사용자의 머리의 회전을 결정하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  13. 제6항에 있어서,
    상기 사용자의 머리의 회전은 가상 환경을 위한 카메라 관점을 제어하는데 사용되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  14. 제6항에 있어서,
    상기 장치는, 상기 배경 깊이 값과 각각의 픽셀에 대한 깊이 값 간의 차에 기초하여 각각의 픽셀에서의 상기 사용자의 머리의 깊이를 결정하도록 구성되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  15. 제6항에 있어서,
    상기 이미지는 적청록 카메라 이외의 카메라를 사용하여 캡쳐되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  16. 제6항에 있어서,
    상기 이미지는 적외선 카메라를 사용하여 캡쳐되는 것인, 비일시적인 유형의 컴퓨팅 장치.
  17. 하나 이상의 컴퓨팅 장치들에 의해 사용될 때, 상기 하나 이상의 컴퓨팅 장치들로 하여금 방법을 수행하게 하는 컴퓨터-사용가능 명령어들을 저장하는 비일시적인(non-transitory) 유형의(tangible) 컴퓨터-저장 장치에 있어서,
    상기 방법은:
    복수의 픽셀들에 대한 깊이 값들을 포함하는 깊이 이미지 데이터를 수신하는 단계;
    배경 깊이 값을 결정하는 단계;
    깊이 이미지 내의 머리부를 상기 깊이 이미지 데이터로부터 식별하는 단계;
    상기 배경 깊이 값을 초과하지 않는 깊이 값을 갖는 상기 머리부의 픽셀들의 서브셋을 식별하는 단계;
    상기 머리부의 픽셀들의 서브셋의 깊이 값들에 기초하여 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 단계 ― 상기 깊이-질량의 중심을 계산하는 단계는 상기 배경 깊이 값 및 상기 픽셀들의 서브셋에 대한 깊이 값들로부터 결정된 균일한 밀도의 고체에 대한 질량의 중심을 컴퓨팅하는 단계를 포함함 ― ;
    상기 깊이-질량의 중심의 위치에 기초하여 상기 사용자의 머리의 회전을 결정하는 단계
    를 포함하는 것인, 비일시적인 유형의 컴퓨터-저장 장치.
  18. 제17항에 있어서,
    상기 사용자의 머리에 대한 깊이-질량의 중심은 상기 배경 깊이 값을 초과하지 않는 깊이 값을 갖는 머리부의 픽셀들을 사용하여 계산되는 것인, 비일시적인 유형의 컴퓨터-저장 장치.
  19. 제17항에 있어서,
    상기 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 단계는:
    상기 머리부로부터 픽셀들의 그룹을 식별하는 단계;
    상기 픽셀들의 그룹으로부터의 각각의 픽셀에 대한 깊이 값과 상기 배경 깊이 값 간의 차에 기초하여, 상기 픽셀들의 그룹으로부터의 각각의 픽셀에 대한 상기 사용자의 머리의 두께를 결정하는 단계;
    상기 픽셀들의 그룹으로부터의 각각의 픽셀에 대한 상기 사용자의 머리의 두께와 상기 픽셀들의 그룹으로부터의 각각의 픽셀에 대한 위치의 곱셈으로부터의 결과들을 합산함으로써, 제1 값을 계산하는 단계;
    상기 픽셀들의 그룹 내의 픽셀들에 대한 깊이 값들을 합산함으로써, 제2 값을 계산하는 단계; 및
    상기 제1 값을 상기 제2 값으로 나눔(dividing)으로써, 상기 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 단계
    를 포함하는 것인, 비일시적인 유형의 컴퓨터-저장 장치.
  20. 제17항에 있어서,
    상기 사용자의 머리에 대한 깊이-질량의 중심을 계산하는 단계는, 상기 머리부 내의 픽셀 위치의 함수로서 가중화(weighting)를 적용하는 단계를 포함하는 것인, 비일시적인 유형의 컴퓨터-저장 장치.
KR1020137032248A 2011-06-06 2012-06-04 깊이-기반 질량의 중심으로부터의 머리 회전 추적 기법 KR101932788B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493785P 2011-06-06 2011-06-06
US61/493,785 2011-06-06
US13/212,745 2011-08-18
US13/212,745 US9098110B2 (en) 2011-06-06 2011-08-18 Head rotation tracking from depth-based center of mass
PCT/US2012/040774 WO2012170357A2 (en) 2011-06-06 2012-06-04 Head rotation tracking from depth-based center of mass

Publications (2)

Publication Number Publication Date
KR20140028060A KR20140028060A (ko) 2014-03-07
KR101932788B1 true KR101932788B1 (ko) 2018-12-27

Family

ID=47261728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032248A KR101932788B1 (ko) 2011-06-06 2012-06-04 깊이-기반 질량의 중심으로부터의 머리 회전 추적 기법

Country Status (5)

Country Link
US (1) US9098110B2 (ko)
EP (1) EP2719186B1 (ko)
JP (1) JP6080843B2 (ko)
KR (1) KR101932788B1 (ko)
WO (1) WO2012170357A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406135B2 (en) * 2012-10-29 2016-08-02 Samsung Electronics Co., Ltd. Device and method for estimating head pose
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US10362296B2 (en) 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
EP3496037A1 (en) 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
US11157728B1 (en) * 2020-04-02 2021-10-26 Ricoh Co., Ltd. Person detection and identification using overhead depth images
CN111709974B (zh) * 2020-06-22 2022-08-02 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143072A (ja) 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
US20030035001A1 (en) 2001-08-15 2003-02-20 Van Geest Bartolomeus Wilhelmus Damianus 3D video conferencing
US20050196015A1 (en) 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
EP2026035A2 (en) 1998-12-16 2009-02-18 3DV Systems Ltd. 3D camera for distance measurements
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
JP4185052B2 (ja) 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
JP4546956B2 (ja) 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
KR100682889B1 (ko) 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100656342B1 (ko) 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
ES2791718T3 (es) 2005-01-07 2020-11-05 Qualcomm Inc Detección y seguimiento de objetos en imágenes
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
EP1886509B1 (en) 2005-05-17 2017-01-18 Qualcomm Incorporated Orientation-sensitive signal output
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8249334B2 (en) * 2006-05-11 2012-08-21 Primesense Ltd. Modeling of humanoid forms from depth maps
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
US20100311512A1 (en) 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143072A (ja) 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
US20030035001A1 (en) 2001-08-15 2003-02-20 Van Geest Bartolomeus Wilhelmus Damianus 3D video conferencing
US20050196015A1 (en) 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system

Also Published As

Publication number Publication date
JP6080843B2 (ja) 2017-02-15
WO2012170357A3 (en) 2013-06-13
EP2719186A2 (en) 2014-04-16
US20120308116A1 (en) 2012-12-06
WO2012170357A2 (en) 2012-12-13
EP2719186A4 (en) 2014-10-29
EP2719186B1 (en) 2016-06-01
KR20140028060A (ko) 2014-03-07
JP2014516187A (ja) 2014-07-07
US9098110B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
KR101932788B1 (ko) 깊이-기반 질량의 중심으로부터의 머리 회전 추적 기법
CN108765272B (zh) 图像处理方法、装置、电子设备及可读存储介质
US9905039B2 (en) View independent color equalized 3D scene texturing
CN109660783B (zh) 虚拟现实视差校正
AU2014236959B2 (en) Determining object volume from mobile device images
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
KR20180100476A (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
US8374428B2 (en) Color balancing for partially overlapping images
KR102060206B1 (ko) 가상 환경 내 오브젝트 컨트롤 기법
US9774793B2 (en) Image segmentation for a live camera feed
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
US9118843B2 (en) Methods and systems for creating swivel views from a handheld device
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN113170213A (zh) 图像合成
US20210209839A1 (en) Three-dimensional (3d) shape modeling based on two-dimensional (2d) warping
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
US10147218B2 (en) System to identify and use markers for motion capture
US20140098246A1 (en) Method, Apparatus and Computer-Readable Recording Medium for Refocusing Photographed Image
Dedhia et al. Saliency prediction for omnidirectional images considering optimization on sphere domain
KR101566459B1 (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
KR102648882B1 (ko) 3차원 지도에 대한 모델링 데이터의 경량화 방법
JP2017111620A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9563940B2 (en) Smart image enhancements
KR102130902B1 (ko) 360도 영상을 2d 영상으로 변환하는 방법 및 장치
Yadav et al. Selfie Stitch: Dual Homography Based Image Stitching for Wide-Angle Selfie

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant