KR102060206B1

KR102060206B1 - 가상 환경 내 오브젝트 컨트롤 기법

Info

Publication number: KR102060206B1
Application number: KR1020137032539A
Authority: KR
Inventors: 크리스토퍼 할리 윌로우비; 제프리 지저스 에버트; 저스틴 아브람 클라크; 벤 존 하인들; 피터 글렌 사레트; 조엘 디게로
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2011-06-06
Filing date: 2012-06-04
Publication date: 2019-12-27
Also published as: JP5985619B2; WO2012170361A3; EP2718903B1; WO2012170361A2; JP2014517413A; KR20140043378A; EP2718903A2; US9724600B2; CN103597516B; EP2718903A4; CN103597516A; US20120306924A1

Abstract

가상 환경 내 오브젝트를 컨트롤하기 위한 방법, 시스템, 및 그것 상에 구현된 컴퓨터-사용가능 명령어를 가지는 컴퓨터-스토리지 매체가 제공된다. 실제-세계 오브젝트는 가상 환경으로 수신될 수 있다. 실제-세계 오브젝트는 임의의 사람이 아닌 오브젝트이다. 오브젝트 골격이 식별되고 오브젝트로 매핑될 수 있다. 실제-세계 사용자의 사용자 골격도 또한 식별되고 오브젝트 골격으로 매핑될 슁T다 사용자 골격을 오브젝트 골격으로 매핑함으로써, 사용자의 움직임이 가상 환경 내의 오브젝트의 움직임을 컨트롤한다.

Description

가상 환경 내 오브젝트 컨트롤 기법{CONTROLLING OBJECTS IN A VIRTUAL ENVIRONMENT}

가상 환경은 최근 몇 년 사이에 상당한 진보를 이루었다. 이러한 진보에 따라 가상 환경과의 상호작용을 증가시키라는 사용자의 요구도 증대되고 있다. 몇몇 비디오 채팅 애플리케이션에서 머리-추적(head-tracking)에 기초한 웹-캠을 사용하여 미리-결정된 모델들의 실시간 컨트롤이 현재 이용가능하며 또한 사용자로 하여금 사용자의 머리의 위치를 추적함으로써 가상 아바타(avatar)의 머리를 제어하도록 허용하고 사용자의 음성을 이용하여 아바타의 입을 제어하도록 허용한다. 그렇지만 이 경우, 아바타는 미리-결정되어 있으며, 추적은 머리로만 제한되어 있고, 또한 사용자의 머리 배향과 아바타의 머리 배향 사이의 단순한 일-대-일 매핑이 사용된다. 현재는 사용자로 하여금 실제-세계로부터 수신되어 가상 오브젝트로서 디지털화된 오브젝트를 완전히 컨트롤하도록 허용하는 모델은 존재하지 않는다. 다시 말해서, 미리-결정되지 아니한 오브젝트, 더 나아가, 사용자의 몸을 사용하여 가상 오브젝트 전체(예컨대, 팔다리, 머리, 등등)을 컨트롤하기 위해 사용자의 골격 추적 정보를 이용하는 것도 이용가능하지 않다.

본 요약부(summary)는 아래 상세한 설명(Detailed Description)에서 더 기술되는 개념들의 집합을 간단한 형태로 소개하기 위하여 제공된다. 본 요약부는 청구된 발명 대상의 주요 특징들 또는 본질적인 특징들을 식별하는 것으로 의도되지 않으며, 또한 청구된 발명 대상의 범위를 결정하기 위한 보조자료로 사용되는 것으로도 의도되지 않는다.

본 발명의 실시예들은, 특히 가상 환경 내의 오브젝트를 컨트롤하기 위한 시스템, 방법, 및 컴퓨터 스토리지 매체에 관련된다. 실제-세계 오브젝트들은 이후 상세하게 기술되는 바와 같이 디지털화될 수 있고, 예를 들어, 게임 시스템에 의해 수신될 수 있다. 일 실시예에서, 실제-세계 오브젝트는 움직이지 않는 오브젝트(예컨대, 의자, 공, 동물 인형, 등), 애완동물(예컨대, 고양이) 등과 같이 사람이 아닌 오브젝트이다. 일단 디지털화된 오브젝트가 수신되면, 오브젝트가 사용자에 의해 제어되도록 오브젝트 및 인간 사용자의 다양한 골격 매핑(skeletal mapping)들이 수행될 수 있다. 다시 말해서, 사용자의 움직임은 가상 환경 내의 오브젝트의 움직임을 컨트롤할 수 있다.

본 발명은 첨부된 도면들을 참조하여 아래에서 상세히 기술되며, 여기서:
도 1은 본 발명의 실시예들을 구현하는데 사용하기 적합한 예시적인 컴퓨팅 환경의 블록도이고;
도 2는 본 발명의 일 실시예에 따른, 가상 환경 내의 오브젝트를 컨트롤하기 위한 환경을 도시하는 블록도이고;
도 3은 본 발명의 일 실시예에 따른, 디지털화를 위해 오브젝트를 프레젠트하는 사용자의 도면이고;
도 4는 본 발명의 일 실시예에 따른, 오브젝트의 디지털화에 대한 동작 흐름도이고;
도 5(a) 및 도 5(b)는 본 발명의 일 실시예에 따른, 디지털화를 위해 오브젝트를 프레젠트하는 사용자의 카메라-시야 관점의 도면들이고;
도 6은 본 발명의 일 실시예에 따른, 오브젝트를 디지털화하기 위하여 사용가능한 세그먼티드 깊이 이미지(segmented depth image)의 도면이고;
도 7은 본 발명의 일 실시예에 따른, 깊이-대-컬러(depth-to-color) 오프셋의 도면이고;
도 8은 본 발명의 일 실시예에 따른, 오브젝트를 디지털화하기 위하여 사용가능한 소스 컬러 이미지의 도면이고;
도 9는 본 발명의 일 실시예에 따른, 캡쳐된 오브젝트의 컬러 세그먼테이션(segmentation)의 도면이고;
도 10 및 도 11은 본 발명의 일 실시예에 따른, 디지털화될 오브젝트를 붙잡는 것에 대한 안내를 프레젠트하는 사용자 인터페이스(UI)들의 도면들이고;
도 12는 본 발명의 일 실시예에 따른, 오브젝트의 3-차원(3D) 포인트 클라우드(point cloud) 구성의 도면이고;
도 13(a) 및 도 13(b)는 본 발명의 일 실시예에 따른, 정렬된 포인트 시트들의 2개의 뷰의 도면이고;
도 14는 본 발명의 일 실시예에 따른, 최종 포인트 클라우드 구조물의 도면이고;
도 15는 본 발명의 일 실시예에 따른, 사용자에게 디스플레이된 디지털화된 오브젝트의 확인 이미지를 디스플레이하는 UI의 도면이고;
도 16은 본 발명의 일 실시예에 따른, 캡쳐된 이미지의 메쉬(mesh) 출력의 도면이고;
도 17은 본 발명의 일 실시예에 따른, 오브젝트의 스무딩되고 처리된 이미지의 도면이고;
도 18은 본 발명의 일 실시예에 따른, UV 좌표를 가진 이미지의 도면이고;
도 19는 본 발명의 일 실시예에 따른, 최종 텍스처 맵의 한 부분으로 그려진 정면-대향 트라이앵클 에지(front-facing triangle edge)들의 도면이고;
도 20(a) 내지 도 20(e)는 본 발명의 일 실시예에 따른, 생성된 골격 구조의 상이한 뼈들에 추가된 웨이팅을 도시하는 도면들의 도면이고;
도 21(a) 및 도 21(b)는 본 발명의 일 실시예에 따른, 루마/크로마(luma/chroma) 처리 전 및 후의 이미지들의 도면들의 도면이고;
도 22(a) 및 도 22(b)는 본 발명의 일 실시예에 따른, 에지들이 필터링된 후 소스 이미지 및 출력 이미지의 도면들의 도면이고;
도 23(a) 및 도 23(b)는 본 발명의 일 실시예에 따른, 에지 복구 필터들이 타겟 컬러들인 배경 컬러들을 발견하는 경우의 이미지들의 도면들의 도면이고;
도 24(a) 및 도 24(b)는 본 발명의 일 실시예에 따른, 에지로부터 미해결된 영역까지의 거리 및 계산된 배경 유사 값(background likelihood value)들을 계산하는 이미지들의 도면이고;
도 25는 일 실시예에 따른, 최종 합성 텍스처 맵의 도면이고;
도 26(a) 및 도 26(b)는 본 발명의 일 실시예에 따른, 마스킹된 값 및 심하게 블러링된 정점 컬러들의 도면이고;
도 27(a) 및 도 27(b)는 본 발명의 일 실시예에 따른, 텍스처만을 가진 상이하 메쉬들 및 마스크 값에 의한 정점 컬러 블렌딩을 가진 텍스처의 도면이고;
도 28은 본 발명의 일 실시예에 따른, 디지털화된 오브젝트의 최종 렌더링의 도면이고;
도 29는 본 발명의 일 실시예에 따른, 가상 환경 내의 오브젝트들을 컨트롤하는 방법을 보여주는 흐름도이고;
도 30은 본 발명의 일 실시예에 따른, 가상 환경 내의 오브젝트들을 컨트롤하는 방법을 보여주는 흐름도이다.

본 발명의 발명 대상은 법적인 요구조건을 맞추기 위해 본 명세서에서 구체적으로 기술된다. 그렇지만, 기술 내용 그 자체는 본 특허의 범위를 제한하려고 의도되지 않는다. 그 대신, 발명자들은, 그 외 다른 현재의 또는 미래의 기술들과 관련하여, 본 문서 내에서 기술된 것들과 유사한 다른 단계들 또는 단계들의 조합들을 포함하기 위해, 청구된 발명 대상들이 또한 그 외 다른 방식으로도 구현될 수 있다는 점에 대하여 숙고하였다. 더 나아가, 비록 용어 "단계" 및/또는 "블록"가 본 명세서에서 구현된 방법들의 여러가지 요소들을 함축하기 위하여 사용될 수 있지만, 이 용어들은 개별 단계들의 순서가 명시적으로 기술되지 않는 한 그리고 명시적으로 기술되는 경우를 제외하고 본 명세서에서 개시된 다양한 단계들 사이에 어떠한 특별한 순서를 내포하는 것으로서 해석되지 않아야 한다.

본 발명의 실시예들은 특히 가상 환경 내에서 오브젝트를 컨트롤하기 위한 시스템, 방법, 및 컴퓨터 스토리지 매체에 관한 것이다. 실제-세계 오브젝트는 아래에서 상세하게 기술되는 바와 같이 디지털화될 수 있고, 예컨대 게임 시스템에 의해 수신될 수 있다. 일 실시예에서, 실제-세계 오브젝트는 움직이지 않는 오브젝트(예컨대, 의자, 공, 동물 인형, 등), 애완동물(예컨대, 고양이) 등과 같이 사람이 아닌 오브젝트이다. 일단 디지털화된 오브젝트가 수신되면, 오브젝트가 사용자에 의해 제어되도록 오브젝트 및 인간 사용자의 다양한 골격 매핑(skeletal mapping)들이 수행될 수 있다. 다시 말해서, 사용자의 움직임은 가상 환경 내의 오브젝트의 움직임을 컨트롤할 수 있다.

이에 따라, 본 발명의 일 실시예는, 하나 이상의 컴퓨터 장치에 의해 사용될 때, 컴퓨터 장치가 가상 환경 내에서 오브젝트를 컨트롤하는 방법을 수행하도록 하는 컴퓨터-이용가능 명령어들(instructions)을 저장하는 하나 이상의 컴퓨터-스토리지 매체에 관한 것이다. 방법은 가상 환경 내에서 오브젝트를 식별하는 단계를 포함한다. 오브젝트는 임의의 사람이 아닌 오브젝트일 수 있다. 오브젝트 골격이 오브젝트에 매핑된다. 오브젝트 골격은 미리-정의된 템플릿일 수 있고 오브젝트 및/또는 오브젝트 골격은 서로 맞아들어가도록 조정될 수 있다. 사용자 골격이 수신되고 오브젝트 골격으로 매핑된다. 사용자 골격은 사용자의 골격의 이미지이다. 일단 사용자 골격이 오브젝트 골격으로 매핑되면, 오브젝트는 사용자에 의해 컨트롤된다. 더 상세하게 말해서, 사용자의 움직임은 가상 공간 내의 오브젝트의 움직임을 컨트롤한다.

본 발명의 또 다른 실시예는 가상 공간 내의 오브젝트를 컨트롤하기 위해 프로세서 및 메모리를 포함하는 시스템에 관한 것이다. 이 시스템은 하나 이상의 프로세서 및 하나 이상의 컴퓨터-판독가능 스토리지 매체와 연관된 컴퓨팅 장치, 컴퓨팅 장치와 연결된 데이터 스토어, 및 사용자 골격 및 오브젝트 골격을 포함하여 하나 이상의 골격을 식별하고, 사용자 골격을 오브젝트 골격으로 매핑하고, 또한 오브젝트가 사용자 골격의 움직임을 반영하도록 조작되도록 오브젝트 골격을 관리하는 컨트롤링 엔진을 포함한다.

본 발명의 또 다른 실시예는, 하나 이상의 컴퓨팅 장치에 의해 사용될 때, 컴퓨팅 장치로 하여금 가상 환경 내에서 오브젝트를 컨트롤하는 방법을 수행하도록 하는 컴퓨터-사용가능 명령어를 저장하는 하나 이상의 컴퓨터-스토리지 매체에 관한 것이다. 방법은 가상 환경 내에서 오브젝트를 식별하는 단계를 포함한다. 오브젝트는 가상 환경 내의 가상 형태로 디지털화된 실제-세계 오브젝트일 수 있다. 오브젝트 골격은 오브젝트의 질량 중심(center of mass)을 식별하고 오브젝트의 질량 중심으로 오브젝트 골격의 중심을 적용함으로써 오브젝트에 매핑된다. 오브젝트는 오브젝트 골격의 하단이 오브젝트의 하단과 정렬되도록 오브젝트 골격의 크기에 대응하도록 크기가 조절된다. 그런 다음 사용자 골격이 수신되고 오브젝트 골격의 하나 이상의 관절 각도가 사용자 골격의 하나 이상의 관절 각도를 반영하도록 오브젝트 골격으로 매핑된다. 사용자의 움직임이 식별되고, 사용자의 움직임을 식별하는 것에 응답하여, 오브젝트의 움직임이 사용자의 움직임을 반영하도록 오브젝트를 이동시킨다.

본 발명의 실시예들에 대한 개요를 간략하게 기술하였으므로, 본 발명의 다양한 양상들을 위한 일반적인 맥락을 제공하기 위해 본 발명의 실시예들이 구현될 수 있는 예시적인 동작 환경이 아래에서 기술된다. 먼저 특히 도 1을 참조하면, 본 발명의 실시예들을 구현하기 위한 예시적인 동작 환경이 도시되며 전체적으로 컴퓨팅 장치(100)로 표시되어 있다. 컴퓨팅 장치(100)는 적절한 컴퓨팅 환경의 일 예에 불과하며 본 발명의 이용 범위나 기능에 대한 어떠한 제한을 암시하는 것으로 의도되지 않는다. 또한 컴퓨팅 장치(100)는 도시된 컴포넌트들의 임의의 하나의 조합 또는 조합들에 종속되거나 관련된 어떠한 요구조건을 가지는 것으로도 해석되지 않아야 한다.

본 발명은, 컴퓨터 또는, PDA(personal data assistant) 또는 그 외 다른 핸드헬드 장치와 같은, 그 외 다른 기계에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터-실행가능 명령어를 포함하여, 컴퓨터 코드 또는 기계-사용가능 명령어(instructions)의 일반적인 맥락으로 기술될 수 있다. 일반적으로, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 등을 포함하는 프로그램 모듈은 특정 태스크를 수행하거나 또는 특정한 추상적인 데이터 타입을 구현하는 코드를 지칭한다. 본 발명은 핸드헬드 장치, 소비자 전자제품, 범용 컴퓨터, 특수 목적의 컴퓨팅 장치 등을 포함하는, 다양한 시스템 구성으로 실시될 수 있다. 본 발명은 또한 태스크가 통신망을 통해 연결되어 있는 원격 프로세싱 장치들에 의해 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다.

도 1을 참조하면, 컴퓨팅 장치(100)는 다음 장치들, 즉 메모리(112), 하나 이상의 프로세서들(114), 하나 이상의 프레젠테이션 컴포넌트들(116), 입력/출력(I/O) 포트들(118), 입력/출력 컴포넌트들(120), 및 예시적인 전원 공급부(122)를 직접적으로 또는 간접적으로 연결하는 버스(110)를 포함한다. 버스(110)는 하나 이상의 버스들(어드레스 버스, 데이터 버스, 또는 이것들의 조합과 같은)일 수 있다. 비록 도 1의 여러 블록들은 명확하게 하기 위하여 선으로 도시되어 있으나, 실제로는 여러 컴포넌트들을 그렇게 명확하지 않으며, 비유적으로 말해서, 선들은 보다 회색이거나 흐릿한 것이 더 정확할 것이다. 예를 들어, 디스플레이 장치와 같은 프레젠테이션 컴포넌트를 I/O 컴포넌트라고 생각할 수 있다. 또한 프로세서들은 메모리를 가진다. 발명자들은 이러한 것이 기술의 본질이라는 것을 알고 있으며, 도 1의 도면은 단순히 본 발명의 하나 이상의 실시예들과 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치를 도시한 것에 불과하다는 점을 되풀이하여 지적한다. "워크스테이션", "서버", "랩탑", "핸드-헬드 장치" 등과 같은 카테고리들 사이에 구별은 없으며, 모두가 도 1의 범위 내에서 고려되며 "컴퓨팅 장치"로 참조된다.

컴퓨팅 장치(100)는 전형적으로 다양한 컴퓨터-판독가능 매체를 포함한다. 컴퓨터-판독가능 매체는 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며 휘발성 및 비휘발성 매체, 탈거가능 및 비-탈거가능 매체를 모두 포함한다. 예를 들어서 비제한적으로 말하자면, 컴퓨터-판독가능 매체는 컴퓨터 스토리지 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 스토리지 매체는 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 그 외 다른 데이터와 같은 정보의 저장을 위한 임의의 방법이나 기술에 의해 구현되는 휘발성 및 비휘발성, 탈거가능 및 비-탈거가능 매체를 모두 포함한다. 컴퓨터 스토리지 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 그 외 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 그 외 다른 광 디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 그 외 다른 자기 스토리지 장치, 또는 원하는 정보를 저장하기 위하여 사용될 수 있으며 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이것들로 제한되는 것은 아니다. 통신 매체는 전형적으로 반송파나 그 외 다른 전송 메커니즘과 같은 변조된 데이터 신호 형태로 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 그 외 다른 데이터를 구현하며 임의의 정보 전송 매체를 포함한다. 용어 "변조된 데이터 신호"는 그것의 특성들 중 하나 이상이 신호 내에 정보를 인코드하도록 설정되거나 변화된 신호를 의미한다. 예를 들어서 비제한적으로 말하자면, 통신 매체는 유선 네트워크 또는 직접-유선 연결과 같은 유선 매체, 및 음향, RF, 적외선 및 그 외 다른 무선 매체와 같은 무선 매체를 포함한다. 위의 것들 중 임의의 조합도 또한 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다.

메모리(112)는 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터-스토리지 매체를 포함한다. 메모리는 탈거가능, 비-탈거가능, 또는 이들의 조합일 수 있다. 예시적인 하드웨어 장치는 솔리드-스테이트 메모리, 하드 드라이브, 광-디스크 드라이브 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 I/O 컴포넌트들(120)와 같은 다양한 엔터티들로부터 데이터를 판독하는 하나 이상의 프로세서들을 포함한다. 프레젠테이션 컴포넌트(들)(116)는 사용자 또는 그 외 다른 장치들에게 데이터 표현을 프레젠트한다. 예시적인 프레젠테이션 컴포넌트들에는 디스플레이 장치, 스피커, 프린팅 컴포넌트, 진동 컴포넌트 등이 포함된다.

I/O 포트들(118)은 컴퓨팅 장치(100)가 논리적으로 I/O 컴포넌트들(120)을 포함하는 다른 장치들과 연결되도록 허용하며, I/O 컴포넌트들(120) 중 일부는 내장될 수 있다. 예시적인 컴포넌트들에는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 프린터, 무선 장치, 등이 포함된다.

앞서 지적한 바와 같이, 본 발명의 실시예들은 가상 환경에서 오브젝트를 컨트롤하는 것에 관한 것이다. 이제 도 2로 돌아가면, 본 발명의 실시예들이 채용될 수 있는 예시적인 컴퓨팅 시스템(200)을 도시하는 블록도가 제공된다. 이것 및 본 명세서에서 기술된 다른 배열들은 오직 예시로서만 제공된다는 점이 이해되어야 한다. 그 외 다른 배열들 및 요소들(예컨대, 머신, 인터페이스, 기능, 순서, 및 기능들의 그룹, 등등)이 도시된 것들에 추가하여 또는 대신하여 사용될 수 있고, 몇몇 요소들은 전적으로 생략될 수 있다. 더 나아가, 본 명세서에서 기술된 요소들 중 많은 요소들은 개별적인 또는 분산된 컴포넌트들로서 또는 다른 컴포넌트들과 함께, 및 임의의 적합한 조합 및 위치에서, 구현될 수 있는 기능적인 엔터티이다. 하나 이상의 엔터티들에 의해 수행되고 있는 바와 같은 본 명세서에서 기술된 다양한 기능들은 하드웨어, 펌웨어, 및/또는 소프트웨어에 의해 수행될 수 있다. 예컨대, 다양한 기능들은 메모리에 저장되어 있는 명령어를 실행하는 프로세서에 의해 수행될 수 있다.

도시되지 않은 다른 컴포넌트들 중에서, 컴퓨팅 시스템(200)은 일반적으로 네트워크(210), 데이터 스토어(220), 및 컨트롤링 엔진(230)을 포함한다. 컨트롤링 엔진(230)은 아래에서 기술되는 기능들을 수행하기 위한 전용 장치의 형태를 취할 수 있고, 예컨대, 네트워크 액세스 장치, 게임 시스템 등, 또는 이들의 임의의 조합 내에 통합될 수 있다. 컴퓨팅 시스템(200)의 컴포넌트들은 네트워크(210)를 경유하여 상호 소통할 수 있으며, 네트워크(210)는 하나 이상의 근거리망(LAN)들 및/또는 광대역망(WAN)들을 비제한적으로 포함할 수 있다. 이러한 네트워킹 환경은 사무소, 기업-범위 컴퓨터망, 인트라넷 및 인터넷에서 흔하다. 본 발명의 실시예들의 범위 내에서 임의의 개수의 컴퓨팅 장치들 및 컨트롤링 엔진들이 컴퓨팅 시스템(200) 내에서 채용될 수 있다는 점이 이해되어야만 한다. 각각은 하나의 단일 장치/인터페이스 또는 분산 한경에서 협력하는 다수의 장치들/인터페이스들을 포함할 수 있다. 예를 들어, 컨트롤링 엔진(230)은 본 명세서에서 기술된 컨트롤링 엔진(230)의 기능을 집합적으로 제공하는 분산 환경 내에서 배열된 다수의 장치들 및/또는 모듈들을 포함할 수 있다. 덧붙여서, 미도시된 그 외 다른 컴포넌트들/모듈들도 또한 컴퓨팅 시스템(200) 내에 포함될 수 있다.

몇몇 실시예들에서, 하나 이상의 도시된 컴포넌트들/모듈들이 스탠드-얼론 애플리케이션으로서 구현될 수 있다. 다른 실시예들에서, 하나 이상의 도시된 컴포넌트들/모듈들은 인터넷-기반 서비스로서, 또는 게임 시스템 내의 한 모듈로서, 컨트롤링 엔진(230)을 통해 구현될 수 있다. 도 2에 도시된 컴포넌트들/모듈들은 본성에 있어서 개수에 있어서 예시적이며 제한으로서 간주되지 않아야 한다는 점이 해당 기술 분야에서 통상의 지식을 가진 자라면 이해될 것이다. 본 명세서의 실시예들의 범위 내에서 원하는 기능을 성취하기 위하여 임의의 수의 컴포넌트들/모듈들이 채용될 수 있다. 더 나아가, 컴포넌트들/모듈들은 임의의 수의 서버들 또는 클라이언트 컴퓨팅 장치들 상에 위치될 수 있다. 오직 예시로서 말하자면, 컨트롤링 엔진(230)은 게임 시스템, 서버, 서버들의 클러스터, 또는 하나 이상의 나머지 컴포넌트들로부터 원격의 컴퓨터 장치 내에 상주할 수도 있다.

이것 및 본 명세서에서 기술된 그 외 다른 배열들은 오직 예시로서 제공된다는 점이 이해되어야 한다. 그 외 다른 배열들 및 요소들(예컨대, 머신들, 인터페이스들, 기능들, 순서들, 및 기능들의 집합 등)이 도시된 것에 추가하여 또는 대신에 사용될 수 있고, 몇몇 요소들은 전적으로 생략될 수 있다. 더 나아가, 본 명세서에서 기술된 요소들 중 많은 요소들은 개별적인 또는 분산된 컴포넌트로서 또는 그 외 다른 컴포넌트들/모듈들과 함께, 및 임의의 적절한 조합 및 위치에서 구현될 수 있는 기능적인 엔터티들이다. 하나 이상의 엔터티들에 의해 수행되는 것으로서 본 명세서에서 기술된 다양한 기능들은 하드웨어, 펌웨어, 및/또는 소프트웨어에 의해 수행될 수 있다. 예를 들어, 다양한 기능들은 메모리에 저장된 명령어를 실행하는 프로세서에 의해 수행될 수 있다.

일반적으로, 시스템(200)은 가상 환경 내의 오브젝트들이 실제-세계 사용자에 의해 컨트롤되는 환경을 도시한다. 아래에서 더 상세히 기술될 것과 같이, 본 발명의 실시예들은 디지털화된 오브젝트 수신 및 오브젝트로 골격 매핑을 제공한다. 본 발명의 추가적인 실시예들은 사용자가 가상 환경 내의 오브젝트를 컨트롤하도록 오브젝트에 사용자 골격을 매핑하는 것을 제공한다.

컨트롤링 엔진(230)은 오브젝트들이 사용자에 의해 컨트롤될 수 있도록 가상 환경 내의 오브젝트들을 관리하도록 구성된다. 가상 환경 내의 오브젝트들은 애완동물, 동물 인형, 의자 등과 같은 임의의 사람이 아닌 오브젝트일 수 있다. 컨트롤링 엔진(230)은 수신 컴포넌트(231), 식별 컴포넌트(232), 매핑 컴포넌트(233), 및 디스플레이 컴포넌트(234)를 포함한다. 각각의 컴포넌트는 컨트롤링 엔진(230)이 사용자로 하여금 가상 환경 내의 오브젝트를 컨트롤하는 것을 용이하게 하도록 구성된다.

수신 컴포넌트(231)는 무엇보다도 디지털화된 오브젝트를 수신하도록 구성될 수 있다. 일 실시예에서, 오브젝트는 실제-세계 오브젝트이다. 실시예들에서, 오브젝트들은 임의의 사람이 아닌, 실제-세계 오브젝트이다. 본 명세서에서 사용된 바와 같은 디지털화(digitization)는 일반적으로 시스템(200)으로 제공된 실제-세계 오브젝트를 식별하고 실제-세계 오브젝트를 가상 오브젝트로 처리하는 프로세스를 지칭한다.

도 3은 일 실시예에 따른, 사용자(304)가 오브젝트(306)의 디지털 표현을 생성하도록 하는 환경(300)의 도면이다. 특히, 환경(300)은 사용자(304)가 문어 인형으로 예시되어 있는 오브젝트(306)를 컴퓨팅 장치(302)에게 프레젠트하는 것을 보여주는데, 컴퓨팅 장치(302)에는 2개의 카메라, 즉 컬러 카메라(308) 및 깊이 카메라(depth camera)(310)가 구비되어 있다. 환경(300)에서, 컴퓨팅 장치(302)는 Microsoft Corporation®에 의해 제작된 Microsoft Kinect^TM과 같은 게임 콘솔이다. 컴퓨팅 장치(302) 상의 카메라들은 오브젝트(306)를 포함하는 하나 이상의 이미지를 캡쳐한다. 컬러 카메라(308)는 이미지를 위하 컬러 데이터를 캡쳐하고, 깊이 카메라(310)는 깊이 데이터(depth data)를 캡쳐한다. 대안적인 실시예들에서, 컴퓨팅 장치(302)는 컬러 및 깊이 데이터 양자 모두를 캡쳐하는 오직 하나의 카메라만을 가질 수 있다.

비록 도시되어 있지는 않지만, 사용자(304)는 정면 이미지와 결합되어 오브젝트(306)의 3D 영상을 생성하기 위해 사용될 수 있는 후면의 이미지를 캡쳐하기 위해 오브젝트(306)의 후면을 컴퓨팅 장치로 프레젠트할 수 있다. 또한 더 완전한 3D 디지털화를 생성하기 위해 오브젝트의 그 외 다른 뷰들의 추가적인 이미지들도 캡쳐될 수 있다.

도 4는 일 실시예에 따른, 오브젝트를 디지털화하는 동작 흐름도(400)이다. 먼저, 402에서 도시된 바와 같이, 사용자는 이미지가 촬영되도록 하기 위해 컴퓨팅 장치 상의 카메라에게 오브젝트를 프레젠트한다. 몇몇 실시예들에서, 컴퓨팅 장치는 - 예컨대 디스플레이 상에서 사용자의 실-시간 이미지를 보여주는 윤곽선을 제공하고 그런 다음 윤곽선 안으로 오브젝트를 이동시키도록 지시하여 - 이미지의 최적 이미지를 캡쳐하기 위해 특정 영역 안으로 오브젝트를 이동시키도록 사용자에게 지시할 수 있다. 일단 초기 이미지가 취해지면, 컴퓨팅 장치는 사용자에게 404에서 도시된 바와 같이 캡쳐를 위해 오브젝트의 후면을 프레젠트하도록 지시할 수 있다. 후면을 캡쳐하기 위한 안내는 컴퓨팅 장치에 의해 유사하게 제공될 수 있다. 각각의 캡쳐된 이미지에 있어서, 컬러 및 깊이 데이터가 저장되고 프레젠트된 오브젝트를 디지털화하기 위하여 사용된다. 더 나아가, 다수의 이미지들이 오브젝트의 정면 및 후면 관점에서 캡쳐될 수 있다. 예를 들어, 컴퓨팅 장치는 10개의 정면 이미지와 10개의 후면 이미지를 취하고, 정면 10개를 합치고 후면 10개를 합치거나 - 또는 이미지를 디지털화하기 위하여 20개 모두를 사용할 수 있도록 구성될 수 있다. 비록 10개의 이미지가 하나의 오브젝트를 디지털화하기 위하여 이상적인 이미지 개수로서 설명되지만, 그 외 다른 실시예들은 다른 수의 캡쳐된 이미지들을 사용할 수 있다.

일단 오브젝트의 정면 및 후면 이미지들이 카메라에 의해 캡쳐되면, 일 실시예는 406에서 도시된 바와 같이, 카메라에 대해 이미지 내에서 가장 가까운 포인트를 탐색 - 이미지의 깊이 데이터를 이용하여 - 함으로써 디지털화를 시작한다. 사용자는 아마도 사용자 앞에 디지털화될 오브젝트를 잡고 있고, 따라서 오브젝트는 카메라에 대해 다른 것들보다 더 가까울 것이다. 도 3으로 되돌아가면, 사용자(304)가 오브젝트(306)를 사용자 앞에 잡고 있으며 따라서 컴퓨팅 장치(302)에 더 가깝다는 것을 알 수 있다. 이미지 내에서 가장 가까운 오브젝트의 발견은 이미지와 연관되어 있는 깊이 데이터를 사용하여 성취될 수 있으며, 몇몇 실시예들은 양자 모두에서 가장 가까운 오브젝트를 식별하기 위해 정면 및 후면 이미지들 양자 모두에 대해 이 프로세스를 수행한다.

408에서 나타난 바와 같이, 이미지 내에서 식별된 가장 가까운 오브젝트는 이후 그 오브젝트가 종료되는 위치를 식별하기 위해 에지(edge)들이 탐색된다. 이미지 내에서 오브젝트의 에지들을 발견하기 위하여 깊이 데이터가 다시 사용된다. 에지 탐색은 가장 가까운 포인트로부터 바깥쪽으로, 포인트들의 깊이에서 급격한 차이를 찾음으로써 이루어질 수 있다. 예를 들어, 도 3의 문어의 에지는 사용자(304)의 어깨를 나타내는 인접 포인트보다 약 반 미터 더 가까운 포인트를 가질 수 있다. 그러한 급격한 차이는 인접 포인트가 오브젝트의 일부가 아니며 따라서 추가 디지털화 단계들에서 포함되지 않아야 한다는 판독가능한 신호를 나타낸다. 이러한 방식으로 오브젝트의 모든 에지들을 발견함으로써 컴퓨팅 장치는 이미지 내에서 오브젝트를 식별할 수 있다.

일단 오브젝트가 결정되면, 일 실시예는 이미지의 나머지(즉, 오브젝트로서 식별되지 아니한 이미지 부분)와 연관되어 있는 컬러 데이터를 스위치 오프(switch off)시킨다. 몇몇 실시예들에서 다수의 이미지(예컨대, 오브젝트의 정면에서 10개의 이미지 및 오브젝트의 후면에서 10개의 이미지)를 캡쳐하는 것이 필요할 수 있고, 따라서 410에서 도시된 바와 같이 프레임들 사이에서 발견된 에지들을 혼합하기 위하여 스무딩 기법(smoothing technique)이 요구될 수 있다. 예를 들어, 오브젝트는 프레임 1 및 프레임 4 사이에서 이동될 수 있고 프레임들 사이에서 에지들을 스무딩하는 것이 오브젝트의 정확한 표현을 얻기 위해 필요할 수 있다. 덧붙여서, 깊이-대-컬러 조정(registration)에서의 노이즈, 저해상도, 및 결함도 또한 에지들의 추가적인 스무딩 및/또는 필터링을 필요로 할 수 있다.

일 실시예에서, 최종 스무딩된 및/또는 필터링된 오브젝트는, 412에서 도시된 바와 같이, 확인을 위해 사용자에게 프레젠트된다. 사용자는 최종 오브젝트를 수용하거나 거절할 수 있다. 만약 수용되면, 오브젝트를 디지털화하기 위하여 추가적인 프로세싱이 진행될 수 있다. 만약 거절되면, 실시예들은 사용자에게 오브젝트의 새로운 영상을 취함으로써 프로세스를 시작할 것인지 질문할 수 있거나 또는 단순히 오브젝트를 재-스무딩 또는 재-필터링할 수 있다.

결과적으로, 정면 및 후면 이미지들은 3D 형태로 오브젝트의 포인트 클라우드 구조물(point cloud construction)을 생성하기 위해 사용된다. 도 12에서 상세히 도시된 "포인트 클라우드 구조물"은, 식별된 오브젝트의 각각의 포인트 또는 픽셀의 깊이를 사용한, 3D 공간 안으로 오브젝트의 정면 및/또는 후면 이미지의 매핑이다. 포인트 클라우드 구조물은 오브젝트의 추가 디지털화에서 사용된다.

도 5 내지 도 27은 디지털화 프로세스에서 다양한 단계들의 이미지들을 보여주며 상이한 실시예들에 의해 사용되는 프로세싱을 도시하기 위하여 아래에서 더 상세히 논의될 것이다. 특히, 도 5(a) 및 도 5(b)는 일 실시예에 따른 디지털화를 위해 오브젝트를 프레젠트하고 있는 사용자의 카메라-뷰 관점의 도면이다. 도시된 실시예에서, 오브젝트의 2개의 뷰가 캡쳐된다. 컬러 카메라는 타겟 오브젝트 주위에서 640X480 컬러 윈도우를 얻기 위하여 프레임의 중심으로 줌인(zoom in)되고, 그러면 컬러 윈도우의 코너들은 깊이 프레임 좌표로 변형된다(코너들이 타겟 오브젝트의 정면에 있다고 가정한다). 그런 다음 매칭하는 160X120 윈도우가 깊이 프레임으로부터 획득된다. 이러한 프레임 단위의 윈도우 조정(카메라에 대한 타겟 오브젝트의 거리에 의존하여)이 없다면, 깊이 및 컬러 윈도우들은 가능한 한 완전히 오버랩되지 않을 수 있다. 더 나아가, 로우(raw) 컬러 및 깊이는 깊이-대-컬러 또는 컬러-대-깊이 조정의 수행없이 캡쳐된다. 해상도 수치 및 윈도우는 단지 예시적인 목적으로 제공되는 것이며, 따라서 다양한 그 외 다른 해상도들이 대안적으로 사용될 수 있다.

일 실시예에서, 깊이 이미지는 타켓 오브젝트로 세크먼트화된다. 이렇게 하기 위하여, 카메라에 대해 가장 가까운 깊이 픽셀이 탐색되고, 이러한 포인트가 타겟 오브젝트 상에 있다고 가정한다면, 발견된다. 그런 다음 이 실시예는 깊이 에지들(즉, 깊이가 오브젝트의 정면에서 너무 멀리 떨어져 있는 위치 또는 아무런 깊이 데이터가 없는 위치)이 마주칠 때까지 발견된 가장 가까운 포인트로부터 바깥쪽으로 플러드-필(flood-fill)한다. 덧붙여서, 급한 경사 영역 주위 및 너무나 적은 이웃들을 가진 포인트들은 제거될 수 있다. 그 결과는, 도 6에 도시된 바와 같이, 타겟 오브젝트 상에 있는 깊이 픽셀들의 마스크(본 명세서에서 "세크먼트화된 깊이 이미지"로서 지칭되는)이다. 세그먼트화된 깊이 이미지는 깊이 프레임들의 링 버퍼(10의 링 버퍼 크기를 가진 BAB/GOE 운반되어)내에 저장되어, 가장 오래된 깊이 프레임을 덮어쓰고 최종 깊이 이미지를 획득하기 위하여 모든 프레임들과 함께 평균화된다. 일 실시예에서, 오직 세그먼트화된 깊이 픽셀들이 최종 평균에 기여한다. 결과적으로, 노이즈는 스무딩되고, 더 안정한 오브젝트 에지로 귀결되며, 오브젝트의 부분들이 노이즈 또는 열악한 IR 반사 물질에 기인하여 세그먼트화 되었다 안되었다 하는 시나리오를 향상시킨다.

도 7은 일 실시예에 따른, 깊이-대-컬러(depth-to-color) 오프셋의 도면이다. 도시된 바와 같이, 일 실시예는 녹색 포인트들을 나타내는 녹색 컬러들(우측 코너에서 보여지는), 붉은 색 컬러들(좌측 아래 코너에서 보여지는), 및 그 사이에서 이 둘을 혼합한 것을 가진 깊이-대-컬러 오프셋 테이블을 구축한다. 각각의 픽셀의 깊이 및 컬러 공간 좌표들 사이의 오프셋들은 컬러 세그먼테이션 및 메쉬 프로세싱 동안에 신속한 룩업을 위해, 뿐만 아니라, 특정 카메라의 눈금 조절 설정치와 상관없이, 오직 2개의 캡쳐된 컬러 이미지들 사용하여 출력 메쉬를 완전한 재생을 돕기 위해 테이블 내에 저장된다. 테이블 외측 영역에서 오브젝트 세그먼테이션은 세그먼테이션의 에지에서 바깥쪽으로 오프셋들을 복사함으로써 채워질 수 있다. 에지에서 복사된 오프셋은, 깊이 이미지 내에 투사된 출력 메쉬 내의 정점들이 깊이 세그먼테이션의 경계 바깥에 떨어지는 경우를 다루기 위하여, 나중에 사용될 수 있다.

도 8은 소스 컬러 이미지의 도면이고, 도 9는 일 실시예에 따른, 캡쳐된 오브젝트의 컬러 세그먼테이션의 도면이다. 깊이 공간 내의 세그먼테이션으로 시작하면, 일 실시예는 별-형태의 스플렛(splat) 패턴을 사용하여, 320X240 컬러 세그먼테이션 버퍼 안으로 각각의 세그먼트화된 깊이 픽셀을 스플렛한다. 그러면 결과적인 패턴은 640X480으로 "업-샘플링된"되고, 각각의 세그먼트화된 컬러 픽셀에 대해 소스 깊이 픽셀이 "이상적인" 거리로부터 얼마나 멀리 있는지를 기술하는 "이상으로부터의 거리(distance-from-ideal)" 값이 계산된다. 이상적인 거리는 깊이 카메라의 전면 클립 면을 가로지르지 않고 가능한 한 많은 컬러/깊이 데이터를 획득하기 위하여 카메라에 대해 얼마나 가까이 사용자가 타겟 오브젝트를 잡고 있어야 하는지를 나타낸다. 이들 값은 캡쳐 프로세스 동안에 사용자에게 피드백으로서 프레젠트될 수 있다. 이상적인 것으로부터 떨어져 있는 픽셀들은 이상적인 것에 더 가까운 픽셀들보다 더 심하게 틴트되거나 블러링될 수 있다. 이상으로부터의 거리 값들은 결과적으로 실시간 프리뷰를 위해 사용되는 컬러 이미지의 알파 채널 안으로 복사된다.

도 10 및 도 11은 일 실시예에 따른, 디지털화될 오브젝트를 잡고 있는 것에 대한 안내를 제공하는 사용자 인터페이스(UI)의 도면들이다. 도 10은 도시된 실시예가 세그먼트화된 픽셀들의 개수, 카메라까지의 거리, 카메라 뷰의 중심으로부터의 거리, 픽셀 안정성, 및 오브젝트 크기를 분석하고, 사용자에게 얼마나 오브젝트의 가장 좋은 위치인가에 대하여 시각적인 피드백 및 텍스트 피드백을 제공한다는 것을 보여준다. 피드백은 스크린 상에서 윤곽선의 형태일 수 있다. 도 11은 위와 동일한 프로세스를 사용하여 타겟 오브젝트의 후면의 이미지의 컬러 및 깊이 데이터를 보여준다. 일 실시예는 세그먼트화된 정면 캡쳐의 윤곽선을 사용하여 정확하게 오브젝트를 배향하도록 사용자를 안내한다. 사용자는 정면 및 후면 캡쳐들이 나중에 자동으로 정렬될 수 있기 때문에 정밀하게 윤곽선을 매칭시킬 필요는 없다.

도 12는 일 실시예에 따른, 포인트 클라우드 구조물을 보여준다. 이 지점에서, 2개의 컬러 및 깊이 이미지들이 타겟 오브젝트에 대해 세그먼트화되었다. 이들 이미지를 사용하여, 타겟 오브젝트의 표면 상에서 포인트들의 포인트 클라우드 구조물이 구축되고 나중에 트라이앵글 메쉬(triangle mesh)를 재구축하기 위하여 사용될 수 있다. 정면 이미지 내의 세그먼트화된 픽셀들은 3D 포인트들의 "시트(sheet)"로 변환된다. 일 실시예에서, 위치들은 깊이 데이터 및 시트의 후면-중심에 있는 원점을 이용하여 깊이 이미지 공간으로부터 모델 공간으로 상향-투영(up-project)된다. 시트의 에지들은 오브젝트의 면들을 형성하도록 추가적인 포인트들을 추가함으로써 후면 방향으로 돌출된다. 오브젝트가 얼마나 "깊은지"를 추정하기 위하여, BAB/GOE에서, 돌출 거리에 대한 고정 값이 사용될 수 있다.

유사하게, 후면 이미지로부터의 3D 포인트들로 이루어진 시트는, 정면 캡쳐의 후면 중심을 원점으로 이용하여 생성된다. 도 13은 일 실시예에 따른, 정렬된 포인트 시트들의 2개의 뷰를 도시한다. 시트들을 정렬하기 위하여, 이 시트를 상향 축(up axis)을 중심으로 180도 회전시켜 그것이 포인트 클라우드의 후면을 형성할 수 있도록 하기 위한 초기 변환이 계산된다. 일 실시예에서, 정면 시트와 후면 시트의 에지들을 가능한 한 가까이 정렬하는 다른 하나의 변환이 계산된다. 정렬 프로세스는 후면 시트의 질량 중심을 정면 시트의 질량 중심과 매칭되도록 하기 위해 후면 시트를 이동시킬 수 있다. 그런 다음, 각각의 정면 에지 포인트로부터 그것의 가장 가까운 후면 에지 포인트까지 거리들의 합계로서 계산되는, "정렬 에러" 값을 최소화하기 위하여 이동 및 회전 범위에 대해 억지 반복(brute-force iterate)이 사용된다. 반복은 다수의 패스(pass)(각각의 패스는 한번에 하나씩 각각의 이동 및 회전 축에 대해 가장 좋은 값을 계산하려고 시도한다)들 안에서 행해질 수 있다. 가장 가까운-포인트-찾기(closest-point-finding)는 3D 셀 공간 파티션을 사용하여 가속된다. 일 실시예는 또한 패스트 파인-그레인드(fast fine-grained) 정렬을 위해 반복적인 가장 가까운 포인트(ICP, iterative closest point) 알고리즘을 구현하거나, 또는 대안적으로, 더 나은 컨트롤에 대한 요구로 인해 반복적인 억지 방법만 사용할 수도 있다.

후면 시트 내에 대응하는 포인트를 가지지 않는 정면 시트의 포인트는 가장 가까운 후면 포인트를 발견하기 위하여 각각의 정면 포인트로부터 후면 방향으로 탐색하도록 선별될 수 있다. 유사하게, 정면 시트 내에서 대응하는 포인트를 가지지 아니하는 후면 시트의 포인트가 선별될 수 있다. 이것은 정면 캡처와 후면 캡쳐 사이에서 불일치하는 시트 부분을 제거하는데, 이 경우는 만약 사용자의 손이 캡쳐 내에 존재하지만 캡쳐들 사이에서 위치를 변경한 경우에, 또는 오브젝트가 정면 및 후면 캡쳐 사이에서 형태가 변화된 경우에 발생할 수 있다.

일 실시예에서, 나머지 포인트들은 최종 포인트 클라우드에 함께 병합되며 각각의 포인트 및 그것의 우측 및 하부의 이웃들에 의해 형성되는 평면을 이용하여 포인트들의 평균(normal)이 계산된다. 도 14는 일 실시예에 따른, 최종 포인트 클라우드 구조물을 보여준다.

도 15에서 도시된 바와 같이, 이후 확인 이미지가 사용자에게 프레젠트될 수 있다. 확인 이미지는 시트 정렬 및 포인트 선별의 결과를 포함하며, 사용자로 하여금 캡쳐, 정렬, 또는 선별이 형편없이 실패한 경우를 검출할 수 있게 하며 구성 프로세스의 나머지를 진행하지 않고 재-캡쳐하도록 허용한다. 이미지는 최종 포인트 클라우드 내의 포인트들을 정면 및 후면 컬러 이미지의 알파 채널 안으로 투사하고 스플렛팅하고, 정렬 변환에 기초하여 후면 이미지를 회전시키며, 또한 몇몇 추가적인 이미지 클린업을 수행함으로써 생성된다.

표면 재구성 단계는 최종 포인트 클라우드를 취하고 트라이앵글 매쉬를 생성한다. 도 16은 표면 재구성을 이용한 메쉬 출력의 도면이다. 이것은 몇몇 실시예들에서 대략 20,000 포인트를 가지는 전형적인 포인트 클라우드 데이터에 대해 10-20 초가 걸리는, 메모리 및 시간 양자 모두에 있어 디지털화의 가장 집중적인 계산이 필요한 부분일 수 있다. 구멍-메우기(hole-filling)의 양은 메모리 사용량의 제어를 유지하기 위해 재구성 동안에 제한될 수 있지만, 그러나 이러한 제한은 만약 포인트 클라우드 내에 큰 구멍들이 존재한다면 논-워터-타이트(non-water-tight) 메쉬로 귀결될 수 있다.

도 17은 일 실시예에 따른 오브젝트의 스무딩되고 처리된 이미지의 도면이다. 정점 인접성 리스트가 구축되고 면과 정점 평균이 계산된다. 그런 다음, 일 실시예는 몇몇 구속조건을 스무딩하기 위하여 라플라시안 알고리즘을 사용한다. 그 결과, 오브젝트의 측면들은 다듬어지고, 노이즈가 제거되며, 포인트 시트가 정렬되어 있지 않던 영역들이 정렬된다.

포인트 클라우드의 품질에 의존하여, 표면 재구성은 단일의 큰 메쉬 대신에 기하학적인 작은 "섬들(islands)"을 생성할 수 있다. 일 실시예는 섬들을 발견하고, 그것들의 부피를 계산하고, 가장 큰 섬보다 너무 작은 섬들을 제거하기 위해 연결된 컴포넌트 라벨링을 사용한다.

각각의 정점에 대하여, 일 실시예는 정점의 평균 및 정면 캡쳐 및 후면 캡쳐 뷰 방향 사이의 도트 곱(dot product)을 검사한다. 정면 뷰 방향은 모델-공간의 음의 Z축을 따를 수 있는 반면에 후면 뷰 방향은 시트 정렬 프로세스의 결과에 의존할 수 있으며 양의 Z축을 따르지 않을 수 있다. 결과적으로, 몇몇 정점들은 정면 및 후면 캡쳐 뷰 내에서 가시적일 수 있고, 몇몇 정점들은 두 뷰 모두에서 가시적이지 않을 수 있다. 몇몇 정점들은 이들의 법선이 후면보다 정면과 대향하고 있다면 "정면"으로 분류될 수 있고, 그 역도 마찬가지이다. 이것은 또한 "심(seam)" 정점(즉, 오브젝트의 정면 뷰 및 후면 뷰에 걸쳐있는 정점들)의 발견을 허용한다.

최종 메쉬 상에 적용할 텍스처 맵을 생성하기 위하여, 일 실시예는 텍스처의 상부에 정면 캡쳐로부터의 컬러 이미지를 배치하고 정면 캡쳐의 바로 하부에 후면 캡쳐로부터의 컬러 이미지를 배치한다. 텍스처의 상부로부터의 텍셀(texel)들은 일차 정면-대향 트라이앵글 상으로 매핑되고 일차 후면-대향 트라이앵글에 대해서는 그 역이다. 정점들은 초기에 정면-후면 심를 따라 정면 및 후면 트라이앵글 사이에서 공유될 수 있고, 이후, 이들 공유된 정점들은 정면 대 후면 트라이앵글들에 텍스처의 상이한 부분들을 매핑할 수 있도록 복제될 수 있다.

도 18은 UV 좌표들을 가진 이미지의 도면을 도시하고, 도 19는 일 실시예에 따른 최종 텍스처 맵의 한 섹션으로 그려진 정면-대향 트라이앵글 에지의 도면을 도시한다. UV 좌표들을 계산하기 위하여, 정면-대향 트라이앵글들은 정면 캡쳐 컬러 이미지가 배치되어 있는 텍스처의 상부로 매핑되며, 하부에 대하여도 마찬가지이다. 정점 위치들은 깊이 카메라의 공간 내에 있으며; 반면, 컬러 이미지들은 컬러 카메라의 공간 내에 있고, 따라서 정면/후면 깊이 이미지들 상으로 정점들을 투사한 이후, 일 실시예는 좌표를 컬러 카메라 공간으로 변환시키기 위해 깊이-대-컬러 오프셋 테이블을 사용한다.

일 실시예에서, 메쉬는 재-센터링되고, 상향 축 주위로 미러링되고 최대 폭/높이 종횡비를 강제하기 위해 스케일링된다. 캡쳐된 컬러 및 깊이 이미지들은 실제 물리적인 오브젝트와 비교하여 미러링되고, 따라서 다른 하나의 미러링이 이것을 역전시키기 위해 사용된다. 골격(skeleton)은 최적화될 수 있고 애니메이션은 더 넓은 오브젝트보다는 더 큰 오브젝트를 위해 추가될 수 있으며, 따라서 폭/높이 종횡비 구속조건은 특정 골격과 매칭되지 아니하는 넓은 오브젝트를 애니메이팅함으로써 야기되는 결함을 속박한다.

일 실시예에서, 하나의 단일 골격이 오브젝트의 모든 애니메이션들에 대해 사용된다. 골격은 타겟 오브젝트가 더 많은 형태를 가지는 것을 요구함이 없이 양호한 범위의 움직임(걷기, 뛰기, 기기, 춤추기, 좌우 보기 등)들을 제공하는 뼈들을 가질 수 있다.

디지털화된 이미지에 피부를 적용하기 위하여, 메쉬는 골격이 그 안에 맞추어지도록 재스케일링되고, 상부 뼈가 오브젝트의 상단으로부터 특정 퍼센트(예컨대, 대략 90%)에 위치되도록 하고(대략적으로 오브젝트의 "머리" 안에 배치하는) 하부 ㅃs는 오브젝트의 하단 부분에 위치되도록 한다. 그런 다음 상향 축을 따라 각각의 정점에 대해 가장 가까운 뼈들을 발견하고 폴오프(falloff) 곡선을 사용하여 그것들에 가중치를 부여함으로써 뼈 지수(bone indices)가 계산될 수 있고 골격에 가중치가 추가될 수 있다. 도 20(a) 내지 도 20(e)는 일 실시예에 따른, 생성된 골격 구조의 상이한 뼈들에 추가된 가중치를 도시하는 도면들이다. 오브젝트에 대한 골격 적용이 아래에서 상세히 논의된다.

컬러 및/또는 깊이 이미지들은 노이즈를 감소시키고 품질을 향상시키기 위해 프로세싱될 수 있다. 일 실시예에 따른 프로세싱은 정면 이미지 및 후면 이미지에 대해 독립적으로 수행되고, 그 결과들은 하나의 최종 텍스처 맵으로 통합되는데, 이 최종 텍스처 맵은 추가 프로세싱이 요구될 수 있다. 몇몇 실험과 아티스트로부터의 피드백 이후, 다음의 단계들이 최적이라는 점이 발견되었다, 즉: sRGB 컬러들을 선형 공간으로 변환하고, "그레이-세계"에 오토-화이트 밸런스를 적용하고, 에지 결함을 복구하고, 루마 및 크로마 값들을 계산하고, 쌍방 필터링을 적용하고, 히스토그램 균등화, 및 루마에 대해 샤프닝, 크로마에 대해 중간 필터링을 적용하고, sRGB로 다시 변환하고, 마지막으로, 이미지의 디-세그먼트된 영역들로 컬러들의 에지들을 외부로 연장한다. 상이한 실시예들에서 그 외 다른 단계들이 추가될 수 있고 위의 몇몇 단계들이 삭제될 수 있다.

도 21(a) 및 도 21(b)는 일 실시예에 따른 루마/크로마 프로세싱 전 및 후의 이미지를 보여준다. 루마/크로마를 독립적으로 프로세싱하는 것은 루마 이미지 내에서 디테일을 보존하는 한편으로 크로마를 훨씬 더 강하게 필터링하는 것을 허용하는데, 이것은 이미지에서 노이즈를 제거하는데 좋다. 히스토그램 균등화는 열악하게 노출된 이미지들을 보상하기 위하여 매우 가볍게 적용될 수 있다.

도 22(a) 및 도 22(b)는 일 실시예에 따른 에지들이 필터링된 이후 소스 및 출력 이미지들을 보여준다. 일 실시예에서, "에지 복구 필터"는 실질적으로 배경으로부터 유래되고 오브젝트 그 자체가 아닌 타겟 오브젝트의 에지들에서 컬러들을 대체하려고 시도한다. 상대적으로 낮은 해상도 및 깊이 이미지의 높은 노이즈 및 불완전한 깊이-대-컬러 조정에 기인하여 불량 컬러들이 발생될 수 있다. 에지 복구 필터는 오브젝트 에지 바로 주위에서 픽셀들의 "문제되는 영역"에 대해 동작한다. 문제되는 영역에 대해 내부의 픽셀들은 확실하게 타겟 오브젝트의 일부이고 먼 외부에 있는 픽셀들은 배경의 일부라는 가정을 이용하여, 문제되는 영역 픽셀 마다 "배경 가능성" 값이 계산되고 높은 가능성의 배경 픽셀들을 내부 컬러들로 블렌딩하는데 사용된다.

도 23(a) 및 도 23(b)는 일 실시예에 따른 에지 복구 필터가 타겟 컬러들인 배경 컬러들을 복원하는 경우의 이미지들을 보여준다. 타겟 컬러들은 외부로부터 문제되는 영역 안으로 외삽된다.

도 24(a) 및 도 24(b)는 일 실시예에 따른 에지로부터 문제되는 영역까지의 거리 및 계산된 배경 가능성 값들을 보여주는 이미지들이다. 더 나아가, 도 25는 일 실시예에 따른 비 최종적인 이미지 위에 텍스처가 입혀진 이미지의 최종 합성 텍스처 맵을 보여준다.

정면 이미지 및 후면 이미지를 함께 배치하는 것으로부터 귀결되는 심는 복구될 필요가 있을 수 있다. 메쉬 프로세싱의 최후 비트는 정면-후면 심 근처의 외관 및 캡쳐링 동안에 컬러 카메라에 대해 비가시적이었던 영역들의 외관을 향상시키기 위해 사용된다. 먼저, 정점 마다 해당 정점에서 텍스처 컬러가 얼마나 "불량"일지를 나타내는 마스크 값이 계산된다. 이 값은 임의의 캡쳐된 이미지들에 대해 얼마나 후면-대향되어 있는지(표면이 카메라의 뷰로부터 멀리 향하는 것 및 또한 열악한 텍셀 밀도에 기인하여 텍스처 컬러가 손상되어 있는 위치)와 정점이 심(정면 이미지와 후면 이미지가 접촉하지만 전체적으로 양호하게 라인업되어 있지 아니한 곳)까지 거리의 곱이다. 이들 값은 정점 컬러 알파 채널 내에 저장될 수 있다. 그 다음에, 표면 컬러의 블러링된 버전이 계산되고 정점 컬러 RGB 채널 안으로 저장된다. 이들 컬러는 품질면에서(비록 세부적으로는 낮지만) 상당히 양호하다. 복구가 필요한 네거티브 결함은 상대적으로 로컬화되어 있으며 더 높은 주파수를 가지는데 비해, 블러링(blurring)은 더 전체적인, 낮은-주파수의 컬러를 제공한다.

도 26(a) 및 도 26(b)는 일 실시예에 따른 마스크된 값 및 심하게 블러링된 정점 컬러들을 보여준다. 일 실시예에서, 동작시, 마스크 값은 소스 텍스처와 블러링된 정점 컬러 사이 블렌딩을 위하여 사용된다. 도 27(a) 및 도 27(b)는, 일 실시예에 따른, 텍스처만 가진 메쉬(도 27(a)) 및 마스크 값에 의한 정점 컬러 블렌딩을 수행한 텍스처를 가진 메쉬(도 27(b))의 상이한 메쉬들을 보여준다.

도 28은 일 실시예에 따른, 디지털화된 오브젝트의 최종 렌더링을 보여준다. 일 실시예에서, 일단 최종 메쉬 및 텍스처가 완성되면, 언리얼 엔진 3 메쉬(Unreal Engine 3 mesh)가 생성되고 환경 및 가장자리 조명, 자체 그림자 및 애니메이션과 함께 렌더링된다. GOE 앱(app)은 또한 사용자가 골격 상에 누이(Nui) 골격을 매핑함으로써 오브젝트를 아바타화하도록 허용한다.

도 2로 되돌아가면, 수신 컴포넌트(231)는 사용자 골격 정보를 수신하도록 더 구성될 수 있다. 본 명세서에서 사용되는 바와 같은 사용자 골격 정보는 일반적으로 사용자의 골격을 식별하는 데이터를 지칭한다. 상세하게는, 관절 각도, 관절 위치 등이 사용자 골격 정보 내에 포함된다. 일 실시예에서, 수신 컴포넌트(231)는 오브젝트 및 사용자 골격 정보를 수신하도록 구성된 카메라의 형태를 취할 수 있다. 추가적인 일 실시예에서, 카메라는 게임 시스템의 카메라이다.

식별 컴포넌트(232)는 특히 가상 환경 내의 오브젝트(예컨대 수신 컴포넌트(231)에 의해 수신되었던 디지털화된 오브젝트), 사용자 골격, 오브젝트 골격, 등등을 식별하도록 구성될 수 있다. 본 명세서에서 사용되는 바와 같은 오브젝트 골격은 일반적으로 가상 환경 내의 오브젝트 상에 적용되는 골격을 지칭한다. 일 실시예에서, 하나의 단일 시스템-정의 템플릿 오브젝트 골격이 가상 환경 내의 하나의 오브젝트를 제어하기 위하여 사용된다. 대안적인 실시예들에서, 가상 환경 내의 하나의 오브젝트 상에 적용하기 위하여 복수의 시스템-정의 템플릿들이 이용가능할 수 있다. 추가적인 실시예들에서, 오브젝트 골격들은, 아래에서 더 상세히 기술되는 바와 같이, 사용자의 움직임 시연에 기초하여 실시간으로 생성될 수 있다.

먼저, 일단 오브젝트가 시스템(200)에 의해 수신되면, 식별 컴포넌트(232)는 오브젝트와 연관시키기 위하여 오브젝트 골격을 식별할 수 있다. 오브젝트와 연관시키기 위한 하나의 단일 시스템-정의 템플릿 오브젝트 골격이 이용가능하다고 가정하면, 식별 컴포넌트(232)는 오브젝트와 연관시키기 위해 단일 시스템-정의 템플릿 오브젝트 골격을 식별할 수 있다.

대안적으로, 만약 복수의 오브젝트 골격들이 이용가능하다면, 식별 컴포넌트(232)는 오브젝트의 하나 이상의 성질들을 식별할 수 있다. 오브젝트의 하나 이상의 성질들에는, 오브젝트의 팔다리의 개수, 오브젝트의 형상, 오브젝트의 크기(예컨대, 길이, 폭, 등) 등이 포함되지만, 이것들로 제한되지 않는다. 그런 다음 하나 이상의 성질은, 오브젝트의 하나 이상의 성질들과 대응하는 하나 이상의 오브젝트 골격들을 복수의 오브젝트 골격들 중에서 식별하기 위하여, 식별 컴포넌트(232)에 의해 이용될수 있다. 예를 들어, 만약 오브젝트가 2개의 팔다리를 가지고 있다고 식별된다면, 2개의 팔다리를 가진 오브젝트 골격은 4개의 팔다리를 가진 오브젝트 골격보다 오브젝트에 대해 더 양호한 매치이다.

추가적인 일 실시예에서, 오브젝트 골격은 사용자의 자유도에 기초하여 실시간으로 생성될 수 있다. 예를 들어, 사용자는 자신의 팔다리를 사용하여 식별 컴포넌트(232)에게 움직임을 시연할 수 있다. 움직임 내의 자유도(즉, 관절)의 시연에 의하여, 사용자의 관절 정보에 기초하여 오브젝트 골격이 실시간으로 생성될 수 있다.

식별 컴포넌트(232)는 또한 사용자의 사용자 골격을 식별하도록 구성될 수 있다. 실시예들에서, 사용자는 인간 사용자이다. 사용자 골격은, 예컨대 Microsoft Corporation®에 의해 제작된 Microsoft Kinect^TM과 같은 게임 시스템으로 통합되어 있는 예컨대 골격 추적 기술을 사용하여 식별될 수 있다. 식별 컴포넌트(232)는 시스템(200)의 하나의 이미지 내에서 사용자를 식별할 수 있다. 사용자는 이미지의 각각의 픽셀 및 식별 컴포넌트(232)로부터 각각의 픽셀의 거리를 식별함으로써 이미지 내에서 식별될 수 있다. 예를 들어, 사용자의 각각의 픽셀은 식별 컴포넌트(232)로부터 대략적으로 동일한 거리일 것이지만 사용자의 뒤에 있는 램프는 사용자보다 식별 컴포넌트(232)로부터 상이한 거리에 있을 것이다. 덧붙여서, 사용자의 형상은 이미지 내에서 사용자를 식별하기 위해 사용될 수 있다. 이런 기법들을 사용하여 사용자는 배경으로부터 분리될 수 있다.

일단 사용자가 이미지 내에서 식별되면(즉, 배경으로부터 분리되면), 사용자의 사용자 골격이 식별될 수 있다. 사용자 골격은 사용자의 포즈를 식별함으로써 식별될 수 있다. 본 명세서에서 사용된 바와 같은 사용자의 포즈는, 일반적으로 사용자의 이미지가 캡쳐된 때에 사용자의 위치를 지칭한다. 사용자의 포즈 내에서, 포즈의 관절 각도, 포즈의 관절 위치 등 포함하지만 이에 제한되는 것이 아닌 사용자 골격 정보가 식별된다. 사용자의 포즈, 및 그것 안의 사용자 골격 정보는 예를 들어 데이터 스토어(220)로부터 이용가능한 하나 이상의 템플릿 포즈와 비교될 수 있다. 이 비교에서 사용자의 포즈의 관절 각도 및 관절 위치가 템플릿 포즈의 관절 각도 및 관절 위치와 비교될 수 있다. 이 정보와 비교함으로써, 템플릿 포즈로부터 가장 가까운 매치가 식별될 수 있다. 가장 가까운 매치는 사용자 골격과 연관될 수 있다.

매핑 컴포넌트(233)는 특히 오브젝트에 오브젝트 골격을 매핑하고 오브젝트에 사용자 골격을 매핑하도록 구성될 수 있다. 먼저, 오브젝트 골격은 가상 환경 내에 오브젝트에 매핑될 수 있다. 앞서 기술된 바와 같이, 오브젝트 골격은 하나 이상의 템플릿 오브젝트 골격들로부터 선택될 수 있다. 매핑 컴포넌트(233)는 오브젝트 골격의 중심을 식별함으로써 오브젝트에 오브젝트 골격을 매핑할 수 있다. 매핑 컴포넌트(233)는 또한 가상 환경 내 오브젝트의 질량 중심을 식별할 수 있다. 매핑 컴포넌트(233)는 그런 다음 오브젝트의 질량 중심에 오브젝트 골격의 중심을 매핑할 수 있다.

상상될 수 있는 바와 같이, 오브젝트 골격은, 그것이 시스템-정의 템플릿 골격일 수 있기 때문에, 오브젝트에 맞지 않을 수 있다(즉, 오브젝트는 오브젝트 골격보다 더 크거나 더 작을 수 있다). 일 실시예에서, 오브젝트는 오브젝트 골격을 맞추도록 크기가 조절될 수 있다. 오브젝트 골격에 맞추기 위해 오브젝트의 크기를 조절하는 것은, 오브젝트의 하단을 사용자 골격의 하단과 정렬시키는 것을 포함할 수 있지만 이에만 제한되는 것은 아니다. 실시예들에서, 오브젝트의 하단 및 사용자 골격의 하단은 서로에 대해 정확하게 정렬된다. 그 다음에, 오브젝트의 상단은 오브젝트 골격의 상단과 정렬될 수 있다. 오브젝트의 상단은, 오브젝트 골격의 상단이 오부젝트의 상부 아래에 미리결정된 거리에 있도록, 오브젝트 골격과 정렬될 수 있다. 오브젝트 골격의 상단은 오브젝트의 머리라고 가정되는 오브젝트의 부분을 고려하기 위하여 오브젝트의 상단 아래의 미리 결정된 거리에서 정렬될 수 있다. 일 실시예에서, 미리결정된 거리는 오브젝트의 상단 아래의 십 퍼센트(10%)이다. 미리결정된 거리는 권한있는 사용자에 의해 지정된 임의의 거리일 수 있다.

대안적인 일 실시예에서, 오브젝트 크기를 조정하는 것이 아니라 오브젝트 골격의 크기가 조정된다. 즉 오브젝트 골격은, 오브젝트의 하단과 오브젝트 골격의 하단이 정렬되도록, 오브젝트와 정렬될 것이다. 오브젝트 골격의 상단은 또한, 오브젝트 골격의 상단이 오브젝트의 상단 아래 미리 결정된 거리에 있도록, 오브젝트 상단과 정렬될 수 있다. 실시예들에서, 미리 결정된 거리는 오브젝트의 상단 아래의 십 퍼센트(10%)이다. 미리결정된 거리는 권한있는 사용자에 의해 지정된 임의의 거리일 수 있다.

일단 매핑 컴포넌트(233)가 오브젝트에 오브젝트 골격을 매핑하면, 사용자 골격이 오브젝트 골격으로 매핑될 수 있다. 사용자 골격을 오브젝트 골격에 매핑하는 것은 일대일(1:1) 매핑일 수 있고 또는 1:1 매핑이 아닐 수도 있다. 1:1 매핑은 사용자 골격과 오브젝트 골격 내의 관절의 수가 동일한 것을 가리킨다. 이런 경우, 사용자 골격의 관절 각도들은, 오브젝트 골격이 사용자 골격을 미러링하도록, 오브젝트 골격의 대응하는 관절 각도들에 매핑된다.

그렇지만, 종종 매핑은 1:1 매핑이 아닐 수 있는데, 이것은 오브젝트 골격 및 사용자 골격이 상이한 수의 관절을 가지는 것을 의미한다. 이 경우, 일부 관절들의 움직임을 과정하고 그 외 다른 관절들의 움직임을 억압하는 것이 바람직할 수 있다. 덧붙여서, 하나의 관절의 움직임들이 오브젝트 골격의 상이한 관절로 매핑될 수 있다. 예를 들어, 오브젝트가 코끼리라고 가정하자. 자명하게도, 사용자는 코끼리 코를 가지고 있지 않으며 코끼리는 사용자의 팔과 동일한 방식으로 움직이는 팔을 가지지 않는다. 사용자 골격의 팔들의 움직임은 예를 들어 코끼리의 코로 매핑될 수 있다. 즉 코끼리의 코는 사용자의 손들의 움직임에 따라 반응할 것이다.

또한 매핑은 각도-대-각도일 필요가 없다. 예를 들어, 관절 위치(예컨대, 사용자가 얼마나 높이 손을 올렸는가)는 오브젝트 골격 내에서 관절 스케일로 매핑될 수 있고, 이는 사용자가 손을 올리는 것에 반응하여 오브젝트가 위쪽으로 늘어나도록 야기할 수 있다. 덧붙여서, 사용자 관절 각도들은 더 세밀한 다-관절 애니메이션을 제어하기 위해 사용될 수 있으며, 따라서 하나의 사용자 관절 위치가 비-선형 방식으로 다수의 오브젝트 관절들을 제어할 수 있다.

일단 사용자 골격이 오브젝트 골격으로 매핑되면, 가상 환경 내의 오브젝트는 실제-세계 사용자를 미러링한다. 예를 들어, 만약 사용자가 오른 팔을 들면, 오브젝트는 매핑에 따르는 종류로 반응할 것이다(예컨대, 매핑은 오브젝트도 그것의 오른 팔을 올리도록 야기하는 1:1일 수 있고 또는 매핑은 오브젝트가 사용자의 오른 팔 움직임에 매핑되었던 다른 움직임으로 반응하도록 야기하는 1:1이 아닐 수 있다).

컨트롤링 엔진(230)는 사용자가 움직이는 때마다 데이터가 갱신되도록 실시간으로 동작할 수 있다. 특히 사용자 골격은 사용자가 이동하는 모든 경우마다 갱신될 수 있다. 이것은 또한 오브젝트 골격에 사용자 골격을 재-매핑하는 것으로 귀결될 수 있다. 이것이 실시간으로 이루어지기 때문에, 오브젝트는 사용자에 의해 계속 제어되고 매핑에 따라 사용자의 움직임에 계속해서 응답할 것이다.

디스플레이 컴포넌트(234)는 오브젝트를 디스플레이하도록 구성된다. 디스플레이된 오브젝트는, 매핑에 따라, 사용자의 움직임에 응답할 것이다.

이제 도 29를 참조하면, 본 발명의 일 실시예에 따른, 가상 환경 내 오브젝트들을 컨트롤하기 위한 전반적인 방법(2900)을 도시하는 흐름도가 제공된다. 처음에, 블록(2910)에서 도시된 바와 같이, 오브젝트가 가상 환경 내에서 식별된다. 앞서 언급된 바와 같이, 오브젝트는 실제-세계로부터 가상 환경 내로 수신된 임의의 비-인간 오브젝트일 수 있다. 오브젝트 골격은 블록(2920)에서 오브젝트에 매핑된다. 오브젝트 골격은 오브젝트를 맞추기 위하여 크기 조절되는 시스템-정의 오브젝트 골격 템플릿일 수 있다. 대안적으로 오브젝트가 오브젝트 골격에 맞추기 위하여 크기 조절될 수 있다. 블록(2930)에서, 사용자의 사용자 골격이 수신된다. 실제-세계 사용자의 사용자 골격이 수신되고 관절의 수, 관절 각도, 관절 위치 등이 포함되어 있는 골격 정보가 식별될 수 있다. 블록(2940)에서, 오브젝트가 사용자에 의해 컨트롤되도록 오브젝트 골격에 사용자 골격이 매핑된다. 특히, 사용자의 움직임은 오브젝트의 움직임을 컨트롤한다.

이제 도 30을 참조하면, 본 발명의 일 실시예에 따른, 가상 환경 내에서 오브젝트들을 컨트롤하는 전체적인 방법(300)이 도시된 흐름도가 제공된다. 처음에, 블록(3010)에서 도시된 바와 같이, 가상 환경 내의 오브젝트가 식별된다. 실시예들에서, 오브젝트는 디지털화되고 가상 환경 내에서 수신된 실제-세계 오브젝트일 수 있다. 블록(3020)에서, 오브젝트의 질량 중심을 식별하고 오브젝트의 질량 중심에 오브젝트 골격의 중심을 적용함으로써 오브젝트에게 오브젝트 골격이 매핑된다. 그런 다음 오브젝트 및/또는 오브젝트 골격은 블록(3030)에서 오브젝트 골격의 하단이 오브젝트의 하단과 정렬되도록 맞추기 위해 크기 조절될 수 있다. 블록(3040)에서 사용자의 사용자 골격이 수신된다. 블록(3050)에서, 오브젝트 골격의 하나 이상의 관절 각도가 사용자 골격의 하나 이상의 관절 각도를 반영하도록 오브젝트 골격에 사용자 골격이 매핑된다. 블록(3060)에서, 사용자의 움직임이 식별되고, 블록(3070)에서, 오브젝트의 움직임이 사용자의 움직임을 반영하도록 오브젝트가 이동된다.

본 발명은 특정 실시예들과 관련하여 기술되었는데, 이들 실시예들은 제한적인 것이 아니라 모든 면에서 예시적인 것으로서 의도된 것이다. 그 범위로부터 벗어나지 않는 대안적인 실시예들이 본 발명이 관련되어 있는 기술 분야에서 통상의 지식을 가진 자라면 명확해질 것이다.

비록 본 발명이 다양한 수정 및 대안적인 구성에 민감하지만, 그것의 특정한 예시적인 실시예들이 도면으로 도시되고 위에서 상세하게 기술되었다. 그렇지만, 기술된 구체적인 형태로 본 발명을 제한하려고 의도하지 않으며, 그와 반대로 본 발명의 사상과 범위 내의 모든 수정, 대안적인 구성, 및 등가물을 커버하는 것으로 의도된는다는 것이 이해되어야 한다.

상술한 것으로부터, 본 발명은 시스템 및 방법에 대해 자명하고 본질적인 그 외 다른 장점들과 함께, 위에서 제공된 모든 목적과 대상들을 달성하도록 잘 적응된 것임을 알 수 있을 것이다. 특정 특징들 및 하위 조합들은, 그 외 다른 특징들과 하위 조합들을 참조하지 않고도 이용될 수 있고 채용될 수 있다는 점이 이해될 것이다. 이것은 청구범위에 의해 고려되며 청구범위의 범위 내에 포함된다.

Claims

하나 이상의 컴퓨팅 장치에 의해 사용될 경우, 상기 하나 이상의 컴퓨팅 장치가 방법을 수행하도록 하는 컴퓨터-판독가능 명령어들을 저장한 컴퓨터 저장 하드웨어 장치로서,
상기 방법은,
가상 환경 내의 오브젝트를 식별하는 단계;
상기 오브젝트와 연관시키도록 오브젝트 골격 - 상기 오브젝트 골격은 상기 오브젝트의 하나 이상의 성질(property)에 기초해서 식별됨 - 을 식별하는 단계;
상기 오브젝트에 상기 오브젝트 골격 - 상기 오브젝트 골격은 하나 이상의 관절 각도를 갖는 미리 정의된 템플릿이고, 관절 각도는 하나 이상의 관절 사이의 각도를 나타냄 - 을 매핑하는 단계;
사용자 골격 - 상기 사용자 골격은, 하나 이상의 관절 각도를 갖는 사용자의 골격의 이미지임 - 을 수신하는 단계; 및
상기 오브젝트가 상기 사용자에 의해 제어되도록 상기 오브젝트 골격에 상기 사용자 골격을 매핑하는 단계
를 포함하고,
상기 오브젝트 골격에 상기 사용자 골격을 매핑하는 단계는,
상기 오브젝트 골격의 관절 스케일(scale)에 상기 사용자 골격의 관절 위치 - 상기 오브젝트는 상기 관절 위치의 움직임에 응답해서 늘어남(stretched) - 를 매핑하는 단계; 및
다각도 애니메이션을 제어하도록 상기 사용자 골격의 하나 이상의 관절 각도 중 적어도 하나를 매핑하는 단계 - 하나의 관절 위치가 비-선형 방식으로 상기 오브젝트의 인접한 다수의 관절들을 제어함 -
를 포함하는 것인, 컴퓨터 저장 하드웨어 장치.
제 1 항에 있어서,
상기 오브젝트는 사람이 아닌(non-human) 오브젝트인 것인, 컴퓨터 저장 하드웨어 장치.
제 1 항에 있어서,
상기 오브젝트에 상기 오브젝트 골격을 매핑하는 단계는,
상기 오브젝트 골격의 중심을 식별하는 단계;
상기 오브젝트의 질량 중심을 식별하는 단계; 및
상기 오브젝트의 상기 질량 중심에 상기 오브젝트 골격의 상기 중심을 적용(impose)하는 단계
를 포함하는 것인, 컴퓨터 저장 하드웨어 장치.
제 3 항에 있어서,
상기 오브젝트 골격에 맞추기 위해 상기 오브젝트를 크기 조절하는 단계
를 더 포함하는, 컴퓨터 저장 하드웨어 장치.
제 4 항에 있어서,
상기 오브젝트 골격에 맞추기 위해 상기 오브젝트를 크기 조절하는 단계는,
상기 오브젝트 골격의 하단과 상기 오브젝트의 하단을 정렬하는 단계; 및
상기 오브젝트 골격의 상단이 상기 오브젝트의 상단 아래의 미리 결정된 거리에 있도록 상기 오브젝트 골격의 상단과 상기 오브젝트의 상단을 정렬하는 단계
를 포함하는, 컴퓨터 저장 하드웨어 장치.
제 5 항에 있어서,
상기 오브젝트의 상단 아래의 상기 미리 결정된 거리는 상기 오브젝트의 상단 아래 십 퍼센트(10%)인 것인, 컴퓨터 저장 하드웨어 장치.
제 1 항에 있어서,
상기 오브젝트는 상기 가상 환경에서 디지털화되고 수신된 실제-세계(real-world) 오브젝트인 것인, 컴퓨터 저장 하드웨어 장치.
제 1 항에 있어서,
상기 오브젝트는, 상기 오브젝트의 움직임이 상기 사용자의 움직임을 미러링(mirroring)하도록, 상기 사용자에 의해 제어되는 것인, 컴퓨터 저장 하드웨어 장치.
가상 환경 내 오브젝트를 제어하는 시스템으로서,
하나 이상의 프로세서 및 하나 이상의 컴퓨터-판독가능 저장 매체와 연관된 컴퓨팅 장치;
상기 컴퓨팅 장치와 결합된 데이터 스토어; 및
제어 엔진
을 포함하고,
상기 제어 엔진은,
오브젝트를 식별하고,
사용자 골격 및 오브젝트 골격을 포함하는 하나 이상의 골격 - 각각의 골격은 하나 이상의 관절 각도를 가지고, 관절 각도는 하나 이상의 관절 사이의 각도를 나타내며, 상기 오브젝트 골격은 상기 오브젝트의 하나 이상의 성질에 기초해서 식별됨 - 을 식별하고,
상기 오브젝트 골격의 하나 이상의 대응하는 관절 각도에 상기 사용자 골격의 하나 이상의 관절 각도를 매핑하고,
상기 오브젝트 골격의 관절 스케일에 상기 사용자 골격의 관절 위치를 매핑하고 - 상기 오브젝트는 상기 관절 위치의 움직임에 응답해서 늘어남 -, 하나의 관절 위치가 비-선형 방식으로 상기 오브젝트의 인접한 다수의 관절들을 제어하도록 다각도 애니메이션을 제어하기 위해 상기 사용자 골격의 하나 이상의 관절 각도를 사용하며,
상기 오브젝트가 상기 사용자 골격의 움직임을 미러링하게끔 조작되도록 상기 오브젝트 골격을 관리하는 것인, 가상 환경 내 오브젝트를 제어하는 시스템.
제 9 항에 있어서,
상기 오브젝트는 인간이 아닌 오브젝트인 것인, 가상 환경 내 오브젝트를 제어하는 시스템.
제 9 항에 있어서,
상기 제어 엔진은, 상기 사용자의 포즈(pose)와 복수의 템플릿 포즈들을 비교하고 상기 복수의 템플릿 포즈들 중 상기 사용자의 상기 포즈와 대응하는 하나의 템플릿 포즈를 식별함으로써, 상기 복수의 템플릿 포즈들로부터 상기 사용자 골격을 식별하는 것인, 가상 환경 내 오브젝트를 제어하는 시스템.
제 9 항에 있어서,
상기 제어 엔진은 또한, 상기 오브젝트에 상기 오브젝트 골격을 매핑하도록 구성된 것인, 가상 환경 내 오브젝트를 제어하는 시스템.
제 9 항에 있어서,
상기 제어 엔진은 실시간으로 동작하는 것인, 가상 환경 내 오브젝트를 제어하는 시스템.
제 9 항에 있어서,
상기 오브젝트 골격은, 상기 오브젝트의 성질들을 복수의 템플릿 오브젝트 골격들과 비교함으로써 복수의 템플릿 오브젝트 골격들 중에서 식별되는 것인, 가상 환경 내 오브젝트를 제어하는 시스템.
하나 이상의 컴퓨팅 장치에 의해 사용될 경우, 상기 하나 이상의 컴퓨팅 장치가 방법을 수행하도록 하는 컴퓨터-판독가능 명령어들을 저장한 컴퓨터 저장 하드웨어 장치로서,
상기 방법은,
가상 환경 내의 오브젝트 - 상기 오브젝트는 가상 형태로 디지털화된 실제-세계 오브젝트임 - 를 식별하는 단계;
사용자의 자유도에 기초해서 실시간으로 상기 오브젝트와 연관시키도록 오브젝트 골격을 생성하는 단계;
상기 오브젝트의 질량 중심을 식별하고 상기 오브젝트의 상기 질량 중심에 상기 오브젝트 골격 - 상기 오브젝트 골격은 미리 정의된 템플릿임 - 의 중심을 적용함으로써, 상기 오브젝트에 오브젝트 골격을 매핑하는 단계;
상기 오브젝트 골격의 하단이 상기 오브젝트의 하단과 정렬되도록, 상기 오브젝트 골격의 크기에 대응하게 상기 오브젝트를 크기 조절하는 단계;
사용자 골격 - 상기 사용자 골격은 상기 사용자의 골격이고, 상기 사용자 골격은 상기 사용자의 포즈(pose)에 의해 식별되며, 사용자 골격 정보는 상기 포즈의 하나 이상의 관절 각도를 포함함 - 을 수신하는 단계;
상기 오브젝트 골격의 하나 이상의 관절 각도가 상기 포즈의 상기 하나 이상의 관절 각도 - 관절 각도는 하나 이상의 관절 사이의 각도를 나타내고, 상기 오브젝트는 상기 사용자 골격 포즈의 관절 위치의 움직임에 응답해서 늘어나고, 상기 사용자 골격의 상기 하나 이상의 관절 각도는 다각도 애니메이션을 제어하며, 하나의 관절 위치가 비-선형 방식으로 상기 오브젝트의 인접한 다수의 관절들을 제어함 - 중 적어도 하나를 미러링하도록, 상기 오브젝트 골격에 상기 사용자 골격을 매핑하는 단계;
상기 사용자의 움직임을 식별하는 단계; 및
상기 사용자의 움직임을 식별하는 것에 응답하여, 상기 오브젝트의 움직임이 상기 사용자의 움직임을 미러링하도록 상기 오브젝트를 이동시키는 단계
를 포함하는 것인, 컴퓨터 저장 하드웨어 장치.
제 15 항에 있어서,
상기 매핑은 실시간으로 수행되는 것인, 컴퓨터 저장 하드웨어 장치.
제 15 항에 있어서,
상기 사용자 골격은 사용자 움직임이 검출될 때마다 상기 오브젝트에 매핑되는 것인, 컴퓨터 저장 하드웨어 장치.
제 15 항에 있어서,
상기 사용자 골격을 수신하는 단계는,
이미지 내에서 상기 사용자를 식별하는 단계;
상기 사용자의 포즈를 복수의 템플릿 포즈들과 비교하는 단계;
상기 복수의 템플릿 포즈들 중에서 상기 사용자의 포즈에 대응하는 템플릿 포즈를 식별하는 단계; 및
상기 템플릿 포즈의 하나 이상의 관절 각도를 식별하는 단계
를 포함하는 것인, 컴퓨터 저장 하드웨어 장치.
제 18 항에 있어서,
상기 오브젝트 골격에 상기 사용자 골격을 매핑하는 단계는,
상기 오브젝트 골격의 하나 이상의 관절 각도가 상기 사용자를 나타내는 템플릿 포즈의 하나 이상의 관절 각도를 미러링하도록, 상기 템플릿 포즈의 하나 이상의 관절 각도를 상기 오브젝트 골격과 연관시키는 단계
를 포함하는 것인, 컴퓨터 저장 하드웨어 장치.
제 15 항에 있어서,
상기 오브젝트는 움직이지 않는(inanimate) 오브젝트인 것인, 컴퓨터 저장 하드웨어 장치.