KR102649272B1

KR102649272B1 - 신체 자세 추정

Info

Publication number: KR102649272B1
Application number: KR1020217028027A
Authority: KR
Inventors: 아비하이 애술린; 이타마르 버거; 윤청 리
Original assignee: 스냅 인코포레이티드
Priority date: 2019-02-06
Filing date: 2020-02-06
Publication date: 2024-03-20
Also published as: KR20240038163A; CN113383369A; EP3921806A1; US20230090086A1; US11557075B2; US10984575B2; US20210209825A1; WO2020163592A1; KR20210123357A; US20200250874A1

Abstract

프로그램을 저장하는 컴퓨터 판독가능 저장 매체를 포함하는 시스템 및 사용자의 자세를 검출하기 위한 방법. 프로그램 및 방법은 사용자의 신체의 묘사를 포함하는 단안 이미지를 수신하는 것; 단안 이미지에 묘사된 신체의 복수의 골격 관절을 검출하는 것; 및 검출된 신체의 복수의 골격 관절에 기초하여 단안 이미지에 묘사된 신체에 의해 표현된 자세를 결정하는 것을 포함한다. 아바타의 자세는 검출된 신체의 복수의 골격 관절에 기초하여 아바타의 리그의 골격 관절들의 세트를 조정함으로써 단안 이미지에 묘사된 신체에 의해 표현된 자세와 일치하도록 수정되고; 및 단안 이미지에 묘사된 신체에 의해 표현되는 자세와 일치하는 수정된 자세를 갖는 아바타가 디스플레이를 위해 생성된다.

Description

신체 자세 추정

본 출원은 2019년 2월 6일자로 출원된 미국 특허 출원 제16/269,312호의 우선권의 이익을 주장하며, 이 미국 특허 출원은 이로써 그 전체가 본 명세서에 참고로 포함된다.

본 개시내용은 일반적으로 사용자를 묘사하는 이미지에 기초하여 가상 객체들을 생성하는 것에 관한 것이다.

가상 렌더링 시스템은, 아바타와 같은 가상 객체 그래픽이 실세계(real world)에 존재하는 것처럼 보이는 매력적이고 재미있는 증강 현실 경험을 생성하는데 이용될 수 있다. 그러한 시스템들은 환경 조건들, 사용자 액션들, 카메라와 렌더링 중인 객체 사이의 예상치 못한 시각적 중단(visual interruption) 등으로 인해 프레젠테이션 문제들을 겪을 수 있다. 이는 가상 객체가 사라지거나 다르게는 괴상하게 거동하게 야기할 수 있으며, 이는 가상 객체들이 실세계에 존재한다는 착시를 깨뜨린다.

반드시 실제 축척으로 그려진 것은 아닌 도면들에서, 유사한 참조부호들은 상이한 도면들 내의 유사한 컴포넌트들을 설명할 수 있다. 임의의 특정 요소 또는 행위의 논의를 쉽게 식별하기 위해, 참조 번호에서 최상위 숫자 또는 숫자들은 그 요소가 처음 도입되는 도면 번호를 지칭한다. 일부 실시예들은 첨부 도면들의 그림들에서 제한이 아닌 예로서 도시된다.
도 1은 예시적인 실시예들에 따른, 네트워크를 통해 데이터(예를 들어, 메시지 및 연관된 콘텐츠)를 교환하기 위한 예시적인 메시징 시스템을 도시하는 블록도이다.
도 2는 예시적인 실시예들에 따른, 메시징 서버 시스템의 데이터베이스에 저장될 수 있는 데이터를 도시하는 개략도이다.
도 3은 예시적인 실시예들에 따른, 통신을 위해 메시징 클라이언트 애플리케이션에 의해 생성된 메시지의 구조를 도시하는 개략도이다.
도 4는 예시적인 실시예들에 따른, 예시적인 신체 자세 추정 시스템을 도시하는 블록도이다.
도 5는 예시적인 실시예들에 따른, 신체 자세를 결정하기 위해 이용되는 신체 관절 위치들을 도시하는 도면이다.
도 6은 예시적인 실시예들에 따른, 신체 자세 추정 시스템의 예시적인 동작들을 도시하는 흐름도이다.
도 7a 내지 도 8c는 예시적인 실시예들에 따른 신체 자세 추정 시스템의 예시적인 입력들 및 출력들이다.
도 9는 예시적인 실시예들에 따른, 본 명세서에 설명된 다양한 하드웨어 아키텍처들과 함께 사용될 수 있는 대표적인 소프트웨어 아키텍처를 도시하는 블록도이다.
도 10은 예시적인 실시예들에 따른, 머신 판독가능 매체(예를 들어, 머신 판독가능 저장 매체)로부터 명령어들을 판독하고 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는 머신의 컴포넌트들을 도시하는 블록도이다.

이하의 설명은 본 개시내용의 예시적인 실시예들을 구현하는 시스템, 방법, 기법, 명령어 시퀀스, 및 컴퓨팅 머신 프로그램 제품을 포함한다. 이하의 설명에서는, 설명의 목적을 위해, 수많은 특정 상세 사항들이 다양한 실시예들의 이해를 제공하기 위해 제시된다. 그러나, 본 기술 분야의 통상의 기술자들에게는 실시예들이 이들 특정 상세 사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 잘 알려진 명령어 인스턴스들(instances), 프로토콜들(protocols), 구조들, 및 기법들은 반드시 상세하게 도시되어 있는 것은 아니다.

전형적으로, 가상 현실(VR) 및 증강 현실(AR) 시스템들은 사용자의 이미지를 캡처하고, 또한 이미지에 묘사된 실세계 신체의 깊이 센서를 이용하여 깊이 맵을 획득함으로써 주어진 사용자를 나타내는 아바타들을 디스플레이한다. 깊이 맵 및 이미지를 함께 처리함으로써, VR 및 AR 시스템들은 사용자에 의해 수행되는 액션들을 모방할 수 있다. 그러한 시스템들이 사용자의 아바타들을 제시하기 위해 잘 작동하지만, 깊이 센서에 대한 필요성은 그들의 응용 범위를 제한한다. 이는 아바타들을 디스플레이할 목적으로 사용자 디바이스들에 깊이 센서들을 추가하는 것이 디바이스들의 전체 비용 및 복잡성을 증가시켜, 이들을 덜 매력적으로 만들기 때문이다.

개시된 실시예들은 사용자의 신체의 단일 이미지로부터 VR 또는 AR 애플리케이션에서의 프레젠테이션을 위한 하나 이상의 가상 객체들을 생성하기 위해 머신 러닝 기법들을 적용함으로써 전자 디바이스를 사용하는 효율을 개선한다. 가상 객체(예를 들어, 3D 캡션, 이모지, 캐릭터, 아바타, 애니메이션, 개인화된 아바타 또는 캐릭터의 루핑(looping) 애니메이션, 댄싱 핫 도그(dancing hot dog)와 같은 루핑 또는 비-루핑 애니메이션 그래픽, 애니메이션을 갖는 양식화된 단어 등과 같은 3차원 객체)는 단일의 적색, 녹색, 및 청색(RGB) 이미지(예를 들어, 단안 RGB 이미지) 또는 실세계 사용자의 신체를 묘사하는 RGB 이미지들의 비디오로부터 직접 생성된다. 개시된 실시예들은 실세계 사용자의 신체의 깊이 맵을 또한 획득하지 않고서 가상 객체를 생성한다. 이는 (깊이 센서가 없는) 간단한 RGB 카메라를 갖는 사용자 디바이스가 VR 또는 AR 애플리케이션 내에서의 실세계 사용자의 신체 자세에 기초하여 애니메이션된 가상 객체를 정확하고 신속하게 렌더링할 수 있게 하여, 사용자가 더 현실적인 환경에서 VR 또는 AR 콘텐츠와 상호작용할 수 있게 한다.

일부 실시예에서, 하나의 이러한 가상 객체가 사용자에 의해 선택되고 RGB 이미지에 추가되며, 가상 객체의 자세는 사용자의 신체의 자세와 일치하도록 수정되어 선택된 가상 객체가 실세계 장면의 일부이고 사용자를 모방하고 있다는 착시를 제공하게 된다. 구체적으로, 개시되는 실시예들은 머신 러닝 기법들을 이용하여 사용자의 신체를 묘사하는 이미지를 처리하여 골격 관절들을 식별한다. 식별된 골격 관절들에 의해 표현되는 자세가 결정된다. 일단 골격 관절들에 의해 표현되는 자세가 결정되면, 아바타 리그(avatar rig)의 대응하는 골격 관절들은 아바타의 자세를 변경하도록 조정되어 사용자의 신체의 식별된 골격 관절들에 의해 표현되는 자세와 일치하도록 된다. 사용자의 신체의 식별된 골격 관절들에 의해 표현되는 자세와 일치하는 수정된 자세를 갖는 아바타가 사용자에게 디스플레이하기 위해 생성된다.

일부 실시예에서, 아바타는 이미지 또는 비디오에서 제1 사용자와 동시에 디스플레이하기 위해 생성되는 제1 아바타이다. 제1 사용자의 자세를 모방한 제1 아바타의 이미지가 캡처되어 제2 사용자에게 전송될 수 있다. 제2 사용자는 제2 아바타가 제2 사용자의 자세를 모방하는 이미지를 또한 캡처할 수 있다. 제2 사용자를 묘사하는 캡처된 이미지 및 제2 아바타가 제1 사용자에게 전송된다. 제1 아바타를 갖는 제1 사용자 및 제2 아바타를 갖는 제2 사용자의 캡처된 이미지들 둘 다가 동시에 디스플레이되고 다른 사용자들과 공유될 수 있다.

일부 실시예들에서, 주어진 이미지 또는 비디오에서의 사용자의 위치에 대한 아바타의 위치는 이미지 또는 비디오 내에서의 사용자의 위치 및/또는 자세에 기초하여 조정된다. 예를 들어, 아바타 위치는 이미지 또는 비디오 주위에서 사용자를 한 장소에서 또 다른 장소로 따라가도록 변한다. 또 다른 구현에서, 사용자의 자세 및 관절 위치들에 기초하여, 아바타의 움직임들은 아바타가 이미지에서의 다른 가상 객체들과 상호작용하게 하도록 조정될 수 있다. 예를 들어, 사용자의 팔이 올려져서 아바타의 대응하는 팔이 이미지 또는 비디오에 제시되는 가상 객체(예를 들어, 나무 상의 사과)에 도달하게 올려지도록 야기할 수 있다.

도 1은 네트워크(106)를 통해 데이터(예를 들어, 메시지들 및 연관된 콘텐츠)를 교환하기 위한 예시적인 메시징 시스템(100)을 도시하는 블록도이다. 메시징 시스템(100)은 다중의 클라이언트 디바이스(102)를 포함하고, 이들 각각은 메시징 클라이언트 애플리케이션(104) 및 AR/VR 애플리케이션(105)을 포함하는 다수의 애플리케이션을 호스팅한다. 각각의 메시징 클라이언트 애플리케이션(104)은, 네트워크(106)(예를 들어, 인터넷)를 통해, 메시징 클라이언트 애플리케이션(104), AR/VR 애플리케이션(105), 및 메시징 서버 시스템(108)의 다른 인스턴스들에 통신가능하게 결합된다.

따라서, 각각의 메시징 클라이언트 애플리케이션(104) 및 AR/VR 애플리케이션(105)은 네트워크(106)를 통해 또 다른 메시징 클라이언트 애플리케이션(104) 및 AR/VR 애플리케이션(105)과 그리고 메시징 서버 시스템(108)과 통신하고 데이터를 교환할 수 있다. 메시징 클라이언트 애플리케이션들(104), AR/VR 애플리케이션들(105) 사이에서, 및 메시징 클라이언트 애플리케이션(104)과 메시징 서버 시스템(108) 사이에서 교환되는 데이터는, 기능들(예를 들어, 기능들을 기동시키는 명령들)뿐만 아니라, 페이로드 데이터(예를 들어, 텍스트, 오디오, 비디오 또는 다른 멀티미디어 데이터)를 포함한다.

AR/VR 애플리케이션(105)은 클라이언트 디바이스(102)가 신체 자세 추정 시스템(124)에 액세스할 수 있게 하는 기능들의 세트를 포함하는 애플리케이션이다. 일부 구현들에서, AR/VR 애플리케이션(105)은 메시징 클라이언트 애플리케이션(104)의 일부인 컴포넌트 또는 피처이다. AR/VR 애플리케이션(105)은 RGB 카메라를 사용하여 사용자의 실세계 신체의 단안 이미지를 캡처한다. AR/VR 애플리케이션(105)은 다양한 훈련된 머신 러닝 기법들을 신체의 캡처된 이미지에 적용하여 아바타를 생성한다. 예를 들어, 아바타는 이미지에 묘사된 사용자의 신체의 자세와 동일한 자세를 갖도록 생성된다. 또 다른 예로서, 아바타는 사용자와의 동시 디스플레이를 위해 생성되고, 아바타의 위치는 이미지에서의 사용자의 상대적 위치에 기초하여 프레임마다 변한다. 예를 들어, 아바타 위치는 아바타와 사용자 간의 일정한 거리를 유지하도록 변하여, 아바타가 사용자를 따라 다니는 것처럼 보인다. 일부 구현들에서, AR/VR 애플리케이션(105)은 생성된 아바타를 연속적으로 또는 주기적으로 업데이트하기 위해 사용자의 신체의 이미지들을 실시간으로 또는 주기적으로 연속적으로 캡처한다. 이는 사용자가 실세계에서 여기저기로 이동하고 실시간으로 아바타 업데이트를 볼 수 있게 한다. AR/VR 애플리케이션(105)은 다양한 콘텐츠(예를 들어, 메시지들, 게임들, 광고들 등)를 제시하고, 사용자가 AR/VR 애플리케이션(105)에서의 아바타의 자세를 수정하여 다른 가상 콘텐츠와 상호작용하는 것을 허용한다(예를 들어, 아바타 자세는 가상 나무에서 가상 사과를 따도록 수정될 수 있다). 일단 아바타가 생성되면, 사용자는 또 다른 사용자에게 송신하기 위해 사용자 및 아바타의 이미지를 캡처하기 위한 액션 또는 제스처를 수행할 수 있다.

AR/VR 애플리케이션(105)이 캡처된 RGB 이미지로부터 직접 아바타를 생성하기 위해, AR/VR 애플리케이션(105)은 신체 자세 추정 시스템(124) 및/또는 메시징 서버 시스템(108)으로부터 하나 이상의 훈련된 머신 러닝 기법을 획득한다. 훈련된 머신 러닝 기법은 캡처된 RGB 이미지를 처리하여 캡처된 RGB 이미지에 묘사된 신체에 대응하는 하나 이상의 특징을 RGB 이미지로부터 추출한다. 하나 이상의 골격 관절들 및 서로에 대한 그 각자의 정렬을 식별하기 위해 특징들이 분석된다. 구체적으로, 특징들은 골격 관절들 중 지정된 세트의 관절 위치들을 결정하기 위해 분석된다. 관절 위치들은 오프셋을 갖는 데이터베이스에 제공되어 결정된 관절 위치들의 오프셋 내에 있는 자세를 식별하게 된다. 자세가 식별된 후에, 아바타가 검색되고 아바타의 골격 리그(skeletal rig)가 식별된 자세를 모방하거나 복사하도록 조정된다. 일부 실시예들에서, 아바타의 골격 리그는 식별된 자세로부터가 아니라 결정되는 관절 위치들로부터 직접 조정된다. 그 후 아바타는 캡처된 이미지에 묘사된 신체의 자세를 모방하기 위해 조정된 골격 리그에 기초하여 디스플레이를 위해 생성된다.

일부 실시예들에서, RGB 이미지는 비디오의 복수의 프레임 중 제1 프레임이다. 이러한 경우에, 제1 머신 러닝 기법을 이용하여 제1 프레임에서 사용자의 신체가 검출된 후에, 신체 자세 추정 시스템(124)은 사용자의 신체가 어디에 있을 것인지 및 복수의 프레임 중 제2 프레임에서 어떤 스케일로 있는지를 추정한다. 제2 프레임은 제1 프레임에 인접할 수 있다. 일부 구현들에서, 제2 프레임에서의 사용자의 신체의 위치 및 스케일을 예측 또는 추정하기 위해 제2 머신 러닝 기법이 제1 프레임에 적용된다.

훈련에서, 신체 자세 추정 시스템(124)은 상이한 실세계 신체 자세들을 포함하는 제1 복수의 입력 훈련 이미지를 획득한다. 이 훈련 이미지들은 또한 각각의 이미지에 묘사된 신체 자세에 관한 실측 정보(ground truth information)를 제공한다. 머신 러닝 기법(예를 들어, 신경망)은 복수의 훈련 이미지의 특징들에 기초하여 훈련된다. 구체적으로, 머신 러닝 기법은 주어진 훈련 이미지로부터 하나 이상의 특징을 추출하고, 주어진 훈련 이미지에 묘사된 신체의 관절 위치들을 분석함으로써 신체 자세를 추정한다. 머신 러닝 기법은 훈련 이미지에 대응하는 실측 정보(ground truth information)를 획득하고 후속 이미지에 묘사된 신체 자세의 후속 추정들을 개선하기 위해 하나 이상의 계수를 조정한다. 일부 구현들에서, 또 다른 머신 러닝 기법은 주어진 훈련 이미지로부터 하나 이상의 특징을 추출하고, 주어진 훈련 이미지에 묘사된 신체의 관절 위치들을 분석함으로써 주어진 훈련 이미지에 인접한 후속 이미지에서 신체 자세를 추정한다. 머신 러닝 기법은 후속 이미지에서 신체 자세를 식별하는 훈련 이미지에 대응하는 실측 정보를 획득하고, 후속 이미지에 묘사된 신체 자세의 후속 추정들 및 후속 이미지에서의 신체 자세 및 스케일의 추정들을 개선하기 위해 하나 이상의 계수를 조정한다. 일부 구현들에서, 훈련 동안에, 머신 러닝 기법은 각각의 훈련 이미지에 대한 기준 3D 깊이 맵들을 획득하고 기준 3D 깊이 맵을 이용하여 신체 자세를 추정한다.

메시징 서버 시스템(108)은 네트워크(106)를 통해 특정 메시징 클라이언트 애플리케이션(104)에 서버 측 기능성을 제공한다. 메시징 시스템(100)의 특정 기능들이 메시징 클라이언트 애플리케이션(104)에 의해 또는 메시징 서버 시스템(108)에 의해 수행되는 것으로 본 명세서에 설명되지만, 메시징 클라이언트 애플리케이션(104) 또는 메시징 서버 시스템(108) 내에서의 특정 기능성의 위치는 설계 선택사항이라는 것을 인식할 것이다. 예를 들어, 처음에 메시징 서버 시스템(108) 내에 특정 기술 및 기능성을 배치하지만, 나중에 클라이언트 디바이스(102)가 충분한 처리 용량을 갖는 메시징 클라이언트 애플리케이션(104)으로 이 기술 및 기능성을 이주시키는 것이 기술적으로 바람직할 수 있다.

메시징 서버 시스템(108)은 메시징 클라이언트 애플리케이션(104)에 제공되는 다양한 서비스들 및 동작들을 지원한다. 그러한 동작들은 메시징 클라이언트 애플리케이션(104)에 데이터를 송신하고, 그로부터 데이터를 수신하고, 그에 의해 생성된 데이터를 처리하는 것을 포함한다. 이 데이터는, 예로서, 메시지 콘텐츠, 클라이언트 디바이스 정보, 지오로케이션 정보, 미디어 주석 및 오버레이, 가상 객체, 메시지 콘텐츠 지속 조건, 소셜 네트워크 정보, 및 라이브 이벤트 정보를 포함할 수 있다. 메시징 시스템(100) 내에서의 데이터 교환은 메시징 클라이언트 애플리케이션(104)의 사용자 인터페이스(UI)들을 통해 이용 가능한 기능들을 통해 기동되고 제어된다.

이제 구체적으로 메시징 서버 시스템(108)을 참조하면, 애플리케이션 프로그램 인터페이스(API) 서버(110)가 애플리케이션 서버(112)에 결합되어 프로그램 방식의 인터페이스(programmatic interface)를 제공한다. 애플리케이션 서버(112)는 데이터베이스 서버(118)에 통신가능하게 결합되고, 데이터베이스 서버는 애플리케이션 서버(112)에 의해 처리되는 메시지들과 연관된 데이터가 저장되는 데이터베이스(120)로의 액세스를 용이하게 한다.

API 서버(110)를 구체적으로 다루면, 이 서버(110)는 클라이언트 디바이스(102)와 애플리케이션 서버(112) 사이에서 메시지 데이터(예를 들어, 명령들 및 메시지 페이로드들)를 수신하고 송신한다. 구체적으로, API 서버(110)는, 애플리케이션 서버(112)의 기능성을 기동시키기 위해 메시징 클라이언트 애플리케이션(104)에 의해 호출되거나 질의될 수 있는 한 세트의 인터페이스들(예를 들어, 루틴들 및 프로토콜들)을 제공한다. API 서버(110)는 계정 등록; 로그인 기능성; 애플리케이션 서버(112)를 통해, 특정한 메시징 클라이언트 애플리케이션(104)으로부터 또 다른 메시징 클라이언트 애플리케이션(104)으로의 메시지의 전송; 또 다른 메시징 클라이언트 애플리케이션(104)에 의한 가능한 액세스를 위해, 메시징 클라이언트 애플리케이션(104)으로부터 메시징 서버 애플리케이션(114)으로의 미디어 파일들(예를 들어, 이미지들 또는 비디오)의 전송; 미디어 데이터의 컬렉션(예를 들어, 스토리)의 설정; 그러한 컬렉션들의 검색; 클라이언트 디바이스(102)의 사용자의 친구들의 리스트의 검색; 메시지들 및 콘텐츠의 검색; 소셜 그래프에 친구들을 추가 및 삭제하는 것; 소셜 그래프 내에서의 친구들의 위치; 사용자 대화 데이터에 대한 액세스; 메시징 서버 시스템(108)에 저장된 아바타 정보에 액세스하는 것; 및 애플리케이션 이벤트(예를 들어, 메시징 클라이언트 애플리케이션(104)에 관련됨)를 여는 것을 포함하여, 애플리케이션 서버(112)에 의해 지원되는 다양한 기능들을 노출시킨다.

애플리케이션 서버(112)는 메시징 서버 애플리케이션(114), 이미지 처리 시스템(116), 소셜 네트워크 시스템(122), 및 신체 자세 추정 시스템(124)을 포함하여, 다수의 애플리케이션 및 서브시스템을 호스팅한다. 메시징 서버 애플리케이션(114)은, 특히 메시징 클라이언트 애플리케이션(104)의 다중의 인스턴스로부터 수신된 메시지들에 포함된 콘텐츠(예를 들어, 텍스트 및 멀티미디어 콘텐츠)의 모음(aggregation) 및 다른 처리에 관련된, 다수의 메시지 처리 기술 및 기능을 구현한다. 더 상세히 설명되는 바와 같이, 다중의 소스로부터의 텍스트 및 미디어 콘텐츠는, 콘텐츠의 컬렉션들(예를 들어, 스토리 또는 갤러리라고 불림)로 모아질 수 있다. 그 후, 이러한 컬렉션들은 메시징 서버 애플리케이션(114)에 의해, 메시징 클라이언트 애플리케이션(104)에 이용 가능하게 된다. 데이터의 다른 프로세서 및 메모리 집약적인 처리는 또한, 그러한 처리를 위한 하드웨어 요건을 고려하여, 메시징 서버 애플리케이션(114)에 의해 서버 측에서 수행될 수 있다.

애플리케이션 서버(112)는 전형적으로 메시징 서버 애플리케이션(114)에서 메시지의 페이로드 내에서 수신된 이미지 또는 비디오에 관하여, 다양한 이미지 처리 동작들을 수행하는 데 전용되는 이미지 처리 시스템(116)을 또한 포함한다. 이미지 처리 시스템(116)의 일부는 또한 신체 자세 추정 시스템(124)에 의해 구현될 수 있다.

소셜 네트워크 시스템(122)은 다양한 소셜 네트워킹 기능 및 서비스를 지원하고 이들 기능 및 서비스를 메시징 서버 애플리케이션(114)에 이용 가능하게 한다. 이를 위해, 소셜 네트워크 시스템(122)은 데이터베이스(120) 내에 엔티티 그래프를 유지하고 그에 액세스한다. 소셜 네트워크 시스템(122)에 의해 지원되는 기능들 및 서비스들의 예들은, 특정 사용자가 관계를 가지거나 "팔로우하는" 메시징 시스템(100)의 다른 사용자들의 식별 및 또한 다른 엔티티들의 식별 및 특정 사용자의 관심사들을 포함한다. 그러한 다른 사용자들은 사용자의 친구들이라고 지칭될 수 있다.

애플리케이션 서버(112)는 데이터베이스 서버(118)에 통신가능하게 결합되고, 데이터베이스 서버는 메시징 서버 애플리케이션(114)에 의해 처리되는 메시지들과 연관된 데이터가 저장되는 데이터베이스(120)로의 액세스를 용이하게 한다.

도 2는 특정 예시적인 실시예들에 따른, 메시징 서버 시스템(108)의 데이터베이스(120)에 저장될 수 있는 데이터를 예시하는 개략도(200)이다. 데이터베이스(120)의 콘텐츠가 다수의 테이블을 포함하는 것으로 도시되어 있지만, 데이터는 다른 유형의 데이터 구조에 (예를 들어, 객체 지향형 데이터베이스로서) 저장될 수 있다는 것을 인식할 것이다.

데이터베이스(120)는 메시지 테이블(214) 내에 저장된 메시지 데이터를 포함한다. 엔티티 테이블(202)은 엔티티 그래프(204)를 포함하는 엔티티 데이터를 저장한다. 엔티티 테이블(202) 내에 레코드들이 유지되는 엔티티들은, 개인, 법인 엔티티, 조직, 객체, 장소, 이벤트 등을 포함할 수 있다. 유형에 관계없이, 그에 관해 메시징 서버 시스템(108)이 데이터를 저장하는 임의의 엔티티는 인식된 엔티티일 수 있다. 각각의 엔티티는 고유 식별자뿐만 아니라 엔티티 유형 식별자(도시되지 않음)를 구비한다.

엔티티 그래프(204)는 더욱이 엔티티들 간의 관계 및 연관에 관한 정보를 저장한다. 그러한 관계들은, 단지 예를 들어, 사회적, 전문적(예를 들어, 일반 법인 또는 조직에서의 일), 관심 기반, 또는 활동 기반일 수 있다.

메시지 테이블(214)은 사용자와 하나 이상의 친구 또는 엔티티 사이의 대화들의 컬렉션을 저장할 수 있다. 메시지 테이블(214)은, 참가자들의 리스트, 대화의 크기(예를 들어, 사용자의 수 및/또는 메시지의 수), 대화의 채팅 컬러, 대화에 대한 고유 식별자, 및 임의의 다른 대화 관련 특징(들)과 같은, 각각의 대화의 다양한 속성들을 포함할 수 있다.

데이터베이스(120)는 또한 주석 데이터를 필터들의 예시적인 형태로 주석 테이블(212)에 저장한다. 데이터베이스(120)는 또한 주석 테이블(212)에서 수신된 주석된 콘텐츠를 저장한다. 주석 테이블(212) 내에 데이터가 저장되는 필터들은, (비디오 테이블(210)에 데이터가 저장되는) 비디오들 및/또는 (이미지 테이블(208)에 데이터가 저장되는) 이미지들과 연관되고 이들에 적용된다. 한 예에서, 필터들은 수신 사용자에의 프레젠테이션 동안 이미지 또는 비디오 상에 오버레이되어 디스플레이되는 오버레이들(overlays)이다. 필터들은, 전송측 사용자가 메시지를 작성하고 있을 때 메시징 클라이언트 애플리케이션(104)에 의해 전송측 사용자에게 제시되는 필터들의 갤러리로부터의, 사용자에 의해 선택된 필터들을 포함하여, 다양한 유형들의 것일 수 있다. 다른 유형의 필터들은, 지리적 위치에 기초하여 전송측 사용자에게 제시될 수 있는 지오로케이션 필터(지오필터(geo-filter)라고도 알려짐)를 포함한다. 예를 들어, 이웃 또는 특수한 위치에 특정적인 지오로케이션 필터들이 클라이언트 디바이스(102)의 GPS(Global Positioning System) 유닛에 의해 결정된 지오로케이션 정보에 기초하여 메시징 클라이언트 애플리케이션(104)에 의해 UI 내에 제시될 수 있다. 또 다른 유형의 필터는, 메시지 생성 프로세스 동안 클라이언트 디바이스(102)에 의해 수집된 정보 또는 다른 입력들에 기초하여, 메시징 클라이언트 애플리케이션(104)에 의해 전송측 사용자에게 선택적으로 제시될 수 있는 데이터 필터이다. 데이터 필터들의 예들은, 특정 위치에서의 현재 온도, 전송측 사용자가 이동하고 있는 현재 속도, 클라이언트 디바이스(102)에 대한 배터리 수명, 또는 현재 시간을 포함한다.

이미지 테이블(208) 내에 저장될 수 있는 다른 주석 데이터는 소위 "렌즈(lens)" 데이터이다. "렌즈"는 이미지 또는 비디오에 추가될 수 있는 실시간 특수 효과 및 사운드일 수 있다.

위에 언급된 바와 같이, 비디오 테이블(210)은, 일 실시예에서, 메시지 테이블(214) 내에 레코드들이 유지되는 메시지들과 연관되는 비디오 데이터를 저장한다. 유사하게, 이미지 테이블(208)은 엔티티 테이블(202)에 메시지 데이터가 저장되는 메시지들과 연관된 이미지 데이터를 저장한다. 엔티티 테이블(202)은 주석 테이블(212)로부터의 다양한 주석들을 이미지 테이블(208) 및 비디오 테이블(210)에 저장된 다양한 이미지들 및 비디오들과 연관시킬 수 있다.

훈련된 머신 러닝 기법(들)(207)은 신체 자세 추정 시스템(124)의 훈련 동안 훈련된 파라미터들을 저장한다. 예를 들어, 훈련된 머신 러닝 기법(207)은 신경망 머신 러닝 기법의 훈련된 파라미터를 저장한다.

신체 자세 훈련 이미지(209)는 실세계 신체 자세의 묘사의 복수의 이미지를 저장한다. 신체 자세 훈련 이미지(209)에 저장된 복수의 이미지는, 각각의 이미지에 대해 3D 깊이 센서로부터 캡처된 3D 깊이 정보와 함께 실세계 신체 자세의 다양한 묘사를 포함한다. 복수의 이미지는 또한 신체 자세 및 하나 이상의 신체 골격 관절의 실측 골격 관절 위치들을 식별하는 실측 정보를 포함한다. 주어진 자세에 대해 식별되는 골격 관절 위치들의 예들이 도 5에 도시되어 있다. 이러한 골격 관절 위치들은 오른쪽 손목, 오른쪽 팔꿈치, 오른쪽 어깨, 얼굴의 코, 왼쪽 어깨, 왼쪽 팔꿈치, 및 왼쪽 손목의 위치를 포함한다. 골격 관절 위치들은 주어진 자세를 결정하기 위해 서로에 대해 결정될 수 있다(예를 들어, 하나의 골격 관절이 또 다른 골격 관절에 대해 얼마나 높은지 또는 하나의 골격 관절이 코에 대해 얼마나 높거나 낮은지). 이들 신체 자세 훈련 이미지(209)는, 사용자의 신체의 수신된 RGB 단안 이미지로부터 신체 자세 및 골격 관절 위치를 결정하는데 이용되는 머신 러닝 기법을 훈련하기 위해 신체 자세 추정 시스템(124)에 의해 이용된다.

도 2로 돌아가면, 스토리 테이블(206)은, 컬렉션(예를 들어, 스토리 또는 갤러리)으로 편집되는, 메시지들 및 연관된 이미지, 비디오, 또는 오디오 데이터의 컬렉션들에 관한 데이터를 저장한다. 특정 컬렉션의 생성은 특정 사용자(예를 들어, 엔티티 테이블(202)에 레코드가 유지되는 각각의 사용자)에 의해 개시될 수 있다. 사용자는 그 사용자에 의해 생성되고 전송/브로드캐스팅된 콘텐츠의 컬렉션의 형태로 "개인 스토리(personal story)"를 생성할 수 있다. 이를 위해, 메시징 클라이언트 애플리케이션(104)의 UI는, 전송측 사용자가 자신의 개인 스토리에 특정 콘텐츠를 추가하는 것을 가능하게 하기 위해 사용자 선택가능한 아이콘을 포함할 수 있다.

컬렉션은 또한, 수동으로, 자동으로 또는 수동 및 자동 기법의 조합을 이용하여 생성된 다중 사용자로부터의 콘텐츠의 컬렉션인 "라이브 스토리"를 구성할 수 있다. 예를 들어, "라이브 스토리"는 다양한 위치들 및 이벤트들로부터의 사용자-제출 콘텐츠(user-submitted content)의 큐레이팅된 스트림(curated stream)을 구성할 수 있다. 그 클라이언트 디바이스들이 위치 서비스 가능하고 특정 시간에 공통 위치 이벤트에 있는 사용자들에게는, 예를 들어, 메시징 클라이언트 애플리케이션(104)의 UI를 통해, 특정 라이브 스토리에 콘텐츠를 기여하는 옵션이 제시될 수 있다. 라이브 스토리는 그의 위치에 기초하여 메시징 클라이언트 애플리케이션(104)에 의해 사용자에게 식별될 수 있다. 최종 결과는 커뮤니티 관점에서 말한 "라이브 스토리"이다.

특정 지리적 위치(예를 들어, 단과대학 또는 대학 캠퍼스) 내에 그의 클라이언트 디바이스(102)가 위치되는 사용자가 특정 컬렉션에 기여하는 것을 가능하게 하는 추가적인 유형의 콘텐츠 컬렉션은 "위치 스토리(location story)"라고 알려져 있다. 일부 실시예들에서, 위치 스토리에 대한 기여는 최종 사용자가 특정 조직 또는 다른 엔티티에 속하는지(예를 들어, 대학 캠퍼스의 학생인지)를 검증하기 위해 제2 인증 정도(second degree of authentication)를 요구할 수 있다.

도 3은 추가 메시징 클라이언트 애플리케이션(104) 또는 메시징 서버 애플리케이션(114)으로의 통신을 위해 메시징 클라이언트 애플리케이션(104)에 의해 생성된, 일부 실시예들에 따른, 메시지(300)의 구조를 예시하는 개략도이다. 특정 메시지(300)의 콘텐츠는 메시징 서버 애플리케이션(114)에 의해 액세스 가능한, 데이터베이스(120) 내에 저장된 메시지 테이블(214)을 채우기 위해 사용된다. 유사하게, 메시지(300)의 콘텐츠는 클라이언트 디바이스(102) 또는 애플리케이션 서버(112)의 "수송 중(in-transit)" 또는 "비행 중(in-flight)" 데이터로서 메모리에 저장된다. 메시지(300)는 다음과 같은 컴포넌트들을 포함하는 것으로 도시되어 있다:

● 메시지 식별자(302): 메시지(300)를 식별하는 고유 식별자.

● 메시지 텍스트 페이로드(304): 클라이언트 디바이스(102)의 UI를 통해 사용자에 의해 생성되고 메시지(300)에 포함되는 텍스트.

● 메시지 이미지 페이로드(306): 클라이언트 디바이스(102)의 카메라 컴포넌트에 의해 캡처되거나 클라이언트 디바이스(102)의 메모리로부터 검색되고, 메시지(300)에 포함되는 이미지 데이터.

● 메시지 비디오 페이로드(308): 카메라 컴포넌트에 의해 캡처되거나 클라이언트 디바이스(102)의 메모리 컴포넌트로부터 검색되고 메시지(300)에 포함되는 비디오 데이터.

● 메시지 오디오 페이로드(310): 마이크로폰에 의해 캡처되거나 클라이언트 디바이스(102)의 메모리 컴포넌트로부터 검색되고, 메시지(300)에 포함되는 오디오 데이터.

● 메시지 주석(312): 메시지(300)의 메시지 이미지 페이로드(306), 메시지 비디오 페이로드(308), 또는 메시지 오디오 페이로드(310)에 적용될 주석을 나타내는 주석 데이터(예를 들어, 필터, 스티커, 또는 다른 강화물).

● 메시지 지속기간 파라미터(314): 메시지의 콘텐츠(예를 들어, 메시지 이미지 페이로드(306), 메시지 비디오 페이로드(308), 메시지 오디오 페이로드(310))가 메시징 클라이언트 애플리케이션(104)을 통해 사용자에게 제시되거나 액세스 가능하게 되는 시간의 양을 초 단위로 표시하는 파라미터 값.

● 메시지 지오로케이션 파라미터(316): 메시지의 콘텐츠 페이로드와 연관된 지오로케이션 데이터(예를 들어, 위도 및 경도 좌표). 다중의 메시지 지오로케이션 파라미터(316) 값이 페이로드에 포함될 수 있고, 이들 파라미터 값들 각각은 콘텐츠(예를 들어, 메시지 이미지 페이로드(306) 내의 특정 이미지, 또는 메시지 비디오 페이로드(308) 내의 특정 비디오)에 포함된 콘텐츠 아이템들에 관하여 연관된다.

● 메시지 스토리 식별자(318): 메시지(300)의 메시지 이미지 페이로드(306) 내의 특정 콘텐츠 아이템이 그와 연관되어 있는 하나 이상의 콘텐츠 컬렉션(예를 들어, "스토리")을 식별하는 식별자 값. 예를 들어, 메시지 이미지 페이로드(306) 내의 다중의 이미지 각각은 식별자 값들을 이용하여 다중의 콘텐츠 컬렉션과 연관될 수 있다.

● 메시지 태그(320): 각각의 메시지(300)는 다중의 태그로 태깅될 수 있고, 그 각각은 메시지 페이로드에 포함된 콘텐츠의 주제를 나타낸다. 예를 들어, 메시지 이미지 페이로드(306)에 포함된 특정 이미지가 동물(예를 들어, 사자)을 묘사하는 경우, 관련 동물을 나타내는 태그 값이 메시지 태그(320) 내에 포함될 수 있다. 태그 값은, 사용자 입력에 기초하여 수동으로 생성되거나, 예를 들어, 이미지 인식을 이용하여 자동으로 생성될 수 있다.

● 메시지 발신자 식별자(322): 그 상에서 메시지(300)가 생성되었고 그로부터 메시지(300)가 전송된 클라이언트 디바이스(102)의 사용자를 나타내는 식별자(예를 들어, 메시징 시스템 식별자, 이메일 주소, 또는 디바이스 식별자).

● 메시지 수신자 식별자(324): 메시지(300)가 어드레싱되는 클라이언트 디바이스(102)의 사용자(들)를 나타내는 식별자(예를 들어, 메시징 시스템 식별자, 이메일 주소, 또는 디바이스 식별자). 다중의 사용자 간의 대화의 경우에, 식별자는 대화에 수반된 각각의 사용자를 니타낼 수 있다.

메시지(300)의 다양한 컴포넌트들의 콘텐츠들(예를 들어, 값들)은 그 내에 콘텐츠 데이터 값들이 저장되어 있는 테이블들에서의 위치들에 대한 포인터들일 수 있다. 예를 들어, 메시지 이미지 페이로드(306)에서의 이미지 값은 이미지 테이블(208) 내의 위치에 대한 포인터(또는 그 주소)일 수 있다. 유사하게, 메시지 비디오 페이로드(308) 내의 값들은 비디오 테이블(210) 내에 저장된 데이터를 가리킬 수 있고, 메시지 주석(312) 내에 저장된 값들은 주석 테이블(212)에 저장된 데이터를 가리킬 수 있고, 메시지 스토리 식별자(318) 내에 저장된 값들은 스토리 테이블(206)에 저장된 데이터를 가리킬 수 있고, 메시지 발신자 식별자(322) 및 메시지 수신자 식별자(324) 내에 저장된 값들은 엔티티 테이블(202) 내에 저장된 사용자 레코드들을 가리킬 수 있다.

도 4는 예시적인 실시예들에 따른 예시적인 신체 자세 추정 시스템(124)을 도시하는 블록도이다. 신체 자세 추정 시스템(124)은 한 세트의 입력 데이터(예를 들어, 사용자의 실제 신체 및 신체 자세 훈련 이미지 데이터(402)를 묘사하는 단안 이미지(401))에 대해 동작한다. 입력 데이터의 세트는, 훈련 국면 동안에 데이터베이스(들)(200)에 저장된 신체 자세 훈련 이미지들(209)로부터 획득되고 AR/VR 애플리케이션(105)이 이용되고 있을 때 클라이언트 디바이스(102)의 RGB 카메라로부터 획득된다. 신체 자세 추정 시스템(124)은 머신 러닝 기법 모듈(412), 골격 관절 위치 모듈(414), 자세 결정 모듈(416), 가상 객체 수정 모듈(418), 가상 객체 모드 선택 모듈(419) 및 가상 객체 디스플레이 모듈(420)을 포함한다.

훈련 동안, 개시된 실시예들에 따르면, 신체 자세 추정 시스템(124)은 신체 자세 훈련 이미지 데이터(402)로부터 주어진 훈련 이미지(예를 들어, 사용자의 얼굴, 팔, 몸통, 엉덩이 및 다리의 이미지와 같은 실세계 신체를 묘사하는 단안 이미지(401))를 수신한다. 신체 자세 추정 시스템(124)은 주어진 훈련 이미지에 대해 머신 러닝 기법 모듈(412)을 이용하여 하나 이상의 머신 러닝 기법을 적용한다. 머신 러닝 기법 모듈(412)은 주어진 훈련 이미지로부터 하나 이상의 특징을 추출하여 이미지에 묘사된 골격 관절들의 골격 관절 위치들을 추정한다. 예를 들어, 머신 러닝 기법 모듈(412)은 사용자의 얼굴, 팔, 몸통, 엉덩이 및 다리를 묘사하는 주어진 훈련 이미지를 획득한다. 머신 러닝 기법 모듈(412)은 하나 이상의 골격 관절(예를 들어, 왼쪽/오른쪽 손목 관절들, 왼쪽/오른쪽 팔꿈치 관절들, 왼쪽/오른쪽 어깨 관절들, 및 코 위치를 포함하는 도 5에 도시된 관절들)을 식별하기 위해 사용자의 얼굴 및 팔들에 대응하는 특징들을 이미지로부터 추출한다.

머신 러닝 기법 모듈(412)은 골격 관절 위치들에 대응하는 자세를 결정하기 위해 식별된 골격 관절들의 상대적 위치들을 결정한다. 실시예에서, 머신 러닝 기법 모듈(412)은 신체의 골격 관절 위치들 및 자세의 결정을 돕기 위해 주어진 훈련 이미지와 연관된 깊이 정보를 사용한다. 머신 러닝 기법 모듈(412)은 결정된 골격 관절 위치들 및 결정된 자세를 신체 자세 훈련 이미지 데이터(402)의 일부로서 제공된 실측 골격 관절 위치들 및 자세와 비교한다. 비교의 차이 임계값에 기초하여, 머신 러닝 기법 모듈(412)은 하나 이상의 계수를 업데이트하고 하나 이상의 추가적인 신체 자세 훈련 이미지를 획득한다. 명시된 수의 시기(epoch) 또는 훈련 이미지가 처리된 후에 및/또는 차이 임계값이 명시된 값에 도달할 때, 머신 러닝 기법 모듈(412)은 훈련을 완료하고 머신 러닝 기법 모듈(412)의 파라미터들 및 계수들은 훈련된 머신 러닝 기법(들)(207)에 저장된다. 일부 실시예들에서, 머신 러닝 기법 모듈(412)의 부분들은 골격 관절 위치 모듈(414) 및 자세 결정 모듈(416)에 의해 구현된다.

훈련 후에, 개시된 실시예들에 따르면, 신체 자세 추정 시스템(124)은 클라이언트 디바이스(102)로부터 단일 RGB 이미지로서 입력 이미지(401)(예를 들어, 사용자의 얼굴, 팔, 몸통, 엉덩이 및 다리의 이미지와 같은 실세계 신체를 묘사하는 단안 이미지)를 수신한다. 신체 자세 추정 시스템(124)은 훈련된 머신 러닝 기법 모듈(412)을 수신된 입력 이미지(401)에 적용하여 이미지(401)에 묘사된 신체의 골격 관절들을 나타내는 하나 이상의 특징을 추출한다.

일부 실시예들에서, 특징들이 사용자의 신체를 묘사하는 비디오 스트림으로부터 추출되는 레이트는 사용자가 이미지 캡처 디바이스에 대해 얼마나 가깝게 또는 멀리 떨어져 위치되는지에 기초한다. 예를 들어, 사용자가 이미지 캡처 디바이스로부터 멀리 위치해 있고 비디오의 이미지들에서 실제로 작은 것처럼 보이는 경우, 특징들 및 그 결과 사용자의 신체의 자세가 덜 빈번히(예컨대, 5 프레임마다) 분석된다. 사용자가 이미지 캡처 디바이스에 가깝게 위치하고 비디오의 이미지들에서 크게 보이는 경우, 특징들 및 그 결과 사용자의 신체의 자세가 보다 빈번히(예컨대, 2 프레임마다) 분석된다. 추출된 특징들은 골격 관절 위치 모듈(414)에 제공된다. 골격 관절 위치 모듈(414)은 특정 골격 관절들의 좌표들을 결정하기 위해 골격 관절 특징들을 분석한다. 예를 들어, 골격 관절 위치 모듈(414)은 왼쪽 손목의 x,y 좌표, 왼쪽 팔꿈치의 x,y 좌표, 왼쪽 어깨의 x,y 좌표, 코의 (또는 입, 귀 또는 눈과 같은 다른 얼굴 특징의) x,y 좌표, 오른쪽 손목의 x,y 좌표, 오른쪽 팔꿈치의 x,y 좌표, 및 오른쪽 어깨의 x,y 좌표와 같은, 각각의 골격 관절의 특정 지점의 x,y 좌표를 결정한다. 골격 관절 위치 모듈(414)은 특정된 골격 관절들의 x,y 좌표들을 자세 결정 모듈(416)에 제공한다. 일부 실시예들에서, 골격 관절 위치 모듈(414)은 특정된 골격 관절들의 x,y 좌표들을 가상 객체 수정 모듈(418)에 제공한다. 실시예에서, x,y 좌표는 신체의 중립 자세에 대한 각각의 골격 관절의 x,y 오프셋들을 나타낸다.

자세 결정 모듈(416)은 골격 관절 위치 모듈(414)로부터 수신된 골격 관절들 각각의 상대적 위치들을 결정한다. 예를 들어, 자세 결정 모듈(416)은 왼쪽 손목이 제1 지정된 양보다 많지만 제2 지정된 양보다 적게 오른쪽 손목보다 y 방향으로 더 낮은 것으로 결정한다. 이 결정에 기초하여, 자세 결정 모듈(416)은 이미지에 묘사된 자세가 제1 자세에 대응한다고 추정한다. 또 다른 예로서, 자세 결정 모듈(416)은 왼쪽 손목이 제1 지정된 양 및 제2 지정된 양보다 많이 오른쪽 손목보다 y 방향으로 더 낮은 것으로 결정한다. 이 결정에 기초하여, 자세 결정 모듈(416)은 이미지에 묘사된 자세가 제2 자세에 대응한다고 추정한다. 일부 실시예들에서, 자세 결정 모듈(416)은 골격 관절 위치 모듈(414)로부터 수신된 x,y 좌표에 기초하여 데이터베이스를 검색하여 x,y 좌표의 미리 결정된 임계값 내에 있는 자세를 식별한다.

가상 객체 모드 선택 모듈(419)은 클라이언트 디바이스(102)로부터 가상화 모드의 선택을 수신한다. 예를 들어, AR/VR 애플리케이션(105)의 사용자에게 모드 옵션들의 리스트가 제시될 수 있다. 리스트로부터의 주어진 모드 옵션의 사용자 선택을 수신한 것에 응답하여, 주어진 모드는 가상화 모드의 선택으로서 가상 객체 모드 선택 모듈(419)에 제공된다. 모드 옵션들은 단일 아바타 모방 옵션, 다중의 아바타 모방 옵션, 아바타 시각화 제어 옵션, 아바타 추종 옵션, 및 아바타 가상 세계 상호작용 옵션을 포함할 수 있다. 가상화 모드 선택은 사용자의 신체의 골격 관절 위치들이 사용자에 대한 디스플레이에서 아바타의 골격 리그 또는 아바타의 위치에 영향을 미치는 방식을 제어한다. 모드 옵션들은 사용자가 선택할 상이한 형태들 및 유형들의 아바타들의 리스트를 포함할 수 있다. 그 후 선택된 아바타는 사용자의 자세에 따라 골격 리그를 조정하기 위해 대응하는 리그를 검색하는 데 이용된다.

가상 객체 수정 모듈(418)은 가상 객체 모드 선택 모듈(419)에 의해 선택된 모드 및 골격 관절 위치 모듈(414) 및/또는 자세 결정 모듈(416)로부터 수신된 자세 또는 골격 관절 위치들에 기초하여 주어진 아바타의 골격 리그를 조정할 수 있다. 가상 객체 수정 모듈(418)은 예를 들어, 이미지에서의 아바타의 자세, 시각적 속성 및/또는 위치를 변경함으로써 이미지에서 아바타가 제시되는 방식을 조정한다. 조정된 아바타는 가상 객체 수정 모듈(418)에 의해 가상 객체 디스플레이 모듈(420)에 제공된다. 가상 객체 디스플레이 모듈(420)은 조정된 아바타를 사용자의 신체를 묘사하는 수신된 단안 이미지가 되도록 조합하여, 조정된 아바타 및 사용자 둘 모두가 이미지에서 동시에 제시되도록 한다. 이미지는 가상 객체 디스플레이 모듈(420)에 의해 클라이언트 디바이스(102)에 제공되고, 그 후 다른 사용자에게 전송되거나 나중의 액세스 및 디스플레이를 위해 저장될 수 있다.

예를 들어, 단일 아바타 모방 옵션의 선택은 가상 객체 수정 모듈(418)에게 사용자의 신체의 골격 관절들 사이의 상대적 거리들에 기초하여 아바타의 골격 리그를 수정하도록 지시한다. 이러한 방식으로, 골격 리그는 사용자의 신체에 의해 표현되는 자세를 복사하거나 모방하도록 수정된다. 구체적으로, 왼쪽 손목이 캡처된 RGB 이미지 내에서 특정 비율 또는 백분율만큼 왼쪽 손목의 중립 위치로부터 더 높게 오프셋된 것으로 결정되는 경우, 아바타 골격 리그의 대응하는 왼쪽 손목은 동일한 비율 또는 백분율만큼 아바타의 왼쪽 손목의 중립 위치로부터 또한 더 높은 위치로 상승된다. 각각의 골격 리그 관절은 이미지에 묘사된 신체의 골격 관절 위치들의 상대적 위치를 복사하도록 유사하게 조정된다. 예를 들면, 도 7a에 도시된 바와 같이, 사용자의 신체(723)가 식별되고 사용자의 신체(723)의 왼쪽 손목 관절 위치는 중립의 왼쪽 손목 관절 위치보다 제1 양만큼 더 낮게 오프셋되는 것으로 결정되고, 사용자의 신체(723)의 오른쪽 손목 관절 위치는 중립의 오른쪽 손목 관절 위치보다 제2 양만큼 더 높게 오프셋되는 것으로 결정된다. 실시예에서, 도 5는 사용자의 신체의 중립 골격 관절 위치들을 나타낸다. 아바타(734)의 리그의 골격 관절 위치들은 유사한 제1 및 제2 양들만큼 오프셋되도록 그들의 대응하는 중립 위치들에 대해 유사하게 조정된다. 그 결과, 아바타(734)는 사용자의 신체(723)에 의해 표현되는 자세를 모방하거나 복사하는 것처럼 보인다.

또 다른 예로서, 다중의 아바타 모방 옵션의 선택은 가상 객체 수정 모듈(418)에게 사용자의 신체의 골격 관절들 사이의 상대적 거리들에 기초하여 아바타의 다중의 사본의 골격 리그들을 수정하도록 지시한다. 다중의 아바타 모방 옵션은 도 8a의 이미지(1011)에 도시된 바와 같은 제1 중립 위치(1020)에 묘사된 아바타들로 하여금 이미지(1012)에 도시된 바와 같은 사용자의 신체에 대응하는 자세로 애니메이션하게 야기한다. 구체적으로는, 이미지(1011)에 보여지는 다중의 아바타가 상이한 중립 자세들로 등장할 수 있다(예컨대, 4개의 다리 전부로 바닥에서 기어감). 다중의 아바타 모방 옵션의 선택에 응답하여, 자세 추정 시스템(124)은 수신된 단안 RGB 이미지들의 시퀀스를 분석하여 사용자의 자세가 특정된 자세와 일치할 때를 결정한다. 사용자의 자세가 특정된 자세와 일치한다고 결정한 것에 응답하여, 자세 추정 시스템(124)은 모든 아바타들로 하여금 사용자의 자세를 복사하게 야기한다(예를 들어, 2개의 다리로 서고 사용자와 유사한 자세로 왼쪽 및 오른쪽 팔을 위치시킴). 아바타들의 골격 리그들은 단일 아바타 모방 옵션이 선택되었을 때 단일 아바타에 대해 행해진 것과 유사한 방식으로 조정된다. 또 다른 예가 이미지들(1013 및 1014)에 도시되어 있다. 이미지(1013)에서, 아바타들(1030)은 중립 위치(바닥에 평평하게 놓임)로부터 사용자의 자세를 모방하는 자세 위치(1032)로 천이한다(예를 들어, 2개의 다리로 서고 사용자와 유사한 자세로 왼쪽 및 오른쪽 팔을 위치시킴). 아바타가 종이들의 컬렉션일 때, 종이들은, 종이들이 사용자의 앞에서 또는 뒤에서 그리고 사용자의 신체 자세와 일치하는 자세로 특정 순서로 배열될 때까지 날아다니는 것으로서 애니메이션된다.

또 다른 예로서, 아바타 시각화 제어 옵션의 선택은 가상 객체 수정 모듈(418)에게 사용자의 자세에 기초하여 아바타의 시각적 속성을 수정하도록 지시한다. 예를 들어, 아바타는 위에서 아래로 또는 왼쪽에서 오른쪽으로 주어진 레이트로 움직이는 것으로 스크린 상에 제시된다. 구체적으로, 도 8b의 이미지(1110)에 도시된 구름들은 사용자의 앞에서 스크린을 가로질러 아래로 이동하는 것으로 애니메이션될 수 있다. 사용자의 자세에 기초하여 또는 사용자가 어느 한 자세로부터 다른 자세로 얼마나 느리게 또는 빠르게 천이하는지에 기초하여, 구름들이 스크린을 가로질러 이동하는 레이트가 증가 또는 감소될 수 있다. 또 다른 예로서, 아바타(예를 들어, 구름)는 이미지(1112)에 도시된 바와 같이 사용자의 손 위에 위치될 수 있다. 사용자가 수직이고 공중에서 위로 뻗은 손들로부터 수평으로 연장하는 손들을 갖는 것으로 자세를 변경할 때, 아바타는 사용자의 손들을 계속 추종하고 사용자의 손들 위에 위치되지만 아바타의 시각적 속성은 이미지(1114)에 도시된 바와 같이 변한다(예를 들어, 구름들은 이제 한 손 위에 위치된 제1 구름으로부터 제2 손 위에 위치된 제2 구름까지 사용자 위쪽에 무지개를 제시한다). 시각적 속성에서의 변화는 또한 아바타 상에 묘사된 얼굴을 미소짓는 것으로부터 찡그리는 것으로 변경하는 것을 포함할 수 있거나 또는 아바타의 색이 사용자의 골격 관절 위치들에 대한 변화에 기초하여 변경될 수 있다.

또 다른 예로서, 아바타 가상 세계 상호작용의 선택은 가상 객체 수정 모듈(418)에게 아바타로 하여금 이미지에 있는 또 다른 가상 객체와 상호작용하게 야기하도록 지시한다. 예를 들어, 아바타는 가상 객체들(예를 들어, 가상 나무 및 나무 상의 가상 사과)을 포함하는 이미지에 디스플레이된다. 아바타 자세 및 움직임은 아바타가 가상 객체들과 상호작용하는 것을 허용하는 방식으로 사용자의 골격 관절 위치들을 추적하고 모방한다. 구체적으로, 도 8c는 수직 방향에서 서로에 대해 특별 위치 레벨에 있는 오른쪽 및 왼쪽 손목들을 갖는 팔들을 갖는 아바타(812) 및 가상 사과(810)를 나타낸다. 이 위치에서의 아바타(812)의 오른손은 가상 사과(810)로부터 제1 거리만큼 떨어져 있다. 이미지에 묘사된 사용자의 신체(820)가 오른팔을 올릴 때, 아바타(812)의 오른팔(816)도 왼팔에 대해 올려지고, 이는 또한 아바타(812)의 오른 손목을 올린다. 이 위치에서, 아바타(812)의 오른 손목 및 팔꿈치는 왼쪽 손목 및 팔꿈치보다 높고, 아바타(812)의 오른손은 가상 사과(810)로부터 제2 거리만큼 떨어져 있다. 아바타(812)의 오른손과 가상 사과(810)의 위치 사이의 거리는 임계값보다 작은 것으로 결정되며, 결과적으로 가상 사과(810)는 가상 나무(814)로부터 분리되어, 아바타(812)의 오른손에 고정된다. 도시된 바와 같이, 가상 사과(810)는 더 이상 가상 나무(814) 상에 제시되지 않고, 사용자가 그들의 팔을 내릴 때, 아바타의 왼쪽 및 오른쪽 팔도 내려져서 오른손이 이제 가상 사과(810)를 잡고 있음을 드러낸다. 이러한 방식으로, 사용자는 아바타(812)로 하여금 사용자의 자세를 모방하여 이미지 또는 비디오에서의 하나 이상의 가상 객체와 상호작용하게 야기할 수 있다.

또 다른 예로서, 아바타 추종 옵션의 선택은 가상 객체 수정 모듈(418)에게 아바타와 사용자 간의 주어진 거리를 유지하도록 지시한다. 구체적으로, 이 옵션은 아바타로 하여금 이미지들의 시퀀스를 통해 사용자를 따라가게 야기한다. 예를 들어, 사용자의 신체를 묘사하는 이미지에서의 아바타의 위치는 이미지에서의 사용자의 신체 위치가 변함에 따라 변경된다. 특히, 사용자가 특정 양만큼 오른쪽으로 이동하는 경우, 디스플레이된 아바타의 위치도 동일한 특정 양만큼 오른쪽으로 이동된다. 도 8c는 이미지에 묘사된 사용자에 대한 제1 위치(830) 및 2D 또는 3D 공간에서 아바타와 사용자 사이의 제1 거리에 있는 아바타를 도시한다. 사용자가 제2 위치로 이동함에 따라, 아바타는 이미지에 묘사된 사용자로부터 동일한 거리를 유지하기 위해 제2 위치(832)로 이동된다.

도 6은 예시적인 실시예들에 따른, 프로세스(600)를 수행함에 있어서 신체 자세 추정 시스템(124)의 예시적인 동작들을 예시하는 흐름도이다. 프로세스(600)는, 프로세스(600)의 동작들이 메시징 서버 시스템(108) 및/또는 AR/VR 애플리케이션(105)의 기능 컴포넌트들에 의해 부분적으로 또는 전체적으로 수행될 수 있도록 하나 이상의 프로세서에 의한 실행을 위한 컴퓨터 판독가능한 명령어들로 구현될 수 있다; 그에 따라, 프로세스(600)는 이하에서 그를 참조하여 예로서 설명된다. 그러나, 다른 실시예들에서, 프로세스(600)의 동작들 중 적어도 일부는 다양한 다른 하드웨어 구성들 상에 배치될 수 있다. 따라서, 프로세스(600)는 메시징 서버 시스템(108)에 제한되는 것으로 의도되지 않으며, 전체적으로 또는 부분적으로 임의의 다른 컴포넌트에 의해 구현될 수 있다. 프로세스(600)의 동작들 중 일부 또는 전부는 병렬로, 비순차적으로 일 수 있거나, 또는 완전히 생략될 수 있다.

동작(601)에서, 신체 자세 추정 시스템(124)은 사용자의 신체의 묘사를 포함하는 단안 이미지를 수신한다. 예를 들어, 머신 러닝 기법 모듈(412)은 사용자의 신체를 묘사하는 단안 이미지(401)를 수신한다. 머신 러닝 기법 모듈(412)은 골격 관절들을 나타내는 하나 이상의 특징을 이미지로부터 추출한다.

동작(602)에서, 신체 자세 추정 시스템(124)은 단안 이미지(401)에 묘사된 신체의 복수의 골격 관절을 검출한다. 예를 들어, 골격 관절 위치 모듈(414)은 머신 러닝 기법 모듈(412)에 의해 추출된 특징들을 처리하여 한 세트의 골격 관절들의 위치들을 결정한다. 위치들은 각각의 골격 관절의 중립 위치들에 대해 결정될 수 있다.

동작(603)에서, 신체 자세 추정 시스템(124)은 신체의 검출된 복수의 골격 관절에 기초하여 단안 이미지(401)에 묘사된 신체에 의해 표현되는 자세를 결정한다. 예를 들어, 자세 결정 모듈(416)은 골격 관절 위치들에 대응하는 자세를 식별하기 위해 골격 관절 위치들 각각의 상대적 위치들을 분석한다.

동작(604)에서, 신체 자세 추정 시스템(124)은 검출된 신체의 복수의 골격 관절에 기초하여 아바타의 리그의 골격 관절들의 세트를 조정함으로써 단안 이미지(401)에 묘사된 신체에 의해 표현되는 자세와 일치하도록 아바타의 자세를 수정한다. 예를 들어, 가상 객체 수정 모듈(418)은 가상 객체 모드 선택 모듈(419)에 의해 제공되는 가상 객체 모드에 기초하여 아바타의 리그의 골격 관절들을 조정하여, 각각의 골격 관절이 이미지(401)에서의 신체의 대응하는 골격 관절이 중립 위치로부터 오프셋되는 양에 대응하는 양만큼 관절의 중립 위치에 대해 오프셋되도록 한다.

동작(605)에서, 신체 자세 추정 시스템(124)은, 디스플레이를 위해, 단안 이미지(401)에 묘사된 신체에 의해 표현된 자세와 일치하는 수정된 자세를 갖는 아바타를 생성한다. 예를 들어, 가상 객체 디스플레이 모듈(420)은 조정된 아바타를 수신하고, 클라이언트 디바이스(102)로의 송신을 위해 사용자의 신체를 묘사하는 이미지(401)에 아바타를 조합한다.

도 7a 내지 도 7c는 예시적인 실시예들에 따른 신체 자세 추정 시스템(124)의 예시적인 입력들 및 출력들을 도시한다. 도 7a 내지 도 7c에 도시된 입력들 및 출력들은 AR/VR 애플리케이션(105)에 의해 구현될 수 있다. 일부 실시예들에서, 제1 사용자는 신체 자세 추정 시스템(124)에 액세스하여 사용자 및 대응하는 아바타를 묘사하는 이미지들을 또 다른 사용자에게 교환한다. 제1 사용자에게는 아바타 선택 영역 및 이미지들의 교환을 시작하는 옵션을 포함하는 스크린(711)이 제시된다. 제1 사용자가 아바타를 선택하고 시작 옵션을 선택한 후에, 스크린(712)에서 제1 사용자에게 이미지 캡처 디바이스로부터의 특정된 거리에 제1 사용자를 위치시키라는 지시가 제시된다. 예를 들어, 제1 사용자는 사용자의 신체가 이미지 캡처 디바이스에 의해 캡처되는 이미지 내에 맞추어지도록 물러나라는 지시를 받는다.

실시예에서, 제1 사용자는 미리 결정된 골격 관절들의 세트가 보이지만 골격 관절들 전부가 보이지는 않을 때까지 이미지 캡처 디바이스로부터 충분히 멀리 떨어져 물러나라는 지시를 받는다. 구체적으로는, 신체 자세 추정 시스템(124)은 손목 위치, 팔꿈치 위치, 어깨 위치 및 코 위치만이 이미지에서 가시적일 필요를 가질 수 있지만, 다리 위치는 그렇지 않다. 일부 실시예들에서, 이미지에서 가시적인 제1 사용자의 골격 관절들은 아바타의 동일한 대응하는 골격 관절들로 하여금 조정되게 야기한다. 예를 들어, 이미지에서 제1 사용자의 팔들만이 가시적인 경우, 아바타의 팔들만이 제1 사용자의 팔 위치를 모방하도록 조정된다. 사용자의 다리들을 포함하는 사용자의 전체 신체가 가시적인 경우, 제1 사용자의 신체 자세를 모방하기 위해 아바타 다리들을 포함하는 전체 아바타 리그가 조정된다.

사용자의 신체 자세는 스크린(713)에서 획득되고, 신체 자세 추정 시스템(124)은 제1 사용자와 동일하거나 유사한 자세를 갖는 아바타(734)를 스크린(714)에서의 디스플레이를 위해 생성한다. 제1 사용자는 미리 결정된 단어를 말할 수 있거나, 또는 사용자가 임계 시간 기간 동안 동일한 자세를 유지하는 경우, 자세에 있는 사용자 및 사용자의 자세를 모방하는 아바타를 특징으로 하는 스크린샷 또는 이미지가 캡처된다.

도 7b에 도시된 바와 같이, 스크린샷(741)은 스크린(721)에서 제1 사용자에게 도시된다. 제2 사용자로부터의 대응하는 스크린샷의 수신이 계류 중임을 나타내는 공백 공간(760)이 스크린(721)에 포함될 수 있다. 제1 사용자는 수신자들의 리스트가 스크린(722)에 제시되게 야기하기 위해 공백 공간(760)을 선택하거나 누를 수 있다. 구체적으로, 스크린(722)은 제1 사용자의 친구들의 리스트를 제시한다. 제1 사용자는 주어진 친구 "매트"를 선택할 수 있고, 신체 자세 추정 시스템(124)은 스크린샷(741)을 선택된 친구 "매트"에게 송신한다.

도 7c에 도시된 바와 같이, 제2 사용자(731)는 제2 아바타(732)가 스크린(730)에 도시된 바와 같이 제2 사용자(731)의 자세를 모방하게 야기하기 위해 제1 사용자와 유사한 시퀀스를 따른다. 특히, 스크린(730)은 제2 사용자(731)와 연관된 상이한 모바일 디바이스 상에 제공된다. 제2 사용자(731)는 제2 아바타(732)를 선택하고, 신체 자세 추정 시스템(124)이 사용자(731)의 신체 자세를 추정하고 선택된 제2 아바타(732)를 조정하여 제2 사용자의 신체 자세를 모방할 수 있게끔 물러나도록 지시받는다. 신체 자세 추정 시스템(124)은 주어진 자세로 제2 사용자(731) 및 제2 아바타(732)를 묘사하는 이미지(751)를 캡처하고 캡처된 이미지(751)를 스크린(740)에 제시한다. 캡처된 이미지(751)는 제1 사용자에게 자동으로 전송된다. 주어진 자세로 제2 사용자(731) 및 제2 아바타(732)를 묘사하는 캡처된 이미지(751)는 또 다른 자세로 제1 사용자 및 제1 아바타를 묘사하는 스크린샷(741)과 함께 제시된다.

도 9는 본 명세서에 설명된 다양한 하드웨어 아키텍처들과 함께 사용될 수 있는 예시적인 소프트웨어 아키텍처(906)를 예시하는 블록도이다. 도 9는 소프트웨어 아키텍처의 비-제한적인 예이고, 많은 다른 아키텍처들이 본 명세서에 설명된 기능성을 용이하게 하기 위하여 구현될 수 있다는 것이 인식될 것이다. 소프트웨어 아키텍처(906)는, 무엇보다도, 프로세서들(1004), 메모리(1014), 및 입력/출력(I/O) 컴포넌트들(1018)을 포함하는 도 10의 머신(1000)과 같은 하드웨어 상에서 실행될 수 있다. 대표적인 하드웨어 계층(952)이 예시되어 있고, 예를 들어, 도 10의 머신(1000)을 나타낼 수 있다. 대표적인 하드웨어 계층(952)은 연관된 실행가능 명령어들(904)을 갖는 처리 유닛(954)을 포함한다. 실행가능 명령어들(904)은 본 명세서에 설명된 방법들, 컴포넌트들 등의 구현을 포함하는, 소프트웨어 아키텍처(906)의 실행가능 명령어들을 나타낸다. 하드웨어 계층(952)은 메모리 및/또는 스토리지 모듈들인 메모리/스토리지(956)를 또한 포함하고, 이들도 실행가능 명령어들(904)을 갖는다. 하드웨어 계층(952)은 다른 하드웨어(958)를 또한 포함할 수 있다.

도 9의 예시적인 아키텍처에서, 소프트웨어 아키텍처(906)는 각각의 계층이 특정 기능성을 제공하는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어 아키텍처(906)는 운영 체제(902), 라이브러리들(920), 프레임워크들/미들웨어(918), 애플리케이션들(916), 및 프레젠테이션 계층(914)과 같은 계층들을 포함할 수 있다. 동작적으로, 계층들 내의 애플리케이션들(916) 및/또는 다른 컴포넌트들은 소프트웨어 스택을 통해 API 호출들(908)을 기동시키고 API 호출들(908)에 응답하여 메시지들(912)을 수신할 수 있다. 예시된 계층들은 본질적으로 대표적인 것이며 소프트웨어 아키텍처들 모두가 모든 계층들을 갖는 것은 아니다. 예를 들어, 일부 모바일 또는 특수 목적 운영 체제들은 프레임워크들/미들웨어(918)를 제공하지 않을 수 있지만, 다른 것들은 그러한 계층을 제공할 수 있다. 다른 소프트웨어 아키텍처는 추가의 또는 상이한 계층들을 포함할 수 있다.

운영 체제(902)는 하드웨어 리소스들을 관리하고 공통 서비스들을 제공할 수 있다. 운영 체제(902)는, 예를 들어, 커널(922), 서비스들(924), 및 드라이버들(926)을 포함할 수 있다. 커널(922)은 하드웨어와 다른 소프트웨어 계층들 간에 추상화 계층(abstraction layer)으로서 역할을 할 수 있다. 예를 들어, 커널(922)은 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워킹, 보안 설정 등을 담당할 수 있다. 서비스들(924)은 다른 소프트웨어 계층들을 위한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(926)은 기저 하드웨어를 제어하거나 그와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버들(926)은 하드웨어 구성에 좌우되어 디스플레이 드라이버, 카메라 드라이버, Bluetooth® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, 범용 직렬 버스(USB) 드라이버), Wi-Fi® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함한다.

라이브러리들(920)은 애플리케이션들(916) 및/또는 다른 컴포넌트들 및/또는 계층들에 의해 사용되는 공통 인프라스트럭처를 제공한다. 라이브러리들(920)은 다른 소프트웨어 컴포넌트들이 기저 운영 체제(902) 기능성(예를 들어, 커널(922), 서비스들(924) 및/또는 드라이버들(926))과 직접 인터페이싱하는 것보다 더 쉬운 방식으로 작업들을 수행할 수 있게 하는 기능성을 제공한다. 라이브러리들(920)은 메모리 할당 기능들, 문자열 조작 기능들, 수학 기능들 등과 같은 기능들을 제공할 수 있는 시스템 라이브러리들(944)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리들(920)은 미디어 라이브러리들(예를 들어, MPREG4, H.264, MP3, AAC, AMR, JPG, PNG와 같은 다양한 미디어 포맷의 제시 및 조작을 지원하기 위한 라이브러리들), 그래픽 라이브러리들(예를 들어, 디스플레이 상의 그래픽 콘텐츠에서 2차원 및 3차원을 렌더링하기 위해 사용될 수 있는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예를 들어, 다양한 관계형 데이터베이스 기능들을 제공할 수 있는 SQLite), 웹 라이브러리들(예를 들어, 웹 브라우징 기능성을 제공할 수 있는 WebKit) 등과 같은 API 라이브러리들(946)을 포함할 수 있다. 라이브러리들(920)은 많은 다른 API들을 애플리케이션들(916) 및 다른 소프트웨어 컴포넌트들/모듈들에 제공하는 매우 다양한 다른 라이브러리들(948)을 또한 포함할 수 있다.

프레임워크들/미들웨어(918)(때때로 미들웨어라고도 지칭됨)는 애플리케이션들(916) 및/또는 다른 소프트웨어 컴포넌트들/모듈들에 의해 사용될 수 있는 상위 레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크들/미들웨어(918)는 다양한 그래픽 UI(GUI) 기능들, 하이-레벨 리소스 관리, 하이-레벨 위치 서비스들 등을 제공할 수 있다. 프레임워크들/미들웨어(918)는 애플리케이션들(916) 및/또는 다른 소프트웨어 컴포넌트들/모듈들에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있으며, 그 중 일부는 특정 운영 체제(902) 또는 플랫폼에 특정할 수 있다.

애플리케이션들(916)은 빌트인 애플리케이션들(938) 및/또는 제3자 애플리케이션들(940)을 포함한다. 대표적인 빌트인 애플리케이션들(938)의 예들은 연락처 애플리케이션, 브라우저 애플리케이션, 북 리더 애플리케이션, 위치 애플리케이션, 미디어 애플리케이션, 메시징 애플리케이션, 및/또는 게임 애플리케이션을 포함할 수 있지만, 이들로만 제한되지는 않는다. 제3자 애플리케이션들(940)은 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(SDK)를 이용하여 개발된 애플리케이션을 포함할 수 있고, IOS™, ANDROID™, WINDOWS® Phone, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 제3자 애플리케이션들(940)은 본 명세서에 설명된 기능성을 용이하게 하기 위해 모바일 운영 체제(예컨대 운영 체제(902))에 의해 제공되는 API 호출들(908)을 기동시킬 수 있다.

애플리케이션들(916)은 시스템의 사용자들과 상호작용하기 위한 UI들을 생성하기 위해 빌트인 운영 체제 기능들(예를 들어, 커널(922), 서비스들(924), 및/또는 드라이버들(926)), 라이브러리들(920), 및 프레임워크들/미들웨어(918)를 사용할 수 있다. 대안적으로 또는 추가적으로, 일부 시스템들에서, 사용자와의 상호작용들은 프레젠테이션 계층(914)과 같은 프레젠테이션 계층을 통해 발생할 수 있다. 이러한 시스템들에서, 애플리케이션/컴포넌트 "로직"은 사용자와 상호작용하는 애플리케이션/컴포넌트의 양태들로부터 분리될 수 있다.

도 10은, 머신 판독가능 매체(예를 들어, 머신 판독가능 저장 매체)로부터 명령어들을 판독하고 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예들에 따른, 머신(1000)의 컴포넌트들을 예시하는 블록도이다. 구체적으로, 도 10은 컴퓨터 시스템의 예시적인 형태의 머신(1000)의 도식적 표현을 도시하는 것으로, 그 안에서 머신(1000)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 명령어들(1010)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿(applet), 앱, 또는 다른 실행가능 코드)이 실행될 수 있다. 그에 따라, 명령어들(1010)은 본 명세서에 설명된 모듈들 또는 컴포넌트들을 구현하기 위해 사용될 수 있다. 명령어들(1010)은, 일반적인 비-프로그래밍된 머신(1000)을, 설명되고 예시된 기능들을 설명된 방식으로 수행하도록 프로그래밍된 특정한 머신(1000)으로 변환한다. 대안적인 실시예들에서, 머신(1000)은 독립형 디바이스로서 동작하거나 다른 머신들에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1000)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 자격으로 동작하거나, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1000)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), 개인 휴대 정보 단말기(PDA), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 다른 스마트 디바이스들, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(1000)에 의해 취해질 액션들을 특정하는 명령어들(1010)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이에 제한되지는 않는다. 또한, 단일 머신(1000)만이 예시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(1010)을 개별적으로 또는 공동으로 실행하는 머신들의 컬렉션을 포함하는 것으로도 취해질 것이다.

머신(1000)은, 예컨대 버스(1002)를 통해 서로 통신하도록 구성될 수 있는, 프로세서들(1004), 메모리/스토리지(1006), 및 I/O 컴포넌트들(1018)을 포함할 수 있다. 예시적인 실시예에서, 프로세서(1004)(예를 들어, 중앙 처리 유닛(CPU), RISC(reduced instruction set computing) 프로세서, CISC(complex instruction set computing) 프로세서, 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들어, 명령어(1010)를 실행할 수 있는 프로세서(1008) 및 프로세서(1012)를 포함할 수 있다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적 프로세서(때때로 "코어들"로서 지칭됨)를 포함할 수 있는 멀티-코어 프로세서(1004)를 포함하는 것으로 의도된다. 도 10은 다중 프로세서(1004)를 도시하지만, 머신(1000)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.

메모리/스토리지(1006)는 메인 메모리, 또는 다른 메모리 스토리지와 같은 메모리(1014), 및 스토리지 유닛(1016)을 포함할 수 있고, 이 둘 다에는 예컨대 버스(1002)를 통해 프로세서들(1004)이 액세스할 수 있다. 스토리지 유닛(1016) 및 메모리(1014)는 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(1010)을 저장한다. 명령어들(1010)은 또한, 머신(1000)에 의한 그의 실행 동안, 완전히 또는 부분적으로, 메모리(1014) 내에, 스토리지 유닛(1016) 내에, 프로세서들(1004) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적합한 조합으로 상주할 수 있다. 따라서, 메모리(1014), 스토리지 유닛(1016), 및 프로세서들(1004)의 메모리는 머신-판독가능 매체의 예들이다.

I/O 컴포넌트들(1018)은 입력을 수신하고, 출력을 제공하고, 출력을 생성하고, 정보를 송신하고, 정보를 교환하고, 측정들을 캡처하는 등을 위한 매우 다양한 컴포넌트들을 포함할 수 있다. 특정 머신(1000)에 포함되는 특정 I/O 컴포넌트들(1018)은 머신의 유형에 의존할 것이다. 예를 들어, 모바일 전화 등의 휴대용 머신은 터치 입력 디바이스 또는 기타의 이러한 입력 메커니즘을 포함할 수 있는 반면, 헤드리스 서버 머신(headless server machine)은 이러한 터치 입력 디바이스를 포함하지 않을 것이다. I/O 컴포넌트들(1018)은 도 10에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것을 인식할 것이다. I/O 컴포넌트들(1018)은 단지 이하의 논의를 간소화하기 위해 기능성에 따라 그룹화되어 있고, 이러한 그룹화는 결코 제한적인 것이 아니다. 다양한 예시적인 실시예들에서, I/O 컴포넌트들(1018)은 출력 컴포넌트들(1026) 및 입력 컴포넌트들(1028)을 포함할 수 있다. 출력 컴포넌트들(1026)은, 시각적 컴포넌트들(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube)와 같은 디스플레이), 음향 컴포넌트들(예를 들어, 스피커), 햅틱 컴포넌트들(예를 들어, 진동 모터, 저항 메커니즘), 기타의 신호 생성기 등을 포함할 수 있다. 입력 컴포넌트들(1028)은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함할 수 있다.

추가의 예시적인 실시예들에서, I/O 컴포넌트들(1018)은, 매우 다양한 다른 컴포넌트들 중에서도, 바이오메트릭 컴포넌트들(1039), 모션 컴포넌트들(1034), 환경 컴포넌트들(1036), 또는 위치 컴포넌트들(1038)을 포함할 수 있다. 예를 들어, 바이오메트릭 컴포넌트(1039)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 신체 제스처, 또는 시선 추적)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하고, 및 등등을 하는 컴포넌트들을 포함할 수 있다. 모션 컴포넌트들(1034)은 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프) 등을 포함할 수 있다. 환경 컴포넌트들(1036)은, 예를 들어, 조명 센서 컴포넌트들(예를 들어, 광도계), 온도 센서 컴포넌트들(예를 들어, 주위 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예를 들어, 기압계), 음향 센서 컴포넌트들(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트들(예를 들어, 인근 객체들을 검출하는 적외선 센서들), 가스 센서들(예를 들어, 안전을 위해 유해성 가스들의 농도들을 검출하거나 대기 내의 오염물질들을 측정하는 가스 검출 센서들), 또는 주변 물리적 환경에 대응하는 표시들, 측정들, 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함할 수 있다. 위치 컴포넌트들(1038)은, 위치 센서 컴포넌트들(예를 들어, GPS 수신기 컴포넌트), 고도 센서 컴포넌트들(예를 들어, 고도계 또는 고도가 도출될 수 있는 기압을 검출하는 기압계), 오리엔테이션 센서 컴포넌트들(예를 들어, 자력계) 등을 포함할 수 있다.

통신은 매우 다양한 기술을 사용하여 구현될 수 있다. I/O 컴포넌트들(1018)은 머신(1000)을 결합(1024) 및 결합(1022)을 통해 제각기 네트워크(1037) 또는 디바이스들(1029)에 결합하도록 동작가능한 통신 컴포넌트들(1040)을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1040)은 네트워크(1037)와 인터페이싱하기 위한 네트워크 인터페이스 컴포넌트 또는 다른 적합한 디바이스를 포함할 수 있다. 추가 예들에서, 통신 컴포넌트들(1040)은 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, Bluetooth® 컴포넌트(예를 들어, Bluetooth® Low Energy), Wi-Fi® 컴포넌트, 및 다른 양태들을 통해 통신을 제공하는 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스(1029)는 또 다른 머신 또는 임의의 다양한 주변기기 디바이스(예를 들어, USB를 통해 결합된 주변기기 디바이스)일 수 있다.

더욱이, 통신 컴포넌트들(1040)은 식별자들을 검출할 수 있거나 또는 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1040)은 RFID(Radio Frequency Identification) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, UPC(Universal Product Code) 바 코드와 같은 1-차원 바 코드들, QR(Quick Response) 코드와 같은 다-차원 바 코드들, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D 바 코드, 및 다른 광학 코드들을 검출하기 위한 광학 센서), 또는 음향 검출 컴포넌트들(예를 들어, 태깅된 오디오 신호들을 식별하기 위한 마이크로폰들)을 포함할 수 있다. 또한, 인터넷 프로토콜(IP) 지오-로케이션을 통한 위치, Wi-Fi® 신호 삼각측량을 통한 위치, 특정한 위치를 나타낼 수 있는 NFC 비컨 신호 검출을 통한 위치와 같은 다양한 정보가 통신 컴포넌트(1040)를 통해 도출될 수 있다.

용어집

이 맥락에서 "캐리어 신호(CARRIER SIGNAL)"는 머신에 의한 실행을 위한 일시적 또는 비-일시적 명령어들을 저장, 인코딩, 또는 운반할 수 있는 임의의 무형 매체를 지칭하고, 그러한 명령어들의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형 매체를 포함한다. 명령어들은 네트워크 인터페이스 디바이스를 통해 일시적 또는 비-일시적 송신 매체를 사용하여 그리고 다수의 널리 공지된 전송 프로토콜들 중 임의의 하나를 사용하여 네트워크를 통해 송신 또는 수신될 수 있다.

이 맥락에서 "클라이언트 디바이스(CLIENT DEVICE)"는 하나 이상의 서버 시스템 또는 다른 클라이언트 디바이스들로부터 리소스들을 획득하기 위해 통신 네트워크에 인터페이싱하는 임의의 머신을 지칭한다. 클라이언트 디바이스는, 모바일 전화, 데스크톱 컴퓨터, 랩톱, PDA, 스마트폰, 태블릿, 울트라 북, 넷북, 랩톱, 멀티-프로세서 시스템, 마이크로프로세서-기반 또는 프로그래머블 가전 제품, 게임 콘솔, 셋탑 박스 또는 사용자가 네트워크에 액세스하기 위해 이용할 수 있는 기타 임의의 통신 디바이스일 수 있지만, 이것으로만 제한되지는 않는다.

이 맥락에서 "통신 네트워크(COMMUNICATIONS NETWORK)"는 애드 혹 네트워크, 인트라넷, 엑스트라넷, VPN(virtual private network), LAN(local area network), WLAN(wireless LAN), WAN(wide area network), WWAN(wireless WAN), MAN(metropolitan area network), 인터넷, 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 또 다른 타입의 네트워크, 또는 둘 이상의 이러한 네트워크의 조합일 수 있는 네트워크의 하나 이상의 부분을 지칭한다. 예를 들어, 네트워크 또는 네트워크의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고 결합은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 타입의 셀룰러 또는 무선 결합을 포함할 수 있다. 이러한 예에서, 결합은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G를 포함하는 3GPP(third Generation Partnership Project), 4G(fourth generation wireless) 네트워크들, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준 설정 조직들에 의해 정의되는 다른 것들, 다른 장거리 프로토콜들, 또는 다른 데이터 전송 기술과 같은, 다양한 타입들의 데이터 전송 기술 중 임의의 것을 구현할 수 있다.

이 맥락에서 "단기적 메시지(EPHEMERAL MESSAGE)"는 시간-제한된 지속기간 동안 액세스 가능한 메시지를 지칭한다. 단기 메시지는, 텍스트, 이미지, 비디오 등일 수 있다. 단기 메시지에 대한 액세스 시간은 메시지 전송자에 의해 설정될 수 있다. 대안적으로, 액세스 시간은 디폴트 설정 또는 수신자에 의해 명시되는 설정일 수 있다. 설정 기법에 관계없이, 메시지는 일시적(transitory)이다.

이 맥락에서 "머신 판독가능 매체(MACHINE-READABLE MEDIUM)"는 명령어 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 컴포넌트, 디바이스 또는 다른 유형의(tangible) 매체를 지칭하고, RAM(random-access memory), ROM(read-only memory), 버퍼 메모리, 플래시 메모리, 광학 매체, 자기 매체, 캐시 메모리, 다른 유형의 스토리지(예를 들어, EEPROM(Erasable Programmable Read-Only Memory)) 및/또는 이들의 임의의 적합한 조합을 포함할 수 있지만, 이들로 제한되지는 않는다. "머신 판독가능 매체(machine-readable medium)"라는 용어는, 명령어들을 저장할 수 있는 단일의 매체 또는 다중 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시들 및 서버들)를 포함하는 것으로 취해져야 한다. "머신 판독가능 매체"라는 용어는 또한, 명령어들이, 머신의 하나 이상의 프로세서에 의해 실행될 때, 머신으로 하여금 본 명세서에 설명된 방법론들 중 임의의 하나 이상을 수행하게 야기하도록, 머신에 의한 실행을 위한 명령어(예를 들어, 코드)를 저장할 수 있는 임의의 매체 또는 다중 매체의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신 판독가능 매체"는 다중 스토리지 장치 또는 디바이스를 포함하는"클라우드 기반" 스토리지 시스템 또는 스토리지 네트워크뿐만 아니라 단일 스토리지 장치 또는 디바이스를 지칭한다. "머신 판독가능 매체(machine-readable medium)"라는 용어가 그 자체로는 신호들을 배제한다.

이 맥락에서 "컴포넌트(COMPONENT)"는 기능 또는 서브루틴 호출, 분기 포인트, API, 또는 특정한 처리 또는 제어 기능들의 분할 또는 모듈화를 제공하는 다른 기술들에 의해 정의된 경계들을 갖는 디바이스, 물리적 엔티티, 또는 로직을 지칭한다. 컴포넌트들은 그들의 인터페이스들을 통해 다른 컴포넌트들과 조합되어 머신 프로세스를 수행할 수 있다. 컴포넌트는, 다른 컴포넌트들 및 보통은 관련된 기능들 중 특정 기능을 수행하는 프로그램의 일부와 함께 사용되도록 설계되는 패키징된 기능적 하드웨어 유닛일 수 있다. 컴포넌트들은 소프트웨어 컴포넌트들(예를 들어, 머신-판독가능 매체 상에 구현되는 코드) 또는 하드웨어 컴포넌트들을 구성할 수 있다. "하드웨어 컴포넌트"는 특정 동작들을 수행할 수 있는 유형의 유닛(tangible unit)이고, 특정 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 컴포넌트(예를 들어, 프로세서 또는 프로세서들의 그룹)은 본 명세서에 설명되는 바와 같이 특정 동작들을 수행하기 위해 동작하는 하드웨어 컴포넌트로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다.

하드웨어 컴포넌트는 또한, 기계적으로, 전자적으로, 또는 이들의 임의의 적합한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 컴포넌트는 특정 동작들을 수행하도록 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 컴포넌트는, FPGA(Field-Programmable Gate Array) 또는 ASIC와 같은 특수 목적 프로세서일 수 있다. 하드웨어 컴포넌트는 또한, 특정 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그래머블 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는 범용 프로세서 또는 다른 프로그래머블 프로세서에 의해 실행되는 소프트웨어를 포함할 수 있다. 일단 이러한 소프트웨어에 의해 구성되면, 하드웨어 컴포넌트들은 구성된 기능들을 수행하도록 고유하게 맞춤화된(uniquely tailored) 특정 머신들(또는 머신의 특정 컴포넌트들)이 되고 더 이상 범용 프로세서들이 아니다. 하드웨어 컴포넌트를 기계적으로, 전용의 영구적으로 구성되는 회로에, 또는 일시적으로 구성되는 회로(예를 들어, 소프트웨어에 의해 구성됨)에 구현하기로 하는 결정이 비용 및 시간 고려사항들에 의해 주도될 수 있다는 것을 잘 알 것이다. 따라서, "하드웨어 컴포넌트"(또는 "하드웨어-구현된 컴포넌트")라는 구문은, 특정 방식으로 동작하거나 본 명세서에 설명된 특정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어드) 또는 일시적으로 구성되는(예를 들어, 프로그래밍되는) 엔티티이든 간에, 유형 엔티티를 포괄하는 것으로 이해해야 한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들어, 프로그래밍되는) 실시예들을 고려할 때, 하드웨어 컴포넌트들 각각은 시간상 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 특수 목적 프로세서가 되도록 소프트웨어에 의해 구성된 범용 프로세서를 포함하는 경우에, 범용 프로세서는 상이한 때에 (예컨대, 상이한 하드웨어 컴포넌트들을 포함하는) 제각기 상이한 특수 목적 프로세서들로서 구성될 수 있다. 소프트웨어는 따라서, 예를 들어, 하나의 시간 인스턴스에서는 특정의 하드웨어 컴포넌트를 구성하고 상이한 시간 인스턴스에서는 상이한 하드웨어 컴포넌트를 구성하도록 특정의 프로세서 또는 프로세서들을 구성한다.

하드웨어 컴포넌트는 다른 하드웨어 컴포넌트들에 정보를 제공하고 그로부터 정보를 수신할 수 있다. 따라서, 설명되는 하드웨어 컴포넌트들은 통신가능하게 결합되는 것으로서 고려될 수 있다. 다중의 하드웨어 컴포넌트가 동시에 존재하는 경우에, 하드웨어 컴포넌트들 중 2개 이상 간의 또는 그들 사이의(예를 들어, 적절한 회로들 및 버스들을 통한) 신호 송신을 통해 통신이 달성될 수 있다. 다중의 하드웨어 컴포넌트가 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 컴포넌트들 사이의 통신은, 예를 들어, 다중의 하드웨어 컴포넌트가 액세스하는 메모리 구조 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트는 동작을 수행하고, 그에 통신가능하게 결합되는 메모리 디바이스에 그 동작의 출력을 저장할 수 있다. 추가의 하드웨어 컴포넌트는 이어서, 추후에, 저장된 출력을 검색 및 처리하기 위해 메모리 디바이스에 액세스할 수 있다.

하드웨어 컴포넌트들은 또한 입력 또는 출력 디바이스들과 통신을 개시할 수 있고, 리소스(예를 들어, 정보의 컬렉션)에 대해 동작할 수 있다. 본 명세서에 설명된 예시적 방법들의 다양한 동작들은, 관련 동작들을 수행하도록 영구적으로 구성되거나 또는 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되는 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 또는 영구적으로 구성되든 간에, 이러한 프로세서들은 본 명세서에 설명되는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서 구현 컴포넌트들을 구성할 수 있다. 본 명세서에서 사용되는 바와 같이, "프로세서-구현 컴포넌트(processor-implemented component)"는 하나 이상의 프로세서를 사용하여 구현되는 하드웨어 컴포넌트를 지칭한다. 유사하게, 본 명세서에 설명되는 방법들은 적어도 부분적으로 프로세서로 구현될 수 있고, 특정 프로세서 또는 프로세서들은 하드웨어의 예이다. 예를 들어, 방법의 동작들 중 적어도 일부가 하나 이상의 프로세서 또는 프로세서-구현 컴포넌트들에 의해 수행될 수 있다. 더욱이, 하나 이상의 프로세서는 또한 "클라우드 컴퓨팅(cloud computing)" 환경에서 또는 "SaaS(software as a service)"로서 관련 동작들의 수행을 지원하기 위해 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷)를 통해 및 하나 이상의 적절한 인터페이스(예를 들어, API)를 통해 액세스가능하다. 특정 동작들의 수행은 단일 머신 내에 상주할 뿐만 아니라, 다수의 머신에 걸쳐 배치된 프로세서들 사이에 분산될 수 있다. 일부 예시적인 실시예들에서, 프로세서들 또는 프로세서-구현 컴포넌트들은 단일의 지리적 위치에(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜(server farm) 내에) 위치될 수 있다. 다른 예시적인 실시예들에서, 프로세서들 또는 프로세서-구현 컴포넌트들은 다수의 지리적 위치들에 걸쳐 분산될 수 있다.

이 맥락에서 "프로세서(PROCESSOR)"는 제어 신호들(예를 들어, "명령들", "오피코드들", "머신 코드" 등)에 따라 데이터 값들을 조작하고 머신을 동작시키기 위해 적용되는 대응하는 출력 신호들을 생성하는 임의의 회로 또는 가상 회로(실제 프로세서 상에서 실행되는 로직에 의해 에뮬레이트되는 물리적 회로)를 지칭한다. 프로세서는, 예를 들어, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC, RFIC(Radio-Frequency Integrated Circuit), 또는 이들의 임의의 조합일 수 있다. 프로세서는 추가로, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적 프로세서(때때로 "코어들"이라고 지칭됨)을 갖는 멀티-코어 프로세서일 수 있다.

이 맥락에서 "타임스탬프(TIMESTAMP)"는 특정 이벤트가 언제 발생했는지를 식별하는, 예를 들어, 때때로 1초의 소수점 자리까지 정확한, 날짜 및 시각을 제공하는, 문자들 또는 인코딩된 정보의 시퀀스를 지칭한다.

본 개시내용의 범위를 벗어나지 않고 개시된 실시예들에 대한 변경들 및 수정들이 이루어질 수 있다. 이들 및 다른 변경들 또는 수정들은 이하의 청구항들에서 표현된 바와 같은, 본 개시내용의 범위 내에 포함되는 것으로 의도된다.

Claims

방법으로서:
하나 이상의 프로세서에 의해, 사용자의 신체의 묘사를 포함하는 단안 이미지를 수신하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 단안 이미지에 묘사된 상기 신체의 복수의 골격 관절을 검출하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 검출된 신체의 복수의 골격 관절에 기초하여 상기 단안 이미지에 묘사된 상기 신체에 의해 표현된 자세를 결정하는 단계;
상기 사용자의 신체의 의해 표현된 자세를 결정하는 것에 응답하여, 상기 하나 이상의 프로세서에 의해, 복수의 아바타의 자세들을, 상기 검출된 신체의 복수의 골격 관절에 기초하여 상기 아바타들의 리그들(rigs)의 골격 관절들의 세트를 조정함으로써, 상이한 중립 자세들로 있는 것으로부터 상기 단안 이미지에 묘사된 상기 사용자의 신체에 의해 표현된 자세와 일치하는 동일한 자세들을 가지는 것으로 수정하는 단계; 및
상기 하나 이상의 프로세서에 의한 디스플레이를 위해, 상기 단안 이미지에 묘사된 상기 사용자의 신체에 의해 표현된 자세와 일치하는 상기 수정된 자세들을 갖는 상기 복수의 아바타를 생성하는 단계를 포함하는 방법.
제1항에 있어서,
상기 단안 이미지는 제1 비디오 프레임이고, 상기 방법은:
제1 머신 러닝 기법을 사용하여 상기 단안 이미지의 복수의 골격 관절 특징을 식별하는 단계 - 상기 복수의 골격 관절의 위치들은 상기 식별된 복수의 골격 관절 특징에 기초하여 검출됨 -; 및
제2 머신 러닝 기법을 사용하여 상기 제1 비디오 프레임을 처리하는 것에 의해 상기 제1 비디오 프레임에 인접한 제2 비디오 프레임에서 상기 사용자의 위치 및 상기 사용자의 이미지의 스케일을 추정하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 단안 이미지 이후에 수신될 후속 이미지에서 상기 사용자의 위치를 예측하는 단계; 및
상기 검출된 복수의 골격 관절에 대응하는 복수의 골격 관절 위치를 식별하는 단계를 추가로 포함하고, 상기 신체에 의해 표현된 자세는 상기 복수의 골격 관절 위치와 연관된 자세에 기초하여 결정되는 방법.
삭제
제1항에 있어서,
상기 사용자의 신체의 묘사와 함께 상기 수정된 자세들을 갖는 상기 아바타들을 디스플레이를 위해 생성하는 단계를 추가로 포함하고, 상기 아바타들 중 제1 아바타는 상기 아바타들 중 제2 아바타의 제2 중립 자세와 상이한 제1 중립 자세로 있고, 상기 제1 아바타 및 제2 아바타는 상기 사용자의 신체에 의해 표현된 자세를 결정하는 것에 응답하여 상기 사용자의 신체에 의해 표현된 자세를 모방하는 동일한 포즈들을 가지도록 전환하는 방법.
제5항에 있어서,
상기 사용자는 제1 사용자이고 상기 아바타는 제1 아바타를 포함하며, 상기 방법은:
상기 제1 사용자의 신체의 묘사와 함께 상기 수정된 자세를 갖는 상기 제1 아바타의 디스플레이를 포함하는 제1 이미지를 캡처하는 단계; 및
상기 제1 사용자의 제1 사용자 디바이스로부터, 상기 캡처된 제1 이미지를 제2 사용자의 제2 사용자 디바이스에 전송하는 단계를 추가로 포함하는 방법.
제6항에 있어서,
상기 제2 사용자 디바이스로부터 제2 이미지를 수신하는 단계를 추가로 포함하고, 상기 제2 이미지는 제2 아바타 및 상기 제2 사용자의 신체의 묘사의 동시 디스플레이를 포함하고, 상기 제2 이미지에서의 상기 제2 아바타의 자세는 상기 제2 사용자의 신체에 의해 묘사된 자세와 일치하는 방법.
제7항에 있어서,
상기 제1 및 제2 이미지들의 동시 디스플레이를 생성하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 사용자의 신체의 묘사를 포함하는 복수의 단안 이미지를 포함하는 비디오를 수신하는 단계;
상기 복수의 단안 이미지에 걸쳐 상기 복수의 골격 관절에서의 변화들을 추적하는 단계;
상기 복수의 골격 관절에서의 변화들을 추적한 것에 기초하여 상기 신체에 의해 표현된 자세에 대한 변화들을 검출하는 단계; 및
상기 신체에 의해 표현된 자세에 대한 변화들을 일치시키기 위해 상기 아바타들의 자세들을 연속적으로 또는 주기적으로 수정하는 단계를 추가로 포함하는 방법.
제9항에 있어서,
상기 비디오에서 가상 객체를 제시하는 단계; 및
상기 신체에 의해 표현된 자세에 대한 상기 검출된 변화들에 기초하여 상기 가상 객체가 움직이는 레이트, 상기 비디오에서의 상기 객체의 위치, 및 상기 객체의 시각적 속성 중 하나 이상을 조정하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 복수의 아바타는 복수의 동일한 아바타이고, 상기 아바타들은 제1 아바타를 포함하고, 상기 방법은:
상기 하나 이상의 프로세서에 의한 디스플레이를 위해, 제1 상이한 자세들의 세트를 갖는 상기 복수의 동일한 아바타를 생성하는 단계; 및
상기 단안 이미지에 묘사된 상기 신체에 의해 표현된 자세가 지정된 자세에 대응하는 것을 검출하는 단계를 추가로 포함하는 방법.
제11항에 있어서,
상기 단안 이미지에 묘사된 상기 신체에 의해 표현된 자세가 상기 지정된 자세에 대응하는 것을 검출한 것에 응답하여:
상기 단안 이미지에 묘사된 상기 신체에 의해 표현된 자세와 일치하는 동일한 자세들을 갖도록 상기 복수의 아바타의 상기 제1 상이한 자세들의 세트를 수정하는 단계; 및
상기 하나 이상의 프로세서에 의한 디스플레이를 위해, 상기 동일한 자세들을 갖는 상기 복수의 아바타를 생성하는 단계를 추가로 포함하는 방법.
제12항에 있어서,
상기 생성된 디스플레이에서 상기 복수의 아바타의 상기 제1 상이한 자세들의 세트의 수정을 애니메이션하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 아바타들 중 주어진 아바타로 하여금 상기 수정된 자세에 기초하여 이미지에 묘사된 가상 객체와 상호작용하게 야기하는 단계를 추가로 포함하는 방법.
제1항에 있어서,
상기 검출하는 단계 및 상기 결정하는 단계는 깊이 센서로부터의 깊이 정보에 액세스하지 않고 수행되는 방법.
제1항에 있어서,
상기 신체의 복수의 골격 관절을 검출하는 단계는 오른쪽 손목, 오른쪽 팔꿈치, 오른쪽 어깨, 상기 사용자의 얼굴 상의 코, 왼쪽 어깨, 왼쪽 팔꿈치, 및 왼쪽 손목과 제각기 연관된 포인트들을 식별하는 단계를 포함하는 방법.
제1항에 있어서,
상기 복수의 골격 관절이 검출되는 레이트는 이미지 캡처 디바이스에 대한 상기 사용자의 위치에 기초하여 조정되는 방법.
시스템으로서:
동작들을 수행하도록 구성되는 프로세서를 포함하고, 상기 동작들은:
사용자의 신체의 묘사를 포함하는 단안 이미지를 수신하는 동작;
상기 단안 이미지에 묘사된 상기 신체의 복수의 골격 관절을 검출하는 동작;
상기 검출된 신체의 복수의 골격 관절에 기초하여 상기 단안 이미지에 묘사된 상기 신체에 의해 표현된 자세를 결정하는 동작;
상기 사용자의 신체의 의해 표현된 자세를 결정하는 것에 응답하여, 복수의 아바타의 자세들을, 상기 검출된 신체의 복수의 골격 관절에 기초하여 상기 아바타들의 리그들의 골격 관절들의 세트를 조정함으로써, 상이한 중립 자세들로 있는 것으로부터 상기 단안 이미지에 묘사된 상기 사용자의 신체에 의해 표현된 자세와 일치하는 동일한 자세들을 가지는 것으로 수정하는 동작; 및
디스플레이를 위해, 상기 단안 이미지에 묘사된 상기 사용자의 신체에 의해 표현된 자세와 일치하는 수정된 자세들을 갖는 상기 복수의 아바타를 생성하는 동작을 포함하는 시스템.
제18항에 있어서,
상기 동작들은 머신 러닝 기법을 사용하여 상기 단안 이미지의 복수의 골격 관절 특징을 식별하는 동작을 추가로 포함하고, 상기 복수의 골격 관절은 상기 식별된 복수의 골격 관절 특징에 기초하여 검출되는 시스템.
명령어들을 포함하는 비일시적 머신 판독가능 저장 매체로서, 상기 명령어들은 머신의 하나 이상의 프로세서에 의해 실행될 때, 상기 머신으로 하여금:
사용자의 신체의 묘사를 포함하는 단안 이미지를 수신하는 동작;
상기 단안 이미지에 묘사된 상기 신체의 복수의 골격 관절을 검출하는 동작;
상기 검출된 신체의 복수의 골격 관절에 기초하여 상기 단안 이미지에 묘사된 상기 신체에 의해 표현된 자세를 결정하는 동작;
상기 사용자의 신체의 의해 표현된 자세를 결정하는 것에 응답하여, 복수의 아바타의 자세들을, 상기 검출된 신체의 복수의 골격 관절에 기초하여 상기 아바타들의 리그들의 골격 관절들의 세트를 조정함으로써, 상이한 중립 자세들로 있는 것으로부터 상기 단안 이미지에 묘사된 상기 사용자의 신체에 의해 표현된 자세와 일치하는 동일한 자세들을 가지는 것으로 수정하는 동작; 및
디스플레이를 위해, 상기 단안 이미지에 묘사된 상기 사용자의 신체에 의해 표현된 자세와 일치하는 수정된 자세들을 갖는 상기 복수의 아바타를 생성하는 단계를 포함하는 동작들을 수행하게 야기하는 비일시적 머신 판독가능 저장 매체.