KR102144040B1 - 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션 - Google Patents

Abstract

VR 시스템의 HMD(헤드 마운트 디스플레이)는 HMD를 착용한 사용자의 안구 및 얼굴을 추적하기 위한 센서를 포함한다. VR 시스템은 사용자의 얼굴의 랜드마크와 같은 캘리브레이션 속성을 기록한다. 광원은 HMD에 의해 덮인 사용자의 얼굴의 부분을 조명한다. 이와 관련하여, 얼굴 센서는 얼굴 데이터를 캡처한다. VR 시스템은 얼굴 데이터를 분석하여 얼굴의 조명되는 부분의 평면 섹션의 방향을 결정한다. VR 시스템은 얼굴의 평면 섹션을 종합하고 평면 섹션을 얼굴의 랜드마크에 매핑하여 사용자의 얼굴 애니메이션을 생성하는데, 안구 방향 정보도 포함할 수 있다. 얼굴 애니메이션은 가상 아바타로 표현되고 사용자에게 표시된다. 얼굴 추적 시스템은 HMD(헤드 마운트 디스플레이)를 착용한 사용자의 얼굴의 부분의 가상 렌더링을 생성한다. 얼굴 추적 시스템은 HMD 내부의 얼굴의 부분을 조명한다. 얼굴 추적 시스템은 HMD 내부에 위치한 하나 이상의 얼굴 센서를 사용하여 얼굴의 부분의 복수의 얼굴 데이터를 캡처한다. 얼굴의 부분의 복수의 평면 섹션은 복수의 얼굴 데이터에 적어도 부분적으로 기반하여 식별된다. 복수의 평면 섹션은 얼굴의 하나 이상의 랜드마크로 매핑된다. 얼굴 애니메이션 정보는 매핑에 적어도 부분적으로 기반하여 생성되고, 얼굴 애니메이션 정보는 사용자의 얼굴의 부분에 대응하는 가상 얼굴의 부분을 기술한다.

Description

헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션

본 명세서는 일반적으로 헤드 마운트 디스플레이(HMD)에 관한 것이고, 구체적으로는 HMD 내의 안구 및 얼굴 추적에 관한 것이다. 본 명세서는 가상 렌더링에 더 관련되고, 구체적으로는 HMD 내의 사용자의 얼굴의 일부의 가상 애니메이션에 관한 것이다.

가상 현실(VR) 시스템은 일반적으로 가상 현실 이미지를 표시하는 디스플레이 스크린을 포함하고, 객체 및 시스템의 사용자와 같은 요소를 묘사할 수 있다. 사용자는 가상 환경의 아바타로 표현될 수 있다. 일부 VR 시스템에서, 아바타는 오직 한 얼굴 표현, 예컨대 기본 미소 또는 중립적인 얼굴 표현으로 묘사되는데, 사용자가 가상 환경에서 완전히 몰입하는 경험을 가지는 것을 방해한다. 얼굴 추적 시스템은 더 몰입하는 인터페이스를 제공한다. 사용자의 얼굴 표현을 추적하는 기존의 시스템은 추적되는 사용자의 얼굴에 위치되어야 하는 마커에 추가로 카메라와 같은 전용 주변 장치를 포함한다. 이들 전통적인 주변 장치와 마커는 가상 환경으로부터 사용자를 인공적으로 분리한다. 따라서, 기존의 얼굴 추적 시스템은 휴대용, 경량 및 고성능 가상 현실 헤드셋에 사용하기에 적합하지 않다.

본 발명의 내용 중에 포함되어 있다.

일실시예에 따르면, VR 시스템의 헤드 마운트 디스플레이(HMD)는 HMD를 착용하는 사용자의 안구 및 얼굴을 추적하기 위한 센서를 포함한다. VR 시스템은 사용자의 얼굴의 랜드마크와 같은 캘리브레이션 속성을 기록한다. 예를 들어, 랜드마크는 사용자의 얼굴에 대한 사용자의 코의 위치를 설명한다. 캘리브레이션 속성은 글로벌 캘리브레이션 속성의 온라인 데이터베이스로부터 검색될 수도 있다. HMD는 HMD 내부에 위치한 얼굴 센서를 포함하고, 일부 실시예에서, HMD는 또한 HMD 내부에 위치한 광원도 포함한다. 광원은 HMD에 의해 덮인 사용자의 얼굴의 부분을 조명한다. 이와 함께, 얼굴 센서는 얼굴의 조명되는 부분을 설명하는 얼굴 데이터를 캡처한다. 얼굴 데이터는 얼굴 데이터 프레임으로 지칭되는 이미지일 수 있다. 이 경우, VR 시스템은 얼굴의 조명되는 부분의 평면 섹션(즉, 면으로 근사화되는 사용자의 얼굴의 작은 부분)의 배향을 결정하기 위하여 얼굴 데이터 프레임을 분석한다. 특히, VR 시스템은 표면의 배향을 결정하기 위하여 픽셀 밝기 정보를 사용한다. 픽셀 밝기는 광원의 위치 및/또는 방향에 의존하는데 반사되는 광은 입사각이 반사각과 동일할 때 가장 밝기 때문이다. VR 시스템은 얼굴의 평면 섹션을 종합하고 평면 섹션을 얼굴의 랜드마크에 매핑하여 사용자의 얼굴을 설명하는 얼굴 애니메이션 정보를 생성한다.

추가 실시예에 따르면, VR 시스템의 HMD는 HMD 내부의 사용자의 얼굴의 일부를 추적하기 위한 얼굴 추적 시스템을 포함한다. 얼굴 추적 시스템은 하나 이상의 광원을 통하여, HMD 내부의 사용자의 얼굴의 부분을 조명한다. 얼굴 추적 시스템은 얼굴의 일부의 복수의 얼굴 데이터를 캡처한다. 얼굴 데이터는 HMD 내부에 위치한 하나 이상의 얼굴 센서를 사용하여 캡처된다. 얼굴 센서는 이미징 센서, 비-이미징 센서 또는 그 조합일 수 있다. 일부 실시예에서, 얼굴 추적 시스템은 복수의 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 일부의 복수의 평면 섹션(즉, 면으로 근사화되는 사용자의 얼굴의 작은 부분)을 식별한다. 얼굴 추적 시스템은 복수의 평면 섹션을 얼굴의 하나 이상의 랜드마크에 매핑하고, 매핑에 적어도 부분적으로 기반하여 얼굴 애니메이션 정보를 생성할 수 있다. 얼굴 애니메이션 정보는 사용자의 얼굴의 일부(예컨대, 얼굴 데이터에 캡처된 부분)를 설명한다. 다른 실시예에서, 얼굴 추적 시스템은 얼굴 데이터를, 예컨대 얼굴 애니메이션을 생성하는 콘솔로 제공한다. 얼굴 추적 시스템은 사용자에게 표시하기 위하여 HMD의 디스플레이로 얼굴 애니메이션을 제공한다.

얼굴 애니메이션 정보는 사용자의 가상 아바타의 얼굴의 일부를 업데이트하는데 사용될 수 있다. 예를 들어, 사용자는 HMD를 사용할 때 가상 아바타를 보고, 따라서 몰입형 VR 경험을 경험한다. VR 시스템은 HMD를 착용하는 사용자의 안구도 추적할 수 있다. 따라서, 얼굴 애니메이션 정보는 사용자의 가상 아바타의 안구 방향을 업데이트하는데 사용될 수 있다.

본 발명에 따른 또 다른 실시예들은 특히 시스템 및 방법에 관한 첨부된 청구항들에 개시되며, 가령 방법과 같은 하나의 청구항 카테고리에 언급되는 임의의 특징은 또한 가령 시스템, 저장 매체, 컴퓨터 프로그램 제품 등과 같은 다른 청구항 카테고리로 청구될 수 있다. 첨부된 청구항의 인용 또는 참조는 형식상의 이유를 위해 선택되었을 뿐이다. 하지만 임의의 선행 청구항으로의 의도적인 참조(특히 다중 인용)에서 야기되는 임의의 주제 또한 청구될 수 있어, 청구항 및 그 특징의 임의의 조합이 첨부된 청구항에서 선택된 인용에 관계 없이 개시되고 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항에 나타난 바와 같은 특징의 조합뿐만 아니라 청구항의 특징의 다른 임의의 조합을 포함하는데, 청구항에 언급된 각 특징은 청구항의 임의의 다른 특징 또는 다른 특징의 조합과 조합될 수 있다. 나아가, 임의의 실시예와 본 명세서에 서술되거나 도시된 특징은 별개의 청구항 및/또는 임의의 실시예나 본 명세서에 서술되거나 도시된 특징과의 또는 첨부된 청구항의 임의의 특징과의 조합에 청구될 수 있다.

본 발명의 일실시예에 따르면, HMD(헤드 마운트 디스플레이)는:

HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;

디스플레이 요소로부터의 광을 HMD의 사출 동공으로 유도하도록 구성되는 광학 블록;

광학 블록 주위의 별개의 위치에 위치되는 복수의 광원;

복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및

컨트롤러로서:

얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고, 및

복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하도록 구성되는 컨트롤러를 포함하고,

복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성된다.

본 발명의 일실시예에 따르면, HMD(헤드 마운트 디스플레이)는:

HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;

디스플레이 요소로부터의 광을 HMD의 사출 동공으로 유도하도록 구성되는 광학 블록;

광학 블록 주위의 별개의 위치에 위치되는 복수의 광원;

복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및

컨트롤러로서:

얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고, 및

복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하도록; 및/또는

VR(가상 현실) 콘솔로 캡처된 얼굴 데이터를 제공하고, 및

VR 콘솔로부터 복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분의 가상 애니메이션을 수신하도록 구성되는 컨트롤러를 포함하고,

복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성된다.

HMD는 디스플레이 요소로부터의 광을 HMD의 사출 동공으로 유도하도록 구성되는 광학 블록을 더 포함할 수 있다.

컨트롤러는:

캘리브레이션 프로세스에서 사용자가 하나 이상의 얼굴 표현을 수행하도록 하는 지시를 제공하고;

얼굴 센서로부터 하나 이상의 얼굴 표현 중 적어도 하나에 대응하는 캘리브레이션 속성을 수신하고; 및

캘리브레이션 속성에 적어도 부분적으로 기반하여 사용자의 얼굴의 하나 이상의 랜드마크를 식별하도록 더 구성될 수 있고,

사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보는 하나 이상의 랜드마크에 더 기반한다.

디스플레이 요소는 사용자에게 아바타를 디스플레이하도록 구성될 수 있고, 아바타의 얼굴은 얼굴 애니메이션 정보에 기반할 수 있다.

컨트롤러는:

복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 표면을 식별하고; 및

복수의 표면을 얼굴의 섹션을 기술하는 하나 이상의 랜드마크에 매핑하도록 더 구성될 수 있고,

사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보는 매핑에 더 기반한다.

얼굴 센서는: 카메라, 오디오 센서, 스트레인 게이지, 전자기 센서 및 근접 센서로 구성되는 그룹에서 선택될 수 있다.

컨트롤러는:

얼굴의 부분을 조명하도록 복수의 광원에 명령을 제공하고; 및

하나 이상의 얼굴 데이터를 캡처하기 위하여 복수의 광원으로의 명령과 조정된 명령을 얼굴 센서로 제공하도록 더 구성될 수 있다.

복수의 광원은 광학 블록 주위에 링 배열로 위치될 수 있고, 복수의 광원으로 제공되는 명령은 임의의 주어진 때에 복수의 광원 중 오직 하나의 광원이 얼굴의 부분을 조명하도록 조정될 수 있다.

컨트롤러는:

복수의 얼굴 데이터로부터 반사 정보를 수신하고; 및

반사 정보에 적어도 부분적으로 기반하여 사용자의 눈의 위치를 식별하도록 더 구성될 수 있다.

얼굴 애니메이션 정보는 사용자의 눈의 위치에 더 기반할 수 있다.

본 발명에 따른 일실시예에 따르면 HMD(헤드 마운트 디스플레이)는:

HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;

사용자의 시선 외부의 별개의 위치에 위치되는 복수의 광원;

복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및

컨트롤러로서:

얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고, 및

복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하도록 구성되는 컨트롤러를 포함하고,

복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성된다.

본 발명의 일실시예에 따르면 HMD(헤드 마운트 디스플레이)는:

HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;

디스플레이 요소로부터의 광을 HMD의 사출 동공으로 유도하도록 구성되는 광학 블록;

광학 블록 주위의 별개의 위치에 위치되는 복수의 광원;

복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및

컨트롤러로서:

얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고,

VR(가상 현실) 콘솔로 캡처된 얼굴 데이터를 제공하고, 및

VR 콘솔로부터 복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분의 가상 애니메이션을 수신하도록 구성되는 컨트롤러를 포함하고,

복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성된다.

본 발명의 일실시예에 따르면, 바람직하게는 HMD(헤드 마운트 디스플레이)를 착용한 사용자의 얼굴 애니메이션 정보를 제공하는 방법은:

하나 이상의 광원을 통하여, HMD(헤드 마운트 디스플레이)를 착용한 사용자의 HMD 내부의 얼굴의 부분을 조명하는 단계;

HMD 내부에 위치한 하나 이상의 얼굴 센서를 사용하여 얼굴의 부분의 복수의 얼굴 데이터를 캡처하는 단계;

복수의 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 평면 섹션을 식별하는 단계;

복수의 평면 섹션을 얼굴의 하나 이상의 랜드마크에 매핑하는 단계; 및

매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분에 대응하는 가상 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하는 단계를 포함한다.

본 발명의 일실시예에 따른 방법은:

하나 이상의 광원을 통하여, HMD(헤드 마운트 디스플레이)를 착용한 사용자의 HMD 내부의 얼굴의 부분을 조명하는 단계;

HMD 내부에 위치한 하나 이상의 얼굴 센서를 사용하여 얼굴의 부분의 복수의 얼굴 데이터를 캡처하는 단계;

복수의 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 평면 섹션을 식별하는 단계;

복수의 평면 섹션을 얼굴의 하나 이상의 랜드마크에 매핑하는 단계; 및

매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분에 대응하는 가상 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하는 단계; 및/또는

VR(가상 현실) 콘솔에 매핑을 제공하는 단계;

VR 콘솔로부터, 매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 포함하는 가상 얼굴을 기술하는 얼굴 애니메이션 정보를 수신하는 단계; 및

사용자에게 표시하기 위하여 HMD의 디스플레이에 얼굴 애니메이션 정보를 제공하는 단계를 포함한다.

본 발명의 일실시예에 따르면, 방법은:

얼굴 애니메이션 정보를 사용하여 아바타의 가상 얼굴을 업데이트하는 단계; 및

사용자에게 표시하기 위하여 HMD의 디스플레이 요소에 가상 얼굴을 제공하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따르면, 방법은:

캘리브레이션 프로세스에서 사용자가 하나 이상의 얼굴 표현을 수행하도록 하는 지시를 제공하는 단계;

얼굴 센서로부터 하나 이상의 얼굴 표현 중 적어도 하나에 대응하는 캘리브레이션 속성을 수신하는 단계; 및

캘리브레이션 속성에 적어도 부분적으로 기반하여 사용자의 얼굴의 하나 이상의 랜드마크를 식별하는 단계를 더 포함할 수 있고,

얼굴 애니메이션 정보를 생성하는 단계는 얼굴의 하나 이상의 랜드마크에 더 기반한다.

본 발명의 일실시예에 따르면, 방법은 복수의 HMD로부터 수신된 글로벌 캘리브레이션 속성을 포함하는 온라인 데이터베이스에 캘리브레이션 속성을 저장하는 단계를 더 포함할 수 있다.

얼굴의 하나 이상의 랜드마크는 사용자의 눈, 사용자의 눈썹, 사용자의 코, 사용자의 입 및 사용자의 뺨 중 하나 이상의 위치를 기술할 수 있다.

얼굴 애니메이션 정보는 사용자의 얼굴의 부분의 3차원 가상 표현을 기술할 수 있다.

얼굴 데이터는 이미지의 프레임을 기술할 수 있고, 이미지는 복수의 픽셀을 포함할 수 있고, 각 픽셀은 이미지의 좌표 (x,y) 위치와 연관되고, 복수의 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 평면 섹션을 식별하는 단계는:

이미지의 각 좌표 위치에 대하여, 좌표 위치에서 가장 밝은 픽셀값에 대응하는 평면 섹션을 식별하는 단계;

식별된 평면 섹션 각각에 대응하는 광 센서 위치를 식별하는 단계; 및

식별된 평면 섹션 및 식별된 광 센서 위치에 적어도 부분적으로 기반하여 얼굴의 부분의 가상 표면을 생성하는 단계를 포함할 수 있고,

얼굴 애니메이션 정보를 생성하는 단계는 가상 표면에 더 기반할 수 있다.

하나 이상의 얼굴 센서는: 카메라, 오디오 센서, 스트레인 게이지, 전자기 센서 및 근접 센서로 구성되는 그룹에서 선택될 수 있다.

얼굴의 부분을 조명하는 단계는:

얼굴의 부분을 조명하도록 복수의 광원에 명령을 제공하는 단계; 및

하나 이상의 얼굴 데이터를 캡처하기 위하여 복수의 광원으로의 명령과 조정된 명령을 하나 이상의 얼굴 센서로 제공하는 단계를 포함할 수 있다.

복수의 광원은 링 배열로 위치될 수 있고, 복수의 광원으로 제공되는 명령은 임의의 주어진 때에 복수의 광원 중 오직 하나의 광원이 얼굴의 부분을 조명하도록 조정될 수 있다.

본 발명의 일실시예에 따르면, 방법은:

복수의 얼굴 데이터로부터 반사 정보를 수신하는 단계; 및

반사 정보에 적어도 부분적으로 기반하여 사용자의 눈의 위치를 식별하는 단계를 더 포함할 수 있다.

얼굴 애니메이션 정보는 사용자의 눈의 위치에 더 기반할 수 있다.

본 발명의 일실시예에 따르면, 방법은:

HMD(헤드 마운트 디스플레이)를 착용한 사용자의 HMD 내부의 얼굴의 하나 이상의 랜드마크를 포함하는 캘리브레이션 속성을 수신하는 단계;

HMD 내부 및 사용자의 시선 외부에 위치한 하나 이상의 얼굴 센서를 사용하여 얼굴의 부분의 복수의 얼굴 데이터를 캡처하는 단계;

복수의 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 평면 섹션 표면을 식별하는 단계;

복수의 평면 섹션을 얼굴의 하나 이상의 랜드마크에 매핑하는 단계; 및

매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 포함하는 가상 얼굴을 기술하는 얼굴 애니메이션 정보를 생성하는 단계; 및

사용자에게 표시하기 위하여 HMD의 디스플레이에 얼굴 애니메이션 정보를 제공하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 방법은 복수의 HMD로부터 수신된 글로벌 캘리브레이션 속성을 포함하는 온라인 데이터베이스에 캘리브레이션 속성을 저장하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따르면, 방법은:

복수의 얼굴 데이터로부터 반사 정보를 수신하는 단계; 및

반사 정보에 적어도 부분적으로 기반하여 사용자의 눈의 위치를 식별하는 단계를 더 포함하는 HMD를 착용한 사용자의 얼굴 애니메이션 정보를 제공할 수 있다.

HMD 내부 및 사용자의 시선 외부에 위치한 하나 이상의 얼굴 센서를 사용하여 얼굴의 부분의 복수의 얼굴 데이터를 캡처하는 단계는 복수의 광원을 사용하여 얼굴의 부분을 조명하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따르면, 바람직하게는 HMD(헤드 마운트 디스플레이)를 착용한 사용자의 얼굴 애니메이션 정보를 제공하는 방법은:

하나 이상의 광원을 통하여, HMD(헤드 마운트 디스플레이)를 착용한 사용자의 HMD 내부의 얼굴의 부분을 조명하는 단계;

HMD 내부에 위치한 하나 이상의 얼굴 센서를 사용하여 얼굴의 부분의 복수의 얼굴 데이터를 캡처하는 단계;

복수의 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 복수의 평면 섹션을 식별하는 단계;

복수의 평면 섹션을 얼굴의 하나 이상의 랜드마크에 매핑하는 단계; 및

VR(가상 현실) 콘솔에 매핑을 제공하는 단계;

VR 콘솔로부터, 매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 포함하는 가상 얼굴을 기술하는 얼굴 애니메이션 정보를 수신하는 단계; 및

사용자에게 표시하기 위하여 HMD의 디스플레이에 얼굴 애니메이션 정보를 제공하는 단계를 포함할 수 있다.

본 발명에 따른 추가 실시예로, 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체는 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 실행시 동작가능한 소프트웨어를 포함한다.

본 발명에 따른 추가 실시예로, 시스템은 하나 이상의 프로세서; 및 프로세서에 결합되며 프로세서에 의해 실행가능한 명령어들을 포함하는 적어도 하나의 메모리를 포함하며, 상기 프로세서는 명령어들을 실행시 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 동작가능하다.

본 발명에 따른 추가 실시예로, 바람직하게는 컴퓨터-판독가능한 비-일시적 저장 매체를 포함하는 컴퓨터 프로그램 제품이 데이터 처리 시스템에서 실행시 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 동작가능하다.

본 발명의 내용 중에 포함되어 있다.

도 1은 일실시예에 따른 VR 시스템의 블록도이다.
도 2는 일실시예에 따른 VR 시스템의 얼굴 추적 시스템의 블록도이다.
도 3은 일실시예에 따른 가상 현실 HMD의 와이어 다이어그램이다.
도 4는 일실시예에 따른 도 3에 도시된 가상 현실 HMD의 전방 강체의 일실시예의 와이어 다이어그램이다.
도 5는 일실시예에 따른 도 4에 도시된 가상 현실 HMD의 전방 강체의 단면도이다.
도 6은 일실시예에 따른 얼굴 애니메이션의 프로세스를 도시하는 흐름도이다.
도면들은 단지 예로서 본 발명의 다양한 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.

시스템 개요

도 1은 일실시예에 따른 VR 시스템(100)의 블록도이다. 일부 실시예에서, VR 시스템(100)은 증강 현실(AR) 및/또는 혼합 현실(MR) 환경에서 동작할 수 있다. 도 1에 도시된 시스템(100)은 각각 콘솔(110)에 결합되는 헤드 마운트 디스플레이(HMD)(105), 이미징 장치(135) 및 VR 입력 인터페이스(140)를 포함한다. 도 1은 하나의 HMD(105), 하나의 이미징 장치(135) 및 하나의 VR 입력 인터페이스(140)를 포함하는 예시적인 시스템(100)을 도시하는 한편, 다른 실시예에서 임의의 수의 이러한 컴포넌트들이 시스템(100)에 포함된다. 예를 들어, 각각 연관된 VR 입력 인터페이스(140)를 가지고 하나 이상의 이미징 장치(135)에 의해 모니터링되는 다수의 HMD(105)가 있고, 각 HMD(105)에 대하여, VR 입력 인터페이스(140) 및 이미징 장치(135)는 콘솔(110)과 통신한다. 대안적 구성으로, 상이한 컴포넌트 및/또는 추가 컴포넌트는 시스템(100)에 포함될 수 있다.

HMD(105)는 컨텐츠를 사용자에게 제시한다. HMD(105)가 제시하는 컨텐츠의 예시는 하나 이상의 이미지, 비디오, 오디오, 또는 이들의 임의의 조합을 포함한다. 일부 실시예로, 오디오는 HMD(105), 콘솔(110) 또는 둘 모두로부터 오디오 정보를 수신하고 오디오 정보에 기반하여 오디오 데이터를 제시하는 외부 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시된다. HMD(105)의 실시예가 도 3 내지 도 5와 함께 아래에서 더 기술된다. 일례로, HMD(105)는 하나 이상의 강체를 포함하는데, 서로 강성으로 또는 비강성으로 결합된다. 강체 사이의 강성 결합은 결합된 강체가 단일 강성 엔티티로 역할을 하도록 한다. 대조적으로, 강체 사이의 비-강성 결합은 강체가 서로에 상대적으로 이동할 수 있게 한다.

HMD(105)은 전자 디스플레이(115), 광학 블록(118), 하나 이상의 로케이터(120), 하나 이상의 위치 센서(125), 관성 측정 유닛(IMU)(130) 및 얼굴 추적 시스템(160)을 포함한다. 전자 디스플레이(115)는 콘솔(110)로부터 수신된 데이터에 따라 이미지를 사용자에게 디스플레이한다. 다양한 실시예로, 전자 디스플레이(115)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이(예컨대, 사용자의 각 눈을 위한 디스플레이)를 포함할 수 있다. 전자 디스플레이(115)의 예시는: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유가 발광 다이오드 디스플레이(AMOLED), 임의의 다른 디스플레이, 또는 이들의 임의의 조합을 포함한다.

광학 블록(118)은 전자 디스플레이(115)로부터 수신된 광을 확대하고, 광과 연관된 광학 오차를 보정하고, 보정된 이미지 광을 HMD(105)의 사용자에게 제시한다. 일실시예에서, 광학 블록(118)은 하나 이상의 광학 요소 및/또는 상이한 광학 요소의 조합을 포함한다. 예를 들어, 광학 요소는: 개구, 프레넬(Fresnel) 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 또는 전자 디스플레이(115)로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소이다. 일부 실시예로, 광학 블록(118) 내의 하나 이상의 광학 요소는 하나 이상의 코팅, 가령 반사방지 코팅을 가질 수 있다.

광학 블록(118)에 의한 이미지 광의 확대는 전자 디스플레이(115)가 더 큰 디스플레이보다 물리적으로 더 작고, 무게가 덜 나가고, 더 적은 전력을 소비하도록 허용한다. 추가로, 확대는 디스플레이되는 컨텐츠의 시야각을 증가시킬 수 있다. 예를 들어, 디스플레이되는 컨텐츠의 시야는 디스플레이되는 컨텐츠가 사용자의 시야의 거의 전부(예컨대, 대각선으로 110도), 그리고 일부 경우 전부를 사용하여 표시되도록 한다. 일부 실시예에서, 광학 블록(118)은 그 효과적인 초점 거리가 전자 디스플레이(115)에 의해 투영되는 이미지 광을 확대하는 전자 디스플레이(115)와의 간격보다 크도록 설계된다. 추가로, 일부 실시예에서 확대의 양은 광학 요소의 추가 또는 제거에 의해 조정된다.

일실시예에서, 광학 블록(118)은 고정된 패턴 노이즈(즉, 스크린 도어 효과)에 추가로 하나 이상의 타입의 광학 오차를 보정하도록 설계될 수 있다. 광학 오차의 예시는: 2차원 광학 오차, 3차원 광학 오차, 또는 이들의 임의의 조합을 포함한다. 2차원 오차는 2차원에서 발생하는 광학 수차(aberration)이다. 2차원 오차의 예시적인 타입은: 배럴 왜곡, 핀쿠션 왜곡, 축방향 색수차(chromatic aberration), 횡방향 색수차, 또는 2차원 광학 오차의 임의의 다른 타입을 포함한다. 3차원 오차는 3차원에서 발생하는 광학 오차이다. 3차원 오차의 예시적인 타입은 구면 수차, 코마 수차(comatic aberration), 필드 만곡, 비점 수차, 또는 임의의 다른 타입의 3차원 광학 오차를 포함한다. 일부 실시예로, 디스플레이를 위해 전자 디스플레이(115)로 제공되는 컨텐츠는 사전 왜곡되고, 광학 블록(118)은, 컨텐츠에 기반하여 생성된 전자 디스플레이(115)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.

로케이터(locator, 120)는 서로에 대하여 그리고 HMD(105) 상의 특정 기준점에 대하여 HMD(105) 상의 특정 위치들에 위치하는 물체이다. 로케이터(120)는 발광 다이오드(LED), 코너 튜브 반사기, 반사 마커, HMD(105)이 동작하는 환경과 대조되는 광원 타입, 또는 이들의 임의의 조합일 수 있다. 로케이터(120)가 활성(예컨대, LED 또는 다른 타입의 발광 장치)인 실시예에서, 로케이터(120)는 가시광 대역(즉, ~380 nm 내지 750 nm), 적외선(IR) 대역(즉, ~750 nm 내지 1mm), 자외선 대역(즉, 10nm 내지 380nm), 전자기 스펙트럼의 일부 다른 부분, 또는 이들의 임의의 조합 내에서 광을 방출할 수 있다.

일부 실시예로, 로케이터(120)는, 로케이터(120)에 의해 방출되거나 반사된 광의 파장에 대해 투명하거나 로케이터(120)에 의해 방출되거나 반사된 광의 파장을 실질적으로 감쇠하지 않도록 충분히 얇게 되도록 HMD(105)의 외부 표면 아래에 위치한다. 추가로, 일부 실시예에서, HMD(105)의 외부 표면 또는 다른 부분은 광의 파장의 가시선 대역에서 불투명하다. 따라서, 로케이터(120)는 IR 대역에서 투명하지만 가시광 대역에서 불투명한, 외부 표면 아래에서의 IR 대역의 광을 방출할 수 있다.

IMU(130)는 하나 이상의 위치 센서들(125)로부터 수신된 측정 신호에 기반하여 캘리브레이션 속성을 생성하는 전자 장치이다. 위치 센서(125)는 HMD(105)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(125)의 예시는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 타입의 센서, IMU(130)의 오차 보정에 사용되는 센서 타입 및/또는 이들의 임의의 조합을 포함한다. 위치 센서(125)는 IMU(130)의 외부, IMU(130)의 내부, 및/또는 이들의 임의의 조합에 위치할 수 있다.

하나 이상의 위치 센서(125)로부터의 하나 이상의 측정 신호에 기반하여, IMU(130)는 HMD(105)의 초기 위치에 상대적인 HMD(105)의 추정된 위치를 표시하는 고속 캘리브레이션 속성을 생성한다. 예컨대, 위치 센서(125)는 병진 운동(전/후, 상/하 및 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(130)는 빠르게 측정 신호를 샘플링하고 샘플링된 데이터로부터 HMD(105)의 추정된 위치를 계산한다. 예컨대, IMU(130)는 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, HMD(105) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(130)는 고속 캘리브레이션 속성을 결정하는 콘솔(110)로 샘플링된 측정 신호를 제공한다. 일실시예에서, 기준점은 HMD(105)의 위치를 기술하는데 사용되는 포인트이다. 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있지만, 실제로는, 기준점은 HMD(105) 내의 지점(예를 들어, IMU(130)의 중심)으로 정의된다.

IMU(130)는 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 더 후술되는 바와 같이, 하나 이상의 캘리브레이션 파라미터는 HMD(105)의 추적을 유지하는데 사용된다. 수신된 캘리브레이션 파라미터에 기반하여, IMU(130)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 속도)를 조정할 수 있다. 일부 실시예로, 특정 캘리브레이션 파라미터는 IMU(130)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 기준점의 다음 캘리브레이션된 위치에 대응하도록 한다. 기준점의 다음 캘리브레이션된 위치로 기준점의 초기 위치를 업데이트하는 것은 결정된 추정 위치와 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다.

얼굴 추적 시스템(160)은 사용자의 얼굴의 일부(예컨대, 사용자의 눈을 포함)를 추적한다. 얼굴의 일부는, 예컨대 사용자가 착용한 HMD(105)에 의해 덮인 얼굴 부분이다. 일부 실시예에서, 얼굴 추적 시스템(160)은 캘리브레이션 속성을 수집한다. 캘리브레이션 속성은 HMD(105)에 의해 덮인 얼굴의 랜드마크(예컨대, 사용자의 눈썹이나 코의 위치)를 기술한다. 일실시예에서, 얼굴 추적 시스템(160)은 얼굴의 추적된 부분(눈 위치도 포함할 수 있음) 및 캘리브레이션 속성을 사용하여 사용자의 얼굴의 추적된 부분을 기술하는 얼굴 애니메이션 정보를 생성한다. 얼굴 추적 시스템(160)은 예컨대, 사용자의 얼굴의 추적된 부분(눈 위치를 포함할 수 있음), 캘리브레이션 속성, 얼굴 애니메이션 정보 또는 그 일부의 조합에 기반하여 추적 정보를 생성한다. 추적 정보는 사용자의 얼굴의 일부의 가상 애니메이션을 위해 사용될 수 있는 콘솔(110)로 전달되는 정보이다. 얼굴 추적 시스템(160)은 추적 정보를 콘솔(110)로 전달한다. 일부 실시예에서, 추적 정보는 콘솔(110)이 생성한 얼굴 애니메이션 정보를 포함하지 않는다.

일부 실시예에서, 얼굴 추적 시스템(160)은 도 2에 더 서술되는 하나 이상의 광원, 하나 이상의 얼굴 센서 및 컨트롤러를 포함한다. 일부 실시예에서, 얼굴 추적 시스템(160)은 사용자가 HMD(105)를 착용한 동안 사용자의 하나 또는 양 눈을 추적하기 위하여 사용자의 안구 운동, 예컨대 각막 구 추적을 추적한다. 일부 실시예에서, 광원과 얼굴 센서는 통신 가능하게 얼굴 애니메이션 생성을 위한 데이터 처리, 광학 동작 수행 등을 수행하는 컨트롤러와 연결된다.

이미징 장치(135)는 콘솔(110)로부터 수신된 캘리브레이션 파라미터에 따라 저속 캘리브레이션 속성을 생성한다. 저속 캘리브레이션 속성은 이미징 장치(135)에 의해 감지 가능한 로케이터(120)의 관측된 위지를 보여주는 하나 이상의 이미지를 포함한다. 일부 실시예에서, 이미징 장치(135)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 하나 이상의 로케이터(120)를 포함하는 이미지를 캡처할 수 있는 임의의 다른 장치, 또는 이들의 임의의 조합을 포함할 수 있다. 추가로, 이미징 장치(135)는 (예컨대, 신호-대-노이즈 비율을 증가시키는데 사용되는) 하나 이상의 필터를 포함할 수 있다. 이미징 장치(135)는 이미징 장치(135)의 시야 내에서 로케이터(120)로부터 방출되거나 반사된 광을 감지하도록 구성된다. 로케이터(120)가 수동 소자(예컨대, 역반사기(retroreflector))를 포함하는 실시예에서, 이미징 장치(135)는 이미징 장치(135)에서 광원을 향해 광을 역반사하는, 로케이터(120)의 일부 또는 전부를 조명하는 광원을 포함할 수 있다. 저속 캘리브레이션 속성은 이미징 장치(135)로부터 콘솔(110)로 통신되고, 이미징 장치(135)는 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 레이트, ISO, 센서 온도, 셔터 속도, 조리개 등)를 조정하기 위해 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다.

VR 입력 인터페이스(140)는 콘솔(110)로 행위 요청을 사용자가 전송하도록 허용하는 장치이다. 행위 요청은 특정 행위를 수행하기 위한 요청이다. 예컨대, 행위 요청은 애플리케이션을 시작 또는 종료하거나 애플리케이션 내의 특정 행위를 수행하는 것일 수 있다. VR 입력 인터페이스(140)는 하나 이상의 입력 장치를 포함 할 수 있다. 예시적인 입력 장치는: 키보드, 마우스, 게임 컨트롤러, 행위 요청을 수신하고 수신된 행위 요청을 콘솔(110)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. VR 입력 인터페이스(140)에 의해 수신된 행위 요청은 행위 요청에 대응하는 행위를 수행하는 콘솔(110)로 통신된다. 일부 실시예에서, VR 입력 인터페이스(140)는 콘솔(110)로부터 수신된 명령에 따라 햅틱 피드백을 사용자에게 제공할 수 있다. 예컨대, 햅틱 피드백은 행위 요청이 수신될 때 제공되거나, 콘솔(110)은 콘솔(110)이 행위를 수행할 때 VR 입력 인터페이스(140)가 햅틱 피드백을 생성하도록 야기하는 명령어를 VR 입력 인터페이스(140)로 통신한다.

콘솔(110)은: 이미징 장치(135), HMD(105) 및 VR 입력 인터페이스(140) 중 하나 이상으로부터 수신된 정보에 따라 사용자에게 제시하기 위해 컨텐츠를 HMD(105)으로 제공한다. 도 1에 도시된 예시에서, 콘솔(110)은 애플리케이션 스토어(145), 추적 모듈(150), 및 VR 엔진(155)을 포함한다. 콘솔(110)의 일부 실시예는 도 1과 함께 기술된 것들과는 상이한 모듈을 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 콘솔(110)의 컴포넌트들 사이에 분산될 수 있다.

애플리케이션 스토어(145)는 콘솔(110)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 HMD(105) 또는 VR 인터페이스 장치(140)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.

추적 모듈(150)은 하나 이상의 캘리브레이션 파라미터를 사용하여 시스템(100)을 캘리브레이션하고, HMD(105)의 위치 결정에 있어서의 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 예컨대, 추적 모듈(150)은 HMD(105) 상의 관측된 위치에 대한 더 정확한 위치를 획득하기 위해 이미징 장치(135)의 초점을 조정한다. 또한, 추적 모듈(150)에 의해 수행되는 캘리브레이션은 IMU(130)로부터 수신된 정보를 감안한다. 추가로, VR 헤드셋(105)의 추적이 손실된다면(예컨대, 이미징 장치(135)가 적어도 임계 수의 로케이터(120)에 대한 시야를 손실한다면), 추적 모듈(140)은 시스템(100)의 일부 또는 전부를 다시 캘리브레이션한다.

추적 모듈(150)은 이미징 장치(135)로부터 저속 캘리브레이션 정보를 사용하여 HMD(105)의 움직임을 추적한다. 추적 모듈(150)은 HMD(105)의 모델 및 저속 캘리브레이션 정보로부터 관측된 로케이터를 사용하여 HMD(105)의 기준점의 위치를 결정한다. 추적 모듈(150)은 또한, 고속 캘리브레이션 정보로부터의 위치 정보를 사용하여 HMD(105)의 기준점의 위치를 결정한다. 추가로, 일부 실시예에서, 추적 모듈(150)은 고속 캘리브레이션 정보, 저속 캘리브레이션 정보, 또는 이들의 일부 조합의 부분들을 사용하여 HMD(105)의 미래의 위치를 예측한다. 추적 모듈(150)은 HMD(105)의 추정 또는 예측된 미래 위치를 VR 엔진(155)으로 제공한다.

VR 엔진(155)은 시스템(100) 내에서 애플리케이션을 실행하고, 추적 모듈(150)로부터 HMD(105)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, VR 엔진(155)은 사용자에게 제시하기 위해 HMD(105)으로 제공하기 위한 컨텐츠를 결정한다. 일부 실시예에서, VR 엔진(155)은 HMD(105)로부터 수신한 추적 정보에 기반하여 얼굴 애니메이션 정보를 생성한다. 대안적 실시예에서, VR 엔진(155)은 HMD(105)로부터 추적 정보의 일부로 얼굴 애니메이션 정보를 직접 수신한다. 예를 들어, VR 엔진(155)은 얼굴 추적 시스템(160)의 얼굴 애니메이션 모듈(260)(도 2에 더 기술)로부터 얼굴 애니메이션 정보를 수신한다. 얼굴 애니메이션 정보에 기반하여, VR 엔진(155)은 HMD(105)의 사용자에 대응하는 아바타의 안구 운동을 포함하여 아바타의 얼굴 표현 및/또는 아바타의 가상 얼굴을 생성한다. 예를 들어, 아바타의 얼굴 표현이나 안구 운동은 사용자가 실제 생활에서 수행하는 얼굴 표현이나 안구 운동에 대응한다. VR 엔진(155)은 HMD(105)의 전자 디스플레이(115)를 통하여 사용자에게 표시하기 위하여 가상 얼굴을 제공한다. 다른 예시에서, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(155)은 가상 현실에서 사용자의 움직임을 미러링하는 HMD(105)을 위한 컨텐츠를 생성한다. 추가로, VR 엔진(155)은 VR 입력 인터페이스(140)로부터 수신된 행위 요청에 응답하여 콘솔(110) 상에서 실행되는 애플리케이션 내에서 행위를 수행하고 행위가 수행되었다고 피드백을 사용자에게 제공한다. 예를 들어, 제공된 피드백은 HMD(105)을 통한 시각적 또는 청각적 피드백이거나 VR 입력 인터페이스(140)를 통한 햅틱 피드백을 포함할 수 있다.

얼굴 추적 시스템

도 2는 일실시예에 따른 VR 시스템(100)의 얼굴 추적 시스템(160)의 블록도이다. 도 2에 도시된 예시에서, 얼굴 추적 시스템(160)은 하나 이상의 광원(200), 하나 이상의 얼굴 센서(210) 및 컨트롤러(220)를 포함한다. 다른 실시예에서, 상이한 및/또는 추가 컴포넌트가 얼굴 추적 시스템(160)에 포함될 수 있거나, 얼굴 추적 시스템(160)은 VR 시스템(100)과 상이한 시스템의 일부일 수 있다.

하나 이상의 광원(200)은 HMD(105)를 착용한 HMD(105)에 의해 덮인 사용자의 얼굴의 일부를 조명하고, HMD(105) 상의 개별 위치에 위치된다. 일실시예에서, 광원(200)은 링 배열로 위치된다. 특히, 복수의 광원 중 각 광원(200)은 원, 예컨대 HMD(105)의 아이컵 어셈블리를 오버레이하는 가상 원(도 4에 더 기술됨)의 원주 상에 위치한다. 예를 들어, 각 광원(200)은 일반적인 아날로그 시계의 시침 위치에 위치된다. 일실시예에서, 하나 이상의 광원(200)은 가시 대역(즉, ~380nm 내지 750nm), 적외선(IR) 대역(즉, ~750nm 내지 1mm), 자외선 대역(즉, 10nm 내지 380nm), 전자기 스펙트럼의 일부 다른 부분 또는 그 일부 조합에서 광을 방출하는 LED(light-emitting diode)이다. 일부 실시예에서, 광원(200)은 모든 광원(200)에 대해 또는 광원(200)의 서브셋 간에 상이한 광학 특성을 포함한다. 광학 특성은 광원(200)의 특징이다. 예를 들어, 광학 특성은 광원(200)이 방출하는 광의 파장, 시간상 다른 시점에서 광원(200)의 광 파장 간의 상관 관계를 기술하는 시간적 코히어런스 또는 그 일부 조합일 수 있다. 나아가, 광원(200)으로부터의 광은 상이한 주파수 또는 진폭에서 변조되고(즉, 강도의 변화) 및/또는 시간이나 주파수 대역에서 멀티플렉스될 수 있다.

하나 이상의 얼굴 센서(210)는 HMD(105)의 사용자의 얼굴 데이터를 캡처한다. 얼굴 데이터는 사용자의 얼굴의 특징, 예컨대 HMD(105)에 의해 덮인 얼굴의 부분의 특징을 기술한다. 얼굴 센서(210)는 이미징 타입 센서 및/또는 비-이미징 타입 센서일 수 있다. 이미징 타입 얼굴 센서(210)는 예컨대 사용자의 얼굴의 부분의 이미지를 캡처하는 카메라이다. 이미지는 복수의 픽셀을 포함하고, 픽셀 각각은 밝기 레벨을 가진다. 비-이미징 타입 얼굴 센서(210)는 예컨대, 오디오 센서, 스트레인 게이지, 전자기 센서, 근접 센서 또는 일부 다른 비광학 타입 센서이다. 얼굴 센서(210)는 초점 거리, 초점, 프레임 속도, ISO, 센서 온도, 셔터 스피드, 조리개, 해상도 등과 같은 복수의 파라미터를 가질 수 있다. 일부 실시예에서, 얼굴 센서(210)는 고 프레임 레이트 및 고해상도를 가진다.

일실시예에서, 이미징 타입 얼굴 센서(210)는 사용자에게 입사하는(예컨대, HMD(105)에 의해 덮이는 사용자의 얼굴의 일부에 입사하는) 광원(200)으로부터의 광에 응답하여 반사가 사용자 움직임의 범위에 걸쳐 캡처될 수 있도록 위치한다. 일례로, 얼굴 센서(210)는 HMD(105)를 착용한 사용자의 시선 바깥이도록 축 외부에, 즉 만약 사용자가 HMD(105)의 디스플레이 요소(115)를 본다면, 얼굴 센서(210)가 사용자의 직접 시선 내에 위치하지 않도록 위치한다. 다른 실시예에서, 얼굴 센서(210)는 HMD(105)를 착용한 사용자의 시선 내에, 즉 사용자가 디스플레이 요소(115)를 보는 동안 얼굴 센서(210)를 볼 수 있도록 위치한다.

얼굴 센서(210)가 비-이미징 센서인 실시예에서, 얼굴 추적 시스템(160)은 광원(200)을 반드시 필요로 하지 않는다. 예를 들어, 얼굴 센서(210)는 초음파에 기반한 근접 센서이다. 따라서, 얼굴 센서(210)는 얼굴 센서(210)와 사용자의 얼굴의 일부 간의 거리를 나타내는 얼굴 데이터를 캡처한다. 얼굴 센서(210)는 초음파 파장이 얼굴의 일부에서 반사되고 얼굴 센서(210)로 돌아오는 시간에 기반하여 거리를 결정한다. 이 경우, 얼굴 센서(210)는 사용자의 얼굴을 향해 초음파 파장을 방출하고, 반사된 초음파 파장은 얼굴 센서(210)에 의해 감지된다.

컨트롤러(220)는 얼굴 추적 시스템(160)을 제어한다. 컨트롤러(220)는 얼굴 추적 스토어(225), 얼굴 데이터 캡처 모듈(230), 캘리브레이션 모듈(240), 얼굴 센서 처리 모듈(250), 안구 추적 모듈(255), 얼굴 애니메이션 모듈(260) 및 디스플레이 인터페이스 모듈(270)을 포함한다. 다른 실시예에서, 상이한 및/또는 추가 컴포넌트가 컨트롤러(220)에 포함될 수 있다. 도 2에 도시된 예에서, 컨트롤러(220)는 얼굴 추적 시스템(160)의 일부이고, 따라서 또한 HMD(105)의 일부이다. 다른 실시예에서, 컨트롤러(220)의 일부 또는 전부가 HMD(105)의 외부에 있고, 예컨대 컨트롤러(220)는 콘솔(110)의 일부로 포함되거나 시스템(100) 외부의 다른 컴포넌트 및/또는 시스템에 포함된다. 컨트롤러(220)를 HMD(105) 외부에 가지는 것은 일부 실시예에서 이점적일 수 있는데 HMD(105)가 컨트롤러의 기능을 실행하는데 요구되는 처리 능력을 감소시킬 수 있고, HMD(105)가 충전지로 전력이 공급되는 실시예에서 처리 능력 감소는 HMD(105)의 배터리 수명을 증가시키기 때문이다.

얼굴 추적 스토어(225)는 얼굴 추적 시스템(160)이 기록하거나 사용하는 데이터를 저장한다. 저장되는 데이터는 예컨대, 추적 정보, 얼굴 정보, 안구 추적 정보, 캘리브레이션 속성, 얼굴 애니메이션 정보, 얼굴 추적을 위해 사용되는 일부 다른 정보 또는 그 일부 조합을 포함할 수 있다. 얼굴 데이터는 HMD(105)를 착용하는 사용자의 얼굴의 추적되는 표면에 대한 정보를 포함한다. 캘리브레이션 속성은 사용자의 얼굴의 랜드마크에 대한 정보를 포함한다. 얼굴 데이터와 캘리브레이션 속성은 더 후술된다. 얼굴 추적 스토어(225)는 얼굴 추적 시스템(160) 외부의 소스로부터, 예컨대 콘솔(110) 또는 온라인 소스로부터 검색되는 정보를 저장할 수 있다. 얼굴 추적 시스템(160)의 다른 모듈은 얼굴 추적 스토어(225)에 정보를 저장하고 및/또는 얼굴 추적 스토어(225)로부터 정보를 검색한다.

얼굴 데이터 캡처 모듈(230)은 얼굴 센서(210)로부터 얼굴 데이터를 수신한다. 이미징 타입 얼굴 센서(210)(예컨대, 카메라)를 포함하는 실시예에서, 얼굴 데이터 캡처 모듈(230)은 사용자의 얼굴의 일부를 조명하기 위하여 하나 이상의 광원(200)에 명령을 제공한다. 이와 관련하여, 얼굴 데이터 캡처 모듈(230)은 얼굴의 조명되는 부분(예컨대, HMD(105) 내부의 부분)의 하나 이상의 얼굴 데이터 프레임을 캡처하기 위하여 하나 이상의 얼굴 센서(210)에 명령도 제공한다. 일실시예에서, 얼굴 데이터 캡처 모듈(230)은 얼굴 추적 스토어(225) 및/또는 시스템(100) 내부 또는 외부의 얼굴 추적 시스템(160)이 접근할 수 있는 임의의 다른 데이터베이스에 캡처된 얼굴 데이터 프레임을 저장한다.

비-이미징 타입 얼굴 센서(210)를 포함하는 실시예에서, 얼굴 데이터 캡처 모듈(230)은 HMD(105)를 착용하는 사용자의 얼굴의 일부의 얼굴 데이터를 캡처하기 위하여 얼굴 센서(210)로 명령을 제공한다. 이 실시예에서, 얼굴 추적 시스템(160)은 광원(200)을 포함하지 않을 수 있다. 따라서, 일부 실시예에서, 얼굴 데이터 캡처 모듈(230)은 얼굴 센서(210)로의 명령과 관련하여 광원(200)으로 명령을 제공하지 않는다.

얼굴 데이터 캡처 모듈(230)은 각 광원(200)의 제어를 조정한다. 일부 실시예에서, 예컨대 광원(200)이 링 배열로 위치하는 실시예에서, 얼굴 데이터 캡처 모듈(230)은 하나의 광원만 주어진 시기에 발광하도록(예컨대, 눈당 또는 HMD(105)당) 광원(200)으로 명령을 제공한다. 링의 광원이 순차적 순서로, 예컨대 링의 한 광원에서 시작하여 사용자의 눈 주위로 시계 방향 또는 반시계 방향으로 발광, 즉 사용자의 얼굴의 일부를 조명한다. 대안적으로, 광원이 임의의 다른 순서 또는 유형의 순차로 발광한다. 예를 들어, 열두 개의 광원(200)이 링 배열로 위치하고, 각 광원은 사용자의 눈 주위로 일반적인 아날로그 시계의 시침 위치(즉, 1 내지 12)에 대응한다. 짝수에 대응하는 광원이 먼저 순차적으로 발광하고, 홀수에 대응하는 광원이 다음에 순차적으로 발광한다. 구체적으로, 발광하는 광원의 순서는 2, 4, 6, 8, 10, 12, 1, 3, 5, 7, 9, 11이다. 일부 실시예에서, 광원의 발광 순서는 랜덤 및/또는 시간에 따라 변화할 수 있다. 얼굴 데이터 캡처 모듈(230)은 다양한 조명 속도로 특정 기간에 걸쳐 조명의 동일한 시퀀스(또는 다른 시퀀스)를 반복할 수 있다. 예를 들어, 얼굴 데이터 캡처 모듈(230)은 10초 기간 동안 초당 60조명의 속도로 시계 방향 조명 시퀀스를 반복할 수 있다. 링 배열에 추가로, 광원(200)은 HMD(105)에 임의의 다른 배열 패턴 또는 임의로 위치될 수 있다.

사용자의 각 눈 주위의 링에 위치한 복수의 광원(200)을 포함하는 동일 실시예에서, 얼굴 데이터 캡처 모듈(230)은 각 조명, 예컨대 얼굴 데이터의 프레임에 대응하는 사용자의 일부를 조명하는 복수의 광원의 각 인스턴스에 대응하는 얼굴 데이터를 캡처하기 위하여 얼굴 센서(210)로 명령을 제공한다. 따라서, 얼굴 데이터 캡처 모듈(230)은 조명 및 프레임 캡처와 동기화되어야 한다. 예를 들어, 만약 광원(200)이 초당 24조명의 속도로 발광한다면, 얼굴 센서(210)는 원하는 얼굴 데이터 해상도를 달성하기 위하여 적어도 초당 24프레임의 속도로 프레임을 캡처한다.

캘리브레이션 모듈(240)은 사용자에 대해 HMD(105)를 캘리브레이션한다. 캘리브레이션 모듈(240)은 하나 이상의 선택 파라미터를 사용하여 얼굴 추적 스토어(225), 온라인 캘리브레이션 서버 또는 그 일부의 조합으로부터 캘리브레이션 속성을 검색한다. 선택 파라미터는 캘리브레이션 속성에 매핑되는 사용자의 특성이다. 선택 파라미터는 예컨대, 연령, 인종, 성별, 국적, 언어, 얼굴 표현에 영향을 줄 수 있는 일부 다른 특성 또는 그 일부 조합일 수 있다.

캘리브레이션 모듈(240)은 캡처된 캘리브레이션 속성에 대해 검색된 캘리브레이션 속성의 품질 체크를 수행한다. 일부 실시예에서, 실제 캘리브레이션 속성은 HMD(105)의 정상 동작 동안 캡처된다. 다른 실시예에서, 캘리브레이션 모듈(240)은 캘리브레이션 속성을 캡처하기 위하여 캘리브레이션 프로세스의 단계를 통해 사용자를 안내하기 위한 지시를 생성한다. 캘리브레이션 모듈(240)은 캡처된, 즉 실제의 캘리브레이션 속성을 검색된 캘리브레이션 속성과 비교한다. 예를 들어, 기대되는 캘리브레이션 속성은 사용자의 코를 나타내는 랜드마크의 좌표점의 기대되는 세트를 나타낸다. 실제의 캘리브레이션 속성은 실제의, 즉 경험적으로 캡처된 랜드마크의 좌표점의 세트를 나타낸다. 만약 검색된 캘리브레이션 속성과 실제 캘리브레이션 속성 간의 차이가 임계치보다 작다면, 검색된 캘리브레이션 속성은 HMD(105)의 효과적 사용을 위한 충분한 품질을 제공한다. 반면, 만약 검색된 캘리브레이션 속성과 실제 캘리브레이션 속성 간의 차이가 임계치보다 크다면, 캘리브레이션 모듈(240)은 기대되는 캘리브레이션 속성이 HMD(105)의 효과적 사용을 위한 실제 캘리브레이션 속성과 너무 다르다고 결정한다. 그 후 캘리브레이션 모듈(240)은 온라인 서버로 실제 캘리브레이션 속성과 사용자의 선택 파라미터를 업로드한다. 일부 실시예에서, 캘리브레이션 모듈(240)은 검색된 캘리브레이션 속성과 실제 캘리브레이션 속성이 임계치보다 큰지 여부와 관계 없이 선택 파라미터와 실제 캘리브레이션 파라미터를 온라인 서버로 업로드한다. 이 방식으로 온라인 캘리브레이션 서버는 많은(예컨대, 수천) 상이한 사용자로부터의 정보로 구축된 글로벌 캘리브레이션 속성 세트를 증강할 수 있다. 글로벌 캘리브레이션 속성 세트가 커짐에 따라 이로부터 검색된 캘리브레이션 속성의 정확도가 증가하고, 이로써 개별 HMD(105)의 캘리브레이션 시간을 최소화한다.

상술한 바와 같이, 캘리브레이션 모듈(240)은 캘리브레이션 프로세스의 단계를 통해 사용자를 안내하는 지시를 통해 실제 캘리브레이션 속성을 캡처할 수 있다. 캘리브레이션 모듈(240)은 사용자에게 표시하기 위하여 전자 디스플레이(115)로(예컨대, 디스플레이 인터페이스 모듈(270)을 통하여) 명령을 제공한다. 한 예시적인 사용예로, 캘리브레이션 모듈(240)은 HMD(105)를 착용한 사용자가 하나 이상의 얼굴 표현, 예컨대 눈 깜박이기, 눈을 가늘게 뜨기, 눈썹 올리기, 미소 짓기, 얼굴 찌푸리기, 특정 방향 보기 또는 중립적인 얼굴 유지하기(즉, 얼굴 표현이 있는 얼굴과 비교할 때 기준선을 제공하기 위하여 임의의 특정한 얼굴 표현 없이 얼굴 유지하기)을 수행하도록 지시한다. 얼굴 데이터 캡처 모듈(230)은 캘리브레이션 모듈(240)과 함께 동작하여 사용자가 하나 이상의 얼굴 표현을 수행함에 따라 사용자의 얼굴의 일부에 대응하는 얼굴 데이터를 캡처한다. 그 후, 캘리브레이션 모듈(240)은 캡처된 얼굴 데이터를 대응하는 얼굴 표현에 매핑하는데, 예컨대 캘리브레이션 모듈(240)은 눈을 깜박이는 얼굴 표현을 사용자가 눈을 깜박이도록 지시된 후 캡처된 얼굴 데이터에 매핑한다. 캘리브레이션 모듈(240)은 캡처된 얼굴 데이터와 매핑을 얼굴 추적 스토어(225) 및/또는 얼굴 추적 시스템(160)이 접근할 수 있는 시스템(100) 내부 또는 외부의 임의의 다른 데이터베이스에 저장한다.

다른 예시적인 사용예에서, 캘리브레이션 모듈(240)은 캡처된 얼굴 데이터 및 매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 랜드마크를 식별한다. 랜드마크는, 예컨대 사용자의 눈썹, 사용자의 눈꺼풀, 사용자의 동공, 사용자의 눈, 사용자의 뺨, 사용자의 이마 등의 위치를 포함한다. 일실시예에서, 얼굴 데이터는 이미징 타입 얼굴 센서(210)(예컨대, 카메라)에 의해 캡처된 이미지로 표현된다. 캘리브레이션 모듈(240)은 캡처된 이미지에 보이는 랜드마크를 나타내는 하나 이상의 특징을 결정함으로써 랜드마크를 식별한다. 예를 들어, “눈썹을 올림” 얼굴 표현의 특징은 사용자의 눈썹이 움직일 것이다. 따라서, 캘리브레이션 모듈(240)은 이미지의 밝기 및/또는 강도 레벨에 기반하여 눈썹 움직임에 대응하는 이미지 및/또는 이미지의 일부를 식별한다. 특히, 각 이미지의 하나 이상의 픽셀의 밝기 및/또는 강도 레벨은 복수의 캡처된 이미지에서 이미지의 시퀀스에 걸쳐 변하는데, 예컨대 눈썹 움직임은 사용자의 얼굴의 표면이 움직이도록 야기하고, 얼굴에서 반사되는 광의 밝기(또는 강도)의 변화를 야기하기 때문이다. 캘리브레이션 모듈(240)은 하나 이상의 픽셀의 좌표점을 결정하고 좌표점을 사용자의 눈썹의 위치와 연관된 랜드마크에 매핑한다. 예를 들어, 복수의 캡처된 이미지 중 2차원 이미지에서, 픽셀은 x축과 y축으로 평면 상에 체계화된다. 좌표(x,y)점 (8,46), (8,47) 및 (8,48)은 눈썹 랜드마크에 매핑된다. 그 후 캘리브레이션 모듈(240)은 매핑을 얼굴 추적 스토어(225) 및/또는 얼굴 추적 시스템(160)이 접근할 수 있는 시스템(100) 내부 또는 외부의 임의의 다른 데이터베이스에 저장한다. 일실시예에서, 만약 캘리브레이션 모듈(240)이 캡처된 이미지를 랜드마크에 매핑할 수 없다면, 캘리브레이션 모듈(240)은 얼굴 표현에 대응하는 이미지를 재캡처하기 위하여 사용자가 얼굴 표현을 반복하도록 지시를 생성한다. 캘리브레이션 모듈(240)은 수동적으로(예컨대, 사용자에게 경고 없이) 또는 능동적으로(예컨대, 사용자가 전술한 바와 같은 일련의 표현을 수행하도록 유도) 얼굴 캘리브레이션을 수행할 수 있다. 캘리브레이션 속성은 VR 시스템(100)의 정상 동작에 사용된다.

얼굴 센서 처리 모듈(250)은 얼굴 데이터 캡처 모듈(230)이 캡처한 얼굴 데이터를 처리한다. 이미징 타입 얼굴 센서(210)의 실시예에서, 캡처된 얼굴 데이터는 사용자로부터 반사된 광에 기반한다. 광원(200)이 방출한 광은 사용자의 얼굴 및/또는 눈의 평면 섹션에서 반사되고, 반사된 광은 얼굴 센서(210)에 의해 캡처된다. 평면 섹션은 얼굴 추적 시스템(160)이 면으로 근사화하는 사용자의 얼굴의 작은 부분이다. 캡처된 광은 표면의 입사각과 캡처된 광의 각도가 동일할 때 가장 밝다(예컨대, 가장 높은 강도). 따라서, 얼굴 센서(210)가 캡처한 복수의 픽셀을 포함하는 샘플 얼굴 데이터 프레임에서, 복수의 픽셀 중 가장 밝은 픽셀은 광이 반사된 평면 섹션에 상대적인, 반사된 광이 기원한 광원(200)의 위치 및/또는 방향에 기반한다. 가장 밝은 픽셀은 예컨대, 강도 값이 하나 이상의 얼굴 센서(210)가 캡처한 광의 양을 나타낼 때 가장 높은 강도 값을 가지는 픽셀이다. 얼굴 센서 처리 모듈(250)은 예컨대 통상의 기술자에게 알려진 이미지 프로세싱 기술을 사용하여 캡처된 얼굴 데이터 프레임에서 가장 밝은 픽셀(또는 가장 밝은 픽셀들)을 결정한다. 일부 실시예에서, 얼굴 센서 처리 모듈(250)은 노이즈 감소 방법을 사용하여 캡처된 얼굴 데이터 프레임을 처리하여 얼굴 데이터 프레임의 품질(예컨대, 픽셀 밝기의 해상도)을 향상시키고, 따라서 픽셀 밝기의 더 정확한 결정을 낳는다. 예를 들어, 만약 얼굴 데이터 프레임이 너무 밝거나 너무 흐린 경우, 얼굴 센서 처리 모듈(250)은 이미지 밝기 오프셋 보정 및/또는 이미지 필터를 캡처된 얼굴 데이터 프레임에 적용한다.

일실시예에서, 얼굴 센서 처리 모듈(250)은 얼굴 센서(210)가 캡처한 복수의 얼굴 데이터 프레임을 포함하는 얼굴 데이터를 분석하도록 구성될 수 있다. 분석에 기반하여, 얼굴 센서 처리 모듈(250)은 HMD(105)를 착용한 사용자의 얼굴의 추적되는 부분을 나타내는 정보를 생성한다. 이미징 타입 얼굴 센서(210)의 실시예에서, 얼굴 센서 처리 모듈(250)은 복수의 얼굴 데이터 프레임 중 어떤 얼굴 데이터 프레임이 특정 픽셀 위치에서 가장 밝은 픽셀을 포함하는지 결정한다. 예를 들어, 복수의 프레임 중 각 프레임은 좌표 (x,y) 쌍으로 표시되는 픽셀 위치를 가지는 2차원 이미지이고 50픽셀 x 50픽셀의 크기를 가질 수 있다. 각 좌표쌍은 사용자의 얼굴의 추적되는 부분 상의 특정 평면 섹션에 매핑된다. 복수의 얼굴 데이터 프레임 중 각 얼굴 데이터 프레임에 대해, 얼굴 데이터 프레임에 대응하는 광원(200)의 위치 및/또는 방향은 상이하다. 예를 들어, 각 얼굴 데이터 프레임은 사용자의 얼굴의 추적되는 부분을 조명하는 상이한 광원(200)과 함께 캡처되었을 수 있다. 얼굴 센서 처리 모듈(250)은 복수의 얼굴 데이터 프레임 중 어떤 얼굴 데이터 프레임이 위치 (0,0)에서 가장 밝은 픽셀을 포함하는지 결정하고, 이 프로세스를 각 얼굴 데이터 프레임의 각 픽셀 위치, 예컨대 (0,1), (0,2), (0,3) 등에 대해 반복한다. 따라서, 얼굴 센서 처리 모듈(250)은 하나 이상의 광원(200) 중 어떤 것이 각 좌표쌍에 대해, 따라서 사용자의 얼굴 중 추적되는 부분의 각 대응하는 평면 섹션에 대해 가장 밝은 픽셀을 야기했는지 식별할 수 있다. 일부 실시예에서, 얼굴 센서 처리 모듈(250)은 단순히 각 좌표쌍에 대해 가장 밝은 픽셀값을 야기한 소스(200)를 선택한다. 대안적 실시예에서, 얼굴 센서 처리 모듈(250)은 캡처된 얼굴 데이터 프레임으로부터 픽셀값을 사용하여 각 좌표쌍에 대한 강도 곡선을 생성한다.

얼굴 센서 처리 모듈(250)은 사용자의 표면의 추적되는 부분의 각 평면 섹션의 법선 벡터를 결정한다. 따라서, 각 픽셀에 대해 그 픽셀에 의해 이미징된 평면 섹션의 대응하는 법선 벡터가 있다. 일부 실시예에서, 사용자의 얼굴의 부분을 이미징하는 주어진 픽셀에 대해, 얼굴 센서 처리 모듈(250)은 가장 밝은 픽셀값을 야기하는 식별된 광원(200)을 사용하여 법선 벡터를 결정한다. 식별된 광원(200)의 방향은 일정하고 얼굴 센서(210)에 대해 알려져 있다. 얼굴 센서 처리 모듈(250)은 사용자의 얼굴의 평면 섹션의 법선 벡터를 추정하기 위하여 방향을 사용한다. 얼굴 센서 처리 모듈(250)은 각 픽셀에 대하여 사용자의 얼굴의 대응하는 평면 섹션의 법선 벡터를 결정한다. 일부 실시예에서, 얼굴 센서 처리 모듈(250)은 각 픽셀에 대한 강도 곡선을 사용하여 법선 벡터를 결정한다.

사용자의 얼굴의 평면 섹션의 법선 벡터는 사용자의 얼굴의 일부의 방향을 기술한다. 사용자의 얼굴의 추적되는 부분은 복수의 평면 섹션을, 각 픽셀에 하나를 사용하여 기술될 수 있다. 얼굴 센서 처리 모듈(250)은 이들 평면 섹션 각각에 대응하는 법선 벡터를 결정한다. 그 후 법선 벡터는 사용자의 얼굴의 추적되는 부분을 기술하는 가상 평면을 생성하기 위해 사용될 수 있다. 가상 평면은 얼굴의 조명되는 부분의 영역의 방향을 기술한다. 예를 들어, 가상 표면은 사용자의 눈, 눈꺼풀 또는 뺨의 곡률을 기술한다. 일실시예에서, 얼굴 센서 처리 모듈(250)은 얼굴의 추적되는 부분을 나타내는 정보, 예컨대 가상 평면을 얼굴 추적 스토어(225) 및/또는 VR 시스템(100)이 접근 가능한 임의의 데이터베이스에 저장한다. 얼굴 센서 처리 모듈(250)은 추가 처리를 위하여 얼굴 애니메이션 모듈(260)에 추적되는 부분을 나타내는 정보도 제공할 수 있다.

안구 추적 모듈(255)은 얼굴 데이터 캡처 모듈(230)이 캡처한 얼굴 데이터를 처리한다. 일실시예에서, 얼굴 데이터는 광, 즉 광원(200)으로부터의 광의 반사 및 HMD(105)를 착용하는 사용자의 눈의 각막에서의 반사를 기술한다. 반사는 기원하는 광원(200)에 의존한다. 특히, HMD(105) 내의 특정 위치 및 방향의 제1 광원(200)에 대응하는 반사는 HMD(105)의 상이한 위치 및/또는 방향의 제2 광원(200)에 대응하는 반사와 상이하다. 반사는 상이한데 반사광은 입사각에서 가장 밝기 때문이다. 얼굴 데이터 캡처 모듈(230)이 얼굴 데이터를 캡처하며 사용자의 얼굴, 및 따라서 눈을 포함하여 조명을 조정하기 때문에, 안구 추적 모듈(255)은 반사를 반사에 대응하는 광이 기원한 광원(200)의 특정 위치에 매핑할 수 있다. 매핑에 기반하여, 안구 추적 모듈(255)은 안구 추적 정보(예컨대, 사용자의 눈의 위치 및/또는 방향), 예컨대 눈이 정면, 왼쪽, 오른쪽, 위 또는 아래를 보고 있는지 여부를 결정한다.

다른 실시예에서, 안구 추적 모듈(255)은 얼굴 센서 처리 모듈(250)과 유사한 단계를 사용하여 복수의 캡처된 얼굴 데이터 프레임에서 가장 밝은 픽셀(또는 가장 밝은 픽셀들)을 식별함으로써 안구 추적 정보를 결정한다. 안구 추적 모듈(255)은 캡처된 이미지로부터의 정보(예컨대, 이미지의 픽셀의 (x,y) 좌표점) 및/또는 얼굴 센서(210)를 사용자의 눈의 방향, 예컨대 눈이 사용자의 이마를 향해 위를 봄, 눈이 사용자의 뺨을 향해 아래를 봄 등에 매핑한다.

얼굴 표현과 표면뿐만 아니라 사용자의 안구를 추적함으로써(예컨대, 사용자의 시선의 방향), VR 시스템(100)은 VR 환경에서 사용자에게 더 몰입되는 환경을 제공할 수 있다. 일실시예에서, 안구 추적 모듈(255)은 안구 추적 정보를 얼굴 추적 스토어(225) 및/또는 VR 시스템(100)이 접근 가능한 임의의 데이터베이스에 저장한다. 안구 추적 모듈(255)은 안구 추적 정보를 추가 처리를 위해 얼굴 애니메이션 모듈(260)에도 제공할 수 있다.

얼굴 애니메이션 모듈(260)은 HMD(105)의 사용자의 얼굴 일부 또는 전부의 얼굴 애니메이션을 생성한다. 일실시예에서, 얼굴 애니메이션 모듈(260)은 얼굴 추적 스토어(225) 및/또는 동일한 데이터를 가지는 임의의 다른 데이터베이스로부터 사용자의 얼굴의 추적되는 부분을 나타내는 얼굴 데이터 및/또는 안구 추적 정보를 검색한다. 얼굴 애니메이션 모듈(260)은 얼굴 추적 스토어(225) 및/또는 동일한 데이터를 가지는 임의의 다른 데이터베이스로부터 캘리브레이션 모듈(240)의 매핑(예컨대, 랜드마크 정보)도 검색한다. 얼굴 애니메이션 모듈(260)은 검색된 얼굴 데이터와 검색된 매핑을 종합함으로써 얼굴 애니메이션 정보를 생성한다. 예를 들어, 얼굴 애니메이션 모듈(260)은 얼굴의 랜드마크의 위치에 대응하는 얼굴의 복수의 평면 섹션, 예컨대 사용자의 코에 대응하는 평면 섹션을 결정한다. 얼굴 애니메이션 모듈(260)은 랜드마크의 위치에 각각 대응하는 복수의 평면 섹션을 조합한다. 예를 들어, 검색된 매핑은 사용자의 얼굴의 다섯 개의 랜드마크, 예컨대 왼쪽 동공, 오른쪽 동공, 왼쪽 뺨, 오른쪽 뺨 및 코 끝과 다섯 개의 위치, 예컨대 (x,y) 좌표점 및/또는 얼굴 데이터 프레임의 좌표점의 세트 간의 일대일 매핑을 나타내는 다섯 개의 매핑을 포함한다 따라서, 결과 얼굴 애니메이션 정보는 사용자의 얼굴(예컨대, 전체 얼굴 및/또는 얼굴의 일부)의 그래픽적 표현을 기술하는데, 다섯 개의 랜드마크 각각에 대응하는 평면 섹션을 포함한다. 일부 실시예에서, 얼굴 애니메이션 모듈(260)은 복수의 평면 섹션을 안구 추적 정보와 조합한다. 따라서, 얼굴 애니메이션은 사용자의 눈의 위치 및/또는 방향의 그래픽적 표현도 포함할 수 있다. 일부 실시예에서, 얼굴 애니메이션 정보는 사용자의 아바타, 예컨대 실제 세계에서 사용자의 얼굴을 표현하는 3D 가상 아바타 또는 실제 세계에서 사용자의 전체 몸을 표현하는 3D 가상 아바타를 생성하는데 사용될 수 있다. 일부 실시예에서, 3D 가상 아바타는 사용자의 화상과 유사하지 않으며(예컨대, 일반적 아바타), 얼굴 애니메이션 정보는 가상 아바타의 눈 깜박임이나 미소와 같은 얼굴 표현을 생성하는데 사용된다. 일부 실시예에서, 얼굴 애니메이션 모듈(260)은 얼굴 센서 처리 모듈(250)로부터 직접 사용자의 얼굴의 추적되는 부분을 나타내는 정보를 및 안구 추적 모듈(255)로부터 직접 안구 추적 정보를 수신한다.

일부 실시예에서, 얼굴 애니메이션 모듈(260)은 얼굴 센서 처리 모듈(250)이 생성한 가상 표면을 종합함으로써 얼굴 애니메이션 정보를 생성한다. 예를 들어, 얼굴 애니메이션 모듈(260)은 사용자의 코, 사용자의 눈 및 사용자의 뺨의 가상 표면을 조합한다. 얼굴 애니메이션 모듈(260)은 가상 표면을 종합하기 위하여 캘리브레이션 속성을 사용할 수 있다. 예를 들어, 캘리브레이션 속성의 랜드마크의 좌표는 사용자의 눈의 가상 표면에 대한 사용자의 코의 가상 표면의 예상되는 위치를 기술한다.

일실시예에서, 얼굴 애니메이션 모듈(260)은 얼굴 센서 처리 모듈(250)에 의해 결정된 매핑에 대응하는 얼굴의 다른 평면 섹션 간의 데이터를 보간함으로써 매핑에 대응하지 않는 사용자의 얼굴의 가상 부분을 기술하는 얼굴 애니메이션 정보의 서브섹션을 생성한다. 일부 실시예에서, 얼굴 애니메이션 모듈(260)은 일반적인 기하학 및 사용자 집단으로부터의 데이터, 예컨대 특정 인구통계학적 범위의 사용자의 코의 평균 길이에 기반하여 사용자의 얼굴의 특성을 기술하는 정보(예컨대, 이전에 얼굴 추적 스토어(225)에 저장된 VR 시스템(100) 바깥의 외부 소스로부터)를 포함하는 다른 정보에 기반하여 얼굴 애니메이션 정보의 서브섹션을 생성한다. 일실시예에서, 얼굴 애니메이션 모듈(260)은 캘리브레이션 모듈(240)이 식별한 랜드마크에 더 기반하여 얼굴 애니메이션의 서브섹션을 생성한다. 예를 들어, 얼굴 애니메이션 모듈(260)은 얼굴 추적 스토어(225)로부터, 사용자의 왼쪽 비공의 위치에 대응하는 2D 이미지에서 픽셀의 좌표점을 나타내는 랜드마크를 검색한다. 그 후 얼굴 애니메이션 모듈(260)은 사용자의 코의 중심선의 위치에 대응하는 선을 따라 왼쪽 비공의 위치에 대응하는 좌표점을 반영함으로써 사용자의 오른쪽 비공에 대응하는 얼굴 애니메이션 정보의 서브섹션을 생성하는데, 예컨대 사용자의 왼쪽 및 오른쪽 비공은 일반적으로 코의 중심선에 대해 대칭이기 때문이다.

디스플레이 인터페이스 모듈(270)은 HMD(105)의 사용자에게 표시하기 위하여 전자 디스플레이(115)로 얼굴 추적 시스템(160)로부터의 정보를 제공한다. 일실시예에서, 디스플레이 인터페이스 모듈(270)은 얼굴 애니메이션 모듈(260)이 생성한 얼굴 애니메이션 정보를 전자 디스플레이(115)로 제공한다.

헤드 마운트 디스플레이

도 3은 일실시예에 따른 가상 현실 HMD(300)의 와이어 다이어그램이다. HMD(300)은 HMD(105)의 일실시예이며, 전방 강체(305) 및 밴드(310)를 포함한다. 전방 강체(305)는 전자 디스플레이(115)(도 3에 도시되지 않음), IMU(130), 하나 이상의 위치 센서(125) 및 로케이터(120)를 포함한다. 도 3이 도시하는 실시예에서, 위치 센서(125)는 IMU(130) 내에 위치하고, IMU(130) 또는 위치 센서(125) 모두는 사용자에게 가시적이지 않다.

로케이터(120)는 서로에 대해 그리고 기준점(315)에 대하여 전방 강체(305) 상의 고정된 위치에 위치한다. 도 3의 예시에서, 기준점(315)은 IMU(130)의 중심에 위치한다. 각 로케이터(120)는 이미징 장치(135)가 감지할 수 있는 광을 방출한다. 로케이터(120), 또는 로케이터(120)의 부분은 도 3의 예시에서 전방 강체(305)의 전방 측면(320A), 상부 측면(320B), 하부 측면(320C), 우측 측면(320D), 좌측 측면(320E)에 위치한다.

도 4는 일실시예에 따른 도 3에 도시된 가상 현실 HMD(300)의 전방 강체(305)의 일실시예의 와이어 다이어그램이다. 도 4에 도시된 실시예에서, 전방 강체(305)는 아이컵 어셈블리(400), 아이컵 어셈블리(405), 광원(410 및 415) 및 얼굴 센서(420 및 425)를 포함한다. 광원(410, 415)은 광원(200)의 일실시예이고, 얼굴 센서(420, 425)는 얼굴 센서(210)의 일실시예이다. 아이컵 어셈블리(400 및 405) 각각은 HMD(300)를 착용하는 사용자의 직접적인 시선 외부에 위치한 복수의 광원을 포함한다. 특히, 아이컵 어셈블리(400)는 적어도 광원(410)을 포함하는 복수의 광원을 포함하고, 아이컵 어셈블리(405)는 적어도 광원(415)을 포함하는 복수의 광원을 포함한다. 도 4에서, 복수의 광원 각각 중 다섯 개의 광원이 각 아이컵 어셈블리 주위의 개별 위치에 도시된다. 사용자의 관점에서 아이컵 어셈블리(400)는 전방 강체(305)의 우측에 위치하고, 아이컵 어셈블리(405)는 전방 강체(305)의 좌측에 위치한다. 사용자의 관점에서 얼굴 센서(420)는 전방 강체(305)의 우측에 위치하고, 얼굴 센서(425)는 전방 강체(305)의 좌측에 위치한다. 나아가, 얼굴 센서(420 및 425)는 사용자의 시선 외부에 위치한다. 광원(410 및 415)과 유사하게, 얼굴 센서(420 및 425)는 사용자의 직접적인 시선 외부에 위치하고 사용자의 얼굴(및 눈)을 향해 배향된다.

도 5는 일실시예에 따른 도 4에 도시된 가상 현실 HMD(300)의 전방 강체(305)의 단면도(500)이다. 도 5에 도시된 바와 같이, 전방 강체(305)는 광학 블록(118)을 향해 이미지 광을 발산하는 전자 디스플레이(115)를 포함한다. 광학 블록(118)은 이미지 광을 확대하고, 일부 실시예에서, 하나 이상의 추가적 광학적 에러(예컨대, 왜곡, 난시 등)도 보정한다. 그 후, 광학 블록(118)은 사용자에게 표시하기 위하여 변경된 이미지 광을 사출 동공(505)으로 유도한다. 사출 동공(505)은 전방 강체(305) 중 HMD(300)를 착용한 사용자의 눈(510)이 위치한 곳이다. 예시의 목적 상, 도 5는 단일 눈(510)과 연관된 전방 강체(305)의 우측(사용자의 관점에서)의 단면도(500)를 도시하지만, 광학 블록(118)과 별개의 다른 광학 블록이 사용자의 다른 눈(즉, 좌측 눈)에 변경된 이미지 광을 제공한다.

컨트롤러(220)는 전자 디스플레이(115)와 통신 가능하게 연결되어 컨트롤러가(예컨대, 디스플레이 인터페이스 모듈(270)을 통하여) 얼굴 애니메이션 모듈(260)이 생성한 얼굴 애니메이션 정보와 같은 미디어, 예컨대 이미지 및/또는 비디오 데이터를 전자 디스플레이(115)에 의해 사용자에게 표시하기 위하여 제공할 수 있다. 나아가, 컨트롤러(220)는 광원(410) 및 얼굴 센서(420)과도 통신 가능하게 연결되어 컨트롤러가(예컨대, 얼굴 데이터 캡처 모듈(230)을 통하여) 광원(410) 및 얼굴 센서(420)로 사용자의 얼굴의 일부를 조명하고 이미지를 캡처하기 위해 명령을 제공할 수 있다.

도 5에 도시된 예시에서, 광원(410)에서 방출된 광선(520)이 사용자의 얼굴의 평면 섹션(530)(예컨대, 사용자의 아래쪽 눈꺼풀)에서 반사된다. 이 경우, 광선의 입사각은 광원의 반사각과 동일하다(즉, 두 각도 모두 45도와 동일하여 도 5에 도시된 각도는 90도이다). 복수의 얼굴 데이터 프레임 중에서, 얼굴 데이터 프레임의 임의의 특정한 픽셀이 기원 광원(410)과 얼굴 센서(420)의 특정 위치에 기반하여 가장 밝다. 예를 들어, 얼굴 센서(420)이 캡처한, 광선(540)에 의해 조명되는 평면 섹션(530)의 얼굴 데이터 프레임은 상이한 광선(520)에 의해 조명되는 동일 평면 섹션(530)의 다른 얼굴 데이터 프레임과는 상이한 가장 밝은 픽셀을 가진다. 얼굴 데이터 프레임의 가장 밝은 픽셀의 얼굴 데이터 프레임의 위치(예컨대, 얼굴 데이터 프레임의 2D 이미지의 (x,y) 좌표 위치)는 상이한데 두 광선은 사용자의 얼굴(또는 눈)의 상이한 평면 섹션에서 반사되고, 따라서 상이한 입사각과 반사각을 가지기 때문이다.

프로세스 흐름

도 6은 일실시예에 따른 얼굴 애니메이션의 프로세스(600)를 도시하는 흐름도이다. 일실시예에서, 프로세스(600)는 도 1의 VR 시스템(100) 내부에서 사용된다. 도 6의 예시적인 프로세스는 얼굴 추적 시스템(160), HMD(105), 콘솔(110) 및/또는 일부 다른 시스템(예컨대, AR이나 MR 시스템)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들이 프로세스의 단계들의 일부 또는 전부를 수행한다. 마찬가지로, 실시예는 상이한 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행한다. 추가로, 일부 실시예에서 프로세스는 도 6과 함께 설명된 것들과 상이하거나 및/또는 추가적인 단계들을 포함한다.

얼굴 추적 시스템(160)은 HMD(105)를 착용한 사용자의 얼굴의 하나 이상의 랜드마크, 예컨대 사용자의 눈썹이나 코의 위치를 기술하는 캘리브레이션 속성을 검색한다(610). 얼굴 추적 시스템(160)은 로컬 캘리브레이션 프로시저를 사용하여, 얼굴 추적 스토어(225)로부터 및/또는 글로벌 캘리브레이션 속성을 포함하여 온라인 캘리브레이션 서버로부터 캘리브레이션 속성을 검색한다.

얼굴 추적 시스템(160)은 광원(200)을 사용하여 얼굴의 일부를 조명한다(620). 예를 들어, HMD(105) 내부의 얼굴의 일부는 사용자의 눈이거나, 사용자의 눈썹, 코, 눈 및/또는 뺨 주위의 영역이다. 비-이미징 타입 얼굴 센서(210)의 실시예에서, 조명(620)은 생략된다.

얼굴 추적 시스템(160)(예컨대, 얼굴 데이터 캡처 모듈(230))은 얼굴 센서(210)를 사용하여 얼굴의 일부의 복수의 얼굴 데이터 프레임을 캡처한다(630).

얼굴 추적 시스템(160)은 복수의 얼굴 데이터 프레임에 기반하여 얼굴(또는 눈)의 복수의 평면 섹션을 식별한다(640). 얼굴의 각 평면 섹션은 얼굴 상의 위치 및 얼굴에 대한 방향을 가진다. 이미징 타입 얼굴 센서(210)의 실시예에서, 얼굴 데이터 프레임은 각각 복수의 픽셀을 포함하는 이미지이다. 복수의 평면 섹션은 복수의 얼굴 데이터 프레임 중 각 얼굴 데이터 프레임의 가장 밝은 픽셀의 분석에 기반하여 식별된다.

얼굴 추적 시스템(160)은 얼굴의 하나 이상의 랜드마크에 복수의 평면 섹션을 매핑한다(650). 예를 들어, 사용자의 코의 표면에 대응하는 표면은 사용자의 코의 위치를 나타내는 랜드마크에 매핑된다.

얼굴 추적 시스템(160)은 매핑에 적어도 부분적으로 기반하여 얼굴의 일부를 기술하는 얼굴 애니메이션 정보(예컨대, 2D 또는 3D)를 생성한다(660). 얼굴의 일부는 얼굴 데이터 프레임에 의해 캡처된 일부이다. 특히, 얼굴 추적 시스템(160)은 매핑을 조합하여 사용자의 얼굴의 평면 섹션의 집합을 구성한다. 예를 들어, 사용자의 코의 표면의 코 랜드마크에 대한 매핑은 사용자의 눈의 표면의 눈 랜드마크에 대한 매핑, 사용자의 눈썹의 표면의 눈썹 랜드마크에 대한 매핑 등과 종합된다.

얼굴 추적 시스템(160)은 사용자에게 표시하기 위하여 HMD의 디스플레이(예컨대, HMD(300)의 전자 디스플레이(115))에 얼굴 애니메이션 정보를 제공한다(670). 예를 들어, 얼굴 애니메이션 정보는 가상 아바타의 얼굴 표현 및/또는 실제 생활에서 사용자의 얼굴을 나타내는 가상 아바타를 생성하는데 사용된다. 가상 아바타는 VR 시스템(100)의 사용자에게 몰입형 VR 경험을 제공하는데 도움을 준다. 다른 실시예에서, 얼굴 추적 시스템(160)은 데이터베이스에 추후 사용을 위해 얼굴 애니메이션 정보를 저장한다. 나아가, 얼굴 추적 시스템(160)은 VR 시스템(100)의 다른 사용자에게 표시하기 위하여 얼굴 애니메이션 정보를 제공할 수 있다.

얼굴 추적 시스템(160)이 사용자의 얼굴 표현 및 안구 운동을 추적하기 위하여 광원 및 얼굴 센서를 사용하는 것으로 서술되었지만, 프로세스(600)는 광원 및/또는 얼굴 센서를 필요로 하지 않는 다른 기술을 사용하여 사용자의 얼굴 표현 및 안구 운동을 추적하는데 사용될 수 있음을 유의하여야 한다. 예를 들어, 다른 테크닉은 초음파 센서, 근접 센서 등을 사용한다.

추가적인 구성 고려사항

본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 본 명세서를 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.

본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 명세서의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.

본 명세서에 설명된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

본 명세서의 실시예는 본 명세서의 동작을 수행하기 위한 장치에도 관련된다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 유형의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.

본 명세서의 실시예는 본 명세서에 서술된 컴퓨팅 프로세스에 의해 생산된 제품에도 관련된다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

마지막으로, 본 명세서에 사용된 언어는 가독성과 지시의 목적으로 이론적으로 선택된 것으로 발명의 사상을 제한하거나 한정하기 위하여 선택된 것이 아니다. 따라서, 본 명세서의 범위는 발명의 상세한 설명에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 설명은 하기의 청구범위에서 제시되는 명세서의 범위의 예시가 되지만, 이에 제한되지는 않아야 한다.

Claims (20)

1. HMD(헤드 마운트 디스플레이)로서:
   HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;
   디스플레이 요소로부터의 광을 HMD의 사출 동공으로 유도하도록 구성되는 광학 블록;
   광학 블록 주위의 별개의 위치에 위치되는 복수의 광원;
   복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및
   컨트롤러로서:
   얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고;
   복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 표면을 식별하고;
   각각이 얼굴의 상이한 특징의 위치를 나타내는 복수의 랜드마크를 검색하고;
   글로벌 캘리브레이션 속성을 검색하고;
   캘리브레이션 속성 및 글로벌 캘리브레이션 속성 간의 차이가 임계치보다 작다는 결정에 응답하여:
   복수의 표면을 복수의 랜드마크 중 하나에 매핑하고; 및
   복수의 캡처된 얼굴 데이터 및 매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하도록 구성되는 컨트롤러를 포함하고,
   복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성되고,
   복수의 랜드마크는 사용자에 의해 캘리브레이션 프로세스를 위해 수행되는 복수의 상이한 얼굴 표현에 대응하는 캘리브레이션 속성에 기반하여 결정되고,
   글로벌 캘리브레이션 속성은 사용자의 집단에 의해 수행되는 얼굴 표현에 기반하여 결정되는 HMD.
2. 청구항 1에 있어서,
   컨트롤러는:
   캘리브레이션 프로세스를 위해 사용자가 복수의 상이한 얼굴 표현을 수행하도록 하는 지시를 제공하고;
   사용자가 복수의 상이한 얼굴 표현 중 적어도 하나를 수행하는데 응답하여 캘리브레이션 속성을 생성하고; 및
   캘리브레이션 속성에 적어도 부분적으로 기반하여 복수의 랜드마크를 식별하도록 더 구성되는 HMD.
3. 청구항 1에 있어서,
   디스플레이 요소는 사용자에게 아바타를 디스플레이하도록 구성되고, 아바타의 얼굴은 얼굴 애니메이션 정보에 기반하는 HMD.
4. 청구항 1에 있어서,
   컨트롤러는:
   복수의 캡처된 얼굴 데이터의 픽셀값을 사용하여 복수의 캡처된 얼굴 데이터의 프레임의 좌표를 위한 강도 곡선을 생성하도록 더 구성되고,
   얼굴의 부분의 복수의 표면을 식별하는 것은 강도 곡선을 사용하여 법선 벡터를 결정하는 것을 포함하는 HMD.
5. 청구항 1에 있어서,
   복수의 캡처된 얼굴 데이터는 이미지의 프레임을 기술하고, 이미지는 복수의 픽셀을 포함하고, 각 픽셀은 이미지의 좌표 (x,y) 위치와 연관되고, 컨트롤러는:
   이미지의 각 좌표 위치에 대하여, 좌표 위치에서 가장 밝은 픽셀값에 대응하는 평면 섹션을 식별하고;
   식별된 평면 섹션 각각에 대응하는 광원 위치를 식별하고; 및
   식별된 평면 섹션 및 식별된 광원 위치에 적어도 부분적으로 기반하여 얼굴의 부분의 가상 표면을 생성하도록 더 구성되고,
   얼굴 애니메이션 정보를 생성하는 것은 가상 표면에 더 기반하는 HMD.
6. 청구항 1에 있어서,
   컨트롤러는:
   얼굴의 부분을 조명하도록 복수의 광원에 지시를 제공하고; 및
   하나 이상의 얼굴 데이터를 캡처하기 위하여 복수의 광원으로의 지시와 조정된 지시를 얼굴 센서로 제공하도록 더 구성되는 HMD.
7. 청구항 6에 있어서,
   복수의 광원은 광학 블록 주위에 링 배열로 위치되고, 복수의 광원으로 제공되는 지시는 임의의 주어진 때에 복수의 광원 중 오직 하나의 광원이 얼굴의 부분을 조명하도록 조정되는 HMD.
8. 청구항 1에 있어서,
   컨트롤러는:
   복수의 얼굴 데이터로부터 정반사(specular reflection) 정보를 수신하고; 및
   정반사 정보에 적어도 부분적으로 기반하여 사용자의 눈의 위치를 식별하도록 더 구성되는 HMD.
9. 청구항 1에 있어서,
   글로벌 캘리브레이션 속성은 온라인 캘리브레이션 서버로부터 검색되고, 컨트롤러는 캘리브레이션 속성을 온라인 캘리브레이션 서버로 업로드하도록 더 구성되는 HMD.
10. HMD(헤드 마운트 디스플레이)로서:
    HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;
    사용자의 시선 바깥의 별개의 위치에 위치되는 복수의 광원;
    복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및
    컨트롤러로서:
    얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고;
    복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 표면을 식별하고;
    각각이 얼굴의 상이한 특징의 위치를 나타내는 복수의 랜드마크를 검색하고;
    글로벌 캘리브레이션 속성을 검색하고;
    캘리브레이션 속성 및 글로벌 캘리브레이션 속성 간의 차이가 임계치보다 작다는 결정에 응답하여:
    복수의 표면을 복수의 랜드마크 중 하나에 매핑하고; 및
    복수의 캡처된 얼굴 데이터 및 매핑에 적어도 부분적으로 기반하여 사용자의 얼굴의 부분을 기술하는 얼굴 애니메이션 정보를 생성하도록 구성되는 컨트롤러를 포함하고,
    복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성되고,
    복수의 랜드마크는 사용자에 의해 캘리브레이션 프로세스를 위해 수행되는 복수의 상이한 얼굴 표현에 대응하는 캘리브레이션 속성에 기반하여 결정되고,
    글로벌 캘리브레이션 속성은 사용자의 집단에 의해 수행되는 얼굴 표현에 기반하여 결정되는 HMD.
11. 청구항 10에 있어서,
    컨트롤러는:
    캘리브레이션 프로세스를 위해 사용자가 복수의 상이한 얼굴 표현을 수행하도록 하는 지시를 제공하고;
    사용자가 복수의 상이한 얼굴 표현 중 적어도 하나를 수행하는데 응답하여 캘리브레이션 속성을 생성하고; 및
    캘리브레이션 속성에 적어도 부분적으로 기반하여 복수의 랜드마크를 식별하도록 더 구성되는 HMD.
12. 청구항 10에 있어서,
    디스플레이 요소는 사용자에게 아바타를 디스플레이하도록 구성되고, 아바타의 얼굴은 얼굴 애니메이션 정보에 기반하는 HMD.
13. 청구항 10에 있어서,
    컨트롤러는:
    복수의 캡처된 얼굴 데이터의 픽셀값을 사용하여 복수의 캡처된 얼굴 데이터의 프레임의 좌표를 위한 강도 곡선을 생성하도록 더 구성되고,
    얼굴의 부분의 복수의 표면을 식별하는 것은 강도 곡선을 사용하여 법선 벡터를 결정하는 것을 포함하는 HMD.
14. 청구항 10에 있어서,
    복수의 캡처된 얼굴 데이터는 이미지의 프레임을 기술하고, 이미지는 복수의 픽셀을 포함하고, 각 픽셀은 이미지의 좌표 (x,y) 위치와 연관되고, 컨트롤러는:
    이미지의 각 좌표 위치에 대하여, 좌표 위치에서 가장 밝은 픽셀값에 대응하는 평면 섹션을 식별하고;
    식별된 평면 섹션 각각에 대응하는 광원 위치를 식별하고; 및
    식별된 평면 섹션 및 식별된 광원 위치에 적어도 부분적으로 기반하여 얼굴의 부분의 가상 표면을 생성하도록 더 구성되고,
    얼굴 애니메이션 정보를 생성하는 것은 가상 표면에 더 기반하는 HMD.
15. 청구항 10에 있어서,
    컨트롤러는:
    얼굴의 부분을 조명하도록 복수의 광원에 지시를 제공하고; 및
    하나 이상의 얼굴 데이터를 캡처하기 위하여 복수의 광원으로의 지시와 조정된 지시를 얼굴 센서로 제공하도록 더 구성되는 HMD.
16. 청구항 15에 있어서,
    복수의 광원은 광학 블록 주위에 링 배열로 위치되고, 복수의 광원으로 제공되는 지시는 임의의 주어진 때에 복수의 광원 중 오직 하나의 광원이 얼굴의 부분을 조명하도록 조정되는 HMD.
17. 청구항 10에 있어서,
    컨트롤러는:
    복수의 얼굴 데이터로부터 정반사(specular reflection) 정보를 수신하고; 및
    정반사 정보에 적어도 부분적으로 기반하여 사용자의 눈의 위치를 식별하도록 더 구성되는 HMD.
18. HMD(헤드 마운트 디스플레이)로서:
    HMD를 착용한 사용자에게 컨텐츠를 디스플레이하도록 구성되는 디스플레이 요소;
    디스플레이 요소로부터의 광을 HMD의 사출 동공으로 유도하도록 구성되는 광학 블록;
    광학 블록 주위의 별개의 위치에 위치되는 복수의 광원;
    복수의 광원 중 하나 이상에 의해 조명되는 얼굴의 부분의 하나 이상의 얼굴 데이터를 캡처하도록 구성되는 얼굴 센서; 및
    컨트롤러로서:
    얼굴 센서로부터 복수의 캡처된 얼굴 데이터를 수신하고;
    복수의 캡처된 얼굴 데이터에 적어도 부분적으로 기반하여 얼굴의 부분의 복수의 표면을 식별하고;
    글로벌 캘리브레이션 속성을 검색하고;
    사용자의 캘리브레이션 속성 및 글로벌 캘리브레이션 속성 간의 차이가 임계치보다 작다는 결정에 응답하여:
    VR(가상 현실) 콘솔로 복수의 표면을 제공하고; 및
    VR 콘솔로부터 사용자의 얼굴의 부분의 가상 애니메이션을 수신하도록 구성되는 컨트롤러를 포함하고,
    복수의 광원은 사용자의 HMD 내부의 얼굴의 부분을 조명하도록 구성되고,
    글로벌 캘리브레이션 속성은 사용자의 집단에 의해 수행되는 얼굴 표현에 기반하여 결정되고,
    가상 애니메이션은 복수의 표면을 각각이 얼굴의 상이한 특징의 위치를 가리키는 복수의 랜드마크 중 하나에 매핑함으로써 생생되고, 복수의 랜드마크는 사용자에 의해 캘리브레이션 프로세스를 위해 수행되는 복수의 상이한 얼굴 표현에 대응하는 사용자의 캘리브레이션 속성에 기반하여 결정되는 HMD.
19. 청구항 18에 있어서,
    컨트롤러는:
    캘리브레이션 프로세스를 위해 사용자가 복수의 상이한 얼굴 표현을 수행하도록 하는 지시를 제공하고;
    사용자가 복수의 상이한 얼굴 표현 중 적어도 하나를 수행하는데 응답하여 캘리브레이션 속성을 생성하고;
    캘리브레이션 속성에 적어도 부분적으로 기반하여 복수의 랜드마크를 식별하고; 및
    복수의 랜드마크를 VR 콘솔로 제공하도록 더 구성되는 HMD.
20. 청구항 18에 있어서,
    얼굴 센서는 카메라, 오디오 센서, 스트레인 게이지, 전자기 센서 및 근접 센서로 구성되는 그룹으로부터 선택되는 HMD.

Images