KR20240019870A - 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 이미지 기반 핏 검출 - Google Patents

Abstract

디스플레이 디바이스를 포함하는 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 디스플레이 핏 측정치 및/또는 안과적 측정치를 검출하는 시스템 및 방법이 제공된다. 컴퓨팅 디바이스의 사용자가 착용한 피팅 프레임의 이미지는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 사용자에 의해 캡처된다. 피팅 프레임을 포함한 이미지에서 하나 이상의 키포인트 및/또는 피처 및/또는 랜드마크가 검출된다. 검출된 키포인트 및/또는 피처 및/또는 랜드마크와 피팅 프레임과 연관된 구성 정보에 기초하여 피팅 프레임의 3차원 포즈가 결정된다. 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스는 이미지에서 캡처된 피팅 프레임의 3차원 포즈에 기초하여 구성될 수 있다.

Description

헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 이미지 기반 핏 검출

관련 출원에 대한 상호 참조

본 출원은 2021년 8월 12일 출원된 미국 출원 번호 제17/444,963호의 계속출원이며 그에 대해 우선권을 주장하며, 그 전체 내용은 참조로서 본 명세서에 통합된다.

기술분야

본 명세서는 일반적으로 웨어러블 디바이스의 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 예측에 관한 것이며, 특히 디스플레이 성능을 포함하는 머리 착용형 컴퓨팅 디바이스의 디스플레이 핏 및 안과적 핏의 예측에 관한 것이다.

웨어러블 디바이스에는 예를 들어 스마트 안경, 헤드셋, 이어버드 등을 포함하는 머리 착용형 디바이스, 스마트 시계, 스마트 팔찌, 스마트 반지 등과 같은 손목 및/또는 손 착용형 디바이스, 스마트 펜던트, 피트니스 트래커, 카메라, 신체 센서 및 기타 유사한 디바이스를 포함할 수 있다. 일부 예에서, 사용자는 핏 및/또는 기능에 맞게 웨어러블 디바이스를 선택 및/또는 커스터마이징하기를 원할 수 있다. 예를 들어, 사용자는 프레임 선택, 처방 렌즈 통합 및 기타 기능을 포함하도록 스마트 안경을 선택 및/또는 커스터마이징하기를 원할 수 있다. 이러한 유형의 웨어러블 디바이스 조달을 위한 기존 시스템은 특히 소매점에 대한 접근 없이는 정확한 핏 및 커스터마이징을 제공하지 않는다.

하나의 일반적 양태에서, 디스플레이 디바이스를 포함하는 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 디스플레이 핏 측정치를 검출하는 방법은: 컴퓨팅 디바이스에서 실행되는 애플리케이션에 의해, 컴퓨팅 디바이스에 의해 캡처된 이미지로부터 사용자가 착용한 피팅 프레임의 적어도 하나의 키포인트를 검출하는 단계; 상기 이미지에서 검출된 피팅 프레임과 연관된 구성 정보에 액세스하는 단계; 상기 적어도 하나의 키포인트 검출 및 상기 피팅 프레임과 연관된 구성 정보에 기초하여, 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈를 결정하는 단계; 및 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 단계를 포함한다.

일부 구현예에서, 적어도 하나의 키포인트를 검출하는 것은 상기 피팅 프레임의 브릿지 부분; 상기 피팅 프레임의 림 부분과 암 부분 사이의 힌지점; 상기 피팅 프레임의 렌즈 주변 가장자리 부분; 또는 상기 피팅 프레임의 암 부분 중 안장 부분 중 적어도 하나를 검출하는 것을 포함한다.

일부 구현에서, 피팅 프레임의 3차원 포즈를 결정하는 단계는: 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 모델에 액세스하는 단계; 및 상기 이미지에서 검출된 적어도 하나의 키포인트의 알려진 포지션 및 배향을 상기 피팅 프레임의 3차원 모델에서 상기 적어도 하나의 키포인트의 대응 포지션 및 배향과 비교하는 것을 포함하는, 비교를 수행하는 단계를 포함한다. 적어도 하나의 키포인트를 검출하는 단계는: 상기 컴퓨팅 디바이스에 의해 캡처된 이미지에서 상기 피팅 프레임에 대한 복수의 키포인트 검출하는 것을 포함하고; 그리고 상기 비교를 수행하는 단계는 상기 복수의 키포인트들 각각에 대해, 상기 이미지에서 검출된 키포인트의 알려진 포지션 및 배향을 상기 피팅 프레임의 3차원 모델에서 상기 키포인트의 대응 포지션 및 배향과 비교하는 것을 포함할 수 있다. 상기 피팅 프레임의 3차원 포즈를 결정하는 단계는 상기 이미지에서 검출된 각 키포인트의 2차원 포지션과 상기 피팅 프레임의 상기 3차원 모델에서 각 키포인트의 대응하는 3차원 포지션 사이의 대응을 수행하는 단계를 포함할 수 있다.

일부 구현예에서, 방법은 상기 캡처된 이미지에서 복수의 얼굴 랜드마크들을 검출하는 단계; 및 상기 검출된 복수의 얼굴 랜드마크들에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 안과적 핏 측정치를 결정하는 단계를 더 포함할 수 있다. 복수의 얼굴 랜드마크들을 검출하는 단계는: 상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 높이를 검출하는 단계; 상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 사이의 거리 또는 단안 동공 거리 중 적어도 하나를 검출하는 단계; 및 상기 결정된 피팅 프레임의 3차원 포즈와 상기 검출된 복수의 얼굴 랜드마크들에 기초하여 상기 사용자가 착용한 피팅 프레임의 전경각(pantoscopic angle)를 결정하는 단계를 포함할 수 있다. 상기 이미지에서 캡처된 피팅 프레임의 3차원 포즈에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 단계는 상기 안과적 핏 측정치를 수용하기 위해 상기 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 조정하는 단계를 포함할 수 있다. 상기 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 단계는: 상기 안과적 핏 측정치와 상기 피팅 프레임의 3차원 포즈에 기초하여 사용자 시야를 결정하는 단계; 및 상기 디스플레이 디바이스에 의해 출력되는 콘텐츠가 상기 결정된 시야 내에 디스플레이되도록 상기 디스플레이 디바이스의 출력 커플러를 구성하는 단계를 포함할 수 있다.

다른 일반적 양태에서, 비일시적 컴퓨터 판독가능 매체는 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 다음의 동작들을 수행하도록 구성된 실행가능한 명령어를 저장할 수 있으며, 다음의 동작들은: 사용자가 착용한 피팅 프레임의 이미지를 캡처하고; 상기 캡처된 이미지로부터 상기 피팅 프레임에 대한 적어도 하나의 키포인트를 검출하고; 상기 피팅 프레임과 연관된 구성 정보에 액세스하고; 상기 적어도 하나의 키포인트 검출 및 상기 피팅 프레임과 연관된 구성 정보에 기초하여, 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈를 결정하고; 그리고 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 동작을 포함한다.

일부 구현예에서, 상기 캡처된 이미지로부터 상기 피팅 프레임에 대한 적어도 하나의 키포인트 검출하는 것은: 상기 피팅 프레임의 브릿지 부분을 포함하는 제1 키포인트를 검출하는 것; 상기 피팅 프레임의 림 부분과 암 부분 사이의 힌지점을 포함하는 제2 키포인트를 검출하는 것; 상기 피팅 프레임의 렌즈 주변 가장자리 부분을 포함하는 제3 키포인트를 검출하는 것; 또는 상기 피팅 프레임의 암 부분 중 안장 부분을 포함하는 제4 키포인트를 검출하는 것 중 적어도 하나를 포함한다. 일부 구현예에서, 상기 피팅 프레임에 대한 3차원 포즈를 결정하는 것은: 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 모델에 액세스하는 것; 및 상기 이미지에서 검출된 적어도 하나의 키포인트의 알려진 포지션 및 배향을 상기 피팅 프레임의 3차원 모델에서 상기 적어도 하나의 키포인트의 대응 포지션 및 배향과 비교를 수행하는 것을 포함한다.

일부 구현예에서, 상기 명령어는 상기 적어도 하나의 프로세서로 하여금 복수의 키포인트들을 검출하고, 상기 비교를 수행하게 하고, 이는 상기 복수의 키포인트들 각각에 대해, 상기 이미지에서 검출된 키포인트의 알려진 포지션 및 배향을 상기 피팅 프레임의 3차원 모델에서 상기 키포인트의 대응 포지션 및 배향과 비교하는 것을 포함할 수 있다. 일부 구현예에서, 상기 명령어는 상기 적어도 하나의 프로세서로 하여금 3차원 포즈를 결정하게 하고, 이는 상기 이미지에서 검출된 각 키포인트의 2차원 포지션과 상기 피팅 프레임의 상기 3차원 모델에서 각 키포인트의 대응하는 3차원 포지션 사이의 대응을 수행하는 것을 포함한다.

일부 구현예에서, 상기 명령어는 상기 적어도 하나의 프로세서로 하여금 캡처된 이미지에서 복수의 얼굴 랜드마크들을 검출하게 하고, 상기 검출된 복수의 얼굴 랜드마크들에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 안과적 핏 측정치를 결정하게 한다. 상기 명령어는 실행시 상기 적어도 하나의 프로세서로 하여금 복수의 얼굴 랜드마크들을 검출하게 하고, 이는 상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 높이를 검출하는 것; 상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 사이의 거리 또는 단안 동공 거리 중 적어도 하나를 검출하는 것; 및 상기 결정된 피팅 프레임의 3차원 포즈와 상기 검출된 복수의 얼굴 랜드마크들에 기초하여 상기 사용자가 착용한 피팅 프레임의 전경각(pantoscopic angle)를 결정하는 것을 포함한다. 일부 구현예에서, 상기 명령어는 상기 적어도 하나의 프로세서로 하여금 안과적 핏 측정치를 수용하기 위해 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 조정하게 하고, 이는 상기 안과적 핏 측정치와 상기 피팅 프레임의 3차원 포즈에 기초하여 사용자 시야를 결정하는 것; 및 상기 디스플레이 디바이스에 의해 출력되는 콘텐츠가 상기 결정된 시야 내에 디스플레이되도록 상기 디스플레이 디바이스의 출력 커플러를 구성하는 것을 포함한다.

하나 이상의 구현예들의 세부 내용들이 첨부 도면과 아래의 설명에서 기술된다. 다른 구성들은 아래의 설명, 도면들 및 청구항들로부터 명백해질 것이다.

도 1a는 본 명세서에 기술된 구현예에 따른 예시적 시스템을 도시한다.
도 1b는 본 명세서에 기술된 구현예에 따라 도 1a에 도시된 예시적 웨어러블 컴퓨팅 디바이스의 정면도이고, 도 1c는 배면도이다.
도 2a-2d는 예시적 안과적 측정치를 도시한다.
도 3은 본 명세서에 기술된 구현예에 따른 시스템의 블록도이다.
도 4a 및 4b는 본 명세서에 기술된 구현예에 따라 디스플레이 핏 측정치 및 안과적 핏 측정치를 결정하기 위한 이미지 캡처 모드를 도시한다.
도 5a-5c는 본 명세서에 기술된 구현예에 따른 예시적 피팅 프레임의 사시도이다.
도 6a 내지 도 6c는 본 명세서에 기술된 구현예에 따라, 사용자가 착용한 예시적 피팅 프레임의 예시적 정면 이미지 및 정면 이미지에서 검출된 예시적 피처 및/또는 키포인트 및/또는 랜드마크를 도시한다.
도 6d는 본 명세서에 기술된 구현예에 따라, 사용자가 착용한 예시적 피팅 프레임의 예시적 프로필 이미지 및 프로필 이미지에서 검출된 예시적 피처 및/또는 키포인트 및/또는 랜드마크를 도시한다.
도 7는 본 명세서에 기술된 구현예에 따른 예시적 피팅 프레임의 정면도를 도시한다.
도 8은 본 명세서에 기술된 구현예에 따른 예시적 방법의 흐름도이다.
도 9는 본 명세서에 논의된 컴퓨팅 시스템의 예시적 컴퓨팅 디바이스를 도시한다.

본 개시는 웨어러블 컴퓨팅 디바이스와 연관된 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 파라미터의 결정을 포함하여, 웨어러블 컴퓨팅 디바이스의 선택 및 피팅을 위한 시스템 및 방법에 관한 것이다. 본 명세서에 설명된 구현예에 따른 시스템 및 방법은 이미지 데이터 내에서 검출된 측정값에 기초하여 웨어러블 컴퓨팅 디바이스에 대한 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 결정을 제공한다. 일부 구현예에서, 시스템 및 방법은 본 명세서에 설명된 구현예에 따라 이미지 데이터 내에서 검출된 웨어러블 컴퓨팅 디바이스의 샘플 프레임과 연관된 알려진 파라미터에 기초하여 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 검출을 제공한다. 일부 예에서, 본 명세서에 설명된 시스템 및 방법은 디스플레이 및/또는 특정 사용자의 특정 물리적 특징, 필요 및 선호에 맞게 커스터마이징된 교정/처방 렌즈 디바이스를 포함하는 스마트 안경 형태의 웨어러블 컴퓨팅 디바이스에 대해 이미지 데이터로부터 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 검출을 제공한다. 본 문서에 기술된 구현예에 따른 시스템 및 방법은 소매점 및/또는 영업사원과 직접 또는 가상으로 접근하지 않고도 자기 주도적, 감독되지 않은 방식 또는 감독 없는 방식으로 사용자가 측정 데이터를 검출하기 위한 이미지 데이터 캡처를 용이하게 할 수 있다.

아래에서, 본 명세서에 설명된 구현예에 따른 시스템 및 방법은 예를 들어 디스플레이 디바이스를 포함하는 스마트 안경과 같은 헤드 마운트 디스플레이 디바이스 형태의 웨어러블 컴퓨팅 디바이스의 피팅에 관해 설명되어, 디스플레이 디바이스에 의해 디스플레이되는 콘텐츠는 웨어러블 컴퓨팅 디바이스를 착용한 사용자가 볼 수 있거나 볼 수 있을 것이다. 사용자가 교정 렌즈를 포함하는 헤드 마운트 웨어러블 컴퓨팅 디바이스로부터 이익을 얻을 수 있는 상황에서, 본 명세서에 기술된 시스템 및 방법은 안과적 핏 측정치를 제공하여, 교정/처방 렌즈를 헤드 마운트 웨어러블 디바이스에 통합할 수 있게 해주며, 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성에서 교정/처방 렌즈의 피처를 고려하게 한다. 즉, 본 명세서에 설명된 구현예에 따른 시스템 및 방법은 디스플레이 디바이스에 의해 디스플레이되는 콘텐츠가 헤드 마운트 웨어러블 컴퓨팅 디바이스를 착용한 사용자에게 보이도록 디스플레이 디바이스 및 교정/처방 렌즈의 피팅을 제공하기 위해 이미지 기반 캡처 시스템 및 방법을 사용할 수 있다.

도 1a는 모바일 컴퓨팅 디바이스가 네트워크(1200)를 통해 하나 이상의 외부 리소스(1100)에 액세스할 수 있는 시스템에서 사용자가 모바일 컴퓨팅 디바이스를 작동하는 것을 도시한다. 도 1a는 모바일 컴퓨팅 디바이스(100, 180, 190, 200)의 다양한 예를 포함하는 주변 환경(1000)에 있는 사용자의 3인칭 뷰를 제공한다. 도 1a에 도시된 예시적 모바일 컴퓨팅 디바이스는 제1 머리 착용형 웨어러블 컴퓨팅 디바이스(100), 제2 머리 착용형 웨어러블 컴퓨팅 디바이스(180), 손목 착용형 컴퓨팅 디바이스(190) 및 휴대용 컴퓨팅 디바이스(200)를 포함한다. 일부 예에서, 제1 머리 착용형 컴퓨팅 디바이스(100)는 헤드 마운트 디스플레이 디바이스, 스마트 안경 형태 또는 헤드셋 형태로 예를 들어 디스플레이, 주변 환경의 이미지를 캡처할 수 있는 카메라, 오디오 입력/출력 기능, 사용자 입력 기능 등을 포함하는 다양한 컴포넌트를 포함할 수 있다. 일부 예에서, 제2 머리 착용형 컴퓨팅 디바이스(180)는 헤드폰 또는 이어버드와 같은 귀 착용형 컴퓨팅 디바이스일 수 있으며, 오디오 입력/출력 기능, 주변 환경의 이미지를 캡처할 수 있는 카메라, 사용자 입력 기능 등을 포함할 수 있다. 일부 예에서, 손목 착용형 컴퓨팅 디바이스(190)는 디스플레이, 주변 환경의 이미지를 캡처할 수 있는 카메라, 오디오 입력/출력 기능, 사용자 입력 기능 등을 포함할 수 있다.(예: 스마트 시계 또는 손목 밴드) 일부 예에서, 휴대용 컴퓨팅 디바이스(200)는 스마트폰에서와 같이 디스플레이, 주변 환경의 이미지를 캡처할 수 있는 카메라, 오디오 입력/출력 기능, 사용자 입력 기능 등을 포함할 수 있다. 도 1a는 모바일 컴퓨팅 디바이스의 단지 일부 예를 도시한다. 본 명세서에 설명되는 원리는 도 1a에 구체적으로 도시되지 않은 다른 유형의 모바일 컴퓨팅 디바이스에도 적용될 수 있다. 일부 예에서, 도 1a에 도시된 예시적 컴퓨팅 디바이스를 포함하는 모바일 컴퓨팅 디바이스는 서로 및/또는 외부 리소스(1100)와 통신하여 정보를 교환하고 입력 및/또는 출력 등을 수신 및 전송할 수 있다.

도 1b는 도 1a에 도시된 예시적 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 정면도이고, 도 1b는 배면도이다. 일부 구현예에서, 예시적 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)는 도 1b 및 도 1c에 도시된 예에서와 같이 한 쌍의 스마트 안경 또는 증강 현실 안경, 증강 현실 및/또는 가상 현실 헤드셋 또는 고글 등의 형태를 취할 수 있다. 아래에서, 본 명세서에 기술된 구현예에 따른 시스템 및 방법은 단지 논의 및 설명의 편의를 위해 스마트 안경 형태의 웨어러블 컴퓨팅 디바이스(100)에 대해 설명될 것이다. 본 명세서에 설명되는 원리는 다른 유형의 웨어러블 컴퓨팅 디바이스 및/또는 함께 작동하는 모바일/웨어러블 컴퓨팅 디바이스의 조합에 적용될 수 있다.

도 1b에 도시된 바와 같이, 예시적 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)는 프레임(102)을 포함한다. 도 1b 및 도 1c에 도시된 바와 같이, 프레임(102)은 유리 부분(들)(107) 또는 렌즈(107)를 둘러싸는 테두리(림) 부분(103)을 포함한다. 암 부분(105)은 각각의 힌지 부분(110)에 의해 프레임(102)의 각각의 림 부분(103)에 예를 들어 피벗 가능하게 또는 회전 가능하게 결합된다. 일부 예에서, 렌즈(107)는 교정/처방 렌즈일 수 있다. 일부 예에서, 렌즈(107)는 교정/처방 파라미터를 반드시 포함하지 않는 유리 부분일 수 있다. 일부 예에서, 브릿지 부분(109)은 프레임(102)의 림 부분(103)을 연결할 수 있다. 디스플레이 디바이스(104)는 프레임(102)의 일부에 결합될 수 있다. 도 1b 및 도 1c에 도시된 예에서, 디스플레이 디바이스(104)는 프레임(102)의 암 부분(105)에 결합된다. 디스플레이 디바이스(104)가 암 부분(105)에 결합된 상태에서, 눈 상자(140)는 디스플레이 디바이스(104)에 의해 출력된 콘텐츠가 사용자에게 보일 수 있는 출력 커플러(144)에서의 콘텐츠 출력을 위해 렌즈(들)(107)을 향해 연장된다. 일부 예에서, 출력 커플러(144)는 렌즈(들)(107)과 실질적으로 일치할 수 있다. 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)는 또한 오디오 출력 디바이스(106)(예를 들어, 하나 이상의 스피커), 조명 디바이스(108), 감지 시스템(111), 제어 시스템(112), 적어도 하나의 프로세서(114), 및 외부를 향한 이미지 센서(116) 또는 카메라(116)를 포함할 수 있다. 일부 구현예에서, 디스플레이 디바이스(104)는 투시형 근안 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이 디바이스(104)는 디스플레이 소스로부터의 빛을 일정 각도(예: 30-45도)로 안착된 빔 스플리터로서 기능하는 텔레프롬프터 유리의 일부에 투사하도록 구성될 수 있다. 빔 스플리터는 디스플레이 소스로부터의 광이 부분적으로 반사되는 동안 나머지 광이 투과되도록 하는 반사 및 투과 값을 허용할 수 있다. 이러한 광학 설계는 사용자가 예를 들어 렌즈(107)를 통해 디스플레이 디바이스(104)에 의해 생성된 콘텐츠(예: 디지털 이미지, 사용자 인터페이스 엘리먼트, 가상 콘텐츠 등) 옆에 있는 세상의 물리적 아이템 둘 모두를 볼 수 있게 한다. 일부 구현예에서, 디스플레이 디바이스(304)에 콘텐츠를 묘사하기 위해 도파관 광학이 사용될 수 있다.

일부 구현예에서, 웨어러블 컴퓨팅 디바이스(100)는 눈의 시선 방향 및 움직임을 검출하고 추적하기 위한 하나 이상의 센서들(125)을 포함하는 시선 추적 디바이스(120)를 포함할 수 있다. 센서(들)(125)에 의해 캡처된 데이터는 사용자 입력으로서 시선 방향 및 움직임을 검출하고 추적하도록 프로세싱될 수 있다. 일부 구현예에서, 감지 시스템(111)은 다양한 감지 디바이스를 포함할 수 있고, 제어 시스템(112)은 예를 들어 제어 시스템(112)의 컴포넌트에 동작 가능하게 연결된 하나 이상의 프로세서(114)를 포함하는 다양한 제어 시스템 디바이스를 포함할 수 있다. 일부 구현예에서, 제어 시스템(112)은 웨어러블 컴퓨팅 디바이스(100)와 다른 외부 디바이스 사이의 통신 및 정보 교환을 제공하는 통신 모듈을 포함할 수 있다.

특정 사용자에 대해 도 1a 내지 1c에 도시된 예시적 스마트 안경과 같은 웨어러블 컴퓨팅 디바이스(100)의 크기를 결정하고 피팅할 때, 수많은 서로 다른 크기 및 피팅 측정치 및/또는 파라미터가 고려될 수 있다. 이는 예를 들어 착용 핏 파라미터 또는 착용 핏 측정치를 포함할 수 있다. 착용 핏 파라미터/측정치는 특정 프레임(102)이 특정 사용자에게 어떻게 핏되고 및/또는 보이고 및/또는 느껴지는지 고려할 수 있다. 착용 핏 파라미터/측정치는 예를 들어, 프레임(102)이 관자놀이에 대해 편안할 만큼 충분히 넓은지 여부와 사용자가 착용할 때 프레임(102)이 상대적으로 고정된 상태로 유지될 수 없을 정도로 넓지는 않은지 여부와 같은 수많은 요인을 고려할 수 있다(즉, 너무 크거나 너무 넓음). 착용 핏 파라미터/측정치는 림 부분(103) 및 브릿지 부분(109)이 브릿지 부분(109)이 사용자의 콧등에 편안하게 놓일 수 있도록 사이징되었는지, 암 부분(105)이 편안하게 사용자의 귀에 놓이도록 사이징 되었는지 및 기타 편안함과 관련된 고려사항들과 같은 다른 요인을 고려할 수 있다. 착용 핏 파라미터/측정치는 예를 들어 머리 자세/사용자가 자신의 머리를 자연스럽게 잡는 방법, 사용자가 자신의 얼굴에 대해 프레임(102)을 포지셔닝하는 방법과 같은 사용자가 프레임(102)을 자연스럽게 착용하는 방법을 포함하는 착용 시 고려사항을 고려할 수 있다. 착용 핏 파라미터/측정치는 프레임(102)의 크기 및/또는 형상 및/또는 윤곽이 사용자에게 미적으로 만족스러운지, 그리고 사용자의 얼굴 피처와 호환되는지 여부를 고려할 수 있다. 일부 예에서, 착용 핏 파라미터/측정치는 디스플레이 영역이 사용자의 자연스러운 시야와 조정될 수 있도록 특정 프레임 구성과 연관된 핏이 디스플레이 디바이스의 통합을 수용할 수 있는지 여부를 고려할 수 있다. 일부 예에서, 착용 핏 파라미터는 특정 프레임 구성과 연관된 눈 추적 카메라 구성이 사용자 시선 및 움직임을 효과적으로 추적할 수 있는지 여부를 고려할 수 있다.

특정 사용자를 위해 웨어러블 컴퓨팅 디바이스(100)의 크기를 조정하고 피팅할 때 디스플레이 핏 파라미터 또는 디스플레이 핏 측정치가 고려될 수 있다. 디스플레이 핏 파라미터/측정치는 특정 사용자에 대한 프레임 세트(102)에 대해 디스플레이 디바이스(104)를 구성하는데 사용되어, 디스플레이 디바이스(104)에 의해 디스플레이되는 콘텐츠가 사용자에게 보이게 한다. 예를 들어, 디스플레이 핏 파라미터/측정치는 디스플레이 디바이스(104)에 의해 디스플레이되는 콘텐츠가 사용자의 시야의 적어도 설정된 부분 내에서 캡처되도록 디스플레이 디바이스(104)의 배치 표시를 제공할 수 있다. 예를 들어, 디스플레이 핏 파라미터/측정치는 설정된 밝기 레벨 및 사용자의 시야 주변(예를 들어, 가장 안보이는 모서리)에서 설정된 동공 크기에서 사용자에게 표시되는 콘텐츠의 디스플레이의 양, 부분 또는 백분율에 대응하는 적어도 한 세트의 시선 가능성 레벨을 제공하도록 디스플레이 디바이스(104)를 구성하는데 사용될 수 있다. 디스플레이 핏 파라미터/측정치는 프레임(102)의 특정 세트에 대해 사용자에게 콘텐츠의 디스플레이의 최상의 가능한 배치를 제공하도록 디스플레이 디바이스(104)를 구성하는데 사용될 수 있다.

일부 예에서, 안과적 핏 파라미터 또는 안과적 핏 측정치는 처방 또는 교정 렌즈(107)를 포함하는 웨어러블 컴퓨팅 디바이스(100)의 크기를 결정하고 피팅할 때 고려될 수 있다. 안과적 핏 측정치의 일부 예가 도 2a-2d에 도시되어 있다. 안과적 핏 측정치는 예를 들어 왼쪽 동공 높이 및 오른쪽 동공 높이를 포함하는 동공 높이(PH)(동공 중심에서 렌즈(107) 바닥까지의 거리)를 포함할 수 있다. 안과적 핏 측정치는 동공간 거리 IPD(동공 사이의 거리)를 포함할 수 있다. IPD는 단안 동공 거리, 예를 들어 왼쪽 동공 거리 LPD(콧등 중앙 부분에서 왼쪽 동공까지의 거리)와 오른쪽 동공 거리 RPD(콧대 중앙 부분에서 오른쪽 동공까지의 거리)로 특징지어질 수 있다. 안과적 핏 측정치는 판토스코픽 각도(PA)(수직에 대한 렌즈(107)의 기울기에 의해 정의되는 각도)를 포함할 수 있다. 안과적 핏 측정치는 예를 들어 왼쪽 버텍스 거리 및 오른쪽 버텍스 거리를 포함하는 버텍스 거리 V(각막에서 렌즈(107)까지의 거리)를 포함할 수 있다. 안과적 핏 측정치는 전술한 바와 같은 디스플레이 디바이스(104)를 포함하는 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 크기 조정 및/또는 피팅을 제공하는 다른 파라미터 또는 측정치를 포함할 수 있다. 도 2c는 상대적으로 더 낮은 디옵터 렌즈(107)와 연관된 버텍스 거리(V)를 도시한다. 도 2d는 상대적으로 더 높은 디옵터 렌즈(107)와 연관된 버텍스 거리(V)를 도시한다. 디스플레이 디바이스(104)를 포함하는 웨어러블 컴퓨팅 디바이스(100)를 사용자에게 피팅할 때 안과적 핏 측정치가 고려될 수 있다. 예를 들어, 안과적 핏 측정(디스플레이 핏 측정치와 함께)은 렌즈(107)와 사용자의 눈 사이에 연장되는 3차원 체적에 의해 정의되는 눈 상자 내에서 디스플레이 디바이스(104)에 의한 콘텐츠의 디스플레이의 배치를 제공할 수 있고, 콘텐츠의 디스플레이는 사용자의 시야 내 및 사용자의 수정된 시야 내에 있으므로 사용자가 볼 수 있다.

본 명세서에 설명된 구현예에 따른 시스템 및 방법에서, 이미지 데이터는 도 1a와 관련하여 위에서 설명한 컴퓨팅 디바이스(200)와 같이 사용자에 의해 작동되는 컴퓨팅 디바이스 또는 사용자가 조작하는 기타 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 캡처될 수 있다. 착용 핏 측정치 및/또는 디스플레이 핏 측정치 및/또는 안과적 핏 측정치는 특정 사용자에 대한 디스플레이 및/또는 교정 렌즈를 포함하는 상기 설명된 웨어러블 컴퓨팅 디바이스(100)와 같은 헤드 마운트 웨어러블 컴퓨팅 디바이스를 사이징하고 피팅하기 위해 이러한 방식으로 획득된 이미지 데이터로부터 검출될 수 있다. 이미지 데이터는 소매점에 접근할 필요 없이, 피팅/판매 전문가와의 약속 없이, 지도되거나 감독되지 않는 방식으로 사용자에 의해 작동되는 컴퓨팅 디바이스(200)에서 실행되는 애플리케이션을 통해 캡처될 수 있다. 일부 구현예에서, 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 측정치의 검출은 이미지 데이터에 포함된 사용자가 착용한 샘플 프레임의 물리적 피처 또는 속성의 검출에 기초할 수 있다. 사용자 머리의 3차원 모델은 캡처된 이미지 데이터 내에서 검출된 측정치(예를 들어, 사용자의 물리적 속성 측정치)에 기초하여 생성되거나 생산되거나 정의될 수 있다. 일부 구현예에서, 이미지 데이터의 물리적 피처 및/또는 속성의 검출은 깊이 센서에 의해 수집된 데이터에 의존하지 않고 컴퓨팅 디바이스(200)의 이미지 센서 또는 카메라를 사용하여 이러한 검출을 제공할 수 있다. 일부 구현예에서, 컴퓨팅 디바이스(200)에 포함된 깊이 센서는 검출된 물리적 피처 및/또는 샘플 프레임의 속성 및/또는 사용자의 안면/두개골 속성과 연관된 3차원 측정치의 수집을 제공할 수 있다.

도 3은 본 명세서에 설명된 구현예에 따라, 웨어러블 컴퓨팅 디바이스에 대한 디스플레이 핏 측정치 및 안과적 핏 측정치를 결정하기 위한 예시적 시스템의 블록도이다. 시스템은 하나 이상의 컴퓨팅 디바이스(300)를 포함한다. 컴퓨팅 디바이스(300)는 예를 들어 서버 컴퓨터 시스템, 프로세서, 데이터베이스, 메모리 저장소 등과 같은 외부 리소스(302)에 액세스하기 위해 네트워크(306)를 통해 선택적으로 통신할 수 있다. 컴퓨팅 디바이스(300)는 제어 시스템(370)의 제어 하에 동작할 수 있다. 컴퓨팅 디바이스(300)는 직접(유선 및/또는 무선 통신을 통해) 또는 네트워크(306)를 통해 하나 이상의 외부 컴퓨팅 디바이스(304)(다른 웨어러블 컴퓨팅 디바이스, 다른 모바일 컴퓨팅 디바이스 등)와 통신할 수 있다. 일부 구현예에서, 컴퓨팅 디바이스(300)는 외부 통신을 용이하게 하기 위한 통신 모듈(380)을 포함한다. 일부 구현예에서, 컴퓨팅 디바이스(300)는 예를 들어 하나 이상의 이미지 센서(322), 하나 이상의 포지션/배향 센서(들)(324)(예를 들어 관성 측정 유닛, 가속도계, 자이로스코프, 자력계 등), 오디오 입력을 감지할 수 있는 하나 이상의 오디오 센서(326) 및 기타 센서를 포함하는 다양한 감지 시스템 컴포넌트를 포함하는 감지 시스템(320)을 포함한다. 컴퓨팅 디바이스(300)는 더 많거나 더 적은 감지 디바이스 및/또는 감지 디바이스의 조합을 포함할 수 있다.

일부 실시예에서, 컴퓨팅 디바이스(300)는 하나 이상의 이미지 센서(들) 또는 카메라(들)(360)를 포함할 수 있다. 카메라(들)(360)는 예를 들어 컴퓨팅 디바이스(300) 외부 환경의 정지 이미지 및/또는 움직이는 이미지를 캡처할 수 있는 외향 카메라, 외면 카메라 등을 포함할 수 있다. 일부 구현예에서, 하나 이상의 카메라(들)(360)는 깊이 센서를 포함할 수 있다. 정지 및/또는 움직이는 이미지는 출력 시스템(340)의 디스플레이 디바이스에 의해 디스플레이될 수 있고 및/또는 통신 모듈(380) 및 네트워크(306)를 통해 외부로 전송되고 및/또는 컴퓨팅 디바이스(300)의 메모리(330)에 저장될 수 있다. 컴퓨팅 디바이스(300)는 하나 이상의 프로세서(들)(350)를 포함할 수 있다. 프로세서(350)는 다양한 기능을 수행하도록 구성된 다양한 모듈 또는 엔진을 포함할 수 있다. 일부 예에서, 프로세서(들)(350)는 객체 인식 모듈(들), 피처 인식 모듈(들), 패턴 인식 모듈(들), 구성 식별 모듈(들) 및 기타 이러한 프로세서를 포함한다. 프로세서(들)(350)는 하나 이상의 기계 실행가능 명령어들 또는 소프트웨어, 펌웨어 또는 이들의 조합의 조각을 실행하도록 구성된 기판에 형성될 수 있다. 프로세서(들)(350)는 디지털 논리를 수행할 수 있는 반도체 재료를 포함하는 반도체 기반일 수 있다. 메모리(330)는 프로세서(들)(350)에 의해 판독 및/또는 실행될 수 있는 형식으로 정보를 저장하는 임의의 유형의 저장 디바이스를 포함할 수 있다. 메모리(330)는 프로세서(들)(350)에 의해 실행될 때 특정 동작들을 수행하게 하는 애플리케이션 및 모듈을 저장할 수 있다. 일부 예에서, 애플리케이션 및 모듈은 외부 저장 디바이스에 저장되고 메모리(330)에 로드될 수 있다.

도 4a 및 도 4b는 사용자에 의해 사용되도록 커스터마이징되는 웨어러블 컴퓨팅 디바이스에 대한 디스플레이 핏 측정치 및/또는 안과적 핏 측정치를 캡처하기 위해 사용자에 의해 작동되는, 도 3과 관련하여 상기 기술된 컴퓨팅 디바이스(300)와 같은 예시적 컴퓨팅 디바이스를 도시한다. 도 4a에서, 예시적 컴퓨팅 디바이스(300A)는 스마트폰과 같은 휴대용 컴퓨팅 디바이스의 형태이다. 도 4b에서, 예시적 컴퓨팅 디바이스(300)는 랩톱 컴퓨팅 디바이스(300B)의 형태이다. 도 4a 및 도 4b는 본 명세서에 기술된 시스템 및 방법을 실행하기 위해 사이징 시뮬레이터에 의해 프로세싱하기 위한 이미지 데이터를 캡처하는데 사용될 수 있는 컴퓨팅 디바이스(300)의 두 가지 예를 제공한다. 본 명세서에 설명되는 원리는 다른 유형의 컴퓨팅 디바이스에 의해 수행될 수 있으며, 특히 이미지 캡처 기능, 디스플레이 기능, 외부 통신 및 특정 사용자에 대한 웨어러블 컴퓨팅 디바이스를 커스터마이징하기 위해 디스플레이 핏 측정치 및/또는 안과적 핏 측정치를 수집하고 프로세싱하기 위한 프로세싱을 활용하기 위해 애플리케이션을 실행할 수 있는 컴퓨팅 디바이스에 의해 수행될 수 있다.

도 6a에 도시된 예에서, 사용자는 컴퓨팅 디바이스(300A)를 들고 있어서, 사용자의 머리와 얼굴이 컴퓨팅 디바이스(300A)의 카메라(360A)의 시야 내에 있고, 카메라(360A)는 사용자의 머리와 얼굴의 이미지를 캡처할 수 있다. 캡처된 이미지는 컴퓨팅 디바이스(300A)의 디스플레이 디바이스(342A)에서 사용자에게 디스플레이될 수 있으므로, 사용자는 자신의 머리와 얼굴이 카메라(360A)의 시야 내에 캡처되었는지 확인할 수 있다. 유사하게, 도 4b에 도시된 바와 같이, 컴퓨팅 디바이스(300B)는 사용자의 머리와 얼굴이 컴퓨팅 디바이스(300B)의 카메라(360B) 시야 내에서 캡처되고, 카메라(360B)가 사용자의 머리와 얼굴의 이미지를 캡처할 수 있도록 사용자에 대해 포지셔닝 설정된다. 캡처된 이미지는 컴퓨팅 디바이스(300B)의 디스플레이 디바이스(342B)에서 사용자에게 디스플레이될 수 있으므로, 사용자는 자신의 머리와 얼굴이 카메라(360B)의 시야 내에 캡처되었는지 확인할 수 있다. 도 4a 및 도 4b에 도시된 예시적 구성에서, 카메라(360)에 의해 캡처된 이미지 데이터는 (예를 들어, 도 3에 도시된 바와 같이 외부 프로세서(들)의 인식 엔진(들) 및 시뮬레이션 엔진(들)에 의해) 프로세싱되어, 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 측정치를 검출하고, 예를 들어, 사용자에 대해 도 1b 및 1c에서 도시된 헤드 마운트 웨어러블 컴퓨팅 디바이스와 같은 웨어러블 컴퓨팅 디바이스의 커스터마이징을 위해 프레임 및/또는 렌즈 크기 및 윤곽, 디스플레이 디바이스 구성 등을 결정한다.

도 4a 및 도 4b에서, 사용자는 예시적 피팅 프레임(500)을 착용하고 있다. 피팅 프레임(500)은 컴퓨팅 디바이스(300)의 카메라(360)에 의해 캡처된 사용자의 머리 및 얼굴 이미지에 포함된다.

전술한 바와 같이, 캡처된 이미지 데이터로부터 착용 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 측정치의 검출은 이미지 데이터를 캡처하는 동안 사용자가 착용한 피팅 프레임과 연관된 하나 이상의 물리적 특징 및/또는 속성의 검출에 의해 촉진될 수 있다. 일부 예에서, 사용자는 컬렉션의 다양한 피팅 프레임 또는 샘플 피팅 프레임 키트를 입어보거나 샘플링할 수 있다. 피팅 세션에 앞서 샘플 피팅 프레임을 포함하는 피팅 키트가 사용자에게 제공될 수 있다. 이는 사용자가 적어도 일부 착용 핏 파라미터를 평가할 수 있다. 예를 들어, 샘플 피팅 프레임을 포함하는 피팅 키트로부터 다수의 서로 다른 피팅 프레임을 시착해 보거나 샘플링함으로써 사용자는 예를 들어 물리적 크기, 편안함, 심미성 등과 같은 요소를 평가할 수 있다. 사용자는 피팅 세션 중에 사용할 샘플 피팅 프레임이 포함된 피팅 키트에서 피팅 프레임을 선택할 수 있다. 피팅 키트에 포함된 샘플 피팅 프레임은 피팅 세션 동안 캡처된 데이터에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 통합될 실제 프레임의 크기, 모양, 무게 등을 모방하여 사용자에게 비교적 정확한 핏과 느낌을 제공할 수 있다. 피팅 세션 동안 컴퓨팅 디바이스(200)에서 실행되는 애플리케이션을 통해 캡처된 이미지 데이터는 디스플레이 핏 및/또는 안과적 핏을 결정하는데 사용될 수 있다. 이러한 방식으로 수집된 측정 데이터는 이미지 데이터로부터 검출된 측정치에 기초하여 사용자 및 선택된 피팅 프레임에 대해 디스플레이 디바이스(104), 특히 디스플레이 디바이스(104)에 의해 생성된 이미지 디스플레이 디바이스 영역을 조정하는데 사용될 수 있다. 이러한 방식으로 수집된 측정 데이터는 교정 또는 처방 렌즈를 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 통합하는데 사용될 수 있다. 이러한 방식으로 수집된 측정 데이터는 사용자 및 선택된 프레임에 대한 디스플레이 디바이스(104)를 구성하고 교정/처방 렌즈를 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 통합하는데 사용될 수 있다.

도 5a 내지 도 5c는 본 명세서에 설명된 구현에 따른 헤드 마운트 웨어러블 컴퓨팅 디바이스를 피팅하기 위한 예시적 피팅 프레임(500), 예를 들어 제1 예시적 피팅 프레임(500A), 제2 예시적 피팅 프레임(500B) 및 제3 예시적 피팅 프레임(500C)을 도시한다. 예시적 피팅 프레임(500)은 사용자가 착용할 헤드 마운트 웨어러블 컴퓨팅 디바이스의 실제 프레임을 물리적으로 또는 기하학적으로 나타낼 수 있지만 단순히 크기 조정/맞춤 목적을 위한 것이므로 기능적이지 않다. 도 5a-5c에 도시된 예시적 피팅 프레임(500)은 피팅 세션 전에 고려할 수 있도록 사용자에게 제공되는 피팅 키트에 포함될 수 있는 샘플 피팅 프레임(500)의 예이다. 본 명세서에 설명되는 원리는 다른 형상 및/또는 크기 및/또는 구성을 갖는 피팅 프레임에 적용 가능하다. 도 5a에 도시된 제1 예시적 피팅 프레임(500A)은 제1 세트의 물리적 특징에 의해 정의된 제1 크기 및/또는 형상 및/또는 윤곽을 갖는다. 제1 예시적 피팅 프레임(500A)은 D형 림 부분(503A, 503B)을 갖는 중간 크기의 프레임으로 간주될 수 있다. 도 5b에 도시된 제2 예시적 피팅 프레임(500B)은 제2 세트의 물리적 특징에 의해 정의된 제2 크기 및/또는 형상 및/또는 윤곽을 갖는다. 제2 예시적 피팅 프레임(500B)은 둥근 림 부분(503A, 503B)을 갖는 중간 크기의 프레임으로 간주될 수 있다. 도 5c에 도시된 제3 예시적 피팅 프레임(500C)은 제3 세트의 물리적 특징에 의해 정의된 제3 크기 및/또는 형상 및/또는 윤곽을 갖는다. 제3 예시적 피팅 프레임(500C)은 직사각형 림 부분(503A, 503B)을 갖는 대형 프레임으로 간주될 수 있다. 도 5a-5c에 도시된 예시적 피팅 프레임(500)(500A, 500B, 500C)은 논의 및 예시의 목적으로 제시된다. 본 명세서에 설명되는 원리는 다른 물리적 특징에 의해 정의되는 다른 크기 및/또는 형상 및/또는 윤곽을 갖는 다른 피팅 프레임에 적용될 수 있다.

도 5a-5c에 도시된 각각의 예시적 피팅 프레임(500)(500A, 500B, 500C)은 제1 유리 부분 또는 제1 렌즈(507A)를 둘러싸는 제1 림 부분(503A), 및 제2 유리 부분 또는 제2 렌즈(507B)를 둘러싸는 제2 림 부분(503B)을 포함한다. 예시적 피팅 프레임(500)(500A, 500B, 500C)을 사용자가 착용한 경우 제1 림 부분(503A)/제1 렌즈(507A)는 사용자의 제1 눈에 대응하여 포지셔닝되도록 구성되고, 제2 림 부분(503B)/제1 렌즈(507B)는 사용자의 제2 눈에 대응하여 포지셔닝되도록 구성될 수 있다. 브릿지 부분(509)은 예시적 피팅 프레임(500)(500A, 500B, 500C)의 림 부분(503A, 503B)을 연결하기 위해 림 부분(503A, 503B)의 내측 단부 부분 사이에서 연장될 수 있다. 브릿지 부분(509)은 사용자의 코에 안착되고, 제1 림 부분(503A)/제1 렌즈(507A)가 제1 눈에 대응되도록 포지셔닝되고, 제2 림 부분(503B)/제2 렌즈(507B)가 제2 눈에 대응되도록 포지셔닝되도록 구성될 수 있다. 제1 암 부분(505A)은 제1 힌지 부분(510A)에 의해 제1 림 부분(503A)의 외측 단부에 피봇 또는 회전 가능하게 결합될 수 있다. 제2 암 부분(505B)은 제2 힌지 부분(510B)에 의해 제2 림 부분(503B)의 외측 단부에 피봇 또는 회전 가능하게 결합될 수 있다. 제1 및 제2 암 부분(505A, 505B)은 예시적 피팅 프레임(500)(500A, 500B, 500C)이 사용자에 의해 착용될 때 사용자의 각각의 제1 및 제2 귀에 안착되도록 구성되는 귀 안장 부분(515A, 515B)을 각각 포함할 수 있다.

전술한 바와 같이, 본 명세서에 설명된 구현예에 따른 피팅 프레임은 사용자가 착용한 피팅 프레임을 포함하는 이미지 데이터에서 검출, 식별 또는 인식될 수 있는 물리적 특징 또는 속성을 포함할 수 있다. 도 6a는 예시적 피팅 프레임(500)을 착용한 사용자의 예시적 2차원 이미지 평면(600) 또는 이미지(600)를 도시한다. 예시적 이미지(600)는 컴퓨팅 디바이스(300)에 의해 실행되는 애플리케이션을 통해 사용자가 조작하는 컴퓨팅 디바이스(300)의 카메라(360)에 의해 캡처될 수 있다. 도 6a에 도시된 바와 같이, 이미지(600)는 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342) 상에 디스플레이된다. 이는 사용자가 캡처된 이미지 데이터가 피팅 프레임(500)의 캡처, 사용자의 얼굴 및/또는 두개골 및/또는 광학적 피처 등을 포함하는지 시각적으로 확인하게 할 수 있다. 컴퓨팅 디바이스(300)가 스마트폰과 같은 휴대용 모바일 컴퓨팅 디바이스인 예에서, 자화상 모드 또는 셀카 모드는 컴퓨팅 디바이스(300)의 카메라(360)에 의한 이미지 데이터 캡처를 위해 호출될 수 있다.

이미지(600)는 카메라(360)에 의해 캡처된 픽셀의 2차원 배열을 포함할 수 있다. 일부 예에서, 이미지(600) 내에서 검출된 피처는 이미지(600) 내에서 검출된 피처의 위치, 예를 들어 2차원 좌표 포지션에 대응할 수 있다. 도 6b는 이미지 데이터가 캡처되는 동안 사용자가 착용한 피팅 프레임(500)과 연관된 검출 가능한 키포인트 또는 검출 가능한 피처의 일부 예를 도시한다. 이미지 데이터에서 검출된 키포인트 또는 피처를 통해 사용자 얼굴 상의 피팅 프레임(500)의 3차원 포즈가 결정될 수 있으며, 이는 결국 사용자가 착용한 피팅 프레임(500)과 연관된 디스플레이 핏 정보 및/또는 안과적 핏 정보를 결정하는데 사용될 수 있다. 이미지 데이터에서 사용자가 착용한 피팅 프레임(500)과 연관된 이러한 유형의 키포인트의 검출은 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)가 사용자에 대해 구성될 수 있게 하는 디스플레이 핏 및/또는 안과적 핏 정보의 결정에 중요하다.

도 6b에 도시된 예시적 구성은 피팅 프레임(500)의 제1 림 부분(503A)과 제1 암 부분(505A) 사이의 힌지 결합 지점에 대응하는 이미지(600)의 포지션, 예를 들어 림 부분(503A)과 제1 암 부분(505A)을 회동 가능하게 결합하는 제1 힌지 부분(510A)에 대응하는 포지션에 예시적 키포인트(610A)를 포함한다. 예를 들어, 도 6b에 도시된 예시적 구성은 피팅 프레임(500)의 제2 림 부분(503B)과 제2 암 부분(505B) 사이의 힌지 결합 지점에 대응하는 이미지(600)의 포지션에 예시적 키포인트(610B)를 포함한다. 예를 들어, 도 6b에 도시된 예시적 구성은 피팅 프레임(500)의 제1 렌즈(507A)의 하단 주변 가장자리 부분에 대응하는 포지션에 있는 예시적인 키포인트(620A)와 피팅 프레임(500)의 제2 렌즈(507B)의 하단 주변 가장자리 부분에 대응하는 포지션에 있는 예시적 키포인트(620B)를 포함한다. 예시적 키포인트(620A, 620B)는 단순히 렌즈(507)의 특정 주변 가장자리 부분에 대응하는 예시적 키포인트이다. 키포인트는 또한 및/또는 대신에, 예를 들어 렌즈(507)의 상단 주변 가장자리 부분, 왼쪽 주변 가장자리 부분 및/또는 오른쪽 주변 가장자리 부분과 같은 렌즈(507)의 다른 주변 가장자리 부분(들)에서 정의될 수 있다. 일부 예에서, 렌즈(507)의 주변 가장자리 부분을 따라 정의된 키포인트(들)는 렌즈(507)의 지정된 섹션(들)에 대응할 수 있다. 일부 예에서, 렌즈(507)의 주변 가장자리 부분을 따라 정의된 키포인트(들)는 렌즈(507)의 주변 가장자리를 따른 특정 지점에 대응할 수 있다. 예를 들어, 도 6b에 도시된 예시적 구성은 피팅 프레임(500)의 브릿지 부분(509)에 대응하는 이미지(600)의 포지션에 예시적 키포인트(630)를 포함한다.

도 6a 및 도 6b에 도시된 예시적 이미지(600)는 실질적으로 정면 이미지이고, 예시적 키포인트(610, 620, 630) 또는 피처(610, 620, 630)는 사용자가 착용한 피팅 프레임(500)과 연관된 검출 가능한 키포인트 또는 피처의 일부 예일 뿐이며, 이미지(600)에서 검출되어 사용자에 대한 피팅 프레임(500)과 연관된 디스플레이 핏 및/또는 안과적 핏을 차례로 검출한다. 디스플레이 핏 및/또는 안과적 핏의 결정을 용이하게 하기 위해 피팅 프레임(500)과 연관된 다른 키포인트 또는 피처가 이미지(600)에서 검출될 수 있다. 다른 검출 가능한 키포인트 또는 검출 가능한 피처의 예에는 렌즈(507)의 상단 부분, 렌즈(507)의 내부 주변 부분(즉, 피팅 프레임(500)의 브릿지 부분(509)에 인접한 렌즈(507)의 부분), 렌즈(507)의 외주연 부분(즉, 피팅 프레임(500)의 힌지 부분(510)에 인접한 렌즈(507)의 부분) 등을 포함한다. 피팅 프레임(500)에 걸친 검출 가능한 키포인트 또는 피처의 분포 및 키포인트 또는 피처의 분리는 검출 정확도 및 3차원 모델과의 상관성을 향상시킬 수 있다. 추가적으로, 피팅 프레임(500)과 연관된 다른 키포인트 또는 피처는 사용자의 프로필 이미지 또는 사용자에 대해 일정 각도에서 촬영된 이미지에서 검출될 수 있으며, 이는 피팅 프레임(500)의 암 부분(들)의 포지션, 사용자의 귀에 대한 귀 안장 지점(들)(515)의 포지션, 사용자의 얼굴에 대한 림 부분(들)(503)의 포지션 등을 포함할 수 있다. 사용자에 대한 피팅 프레임(500)의 디스플레이 핏 및/또는 안과적 핏을 결정하기 위해 피팅 프레임(500)과 연관된 더 많거나 더 적은 키포인트 및/또는 키포인트의 조합이 이미지(600)에서 검출될 수 있다. 상기 언급된 바와 같이, 이미지 데이터에서 사용자가 착용한 피팅 프레임(500)과 연관된 특정 키포인트의 검출은 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)가 사용자에 대해 구성될 수 있게 하는 디스플레이 핏 및/또는 안과적 핏 정보의 결정에 중요하다.

도 6c는 (도 6b와 관련하여 위에서 설명한 예시적 검출 가능한 키포인트(610, 620, 630) 또는 피처(610, 620, 630)과 함께) 복수의 얼굴 랜드마크를 도시하며, 이는 컴퓨팅 디바이스(300)의 카메라(360)에 의해 캡처된 2차원 이미지(600)에서 검출될 수 있다. 일부 예에서, 동공, 특히 사용자의 각 눈에 대한 동공 중심(640)이 이미지(600)에서 검출될 수 있다. 일부 예에서, 다른 얼굴 랜드마크(650)가 이미지(600)에서 검출될 수 있다. 차례로, 도 6c에 도시된 바와 같이, 일부 예시적 얼굴 랜드마크(650)는 단지 논의 및 예시의 목적으로 콧대, 관자놀이 및 뺨에서 콧대를 둘러싸는 사분면을 포함한다. 사용자의 머리/얼굴에 피팅 프레임(500)의 포지셔닝과 연관된 피처의 식별을 용이하게 하기 위해 다른 얼굴 랜드마크가 검출될 수 있다. 얼굴 랜드마크(650)는 예를 들어 사용자의 머리/얼굴 등에 대한 피팅 프레임(500)의 포지셔닝을 위한 인덱싱을 제공할 수 있다.

일부 구현예에서, 측면 또는 프로필 이미지(660)는 도 6d에 도시된 바와 같이 캡처될 수 있다. 도 6d에 도시된 예시적 이미지(660)는 단순히 논의 및 설명을 목적으로 하는 실질적으로 전체 프로필 이미지(660)이다. 프로필 이미지(660)에서 검출된 정보는 도 6a-6c에 도시된 정면 이미지(600)로부터 90도 미만으로 촬영된 측면 이미지로부터 검출될 수 있다. 도 6d에 도시된 바와 같이, 피팅 프레임과 연관된 추가적인 키포인트 또는 피처, 그리고 추가적인 얼굴/두개골 랜드마크가 측면 또는 프로필 이미지(660)에서 검출될 수 있다. 차례로, 도 6에 도시된 바와 같이, 피팅 프레임(500)의 암 부분(505A) 중 귀 안장 부분(515A)에 대응하는 이미지(660) 내 포지션에서 키포인트(670)가 검출될 수 있다. 얼굴/두개골 랜드마크(650)는 예를 들어 사용자의 귀 부분, 예를 들어 귀의 앞쪽 주름 부분, 귀의 윗부분 등에서 검출될 수 있다. 다른 키포인트 및/또는 얼굴/두개골 피처도 측면/프로필 이미지(660)에서 검출될 수 있다. 마찬가지로, 사용자의 얼굴에 대한 피팅 프레임(500)의 기울기, 각도(예를 들어, 전경각(pantoscopic angle, PA)는 측면 또는 프로필 이미지(660)로부터 검출될 수 있다. 즉, 피팅 프레임(500)의 림 부분(503)과 암 부분(505) 사이의 각도는 알 수 있지만, 피팅 프레임(500)의 기울기 또는 각도는 다양한 요인에 따라 달라질 수 있다. 이러한 요인에는 예를 들어, 사용자가 피팅 프레임(500)을 착용하는 방식(눈에 가까움/멀리, 코가 높거나 낮음 등), 사용자의 코에 대한 귀의 포지셔닝, 다른 그러한 요인들을 포함할 수 있다.

일부 구현예에서, 피팅 프레임(500)과 연관된 검출된 키포인트(도 6b-6d에 도시된 검출된 예시적 키포인트(610, 620, 630, 670) 또는 피처(610, 620, 630, 670)와 같은)는, 단독으로 및/또는 사용자의 검출된 얼굴/두개골 피처(도 6c 및 도 6d에서 도시된 검출된 동공 중심(640) 및 얼굴 랜드마크(650)과 같은)와 함께 사용자의 얼굴에 대한 피팅 프레임(500)의 포즈, 예를 들어 3차원 포즈를 결정하는데 사용될 수 있다. 사용자 얼굴 상의 피팅 프레임(500)의 이러한 3차원 포즈는 예를 들어 스마트 안경 형태의 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 대한 디스플레이 핏 및/또는 안과적 핏을 결정하는데 사용될 수 있다. 일부 예에서, 구성될 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 프레임(102)의 구성은 이미지(600)에서 사용자가 착용한 피팅 프레임(500)의 구성에 대응한다. 일부 예에서, 구성될 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 프레임(102)의 구성은 반드시 피팅 프레임(500)의 구성에 대응하는 것은 아니다.

일부 예에서, 예를 들어, 2차원 정면 이미지(600)와 사용자의 얼굴에서 피팅 프레임(500)의 대응하는 검출된 3차원 포즈로부터 추출된 데이터는 사용자에 대한 피팅 프레임(500)의 응시 가능성을 평가하기 위해 합성될 수 있다. 즉, 이 데이터는 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 포함된 디스플레이 디바이스(104)의 구성을 결정하기 위해 합성될 수 있으며, 디스플레이 디바이스(104)에 의해 출력되는 콘텐츠가 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)를 착용한 사용자의 시야 내에 있도록 디스플레이 디바이스(104)가 구성되게 할 수 있다. 예를 들어, 디스플레이 디바이스(104)는 디스플레이 디바이스(104)에 의해 출력되고 출력 커플러(144)에 디스플레이되는 콘텐츠가 사용자의 시야 내에서 캡처되어 사용자에게 보이도록 구성될 수 있다.

전술한 바와 같이, 동공(예를 들어, 동공 중심(들)(640)) 및 사용자의 얼굴(예를 들어, 검출된 얼굴 랜드마크(들)(650))과 연관된 3차원 포즈 정보는 피팅 프레임(500)의 3차원 포즈 정보와 함께 렌즈 관련 측정치(예를 들어, 동공 높이, 버텍스 거리, 전경각 등)을 결정하게 할 수 있다. 위에서 언급한 바와 같이, 피팅 프레임(500)의 3차원 포지션 및 배향, 또는 포즈는 사용자가 조작하는 컴퓨팅 디바이스(300)의 카메라(360)에 의해 캡처된 이미지 데이터의 하나 이상의 키포인트(610, 620, 630) 또는 피처(610, 620, 630)의 검출 및/또는 식별에 기초하여 결정될 수 있다. 일부 예에서, 추가 정보는 도 6d와 관련하여 전술한 바와 같이 측면 또는 프로필 이미지(660)로부터 획득될 수 있다. 피팅 프레임(500)에 약간의 굴곡이 있을 수 있지만, 일부 예에서 피팅 프레임(500)은 3도의 움직임을 갖는 실질적으로 강체인 것으로 간주될 수 있다. 따라서, 피팅 프레임(500) 상의 적어도 하나의 알려진 지점의 비교적 정확한 검출은 피팅 프레임(500)의 3차원 포지션을 결정하는데 사용될 수 있다. 키포인트(610, 620, 630) 또는 피처(610, 620, 630) 중 하나 이상은 이미지(600)에서 신뢰성 있게 검출될 수 있고, 검출된 하나 이상의 키포인트(610, 620, 630) 또는 피처(610, 620)의 포지션은 피팅 프레임(500)과 연관된 3차원 공간에서 알려질 수 있다.

전술한 바와 같이, 본 명세서에 설명된 구현예에 따른 시스템 및 방법은 사용자에 의해 작동되는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 캡처된 이미지 데이터에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 피팅을 용이하게 할 수 있다. 이미지 데이터는 사용자에 의해 캡처될 수 있으며, 웨어러블 컴퓨팅 디바이스는 소매점 및/또는 직접 방문하거나 판매 대리인과의 가상 약속을 할 필요 없이 자기 주도적, 감독되지 않은 또는 감독 없는 방식으로 사용자에게 맞춰지고 구성될 수 있다. 이미지 데이터의 캡처 및 프로세싱은 아래에서 더 자세히 설명된다.

전술한 바와 같이 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)를 선택, 피팅 및 구성하기를 원하는 사용자는 피팅 프로세스에 앞서 고려하기 위해 하나 이상의 피팅 프레임 또는 피팅 프레임의 샘플 세트에 접근하거나 사용자에게 제공될 수 있다. 일부 예에서, 사용자는 피팅 프레임 샘플 세트에 포함된 각 피팅 프레임을 입어보고 각각과 연관된 크기, 편안함, 외모, 얼굴 피처와의 호환성, 전반적인 착용성 등과 같은 요인을 평가할 수 있다. 사용자는 피팅 및 구성 과정에서 앞으로 사용하기 위해 이들 및/또는 다른 요인에 기초하여 피팅 프레임의 샘플 세트로부터 피팅 프레임(500)을 선택할 수 있다.

일부 예에서, 입어보고 및/또는 평가할 피팅 프레임의 샘플 세트는 입어볼 수 있는 복수의 피팅 프레임 중에서 사용자에 의해 선택될 수 있다. 일부 예에서, 시스템(예를 들어, 사용자에 의해 작동되는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션의 모듈 내에서)은 사용자의 물리적 특징 및 검출된 물리적 특징과 호환될 수 있는 프레임의 모양 및/또는 크기 및/또는 구성의 분석에 기초하여 피팅 프레임의 샘플 세트를 사용자에게 제안할 수 있다. 일부 예에서, 피팅 프레임의 샘플 세트는 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 피팅 및 구성을 위한 프로세스를 개시하기 전에 사용자에게 제공될 수 있다.

하나 이상의 피팅 프레임(500) 쌍을 물리적으로 입어볼 수 있는 기능은 피팅 프레임(500) 중 어느 것이 물리적으로 가장 편안하고, 안면/또는 두개골 피처(눈, 콧대, 귀 안장 지점, 뺨 접촉 지점 등) 등에 적절하게/편안하게 정렬되는지를 결정하기 위해 물리적으로 피팅을 평가할 수 있는 기회를 사용자에게 제공한다. 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 피팅 및 구성 이전에 물리적 피팅 프레임(500)을 사용하는 사용자에 의한 착용 핏의 평가는 특정 사용자에게 더 적합한 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)를 산출할 수 있다. 사용자에 의한 물리적인 착용 핏에 기초한 이러한 방식의 피팅 프레임(500)의 선택은 사용자를 위한 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 보다 정확한 피팅 및 구성을 산출할 수 있다.

일부 상황에서, 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 피팅 및 구성을 위해 단일 피팅 프레임(500)이 사용자에게 이용가능할 수 있다. 이러한 상황에서, 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 통합하기 위한 특정 프레임(102)의 착용 핏을 결정하기 위한 추가적 조치가 취해지는 것과 함께 피팅 및 구성 프로세스가 아래에 설명되는 바와 같이 수행될 수 있다.

일부 예에서, 사용자는 컴퓨팅 디바이스(300)를 조작하여(예를 들어, 도 4a 및/또는 4b에서와 같이) 애플리케이션을 실행하고 선택된 피팅 프레임(500)(예를 들어, 위에서 설명된 피팅 프레임의 샘플 세트에서 선택된 것과 같은)을 사용하여 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 피팅 및 구성을 개시한다. 일부 예에서, 사용자에 의해 조작되는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션은 선택된 피팅 프레임(500)을 착용하는 동안 이미지 캡처를 개시하도록 사용자에게 프롬프트할 수 있다. 이하에서는 이러한 프로세스는 논의와 설명을 쉽게 하기 위해 도 6a-6c에서 설명한 바와 같이 정면 이미지(600)의 캡처에 기초하여 설명될 것이다. 그러나 일부 구현예에서 도 6d에 도시된 바와 같이 프로필 이미지(660)에서 검출된 데이터 및/또는 반-프로필 이미지는 사용자를 위한 헤드 마운트 디스플레이 디바이스(100)의 피팅 및 구성에 사용될 수 있다.

일부 예에서, 애플리케이션은 이미지 데이터를 캡처하는 동안 사용자가 착용할 특정 피팅 프레임(500)의 선택을 확인하도록 사용자에게 프롬프트할 수 있다. 따라서, 일부 상황에서, 이미지 캡처시 착용할 선택된 피팅 프레임(500)과 연관된 구성 정보를 알 수 있다. 이는 예를 들어 선택된 피팅 프레임(500)과 연관된 선형 및/또는 각도 측정치 및/또는 윤곽, 선택된 피팅 프레임(500)의 2차원 모델 및/또는 3차원 모델 및 기타 이러한 정보를 포함할 수 있다. 선택된 피팅 프레임(500)과 연관된 이러한 알려진 정보는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션에 액세스될 수 있다. 예를 들어, 이 알려진 구성 정보는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션에 액세스 가능한 데이터베이스에 저장될 수 있다. 선택된 피팅 프레임과 연관된 알려진 구성 정보는 사용자를 위한 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 피팅 및 구성의 정확성과 효율성을 더욱 향상시킬 수 있다.

도 7에 도시된 바와 같이, 피팅 프레임(500)과 연관된 다양한 키포인트 또는 피처는 사용자에 의해 조작되는 컴퓨팅 디바이스(300)의 카메라(360)에 의해 캡처된 정면 이미지(600) 내에서 검출될 수 있다. 도 7에 도시된 예시적인 배열에서, 제1 키포인트(610A)는 피팅 프레임(500)의 제1 림 부분(503A)과 제1 암 부분(505A) 사이의 힌지 결합 지점에 대응하는 피팅 프레임(500) 상의 알려진 제1 포지션(710A)에 위치한다. 유사하게, 제2 키포인트(610B)는 피팅 프레임(500)의 제2 림 부분(503B)과 제2 암 부분(505B) 사이의 힌지 결합 지점에 대응하는 피팅 프레임(500)의 알려진 제2 포지션(710B)에 위치된다. 제3 키포인트(620A)는 제1 렌즈(507A)의 하단 주변 가장자리 부분에 대응하는 피팅 프레임(500) 상의 제3 알려진 포지션(720A)에 위치하고, 제4 키포인트(620)는 제2 렌즈(507B)의 하단 주변 가장자리 부분에 대응하는 포지션에서 피팅 프레임(500) 상의 제4 알려진 포지션(720B)에 위치한다. 제5 키포인트(630)는 피팅 프레임(500)의 알려진 제5 포지션(730), 즉 피팅 프레임(500)의 브릿지 부분(509)의 중앙 부분에 대응하는 포지션에 위치한다. 피팅 프레임(500)의 키포인트(610, 620, 630)의 검출 및 대응하는 알려진 포지션(710, 720, 730)의 식별은 사용자의 얼굴에 대한 피팅 프레임(500)의 3차원 포즈를 검출하고 정제하는데 사용될 수 있는 피팅 프레임(500)에 고정 참조 지점을 제공할 수 있다. 검출된 키포인트(610, 620, 630) 각각과 연관된 검출된 피처 또는 속성은 예를 들어 카메라(360)에 대한 깊이를 결정하기 위해 알려진 피처 또는 속성(알려진 포지션, 기하학, 윤곽, 거리 등)과 비교될 수 있다. 이는 사용자의 얼굴에 대한 피팅 프레임(500)의 3차원 포즈 결정을 용이하게 할 수 있다.

예를 들어, 검출된 키포인트(610, 620, 630)와 피팅 프레임(500)의 대응하는 알려진 포지션(710, 720, 730)은 피팅 프레임(500)의 3차원 모델의 해당 포인트/포지션 세트와 매칭될 수 있다. 전술한 바와 같이, 피팅 프레임(500)의 3차원 모델은 사전에 저장될 수 있고, 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션을 통해 접근 가능하다. 따라서, 피팅 프레임(500)의 3차원 모델과 이미지(600)에서 검출된 대응 점 사이의 알려진 대응 세트는 피팅 프레임(500)의 3차원 포즈를 결정하는데 사용될 수 있다.

일부 구현예에서, 도 6a-6d에 도시된 예시적 랜드마크(650)와 같은 검출된 얼굴/두개골 랜드마크는 피팅 프레임(500)의 키포인트 또는 피처의 검출 및 식별을 용이하게 할 수 있다. 예를 들어, 위에서 설명된 예시적 키포인트(620A)를 정의하는 제1 렌즈(507)의 하단 주변 가장자리 부분의 검출 및 식별은 사용자의 뺨을 정의하는 랜드마크(650)의 키포인트(620A) 아래의 검출, 사용자의 콧대를 정의하는 키포인트(620A) 오른쪽의 랜드마크(650) 등에 기초하여 압축되거나 개선될 수 있고 및/또는 정확도가 증가될 수 있다. 렌즈(507)의 다른 주변 가장자리 부분(즉, 렌즈(507)의 상단 및/또는 왼쪽 및/또는 오른쪽 주변 가장자리 부분)에 정의된 다른 키포인트는 유사한 방식으로 다른 랜드마크(650)의 검출에 기초하여 압축 및/또는 개선될 수 있다.

일부 구현예에서, 이미지(600)에서 사용자가 착용한 피팅 프레임(500)과 연관된 키포인트 또는 피처의 검출은 합성 데이터, 실제 데이터, 그리고 합성 데이터와 실제 데이터의 조합으로 채워진 데이터베이스와의 비교에 의존할 수 있다. 합성 데이터는 예를 들어 포즈, 조명 조건 등의 다양한 조합에서 안경의 3차원 렌더링과 머리의 3차원 렌더링을 포함할 수 있으며, 이는 다양한 조건에서 머리 착용한 안경의 매우 많은 수의 다양한 렌더링 조합을 생성하기 위해 결합될 수 있다. 실제 데이터는 예를 들어 안경을 착용한 실제 인물을 캡처한 이미지 데이터를 포함할 수 있다. 합성 데이터와 실제 데이터를 결합하여 다양한 포즈, 조건 등에서 머리에 착용하는 안경의 추가 조합을 생성할 수 있다. 이 데이터(합성 데이터, 실제 데이터 및 결합된 데이터)는 피팅 프레임의 키포인트를 3차원 모델의 포인트와 매칭하는데 있어 지속적으로 개선되는 결과를 출력할 수 있는 신경망을 트레이닝하기 위해 축적될 수 있다.

일부 상황에서, 피팅 프레임(500)의 상대적으로 많은 수의 포즈와 포지션 및 각도를 나타내는 트레이닝 데이터를 포함하여 잘 개발된/조밀하게 채워진 신경망이 특정 피팅 프레임(500)에 대해 이용가능할 수 있다. 이러한 상황에서, 이미지는 예를 들어 도 6a 내지 도 6c와 관련하여 위에서 설명한 정면 이미지(600)는 해당 피팅 프레임(500)에 대해 설정된 신경망에 입력될 수 있으며, 피팅 프레임(500)을 착용한 사용자의 이미지(600)와 신경망을 채우는 데이터 사이의 대응 관계는 신경망에 의해 이미지(600)를 프로세싱하기 전에 이미지(600)의 키포인트의 검출을 반드시 요하지 않고 검출될 수 있다.

일부 구현예에서, 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)가 사용자에게 전달된 후 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 교정 또는 재교정에 피팅 및 구성 프로세스와 유사한 프로세스가 적용될 수 있다. 예를 들어, 사용자를 위해 구성된 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 대한 새로운 제품 설정 프로세스는 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)가 전달되면 디스플레이 특성의 미세 조정을 포함할 수 있다. 예를 들어, 사용자에 의해 조작되는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션은 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)를 착용한 사용자를 포함하는 이미지 데이터를 캡처하도록 사용자에게 프롬프트할 수 있다. 헤드 마운트 웨어러블 컴퓨팅 디바이스(100) 상의 키포인트의 검출은 사용자의 눈/눈 상자에 대한 사용자의 얼굴 상의 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 3차원 포즈를 결정하기 위해 검출될 수 있다. 디스플레이 디바이스(104)의 동작을 제어하는 제어 소프트웨어는 예를 들어 콘텐츠가 디스플레이되는 위치를 최적화하기 위해 콘텐츠의 출력을 조정할 수 있다. 이는 응시 가능성을 최적화하고 사용자 보기 경험을 향상시킬 수 있다.

위에서 설명된 측정치 또는 파라미터는 선택된 피팅 프레임(500)을 착용한 사용자에 대한 디스플레이 핏 특성을 결정하기 위해 수집될 수 있다. 위에 설명된 측정치 또는 파라미터는 헤드 마운트 웨어러블 컴퓨팅 디바이스(도 1b 및 도 1c에 도시된 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 디스플레이 디바이스(104)와 같은)의 디스플레이 디바이스의 피팅을 허용하여, 사용자의 동공이 눈 상자(140) 내에서 가능한 한 중앙에 정렬되도록 하여 사용자의 시선이 출력 커플러(144)를 통과하고, 여기서 디스플레이된 콘텐츠가 렌즈(107)를 통해 사용자에게 보이도록 한다. 위에 설명된 측정치 또는 파라미터는 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)의 디스플레이 디바이스(104)의 구성을 가능하게 하여 콘텐츠의 디스플레이가 사용자 시야의 상대적으로 큰 부분 내에서 사용자에게 보이도록 할 수 있다.

본 명세서에 설명된 구현예에 따른 시스템 및 방법은 선택된 피팅 프레임(500)을 착용한 사용자에 대한 안과적 피팅 특성을 결정하기 위한 측정치의 수집을 제공할 수 있다. 일부 구현예에서, 시스템 및 방법은 디스플레이 핏 특성과 안과적 핏 특성 모두를 결정하기 위한 측정치의 수집을 제공할 수 있다. 도 2a 내지 2d와 관련하여 전술한 바와 같이, 안과적 측정치는 사용자에 의해 조작되는 컴퓨팅 디바이스(300)의 카메라(360)에 의해 캡처된 이미지 데이터 내에서 검출될 수 있다. 예를 들어, 동공 높이, 동공 간 거리, 단안 동공 거리, 전경각, 버텍스 거리 및 기타 파라미터 또는 측정치를 포함한 이러한 측정치는 이미지 데이터 내에서 검출되어 헤드 마운트 웨어러블 컴퓨팅 디바이스(100)에 교정 또는 처방 렌즈의 통합을 위해 프로세싱될 수 있다. 일부 예에서, 이러한 안과적 측정치는 사용자의 교정/처방 렌즈 요구와 함께 특정 사용자에 대한 적절한 디스플레이 핏을 모두 제공하기 위해 위에서 설명된 디스플레이 핏 측정치와 협력하여 사용된다.

도 8은 사용자를 위한 디스플레이를 포함하는 헤드 마운트 웨어러블 컴퓨팅 디바이스를 구성하기 위해 컴퓨팅 시스템을 동작시키는 예시적 방법(800)의 흐름도이다. 컴퓨팅 디바이스(예를 들어 위에서 설명된 컴퓨팅 디바이스(300)와 같은)를 작동하는 사용자는 컴퓨팅 디바이스가 애플리케이션을 실행하게 할 수 있다. 애플리케이션은 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터로부터 디스플레이 핏 측정 및/또는 안과적 핏 측정치의 검출을 제공할 수 있다(블록 810). 카메라(예를 들어 위에서 설명된 컴퓨팅 디바이스(300)의 카메라(360)와 같은)는 피팅 프레임을 착용한 사용자의 이미지 데이터를 캡처하도록 작동된다(블록 820). 피팅 프레임은 사용자가 이용할 수 있는 하나 이상의 샘플 피팅 프레임(예를 들어, 도 5a-7과 관련하여 위에서 설명한 피팅 프레임(500)) 중에서 선택될 수 있다. 시스템은 피팅 프레임 상의 하나 이상의 키포인트 또는 피처(예를 들어, 키포인트(610, 620, 630 및/또는 670), 위에서 설명한 얼굴/두개골 랜드마크(640, 650) 등)을 검출할 수 있다(블록 830).

일부 예에서, 키포인트 및/또는 피처 및/또는 랜드마크의 검출을 위한 이미지 캡처 데이터의 분석은 컴퓨팅 디바이스, 예를 들어 위에서 설명한 컴퓨팅 디바이스의 프로세서(350)의 객체 인식 모듈 및/또는 패턴 인식 모듈에 의해 수행될 수 있다. 일부 예에서, 키포인트 및/또는 피처 및/또는 랜드마크의 검출은 전술한 바와 같이 컴퓨팅 디바이스(300)와 통신하는 외부 리소스(302)에 포함된 서버의 객체 인식 모듈 및/또는 패턴 인식 모듈과 같은 외부 디바이스에 의해 수행될 수 있다.

피팅 프레임의 3차원 포즈를 포함하는 디스플레이 핏 측정치는 피팅 프레임의 구성에 대해 검출된 키포인트 및/또는 피처 및/또는 랜드마크의 포지션에 기초하여 결정될 수 있다(블록 840). 필요하다면(블록 850), 안과적 핏 측정치는 교정/처방 렌즈가 헤드 마운트 웨어러블 컴퓨팅 디바이스에 통합되도록 요구하는 사용자에 대해 이미지 데이터와 디스플레이 핏 측정치로부터 검출될 수 있다(블록 860, 870 및 880). 일부 예에서, 디스플레이 핏 측정치 및/또는 안과적 핏 측정치를 결정하기 위한 분석은 컴퓨팅 디바이스(예를 들어, 위에서 설명된 컴퓨팅 디바이스(300)의 프로세서(350)의 구성 식별 모듈과 같은)에 의해 수행될 수 있다. 일부 예에서, 디스플레이 핏 측정치 및/또는 안과적 핏 측정치를 결정하기 위한 분석은 외부 컴퓨팅 디바이스(상술한 컴퓨팅 디바이스(300)와 통신하는 외부 리소스(302)에 포함된 서버의 구성 식별 모듈과 같은)에 의해 수행될 수 있다. 안과적 핏 측정치와 디스플레이 핏 측정치는 사용자의 광학적 요구에 맞춰진 시청 경험을 제공하기 위해 사용자를 위한 헤드 마운트 웨어러블 컴퓨팅 디바이스에 통합될 수 있다.

도 9는 본 명세서에 기술된 기법들과 사용될 수 있는 컴퓨팅 디바이스(900)와 모바일 컴퓨터 디바이스(950)의 예시를 도시한다. 컴퓨팅 디바이스(900)는 랩톱, 데스크톱, 태블릿, 워크 스테이션, 개인 휴대 정보 단말기, 스마트 디바이스, 가전, 전자 센서 기반 디바이스, 텔레비전, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨팅 디바이스와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 컴퓨팅 디바이스(950)는 개인 휴대 정보 단말기, 셀룰러 전화기, 스마트폰 및 다른 유사한 컴퓨팅 디바이스들과 같은 다양한 형태의 모바일 디바이스들을 나타내기 위한 것이다. 여기에 도시된 컴포넌트들, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것을 의미하며, 본 명세서에 기술된 및/또는 청구된 발명의 구현을 제한하는 것을 의미하지는 않는다.

컴퓨팅 디바이스(900)는 프로세서(902), 메모리(904), 저장 디바이스(906), 메모리(904) 및 고속 확장 포트(910)에 연결되는 고속 인터페이스(908) 및 저속 버스(914) 및 저장 디바이스(906)에 연결되는 저속 인터페이스(912)를 포함한다. 프로세서(902)는 반도체 기반 프로세서일 수 있다. 메모리(904)는 반도체 기반 메모리일 수 있다. 컴포넌트들(902, 904, 906, 908, 910 및 912) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(902)는 메모리(904) 또는 저장 디바이스(906)에 저장된 명령어들을 포함하는, 컴퓨팅 디바이스(900) 내에서 실행하기 위한 명령어들을 프로세싱하여, 고속 인터페이스(908)에 연결된 디스플레이(916)와 같은 외부 입/출력 디바이스상에 GUI에 대한 그래픽 정보를 디스플레이할 수 있다. 다른 구현예에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 다수의 유형의 메모리와 함께, 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(900)은 필요한 동작의 부분들을 제공하는 각 디바이스와 연결될 수 있다(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템).

메모리(904)는 컴퓨팅 디바이스(900) 내에 정보를 저장한다. 일 구현예에서, 메모리(904)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현예에서, 메모리(904)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(904)는 자기 또는 광학 디스크와 같은 컴퓨터 판독가능 매체의 다른 형태일 수 있다. 일반적으로, 컴퓨터 판독가능 매체는 비일시적 컴퓨터 판독가능 매체일 수 있다.

저장 디바이스(906)는 컴퓨팅 디바이스(900)에 대한 대형 스토리지를 제공할 수 있다. 일 구현예에서, 저장 디바이스(906)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이와 같은 컴퓨터 판독가능 매체이거나 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법 및/또는 컴퓨터로 구현되는 방법을 수행하는 명령어들을 포함할 수 있다. 정보 캐리어는 메모리(904), 저장 디바이스(906) 또는 프로세서(902)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.

고속 제어기(908)는 컴퓨팅 디바이스(900)에 대한 대역폭 집중 동작들을 관리하는 반면, 저속 제어기(912)는 낮은 대역폭 집중 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적인 것이다. 일 구현예에서, 고속 제어기(908)는 메모리(904), 디스플레이(916)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(910)에 연결된다. 구현예에서, 저속 제어기(912)는 저장 디바이스(906) 및 저속 확장 포트(914)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스 또는 예를 들어 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 결합될 수 있다.

컴퓨팅 디바이스(900)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 그것은 표준 서버(920)로서 또는 그러한 서버들의 그룹에서 다수로 구현될 수 있다. 또한, 랙 서버 시스템(924)의 일부로서 구현될 수 있다. 또한, 랩톱 컴퓨터(922)와 같은 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(900)로부터의 컴포넌트들은 디바이스(950)와 같은 모바일 디바이스(도시되지 않음) 내의 다른 컴포넌트들과 결합될 수 있다. 상기 디바이스들 각각은 컴퓨팅 디바이스(900, 950) 중 하나 이상을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(900, 950)로 구성될 수 있다.

컴퓨팅 디바이스(950)는 다른 여러 컴포넌트들 중에서도 특히, 프로세서(952), 메모리(964), 디스플레이(954)와 같은 입/출력 디바이스, 통신 인터페이스(966) 및 송수신기(968)를 포함한다. 디바이스(950)에는 또한 추가적 저장을 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 컴포넌트들(950, 952, 964, 954, 966 및 968) 각각은 다양한 버스들을 사용하여 상호 연결되고, 몇몇 컴포넌트들은 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다.

프로세서(952)는 메모리(964)에 저장된 명령어들을 포함하는 컴퓨팅 디바이스(950) 내의 명령어들을 실행할 수 있다. 프로세서는 별개의 그리고 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스들, 디바이스(950)에 의해 실행되는 애플리케이션 및 디바이스(950)에 의한 무선 통신과 같은 디바이스(950)의 다른 컴포넌트들의 조정을 제공할 수 있다.

프로세서(952)는 제어 인터페이스(958) 및 디스플레이(954)에 연결된 디스플레이 인터페이스(956)를 통해 사용자와 통신할 수 있다. 디스플레이(954)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED(유기 발광 다이오드) 디스플레이 또는 다른 적절한 디스플레이 기술을 포함할 수 있다. 디스플레이 인터페이스(956)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(954)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(958)는 사용자로부터 명령을 수신하고, 프로세서(952)에 제출하기 위해 그들을 변환할 수 있다. 추가로, 외부 인터페이스(962)는 프로세서(952)와의 통신에 제공되어 다른 디바이스들과 디바이스(950)의 근거리 통신을 가능하게 할 수 있다. 외부 인터페이스(962)는 예를 들면, 일부 구현예들에서는 유선 통신을 위해 또는 다른 구현예들에서는 무선 통신을 위해 제공될 수 있고, 다수의 인터페이스들도 사용될 수 있다.

메모리(964)는 컴퓨팅 디바이스(950) 내에 정보를 저장한다. 메모리(964)는 컴퓨터 판독가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로 구현될 수 있다. 또한 확장 메모리(984)는 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(982)를 통해 디바이스(950)에 제공되고 접속될 수 있다. 상기 확장 메모리(984)는 디바이스(950)에 대해 추가 저장 공간을 제공할 수 있거나, 또는 애플리케이션들 또는 디바이스(950)에 대한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(984)는 전술한 프로세스들을 수행하거나 보충하는 명령어들을 포함할 수 있으며, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들면, 확장 메모리(984)는 디바이스(950)에 대한 보안 모듈로서 제공될 수 있고, 디바이스(950)의 보안 사용을 허용하는 명령어들로 프로그래밍될 수 있다. 또한, 보안 어플리케이션들은 SIMM 카드 상의 식별 정보를 해킹할 수 없는 방식으로 배치하는 것과 같이, SIMM 카드들을 통해 추가 정보와 함께 제공될 수 있다.

메모리는 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록된다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함한다. 정보 캐리어는 예를 들어 송수신기(968) 또는 외부 인터페이스(962)를 통해 수신될 수 있는 메모리(964), 확장 메모리(984) 또는 프로세서(952)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.

디바이스(950)는 필요에 따라 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(966)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(966)는 다른 것들 중에서도 GSM 보이스 콜들, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서의 통신을 위해 제공될 수 있다. 이러한 통신은 예를 들어, 무선 주파수 송수신기(968)를 통해 발생될 수 있다. 추가로, 블루투스, 저전력, 블루투스, Wi-Fi 또는 다른 트랜시버(도시되지 않음)를 사용하는 것과 같은 단거리 통신이 발생될 수 있다. 추가로, GPS(Global Positioning System) 수신기 모듈(980)은 디바이스(950)상에서 실행되는 애플리케이션들에 의해 적절히 사용될 수 있는 추가적인 네비게이션 및 위치 관련 무선 데이터를 디바이스(950)에 제공할 수 있다.

디바이스(950)는 또한 사용자로부터 발화된 정보를 수신하고 그것을 이용가능한 디지털 정보로 변환할 수 있는 오디오 코덱(960)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(960)은 마찬가지로, 예를 들어 디바이스(950)의 핸드셋 내의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 보이스 전화 콜들로부터의 사운드 포함할 수 있고, 기록된 사운드(예를 들어, 음성 메시지, 음악 파일 등)를 포함할 수 있고, 또한 디바이스(950)상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.

컴퓨팅 디바이스(950)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들면, 그것은 셀룰러 전화(983)로서 구현될 수 있다. 또한 스마트폰(981), 개인 휴대 정보 단말기(PDA), 또는 다른 유사한 이동 디바이스의 일부로서 구현될 수 있다.

본 명세서에 기술된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 회로, 집적 회로, 특수하게 설계된 ASIC들(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이들 다양한 구현예들은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 인터프리트가능한 하나 이상의 컴퓨터 프로그램들에서의 구현예를 포함할 수 있고, 이는 전용 또는 범용일 수 있고, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고 그에 데이터 및 명령어들을 전송하기 위해 연결될 수 있다.

이들 컴퓨터 프로그램(모듈, 프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려짐)은 프로그래머블 프로세서에 대한 기계 명령어들을 포함하며, 하이레벨 절차어 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계어에서 구현될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "기계 판독가능 매체", "컴퓨터 판독가능 매체"는 기계 판독가능 신호로서 기계 명령어들을 수신하는 기계 판독가능 매체를 포함하여, 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 물, 디바이스 및/또는 디바이스 예를 들어, 자기 디스크, 광학 디스크, 메모리, 프로그래머블 로직 디바이스(PLD)를 지칭한다. 용어 "기계 판독가능 신호"는 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.

사용자와의 인터렉션을 제공하기 위해, 본 명세서에서 기술된 시스템들 및 기법들은 사용자에게 정보를 디스플레이하기 위해 디스플레이 디바이스(예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 또는 LED(light emitting diode)) 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들이 사용자와의 인터렉션을 제공하기 위해 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각적 피드백(예: 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.

본 명세서에서 기술된 시스템들 및 기법들은 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 애플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 시스템들 및 기법들의 구현예와 인터렉션할 수 있는 웹 브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예시들은 LAN(local area network), WAN(wide area network) 및 인터넷을 포함한다.

컴퓨팅 시스템은 사용자들 및 서버들을 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다.

일부 실시예에서, 도 9에 도시된 컴퓨팅 디바이스는 AR/VR 헤드셋(VR 안경/안경/VR 헤드셋/AR 헤드셋/HMD 디바이스(990))과 인터페이싱하는 센서를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(950) 또는 도 9에 도시된 다른 컴퓨팅 디바이스에 포함된 하나 이상의 센서는 AR/VR 헤드셋(990)에 입력을 제공하거나 일반적으로 AR/VR 공간에 입력을 제공할 수 있다. 센서는 터치 스크린, 가속도계, 자이로스코프, 압력 센서, 생체 센서, 온도 센서, 습도 센서 및 주변광 센서를 포함할 수 있지만 이에 제한되지 않는다. 컴퓨팅 디바이스(950)는 AR/VR 공간으로의 입력으로서 사용될 수 있는 AR/VR 공간 내의 컴퓨팅 디바이스의 절대 위치 및/또는 검출된 회전을 결정하기 위해 센서들을 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스(950)는 제어기, 레이저 포인터, 키보드, 무기 등과 같은 가상 오브젝트로서 AR/VR 공간에 통합될 수 있다. AR/VR 공간에 통합된 경우 사용자에 의한 컴퓨팅 디바이스/가상 오브젝트의 위치는 사용자로 하여금 컴퓨팅 디바이스를 위치시켜 AR/VR 공간에서 특정 방식으로 가상 오브젝트를 보게 한다.

일부 실시예에서, 컴퓨팅 디바이스(950)에 포함되거나 연결되는 하나 이상의 입력 디바이스들이 AR/VR 공간에 대한 입력으로 사용될 수 있다. 입력 디바이스들은 터치 스크린, 키보드, 하나 이상의 버튼들, 트랙 패드, 터치 패드, 포인팅 디바이스, 마우스, 트랙볼, 조이스틱, 카메라, 마이크로폰, 이어폰 또는 입력 기능이 있는 버드, 게임 컨트롤러 또는 기타 연결 가능한 입력 디바이스들을 포함할 수 있으며, 이제 한정되지 않는다. 컴퓨팅 디바이스가 AR/VR 공간에 통합될 때 컴퓨팅 디바이스(950)에 포함된 입력 디바이스와 인터렉션하는 사용자는 특정한 액션이 AR/VR 공간에서 발생하도록 할 수 있다.

일부 실시예에서, 컴퓨팅 디바이스(950)에 포함된 하나 이상의 출력 디바이스들은 AR/VR 공간에서 AR/VR 헤드셋(990)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각적, 촉각적 또는 청각적일 수 있다. 출력 및/또는 피드백은 AR/VR 공간 또는 가상 환경 렌더링, 진동, 하나 이상의 조명 또는 스트로브의 켜고 끄기 또는 깜박임 및/또는 플래시, 알람 울리기, 차임을 치는 것, 노래 연주 및 오디오 파일의 재생 등을 포함할 수 있으며, 이에 한정되지 않는다. 출력 디바이스들은 진동 모터, 진동 코일, 압전 디바이스, 정전기 디바이스, 발광 다이오드(LED), 스트로브 및 스피커를 포함할 수 있으며, 이제 한정되지 않는다.

일부 실시예에서, 컴퓨팅 디바이스(950)는 AR/VR 시스템을 생성하기 위해 AR/VR 헤드셋(990) 내에 배치될 수 있다. AR/VR 헤드셋(990)은 AR/VR 헤드셋(990) 내의 적절한 위치에 스마트폰(981)과 같은 컴퓨팅 디바이스(950)의 배치를 허용하는 하나 이상의 포지셔닝 엘리먼트들을 포함할 수 있다. 이러한 실시예에서, 스마트폰(981)의 디스플레이는 AR/VR 공간 또는 가상 환경을 나타내는 입체 이미지를 렌더링할 수 있다.

일부 실시예에서, 컴퓨팅 디바이스(950)는 컴퓨터 생성 3D 환경에서 다른 오브젝트로서 표시될 수 있다. 사용자에 의한 컴퓨팅 디바이스(950)와의 인터렉션들(예를 들어, 회전, 흔들기, 터치스크린 터치, 터치 스크린을 가로지르는 손가락 스와이핑)은 AR/VR 공간에서 오브젝트와의 인터렉션들로서 해석될 수 있다. 단지 하나의 예로서, 컴퓨팅 디바이스는 레이저 포인터일 수 있다. 이러한 예에서, 컴퓨팅 디바이스(950)는 컴퓨터 생성 3D 환경에서 가상 레이저 포인터로 보여진다. 사용자가 컴퓨팅 디바이스(950)를 조작함에 따라, AR/VR 공간에서의 사용자는 레이저 포인터의 움직임을 보게된다. 사용자는 컴퓨팅 디바이스(950)상의 AR/VR 환경 또는 AR/VR 헤드셋(990)상의 컴퓨팅 디바이스(950)와의 인터렉션들로부터 피드백을 수신한다.

일부 실시예에서, 컴퓨팅 디바이스(950)는 터치스크린을 포함할 수 있다. 예를 들어, 사용자는 터치스크린에서 일어나는 일을 AR/VR 공간에서 일어나는 일처럼 보이게하는 특정한 방식으로 터치스크린과 인터렉션할 수 있다. 예를 들어, 사용자는 터치스크린에 디스플레이된 콘텐츠를 확대하기 위해 핀칭-유형 모션을 사용할 수 있다. 터치스크린 상의 상기 핀칭-유형 모션은 AR/VR 공간에 제공된 정보가 확대되도록 할 수 있다. 일부 구현예에서, 컴퓨팅 디바이스는 컴퓨터로 생성된 3D 환경에서 가상 책으로서 렌더링될 수 있다. AR/VR 공간에서 책의 페이지는 AR/VR 공간에 디스플레이될 수 있고, 터치스크린을 통해 사용자의 손가락을 스와이핑하는 것은 가상 책의 페이지를 넘기거나 뒤집는 것으로 해석될 수 있다. 각 페이지가 넘김/뒤집힘에 따라, 페이지 콘텐츠가 변화를 볼 수 있음에 더하여, 책에 페이지를 넘기는 소리와 같은 오디오 피드백이 사용자에게 제공될 수 있다.

일부 실시예에서, 컴퓨팅 디바이스(예를 들어, 마우스, 키보드)에 더하여 하나 이상의 입력 디바이스들이 컴퓨터로 생성된 3D 환경에서 렌더링 될 수 있다. 렌더링된 입력 디바이스(예 : 렌더링된 마우스, 렌더링된 키보드)는 AR/VR 공간에서 렌더링된 대로 사용되어 AR/VR 공간의 오브젝트들을 제어할 수 있다.

다수의 실시예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 본 발명의 정신과 범위로부터 벗어나지 않고 이루어질 수 있다는 것이 이해될 것이다.

추가로, 도면들에 도시된 논리 흐름들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 추가로, 다른 단계들이 제공될 수 있거나, 단계들이 기술된 흐름으로부터 생략될 수 있고, 다른 컴포넌트들이 기술된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서, 다른 실시예들도 다음의 청구항들의 범위 내에 있다.

상기 기술에 더하여, 사용자가 본 명세서에 기술된 시스템들, 프로그램들, 디바이스들, 네트워크들 또는 구성들이 사용자 정보의 수집(예를 들어, 사용자의 소셜 네트워크에 관한 정보, 사회적 액션들 또는 활동들, 직업, 사용자의 선호들 또는 사용자의 현재 위치)을 하는 경우 및 콘텐츠 또는 서버로부터 통신에 사용자가 전송되는 경우에 관한 선택을 하게 하는 제어들이 사용자에게 제공된다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 사용자 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 사용자 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 어떤 정보가 수집될지, 정보가 어떻게 사용될지, 그리고 어떤 정보가 사용자에게 제공될지에 관한 제어를 가질 수 있다.

컴퓨터 시스템(예: 컴퓨팅 디바이스)은 무선 주파수(RF), 마이크로파 주파수(MWF), 및/또는 적외선 주파수(IRF) 무선 통신 기술 및 네트워크를 통한 통신에 적합한 프로토콜을 포함하는 임의의 알려진 무선 통신 기술 및 프로토콜을 사용하여, 네트워크 서버와 설정된 통신 링크를 통해 네트워크를 통해 네트워크 서버와 무선으로 통신하도록 구성될 수 있다.

본 명세서의 양태에 따라, 본 명세서에 기술된 다양한 기법의 구현예는 디지털 전자 회로에서 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에서 구현될 수 있다. 구현예는 데이터 프로세싱 장치(예: 프로그래머블 프로세서, 컴퓨터 또는 다수의 컴퓨터)에 의해 프로세싱하거나 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 프로그램 물(예: 정보 캐리어에 유형적으로 수록된 컴퓨터 프로그램, 기계 판독가능 저장 디바이스, 컴퓨터 판독가능 매체, 유형적 컴퓨터 판독가능 매체)로서 구현될 수 있다. 일부 구현예에서, 유형적 컴퓨터 판독가능 저장 매체는 실행될 때 프로세서로 하여금 프로세스를 수행하게 하는 명령어를 저장하도록 구성될 수 있다. 상기 기술된 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어를 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴으로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에서 또는 다수의 사이트에 걸쳐서 분산되어 있고 통신 네트워크에 의해 상호연결된 다수의 컴퓨터에서 프로세싱되도록 배포될 수 있다.

본 명세서에 개시된 특정 구조적 및 기능적 세부사항은 예시적 실시예를 설명하기 위한 목적으로만 대표된다. 그러나, 예시적 실시예는 많은 대안적인 형태로 구현될 수 있으며, 여기에서 설명하는 실시예로만 제한되는 것으로 해석되어서는 안 된다.

본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 다르게 나타내지 않는 한 복수 형태도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 "comprises", "comprising", "includes" 및/또는 "including"이라는 용어는 명시된 구성, 단계, 동작, 엘리먼트 및/또는 컴포넌트를 포함하지만, 하나 이상의 다른 구성, 단계, 동작, 엘리먼트, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다.

또한, 엘리먼트가 다른 엘리먼트 상에 "결합", "연결"되거나 또는 다른 엘리먼트에 "응답"하거나 또는 다른 엘리먼트 "상에" 존재하는 것으로 언급되는 경우, 엘리먼트는 다른 엘리먼트에 직접 결합, 연결되거나 그에 응답하거나 그 위에 존재하거나 또는 중간 엘리먼트들이 존재할 수 있다는 것이 이해될 것이다. 대조적으로, 엘리먼트가 다른 엘리먼트에 "직접 결합", "직접 연결" 또는 "직접 응답" 또는 "바로 위"에 존재하는 것으로 언급되는 경우, 중간 엘리먼트가 존재하지 않을 수 있다. 본 명세서에 사용된 바와 같이, "및/또는"이라는 용어는 연관된 나열된 아이템 중 하나 이상의 임의의 그리고 모든 조합을 포함한다.

"beneath", "below", "lower", "above", "upper" 등과 같은 공간적으로 상대적인 용어는 도면에 도시된 다른 엘리먼트(들) 또는 구성(들)과 관련하여 하나의 엘리먼트 또는 구성을 설명하기 위한 설명의 편의를 위해 본 명세서에서 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시된 배향에 추가하여 사용 또는 동작 중인 디바이스의 다른 배향을 포함하도록 의도된 것으로 이해될 것이다. 예를 들어, 도면의 디바이스가 뒤집힌 경우 다른 엘리먼트 또는 구성 "아래(below)" 또는 "아래(beneath)"로 설명된 엘리먼트는 다른 엘리먼트 또는 구성 "위(above)"를 배향한다. 따라서 "아래(below)"라는 용어는 위와 아래의 배향을 모두 포함할 수 있다. 디바이스는 다르게 배향될 수 있으며(70도 또는 다른 배향으로 회전), 본 명세서에서 사용된 공간적으로 상대적인 기술자는 그에 따라 해석될 수 있다.

개념의 예시적 실시예는 예시적 실시예의 이상적인 실시예(및 중간 구조)의 개략도인 도시인 단면도를 참조하여 본 명세서에 설명된다. 이와 같이, 예를 들어 제조 기법 및/또는 허용 오차의 결과로서 예시의 형상으로부터의 변형이 예상된다. 따라서, 설명된 개념의 예시적 실시예는 본 명세서에 예시된 영역의 특정 형상으로 제한되는 것으로 해석되어서는 안 되며, 예를 들어 제조로부터 초래되는 형상의 편차를 포함해야 한다. 따라서, 도면에 도시된 영역은 본질적으로 도식적이며, 그 형상은 디바이스의 영역의 실제 형상을 예시하기 위한 것이 아니며, 예시적 실시예의 범위를 제한하기 위한 것이 아니다.

"제1", "제2" 등의 용어가 다양한 엘리먼트를 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 엘리먼트는 이러한 용어에 의해 제한되어서는 안 된다는 것이 이해될 것이다. 이러한 용어는 한 엘리먼트를 다른 엘리먼트와 구별하는데만 사용된다. 따라서, 현재 실시예의 교시를 벗어나지 않으면서 "제1" 엘리먼트는 "제2" 엘리먼트로 명명될 수 있다.

다르게 정의되지 않는 한, 본 명세서에서 사용되는 용어(기술적, 과학적 용어 포함)는 해당 개념이 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어는 관련 기술 및/또는 본 명세서의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며 본 명세서에 명시적으로 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로 해석되지 않을 것임을 이해해야 한다.

기술된 구현예의 특정 구성들이 본 명세서에 기술된 바와 같이 설명되었지만, 많은 수정, 대체, 변경 및 균등물이 통상의 기술자로 인해 발생할 것이다. 그러므로, 첨부된 청구범위는 구현의 범위 내에 있는 그러한 수정 및 변경을 포함하도록 의도된 것으로 이해되어야 한다. 이들 실시예는 제한적인 것이 아닌 예시일 뿐이며, 형태 및 세부사항의 다양한 변경이 이루어질 수 있음이 이해되어야 한다. 본 명세서에 기술된 장치 및/또는 방법의 임의의 부분은 상호 배타적인 조합을 제외하고는 임의의 조합으로 결합될 수 있다. 본 명세서에 기술된 구현예들은 기재된 다른 구현예들의 기능, 컴포넌트 및/또는 구성들의 다양한 조합 및/또는 서브 조합을 포함할 수 있다.

Claims (20)

1. 방법으로서,
   컴퓨팅 디바이스에서 실행되는 애플리케이션에 의해, 컴퓨팅 디바이스에 의해 캡처된 이미지로부터 사용자가 착용한 피팅 프레임의 적어도 하나의 피처를 검출하는 단계;
   상기 이미지에서 검출된 피팅 프레임과 연관된 구성 정보에 액세스하는 단계;
   상기 적어도 하나의 피처 검출 및 상기 피팅 프레임과 연관된 구성 정보에 기초하여, 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈를 결정하는 단계; 및
   상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 단계를 포함하는, 방법.
2. 청구항 1에 있어서, 상기 적어도 하나의 피처를 검출하는 단계는 다음 중 적어도 하나를 검출하는 단계를 포함하는, 방법.
   상기 피팅 프레임의 브릿지 부분;
   상기 피팅 프레임의 림 부분과 암 부분 사이의 힌지점;
   상기 피팅 프레임의 렌즈 주변 가장자리 부분; 또는
   상기 피팅 프레임의 암 부분 중 안장 부분.
3. 청구항 1 또는 2에 있어서, 상기 피팅 프레임의 3차원 포즈를 결정하는 단계는:
   상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 모델에 액세스하는 단계; 및
   상기 이미지에서 검출된 적어도 하나의 피처의 알려진 포지션 및 알려진 배향을 상기 피팅 프레임의 3차원 모델에서 상기 적어도 하나의 피처의 대응 포지션 및 대응 배향과 비교하는 것을 포함하는, 비교를 수행하는 단계를 포함하는, 방법.
4. 청구항 3에 있어서,
   상기 적어도 하나의 피처를 검출하는 단계는 상기 컴퓨팅 디바이스에 의해 캡처된 이미지에서 상기 피팅 프레임에 대한 복수의 피처들을 검출하는 것을 포함하고; 그리고
   상기 비교를 수행하는 단계는, 상기 복수의 피처들 각각에 대해, 상기 이미지에서 검출된 피처의 알려진 포지션 및 알려진 배향을 상기 피팅 프레임의 3차원 모델에서 상기 피처의 대응 포지션 및 대응 배향과 비교하는 것을 포함하는, 방법.
5. 청구항 4에 있어서, 상기 피팅 프레임의 3차원 포즈를 결정하는 단계는 상기 이미지에서 검출된 각 피처의 2차원 포지션과 상기 피팅 프레임의 상기 3차원 모델에서 각 피처의 대응하는 3차원 포지션 사이의 대응을 수행하는 단계를 포함하는, 방법.
6. 임의의 선행하는 청구항 중 어느 한 항에 있어서,
   상기 캡처된 이미지에서 복수의 얼굴 랜드마크들을 검출하는 단계; 및
   상기 검출된 복수의 얼굴 랜드마크들에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 안과적 핏 측정치를 결정하는 단계를 더 포함하는, 방법.
7. 청구항 6에 있어서, 상기 복수의 얼굴 랜드마크들을 검출하는 단계는:
   상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 높이를 검출하는 단계;
   상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 사이의 거리 또는 단안 동공 거리 중 적어도 하나를 검출하는 단계; 및
   상기 결정된 피팅 프레임의 3차원 포즈와 상기 검출된 복수의 얼굴 랜드마크들에 기초하여 상기 사용자가 착용한 피팅 프레임의 전경각(pantoscopic angle)를 결정하는 단계를 포함하는, 방법.
8. 청구항 6 또는 청구항 7에 있어서, 상기 이미지에서 캡처된 피팅 프레임의 3차원 포즈에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 단계는 상기 안과적 핏 측정치를 수용하기 위해 상기 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 조정하는 단계를 포함하는, 방법.
9. 청구항 8에 있어서, 상기 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하는 단계는:
   상기 안과적 핏 측정치와 상기 피팅 프레임의 3차원 포즈에 기초하여 사용자 시야를 결정하는 단계; 및
   상기 디스플레이 디바이스에 의해 출력되는 콘텐츠가 상기 결정된 시야 내에 디스플레이되도록 상기 디스플레이 디바이스의 출력 커플러를 구성하는 단계를 포함하는, 방법.
10. 청구항 1에 있어서, 상기 피팅 프레임과 연관된 구성 정보에 액세스하는 단계는 상기 피팅 프레임의 3차원 모델에 액세스하는 단계를 포함하는, 방법.
11. 청구항 10에 있어서, 상기 피팅 프레임의 3차원 모델은 알려진 선형 측정치, 알려진 각도 측정치 또는 상기 피팅 프레임과 연관된 알려진 윤곽 중 적어도 하나를 포함하는, 방법.
12. 청구항 10 또는 11에 있어서, 상기 피팅 프레임의 3차원 포즈를 결정하는 단계는:
    상기 피팅 프레임의 3차원 모델에서 대응하는 적어도 하나의 피처를 검출하는 단계; 및
    상기 이미지에서 검출된 적어도 하나의 피처와 상기 피팅 프레임의 3차원 모델에서 검출된 대응하는 적어도 하나의 피처의 비교에 기초하여 상기 피팅 프레임의 3차원 포즈를 검출하는 단계를 포함하는, 방법.
13. 실행가능한 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    사용자가 착용한 피팅 프레임의 이미지를 캡처하고;
    상기 캡처된 이미지로부터 상기 피팅 프레임에 대한 적어도 하나의 피처를 검출하고;
    상기 피팅 프레임과 연관된 구성 정보에 액세스하고;
    상기 적어도 하나의 피처 검출 및 상기 피팅 프레임과 연관된 구성 정보에 기초하여, 상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈를 결정하고; 그리고
    상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 포즈에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 결정하게 하도록 구성되는, 비일시적 컴퓨터 판독가능 매체.
14. 청구항 13에 있어서, 상기 캡처된 이미지로부터 상기 피팅 프레임에 대한 적어도 하나의 피처를 검출하는 것은:
    상기 피팅 프레임의 브릿지 부분을 포함하는 제1 피처를 검출하는 것;
    상기 피팅 프레임의 림 부분과 암 부분 사이의 힌지점을 포함하는 제2 피처를 검출하는 것;
    상기 피팅 프레임의 렌즈 주변 가장자리 부분을 포함하는 제3 피처를 검출하는 것; 또는
    상기 피팅 프레임의 암 부분 중 안장 부분을 포함하는 제4 피처를 검출하는 것 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 매체.
15. 청구항 13 또는 14에 있어서, 상기 피팅 프레임의 3차원 포즈를 결정하는 것은:
    상기 이미지에서 캡처된 상기 피팅 프레임의 3차원 모델에 액세스하는 것; 및
    상기 이미지에서 검출된 적어도 하나의 피처의 알려진 포지션 및 알려진 배향을 상기 피팅 프레임의 3차원 모델에서 상기 적어도 하나의 피처의 대응 포지션 및 대응 배향과 비교를 수행하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
16. 청구항 15에 있어서, 복수의 피처들을 검출하고, 상기 비교를 수행하는 것은, 상기 복수의 피처들 각각에 대해:
    상기 이미지에서 검출된 피처의 알려진 포지션 및 알려진 배향을 상기 피팅 프레임의 3차원 모델에서 상기 피처의 대응 포지션 및 대응 배향과 비교하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
17. 청구항 16에 있어서, 상기 3차원 포즈를 결정하는 것은:
    상기 이미지에서 검출된 각 피처의 2차원 포지션과 상기 피팅 프레임의 상기 3차원 모델에서 각 피처의 대응하는 3차원 포지션 사이의 대응을 수행하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
18. 청구항 13 내지 17 중 어느 한 항에 있어서, 상기 명령어는 상기 적어도 하나의 프로세서로 하여금 추가로:
    상기 캡처된 이미지에서 복수의 얼굴 랜드마크들을 검출하고; 그리고
    상기 검출된 복수의 얼굴 랜드마크들에 기초하여 헤드 마운트 웨어러블 컴퓨팅 디바이스에 대한 안과적 핏 측정치를 결정하게 하는, 비일시적 컴퓨터 판독가능 매체.
19. 청구항 18에 있어서, 상기 복수의 얼굴 랜드마크들을 검출하는 것은:
    상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 높이를 검출하는 것;
    상기 사용자가 착용한 피팅 프레임의 이미지에서 동공 사이의 거리 또는 단안 동공 거리 중 적어도 하나를 검출하는 것; 및
    상기 결정된 피팅 프레임의 3차원 포즈와 상기 검출된 복수의 얼굴 랜드마크들에 기초하여 상기 사용자가 착용한 피팅 프레임의 전경각(pantoscopic angle)를 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
20. 청구항 18 또는 19에 있어서, 상기 명령어는 상기 적어도 하나의 프로세서로 하여금 상기 안과적 핏 측정치를 수용하기 위해 상기 헤드 마운트 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스의 구성을 조정하게 하고, 상기 조정은:
    상기 안과적 핏 측정치와 상기 피팅 프레임의 3차원 포즈에 기초하여 사용자 시야를 결정하는 것; 및
    상기 디스플레이 디바이스에 의해 출력되는 콘텐츠가 상기 결정된 시야 내에 디스플레이되도록 상기 디스플레이 디바이스의 출력 커플러를 구성하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.