KR20240011791A - 웨어러블 컴퓨팅 디바이스의 이미지 기반 피팅 - Google Patents

Abstract

알려진 스케일을 갖는 알려진 기준 디바이스를 포함하여, 사용자 머리의 이미지 데이터에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 크기를 결정하고 피팅하기 위한 시스템 및 방법이 제공된다. 시스템 및 방법은 머리 장착형 웨어러블 컴퓨팅 디바이스에 맞춰질 사용자의 얼굴을 포함하는 이미지 데이터를 캡처하는 단계를 포함할 수 있다. 알려진 스케일을 갖는 알려진 기준 디바이스는 스케일링 인자를 결정하기 위해 이미지 데이터에서 검출된 특징과 비교된다. 스케일링 인자는 이미지 데이터에서 검출된 얼굴 특징의 크기를 결정하거나 측정치를 할당하는데 사용된다. 캡처된 이미지 데이터로부터 사용자 머리의 3차원 모델이 생성될 수 있다.

Description

웨어러블 컴퓨팅 디바이스의 이미지 기반 피팅

본 출원은 2021년 7월 15일에 출원된 미국 출원 번호 17/305,834의 계속 출원으로 그의 이익을 주장하며, 이 출원의 개시 내용은 그 전체가 참조로 본 명세서에 포함된다.

본 설명은 일반적으로 이미지 데이터로부터 웨어러블 디바이스를 피팅하는 것에 관한 것으로, 특히 이미지 데이터에서 알려진 스케일을 갖는 알려진 기준 디바이스의 검출에 기초하여 웨어러블 디바이스를 피팅하는 것에 관한 것이다.

웨어러블 디바이스에는 머리 착용 디바이스(예를 들어, 스마트 안경, 헤드셋, 이어폰 등), 손목 및/또는 손 착용 디바이스(스마트 시계, 스마트 팔찌, 스마트 반지 등), 스마트 펜던트, 피트니스 트래커, 카메라, 신체 센서, 및 기타 이러한 디바이스가 포함될 수 있다. 일부 예에서, 사용자는 핏(fit, 적합성) 및/또는 기능을 위해 웨어러블 디바이스를 선택 및/또는 맞춤화하기를 원할 수 있다. 예를 들어, 사용자는 안경 프레임 선택, 처방 렌즈 통합 및 기타 기능을 포함하도록 스마트 안경을 선택 및/또는 맞춤화하기를 원할 수 있다. 이러한 유형의 웨어러블 디바이스 조달을 위한 기존 시스템은 특히 소매점에 접근하지 않고는 정확한 피팅 및 맞춤화를 제공하지 않는다.

하나의 일반적인 양태에서, 디스플레이 디바이스를 포함하는 머리 장착형 웨어러블 컴퓨팅 디바이스를 피팅하는 컴퓨터 구현 방법은 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해, 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계와; 애플리케이션을 통해, 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터를 수신하는 단계 - 이미지 데이터에는 사용자의 머리 및 알려진 기준 디바이스가 포함됨 - 와; 수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하는 단계와; 이미지 데이터 내의 알려진 기준 디바이스와 스케일을 연관시키는 단계와; 수신된 이미지 데이터에서 사용자의 머리의 복수의 특징을 검출하는 단계와; 이미지 데이터 내의 알려진 기준 디바이스와 연관된 스케일에 기초하여 사용자의 머리의 검출된 복수의 특징에 대한 각각의 복수의 측정치를 결정하는 단계와; 사용자 머리의 복수의 특징에 대한 복수의 측정치에 기초하여 사용자 머리의 3차원 모델을 생성하는 단계 - 머리의 복수의 특징에 대한 복수의 측정치는 알려진 기준 디바이스와 연관된 스케일에 기초함 - 와; 그리고 시뮬레이션 엔진으로부터, 사용자 머리의 3차원 모델에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 수신하는 단계를 포함한다.

일부 구현에서, 알려진 기준 디바이스는 적어도 하나의 알려진 물리적 특징을 포함하는 웨어러블 디바이스이다. 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계는 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 적어도 하나의 알려진 물리적 특징을 검출하는 단계와; 그리고 알려진 측정치를 검출된 적어도 하나의 알려진 물리적 특징과 연관시키는 단계를 포함할 수 있다.

일부 구현에서, 알려진 기준 디바이스는 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 사용자에 의해 착용된 웨어러블 디바이스이다. 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계는 웨어러블 디바이스의 프레임의 렌즈 부분의 폭에 대응하는 제1 측정치를 수신하는 단계와; 프레임의 브릿지부의 폭에 대응하는 제2 측정치를 수신하는 단계 - 프레임의 전면 폭 측정치는 제1 측정치에 제2 측정치를 더한 값의 2배와 동일함 - 와; 그리고 프레임의 안경다리 암부의 길이에 대응하는 제3 측정치를 수신하는 단계를 포함할 수 있다. 수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하는 단계 및 스케일을 이미지 데이터 내의 알려진 기준 디바이스와 연관시키는 단계는, 이미지 데이터 내에서, 프레임의 제1 테두리부와 제1 안경다리 암부가 결합되는 제1 힌지 영역을 검출하는 단계와; 이미지 데이터 내에서, 프레임의 제2 테두리부와 제2 안경다리 암부가 결합되는 제2 힌지 영역을 검출하는 단계와; 제1 힌지 영역과 제2 힌지 영역 사이의 이미지 데이터 내의 거리를 알려진 전면 폭 측정치과 비교하는 단계와; 그리고 비교에 기초하여 스케일링 인자를 결정하는 단계를 포함할 수 있다.

일부 구현에서, 수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하는 단계 및 스케일을 이미지 데이터 내의 알려진 기준 디바이스와 연관시키는 단계는, 이미지 데이터에서 알려진 기준 디바이스의 적어도 하나의 특징을 검출하는 단계와; 알려진 측정치를 검출된 적어도 하나의 특징과 연관시키는 단계와; 검출된 적어도 하나의 특징과 연관된 알려진 측정치를 상기 검출된 적어도 하나의 특징의 이미지 내의 검출된 크기와 비교하는 단계와; 그리고 비교에 기초하여 스케일링 인자를 결정하는 단계를 포함할 수 있다. 3차원 모델을 생성하는 단계는 사용자 머리의 검출된 복수의 특징에 스케일링 인자를 적용하는 단계를 포함할 수 있다.

일부 구현에서, 알려진 기준 디바이스는 사용자에 의해 착용된 안경이고, 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계는 안경 프레임의 전면 폭 측정치를 수신하는 단계와; 그리고 안경 프레임의 안경다리 측정치를 수신하는 단계를 포함한다.

일부 구현에서, 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터를 수신하는 단계는 사용자의 머리와 알려진 기준 디바이스의 정면 이미지 및 사용자의 머리와 알려진 기준 디바이스의 프로필 이미지를 포함하는 이미지 데이터를 수신하는 단계를 포함한다. 일부 구현에서, 사용자 머리의 3차원 모델을 생성하는 단계는 컴퓨팅 디바이스의 프로세서에 의해 사용자 머리의 3차원 모델을 생성하는 단계; 또는 컴퓨팅 디바이스에 의해, 이미지 데이터를 외부 컴퓨팅 디바이스로 전송하는 단계; 및 컴퓨팅 디바이스에 의해, 외부 컴퓨팅 디바이스로부터 사용자 머리의 3차원 모델을 수신하는 단계 중 하나를 포함한다.

일부 구현에서, 방법은 또한 수신된 이미지 데이터에서 복수의 광학 측정치를 검출하는 단계를 포함하고, 복수의 광학 측정치는 동공 높이, 동공간 거리, 좌측 동공 거리, 우측 동공 거리, 꼭지점 거리 또는 전경각 중 적어도 하나를 포함한다. 일부 구현에서, 컴퓨팅 디바이스에서 실행되는 애플리케이션은 자화상 동작 모드를 호출하고 사용자에 의해 작동되는 컴퓨팅 디바이스의 전방 카메라 동작을 시작한다.

다른 일반적인 양태에서, 실행 가능한 명령들을 저장한 비-일시적 컴퓨터 판독 가능 매체로서, 이 명령들은 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금: 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해, 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하고; 애플리케이션을 통해, 컴퓨팅 디바이스의 카메라에 의해 캡처된 이미지 데이터를 수신하고, 상기 이미지 데이터에는 사용자의 머리를 나타내는 이미지 데이터와 알려진 기준 디바이스를 나타내는 이미지 데이터가 포함되고; 수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하고; 이미지 데이터 내의 알려진 기준 디바이스와 스케일을 연관시키고; 수신된 이미지 데이터에서 사용자 머리의 복수의 특징을 검출하고; 이미지 데이터 내의 알려진 기준 디바이스와 연관된 스케일에 기초하여 사용자 머리의 검출된 복수의 특징에 대한 각각의 복수의 측정치를 결정하고; 알려진 기준 디바이스와 연관된 스케일에 기초하여 결정된 사용자 머리의 복수의 특징의 복수의 측정치에 근거하여 사용자 머리의 3차원 모델을 생성하고; 그리고 사용자 머리의 3차원 모델에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 수신하도록 구성된다.

일부 구현에서, 알려진 기준 디바이스는 적어도 하나의 알려진 물리적 특징을 포함하는 웨어러블 디바이스이고, 상기 명령들은 적어도 하나의 프로세서로 하여금 적어도 하나의 측정치를 수신하도록 하는 것으로서: 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 적어도 하나의 알려진 물리적 특징을 검출하고; 그리고 알려진 측정치를 검출된 적어도 하나의 알려진 물리적 특징과 연관시키도록 하는 것을 포함한다. 상기 명령들은 적어도 하나의 프로세서로 하여금 수신된 이미지 데이터에서 알려진 기준 장치를 검출하고 스케일을 이미지 데이터 내의 알려진 기준 디바이스와 연관시키도록 하는 것으로서: 이미지 데이터에서 알려진 기준 디바이스의 적어도 하나의 특징을 검출하고; 알려진 측정치를 검출된 적어도 하나의 특징과 연관시키고; 검출된 적어도 하나의 특징과 연관된 알려진 측정치를 상기 검출된 적어도 하나의 특징의 이미지 내의 검출된 크기와 비교하고; 그리고 비교에 기초하여 스케일링 인자를 결정하도록 하는 것을 포함한다.

일부 구현에서, 알려진 기준 디바이스는 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 사용자에 의해 착용된 웨어러블 디바이스이고, 상기 명령들은 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하도록 하는 것으로서: 이미지 데이터에서 사용자가 착용한 웨어러블 디바이스의 프레임의 렌즈 부분의 폭에 대응하는 제1 측정치를 수신하고; 프레임의 브릿지부의 폭에 대응하는 제2 측정치를 수신하고; 그리고 프레임의 안경다리 암부의 길이에 대응하는 제3 측정치를 수신하도록 하는 것을 포함한다. 상기 명령들은 적어도 하나의 프로세서로 하여금 3차원 모델을 생성하도록 하는 것으로서: 사용자 머리의 검출된 복수의 특징에 결정된 스케일링 인자를 적용하도록 하는 것을 포함한다.

일부 구현에서, 상기 명령들은 적어도 하나의 프로세서로 하여금 수신된 이미지 데이터에서 복수의 광학 측정치를 검출하도록 하며, 복수의 광학 측정치는 동공 높이, 동공간 거리, 좌측 동공 거리, 우측 동공 거리, 꼭지점 거리 또는 전경각 중 적어도 하나를 포함한다.

다른 일반적인 양태에서, 디스플레이 디바이스를 포함하는 머리 장착형 컴퓨팅 디바이스를 피팅하는 컴퓨터 구현 방법은 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해, 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터를 수신하는 단계 - 이미지 데이터에는 사용자의 머리가 포함됨 - 와; 애플리케이션을 통해, 사용자의 알려진 동공간 거리 측정치를 수신하는 단계와; 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서, 사용자의 제1 동공 및 제2 동공의 위치를 검출하는 단계와; 수신된 동공간 거리 및 이미지 데이터에서 검출된 제1 동공의 위치와 검출된 제2 동공의 위치 사이의 거리에 기초하여 스케일링 인자를 결정하는 단계와; 수신된 이미지 데이터에서 사용자의 머리의 복수의 특징을 검출하는 단계와; 결정된 스케일링 인자에 기초하여 사용자의 머리의 검출된 복수의 특징에 대한 각각의 복수의 측정치를 결정하는 단계와; 사용자 머리의 복수의 특징에 대한 복수의 측정치에 기초하여 사용자 머리의 3차원 모델을 생성하는 단계 - 머리의 복수의 특징에 대한 복수의 측정치는 알려진 동공간 거리 및 이미지 데이터에서 검출된 제1 동공과 제2 동공간 거리와 연관된 스케일링 인자에 기초함 - 와; 그리고 시뮬레이션 엔진으로부터, 사용자 머리의 3차원 모델에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 수신하는 단계를 포함한다. 이 양태의 방법은 위에서 추가로 설명된 양면에 따른 방법의 특징 중 하나 이상(예를 들어, 모두)을 포함할 수 있다.

일부 구현에서, 3차원 모델을 생성하는 단계는 사용자 머리의 검출된 복수의 특징에 스케일링 인자를 적용하는 단계를 포함한다. 일부 구현에서, 방법은 또한 수신된 이미지 데이터에서 복수의 광학 측정치를 검출하는 단계 - 복수의 광학 측정치는 동공 높이, 동공간 거리, 좌측 동공 거리, 우측 동공 거리, 꼭지점 거리 또는 전경각 중 적어도 하나를 포함함 - 와; 그리고 검출된 복수의 광학 측정치에 스케일링 인자를 적용하는 단계를 포함한다.

하나 이상의 구현의 세부사항은 첨부된 도면 및 아래의 설명에서 설명된다. 다른 특징은 설명, 도면, 청구범위를 통해 명백해질 것이다.

도 1a는 본 명세서에 설명된 구현에 따른 예시적인 시스템을 도시한다.
도 1b는 본 명세서에 설명된 구현에 따른 도 1a에 도시된 예시적인 웨어러블 컴퓨팅 디바이스의 정면도이고, 도 1c는 후면도이다.
도 2a-2d는 예시적인 안과 측정을 도시한다.
도 3은 본 명세서에 설명된 구현에 따른 시스템의 블록도이다.
도 4a는 본 명세서에 기술된 구현에 따른 예시적인 기준 디바이스를 착용한 사용자를 도시한다.
도 4b는 본 명세서에 설명된 구현에 따른 알려진 기준 디바이스와 연관된 알려진 스케일의 식별을 도시한다.
도 4c 및 4d는 본 명세서에 설명된 구현에 따른 알려진 기준 디바이스와 연관된 알려진 스케일의 식별을 도시한다.
도 5a 및 도 5b는 본 명세서에 설명된 구현에 따른 예시적인 이미지 캡처 모드를 도시한다.
도 6a-6f는 본 명세서에 설명된 구현에 따른 알려진 기준 디바이스에 관련된 정보를 제공하기 위한 예시적인 프로세스를 도시한다.
도 7a-7j는 본 명세서에 설명된 구현에 따른 이미지 데이터를 캡처하는 예시적인 프로세스를 도시한다.
도 8은 본 명세서에 설명된 구현에 따른 예시적인 방법의 흐름도이다.
도 9는 본 명세서에 논의된 컴퓨팅 시스템의 예시적인 컴퓨팅 디바이스를 도시한다.

본 개시는 웨어러블 컴퓨팅 디바이스와 연관된 웨어러블 핏(fit) 파라미터, 디스플레이 핏 파라미터 및 안과적 핏 파라미터의 결정을 포함하는 웨어러블 컴퓨팅 디바이스의 선택 및 피팅을 위한 시스템 및 방법에 관한 것이다. 본 명세서에 설명된 구현에 따른 시스템 및 방법은 사용자의 정확한 3차원 모델을 생성하는 데 사용될 알려진(known) 측정치 또는 스케일을 갖는 알려진 기준 객체 또는 디바이스를 사용하여 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 결정을 제공한다. 본 명세서에 설명된 구현에 따른 시스템 및 방법은 사용자에 의해 작동되는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 캡처된 이미지 데이터로부터 사용자의 신체적 속성 측정치의 검출을 제공한다. 본 명세서에 설명된 구현에 따른 시스템 및 방법은 이미지 데이터 내에서 검출된 알려진 측정치 또는 스케일을 갖는 알려진 기준 객체 또는 디바이스를 사용하여 사용자의 신체적 속성과 관련된 측정치를 도출한다. 물리적 속성의 측정치를 도출하기 위해 알려진 측정치 또는 스케일을 갖는 알려진 기준 객체 또는 디바이스를 사용하면 정확도가 향상된 측정치가 생성될 수 있으며, 이에 따라 결정된 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏이 개선된다. 알려진 측정치 또는 스케일을 갖는 알려진 기준 객체 또는 디바이스를 사용하면 사용자가 자기 주도(self-directed) 방식, 비지도 방식 또는 무감독(unproctored) 방식으로 이러한 측정치를 용이하게 캡처 및 검출할 수 있다. 본 명세서에 설명된 구현에 따른 시스템 및 방법은 검출된 신체적 속성 및 관련 측정치에 기초하여 사용자, 예를 들어 사용자의 머리의 3차원 모델의 생성을 제공한다.

일부 예에서, 본 명세서에 설명된 시스템 및 방법은 디스플레이 디바이스를 포함하는 스마트 안경 형태의 웨어러블 컴퓨팅 디바이스에 대해, 이미지 캡처 데이터로부터의 웨어러블 핏 측정치 및/또는 디스플레이 핏 측정치 및/또는 안과적 핏 측정치의 모음을 제공할 수 있다. 일부 예에서, 스마트 안경 형태의 웨어러블 컴퓨팅 디바이스는 사용자의 특정한 신체적 속성, 요구사항(needs) 및 선호도에 맞게 맞춤화된 교정/처방 렌즈를 포함한다. 일부 구현에서, 알려진 스케일을 제공하는 알려진 기준 디바이스는 개인용 안경을 착용한 사용자의 이미지에 알려진 스케일러블(확장 가능한) 측정치를 제공하는 개인용 안경일 수 있다. 일부 구현에서, 알려진 스케일을 제공하는 알려진 기준 디바이스는 캡처된 이미지(들)와 함께 처리하기 위한, 사용자가 제공한 동공간 거리와 같은 알려진 안과적 측정치일 수 있다. 일부 구현에서, 알려진 스케일을 갖는 알려진 기준 디바이스는 연관된 알려진 크기 또는 스케일을 갖는 수많은 다른 유형의 디바이스일 수 있으며, 사용자의 캡처된 이미지에 포함될 수 있다. 본 명세서에 설명된 구현에 따른 시스템 및 방법은 사용자가 조작하는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 자기 주도 방식이나 비지도 방식으로, 그리고 이러한 측정치를 결정하고 3차원 모델을 생성하기 위해 이미지 데이터 캡처를 감독하는 감독관(proctor)이나 에이전트 없이, 이미지 데이터를 캡처하는 방법을 제공한다. 이러한 방식으로 측정 데이터를 수집하면 비교적 정확한 측정 데이터를 얻을 수 있으며, 예를 들어 스마트 안경 및 기타 이러한 웨어러블 컴퓨팅 디바이스와 같은 웨어러블 컴퓨팅 디바이스를 실제 소매점에 접근할 필요 없이 특정 사용자와 관련된 특정 요구사항, 선호도 및 기능에 맞게 맞춤화할 수 있다.

이하, 본 명세서에 설명된 구현에 따른 시스템 및 방법은 예를 들어 디스플레이 디바이스를 포함하는 스마트 안경과 같은 머리 장착형 디스플레이 디바이스 형태의 웨어러블 컴퓨팅 디바이스의 선택 및 피팅에 관해 설명될 것이다. 이러한 머리 장착형 디스플레이 디바이스에서, 디스플레이 디바이스에 의해 디스플레이되는 컨텐츠는 웨어러블 컴퓨팅 디바이스를 착용한 사용자가 볼 수 있고/가시적일 수 있다. 이하, 본 명세서에 기술된 구현에 따른 시스템 및 방법은 사용자가 조작하는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 수집된 이미지 캡처 데이터 내에서, 알려진 스케일, 예를 들어 메트릭 스케일을 갖는 알려진 기준 객체 또는 디바이스의 검출에 기초하여 웨어러블 컴퓨팅 디바이스의 선택 및 피팅을 위한 측정치의 검출에 관해 설명될 것이다. 사용자가 교정 렌즈를 포함하는 웨어러블 컴퓨팅 디바이스로부터 이점을 누릴 수 있는 상황에서, 이들 시스템 및 방법은 안과적 핏 측정치의 모음을 제공할 수 있다. 안과적 핏 측정에 기초하여 사용자에 대한 안과적 핏의 결정은 교정/처방 렌즈를 웨어러블 컴퓨팅 디바이스에 통합하는 것을 허용할 수 있다. 안과적 핏 측정에 기초하여 사용자에 대한 안과적 핏을 결정하면 웨어러블 컴퓨팅 디바이스에 대한 디스플레이 디바이스를 구성할 때 교정/처방 렌즈의 특징이 고려될 수 있다. 즉, 본 명세서에 설명된 구현에 따른 시스템 및 방법은 웨어러블 컴퓨팅 디바이스의 프레임 선택을 제공하고, 웨어러블 컴퓨팅 디바이스로의 디스플레이 디바이스의 피팅을 제공하고, 그리고 디스플레이 디바이스에 의해 디스플레이된 컨텐츠가 웨어러블 컴퓨팅 디바이스를 착용한 사용자에게 보이도록 웨어러블 컴퓨팅 디바이스로의 교정/처방 렌즈의 통합을 제공하는 이미지 기반 캡처 시스템 및 방법 및 알려진 기준 객체를 사용하여 웨어러블 핏 측정치 및/또는 디스플레이 핏 측정치 및/또는 안과적 핏 측정치를 검출할 수 있다.

도 1a는 사용자가 하나 이상의 모바일 컴퓨팅 디바이스를 조작할 수 있고 네트워크(1200)를 통해 하나 이상의 외부 리소스(1100)에 액세스할 수 있는 시스템을 도시한다. 도 1a는 모바일 컴퓨팅 디바이스의 다양한 예를 포함하여 주변 환경(1000)에 있는 사용자의 3인칭 뷰를 제공한다. 도 1a에 도시된 예에서, 예시적인 모바일 컴퓨팅 디바이스는 제1 머리 착용형 웨어러블 컴퓨팅 디바이스(100), 제2 머리 착용형 웨어러블 컴퓨팅 디바이스(190), 손목 착용형 컴퓨팅 디바이스(180) 및 핸드헬드 컴퓨팅 디바이스(200)를 포함한다. 일부 예에서, 제1 머리 착용형 웨어러블 컴퓨팅 디바이스(100)는 스마트 안경 형태의 머리 장착형 디스플레이 디바이스 또는 헤드셋에서와 같이, 예를 들어 디스플레이, 주변 환경의 이미지를 캡처할 수 있는 카메라, 오디오 입/출력 기능, 사용자 입력 기능 들을 포함하는 다양한 구성요소를 포함할 수 있다. 일부 예에서, 제2 머리 착용형 컴퓨팅 디바이스(190)는 헤드폰 또는 이어버드와 같은 귀 착용형 컴퓨팅 디바이스일 수 있고, 오디오 입/출력 기능, 주변 환경의 이미지를 캡처할 수 있는 카메라, 사용자 입력 기능 등을 포함할 수 있다. 일부 예에서, 손목 착용형 컴퓨팅 디바이스(180)는 스마트 시계 또는 손목 밴드에서와 같이, 디스플레이, 주변 환경의 이미지를 캡처할 수 있는 카메라, 오디오 입/출력 기능, 사용자 입력 기능 등을 포함할 수 있다. 핸드헬드 컴퓨팅 디바이스(200)는 스마트폰에서와 같이, 디스플레이, 주변 환경의 이미지를 캡처할 수 있는 카메라, 오디오 입/출력 기능, 사용자 입력 기능 등을 포함할 수 있다. 도 1a는 모바일 컴퓨팅 디바이스의 단지 일부 예를 도시한다. 본 명세서에 설명되는 원리는 도 1a에 구체적으로 도시되지 않은 다른 유형의 모바일 컴퓨팅 디바이스에 적용될 수 있다. 일부 예에서, 도 1a에 도시된 예시적인 컴퓨팅 디바이스를 포함하는 모바일 컴퓨팅 디바이스는 서로 및/또는 외부 리소스(1100)와 통신하여 정보를 교환하고 입력 및/또는 출력 등을 송수신할 수 있다.

도 1b는 스마트 안경 또는 증강 현실 안경 형태의 도 1a에 도시된 예시적인 웨어러블 컴퓨팅 디바이스(100)의 정면도이고, 도 1c는 후면도이다. 이하, 본 명세서에 기술된 구현에 따른 시스템 및 방법은 단지 논의와 예시의 편의를 위해 스마트 안경 형태의 웨어러블 컴퓨팅 디바이스(100)에 대해 설명될 것이다. 본 명세서에 설명되는 원리는 다른 유형의 웨어러블 컴퓨팅 디바이스 및/또는 함께 작동하는 모바일/웨어러블 컴퓨팅 디바이스의 조합에 적용될 수 있다.

도 1b에 도시된 바와 같이, 예시적인 웨어러블 컴퓨팅 디바이스(100)는 프레임(102)을 포함한다. 도 1b 및 도 1c에 도시된 예에서, 프레임(102)은 유리부(들) 또는 렌즈(107)를 둘러싸는 테두리부(rim portions)(103) 및 각각의 테두리부(103)에 결합된 암부(arm portions)(105)을 포함한다. 일부 예에서, 렌즈(107)는 교정/처방 렌즈일 수 있다. 일부 예에서, 렌즈(107)는 교정/처방 파라미터를 반드시 포함하지 않는 유리부일 수 있다. 일부 예에서, 브릿지부(109)는 프레임(102)의 테두리부(103)를 연결한다. 디스플레이 디바이스(104)는 프레임(102)의 일부에 또는 프레임(102)에 결합될 수 있다. 도 1a 및 도 1b에 도시된 예에서, 디스플레이 디바이스(104)는 프레임(102)의 암부(105)에 결합된다. 도 1a 및 도 1b에 도시된 예에서, 디스플레이 디바이스(104)는 프레임(102)의 2개의 암부(105) 중 하나에 결합된다. 일부 예에서, 디스플레이 디바이스(104)는 프레임(102)의 2개의 암부(105) 각각에 결합된다. 아이 박스(140)는 디스플레이 디바이스(104)에 의해 출력되는 컨텐츠가 사용자에게 보일 수 있는 출력 커플러(144)에서의 컨텐츠 출력을 위해 렌즈(들)(107)을 향해 연장된다. 일부 예에서, 출력 커플러(144)는 렌즈(들)(107)과 실질적으로 일치할 수 있다.

일부 구현에서, 디스플레이 디바이스(104)는 투시형 근안 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이 디바이스(104)는 디스플레이 소스로부터의 광을 특정 각도(예를 들어, 30-45도)로 안착된 빔 스플리터 역할을 하는 텔레프롬프터(teleprompter) 유리의 일부에 투사하도록 구성될 수 있다. 빔 스플리터는 디스플레이 소스로부터의 광이 부분적으로 반사되는 동안 나머지 광은 투과되도록 하는 반사 및 투과 값을 허용할 수 있다. 이러한 광학적 설계를 통해 사용자는 예를 들어 렌즈(107)를 통해 디스플레이에 의해 생성된 컨텐츠(예를 들어, 디지털 이미지, 사용자 인터페이스 요소, 가상 컨텐츠 등) 옆에 있는 세상의 두 물리적 항목을 모두 볼 수 있다. 일부 구현에서는, 도파관 광학계가 디스플레이 디바이스(104)에 컨텐츠를 묘사하는 데 사용될 수 있다.

웨어러블 컴퓨팅 디바이스(100)는 또한 오디오 출력 디바이스(106)(예를 들어, 하나 이상의 스피커), 조명 디바이스(108), 감지 시스템(110), 제어 시스템(112), 적어도 하나의 프로세서(114), 및 외부를 향한 이미지 센서(116) 또는 카메라(116)를 포함할 수 있다. 일부 구현예에서, 웨어러블 컴퓨팅 디바이스(100)는 시선 방향 및 움직임을 검출하고 추적하기 위해 예를 들어 하나 이상의 센서(125)를 포함하는 시선 추적 디바이스(120)를 포함할 수 있다. 센서(들)(125)에 의해 캡처된 데이터는 사용자 입력으로서 시선 방향 및 움직임을 검출하고 추적하도록 처리될 수 있다. 일부 구현에서, 감지 시스템(110)은 다양한 감지 디바이스를 포함할 수 있고 제어 시스템(112)은 예를 들어 제어 시스템(112)의 구성 요소에 작동 가능하게 결합된 하나 이상의 프로세서(114)를 포함하는 다양한 제어 시스템 디바이스를 포함할 수 있다. 일부 구현예에서, 제어 시스템(112)은 웨어러블 컴퓨팅 디바이스(100)와 다른 외부 디바이스 사이의 통신 및 정보 교환을 제공하는 통신 모듈을 포함할 수 있다.

특정 사용자를 위해 도 1a 내지 도 1c에 도시된 예시적인 스마트 안경과 같은 웨어러블 컴퓨팅 디바이스(100)의 크기를 조정하고 피팅할 때 측정치 및/또는 파라미터의 많은 다른 사이징(크기 조정) 및 피팅(맞춤)이 고려될 수 있다. 여기에는 예를 들어 웨어러블 핏 파라미터 또는 웨어러블 핏 측정치가 포함될 수 있다. 웨어러블 핏 파라미터/측정치는 특정 프레임(102)이 특정 사용자에게 어떻게 핏되는지 및/또는 보이는지 및/또는 느껴지는지를 고려할 수 있다. 웨어러블 핏 파라미터/측정치는 예를 들어, 프레임(102)이 안경다리(temples)에 대해 편안할 만큼 충분히 넓지만 사용자에 의해 착용될 때 프레임(102)이 상대적으로 고정된 상태로 유지될 수 없을 정도로 넓지는 않은지(즉, 너무 크거나 너무 넓은지) 여부와 같은 다양한 요소를 고려할 수 있다. 웨어러블 핏 파라미터/측정치는 브릿지부(109)가 사용자의 콧대에 편안하게 안착될 수 있도록 테두리부(103) 및 브릿지부(109)의 크기가 지정되었는지 여부, 암부(105)가 사용자의 귀에 편안하게 안착될 수 있는 크기인지 여부, 및 기타 편안함과 관련된 고려 사항과 같은 기타 요인을 고려할 수 있다. 웨어러블 핏 파라미터/측정치는 예를 들어 머리 자세/사용자가 자연스럽게 자신의 머리를 잡는 방법, 사용자가 자신의 얼굴을 기준으로 프레임을 배치하는 방법 등과 같이 사용자가 프레임(102)을 자연스럽게 착용하는 방법을 비롯하여 착용 시 고려사항을 고려할 수 있다. 웨어러블 핏 파라미터/측정치는 프레임(102)의 크기 및/또는 형상 및/또는 윤곽이 사용자에게 미학적으로 만족스러운지, 그리고 사용자의 얼굴 특징과 호환되는지 여부를 고려할 수 있다. 일부 예에서, 웨어러블 핏 파라미터/측정치는 디스플레이 영역이 사용자의 자연스러운 시야와 조화를 이룰 수 있도록 특정 프레임 구성과 연관된 핏이 디스플레이 디바이스의 통합을 수용할 수 있는지 여부를 고려할 수 있다. 일부 예에서, 웨어러블 핏 파라미터는 특정 프레임 구성과 연관된 시선 추적 카메라 배열이 사용자 시선 및 움직임을 효과적으로 추적할 수 있는지 여부를 고려할 수 있다.

특정 사용자를 위해 웨어러블 컴퓨팅 디바이스(100)의 크기를 조정하고 피팅할 때 디스플레이 핏 파라미터 또는 디스플레이 핏 측정치가 고려될 수 있다. 디스플레이 디바이스(104)에 의해 디스플레이된 컨텐츠가 사용자에게 보이도록 디스플레이 핏 파라미터/측정치는 특정 사용자에 대한 프레임 세트(102)에 대해 디스플레이 디바이스(104)를 구성하는데 사용될 수 있다. 예를 들어, 디스플레이 핏 파라미터/측정치는 디스플레이 디바이스(104)에 의해 디스플레이된 컨텐츠가 사용자의 시야의 적어도 설정된 부분 내에서 캡처되도록 디스플레이 디바이스(104)의 배치 표시를 제공할 수 있다. 예를 들어, 디스플레이 핏 파라미터/측정치는 사용자의 시야 주변(예를 들어 가장 눈에 띄지 않는 모서리)에서 설정된 밝기 레벨 및 설정된 동공 크기에서 사용자에게 보이는 컨텐츠 디스플레이의 양, 부분 또는 백분율에 대응하는 적어도 설정된 응시 가능성(gazability) 레벨을 제공하도록 디스플레이 디스플레이(104)를 구성하는데 사용될 수 있다. 디스플레이 핏 파라미터/측정치는 프레임(102)의 특정 세트에 대해 사용자에게 컨텐츠 디스플레이의 최상의 가능한 배치를 제공하도록 디스플레이 디바이스(104)를 구성하는데 사용될 수 있다.

일부 예에서, 안과적 핏 파라미터 또는 안과적 핏 측정치는 처방 또는 교정 렌즈(107)를 포함하는 웨어러블 컴퓨팅 디바이스(100)의 크기를 조정하고 피팅할 때 고려될 수 있다. 안과적 핏 측정의 일부 예가 도 2a-2d에 도시되어 있다. 안과적 핏 측정치에는 예를 들어 좌측 동공 높이 및 우측 동공 높이를 포함하는 동공 높이(PH)(동공 중심에서 렌즈(107) 바닥까지의 거리)가 포함될 수 있다. 안과적 핏 측정치에는 동공간 거리(IPD)(동공 사이의 거리)가 포함될 수 있다. IPD는 단안 동공 거리, 예를 들어 좌측 동공 거리(LPD)(콧대 중앙부에서 좌측 동공까지의 거리)와 우측 동공 거리(RPD)(콧대 중앙부에서 우측 동공까지의 거리)로 특징지어질 수 있다. 안과적 핏 측정치에는 전경각(pantoscopic angle)(PA)(수직에 대한 렌즈(107)의 기울기(tilt)로 정의된 각도)이 포함될 수 있다. 안과적 핏 측정치에는 예를 들어 좌측 꼭지점(vertex, 정점) 거리 및 우측 꼭지점 거리를 포함하는 꼭지점 거리(V)(각막에서 렌즈(107)까지의 거리)가 포함될 수 있다. 안과적 핏 측정치는 전술한 바와 같은 디스플레이 디바이스(104)를 포함하는 머리 장착형 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 제공하는 다른 파라미터 또는 측정치를 포함할 수 있다. 도 2c는 상대적으로 더 낮은 디옵터 렌즈(107)와 연관된 꼭지점 거리(V)를 도시한다. 도 2d는 상대적으로 더 높은 디옵터 렌즈(107)와 연관된 꼭지점 거리(V)를 도시한다. 디스플레이 디바이스(104)를 포함하는 웨어러블 컴퓨팅 디바이스(100)를 사용자에게 피팅할 때 안과적 핏 측정가 고려될 수 있다. 예를 들어, (디스플레이 핏 측정치와 함께) 안과적 핏 측정치는 렌즈(107)와 사용자의 눈 사이에 연장되는 3차원 체적에 의해 정의된 아이 박스 내에서 디스플레이 디바이스(104)에 의한 컨텐츠 디스플레이의 배치를 제공할 수 있으며, 여기서 컨텐츠의 디스플레이는 사용자의 시야 내에 있고 사용자의 정정된 시야 내에 있을 것이므로 사용자가 볼 수 있다.

전술한 바와 같이, 본 명세서에 기술된 구현에 따른 시스템 및 방법에서, (전술한 컴퓨팅 디바이스(200)와 같이 사용자가 조작하는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 캡처된) 이미지 데이터는 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)(디스플레이 디바이스(104) 및/또는 교정 렌즈(107) 포함)의 크기를 조정하고 핏하기(맞추기) 위해 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 측정치를 결정하는데 사용될 수 있다. 사용자 머리의 3차원 모델은 캡처된 이미지 데이터 내에서 검출된 측정치(예를 들어, 사용자의 신체적 속성 측정치)에 기초하여 발생되거나 생성되거나 정의될 수 있다. 컴퓨팅 디바이스(200)가 깊이 감지 기능을 포함하지 않는 상황에서, 이러한 물리적 속성의 측정 정확도는 위에서 언급한 바와 같이 알려진 스케일을 갖는 기준 디바이스를 사용함으로써 향상될 수 있다.

사이징(크기 조정) 및/또는 피팅될 웨어러블 컴퓨팅 디바이스(100)가 도 1a-1c와 관련하여 전술한 바와 같이 스마트 안경 형태의 머리 장착형 디스플레이 디바이스인 상황에서, 기준 디바이스는 이미지 데이터 캡처의 적어도 일부 동안 사용자가 착용하는 안경일 수 있다. 일부 예에서, 안경은 사용자의 개인용 안경이거나 사용자가 이용 가능한 다른 안경일 수 있다. 일부 예에서, 표준 측정치는 기준 디바이스로 사용되는 안경의 물리적 특징과 연관된다. 안경과 관련된 표준 측정치는 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위해 정확한 스케일로 사용자 머리의 3차원 모델을 생성, 정의 또는 생산하는데 사용될 수 있는 알려진 스케일을 제공할 수 있다. 전술한 바와 같이, 이미지 데이터에는 예를 들어 전술한 모바일 컴퓨팅 디바이스(200)와 같은 사용자의 모바일 컴퓨팅 디바이스에서 실행되는 애플리케이션을 사용하여 사용자에 의해 캡처될 수 있다. 일부 예에서, 모바일 컴퓨팅 디바이스(200)의 이미지 센서 또는 카메라는 깊이 센서에 의해 수집된 데이터에 의존하지 않고 이미지 데이터를 캡처하는데 사용될 수 있다. 컴퓨팅 디바이스(200)가 깊이 센서를 포함하는 예에서, 이미지 데이터는 깊이 센서에 의해 캡처된 깊이 데이터를 포함할 수 있다.

도 3은 본 명세서에 설명된 구현에 따른 웨어러블 컴퓨팅 디바이스에 대한 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 측정치를 결정하기 위한 예시적인 시스템의 블록도이다. 시스템은 하나 이상의 컴퓨팅 디바이스(300)를 포함할 수 있다. 컴퓨팅 디바이스(300)는 예를 들어 서버 컴퓨터 시스템, 프로세서, 데이터베이스, 메모리 저장소 등과 같은 외부 리소스(302)에 액세스하기 위해 네트워크(306)를 통해 선택적으로 통신할 수 있다. 컴퓨팅 디바이스(300)는 제어 시스템(370)의 제어 하에 동작할 수 있다. 컴퓨팅 디바이스(300)는 직접적으로(유선 및/또는 무선 통신을 통해) 또는 네트워크(306)를 통해 하나 이상의 외부 컴퓨팅 디바이스(304)(다른 웨어러블 컴퓨팅 디바이스, 다른 모바일 컴퓨팅 디바이스 등)와 통신할 수 있다. 컴퓨팅 디바이스(300)는 외부 통신을 용이하게 하기 위해 통신 모듈(380)을 포함할 수 있다. 컴퓨팅 디바이스(300)는 예를 들어 하나 이상의 이미지 센서(322), 하나 이상의 위치/방향 센서(들)(324)(예를 들어 관성 측정 장치, 가속도계, 자이로스코프, 자력계 등 포함), 오디오 입력을 검출할 수 있는 하나 이상의 오디오 센서(326), 및 기타 이러한 센서를 포함한 다양한 감지 시스템 구성요소를 포함하는 감지 시스템(320)을 포함할 수 있다. 컴퓨팅 디바이스(300)는 더 많거나 더 적은 감지 디바이스 및/또는 감지 디바이스의 조합을 포함할 수 있다.

일부 구현에서, 컴퓨팅 디바이스(300)는 하나 이상의 이미지 센서(들) 또는 카메라(들)(360)을 포함한다. 카메라(들)(360)는 예를 들어, 컴퓨팅 디바이스(300) 외부의 환경과 관련된 정지 및/또는 무빙 이미지 데이터를 캡처할 수 있는 외향 카메라, 세계(world) 지향 카메라 등을 포함할 수 있다. 일부 구현예에서, 하나 이상의 카메라(들)(360)는 깊이 센서를 포함할 수 있다. 정지 및/또는 무빙 이미지 데이터는 출력 시스템(340)의 디스플레이 디바이스에 의해 디스플레이될 수 있고 및/또는 통신 모듈(380) 및 네트워크(306)를 통해 외부로 전송되고 및/또는 컴퓨팅 디바이스(300)의 메모리(330)에 저장될 수 있다. 컴퓨팅 디바이스(300)는 하나 이상의 프로세서(들)(350)을 포함할 수 있다. 프로세서(들)(350)는 다양한 기능을 수행하도록 구성된 다양한 모듈 또는 엔진을 포함할 수 있다. 일부 예에서, 프로세서(들)(350)는 객체 인식 모듈(들), 패턴 인식 모듈(들), 구성 식별 모듈(들), 및 기타 이러한 프로세서를 포함한다. 프로세서(들)(350)는 기판에 형성되어 하나 이상의 기계 실행 가능 명령이나 소프트웨어, 펌웨어 또는 이들의 조합을 실행하도록 구성될 수 있다. 프로세서(들)(350)는 디지털 로직을 수행할 수 있는 반도체 재료를 포함하는 반도체-기반일 수 있다. 메모리(330)는 프로세서(들)(350)에 의해 판독 및/또는 실행될 수 있는 형식으로 정보를 저장하는 모든 유형의 저장 디바이스를 포함할 수 있다. 메모리(330)는 프로세서(들)(350)에 의해 실행될 때 특정 동작들을 수행하는 애플리케이션 및 모듈을 저장할 수 있다. 일부 예에서, 애플리케이션 및 모듈은 외부 저장 디바이스에 저장되고 메모리(330)에 로드될 수 있다.

도 4a는 본 명세서에 설명된 구현에 따른 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위한, 알려진 스케일을 갖는 알려진 기준 디바이스(400)로서 사용되는 개인용 안경을 착용한 사용자를 도시한다. 전술한 바와 같이, 개인용 안경의 사용은 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위한 다른 측정치가 결정될 수 있는 이미지 데이터에 공지된 스케일(예를 들어, 공지된 메트릭 스케일)을 제공할 수 있다. 일부 상황에서, 이러한 목적으로 개인용 안경을 사용하면 개인용 안경이 공지되고 편안한 웨어러블 핏을 제공할 수 있다는 점에서 사용자에게 비교적 정확한 기준점을 제공할 수 있다. 일부 상황에서, 이러한 목적으로 개인용 안경을 사용하면 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위해 사용자의 머리 및/또는 얼굴의 3차원 모델을 생성, 정의 또는 생산하기 위한 파라미터를 결정할 때 비교적 정확한 기준점을 제공할 수 있다. 일부 상황에서, 알려진 척도를 갖는 알려진 기준 디바이스로 사용되는 개인용 안경은 이전에 사용자에게 맞았(fit)거나 사용자가 이전에 소매점에서 구매한 안경일 수 있다. 일부 상황에서, 알려진 기준 디바이스로 사용되는 개인용 안경은 반드시 사용자에게 꼭 맞는 것은 아니지만 사용자가 이용할 수 있는(accessible) 안경일 수 있다. 이러한 상황에서, 알려진 기준 디바이스로 사용되는 알려진 안경 스케일는 전술한 바와 같이 3차원 모델 및 측정치를 생성, 정의 또는 생산하는 데 여전히 의존할 수 있다.

본 명세서에 설명된 구현에 따른 시스템 및 방법은 논의 및 설명을 위해 알려진 스케일을 갖는 알려진 기준 디바이스로서 안경을 사용하는 것을 포함할 것이다. 사용자의 이미지 데이터 내에서 캡처될 수 있는 알려진 측정치 또는 스케일와 관련된 다른 디바이스는 알려진 기준 디바이스로서 기능할 수 있다.

도 4 및 도 4에 도시된 공지된 기준 디바이스(400)를 정의하는 예시적인 안경은 테두리(rim)부(403)와 테두리부(403)의 각각의 외측부에 결합된 안경다리 암부(405)을 포함하는 프레임(402)을 포함한다. 유리부 또는 렌즈(407)는 테두리부(403)에 위치된다. 브릿지부(409)는 테두리부(403)의 각각의 내측부 사이에서 연장된다. 도 4a에 도시된 예시적인 프레임(402)은 프레임(402)의 설정된 특성과 연관된 측정 표시자(415)를 포함한다. 도 4a에 도시된 예에서, 측정 표시자(415)는 단지 논의 및 예시의 목적으로 안경다리 암부(405) 중 하나의 내측면 상에 제공된다. 측정 표시자(415)는 프레임(402) 상의 다른 위치에 제공될 수 있다. 측정 표시자(415)는 측정 표시자(415)가 제공되는 특정 프레임(402)과 연관된 설정 특성을 정의할 수 있다. 도 4a 및 도 4b에 도시된 바와 같이, 측정 표시자(415)는 프레임(402)의 테두리부(403)에 수용된 렌즈(407)의 폭을 나타내는 제1 측정치(X)를 포함할 수 있다. 측정 표시자(415)는 프레임(402)의 브릿지부(409)의 폭을 나타내는 제2 측정치(Y)를 포함할 수 있다. 측정 표시자(415)는 프레임(402)의 안경다리 암부(405)의 길이를 나타내는 제3 측정치(Z)를 포함할 수 있다. 일부 예에서, 프레임(402)의 전면 폭(W) 또는 전체 폭(W)은 제1 측정치(X)와 제2 측정치(Y)에 기초하여 계산될 수 있다. 전면 폭(W)은 사용자의 머리/얼굴에 대한 안경의 적절한 웨어러블 핏 결정 및 웨어러블 컴퓨팅 디바이스(100)의 적절한 웨어러블 핏 결정에 중요한 인자인 파라미터를 나타낼 수 있다. 즉, 전면 폭(W), 즉 전체 폭(W)은 2X + Y, 즉 렌즈(407) 폭의 2배에 브릿지부(409) 폭을 더한 값과 같을 수 있다. 일부 구현에서, 측정치(X, Y, Z)는 밀리미터 단위로 제공될 수 있다. 일부 상황에서, 렌즈(107)의 주변 부분(비교적 작은 주변 부분)은 대응하는 테두리부(103)의 내부 주변 부분에서 대응하는 베젤에 맞물릴 수 있으며, 이에 따라 테두리부(103)와 렌즈(107) 사이에 비교적 작은 중첩이 발생하게 된다. 렌즈(107)와 각 테두리부(103) 사이의 이러한 (비교적 작은) 중첩으로 인해 제1 측정치(X)로 표시된 렌즈(107)의 폭과 정면 뷰에서 볼 수 있는 관찰된 렌즈(107)의 폭 간에 비교적 약간의 불일치가 발생할 수 있다. 일부 구현에서, 이러한 약간의 불일치가 사이징/피팅 프로세스에서 고려될 수 있다. 일부 상황에서, 이러한 약간의 불일치는 사이징/피팅 프로세스에서 무시될 수 있다. 측정 표시자(415)는 제조 프로세스의 일부로서 제조업체에 의해 프레임(402)상에 포함될 수 있다. 사용자가 착용한 알려진 기준 디바이스(400)로서 기능하는 안경과 관련된 제1 측정치(X), 제2 측정치(X) 및 제3 측정치(Z) 및/또는 전면 폭(W)은 사용자의 머리/얼굴의 3차원 모델을 생성하고 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅 시에 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏을 결정하는데 사용되는 알고리즘에 대한 입력일 수 있다. 제1, 제2 및 제3 측정치(X, Y, Z) 및/또는 전체 폭(W)은 사용자가 조작하는 컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해 캡처된 이미지 데이터 내의 알려진 스케일을 제공할 수 있다. 캡처된 이미지 내의 알려진 스케일은 사용자 머리의 3차원 모델과 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 사이징/피팅을 생성하기 위해 측정치를 검출된 두개골/안면 특징과 연관시키는데 사용될 수 있다.

일부 상황에서, 알려진 기준 디바이스(400)로서 사용하기 위해 선택된 프레임(402)은 도 4a 및 도 4b와 관련하여 위에서 설명한 측정 표시자를 포함하지 않을 수 있다. 이러한 상황에서, 프레임(402)의 측정치는 도 4c 및 도 4d에 도시된 바와 같이 결정될 수 있다. 도 4c 및 4d에 도시된 바와 같이 결정된 측정치는 사용자의 머리/얼굴의 3차원 모델을 생성하고 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅 시에 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏을 결정하는데 사용되는 알고리즘에 대한 입력으로 제공될 수 있다.

도 4c 및 도 4d에 도시된 바와 같이, 제1 힌지(410A)는 프레임(402)의 제1 안경다리 암부(405A)와 제1 테두리부(403A)를 회전 가능하게 또는 피벗 가능하게 결합할 수 있다. 제2 힌지(410B)는 프레임(402)의 제2 안경다리 암부(405B)와 제2 테두리부(403B)를 회전 가능하게 또는 피벗 가능하게 결합할 수 있다. 도 4a 및 4b와 관련하여 위에서 설명된 측정 표시자가 없는 경우, 전면 폭(W) 또는 전체 폭(W)은 도 4c에 도시된 바와 같이 제1 힌지(410A)와 제2 힌지(410B) 사이에서 사용자에 의해 측정될 수 있다. 이 예에서, 안경다리 암부(405A, 405B)의 길이를 나타내는 제3 측정치(Z)는 개별 힌지(410A, 410B)에 대응하는 안경다리 암부(405A, 405B)의 제1 단부와 안경다리 암부(405A, 405B) 각각의 귀 안장점(ear saddle point) 부분(415A, 415B)에 대응하는 안경다리 암부(405A, 405B)의 제2 단부 사이에서 사용자에 의해 측정될 수 있다. 각각의 안경다리 암 부분(405A, 405B)의 귀 안장점 부분(415A, 415B)은 사용자의 귀에 안착되도록 설계될 수 있다. 일부 예에서, 대신에 안경다리 암부(405A, 405B)의 길이에 대응하는 측정치(Z)는 귀 안장점 부분(415A)으로 전환되는 굽힘(bend)을 통해 힌지부(410A, 410B)로부터 연장되는 안경다리 암부(405A, 405B)의 전체 윤곽을 따를 수 있다. 측정치(Z)는 안경다리 암부(405A, 405B)의 길이에 대응하고, 측정치(X 및 Y)는 위에서 설명한 바와같이 결정된 전면 폭(W)에 해당하며, 브릿지부(409)의 위치 지정/브릿지부(409)의 폭에 대응하는 제2 측정치(Y)는 사용자의 얼굴에 안경이 적절하게 안착되도록 하고, 사용자의 시선에 아이 박스/렌즈를 정렬하는 등의 기능을 제공할 수 있다. 일부 예에서, 전면 폭(W), 전체 폭(W) 및/또는 안경다리 암부(405)의 길이에 대응하는 제3 측정치(Z)는 자, 줄자, 캘리퍼스 등과 같은 측정 디바이스를 사용하여 측정될 수 있다. 일부 예에서, 전면 폭(W), 전체 폭(W) 및/또는 안경다리 암부(405)의 길이에 대응하는 제3 측정치(Z)는 밀리미터 단위로 측정될 수 있다.

전술한 바와 같이, 사용자는 웨어러블 컴퓨팅 디바이스(100)의 피팅을 위해 알려진 스케일을 갖는 알려진 기준 디바이스(400)로서 안경을 포함하는 이미지를 캡처하기 위해 위에서 설명된 컴퓨팅 디바이스(300)와 같은 컴퓨팅 디바이스를 작동할 수 있다. 이미지는 사용자에 의해 작동되는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션을 통해 캡처될 수 있으며 이를 통해 사용자는 비지도 방식, 무감독 방식 또는 자기 주도 방식으로 그리고 가상 또는 직접 상담원과 약속을 잡을 필요 없이 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅에 의존하는 정보를 캡처할 수 있다.

도 5a는 스마트폰과 같은 휴대용 컴퓨팅 디바이스(300A) 형태의 예시적인 컴퓨팅 디바이스를 도시한다. 도 5b는 랩탑 컴퓨팅 디바이스(300B) 형태의 예시적인 컴퓨팅 디바이스를 도시한다. 도 5a에 도시된 예에서, 사용자는 사용자의 머리와 얼굴, 및 알려진 스케일을 갖는 알려진 기준 디바이스(400)가 컴퓨팅 디바이스(300A)의 카메라(360A)의 시야 내에 있도록 예시적인 핸드헬드 컴퓨팅 디바이스(300A)를 잡고 있다. 이 배열에서 카메라(360A)는 알려진 기준 디바이스(400)를 포함하여 사용자의 머리와 얼굴의 이미지를 캡처할 수 있다. 캡처된 이미지는 사용자가 자신의 머리와 얼굴 및 알려진 기준 디바이스(400)가 카메라(360A)의 시야 내에 캡처되었는지 확인할 수 있도록 컴퓨팅 디바이스(300A)의 디스플레이 디바이스(342A) 상에서 사용자에게 디스플레이될 수 있다. 유사하게, 도 5b에 도시된 바와 같이, 예시적인 랩탑 컴퓨팅 디바이스(300B)는 사용자의 머리와 얼굴, 및 알려진 기준 디바이스(400)가 컴퓨팅 디바이스(300B)의 카메라(360B)의 시야 내에서 캡처되고 카메라(360B)가 알려진 기준 디바이스(400)와 함께 사용자의 머리와 얼굴의 이미지를 캡처할 수 있도록 사용자를 기준으로 위치 지정된다. 캡처된 이미지는 사용자가 자신의 머리와 얼굴, 및 알려진 기준 디바이스(400)가 카메라(360B)의 시야 내에 캡처되었는지 확인할 수 있도록 컴퓨팅 디바이스(300B)의 디스플레이 디바이스(342B) 상에서 사용자에게 디스플레이될 수 있다.

도 5a 및 5b에 도시된 예시적인 배열에서, 전술한 기준 디바이스(400)와 관련된 측정 데이터와 함께 카메라(360)에 의해 캡처된 이미지 데이터는 사용자 머리의 3차원 모델이 발생되거나 정의되거나 생성되고, 웨어러블 컴퓨팅 디바이스(100)의 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏이 특정 사용자에 대해 결정되는 프로세스에 대한 입력 역할을 할 수 있다. 이러한 입력은 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 파라미터를 결정하기 위해 알려진 기준 디바이스(400)에 의해 제공된 공지 스케일에 기초하여 (예를 들어, 도 3에 도시된 외부 프로세서(들)의 인식 엔진(들) 및 시뮬레이션 엔진(들)에 의해) 처리될 수 있다. 이러한 입력은 예를 들어 사용자를 위한 도 1b 및 도 1c에 도시된 머리 장착형 웨어러블 컴퓨팅 디바이스(100)와 같은 웨어러블 컴퓨팅 디바이스의 맞춤화를 위해 예를 들어 프레임 및/또는 렌즈 크기 조정, 피팅, 윤곽 관리(contouring), 디스플레이 장치 구성 등을 결정하도록 처리될 수 있다.

도 5a 및 5b는 이미지 데이터를 캡처하는 데 사용될 수 있는 컴퓨팅 디바이스(300)의 두 가지 예를 제공한다. 캡처된 이미지 데이터는 도 4a-4b 및/또는 도 4c-4d와 관련하여 위에 설명된 방식으로 획득된 알려진 기준 디바이스(400)와 관련된 측정 정보와 함께 처리될 수 있다. 알려진 측정 정보는 사용자 머리의 3차원 모델을 정확하게 생성하고 본 명세서에 설명된 시스템 및 방법에 따라 사이징 시뮬레이터 또는 핏(맞춤) 시뮬레이터, 웨어러블 디바이스를 사이징 및/또는 피팅하는 데 사용될 수 있는 스케일을 제공할 수 있다. 여기에 설명되는 원리는 다른 유형의 컴퓨팅 디바이스, 특히 특정 사용자를 위한 웨어러블 컴퓨팅 디바이스를 커스터마이징하기 위한 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏을 수집하고 처리하기 위해 이미지 캡처 기능, 디스플레이 기능, 외부 통신 및 처리를 활용하는 애플리케이션을 실행할 수 있는 컴퓨팅 디바이스에 의해 수행될 수 있다.

본 명세서에 설명된 구현에 따른 시스템 및 방법은 사용자가 조작하는 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에 기초하여 사용자의 얼굴 및/또는 머리의 모델(예를 들어, 3차원 모델)을 생성, 정의 또는 생산할 수 있다. 이미지 데이터는 알려진 스케일을 갖는 알려진 기준(참조) 디바이스를 포함할 수 있다. 시스템은 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위한 웨어러블 핏 파라미터 및/또는 디스플레이 핏 파라미터 및/또는 안과적 핏 파라미터의 결정과 연관된 측정치, 예를 들어 광학적 측정치 및/또는 안면치 측정 및/또는 두개골 측정치 등을 결정하기 위해 알려진 기준 디바이스와 관련된 알려진 스케일에 의존할 수 있다. 일부 예에서, 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 3차원 모델에 가상으로 맞추고 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스를 선택하기 위해 모델, 예를 들어 3차원 모델에 시뮬레이션이 적용된다. 캡처된 이미지 데이터로부터 정확한 광학적 및/또는 안면 및/또는 두개골 측정치를 결정하기 위해 알려진 스케일을 갖는 알려진 기준 디바이스(400)를 사용하면 특정 사용자에 대한 비교적 정확한 3차원 모델과 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 비교적 정확한 결정을 산출할 수 있다.

일부 예에서, 피팅 시뮬레이션은 사용자에게 머리 장착형 웨어러블 컴퓨팅 디바이스를 맞추기 위해 3차원 모델의 검출 가능한 특징들과 이용 가능한 머리 장착형 웨어러블 컴퓨팅 디바이스의 알려진 특징들을 활용한다. 일부 예에서, 시뮬레이션의 출력은 머리 장착형 웨어러블 컴퓨팅 디바이스의 디스플레이 디바이스에 의해 출력된 컨텐츠를 사용자가 볼 수 있게 하는 디스플레이 핏과 웨어러블 핏을 생성할 수 있는 하나 이상의 프레임 선택을 포함할 수 있다. 일부 예에서, 시뮬레이션은 안과적 핏 측정치를 통합하기 위해 사용자 얼굴의 선택된 프레임의 3차원 모델을 생성할 수 있다. 이는 디스플레이 디바이스를 포함하는 머리 장착형 웨어러블 컴퓨팅 디바이스가 교정/처방 렌즈를 수용하도록 구성될 수 있게 해줄 수 있다. 위에서 언급한 바와 같이, 일부 예에서, (알려진 기준 디바이스(400)를 포함하는) 이미지 데이터는 사용자에 의해 조작되는 (상술한 컴퓨팅 디바이스(300)와 같은) 컴퓨팅 디바이스에 의해 캡처될 수 있다. 이것은 이미지 데이터가 캡처되고, 시뮬레이션이 실행되고, 머리 장착형 웨어러블 컴퓨팅 디바이스가 소매점에 대한 접근에 의존하지 않고, 그리고 이미지 데이터의 캡처를 지도하고 및/또는 이미지 데이터를 캡처하기 위해 감독관에게 의존하지 않고 사용자에게 맞춰지도록 허용할 수 있다. 사용자에 의해 조작되는 컴퓨팅 디바이스(300)가 깊이 센서를 포함하지 않는 예에서, 사용자의 얼굴/머리의 3차원 모델 및/또는 깊이 맵은 캡처된 이미지 및 알려진 기준 디바이스(400)에 의해 제공된 알려진 스케일에 기초하여 생성될 수 있다.

위에서 언급한 바와 같이, 본 명세서에 설명된 구현에 따른 시스템 및 방법은 사용자가 예를 들어 도 5a 및 도 5b에 도시된 바와 같은 스마트폰 또는 랩탑 컴퓨터와 같은 개인용 컴퓨팅 디바이스 또는 기타 적절하게 장착된 개인용 컴퓨팅을 사용하여 웨어러블 핏 파라미터 및/또는 디스플레이 핏 파라미터 및/또는 안과적 핏 파라미터가 도출될 수 있는 이미지(알려진 기준 디바이스 포함)를 캡처할 수 있도록 허용한다. 사용자는 예를 들어 가상으로 또는 직접/소매점에서 감독관이나 컨설턴트와의 약속을 잡는 대신 개인용 컴퓨팅 디바이스에서 실행되는 애플리케이션을 사용하여 비지도 방식이나 비감독 방식으로 이러한 이미지를 캡처하기 위해 개인용 컴퓨팅 디바이스를 사용하도록 선택할 수 있다. 이러한 방식으로 머리 장착형 컴퓨팅 디바이스의 피팅을 달성하는 능력은 사용자에게 머리 장착형 컴퓨팅 디바이스의 선택 및 구매를 위한 편리하고 복잡하지 않으며 정확하고 신뢰할 수 있는 프로세스를 제공할 수 있다. 이하에서는 논의 및 예시의 목적을 위해 도 1b 및 도 1c에 도시된 예시적인 스마트 안경(100)을 참조하여 머리 장착형 웨어러블 컴퓨팅 디바이스의 선택 및 구매 과정을 설명할 것이다. 본 명세서에 설명되는 원리는 다른 유형의 머리 장착형 웨어러블 컴퓨팅 디바이스에 적용될 수 있다.

일부 예에서, 도 3, 5a 및 5b에 도시된 예시적인 컴퓨팅 디바이스(300)와 같은 컴퓨팅 디바이스에서 실행되는 애플리케이션의 특징은 사용자를 위해 도 1b 및 도 1c에 도시된 예시적인 스마트 안경(100)과 같은 머리 장착형 웨어러블 컴퓨팅 디바이스를 피팅할 때 사이징/핏 시뮬레이터에 의해 사용하기 위한 알려진 기준 디바이스(400)를 포함하여, 사용자가 구현한 입력의 입력(entry), 이미지 데이터 캡처를 용이하게 할 수 있다. 예를 들어, 일부 구현에서, 시스템은 이미지 캡처를 개시하기 전에 알려진 기준 디바이스(400)와 연관된 입력을 제공하도록 사용자에게 프롬프트할 수 있다. 일부 구현에서, 시스템은 이미지 캡처가 완료된 후 알려진 기준 디바이스(400)와 연관된 입력을 제공하도록 사용자에게 프롬프트할 수 있다. 일부 구현에서, 시스템은 사용자가 이미지 캡처를 개시하기 전에 알려진 기준 디바이스(400)와 연관된 일부 입력을 제공하고 이미지 캡처가 완료된 후에 일부 입력을 제공하도록 요청할 수 있다. 알려진 기준 디바이스(400)와 연관된 입력은, 예를 들어, 도 4a-4d와 관련하여 전술한 바와 같이, 알려진 기준 디바이스(400)와 연관된 스케일 데이터 또는 측정 데이터를 포함할 수 있다.

도 6a-6f 및 7a-7j는 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위해 사용자가 착용한 알려진 기준 디바이스(400) 및 알려진 기준 디바이스(400)와 연관된 알려진 스케일 또는 측정 데이터를 비롯하여 이미지 데이터를 캡처하기 위한 예시적인 프로세스를 예시한다. 도 6a-6f는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션에 의해 생성될 수 있고 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에 디스플레이될 수 있는 예시적인 사용자 인터페이스를 도시한다. 도 6a-6f에 도시된 사용자 인터페이스는 설명 및 예시의 목적으로 제공된다. 다른 사용자 인터페이스, 사용자 인터페이스의 조합, 사용자 인터페이스의 순서 등은 사용자가 자신이 소유한 안경 형태로 알려진 기준 디바이스(400)와 관련된 알려진 스케일 데이터를 입력(및 시스템이 수신)할 수 있도록 애플리케이션에 의해 생성 및 디스플레이될 수 있다.

도 6a에서, 사용자는 컴퓨팅 디바이스(300) 상에서 애플리케이션을 실행(launch)했고, 제1 사용자 인터페이스 화면(610)이 디스플레이되어, 사용자가 메뉴 항목(611)을 선택하여 가상 피팅을 개시작할 수 있게 되었다. 메뉴 항목(611)의 선택에 응답하여, 도 6b에 도시된 바와 같이, 제2 사용자 인터페이스 화면(620)이 디스플레이된다. 제2 사용자 인터페이스 화면(620)은 사용자가 알려진 기준 디바이스(400) 역할을 하는 안경과 관련된 측정치를 입력할 수 있도록 하는 제1 메뉴 항목(621)의 선택을 제공한다. 특히, 제2 사용자 인터페이스 화면(620)에서 제1 메뉴 항목(621)의 선택에 응답하여, 제3 사용자 인터페이스 화면(630)이 생성되어 디스플레이될 수 있다. 제3 사용자 인터페이스 화면(630)은 안경에 도 4a 및 도 4b와 관련하여 위에서 설명한 측정 표시자(415)가 포함되어 있는 경우 알려진 기준 디바이스(400) 역할을 하는 안경과 관련된 측정치에 대한 사용자 입력을 제공하는 제1 섹션(631)을 포함한다. 제3 사용자 인터페이스 화면(630)은 안경에 측정 표시자(415)가 포함되어 있지 않고 대신에 사용자가 도 4c 및 4d와 관련하여 위에서 설명한 바와 같이 안경의 측정치를 취득한 경우 알려진 기준 디바이스 역할을 하는 안경과 관련된 측정치에 대한 사용자 입력을 제공하는 제2 섹션(632)을 포함한다.

일부 구현에서, 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션은 사용자가 이러한 측정치를 수동으로 입력하는 대신 알려진 기준 디바이스(400) 역할을 하는 안경 상에 제공된 측정 표시자(415)의 광학 스캐닝 및 검출를 허용할 수 있다.

도 6b에 도시된 예에서, 제2 사용자 인터페이스 스크린(620)은 또한 제2 메뉴 항목(622)을 포함한다. 제2 메뉴 항목(622)의 선택은 알려진 동공간 거리(IPD)의 사용자 입력을 제공한다. 즉, 일부 상황에서, 사용자는 예를 들어 시력 검사, 이전 안경 피팅 등과 같은 동공간 거리 측정을 이전에 수행하고 문서화했을 수 있다. 일부 구현에서, 알려진 동공간 거리는 캡처된 이미지 데이터의 알려진 스케일을 제공할 수 있으며, 이로부터 다른 광학적/안면/두개골 측정치가 스케일링될 수 있고, 3차원 모델이 생성되고, 웨어러블 컴퓨팅 디바이스(100)가 사용자에게 맞춰질 수 있다.

도 6a-6c에 도시된 예에서, 사용자는 제2 사용자 인터페이스 화면(620)에서 제1 메뉴 항목(621)을 선택하고, 전술한 바와 같이 (제3 사용자 인터페이스 화면(630)의 제1 섹션(631) 또는 제2 섹션(632)을 통해) 제3 인터페이스 화면(630)에서 알려진 기준 디바이스(400) 역할을 하는 안경과 관련된 측정치를 입력하기 시작한다. 이 예에서, 제3 인터페이스 화면(630)을 통한 측정치 입력의 완료에 응답하여, 도 6d에 도시된 바와 같이 제4 인터페이스 화면(640)이 디스플레이되어, 가능한 경우 알려진 동공간 거리를 제공할 수 있는 또 다른 기회를 제공할 수 있다. 일부 상황에서, 알려진 기준 디바이스(400) 역할을 하는 안경과 관련된 측정치 외에도 알려진 동공간 거리(알려진 경우)의 입력은 3차원 모델을 생성, 정의 또는 생산시 향상된 정확도를 제공하고 사용자에 대한 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 결정에서 향상된 정확성을 제공할 수 있다.

이 예에서는, 제3 인터페이스 화면(630)을 통한 알려진 측정치 입력 및/또는 제4 인터페이스 화면(640)을 통한 알려진 동공간 거리 입력의 완료에 응답하여, 도 6e에 도시된 바와 같이 제5 인터페이스 화면(650)이 디스플레이될 수 있다. 제5 인터페이스 스크린(650)은 광학 처방/교정 렌즈 파라미터의 사용자 입력을 제공할 수 있다. 일부 구현예에서, 제5 사용자 인터페이스 화면(650)은 추가적으로 또는 대안적으로 교정 렌즈의 필요성을 확인하는 처방 문서의 업로드 또는 스캐닝을 제공할 수 있다. 처방/교정 렌즈 파라미터의 입력 및/또는 업로드는 사용자를 위한 웨어러블 컴퓨팅 디바이스(100)의 웨어러블 핏 및/또는 디스플레이 핏의 구성에서 처방/교정 렌즈 요구 사항이 고려되는 것을 허용할 수 있다. 도 6f에 도시된 바와 같이, 입력된 측정치 및/또는 IPD 및/또는 처방 파라미터가 성공적으로 수신되고 저장되었다는 사용자에 대한 표시를 포함하는 제6 사용자 인터페이스 화면(660)이 출력될 수 있다. 제6 사용자 인터페이스 화면(660)은 사용자가 이 시점에 입력된 정보를 저장하도록 하는 제1 메뉴 항목(661), 및 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위한 이미지 데이터 캡처를 진행하는 제2 메뉴 항목(662)을 포함할 수 있다. 도 7a 내지 도 7j는 웨어러블 컴퓨팅 디바이스(100)의 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏의 결정을 위한 알려진 기준 디바이스(400)를 포함하여 이미지 데이터의 사용자 캡처를 용이하게 할 수 있는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션의 예시적인 특징을 나타내는 예시적인 프로세스를 제시한다.

도 7a에서, 제1 사용자 인터페이스 화면(710)이 디스플르에될 수 있고, 시스템은 예를 들어 컴퓨팅 디바이스(300)를 눈높이(eye level)에 위치시키도록 사용자에게 프롬프트하는 시각적 프롬프트(711)와 같은 프롬프트를 출력할 수 있고, 컴퓨팅 디바이스(300)의 카메라(360)를 활성화할 수 있다. 도 7a에 도시된 예에서, 프롬프트(711)는 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에 디스플레이되는 시각적 프롬프트이다. 일부 예에서, 프롬프트는 예를 들어 오디오 출력 디바이스(344) 또는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력되는 가청 프롬프트일 수 있다. 제1 사용자 인터페이스 화면(710)은 또한 일단 카메라(360)가 활성화되고 컴퓨팅 디바이스(300)가 사용자의 머리 및 알려진 기준 디바이스(400)가 카메라(360)의 시야 내에 위치되도록 위치되면 사용자가 이미지 캡처 프로세스를 시작하기 위해 선택할 수 있는 메뉴 항목(712)을 포함할 수 있으며, 사용자가 컴퓨팅 디바이스(300)의 위치를 유지하면서 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에 터치 입력(즉, 메뉴 항목(712)의 선택)을 제공하는 것은 어려울 수 있다. 따라서, 일부 예에서, 이미지 캡처 프로세스를 시작하기 위한 사용자 입력은 청각 커맨드 또는 음성 커맨드의 형태일 수 있으며, 이는 컴퓨팅 디바이스(300)의 오디오 입력 디바이스(326) 또는 마이크로폰(326)에 의해 검출된다. 도 7a에 도시된 예에서, 카메라(360)에 의해 캡처된 사용자의 이미지가 디스플레이 디바이스(342)에 디스플레이되므로, 사용자는 이미지 캡처 프로세스를 시작하게 하는 입력을 제공하기 전에 알려진 기준 디바이스(400) 역할을 하는 안경을 착용한 사용자의 얼굴/머리 이미지를 캡처하기 위해 컴퓨팅 디바이스(300)/카메라(360)가 적절하게 위치되어 있는지 확인(verify)할 수 있다.

도 7b에 도시된 바와 같이, 이미지 캡처 프로세스의 개시에 응답하여 제2 사용자 인터페이스 화면(720)이 디스플레이될 수 있다. 시스템은 이미지 캡처 프로세스가 성공적으로 시작되었으며 정면 이미지 데이터의 캡처가 진행 중임을 나타내는 표시자(721)를 출력할 수 있다. 도 7b에 도시된 예는 시각적 표시자(721)를 포함한다. 일부 예에서, 시스템은 예를 들어 오디오 출력 디바이스(344) 또는 스피커(344)를 통해 가청 표시자와 같은 다른 유형의 표시자를 출력할 수 있다.

일부 예에서, 진행(률)((progress) 표시자는 진행 표시와 이미지 캡처 완료를 제공하기 위해 출력될 수 있다. 도 7b에 도시된 예에서, 시각적 진행 표시자는 예를 들어 진행 바(725A), 진행 미터(progress meter)(725B)의 형태로 디스플레이된다. 예를 들어, 디스플레이된 이미지의 색상 변화, 표시자(721)의 깜박임 및 기타 이러한 시각적 표시자를 비롯하여 다른 유형의 시각적 표시자가 출력될 수 있다. 일부 예에서, 진행 표시자는 진행 및 완료의 표시를 제공하는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력되는 가청 표시자일 수 있다. 일부 예에서, 완료의 검출은 예를 들어 표시자(721)의 출력 이후 설정된 기간이 경과했다는 검출과 같이 도 7b에 도시된 이미지 캡처 모드에서 시간의 설정된 임계값에 도달한 것에 기초할 수 있다. 일부 예에서, 설정된 임계값은 컴퓨팅 디바이스(300)의 검출된 움직임에 기초하여(예를 들어 컴퓨팅 디바이스(300)의 위치 및 방향 센서에 의해 제공되는 데이터에 기초하여) 측정될 수 있다. 일부 실시예에서, 설정된 임계값은 표시자(721)의 출력 이후 설정된 시간 동안 검출된 정지 위치에 기초하여 측정될 수 있다. 일부 예에서, 설정된 임계값은 하나 이상의 설정된 특징의 검출된 캡처에 기초하여 측정될 수 있다. 일부 예에서, 하나 이상의 설정된 특징은 예를 들어 알려진 기준 디바이스(400)와 연관된 검출된 특징을 포함할 수 있다.

도 7c에 도시된 바와 같이, 제3 인터페이스 화면(730)은 정면 이미지 데이터의 캡처 완료가 검출된 것에 응답하여 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에 의해 디스플레이될 수 있다. 제3 인터페이스 화면(730)은 정면 이미지 데이터의 캡처가 완료되었음을 사용자에게 알리는 표시자(731)를 포함할 수 있다. 제3 인터페이스 화면(730) 상의 표시자(731)는 정면 이미지 데이터 외에 추가 이미지 데이터, 예를 들어 프로필 이미지 데이터를 캡처하기 위한 옵션을 사용자에게 제공할 수 있다. 일부 상황에서, 프로필 이미지 데이터와 같은 추가 이미지 데이터는 사용자의 얼굴/머리의 3차원 모델과 웨어러블 컴퓨팅 디바이스(100)의 피팅을 생성, 정의 또는 생산하는 데 있어 추가 정확도를 제공할 수 있다. 이는 특히 이미지 데이터에 캡처된 알려진 기준 디바이스(400)와 관련된 알려진 스케일이 알려진 안경다리 암 측정치(예를 들어, 도 4a-4d와 관령하여 위에서 설명한 바와 같은 제3 측정치(Z))를 포함하는 경우에 해당된다. 이 추가 데이터는 또한 예를 들어 컴퓨팅 디바이스(300)의 카메라(360)가 깊이 검출 기능을 포함하지 않는 경우에 유용할 수 있다.

추가 이미지 데이터를 캡처하는 옵션의 선택에 응답하여, 도 7d에 도시된 바와 같이, 제4 사용자 인터페이스 화면(740)이 디스플레이될 수 있다. 예시적인 제4 사용자 인터페이스 화면(740)은 좌측 프로필 이미지 데이터를 캡처하기 위해 사용자가 계속해서 앞을 바라보는 동안 컴퓨팅 디바이스(300)를 사용자 머리의 좌측으로 패닝하도록 사용자에게 지시하는 예시적인 프롬프트(741)를 포함한다. 도 7d에 도시된 예에서, 프롬프트 741은 시각적 프롬프트이다. 그러나, 프롬프트는 오디오 출력 디바이스(344) 또는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력되는 가청 프롬프트일 수 있다. 제5 사용자 인터페이스 화면(750)은 도 7e에 도시된 바와 같이, 올바른 프로필 데이터를 캡처하기 위해 사용자에게 컴퓨팅 디바이스(300)를 우측으로, 다시 중앙 부분을 통해 그리고 사용자 머리의 우측으로 패닝하라고 지시하는 프롬프트(751)를 포함하여, 우측 프로필 이미지 데이터의 캡처 완료 검출에 응답하여 출력될 수 있다. 도 7e에 도시된 예에서, 프롬프트(751)는 예시를 위한 시각적 프롬프트이다. 그러나, 프롬프트는 오디오 출력 디바이스(344) 또는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력되는 가청 프롬프트일 수 있다. 도 7f에 도시된 바와 같이, 우측 프로필 이미지 데이터의 캡처 완료 검출에 응답하여 제6 사용자 인터페이스 화면(760)이 출력될 수 있다. 제6 사용자 인터페이스 화면(760)은 사용자에게 디바이스를 중앙 또는 전면을 향한 위치로 다시 패닝하도록 지시하는 프롬프트(761)를 포함할 수 있다. 도 7f에 도시된 예에서, 프롬프트(761)는 시각적 프롬프트이다. 그러나, 프롬프트는 오디오 출력 디바이스(344) 또는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력되는 가청 프롬프트일 수 있다. 사용자에게 다음을 알리는 표시자(771)를 포함하는 제7 사용자 인터페이스 화면(770)이 출력될 수 있다.

도 7d-7g와 관련하여 설명된 우측 및 좌측 프로필 이미지 데이터의 캡처에서, 사용자의 시선은 전방에 집중되어 있어 사용자의 귀, 귀 안장점, 알려진 기준 디바이스(400) 역할을 하는 안경의 안경다리 암부의 위치 지정, 전경각, 꼭지점 거리 및 기타 이러한 특징이 프로필 이미지에 캡처될 수 있다. 이러한 배열에서, 디스플레이 디바이스(342)에 의해 출력된 시각적 프롬프트(들)는 반드시 사용자에게 쉽게 볼 수 있는 것은 아니다. 따라서, 위에서 설명된 예시적인 시각적 프롬프트에 추가하거나 대신하여, 청각적 프롬프트의 출력은 도 7d-7g와 관련하여 설명된 바와 같이 프로필 이미지 데이터를 캡처하는 데 특히 도움이 될 수 있다.

일부 예에서, 시스템은 이미지 데이터가 완전히 캡처되지 않았거나 및/또는 정확하게 캡처되지 않았다는 검출에 응답하여 사용자 정정, 리디렉션(redirection) 등을 제공할 수 있다. 예를 들어, 이미지 데이터와 함께 위치 센서, 방향 센서 등을 포함하는 컴퓨팅 디바이스(300)의 센서들에 의해 제공되는 데이터는 사용자의 얼굴/머리에 대한 컴퓨팅 디바이스(300)의 방향, 사용자의 얼굴/머리로부터의 거리 등에 대한 정정이 필요함을 나타낼 수 있다. 예를 들어, 컴퓨팅 디바이스(300)의 위치 및/또는 방향 센서들에 의해 제공되는 데이터에 기초하여, 하나 이상의 프롬프트가 사용자에게 출력될 수 있다. 이러한 추가적인 프롬프트는 예를 들어, 사용자가 컴퓨팅 디바이스(300)를 더 꼿꼿한 자세, 곧은 자세 또는 수직 위치로 잡고 있음을 나타내고, 캡처 영역이 사용자의 얼굴 중심에 오도록 사용자가 컴퓨팅 디바이스(300)를 움직이는 것을 나타내고, 사용자가 컴퓨팅 디바이스(300)를 사용자의 얼굴에 더 가까이 또는 더 멀리 이동시키는 것을 나타내며, 사용자가 컴퓨팅 디바이스(300)를 수직으로 위 또는 아래로 움직이는 것을 나타내는 프롬프트 및 이미지 데이터의 캡처를 개선하기 위한 기타 프롬프트를 포함할 수 있다. 마찬가지로, 추가 프롬프트는 사용자에게 이미지 캡처 시퀀스 중 하나 이상을 반복하도록 지시하는 프롬프트를 포함할 수 있다.

일부 예에서, 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션은 예를 들어 동공간 거리 및/또는 단안 동공 거리, 동공 높이 등과 같은 측정치의 검출을 제공하는 이미지 데이터의 추가 캡처에 대한 안내(guidance)를 제공할 수 있다. 일부 예에서, 이것은 알려진 기준 디바이스(400)를 사용하여 이전에 캡처된 이미지 내에서 스케일을 설정하고 3차원 모델이 생성된 후에 수행될 수 있다. 따라서, 추가 이미지 캡처 및 추가 측정은 사용자가 알려진 기준 디바이스(400) 역할을 하는 안경을 더 이상 착용하지 않는 동안 달성될 수 있다. 이 데이터의 검출과 관련된 이미지는 애플리케이션이 사용자에게 자연스러운 머리 위치를 설정하도록 안내한 다음 수집된 이미지 데이터로부터 관련 측정이 수행될 수 있도록 사용자의 시선을 안내하는 배열에서 획득될 수 있다.

예를 들어, 제8 사용자 인터페이스 화면(780)은 추가 데이터, 예를 들어 광학 데이터가 추출될 수 있는 이미지 데이터를 캡처할 때 사용자에게 안내를 제공하기 위해 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에 디스플레이될 수 있다. 도 7h에 도시된 예에서, 제8 사용자 인터페이스 화면(780)은 사용자가 카메라(360)를 바라보도록 안내하는 예시적인 프롬프트(781)를 포함한다. 도 7h에 도시된 예에서, 프롬프트(781)에는 사용자가 카메라(360)를 쉽게 찾을 수 있도록 카메라(360)를 가리키는 화살표가 포함되어 있다. 즉, 일부 예에서, 카메라(360)는 컴퓨팅 디바이스(300)의 베젤 부분에 위치될 수 있으며, 이는 피팅 세션을 위해 교정 렌즈를 제거한 사용자가 카메라(360)를 찾는 것을 특히 어렵게 만들 수 있다. 일부 예에서, 프롬프트는 오디오 출력 디바이스(344) 또는 컴퓨팅 디바이스의 스피커(344)에 의해 출력되는 가청 프롬프트일 수 있다. 일부 예에서, 진행 표시자는 이미지 데이터 캡처의 진행 및 완료 표시를 제공하기 위한 출력일 수 있다. 도 7h에 도시된 예는 진행 바(785) 형태의 시각적 진행 표시자를 포함한다. 디스플레이된 이미지의 색상 변화, 프롬프트(781)의 깜박임 및 기타 시각적 표시자와 같은 다른 유형의 시각적 표시자가 디스플레이될 수 있다. 일부 예에서, 표시자는 진행 및 완료의 표시를 제공하는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력된 가청 표시자일 수 있다. 일부 예에서, 설정된 임계값은 프롬프트(781)의 출력 이후 경과된 설정된 기간에 기초하여 측정될 수 있다. 일부 예에서, 설정된 임계값은 컴퓨팅 디바이스(300)의 검출된 체류(dwell) 시간에 기초하여(예를 들어 컴퓨팅 디바이스(300)의 위치 및 방향 센서들에 의해 제공된 데이터에 기초하여) 측정될 수 있다. 일부 예에서, 설정된 임계값은 사용자 시선이 안정화되었음을 나타내는 프롬프트(781)의 출력 후 설정된 시간 동안 캡처된 이미지 데이터의 정지 위치에서 설정된 특징의 검출에 기초하여 측정될 수 있다.

일부 예에서, 광학 데이터는 사용자 시선이 카메라(360)를 명확하게 향하지 않는 상황에서 검출될 수 있다. 예를 들어, 컴퓨팅 디바이스와 관련된 알려진 구성 정보(모델, 디스플레이 디바이스(342)의 해상도, 카메라(360)의 위치 및 기타 정보)가 주어지면 3차원 시선 위치가 결정될 수 있다. 도 7i는 광학 데이터 및 측정치가 추출될 수 있는 이미지 데이터를 캡처할 때 사용자에게 안내를 제공하기 위해 제8 사용자 인터페이스 화면(780) 대신에 또는 그에 추가하여 표시될 수 있는 제9 사용자 인터페이스 화면(790)을 도시한다. 도 7i에 도시된 예에서, 사용자가 디스플레이 디바이스(342)에 디스플레이된 아이콘(792)으로 시선을 향하도록 안내하는 예시적인 프롬프트(791)가 디스플레이된다. 일부 상황에서, 아이콘(792)은 비교적 쉽게 초점을 맞출 수 있는 객체를 제공할 수 있고 시선 고정은 비교적 빠르게 획득될 수 있다. 일부 예에서, 프롬프트는 오디오 출력 디바이스(344) 또는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력된 청각 프롬프트일 수 있으며, 이는 사용자에게 시선을 아이콘(792)으로 향하도록 프롬프트한다. 일부 예에서, 진행 표시자는 예를 들어 진행 바(795) 또는 디스플레이된 이미지의 색상 변경, 프롬프트(791) 및/또는 아이콘(792)의 깜박임 및 기타 시각적 표시자를 포함하는 다른 유형의 시각적 표시자의 형태로 출력될 수 있다. 일부 예에서, 표시자는 컴퓨팅 디바이스(300)의 스피커(344)에 의해 출력되는 가청 표시자일 수 있다. 일부 예에서, 설정된 임계값은 프롬프트(791)의 출력 이후 경과된 설정된 기간에 기초하여 측정될 수 있다. 일부 예에서, 설정된 임계값은 컴퓨팅 디바이스(300)의 검출된 체류 시간에 기초하여(예를 들어 컴퓨팅 디바이스(300)의 위치 및 방향 센서에 의해 제공되는 데이터에 기초하여) 측정될 수 있다. 일부 예에서, 설정된 임계값은 사용자 시선이 안정화되었음을 나타내는 프롬프트(791)의 출력 후 설정된 시간 동안 캡처된 이미지 데이터의 정지 위치에서 설정된 특징의 검출에 기초하여 측정될 수 있다.

일부 예에서, 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션은 도 7j에 도시된 바와 같이 디스플레이 디바이스(342)가 이미지 데이터를 캡처하는 동안 예를 들어 실질적으로 흰색 디스플레이 화면과 같은 흑백 디스플레이 화면을 출력하게 할 수 있다. 흑백 디스플레이 화면은 컴퓨팅 디바이스(300)를 응시하는 사용자의 동공에 반사될 수 있다. 이미지 데이터 분석 결과, 흑백 디스플레이 화면의 반사가 사용자의 동공 중심에 위치하지 않는 것으로 결정(판단)되면, 사용자의 시선이 카메라(360)에 제대로 초점이 맞지 않거나 향하지 않는 것으로 결정할 수 있다. 이러한 상황에서, 시스템은 사용자에게 이미지 데이터의 재캡처를 시작하도록 프롬프트할 수 있고, 도 7h 및/또는 7i에 도시된 바와 같이 프롬프트를 제공할 수 있다.

도 6a 내지 도 7j는 컴퓨팅 디바이스(300)를 작동하는 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스(100)의 피팅을 위해 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션의 예시적인 사용자 인터페이스 화면을 도시한다. 사용자 인터페이스 화면은 머리 장착형 컴퓨팅 디바이스(100)의 피팅을 위해 이미지 데이터가 수집됨에 따라 피팅 세션 동안 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에서 사용자에게 디스플레이될 수 있다. 도 6a-7j에 도시된 예시적인 사용자 인터페이스 화면 중 일부에서, 사용자의 예시적인 이미지는 단순히 컴퓨팅 디바이스(300)/카메라(360)에 대한 사용자 머리 및 시선 위치를 예시하기 위해 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342) 상에 도시된다. 예시적인 사용자 인터페이스 화면의 구현에서, 사용자의 이미지는 컴퓨팅 디바이스(300)의 디스플레이 디바이스(342)에 디스플레이되거나 반드시 디스플레이될 필요는 없으며, 특히 이미지 디스플레이로 인해 사용자가 자신의 시선을 돌리게 되는 경우에는 더욱 그렇다.

자연스러운 머리 위치나 자세, 즉 사용자가 자연스럽게 자신의 머리를 잡는 방식을 포함한 이미지 데이터의 캡처는 사용자의 얼굴/머리의 정확한 3차원 모델을 생성할 때의 및 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스(100)의 정확한 크기 조정 및/또는 피팅의 구성요소일 수 있다. 일부 예에서, 사용자의 자연스러운 머리 위치를 나타내는 이미지 데이터의 캡처는 사용자에 의해 조작되는 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션과의 사용자 상호작용에 의해 촉진될 수 있다. 위에 설명된 예에서, 컴퓨팅 디바이스(300)의 카메라(360)가 사용자를 향하도록 사용자가 컴퓨팅 디바이스(300)를 쥐고, 자화상(self-portrait) 모드 또는 셀카 모드의 동작을 호출한다. 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스(100)의 사이징 및/또는 피팅을 위해 컴퓨팅 디바이스(300)에서 실행되는 애플리케이션은 사용자의 얼굴/머리의 이미지를 캡처하기 위해 이미지 데이터의 캡처를 위한 이 동작 모드를 호출할 수 있다.

도 6a 내지 도 7j와 관련하여 위에서 설명한 바와 같이 예시적인 컴퓨팅 디바이스의 사용자 조작을 통해 캡처된 이미지 데이터는 사용자의 얼굴/머리의 3차원 모델을 생성하는 데 사용될 수 있다. 일부 예에서, 이미지 데이터는 알려진 기준 디바이스(400)의 특징을 검출하고 식별하기 위해 분석될 수 있다. 위에서 설명한 예에서, 이미지 데이터는 예를 들어, 프레임(402)의 브릿지부(409), 각각의 테두리부(403)와 안경다리 암부(405)가 결합되는 힌지 영역 및/또는 프레임(402)이 방향을 변경하는 힌지 영역 등과 같은 안경의 특징을 검출하기 위해 분석될 수 있다. 이러한 특징과 연관된 알려진 측정은 이미지 데이터 내에서 검출된 다른 특징과 연관된 측정치의 결정에 적용될 수 있다. 일부 예에서, 사이징/핏 시뮬레이터는 컴퓨팅 디바이스(300) 및/또는 3차원 모델에 의해 제공된 이미지 데이터를 분석하여 사용자에게 웨어러블 컴퓨팅 디바이스(100)를 피팅하는 데 사용될 머리 자세 정보 및 시선 정보를 추출 및/또는 생성할 수 있다.

3차원 모델과 관련된 데이터에 기초하여, 시뮬레이터는 사용자의 웨어러블 핏 및/또는 디스플레이 핏 요구사항을 충족할 수 있는 도 1b 및 도 1c에 도시된 스마트 안경(100)의 예시적인 프레임(102)과 같은 하나 이상의 프레임을 식별할 수 있다. 일부 예에서, 하나 이상의 프레임은 피팅에 이용 가능한 복수의 서로 다른 프레임 모델 목록으로부터 선택될 수 있다. 알려진 구성 정보(사이징/핏, 치수, 형태, 윤곽, 경사각 및 기타 구성 정보)는 다양한 프레임 모델과 관련하여 데이터베이스에 미리 저장될 수 있다. 예를 들어, 구성 정보는 도 3에 도시된 바와 같이 컴퓨팅 디바이스(300)와 통신하는 외부 리소스(302)에서와 같이 시뮬레이터에 의해 액세스 가능한 데이터베이스에 저장될 수 있다. 시뮬레이터는 컴퓨팅 디바이스(300)를 조작하는 사용자에 의해 캡처된 이미지 데이터에서 검출된 얼굴/두개골 특징/측정치, 광학적 특성 등을 데이터베이스에 저장된 프레임의 다양한 모델의 알려진 구성 정보와 비교할 수 있다. 비교에 기초하여, 시뮬레이터는 하나 이상의 프레임이 사용자에게 핏(웨어러블 핏 및/또는 디스플레이 핏)을 제공할 수 있다고 일치하거나 결정할 수 있다.

위에서 설명된 바와 같이 검출된 측정치에 기초하여 사용자 머리의 3차원 모델 생성과 웨어러블 컴퓨팅 디바이스의 피팅을 위한 시뮬레이터와의 통신 및 작동에 대한 보다 자세한 설명은 미국 출원 번호 17/302,108 및 미국 출원 번호 17,302,487에서 찾을 수 있으며, 이의 전체 내용은 참조로 본 명세서에 포함된다.

도 8은 본 명세서에 설명된 구현에 따른 예시적인 방법(800)의 흐름도이다. 예시적인 방법에서, 컴퓨팅 시스템은 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터 내에서 공지 스케일을 갖는 알려진 기준 디바이스를 검출하고, 3차원 모델을 생성하기 위해 상기 캡처된 이미지 데이터 내의 얼굴 및/또는 두개골 및/또는 광학 특징에 공지 스케일을 적용하고, 3차원 모델에 기초하여 사용자에게 웨어러블 컴퓨팅 디바이스를 피팅(맞추)하도록 작동된다.

전술한 바와 같이, (예를 들어, 전술한 컴퓨팅 디바이스(300)와 같은) 컴퓨팅 디바이스를 조작하는 사용자는 컴퓨팅 디바이스가 애플리케이션을 실행하게 할 수 있다(블록 810). 애플리케이션은 이미지 데이터의 캡처, 알려진 스케일을 갖는 알려진 기준 디바이스의 검출, 및 캡처된 이미지 데이터로부터의 웨어러블 핏 측정치 및/또는 디스플레이 핏 측정치 및/또는 안과적 핏 측정치의 결정을 제공할 수 있다. 애플리케이션은 시스템이 알려진 기준 디바이스와 연관된 하나 이상의 측정치에 대한 사용자 입력을 수신할 수 있도록 하는 모듈의 동작을 실행할 수 있다(블록 815, 블록 820). 예를 들어, 알려진 기준 디바이스와 연관된 하나 이상의 측정치는 알려진 기준 디바이스의 하나 이상의 크기를 나타낼 수 있다. 위에 설명된 예에서와 같이 알려진 기준 디바이스가 안경인 예에서, 알려진 측정치에는 예를 들어 렌즈 폭 및/또는 브릿지 및/또는 안경다리 암 길이 및/또는 전면 폭이 포함될 수 있다. 애플리케이션은 시스템이 동공간 거리를 포함한 광학 측정치의 사용자 입력을 수신할 수 있도록 하는 모듈의 동작을 실행할 수 있다(블록 825, 블록 830). 애플리케이션은 시스템이 사용자 입력, 시력 교정 파라미터의 업로드, 또는 사용자의 시력 교정 처방을 수신할 수 있도록 하는 모듈의 동작을 실행할 수 있다(블록 835, 블록 840). 사용자 지향(user-directed) 이미지 캡처 프로세스 동안 캡처된 이미지 데이터가 수신될 수 있다(블록 850). 이미지 데이터는 사용자가 공지된 기준 디바이스를 착용한 이미지를 포함할 수 있다. 따라서, 이미지 데이터에는 사용자의 머리가 포함딜 수 있다(즉, 사용자 머리의 하나 이상의 이미지가 포함될 수 있다). 이미지 데이터는 알려진 기준 디바이스를 포함할 수 있다(즉, 알려진 기준 디바이스의 하나 이상의 이미지를 포함한다). 시스템은 이미지 데이터를 분석하여 알려진/관련된 측정치를 갖는 알려진 기준 디바이스를 검출할 수 있다(블록 860). 시스템은 이미지 데이터를 분석하여 이미지 데이터 내의 사용자와 연관된 특징을 검출할 수 있다(블록 870). 검출된 특징에는 예를 들어 얼굴 특징/랜드마크/윤곽, 예컨대 동공 높이, 동공간 거리, 좌측/우측 단안 동공 거리, 눈의 내부 및/또는 외부 모서리(안구, 안구, 또는 눈꺼풀) 등을 포함하는 광학적 특징이 포함될 수 있다. 시스템은 알려진 기준 디바이스와 연관된 알려진 스케일을 적용하여 이미지 데이터에서 검출된 얼굴 및/또는 광학적 특징과 연관된 측정치를 결정할 수 있다(블록 880). 이러한 측정은 사용자의 얼굴/머리의 3차원 모델을 생성, 정의 또는 생산하는 데 사용될 수 있다. 시스템은 이 3차원 모델을 사용하여 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안과적 핏 파라미터를 결정할 수 있다(블록 890). 결정된 핏 파라미터는 사용자를 위한 머리 장착형 컴퓨팅 디바이스를 선택하고 피팅하는 데 사용될 수 있다(블록 895). 시스템은 복수의 머리 장착형 웨어러블 디바이스 중 하나 이상의 머리 장착형 웨어러블 디바이스를 이용 가능한 머리 장착형 웨어러블 디바이스의 데이터베이스 및 복수의 이용 가능한 머리 장착형 웨어러블 디바이스와 연관된 구성 정보로부터의 핏 파라미터에 기초하여 사용자 요구 및 선호도에 매칭시킬 수 있다. 시스템은 복수의 이용 가능한 머리 장착형 웨어러블 디바이스와 연관된 구성 정보를 캡처된 이미지 정보에서 검출된 디스플레이 핏 측정치 및/또는 안과적 핏 측정치와 비교할 수 있다. 시스템은 비교 결과를 사용하여 웨어러블 핏 및/또는 디스플레이 핏 및/또는 안구적 핏 요구 사항을 충족하는 하나 이상의 머리 장착형 컴퓨팅 디바이스를 제공할 수 있다.

도 9는 (예를 들어, 전술한 클라이언트 컴퓨팅 디바이스 및/또는 서버 컴퓨팅 디바이스 및/또는 제공자 리소스를 구현하기 위해) 본 명세서에 설명된 기술과 함께 사용될 수 있는 컴퓨터 디바이스(900) 및 모바일 컴퓨터 디바이스(950)의 예를 도시한다. 컴퓨팅 디바이스(900)는 프로세서(902), 메모리(904), 저장 디바이스(906), 메모리(904)와 고속 확장 포트(910)에 연결되는 고속 인터페이스(908), 및 저속 버스(914)와 저장 디바이스(906)에 연결되는 저속 인터페이스(912)를 포함한다. 각각의 구성 요소(902, 904, 906, 908, 910, 912)는 다양한 버스를 사용하여 상호 연결되고, 공통 마더보드에 장착되거나 적절한 다른 방식으로 장착될 수 있다. 프로세서(902)는 고속 인터페이스(908)에 결합된 디스플레이(916)와 같은 외부 입/출력 디바이스에 GUI에 대한 그래픽 정보를 디스플레이하기 위해 메모리(904) 또는 저장 디바이스(906)에 저장된 명령들을 비롯하여 컴퓨팅 디바이스(900) 내에서 실행하기 위한 명령들을 처리할 수 있다. 다른 구현에서, 다중 메모리 및 메모리 유형과 함께 다중 프로세서 및/또는 다중 버스가 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스(900)는 필요한 동작들의 일부를 제공하는 각 디바이스(예를 들어, 서버 뱅크, 블레이드 서버 그룹, 또는 다중 프로세서 시스템)와 연결될 수 있다.

메모리(904)는 컴퓨팅 디바이스(900) 내에 정보를 저장한다. 일 구현에서, 메모리(904)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(904)는 비휘발성 메모리 유닛 또는 유닛들이다. 메모리(904)는 또한 자기 또는 광 디스크와 같은 컴퓨터 판독 가능 매체의 다른 형태일 수도 있다.

저장 디바이스(906)는 컴퓨팅 디바이스(900)에 대용량 저장 디바이스를 제공할 수 있다. 일 구현에서, 저장 디바이스(906)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 기타 유사한 고체 상태 메모리 디바이스와 같은 컴퓨터 판독 가능 매체, 또는 저장 영역 네트워크 또는 기타 구성의 디바이스를 포함한 디바이스 어레이이거나 이를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체에 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 위에서 설명된 것과 같은 하나 이상의 방법을 수행하는 명령들을 포함할 수 있다. 정보 매체는 메모리(904), 저장 디바이스(906), 또는 프로세서(902)의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.

고속 컨트롤러(908)는 컴퓨팅 디바이스(900)에 대한 대역폭 집약적 동작을 관리하는 반면 저속 컨트롤러(912)는 낮은 대역폭 집약적 동작을 관리한다. 이러한 기능 할당은 단지 예시일 뿐이다. 일 구현에서, 고속 컨트롤러(908)는 메모리(904), 디스플레이(916)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(910)에 결합된다. 구현에서, 저속 컨트롤러(912)는 저장 디바이스(906) 및 저속 확장 포트(914)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 예를 들어 네트워크 어댑터를 통해 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입/출력 디바이스 또는 스위치나 라우터와 같은 네트워킹 디바이스에 연결될 수 있다.

컴퓨팅 디바이스(900)는 도면에 도시된 바와 같이 다수의 다른 형태로 구현될 수 있다. 예를 들어, 이는 표준 서버(920)로 구현되거나 이러한 서버 그룹에서 여러 번 구현될 수 있다. 이는 랙 서버 시스템(924)의 일부로 구현될 수도 있다. 또한, 이는 노트북 컴퓨터(922)와 같은 개인용 컴퓨터에서도 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(900)의 구성요소는 디바이스(950)와 같은 모바일 디바이스(미도시)의 다른 구성요소와 결합될 수 있다. 이러한 디바이스 각각은 컴퓨팅 디바이스(900, 950) 중 하나 이상을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스(900, 950)로 구성될 수 있다.

컴퓨팅 디바이스(950)는 특히 프로세서(952), 메모리(964), 디스플레이(954)와 같은 입/출력 디바이스, 통신 인터페이스(966) 및 트랜시버(968)를 포함한다. 디바이스(950)에는 추가 저장 디바이스를 제공하기 위해 마이크로드라이브 또는 기타 디바이스와 같은 저장 디바이스가 제공될 수도 있다. 구성요소(950, 952, 964, 954, 966, 968) 각각은 다양한 버스를 사용하여 상호 연결되며, 일부 구성요소는 공통 마더보드에 장착되거나 적절한 다른 방식으로 장착될 수 있다.

프로세서(952)는 메모리(964)에 저장된 명령들을 포함하여 컴퓨팅 디바이스(950) 내에서 명령들을 실행할 수 있다. 프로세서는 별도의 다중 아날로그 및 디지털 프로세서를 포함하는 칩의 칩셋으로 구현될 수 있다. 프로세서는 예를 들어, 사용자 인터페이스의 제어, 디바이스(950)에 의해 실행되는 애플리케이션 및 디바이스(950)에 의한 무선 통신과 같은 디바이스(950)의 다른 구성요소의 조정을 제공할 수 있다.

프로세서(952)는 디스플레이(954)에 연결된 제어 인터페이스(958) 및 디스플레이 인터페이스(956)를 통해 사용자와 통신할 수 있다. 디스플레이(954)는 예를 들어 TFT LCD(박막 트랜지스터 액정 디스플레이), LED(발광 다이오드) 또는 OLED(유기 발광 다이오드) 디스플레이, 또는 기타 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(956)는 그래픽 및 기타 정보를 사용자에게 제시하기 위해 디스플레이(954)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(958)는 사용자로부터 커맨드를 수신하고 이를 프로세서(952)에 제출하기 위해 변환할 수 있다. 또한, 외부 인터페이스(962)는 프로세서(952)와 통신하여 제공되어 디바이스(950)와 다른 디바이스의 근거리 통신을 가능하게 할 수 있다. 외부 인터페이스(962)는 예를 들어 일부 구현에서는 유선 통신을 제공하고 다른 구현에서는 무선 통신을 제공할 수 있으며, 다중 인터페이스도 사용될 수 있다.

메모리(964)는 컴퓨팅 디바이스(950) 내에 정보를 저장한다. 메모리(964)는 컴퓨터 판독 가능 매체(들), 휘발성 메모리 유닛(들), 또는 비휘발성 메모리 유닛(들) 중 하나 이상으로 구현될 수 있다. 확장 메모리(974)는 또한 예를 들어 SIMM(Single In-Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(972)를 통해 디바이스(950)에 제공되고 연결될 수 있다. 이러한 확장 메모리(974)는 디바이스(950)에 대한 추가 저장 공간을 제공할 수 있거나 디바이스(950)에 대한 애플리케이션 또는 기타 정보를 저장할 수도 있다. 구체적으로, 확장 메모리(974)는 전술한 프로세스를 수행하거나 보완하기 위한 명령들을 포함할 수 있고, 보안 정보도 포함할 수 있다. 따라서, 예를 들어 확장 메모리(974)는 디바이스(950)에 대한 보안 모듈로서 제공될 수 있으며 디바이스(950)의 보안 사용을 허용하는 명령들로 프로그래밍될 수 있다. 또한, SIMM 카드에 해킹 불가능한 방식으로 식별 정보를 배치하는 등의 추가 정보와 함께 보안 애플리케이션이 SIMM 카드를 통해 제공될 수 있다.

메모리는 예를 들어 후술하는 바와 같이 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현에서, 컴퓨터 프로그램 제품은 정보 매체에 명백하게 구현된다. 컴퓨터 프로그램 제품에는 실행될 때 전술한 것과 같은 하나 이상의 방법을 수행하는 명령들이 포함되어 있다. 정보 매체는 예를 들어 트랜시버(968) 또는 외부 인터페이스(962)를 통해 수신될 수 있는 메모리(964), 확장 메모리(974) 또는 프로세서(952)의 메모리와 같은 컴퓨터 판독 가능 매체 또는 기계 판독 가능 매체이다.

디바이스(950)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(966)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(966)는 무엇보다도 GSM 음성 통화, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수 트랜시버(968)를 통해 발생할 수 있다. 또한, 블루투스, Wi-Fi 또는 기타 트랜시버(미도시)를 사용하는 등의 단거리 통신이 발생할 수도 있다. 또한, GPS(Global Positioning System) 수신기 모듈(970)은 디바이스(950)에서 실행되는 애플리케이션에 의해 적절하게 사용될 수 있는 추가 내비게이션 관련 무선 데이터 및 위치 관련 무선 데이터를 디바이스(950)에 제공할 수 있다.

디바이스(950)는 또한 사용자로부터 음성 정보를 수신하고 이를 사용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(960)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(960)은 마찬가지로 예를 들어 디바이스(950)의 핸드셋에서 스피커를 통해 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 소리에는 음성 전화 통화의 소리가 포함될 수 있고, 녹음된 소리(예를 들어, 음성 메시지, 음악 파일 등)가 포함될 수 있으며, 디바이스(950)에서 작동하는 애플리케이션에 의해 생성된 소리도 포함될 수 있다.

컴퓨팅 디바이스(950)는 도면에 도시된 바와 같이 다수의 다른 형태로 구현될 수 있다. 예를 들어, 이는 휴대 전화(980)로 구현될 수 있다. 이는 스마트폰(982), PDA(Personal Digital Assistant) 또는 기타 유사한 모바일 디바이스의 일부로서 구현될 수도 있다.

본 명세서에 설명된 시스템 및 기술의 다양한 구현은 디지털 전자 회로, 집적 회로, 주문형 집적회로(ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이들 다양한 구현은 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고 이들로 데이터 및 명령을 전송하도록 결합된 특수 또는 범용일 수 있는 적어도 하나의 프로그래밍 가능한 프로세서를 포함하는 프로그래밍 가능한 시스템에서 실행 가능 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.

이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 함)에는 프로그래밍 가능 프로세서에 대한 기계 명령들이 포함되어 있으며 고급 절차적 및/또는 객체 지향적 프로그래밍 언어 및/또는 어셈블리/기계로 구현될 수 있다. 본 명세서에 사용되는 바와 같이, "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는 기계 판독 가능 신호로서 기계 명령들을 수신하는 기계 판독 가능 매체를 비롯하여, 프로그래밍 가능 프로세서에 기계 명령 및/또는 데이터를 제공하는 데 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 논리 장치(PLD))를 지칭한다. "기계 판독 가능 신호"라는 용어는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하는 데 사용되는 모든 신호를 지칭한다.

사용자와의 상호 작용을 제공하기 위해, 여기에 설명된 시스템과 기술은 사용자에게 정보를 표시하기 위한 디스플레이 디바이스(LED, OLED 또는 LCD 모니터/액정 디스플레이)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖춘 컴퓨터에서 구현될 수 있다. 사용자와의 상호작용을 제공하기 위해 다른 종류의 디바이스도 사용될 수 있는데, 예를 들어, 사용자에게 제공되는 피드백은 모든 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함한 모든 형태로 수신될 수 있다.

본 명세서에 설명된 시스템 및 기술은 백엔드 구성요소(예를 들어, 데이터 서버)를 포함하거나, 미들웨어 구성 요소(예를 들어, 애플리케이션 서버)를 포함하거나, 프런트엔드 구성 요소(예를 들어, 사용자가 본 명세서에 설명된 주제의 구현과 상호 작용할 수 있는 그래픽 사용자 인터페이스, 웹 브라우저 또는 앱을 갖춘 클라이언트 컴퓨터)를 포함하거나, 또는 백엔드, 미들웨어 또는 프런트엔드 구성 요소 중 하나 이상의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소는 통신 네트워크와 같은 디지털 데이터 통신의 모든 형태나 매체를 통해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망("LAN"), 광역 통신망("WAN") 및 인터넷이 포함된다.

컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램으로 인해 발생한다.

일부 구현예에서, 도면에 도시된 컴퓨팅 디바이스는 AR 헤드셋/HMD 디바이스(990)와 인터페이스하여 물리적 공간 내에 삽입된 컨텐츠를 보기 위한 증강 환경을 생성하는 센서들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(950) 또는 도면에 도시된 다른 컴퓨팅 디바이스에 포함된 하나 이상의 센서는 AR 헤드셋(990)에 입력을 제공하거나 일반적으로 AR 공간에 입력을 제공할 수 있다. 센서에는 터치스크린, 가속도계, 자이로스코프, 압력 센서, 생체 인식 센서, 온도 센서, 습도 센서 및 주변광 센서가 포함될 수 있지만 이에 한정되지는 않는다. 컴퓨팅 디바이스(950)는 센서들을 사용하여 AR 공간에 대한 입력으로서 사용될 수 있는 AR 공간에서의 컴퓨팅 디바이스의 절대 위치 및/또는 검출된 회전을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(950)는 컨트롤러, 레이저 포인터, 키보드, 무기 등과 같은 가상 객체로서 AR 공간에 통합될 수 있다. AR 공간에 통합될 때 사용자에 의한 컴퓨팅 디바이스/가상 객체의 위치 지정은 사용자가 AR 공간에서 특정 방식으로 가상 객체를 볼 수 있도록 컴퓨팅 디바이스를 위치시키는 것을 허용할 수 있다. 예를 들어, 가상 객체가 레이저 포인터를 나타내는 경우, 사용자는 마치 실제 레이저 포인터인 것처럼 컴퓨팅 디바이스를 조작할 수 있다. 사용자는 컴퓨팅 디바이스를 좌우, 상하, 원형 등으로 움직일 수 있으며 레이저 포인터를 사용하는 것과 유사한 방식으로 디바이스를 사용할 수 있다. 일부 구현에서, 사용자는 가상 레이저 포인터를 사용하여 타겟 위치를 조준할 수 있다.

일부 구현에서, 컴퓨팅 디바이스(950)에 포함되거나 이에 연결되는 하나 이상의 입력 디바이스는 AR 공간에 대한 입력으로서 사용될 수 있다. 입력 디바이스에는 터치스크린, 키보드, 하나 이상의 버튼, 트랙패드, 터치패드, 포인팅 디바이스, 마우스, 트랙볼, 조이스틱, 카메라, 마이크로폰, 입력 기능이 있는 이어폰이나 버드, 게임 컨트롤러, 또는 기타 연결 가능한 입력 디바이스가 포함될 수 있지만 이에 한정되지 않는다. 컴퓨팅 디바이스가 AR 공간에 통합될 때 컴퓨팅 디바이스(950)에 포함된 입력 디바이스와 상호작용하는 사용자는 AR 공간에서 특정 동작이 발생하도록 할 수 있다.

일부 구현에서, 컴퓨팅 디바이스(950)의 터치스크린은 AR 공간에서 터치패드로서 렌더링될 수 있다. 사용자는 컴퓨팅 디바이스(950)의 터치스크린과 상호작용할 수 있다. 예를 들어 AR 헤드셋(990)에서 상호작용은 AR 공간의 렌더링된 터치패드에서의 움직임으로 렌더링된다. 렌더링된 움직임은 AR 공간의 가상 객체를 제어할 수 있다.

일부 구현에서, 컴퓨팅 디바이스(950)에 포함된 하나 이상의 출력 디바이스는 AR 공간에 있는 AR 헤드셋(990)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각적, 촉각적 또는 오디오일 수 있다. 출력 및/또는 피드백에는 진동, 하나 이상의 조명이나 스트로보의 켜기 및 끄기 또는 깜박임 및/또는 섬광(flashing), 알람 소리, 차임벨 재생, 노래 재생, 및 오디오 파일 재생 등이 있지만 이에 한정되지 않는다. 출력 디바이스에는 진동 모터, 진동 코일, 압전 디바이스, 정전기 디바이스, 발광 다이오드(LED), 스트로브 및 스피커가 포함될 수 있지만 이에 한정되지 않는다.

일부 구현에서, 컴퓨팅 디바이스(950)는 컴퓨터가 생성한 3D 환경에서 다른 객체로서 나타날 수 있다. 사용자와 컴퓨팅 디바이스(950)의 상호작용(예를 들어, 회전, 흔들기, 터치스크린 터치, 터치스크린에서 손가락 스와이프)은 AR 공간의 객체와의 상호작용으로 해석될 수 있다. AR 공간의 레이저 포인터의 예에서, 컴퓨팅 디바이스(950)는 컴퓨터로 생성된 3D 환경에서 가상 레이저 포인터로서 나타난다. 사용자가 컴퓨팅 디바이스(950)를 조작함에 따라 AR 공간에 있는 사용자는 레이저 포인터의 움직임을 보게 된다. 사용자는 컴퓨팅 디바이스(950) 또는 AR 헤드셋(990) 상의 AR 환경에서 컴퓨팅 디바이스(950)와의 상호작용으로부터 피드백을 수신한다. 컴퓨팅 디바이스와 사용자의 상호 작용은 제어 가능한 디바이스에 대한 AR 환경에서 생성된 사용자 인터페이스와의 상호 작용으로 변환될 수 있다.

일부 구현에서, 컴퓨팅 디바이스(950)는 터치스크린을 포함할 수 있다. 예를 들어, 사용자는 제어 가능한 디바이스의 사용자 인터페이스와 상호작용하기 위해 터치스크린과 상호작용할 수 있다. 예를 들어, 터치스크린은 제어 가능한 디바이스의 속성을 제어할 수 있는 슬라이더와 같은 사용자 인터페이스 요소를 포함할 수 있다.

컴퓨팅 디바이스(900)는 랩탑, 데스크탑, 워크스테이션, PDA, 서버, 블레이드 서버, 메인프레임 및 기타 적절한 컴퓨터를 포함하지만 이에 제한되지 않는 다양한 형태의 디지털 컴퓨터 및 디바이스를 나타내도록 의도되었다. 컴퓨팅 디바이스(950)는 PDA, 휴대폰, 스마트폰 및 기타 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내도록 의도되었다. 여기에 도시된 구성 요소, 해당 연결 및 관계, 해당 기능은 단지 예일 뿐이며 이 문서에 설명 및/또는 청구된 발명의 구현을 제한하려는 의미는 아니다.

다수의 실시예가 설명되었다. 그럼에도 불구하고, 본 명세서의 정신과 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있음이 이해될 것이다.

또한, 도면에 도시된 논리 흐름은 원하는 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 필요로 하지 않는다. 또한, 설명된 흐름으로부터 다른 단계가 제공되거나 단계가 제거될 수 있으며, 설명된 시스템에 다른 구성요소가 추가되거나 제거될 수 있다. 따라서, 다른 실시예는 다음 청구범위의 범위 내에 있다.

위의 설명에 더하여, 사용자는 본 명세서에 설명된 시스템, 프로그램 또는 기능이 사용자 정보(예를 들어, 사용자의 소셜 네트워크, 소셜 활동, 활동, 직업, 사용자 선호도 또는 사용자의 현재 위치에 대한 정보)의 수집을 가능하게 하는지 여부와 사용자가 서버에서 컨텐츠 또는 통신을 전송할 수 있는지 여부에 대해 사용자가 선택할 수 있도록 하는 제어 기능(control)을 제공받을 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거될 수 있도록 저장되거나 사용되기 전에 하나 이상의 방식으로 처리될 수 있다. 예를 들어, 사용자의 신원은 사용자에 대해 어떠한 개인 식별 정보도 결정될 수 없도록 처리될 수 있거나, 사용자의 지리적 위치는 특정 사용자의 위치가 확인될 수 없도록 위치 정보가 획득된 곳에서 일반화(예를 들어, 도시, 우편번호 또는 주 수준)될 수 있다. 따라서, 사용자는 자신에 대해 어떤 정보가 수집되고, 해당 정보가 어떻게 사용되며 및 어떤 정보가 사용자에게 제공되는지에 대한 제어 기능을 가질 수 있다.

설명된 구현의 특정 특징이 본 명세서에 설명된 바와 같이 예시되었지만, 이제 당업자는 많은 수정, 대체, 변경 및 등가물을 생각할 수 있을 것이다. 따라서, 첨부된 청구범위는 구현의 범위 내에 속하는 모든 수정 및 변경을 포괄하도록 의도된 것임을 이해해야 한다. 이는 예시로서 제시된 것이며, 이에 국한되지 않으며, 형태나 세부 사항이 다양하게 변경될 수 있다는 점을 이해해야 한다. 본 명세서에 설명된 디바이스 및/또는 방법의 임의의 부분은 상호 배타적인 조합을 제외하고 임의의 조합으로 조합될 수 있다. 본 명세서에 설명된 구현은 설명된 다양한 구현의 기능, 구성 요소 및/또는 특징의 다양한 조합 및/또는 하위 조합을 포함할 수 있다.

Claims (20)

1. 디스플레이 디바이스를 포함하는 머리 장착형 웨어러블 컴퓨팅 디바이스를 피팅하는 컴퓨터 구현 방법으로서, 상기 방법은,
   컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해, 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계와;
   애플리케이션을 통해, 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터를 수신하는 단계 - 이미지 데이터에는 사용자의 머리 및 알려진 기준 디바이스가 포함됨 - 와;
   수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하는 단계와;
   이미지 데이터 내의 알려진 기준 디바이스와 스케일을 연관시키는 단계와;
   수신된 이미지 데이터에서 사용자의 머리의 복수의 특징을 검출하는 단계와;
   이미지 데이터 내의 알려진 기준 디바이스와 연관된 스케일에 기초하여 사용자의 머리의 검출된 복수의 특징에 대한 각각의 복수의 측정치를 결정하는 단계와;
   사용자 머리의 복수의 특징에 대한 복수의 측정치에 기초하여 사용자 머리의 3차원 모델을 생성하는 단계 - 머리의 복수의 특징에 대한 복수의 측정치는 알려진 기준 디바이스와 연관된 스케일에 기초함 - 와; 그리고
   시뮬레이션 엔진으로부터, 사용자 머리의 3차원 모델에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 수신하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
2. 제1항에 있어서,
   알려진 기준 디바이스는 적어도 하나의 알려진 물리적 특징을 포함하는 웨어러블 디바이스이고, 그리고
   알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계는,
   컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 적어도 하나의 알려진 물리적 특징을 검출하는 단계와; 그리고
   알려진 측정치를 검출된 적어도 하나의 알려진 물리적 특징과 연관시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
3. 제1항 또는 제2항에 있어서,
   알려진 기준 디바이스는 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 사용자에 의해 착용된 웨어러블 디바이스이고, 그리고
   알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계는,
   웨어러블 디바이스의 프레임의 렌즈 부분의 폭에 대응하는 제1 측정치를 수신하는 단계와;
   프레임의 브릿지부의 폭에 대응하는 제2 측정치를 수신하는 단계 - 프레임의 전면 폭 측정치는 제1 측정치에 제2 측정치를 더한 값의 2배와 동일함 - 와; 그리고
   프레임의 안경다리 암부(temple arm portion)의 길이에 대응하는 제3 측정치를 수신하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
4. 제3항에 있어서,
   수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하는 단계 및 스케일을 이미지 데이터 내의 알려진 기준 디바이스와 연관시키는 단계는,
   이미지 데이터 내에서, 프레임의 제1 테두리부와 제1 안경다리 암부가 결합되는 제1 힌지 영역을 검출하는 단계와;
   이미지 데이터 내에서, 프레임의 제2 테두리부와 제2 안경다리 암부가 결합되는 제2 힌지 영역을 검출하는 단계와;
   제1 힌지 영역과 제2 힌지 영역 사이의 이미지 데이터 내의 거리를 알려진 전면 폭 측정치과 비교하는 단계와; 그리고
   비교에 기초하여 스케일링 인자를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
5. 임의의 선행하는 항에 있어서,
   수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하는 단계 및 스케일을 이미지 데이터 내의 알려진 기준 디바이스와 연관시키는 단계는,
   이미지 데이터에서 알려진 기준 디바이스의 적어도 하나의 특징을 검출하는 단계와;
   알려진 측정치를 검출된 적어도 하나의 특징과 연관시키는 단계와;
   검출된 적어도 하나의 특징과 연관된 알려진 측정치를 상기 검출된 적어도 하나의 특징의 이미지 내의 검출된 크기와 비교하는 단계와; 그리고
   비교에 기초하여 스케일링 인자를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
6. 제5항에 있어서,
   3차원 모델을 생성하는 단계는,
   사용자 머리의 검출된 복수의 특징에 스케일링 인자를 적용하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
7. 임의의 선행하는 항에 있어서,
   알려진 기준 디바이스는 사용자에 의해 착용된 안경이고, 그리고
   알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하는 단계는,
   안경 프레임의 전면 폭 측정치를 수신하는 단계와; 그리고
   안경 프레임의 안경다리 측정치를 수신하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
8. 임의의 선행하는 항에 있어서,
   컴퓨팅 디바이스에 의해 캡처된 이미지 데이터를 수신하는 단계는,
   사용자의 머리와 알려진 기준 디바이스의 정면 이미지 및 사용자의 머리와 알려진 기준 디바이스의 프로필 이미지를 포함하는 이미지 데이터를 수신하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
9. 임의의 선행하는 항에 있어서,
   사용자 머리의 3차원 모델을 생성하는 단계는,
   컴퓨팅 디바이스의 프로세서에 의해 사용자 머리의 3차원 모델을 생성하는 단계; 또는
   컴퓨팅 디바이스에 의해, 이미지 데이터를 외부 컴퓨팅 디바이스로 전송하는 단계; 및
   컴퓨팅 디바이스에 의해, 외부 컴퓨팅 디바이스로부터 사용자 머리의 3차원 모델을 수신하는 단계 중 하나를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
10. 임의의 선행하는 항에 있어서,
    수신된 이미지 데이터에서 복수의 광학 측정치를 검출하는 단계를 더 포함하고, 복수의 광학 측정치는 동공 높이, 동공간 거리, 좌측 동공 거리, 우측 동공 거리, 꼭지점 거리 또는 전경각 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
11. 임의의 선행하는 항에 있어서,
    컴퓨팅 디바이스에서 실행되는 애플리케이션은,
    자화상 동작 모드를 호출하고 사용자에 의해 작동되는 컴퓨팅 디바이스의 전방 카메라 동작을 시작하는 것을 특징으로 하는 컴퓨터 구현 방법.
12. 실행 가능한 명령들을 저장한 비-일시적 컴퓨터 판독 가능 매체로서, 상기 명령들은 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금:
    컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해, 알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하고;
    애플리케이션을 통해, 컴퓨팅 디바이스의 카메라에 의해 캡처된 이미지 데이터를 수신하고, 상기 이미지 데이터에는 사용자의 머리를 나타내는 이미지 데이터와 알려진 기준 디바이스를 나타내는 이미지 데이터가 포함되고;
    수신된 이미지 데이터에서 알려진 기준 디바이스를 검출하고;
    이미지 데이터 내의 알려진 기준 디바이스와 스케일을 연관시키고;
    수신된 이미지 데이터에서 사용자 머리의 복수의 특징을 검출하고;
    이미지 데이터 내의 알려진 기준 디바이스와 연관된 스케일에 기초하여 사용자 머리의 검출된 복수의 특징에 대한 각각의 복수의 측정치를 결정하고;
    알려진 기준 디바이스와 연관된 스케일에 기초하여 결정된 사용자 머리의 복수의 특징의 복수의 측정치에 근거하여 사용자 머리의 3차원 모델을 생성하고; 그리고
    사용자 머리의 3차원 모델에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 수신하도록 하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
13. 제12항에 있어서,
    알려진 기준 디바이스는 적어도 하나의 알려진 물리적 특징을 포함하는 웨어러블 디바이스이고, 그리고
    상기 명령들은,
    적어도 하나의 프로세서로 하여금 적어도 하나의 측정치를 수신하도록 하는 것으로서,
    컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 적어도 하나의 알려진 물리적 특징을 검출하고; 그리고
    알려진 측정치를 검출된 적어도 하나의 알려진 물리적 특징과 연관시키도록 하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
14. 제12항 또는 제13항에 있어서,
    상기 명령들은,
    적어도 하나의 프로세서로 하여금 수신된 이미지 데이터에서 알려진 기준 장치를 검출하고 스케일을 이미지 데이터 내의 알려진 기준 디바이스와 연관시키도록 하는 것으로서,
    이미지 데이터에서 알려진 기준 디바이스의 적어도 하나의 특징을 검출하고;
    알려진 측정치를 검출된 적어도 하나의 특징과 연관시키고;
    검출된 적어도 하나의 특징과 연관된 알려진 측정치를 상기 검출된 적어도 하나의 특징의 이미지 내의 검출된 크기와 비교하고; 그리고
    비교에 기초하여 스케일링 인자를 결정하도록 하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
15. 제14항에 있어서,
    알려진 기준 디바이스는 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서 사용자에 의해 착용된 웨어러블 디바이스이고, 그리고
    상기 명령들은,
    알려진 기준 디바이스와 연관된 적어도 하나의 측정치를 수신하도록 하는 것으로서,
    이미지 데이터에서 사용자가 착용한 웨어러블 디바이스의 프레임의 렌즈 부분의 폭에 대응하는 제1 측정치를 수신하고;
    프레임의 브릿지부의 폭에 대응하는 제2 측정치를 수신하고; 그리고
    프레임의 안경다리 암부의 길이에 대응하는 제3 측정치를 수신하도록 하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
16. 제15항에 있어서,
    상기 명령들은,
    적어도 하나의 프로세서로 하여금 3차원 모델을 생성하도록 하는 것으로서,
    사용자 머리의 검출된 복수의 특징에 결정된 스케일링 인자를 적용하도록 하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
17. 제12항 내지 제16항 중 어느 한 항에 있어서,
    상기 명령들은 적어도 하나의 프로세서로 하여금:
    수신된 이미지 데이터에서 복수의 광학 측정치를 검출하도록 하며, 복수의 광학 측정치는 동공 높이, 동공간 거리, 좌측 동공 거리, 우측 동공 거리, 꼭지점 거리 또는 전경각 중 적어도 하나를 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
18. 디스플레이 디바이스를 포함하는 머리 장착형 컴퓨팅 디바이스를 피팅하는 컴퓨터 구현 방법으로서, 상기 방법은,
    컴퓨팅 디바이스에서 실행되는 애플리케이션을 통해, 컴퓨팅 디바이스에 의해 캡처된 이미지 데이터를 수신하는 단계 - 이미지 데이터에는 사용자의 머리가 포함됨 - 와;
    애플리케이션을 통해, 사용자의 알려진 동공간 거리 측정치를 수신하는 단계와;
    컴퓨팅 디바이스에 의해 캡처된 이미지 데이터에서, 사용자의 제1 동공 및 제2 동공의 위치를 검출하는 단계와;
    수신된 동공간 거리 및 이미지 데이터에서 검출된 제1 동공의 위치와 검출된 제2 동공의 위치 사이의 거리에 기초하여 스케일링 인자를 결정하는 단계와;
    수신된 이미지 데이터에서 사용자의 머리의 복수의 특징을 검출하는 단계와;
    결정된 스케일링 인자에 기초하여 사용자의 머리의 검출된 복수의 특징에 대한 각각의 복수의 측정치를 결정하는 단계와;
    사용자 머리의 복수의 특징에 대한 복수의 측정치에 기초하여 사용자 머리의 3차원 모델을 생성하는 단계 - 머리의 복수의 특징에 대한 복수의 측정치는 알려진 동공간 거리 및 이미지 데이터에서 검출된 제1 동공과 제2 동공간 거리와 연관된 스케일링 인자에 기초함 - 와; 그리고
    시뮬레이션 엔진으로부터, 사용자 머리의 3차원 모델에 기초하여 사용자를 위한 머리 장착형 웨어러블 컴퓨팅 디바이스의 구성을 수신하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
19. 제18항에 있어서,
    3차원 모델을 생성하는 단계는,
    사용자 머리의 검출된 복수의 특징에 스케일링 인자를 적용하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
20. 제18항 또는 제19항에 있어서,
    수신된 이미지 데이터에서 복수의 광학 측정치를 검출하는 단계 - 복수의 광학 측정치는 동공 높이, 동공간 거리, 좌측 동공 거리, 우측 동공 거리, 꼭지점 거리 또는 전경각 중 적어도 하나를 포함함 - 와; 그리고
    검출된 복수의 광학 측정치에 스케일링 인자를 적용하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.