KR20220163291A

KR20220163291A - 투명 삽입 식별

Info

Publication number: KR20220163291A
Application number: KR1020220067472A
Authority: KR
Inventors: 다니엘 쿠르즈; 안셀름 그룬드호에퍼; 투샤르 굽타
Original assignee: 애플 인크.
Priority date: 2021-06-02
Filing date: 2022-06-02
Publication date: 2022-12-09
Also published as: US11948043B2; DE102022113648A1; US20220391608A1; CN115437148A

Abstract

본원에 개시된 다양한 구현예들은, 투명 표면에 관한 정보(예를 들어, 처방 파라미터들)를 식별하기 위해, 투명 표면 상의 마킹(예를 들어, HMD에 대한 처방 렌즈 삽입)을 사용하는 디바이스들, 시스템들 및 방법들을 포함한다. 일부 구현예들에서, 마킹들은 가상 콘텐츠 또는 물리적 환경을 보기 위해 투명 표면을 통해 또는 투명 표면을 사용하여 눈 추적을 방해하지 않는다. 일부 구현예들에서, 전자 디바이스의 이미지 센서로부터 이미지 데이터가 획득되고, 이미지 데이터는 전자 디바이스에 부착된 투명 표면에 대응한다. 이어서, 이미지 데이터에서 코드가 식별되고, 코드는 투명 표면을 수반하는 전자 디바이스의 기능을 방해하지 않으면서 이미지 센서에 의해 투명 표면 상에서 검출가능하다. 일부 구현예들에서, 식별된 코드에 기초하여 전자 디바이스에서 콘텐츠가 제공되고, 콘텐츠는 투명 표면을 통해 볼 수 있다.

Description

투명 삽입 식별{TRANSPARENT INSERT IDENTIFICATION}

본 개시내용은 일반적으로, 부착가능 렌즈들과 함께 사용될 수 있는 헤드-장착 디바이스(HMD)들과 같은 전자 디바이스들에 관한 것이다.

사람들은 때때로 명확하게 보기 위해 처방 안경이 필요하지만, HMD에서 안경을 착용하는 것은 불편할 수 있다.

본원에 개시된 다양한 구현예들은 투명 표면에 관한 정보를 식별하기 위해 투명 표면 상의 기계 판독가능 마킹들을 사용하는 디바이스들, 시스템들 및 방법들을 포함한다. 예를 들어, 투명 표면은 HMD에 대한 처방 렌즈 삽입일 수 있고, 정보는 처방 렌즈 삽입의 처방 파라미터들일 수 있다. 일부 경우들에서, 클립-온 처방 렌즈들이 HMD에(예를 들어, HMD 내의 디스플레이와 사용자의 눈들 사이에) 부착되지만, 정확하게 동작하기 위해, HMD는 어느 처방 렌즈들이 현재 부착되어 있는지를 알 필요가 있다. 일부 구현예들에서, 마킹들은 투명 표면의 "정상" 사용, 예를 들어 투명 표면의 사용 동안 사용자가 투명 표면을 통해 보는 것 또는 눈 추적을 방해하지 않도록 구성된다. 일부 구현예들에서, 투명 표면 상의 마킹들은 HMD의 사용자에게 보이지 않는다. 일부 구현예들에서, 투명 표면 상의 마킹들은 일반적으로 눈 추적 이미지 센서에 가시적이고/이거나 선택적 시간들에만 눈 추적 이미지 센서에 가시적이 된다.

본원에 개시된 다양한 구현예들은 어느 특정 교정 렌즈 또는 렌즈들이 HMD에 부착되는지를 식별하기 위해 부착가능한 교정 렌즈들 상에 기계 판독가능 마킹들을 제공하는 디바이스들, 시스템들 및 방법들을 포함한다. 예를 들어, 우측 및 좌측 교정 렌즈들은 상이한 처방들을 가질 수 있고, 마킹들에 기초하여, HMD는 우측 및 좌측 교정 렌즈들이 반전되는지 여부를 결정하고/하거나 사용자에게 통지할 수 있다. 다른 예에서, HMD의 다수의 사용자들은 그들 자신의 교정 렌즈들을 가질 수 있고, 마킹들에 기초하여, HMD는 부정확한 처방 렌즈들이 부착되는지 여부를 결정하고/하거나 사용자에게 통지할 수 있다. 또한, 교정 렌즈들 상의 마킹들은 교정 렌즈들이 정확한 위치 및 배향으로 HMD에 부착되는 것을 보장하기 위해 사용될 수 있다. 추가로, 교정 렌즈들 상의 마킹들은 사용자가 색맹 또는 특정 유형의 색맹임을 식별하는 데 사용될 수 있으며, 이는 HMD에 의한 교정 프로세싱(예를 들어, 콘트라스트를 증가시키거나 선택적 컬러들을 수정함)을 허용한다.

일반적으로, 본원에서 설명된 주제의 하나의 혁신적인 양태는, 전자 디바이스의 이미지 센서로부터 이미지 데이터를 획득하는 동작들을 포함하는 방법들로 구현될 수 있으며, 이미지 데이터는 전자 디바이스에 부착된 투명 표면에 대응한다. 일부 구현예들에서, 이미지 데이터에서 코드가 식별되고, 코드는 투명 표면을 수반하는 전자 디바이스의 기능을 방해하지 않으면서 이미지 센서에 의해 투명 표면 상에서 검출가능하다. 이어서, 식별된 코드에 기초하여 디바이스에서 콘텐츠가 제공되고, 콘텐츠는 투명 표면을 통해 볼 수 있다.

일반적으로, 본원에서 설명된 주제의 하나의 혁신적인 양태는 전자 디바이스에 부착된 투명 표면에 대응하는 이미지 데이터를 획득하도록 구성된 이미지 센서를 포함하는 시스템들에서 구현될 수 있다. 일부 구현예들에서, 투명 표면을 통해 보기 위해 전자 디바이스에 콘텐츠를 제시하도록 디스플레이가 구성되고, 투명 표면은 코드의 묘사를 포함하고, 코드는 투명 표면을 통해 디스플레이를 보는 것을 방해하지 않으면서 이미지 센서에 의해 투명 표면 상에서 검출가능하다. 추가로 코드에 기초하여 디스플레이 상에 콘텐츠를 제공하도록 프로세서가 구성된다.

본 개시내용이 당업자들에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.
도 1은 일부 구현예들에 따른 예시적인 전자 디바이스의 도면을 예시한다.
도 2는 일부 구현예들에 따른 교정 렌즈들에 의해 제공된 예시적인 마킹들을 도시하는 도면이다.
도 3은 일부 구현예들에 따른, 부착된 교정 렌즈들에 대한 전자 디바이스의 이미지 센서의 FOV를 도시하는 도면이다.
도 4a 및 도 4b는 일부 구현예들에 따른, 여기 스펙트럼 및 방출 스펙트럼을 포함하는 교정 렌즈들의 마킹들을 위한 전자 디바이스의 예시적인 구성들을 예시한다.
도 5a 및 도 5b는 일부 구현예들에 따른, 노출 스펙트럼 및 검출 스펙트럼을 포함하는 교정 렌즈들의 마킹들을 위한 전자 디바이스의 예시적인 구성들을 예시한다.
도 6a 및 도 6b는 일부 구현예들에 따른, 투사 표면을 사용하는 교정 렌즈들의 마킹들을 위한 전자 디바이스의 예시적인 구성들을 예시한다.
도 7은 일부 구현예들에 따른, 투명 표면에 관한 정보를 식별하기 위해 투명 표면 상의 마킹을 사용하는 예시적인 방법을 예시하는 흐름도이다.
도 8은 일부 구현예들에 따른 예시적인 전자 디바이스를 예시한다.
일반적인 실시에 따라, 도면들에 예시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수들은 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부들을 나타내기 위해 사용될 수 있다.

도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 당업자들은 다른 효과적인 양태들 또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 게다가, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 포괄적으로 상세하게 설명되지 않았다.

본원에 개시된 다양한 구현예들은, 투명 표면에 관한 정보(예를 들어, 처방 파라미터들)를 식별하기 위해, 투명 표면(예를 들어, HMD에 대한 처방 렌즈 삽입)을 사용하는 기계 판독가능 마킹들을 제공하는 디바이스들, 시스템들 및 방법들을 포함한다. 일부 구현예들에서, 투명 표면은 전자 디바이스에 부착된다. 투명 표면은 전자 디바이스의 사용자에 의한 시각적 관찰 및 기계 판독가능 마킹들의 감지 둘 모두를 위해 사용될 것이다. 일부 구현예들에서, 기계 판독가능 마킹들은 투명 표면을 통해 물리적 환경 또는 가상 콘텐츠를 관찰/감지할 때 사용자에게 인지가능(예를 들어, 가시적)하지 않다.

일부 구현예들에서, 기계 판독가능 마킹들은 HMD들에 사용되는 교정 렌즈들(예를 들어, 클립-온 처방 렌즈들)에 데이터를 내장한다. 예를 들어, 마킹들은, HMD에 부착된 교정 렌즈들을 통해 HMD 사용자의 눈들을 관찰하는 눈 추적 이미지 센서들에 의해 감지될 수 있는, 교정 렌즈들에 관련된 디코딩가능한 정보(예를 들어, 처방, 교정, 메타데이터 등)를 저장한다. 일부 구현예들에서, 마킹들 및 눈 추적 정보(예를 들어, 반짝임)는 눈 추적 이미지 센서들에 의해 획득된 이미지들의 상이한 부분들에서 검출된다.

도 1은 일부 구현예들에 따른 예시적인 전자 디바이스의 도면을 예시한다. 일부 구현예들에서, 전자 디바이스(100)는 눈 위치 및 눈 움직임들을 검출하기 위한 눈 추적 시스템을 포함한다. 일부 구현예들에서, 눈 추적 시스템에 의해 캡처된 이미지들은 사용자(115)의 눈들의 위치 및 움직임들을 검출하기 위해, 또는 한쪽 또는 양쪽 눈들의 시선 방향을 검출하기 위해 분석될 수 있다. 일부 구현예들에서, 눈 추적 시스템은 깜박임(예를 들어, 레이트 또는 지속기간), 동공 확장, 또는 단속성 움직임들과 같은 눈들에 관한 다른 정보를 검출할 수 있다. 더욱이, 눈 추적 이미지들로부터 추정된 시선의 포인트는 전자 디바이스(100)의 근안 디스플레이 상에 도시된 콘텐츠와의 시선-기반 상호작용을 가능하게 할 수 있다.

도 1에 도시된 바와 같이, HMD(100)는 HMD(100)의 다양한 컴포넌트들을 수용하는 하우징(101)(또는 인클로저)을 포함한다. 일부 구현예들에서, 하우징(101)은 사용자(115)의 얼굴 상의 (예를 들어, 사용자(115)의 눈들을 둘러싸는) 적절한 위치에 HMD(100)를 유지한다.

하우징(101)은 이미지를 디스플레이하여, 사용자(115)의 눈을 향해 또는 눈 상에 광을 방출하는 디스플레이(110)를 수용한다. 다양한 구현예들에서, 디스플레이(110)는 디스플레이(110)에 의해 방출되는 광을 굴절시키는 하나 이상의 렌즈들(112)을 갖는 아이피스(eyepiece)를 통해 광을 방출하여, 디스플레이가 눈으로부터 디스플레이(110)까지의 실제 거리보다 더 먼 가상 거리에 있는 것으로 사용자(115)에게 보이게 한다. 사용자(115)가 디스플레이(110)에 초점을 맞출 수 있게 하기 위해, 다양한 구현예들에서, 가상 거리는 적어도 눈의 최소 초점 거리(예컨대, 7 cm)보다 크다. 또한, 더 나은 사용자 경험을 제공하기 위해, 다양한 구현예들에서, 가상 거리는 1 미터 초과이다.

하우징(101)은 또한 하나 이상의 조명/광원들(122), 이미지 센서(124), 및 제어기(180)를 포함하는 추적 시스템을 수용한다. 하나 이상의 광원들(122)은 이미지 센서(124)(예를 들어, 카메라)에 의해 검출될 수 있는 광 패턴(예를 들어, 원과 같은 하나 이상의 반짝임들)으로서 반사하는 광을 사용자(115)의 눈 상에 방출한다. 광 패턴에 기초하여, 제어기(180)는 사용자(115)의 눈 추적 특성을 결정할 수 있다. 예를 들어, 제어기(180)는 사용자(115)의 한쪽 또는 양쪽 눈들의 시선 방향을 결정할 수 있다. 다른 예에서, 제어기(180)는 사용자(115)의 깜박임 상태(눈 개방 또는 눈 폐쇄)를 결정할 수 있다. 또 다른 예로서, 제어기(180)는 단속적 움직임들, 동공 중심, 동공 크기, 또는 관심 포인트를 결정할 수 있다. 따라서, 다양한 구현예들에서, 광은 하나 이상의 광원들(122)에 의해 방출되고, 사용자(115)의 눈에서 반사되고, 이미지 센서(124)에 의해 검출된다. 일부 구현예들에서, 사용자(115)의 눈으로부터의 광은 이미지 센서(124)에 도달하기 전에 미러로부터 반사되거나 렌즈들 또는 아이피스와 같은 광학기를 통과한다.

일부 구현예들에서, 디스플레이(110)는 제1 파장 범위 내의 광을 방출하고, 하나 이상의 광원들(122)은 제2 파장 범위 내의 광을 방출한다. 유사하게, 이미지 센서(124)는 제2 파장 범위 내의 광을 검출한다. 일부 구현예들에서, 제1 파장 범위는 가시 파장 범위(예를 들어, 대략 400 내지 700 nm의 가시 스펙트럼 내의 파장 범위)이고, 제2 파장 범위는 근적외선 파장 범위(예컨대, 대략 700 내지 1400 nm의 근적외선 스펙트럼 내의 파장 범위)이다. 일부 구현예들에서, 광원(122) 및 이미지 센서(124)는 눈/시선 추적을 위해 눈을 조명할 때 중첩 파장을 사용한다. 대안적으로, 광원(122) 및 이미지 센서(124)는 눈/시선 추적을 위해 눈을 조명하기 위해 동일한 스펙트럼을 사용하는 한편, 사용자(115)는 가시 스펙트럼을 사용하여 콘텐츠를 보여주는 디스플레이(110)를 교정 렌즈들을 통해 보고 있다.

도 1에 도시된 바와 같이, 교정 렌즈들(200)은 HMD(100)에 부착될 수 있다. 일부 구현예들에서, 교정 렌즈들(200)은 HMD(100)의 하우징(101)을 사용하여 부착된다. 교정 렌즈들(200)은 사용자(115)가 물리적 환경(105) 내의 물체들을 정확하게 보는 것을 도울 수 있다. 추가로, 교정 렌즈들(200)은 사용자(115)가 디스플레이(110)를 사용하여 정보를 정확하게 보는 것을 도울 수 있다. 그러나, HMD(100)가 사용자(115)를 위해 이미지 센서(124)를 사용하여 콘텐츠를 정확하게 제공하기 위해, HMD(100)는 교정 렌즈들(200)에 관한 처방(또는 다른 정보)을 알 필요가 있다. HMD(100)가 하나 이상의 부착된 교정 렌즈들(200)에 관한 정보에 액세스하기 위한 하나의 방법은 교정 렌즈들(200) 내에 또는 상에 마킹들을 통합하는 것이다. 일부 구현예들에서, 교정 렌즈들(200) 상의 기계 판독가능 마킹들은 이미지 센서(124)와 같은 HMD(100) 내의 센서를 사용하여 검출된다. 예를 들어, 교정 렌즈들 상의 마킹들은 이미지 센서(124)에 의해 캡처될 수 있고, 그 안에 포함된 정보는 제어기(180)에 의해 디코딩되고, HMD(100)의 (예를 들어, 클립-온 교정 렌즈 처방 파라미터들에 기초한) 동작들을 수정하는 데 사용될 수 있다. 일부 구현예들에서, 교정 렌즈들(200) 상의 마킹들은 사용자(115)에게 가시적이 아니다. 일부 구현예들에서, 교정 렌즈들(150) 상의 마킹들은 일반적으로 이미지 센서(124)에 가시적이 아니지만, 선택적인 시간들에만 이미지 센서(124)에 가시적이 된다. 일부 구현예들에서, 교정 렌즈들(200)에 데이터를 내장하는 데 사용되는 기계 판독가능 마킹들은, 제1 상태에서 검출가능하지 않은(예를 들어, 투명) 그리고 일시적으로 가시적인/검출가능한 마킹들을 형성하기 위해 제2 상태에서 검출가능한 패턴을 제공하는 재료들을 포함한다.

도 2는 일부 구현예들에 따른, 기계 판독가능 마킹을 포함하는 예시적인 교정 렌즈(200)를 도시하는 도면이다. 도 2에 도시된 바와 같이, (가시적이도록 확대된) 기계 판독가능 마킹들(250)이 교정 렌즈(200)의 주변 영역에 제공된다. 일부 구현예들에서, 마킹들(250)의 크기는 육안으로 검출될 수 있는 것보다 작다. 대안적으로, 교정 렌즈(200) 내의 마킹들(250)의 콘트라스트 또는 공간 주파수는 육안으로 인지가능하지 않다. 일부 구현예들에서, 마킹들(250)은 절삭 공정을 사용하여 형성되거나(예를 들어, 에칭됨), 또는 교정 렌즈(200) 상에 부가 공정(예를 들어, 페인팅, 침착됨)을 사용하여 형성된다. 일부 구현예들에서, 마킹들(250)은 교정 렌즈(200) 상의 (예를 들어, 리던던시를 위해) 다수의 위치들에 형성된다. 일부 구현예들에서, 마킹들(250)은 HMD(100)(예를 들어, 이미지 센서(124))에 가장 가까운 표면 내에 또는 그 근처에 있으며, 따라서, 사용자(115)의 초점으로부터 더 멀리 떨어져, 예를 들어, 보호 코팅에 의해 커버된다. 대안적으로, 마킹들(250)은 눈에 가장 가까운 표면에서 교정 렌즈(200)의 내측 층(예를 들어, 서브-표면) 상에 있을 수 있으며, 이는 이미지 센서(124)의 초점 거리에 가장 근접할 수 있고(예를 들어, 눈에 초점이 맞춰짐), 디스플레이(110)의 가상 이미지의 거리(예를 들어, 1 m 거리)에 있는, 눈의 (하이퍼) 초점 거리로부터 더 멀리 떨어져 있다.

HMD(100)에 부착될 때, 마킹들(250)은 HMD(100)의 센서(예를 들어, 이미지 센서)의 시야(FOV) 내에 있다. 일부 구현예들에서, 마킹들(250)은 디스플레이(110)에 의한 포비티드(foveated) 렌더링을 보기 위해 사용되는 교정 렌즈(200)의 영역 외부에 있다. 도 2에 도시된 바와 같이, 마킹들(250)은 사용자(115)가 HMD(100)의 디스플레이(110)를 보고 있을 때 사용되는 교정 렌즈(200)의 영역 외부에 있다. 마킹들(250)은 HMD(100)에 의해 활용되는 정보를 인코딩하는 데 사용된다. 예를 들어, 마킹들(250)은 처방 교정 렌즈(200)의 처방 파라미터들(예를 들어, 근시, 원시)을 인코딩할 수 있다. 대안적으로, 교정 렌즈(200) 상의 마킹들(250)의 위치들은 HMD(100)에 부착될 때 교정 렌즈(200)의 포즈(예를 들어, 3D 위치 및 3개의 배향들)를 결정하는 데 사용될 수 있다.

도 3은 일부 구현예들에 따른, 부착된 교정 렌즈들에 대한 전자 디바이스의 예시적인 이미지 센서의 FOV를 도시하는 도면이다. 일부 구현예들에서, 이미지 센서(124)는 부착된 교정 렌즈들(200)에 대해 단일 FOV(예를 들어, FOV(300a))를 갖는다. 예를 들어, 단일 FOV는 교정 렌즈들(200) 상의 마킹들의 검출 및 눈 추적 기능 둘 모두를 위해 사용된다. 다른 구현예들에서, 이미지 센서(124)는 교정 렌즈들(200)에 대해 다수의 FOV들을 갖는다. 예를 들어, 각각의 상이한 FOV는 교정 렌즈들(200) 상의 다수의 마킹들 중 상이한 마킹들을 검출하는 데 사용될 수 있다. 일부 구현예들에서, 이미지 센서(124)의 다수의 FOV들은 크기, 배율(예를 들어, 줌-인 또는 줌-아웃), 배향(예를 들어, 수평, 수직, 또는 둘 모두), 또는 이들의 조합들에서 상이하다. 도 3에 도시된 바와 같이, 이미지 센서(124)는 (예를 들어, 마킹들(250)을 검출하기 위한) 제1 FOV(300a) 및 (예를 들어, 눈 추적 기능을 위한) 제2 상이한 FOV(300b)를 갖는다. 이미지 센서(124)에 대해 설명된 바와 같이, HMD(100)의 광원(122)은 복수의 상이한 방출 필드들을 포함할 수 있거나, 또는 HMD(100)는 각각 상이한 방출 필드를 갖는 복수의 광원들(122)을 포함할 수 있거나, 또는 이들의 조합들일 수 있다. 일부 구현예들에서, 광원(122) 방출들은 스펙트럼을 수정하기 위해 선택적으로 필터링된다.

일부 구현예들에서, 교정 렌즈들(200)에 데이터를 내장하는 데 사용되는 기계 판독가능 마킹들은, 여기되지 않을 때 투명하고 그리고 여기될 때 검출가능한 패턴의 광을 방출하여 일시적으로 가시적인/검출가능한 마킹들을 형성하는 재료들을 포함한다. 일부 구현예들에서, 마킹들(450)(예를 들어, 450a, 450b)은 여기 파장/스펙트럼 및 방출 파장/스펙트럼을 갖는 형광 재료들을 포함한다. 여기 스펙트럼 및 방출 스펙트럼은 매우 좁을 수 있다. 일 구현예에서, 교정 렌즈들(200) 상의 마킹들(450)의 여기 스펙트럼 및 방출 스펙트럼은 사용자(115) 또는 이미지 센서(124)에 가시적이 아니다. 다른 구현예에서, 교정 렌즈들(200) 상의 마킹들(450)의 여기 스펙트럼 및 방출 스펙트럼은 사용자(115)에게 가시적이 아니지만 마킹들(450)의 방출 스펙트럼은 이미지 센서(124)에 의해 검출가능하다.

도 4a에 도시된 바와 같이, 마킹들(450a)을 형성하는 투명 형광 재료는 사용자(115)가 보는 입사 조명(예를 들어, 가시 스펙트럼)과 중첩되지 않는 여기 스펙트럼 또는 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼을 갖는다. 그러나, 마킹들(450a)의 방출 스펙트럼은 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼 내에 있다. 이러한 구현예들에서, 추가 조명원(422)(예를 들어, 여기 조명)이 HMD(100)에 추가될 수 있지만, 마킹들(450a)이 사용자(115)에게 가시적이 아니기 때문에, 마킹들(450a)은 임의의 시간에 검출될 수 있다. 일부 구현예들에서, 마킹들(450a) 및 눈 추적 정보는 이미지 센서(124)로부터의 이미지들의 상이한 부분들에서 검출된다. 대안적으로, 마킹들(450a) 및 눈 추적 정보는 이미지 센서(124)로부터의 이미지들에서 적어도 부분적으로 중첩될 수 있다. 다른 구현예들에서, 마킹들(450a)은, 사용자(115)가 깜박이거나, 멀리 보거나, 또는 눈 추적 기능이 HMD(100)에 의해 사용되고 있지 않을 때, 이미지 센서(124)에 의해 촬영된 하나 이상의 이미지들에서 검출될 수 있다. 일 구현예에서, 마킹들(450a)은 눈 추적이 가능하게 되고 콘텐츠가 디스플레이(110)의 특정 영역에 디스플레이될(또는 디스플레이되지 않을) 때 검출될 수 있다. 대안적으로, 마킹들(450a)은 이미지 센서(124)와 동기화된 하나 이상의 블랭크 프레임들을 사용하여 눈 추적이 가능해질 때(예를 들어, 광원(122)이 턴 오프될 때) 검출될 수 있다. 예를 들어, 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼은 850 nm 또는 950 nm 파장들 주위의 스펙트럼일 수 있다. 도 4a는 마킹들(450a)의 방출 스펙트럼이 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼 내에 있는 구현예를 예시하지만, 실시예들은 그러한 구현예들로 제한되지 않는다.

예를 들어, 도 4b에 도시된 바와 같이, 마킹들(450b)을 형성하는 투명 형광 재료는 사용자(115)가 보는 입사 조명(예를 들어, 가시 스펙트럼) 또는 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼과 중첩되지 않는 여기 스펙트럼 및 방출 스펙트럼을 가질 수 있다. 그러한 구현예들에서, 마킹들(450b)의 방출 스펙트럼을 검출할 수 있는 추가 조명원(422)(예를 들어, 여기 조명) 및 추가 이미지 센서(424)가 HMD(100)에 추가될 수 있다. 따라서, 형광 마킹들(450b)은 HMD(100)의 동작들을 방해하지 않으면서 언제든지 검출될 수 있다. 예를 들어, 조명원(422)은 UV 스펙트럼일 수 있고, 이미지 센서(424)는 이미지 센서(124)와 상이한 NIR/IR 스펙트럼일 수 있다. 일부 구현예들에서, 여기 조명이 UV일 때, (예를 들어, UV 조명에 대한 노출을 회피하기 위해) HMD(100)가 사용되고 있지 않을 때 마킹들(450)이 검출된다.

일 구현예에서, 마킹들(450a)은, 조명원(122)에 의해 제공되고 이미지 센서(124)의 검출가능한 스펙트럼의 제1 부분 내에 있는 여기 스펙트럼을 갖고, 마킹들(450a)의 방출 스펙트럼은 이미지 센서(124)의 검출가능한 스펙트럼의 제2 부분 내에 있다.

일부 구현예들에서, 마킹들(450)에 사용되는 형광 재료들의 방출 스펙트럼은 가시 스펙트럼과 중첩하고, 형광 마킹들(450)에 의해 방출되는 정보는 사용자(115)의 가시 스펙트럼에 있을 것이다. 그러한 구현예들에서, 이러한 마킹들(450)과 사용자(115)의 눈들 사이의 추가 가시광 필터들(예를 들어, 교정 렌즈들(200)의 노치 필터들)은 가시 스펙트럼 내에서 발생하는 형광 마킹들(450)로부터의 방출들을 사용자(115)로부터 숨기는 데 사용될 수 있다. 대안적으로, 마킹들(450)에 대한 여기 스펙트럼이 가시 스펙트럼과 중첩될 때, (예를 들어, 타이밍에 기초하여) 사용자(115)가 멀리 보거나 HMD(100)가 사용되고 있지 않을 때 검출이 발생한다.

일부 구현예들에서, 교정 렌즈들(200)에 데이터를 내장하는 데 사용되는 마킹들은 초기에 투명하지만 변경가능한 반사 속성들을 갖는 재료들을 포함한다. 일부 구현예들에서, 기계 판독가능 마킹들(550)(예를 들어, 550a, 550b)은 노출 파장/스펙트럼 및 검출 파장/스펙트럼을 갖는다. 일부 구현예들에서, 교정 렌즈들(200)에 데이터를 내장하는 데 사용되는 마킹들(550)은 더 높은 에너지의 스펙트럼/조명, 예를 들어, UV 조명에 노출될 때 전자기 스펙트럼의 일부에 걸쳐(예를 들어, 검출 이미지 센서의 검출 스펙트럼 내에서) 이들의 반사 속성들을 투명으로부터 불투명으로(예를 들어, 검출가능하게 더 어둡게) 변경하는 가역적 광변색 재료들을 포함한다.

따라서, 가역적 광변색 재료들이 고 에너지 조명에 노출되고, 검출 이미지 센서/카메라의 검출 스펙트럼 내에서 외부 광원이 활성화될 때, 광변색 반응은 내장된 정보를 드러내기 위해 교정 렌즈들의 마킹들(550)을 통한 외부 광 투과를 공간적으로 어둡게 한다. 일부 구현예에서, 광변색 반응이 UV 조명을 사용하여 실현될 때, (예를 들어, UV 조명에 대한 피부 노출을 회피하기 위해) HMD(100)가 사용되고 있지 않을 때 마킹들(550)이 검출된다.

도 5a에 도시된 바와 같이, 마킹들(550a)을 형성하는 가역적 광변색 재료는 사용자(115)가 보는 입사 조명(예를 들어, 가시 스펙트럼)과 중첩하지 않는 노출 조명원(522)으로부터의 노출 스펙트럼(예를 들어, 가시 스펙트럼 외부, IR, UV 조명) 또는 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼을 갖는다. 그러나, 마킹들(550a)의 검출 스펙트럼은 눈 추적 이미지 센서(124)의 스펙트럼 내에 있다. 이러한 구현예들에서, 추가 조명원(522)(예를 들어, 여기 조명)이 HMD(100)에 추가될 수 있지만, 마킹들(550a)이 사용자(115)에게 가시적이 아니기 때문에, 마킹들(550a)은 임의의 시간에 검출될 수 있다. 일부 구현예들에서, 마킹들(550a) 및 눈 추적 정보는 이미지 센서(124)로부터의 이미지들의 상이한 부분들에서 검출된다. 대안적으로, 눈 추적 광원(122)에 의해 조명되는 노출된 마킹들(550a)은, 사용자(115)가 멀리 볼 때, 깜박일 때, 이미지 센서(124)가 활성 조명 눈 추적 상황에 있지 않거나 또는 HMD(100)가 사용되고 있지 않을 때 이미지 센서(124)에 의해 검출될 수 있다. 도 5a는 마킹들(550a)의 검출 스펙트럼이 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼 내에 있는 구현예를 예시하지만, 실시예들은 그러한 구현예들로 제한되지 않는다.

예를 들어, 도 5b에 도시된 바와 같이, 마킹들(550b)은 사용자(115)가 보는 입사 조명(예를 들어, 가시 스펙트럼) 또는 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼과 중첩되지 않는 여기 스펙트럼 및 검출 스펙트럼을 가질 수 있다. 추가로, 마킹들(550b)은 사용자(115)가 보는 입사 조명(예를 들어, 가시 스펙트럼) 또는 눈 추적 이미지 센서(124)의 검출가능한 스펙트럼과 중첩되지 않는 검출 광원 및 센서를 갖는다. 그러나, 노출 조명원(522), 및 노출된 마킹들(550b)을 검출하기 위한 추가 조명원(526) 및 이미지 센서(524)가 HMD(100)에 추가된다. 그러한 구현예들에서, 가역적 광변색 마킹들(550b)은 HMD(100)의 동작들을 방해하지 않으면서 언제든지 검출될 수 있다. 예를 들어, 노출 조명원은 UV 스펙트럼일 수 있고, 검출 광원/이미지 센서는 이미지 센서(124)와 상이한 NIR/IR 스펙트럼 또는 사용자(115)로부터 차폐된 가시 스펙트럼일 수 있다.

일부 구현예들에서, 교정 렌즈들에 데이터를 내장하는 데 사용되는 기계 판독가능 마킹들은 교정 렌즈들에 내장되거나 부착된 반사 홀로그래픽 광학 요소들을 포함한다. 따라서, 교정 렌즈들(200) 내의 홀로그래픽 마킹들은 광원(예를 들어, 비-코히어런트 LED)에 의해 조명되고, HMD(100) 내의 이미지 센서에 의해 검출된다. 예를 들어, 광원은 홀로그래픽 방식으로 저장된 데이터(예를 들어, 데니스유크(Denisyuk) 홀로그래피)를 드러내고 이미지 센서(124)의 관찰 방향으로 라우팅하기 위해 별개의 위치에 (예를 들어, 눈 추적 광원(122)으로부터 멀리) 배치된 추가 광원일 수 있다. 이러한 구현예들에서, 추가 조명원(예를 들어, 홀로그래픽 조명)이 HMD(100)에 추가될 수 있지만, 홀로그래픽 마킹들이 사용자(115)에게 가시적이 아니기 때문에, 홀로그래픽 마킹들은 임의의 시간에 검출될 수 있다. 일부 구현예들에서, 홀로그래픽 마킹들 및 눈 추적 정보는 이미지 센서(124)로부터의 이미지들의 상이한 부분들에서 검출된다. 일 구현예에서, 추가 조명원(예를 들어, 홀로그래픽 조명원) 및 조명된 홀로그래픽 마킹들을 검출하기 위한 추가 이미지 센서가 HMD(100)에 추가된다. 일부 구현예들에서, 조명된 홀로그래픽 마킹들의 기준 빔 각도는 제한된다(예를 들어, 15°, 30°, 45°).

일부 구현예들에서, 교정 렌즈들(200)에 데이터를 내장하는 데 사용되는 기계 판독가능 마킹들은, 조명되지 않을 때 투명하지만 조명될 때 투사 표면 상에 검출가능한 패턴의 광을 생성하여 일시적으로 가시적인/검출가능한 마킹들을 형성하는 재료들을 포함한다. 일부 구현예들에서, 교정 렌즈들(200) 내의 가성(caustic) 마킹들(650)은 조명 및 검출 파장/스펙트럼을 사용하는 계산 가성 재료들을 포함한다.

일부 구현예들에서, 교정 렌즈들(200)에 데이터를 내장하는 데 사용되는 기계 판독가능 마킹들은 가성 마킹(650)을 형성하는 계산 가성 재료들을 포함한다. 일부 구현예들에서, 가성 마킹들(650) 내의 정보는, 교정 렌즈들(200)(예를 들어, 가성 마킹(650))로부터 이격된 투사 표면(660)(예를 들어, 특정 거리에 있는 검출 표면) 상의 가성 광원(예를 들어, 특정 각도의 특정 광원)에 의해 조명될 때, 가성 마킹 이미지 센서에 대해 가시적이 된다. 도 6a에 도시된 바와 같이, 눈 추적 광원(122)(예를 들어, IR LED)은 교정 렌즈들(200)의 가성 마킹들(650)을 조명하고 눈 추적 이미지 센서(124)(또는 다른 카메라(624))는 사용자(115)의 피부 표면 상에서 가시적인 정보(예를 들어, 밝고 어두운 패턴들)를 검출한다(예를 들어, 투사 표면(660)이 됨). 대안적으로, 도 6b에 도시된 바와 같이, HMD(100)의 추가 가성 광원(622)은 이미지 센서(124) 또는 추가 이미지 센서(624)에 의해 투사 표면(660) 상에서 투사된 정보가 검출되도록 가성 마킹들(650)을 조명하는 데 사용될 수 있다. 그러한 구현예들에서, 마킹들(650)이 사용자(115)에게 가시적이 아니기 때문에, 마킹들(650)로부터의 투사된 정보는 임의의 시간에 검출될 수 있다. 대안적으로, 가성 마킹(650)은 HMD(100)가 사용 중이 아닐 때 검출된다. 이 경우, 투사 표면(660)은 HMD(100)가 배치되는 표면(예를 들어, 책상과 같은 평평한 표면, 테이블 상단, 또는 수직 표면 또는 벽과 같은 인근의 평평한 표면)일 수 있다. 다시, 가성 마킹(650)의 비가시적인 정보는, 가성 마킹(650)이 대응하는 조명원에 의해 조명될 때, HMD(100)의 이미지 센서에 대해 투사 표면 상에서 가시적이 된다. 일부 구현예들에서, 가성 마킹(650)은 비교적 작고 투명하며, 교정 렌즈들(200) 상의 주변 영역에 위치될 수 있다. 예를 들어, 가성 마킹(650)은 교정된 렌즈들(200)의 연마된 요철 섹션이다.

일부 구현예들에서, 교정 렌즈들의 기계 판독가능 마킹들은 (1) 항상 검출가능하지만 인간의 눈으로 인지할 수 없는 마킹들(예를 들어, 크기 또는 파장), 예컨대, 교정 렌즈들에서의 매우 작지만 검출가능한 에칭들, (2) 상이한 여기 스펙트럼/조명에 의해 조명된 후에 방출 스펙트럼에서 검출가능한 마킹들(예를 들어, 형광), (3) 상이한 노출 스펙트럼/조명에 의해 조명된 후에 조명/검출 스펙트럼에서 검출가능한 마킹들(예를 들어, 광변색), (4) 단일 조명/검출 스펙트럼에서 조명될 때 검출 가능한 마킹들(예를 들어, 반사 홀로그램들), 또는 (5) 단일 조명/검출 스펙트럼에서 조명될 때 이격된 투사 표면을 사용하여 검출되는 마킹들(예를 들어, 계산 가성)을 포함한다.

일부 구현예들에서, 교정 렌즈들(200) 내의 마킹들은 렌즈의 처방, 렌즈의 곡률, 원통형 배율, 구면 배율, 프리즘 정보 등과 같은 정보를 포함할 수 있다. 일 구현예에서, 렌즈마다의 교정 데이터가 교정 렌즈들(200) 상의 마킹에 포함될 수 있다. 예를 들어, 렌즈마다의 교정 데이터는 렌즈의 실제 표면 프로파일(예를 들어, 렌즈 결함들)을 제공하며, 이는 추가 데이터를 제공하고 HMD(100)가 각각의 개별 교정 렌즈에 더 정확하게 적응할 수 있게 한다. 렌즈마다의 교정 데이터는 처방 파라미터들보다 더 많은 데이터 크기일 수 있다.

일부 구현예들에서, HMD(100)는, 예를 들어, 왜곡을 감소시키거나 또는 교정하기 위해, 디스플레이(110)에 대한 렌더링 프로세스들을 조정하기 위해, 교정 렌즈들(200)의 마킹들 내의 정보를 사용한다. 또한, HMD(100)는 구체적으로 부착된 교정 렌즈들(200)의 아이덴티티, 사용자(115) 또는 부착된 교정 렌즈들(200)의 공간 위치설정을 검증하기 위해 교정 렌즈들(200)의 마킹들 내의 정보를 사용한다. 예를 들어, 사용자(115)의 홍채는 사용자(115)를 식별하고 부착된 교정 렌즈들(200)을 검증하는 데 사용될 수 있다. 다른 예에서, 부착된 교정 렌즈들(200)의 공간 위치설정의 (예를 들어, 우측, 좌측, 위 또는 아래로의) 작은 변위들은 교정 렌즈들(200) 내의 마킹들로부터 식별될 수 있고, 디스플레이(110)의 렌더링 프로세스들을 사용하여 교정될 수 있다. 대안적으로, 부착된 교정 렌즈들(200)의 공간 위치설정의 큰 변위(예를 들어, 임계치 초과)가 검출될 때, 교정 렌즈들을 재부착하라는 경고가 제공될 수 있다.

일부 구현예들에서, 교정 렌즈들(200) 내의 마킹들은 한번 검출되거나(예를 들어, HMD(100)가 인에이블될 때, 초기화 동안, 또는 사용자(115)의 머리 상에 배치될 때), 반복적으로 검출되거나(예를 들어, 초당 1x 또는 분당 1x), 눈 추적이 사용되고 있지 않을 때 검출되거나, 또는 교정 렌즈들(200)이 HMD(100)에 장착되는 시점에 검출될 수 있다(예를 들어, 검출된 진동, "클릭", 특수한 배향 또는 명령어(예를 들어, "부착된 처방 렌즈들을 검출하세요") 중 하나 이상을 사용함). 일 구현예에서, 교정 렌즈들(200) 내의 마킹들은, 부착된 교정 렌즈들(200)의 위치를 변위시킬 수 있는 이벤트(예를 들어, 충격, 온도 변화, 단일 인스턴스 동안 또는 시간 경과 동안)가 발생할 때 검출된다. 일부 구현예들에서, 교정 렌즈들에서의 마킹들의 검출은 밀리초(예를 들어, 10 ms, 30 ms 등)로 발생한다. 일부 구현예들에서, 추가 조명원을 사용하는 교정 렌즈들(200) 내의 마킹들은, HMD(100)가 사용자(115)의 머리 상에 있지 않을 때 검출된다.

일부 구현예들에서, 교정 렌즈들(200) 내의 마킹들은 교정 렌즈들(200)의 프레임 또는 교정 렌즈들(200)의 프레임과 투명 표면의 조합 상에 위치된다. 예를 들어, 교정 렌즈들(200)의 프레임의 특정 부분들(예를 들어, 내부 또는 외부)은 HMD(100)의 이미지 센서들에 가시적이며, 따라서 본원에서 다양하게 설명된 바와 같이 기계 판독가능 마킹들에 대해 사용될 수 있다.

일부 구현예들에서, 교정 렌즈들(200) 내의 마킹들은, 여기되지 않을 때 이미지 센서 스펙트럼 및 시각적 스펙트럼에서 투명한, 제어된 활성 조명 및 반응성 재료들의 조합이다. 일부 구현예들에서, 이미지 센서(124)는 가시 스펙트럼 내의 파장들에 민감하지만, 대안적으로 NIR, IR, UV 스펙트럼 등에 민감할 수 있다.

일부 구현예들에서, 교정 렌즈들(200) 내의 기계 판독가능 마킹들(예를 들어, 마킹들(250, 450, 550, 650))은 부가 공정, 절삭 공정을 사용하여 생성되거나, 또는 교정 렌즈들(200)의 표면 내에 (예를 들어, 보호 코팅 아래에) 내장될 수 있다. 추가로, 교정 렌즈들(200) 내의 마킹들은 교정 렌즈들(200)의 일부에만 위치될 수 있거나, 또는 교정 렌즈들(200)의 다수의 위치들 또는 교정 렌즈들(200)의 프레임들에서 반복적으로 생성될 수 있다.

본원에 개시된 다양한 구현예들은 어느 특정 교정 렌즈 또는 렌즈들이 HMD에 부착되는지를 식별하기 위해 부착가능한 교정 렌즈들 상에 기계 판독가능 마킹들을 제공하는 디바이스들, 시스템들 및 방법들을 포함한다. 예를 들어, 우측 및 좌측 교정 렌즈들은 상이한 처방들을 가질 수 있고, 그에 따라, 우측 및 좌측 교정 렌즈들이 반전되면 HMD 사용자에게 통지될 수 있다. 다른 예에서, HMD의 다수의 사용자들은 그들 자신의 교정 렌즈들을 가질 수 있고, 부정확한 처방 렌즈들이 부착되면 HMD 사용자에게 통지될 수 있다. 또한, 교정 렌즈들 상의 마킹들은 HMD에 부착된 교정 렌즈들의 포지셔닝을 보장하기 위해 사용된다.

다양한 구현예들에서, 이미지 센서(124)는 소정 프레임 레이트에서 특정 시점 또는 다수의 시점들에서, 사용자(115)의 눈의 이미지를 생성하는 프레임/셔터-기반 카메라이다. 각각의 이미지는 카메라의 광 센서들의 매트릭스의 위치들에 대응하는 이미지의 픽셀들에 대응하는 픽셀 값들의 매트릭스를 포함한다. 구현예들에서, 각각의 이미지는 사용자의 동공들 중 하나 또는 둘 모두와 연관된 픽셀 세기들의 변화를 측정함으로써 동공 확장 또는 동공 위치를 측정 또는 추적하는 데 사용된다. 다양한 구현예들에서, 이미지 센서(124)는 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여 특정 광 센서의 특정 위치를 나타내는 이벤트 메시지를 생성하는, 복수의 각자의 위치들에 있는 복수의 광 센서들(예컨대, 광 센서들의 매트릭스)을 포함하는 이벤트 카메라이다.

일부 구현예들에서, HMD(100)는 물리적 환경에서 HMD(100)의 위치를 추적하기 위해 컴퓨터 비전 기술들 및 센서들의 조합들을 사용한다. 일부 구현예들에서, 시각적 관성 오도메트리(Visual Inertial Odometry, VIO) 또는 동시 위치추정 및 맵핑(Simultaneous Localization and Mapping, SLAM)은 물리적 환경(105)에서 HMD(100)의 6 DOF 움직임(예를 들어, 공간(xyz) 모션(병진)의 3 DOF, 및 각도(피치/요/롤) 모션(회전)의 3 DOF)을 실시간으로 추적한다. 일부 구현예들에서, VIO는 HMD(100)의 디스플레이 상의 모든 프레임 리프레시 사이의 물리적 환경(105)에서 전자 디바이스 위치의 위치를 재계산 또는 업데이트한다. 예를 들어, VIO는 HMD(100) 위치를 초당 10 회, 30 회, 또는 60 회 이상 재계산한다. 일부 구현예들에서, VIO는 실세계의 포인트를 각각의 프레임의 이미지 센서 상의 픽셀에 매칭시킴으로써 시각적 센서(예를 들어, 카메라 시스템), 깊이 센서들을 사용하여, 그리고/또는 관성 시스템(예를 들어, 가속도계 및 자이로스코프, 관성 측정 유닛(IMU) 등)을 사용하여 위치를 추적한다. 일부 구현예들에서, 색상 이미지들이 사용될 수 있다. 대안적으로, 일부 구현예들에서, 그레이스케일 이미지들이 사용될 수 있다.

도 7은 투명 표면에 관한 정보를 식별하기 위해 투명 표면 상의 마킹을 사용하는 예시적인 방법을 예시하는 흐름도이다. 예를 들어, 투명 표면은 HMD에 대한 처방 렌즈 삽입일 수 있고, 정보는 처방 렌즈 삽입의 처방 파라미터들일 수 있다. 일부 구현예들에서, 마킹들은 투명 표면의 "정상" 사용, 예를 들어 투명 표면의 사용 동안 투명 표면을 통해 보는 것 또는 눈 추적을 방해하지 않도록 구성된다. 일부 구현예들에서, 방법(700)은 디바이스(예컨대, 도 8 의 전자 디바이스(800))에 의해 수행된다. 방법(700)은 전자 디바이스를 사용하거나 서로 통신하는 다수의 디바이스들에 의해 수행될 수 있다. 일부 구현예들에서, 방법(700)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(700)은 비일시적 컴퓨터 판독가능 매체(예컨대, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다. 일부 구현예들에서, 방법(700)은 프로세서를 갖는 전자 디바이스에 의해 수행된다.

블록(710)에서, 방법(700)은 전자 디바이스의 이미지 센서로부터 이미지 데이터를 획득하고, 이미지 데이터는 전자 디바이스에 부착된 투명 표면에 대응한다. 일부 구현예들에서, 전자 디바이스는 HMD이고, 투명 표면은 HMD에 대한 처방 렌즈 부착물이다. 예를 들어, 투명 표면은 삽입가능한 처방 렌즈, 제거가능한 처방 렌즈, 클립-온 처방 렌즈 등일 수 있다. 일부 구현예들에서, 이미지 센서 데이터는 투명 표면의 적어도 일부를 각각 포함하는 하나 이상의 이미지들일 수 있다. 일부 구현예들에서, 이미지 센서는 가시광 이미지 센서, IR 이미지 센서, NIR 이미지 센서 또는 UV 이미지 센서이다. 이미지 센서는 깊이 데이터와 같은 추가 데이터를 캡처할 수 있다.

블록(720)에서, 방법(700)은 이미지 데이터에서 코드를 식별하고, 코드는 투명 표면을 수반하는 전자 디바이스의 기능을 방해하지 않으면서 이미지 센서에 의해 투명 표면 상에서 검출가능하다. 일부 구현예들에서, 코드는 HMD를 사용하는 동안 투명 표면을 통해 물리적 환경 또는 XR 환경(예를 들어, 콘텐츠)의 사용자의 뷰를 방해하지 않으면서 판독될 수 있다. 일부 구현예들에서, 코드는 투명 표면이 부착되는 동안 HMD에 의해 구현되는 눈 추적 기능을 방해하지 않고 판독될 수 있다. 일부 구현예들에서, 코드는 (1) 인간의 눈으로 보이지 않는 투명 표면 상의/내부의 마킹들, 예컨대 투명 표면의 일부 상의 극도로 작은 에칭들, (2) 상이한 여기 스펙트럼/조명에 의해 조명된 후에 방출 스펙트럼에서 검출가능한 마킹들(예를 들어, 형광), (3) 상이한 노출 스펙트럼/조명에 의해 조명된 후에 조명/검출 스펙트럼에서 검출가능한 마킹들(예를 들어, 광변색), (4) 단일 조명/검출 스펙트럼에서 조명될 때 검출 가능한 마킹들(예를 들어, 반사 홀로그램들), 또는 (5) 이격된 투사 표면을 사용하여 검출되는 마킹들(예를 들어, 계산 가성)일 수 있다.

블록(730)에서, 방법(700)은 식별된 코드에 기초하여 전자 디바이스에서 콘텐츠를 제공하고, 콘텐츠는 투명 표면을 통해 볼 수 있다. 일부 구현예들에서, 콘텐츠는 식별된 코드에서 식별된 처방에 기초하여 제공되거나 렌더링된다. 일부 구현예들에서, 콘텐츠를 제공하는 것은 식별된 코드에 기초하여 콘텐츠가 렌더링되는 방식을 적응시키는 것을 수반할 수 있다. 예를 들어, 식별된 코드에 기초하여 콘텐츠를 제공하는 것은 식별된 코드(예를 들어, 투명 표면)의 처방에 기초하여 렌즈 왜곡을 보상하기 위해 디스플레이된 이미지를 수정하는 것을 수반할 수 있다. 대안적으로, 식별된 코드(예를 들어, 처방)는, (예를 들어, 사용자(115)가 그들의 머리를 돌릴 때) 직선이 흔들리게 나타날 수 있는 아티팩트인 동공 흔들림을 감소시키거나 또는 회피하는 것과 같은 적절한 렌더링을 위해 사용된다. 다른 예에서, 식별된 코드에 기초하여 콘텐츠를 제공하는 것은 HMD 내에서 투명 표면이 부착되는 3D 위치 및 배향을 검증할 수 있다.

일부 구현예들에서, 방법(700)은 전자 디바이스에 대한 투명 표면의 부착(예를 들어, 부착하는 동작)을 검출한다. 일부 구현예들에서, 전자 디바이스에 대한 투명 표면의 부착을 검출하는 것은 오디오 데이터, IMU 데이터, 구두 통신들, 근접 센서, 비전 센서, 명령어 등에 기초한다. 예를 들어, 전자 디바이스에 대한 투명 표면의 부착을 검출할 때. 투명 표면 상의 코드를 식별하기 위해, 투명 표면을 포함하는 이미지 센서로부터의 이미지 데이터가 획득된다.

일부 구현예들에서, 방법(700)은 투명 표면에 대한 코드를 한번만 식별한다. 예를 들어, 투명 표면에 대한 코드는 전자 디바이스의 사용 전에 식별된다. 대안적으로, 투명 표면에 대한 코드는 전자 디바이스의 사용자의 눈 깜박임 동안 식별된다. 일부 구현예들에서, 투명 표면에 대한 식별된 코드는 반복적으로 또는 주기적으로 검출된다. 예를 들어, 투명 표면에 대한 식별된 코드는 전자 디바이스가 인에이블될 때마다 검출된다.

일부 구현예들에서, 블록들(710 내지 730)은 반복적으로 수행된다. 일부 구현예들에서, 본원에 개시된 기술들은 스마트 폰, 태블릿, 또는 웨어러블 디바이스, 예컨대 광학 투시 또는 불투명 디스플레이를 갖는 HMD 상에서 구현될 수 있다.

물리적 환경은 사람들이 전자 시스템들의 도움 없이 상호작용하고/하거나 감지할 수 있는 물리적 세계를 지칭한다. 물리적 환경은 사람들이 전자 디바이스들의 도움 없이 감지하고/하거나 그와 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 환경은 물리적 표면 또는 물리적 객체와 같은 물리적 특징부들을 포함할 수 있다. 예를 들어, 물리적 환경은 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함하는 물리적 공원에 대응한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다. 대조적으로, 확장 현실(extended reality, XR) 환경은 사람들이 전자 디바이스를 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. 예를 들어, XR 환경은 증강 현실(augmented reality, AR) 콘텐츠, 혼합 현실(mixed reality, MR) 콘텐츠, 가상 현실(virtual reality, VR) 콘텐츠 등을 포함할 수 있다. XR 시스템을 이용하면, 사람의 신체적 움직임들 또는 그 표현들의 서브세트가 추적되고, 이에 응답하여, XR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 일 예로서, XR 시스템은 머리 움직임을 검출할 수 있고, 이에 응답하여, 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 그러한 뷰들 및 소리들이 물리적 환경에서 변경되는 방법과 유사한 방식으로 조정할 수 있다. 다른 예로서, XR 시스템은 XR 환경을 제시하는 전자 디바이스(예컨대, 모바일 폰, 태블릿, 랩톱 등)의 이동을 검출할 수 있고, 이에 응답하여, 사람에게 제시되는 그래픽 콘텐츠 및 음장을 그러한 뷰들 및 소리들이 물리적 환경에서 변경되는 방법과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예컨대, 접근성 이유들로 인해), XR 시스템은 물리적 모션들의 표현들(예컨대, 음성 커맨드들)에 응답하여 XR 환경 내의 그래픽 콘텐츠의 특성(들)을 조정할 수 있다.

사람이 다양한 XR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형들의 전자 시스템들이 존재한다. 예들은 헤드-장착가능 시스템들, 투사-기반 시스템들, 헤드-업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예컨대, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예컨대, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드-장착가능 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드-장착가능 시스템은 외부 불투명 디스플레이(예컨대, 스마트폰)를 수용하도록 구성될 수 있다. 헤드-장착가능 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 포함할 수 있다. 헤드-장착가능 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일부 구현예들에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명해지도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투사 시스템들은 또한 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투사하도록 구성될 수 있다.

일부 구현예들에서, XR 환경을 제시하는 전자 디바이스는 핸드헬드(예를 들어, 모바일 폰, 태블릿, 랩톱 등)일 수 있거나 착용될 수 있는(예를 들어, 시계, 헤드-장착 디바이스(HMD) 등) 단일 디바이스이다. 일부 구현예들에서, 전자 디바이스의 기능들은, 예를 들어 추가적으로 선택적 기지국을 포함하는 2개 이상의 통신(예를 들어, 유선 또는 무선) 디바이스들을 통해 달성된다. 다른 예들은 랩톱, 데스크톱, 서버, 또는 전력, CPU 능력들, GPU 능력들, 저장 능력들, 메모리 능력들 등의 측면에서 추가적인 능력들을 포함하는 다른 그러한 디바이스를 포함한다.

도 8은 예시적인 디바이스(800)의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않도록 하기 위해 예시되지 않았음을 이해할 것이다. 이를 위해, 비제한적인 예로서, 일부 구현예들에서 전자 디바이스(800)는 하나 이상의 프로세싱 유닛들(802)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들 및 센서들(806), 하나 이상의 통신 인터페이스들(808)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, ZIGBEE, SPI, I2C, 또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(810), 하나 이상의 디스플레이들(812), 하나 이상의 내부 또는 외부 대향 센서 시스템들(814), 메모리(820), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(804)을 포함한다.

일부 구현예들에서, 하나 이상의 통신 버스들(804)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(806)은 관성 측정 유닛(IMU), 가속도계, 자력계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간(time-of-flight) 등) 등 중 적어도 하나를 포함한다.

일부 구현예들에서, 하나 이상의 디스플레이들(812)은 콘텐츠를 사용자에게 제시하도록 구성된다. 일부 구현예들에서, 하나 이상의 디스플레이들(812)은 홀로그래픽, 디지털 광 프로세싱(digital light processing, DLP), 액정 디스플레이(LCD), 실리콘 물체 액정 표시장치(liquid-crystal on silicon, LCoS), 유기 발광 전계 효과 트랜지스터(organic light-emitting field-effect transitory, OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(surface-conduction electron-emitter display, SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(quantum-dot light-emitting diode, QD-LED), 마이크로-전자-기계 시스템(micro-electro-mechanical system, MEMS), 등의 디스플레이 유형들에 대응한다. 일부 구현예들에서, 하나 이상의 디스플레이들(812)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, 전자 디바이스(800)는 단일 디스플레이를 포함할 수 있다. 다른 예에서, 전자 디바이스(800)는 사용자의 각각의 눈을 위한 디스플레이를 포함한다.

일부 구현예들에서, 하나 이상의 내부 또는 외부 대향 센서 시스템들(814)은 이미지 데이터를 캡처하는 이미지 캡처 디바이스 또는 어레이, 또는 오디오 데이터를 캡처하는 오디오 캡처 디바이스 또는 어레이(예를 들어, 마이크로폰)를 포함한다. 하나 이상의 이미지 센서 시스템들(814)은 하나 이상의 RGB 카메라들(예컨대, 상보적 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 구비), 흑백 카메라들, IR 카메라들 등을 포함할 수 있다. 다양한 구현예들에서, 하나 이상의 이미지 센서 시스템들(814)은 플래시와 같은 광을 방출하는 조명원을 추가로 포함한다. 일부 구현예들에서, 하나 이상의 이미지 센서 시스템들(814)은 이미지 데이터에 대해 복수의 프로세싱 동작들을 실행하도록 구성된 온-카메라 이미지 신호 프로세서(ISP)를 더 포함한다.

메모리(820)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 구현예들에서, 메모리(820)는 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(820)는 선택적으로, 하나 이상의 프로세싱 유닛들(802)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(820)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다.

일부 구현예들에서, 메모리(820) 또는 메모리(820)의 비일시적 컴퓨터 판독가능 저장 매체는 선택적 운영 체제(830) 및 하나 이상의 명령어 세트(들)(840)를 저장한다. 운영 체제(830)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, 명령어 세트(들)(840)는 전하의 형태로 저장된 이진 정보에 의해 정의된 실행가능한 소프트웨어를 포함한다. 일부 구현예들에서, 명령어 세트(들)(840)는 본원에 설명된 기술들 중 하나 이상을 수행하기 위해 하나 이상의 프로세싱 유닛들(802)에 의해 실행가능한 소프트웨어이다.

일부 구현예들에서, 명령어 세트(들)(840)는, 본원에 개시된 기술들 하나 이상에 따라 투명 표면 상의 마킹들을 검출하고 검출된 마킹들을 사용하여 투명 표면에 관한 정보를 식별하도록 프로세싱 유닛(들)(802)에 의해 실행가능한 마킹 검출기(842)를 포함한다. 예를 들어, 투명 표면은 HMD에 대한 처방 렌즈 삽입일 수 있고, 정보는 처방 렌즈 삽입의 처방 파라미터들일 수 있다.

명령어 세트(들)(840)가 단일 디바이스 상에 상주하는 것으로 도시되지만, 다른 구현예들에서, 요소들의 임의의 조합이 별개의 컴퓨팅 디바이스들에 위치될 수 있다는 것을 이해해야 한다. 도 8은 본 명세서에 설명된 구현예들의 구조적 개략도에 반대로 특정 구현예들에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 명령어 세트들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 구현예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 또는 펌웨어의 특정 조합에 부분적으로 의존한다.

전술된 구현예들은 예로서 인용되어 있고 본 발명은 위에서 구체적으로 도시되고 기술된 것으로 제한되지 않는다는 것이 이해될 것이다. 오히려, 본 발명의 범주는 상기의 본 명세서에 기술된 다양한 특징들의 조합들 및 하위-조합들 둘 모두뿐만 아니라, 전술한 설명을 읽을 때 당업자에게 떠오를 것이고 종래 기술에서 개시되지 않은 그의 변형들 및 수정들을 포함한다.

본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들이 철저히 상세하게 설명되지 않았음을 당업자들은 인식할 것이다. 또한, 다른 효과적인 양태들 및/또는 변형들이 본원에 설명된 특정 세부사항들 모두를 포함하지는 않는다. 따라서, 도면들에 도시된 예시적인 양태들의 완전한 이해를 제공하기 위해 몇몇 세부사항들이 설명된다. 또한, 도면들은 단지 본 개시내용의 일부 예시적인 실시예들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다.

본 명세서가 많은 구체적인 구현 세부사항들을 포함하지만, 이들은 임의의 발명들 또는 청구될 수 있는 것의 범주에 대한 제한들로서가 아니라, 오히려 특정 발명들의 특정 실시예들에 특정적인 특징들의 설명들로서 해석되어야 한다. 별개의 실시예들과 관련하여 본 명세서에 설명된 소정의 특징들은 또한 단일 실시예에서 조합되어 구현될 수 있다. 반대로, 단일 실시예와 관련하여 기술된 다양한 특징들은 또한 다수의 실시예들에서 별개로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 더욱이, 위에서 특징들은 소정의 조합들에서 동작하는 것으로 설명되거나, 심지어 처음에 그와 같이 청구될 수 있지만, 청구되는 조합으로부터의 하나 이상의 특징은 일부 경우들에서 조합으로부터 제거될 수 있으며, 청구되는 조합은 하위 조합 또는 하위 조합의 변형과 관련될 수 있다.

유사하게, 도면들에는 동작들이 특정 순서로 묘사되어 있지만, 이것은 바람직한 결과들을 달성하기 위해 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되지 않아야 한다. 소정의 상황들에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다.

이와 같이, 본 주제의 특정 실시예들이 기술되었다. 다른 실시예들이 하기의 특허청구범위의 범주 내에 있다. 일부 경우에, 특허청구범위에 인용된 동작들이 상이한 순서로 수행되면서 여전히 바람직한 결과들을 달성할 수 있다. 또한, 첨부 도면들에 도시된 프로세스들은, 바람직한 결과들을 달성하기 위해, 도시된 특정 순서, 또는 순차적 순서를 반드시 필요로 하는 것은 아니다. 소정 구현예들에서는 다중 작업 및 병렬 프로세싱이 유리할 수 있다.

본 명세서에 기술된 동작들 및 발명 대상의 실시예들은, 디지털 전자 회로부에서, 또는 본 명세서에서 개시되는 구조들 및 이들의 구조적 등가물을 포함하는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서, 또는 이들 중 하나 이상의 조합들에서 구현될 수 있다. 본 명세서에 설명된 요지의 실시예들은 하나 이상의 컴퓨터 프로그램들, 즉, 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해, 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들로서 구현될 수 있다. 대안적으로 또는 추가적으로, 프로그램 명령어들은 인공적으로 생성된 전파 신호, 예를 들어 데이터 처리 장치에 의한 실행을 위해 적합한 수신기 장치로 송신할 정보를 인코딩하도록 생성되는 기계 생성된 전기, 광 또는 전자기 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는, 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 또는 이들 중 하나 이상의 조합일 수 있거나 또는 이에 포함될 수 있다. 또한, 컴퓨터 저장 매체는 전파된 신호는 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파된 신호에 인코딩된 컴퓨터 프로그램 명령어들의 송신지(source) 또는 수신지(destination)일 수 있다. 컴퓨터 저장 매체는, 또한 하나 이상의 별도의 물리적 컴포넌트들 또는 매체(예를 들어, 다수의 CD, 디스크, 또는 다른 저장 디바이스)일 수 있거나, 이에 포함될 수 있다.

용어 "데이터 프로세싱 장치"는 예시의 방식으로 프로그래밍가능 프로세서, 컴퓨터, 시스템 온 어 칩, 또는 다수의 것들 또는 상기한 것의 조합들을 포함하는, 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스들 및 기계들을 포함한다. 장치는 특수 목적 논리 회로부, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 장치는 또한 하드웨어에 추가하여 해당(in question) 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 교차-플랫폼 런타임 환경(cross-platform runtime environment), 가상 기계, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 다양한 상이한 컴퓨팅 모델 인프라, 예를 들어 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라를 실현할 수 있다. 구체적으로 달리 언급되지 않는다면, 본 명세서 전반에 걸쳐 "프로세싱", "컴퓨팅", "계산", "결정", 및 "식별" 등과 같은 용어들을 이용하는 논의들은, 메모리들, 레지스터들, 또는 컴퓨팅 플랫폼의 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 디스플레이 디바이스들 내에서 물리적 전자 또는 자기 양들로서 표현되는 데이터를 조작 또는 변환하는, 하나 이상의 컴퓨터들 또는 유사한 전자 컴퓨팅 디바이스 또는 디바이스들과 같은 컴퓨팅 디바이스의 작동들 또는 프로세스들을 지칭한다는 것이 이해된다.

본 명세서에 논의된 시스템 또는 시스템들은 임의의 특정 하드웨어 아키텍처 또는 구성에 제한되지 않는다. 컴퓨팅 디바이스는 하나 이상의 입력들에 반응하는 결과를 제공하는 컴포넌트들의 임의의 적합한 배열을 포함할 수 있다. 적합한 컴퓨팅 디바이스들은 범용 컴퓨팅 장치로부터 본 주제 내용의 하나 이상의 구현예들을 구현하는 특수 컴퓨팅 장치까지 컴퓨팅 시스템을 프로그래밍 또는 구성하는, 저장된 소프트웨어에 액세스하는 다목적 마이크로프로세서-기반 컴퓨터 시스템들을 포함한다. 임의의 적합한 프로그래밍, 스크립팅, 또는 다른 유형의 언어 또는 언어들의 조합들은 본 명세서에 포함된 교시들을, 컴퓨팅 디바이스를 프로그래밍 또는 구성하는 데 사용될 소프트웨어로 구현하는 데 사용될 수 있다.

본 명세서에 개시된 방법들의 구현예들은 이러한 컴퓨팅 디바이스들의 동작에서 수행될 수 있다. 위의 예들에서 제시된 블록들의 순서는 달라질 수 있는데, 예를 들어 블록들이 재정렬되거나, 조합되거나, 그리고/또는 하위-블록들로 나뉠 수 있다. 소정의 블록들 또는 프로세스들은 병렬로 수행될 수 있다. 본 명세서에 설명된 동작들은 하나 이상의 컴퓨터 판독가능 저장 디바이스들 상에 저장되거나 다른 소스들로부터 수신된 데이터에 대해 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.

본 명세서에서 "~ 하도록 적응되는(adapted to)" 또는 "~ 하도록 구성되는(configured to)"의 사용은 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 또는 구성되는 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의도된다. 부가적으로, "~에 기초하여"의 사용은, 하나 이상의 인용 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 작동이, 실제로, 인용된 것들 이상으로 부가적인 조건들 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호는 단지 설명의 용이함을 위한 것이며 제한적인 것으로 의도되지 않는다.

용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.

본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 구현예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수형들("a", "an" 및 "the")은 문맥상 명확하게 달리 나타나지 않으면 복수형들도 또한 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.

본 명세서에서 사용된 바와 같이, 용어 "~라면(if)"은 맥락에 의존하여, 언급된 선행 조건이 사실일 "때" 또는 그 조건이 사실일 "시에" 또는 그 조건이 사실이라고 "결정하는 것에 응답하여" 또는 그 조건이 사실이라는 "결정에 따라" 또는 그 조건이 사실이라는 것을 "검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[언급된 선행 조건이 사실이라고] 결정하면" 또는 "[언급된 선행 조건이 사실]이면" 또는 "[언급된 선행 조건이 사실]일 때"는 맥락에 의존하여, 언급된 선행 조건이 사실"이라고 결정할 시에" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여" 또는 그 조건이 사실"이라는 결정에 따라" 또는 그 조건이 사실"이라는 것을 검출할 시에" 또는 그 조건이 사실"이라는 것을 검출하는 것에 응답하여를 의미하는 것으로 해석될 수 있다.

Claims

방법으로서,
프로세서에서,
전자 디바이스의 이미지 센서로부터 이미지 데이터를 획득하는 단계 - 상기 이미지 데이터는 상기 전자 디바이스에 대한 투명 표면에 대응함 -;
상기 이미지 데이터에서 코드를 식별하는 단계 - 상기 코드는 상기 투명 표면을 수반하는 상기 전자 디바이스의 기능을 방해하지 않으면서 상기 이미지 센서에 의해 상기 투명 표면 상에서 검출가능함 -; 및
상기 식별된 코드에 기초하여 상기 디바이스에서 콘텐츠를 제공하는 단계를 포함하고, 상기 콘텐츠는 상기 투명 표면을 통해 볼 수 있는, 방법.
제1항에 있어서, 상기 식별된 코드는 상기 투명 표면의 처방 파라미터들, 상기 전자 디바이스의 사용자, 또는 상기 전자 디바이스에 대한 상기 투명 표면의 위치 및 배향을 식별하는, 방법.
제1항에 있어서, 상기 투명 표면을 상기 전자 디바이스에 부착하는 동작을 검출하는 것에 기초하여 상기 코드를 검출하는 단계를 더 포함하고, 상기 부착을 검출하는 단계는 오디오 데이터, IMU 데이터, 구두 통신들, 근접 센서, 비전 센서, 또는 명령어에 기초하는, 방법.
제1항에 있어서,
상기 전자 디바이스의 사용자의 깜박임을 검출하는 단계;
상기 깜박임 동안 상기 이미지 센서로부터 데이터의 하나 이상의 프레임들을 획득하는 단계; 및
상기 이미지 센서로부터의 상기 데이터의 하나 이상의 프레임들에서 상기 투명 표면 상의 상기 코드를 검출하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 전자 디바이스에 의해 눈 추적 또는 깜박임 검출이 수행되고 있지 않거나 또는 상기 전자 디바이스가 사용 중이 아닐 때, 활성 조명을 사용하여 생성된 상기 코드를 주기적으로 검출하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 코드는 육안으로 인지될 수 없는, 상기 투명 표면 내의 마킹들을 포함하는, 방법.
제1항에 있어서, 상기 코드는 미리 설정된 방출 파장 또는 파장 대역에서 가시적인 여기가능한 형광 마킹들을 포함하는, 방법.
제1항에 있어서, 상기 코드는 미리 설정된 검출 파장 또는 파장 대역에서 볼 수 있는 여기가능한 광변색 마킹들을 포함하는, 방법.
제1항에 있어서, 상기 코드는 제한된 각도 범위의 위치들로부터 볼 수 있는 반사 홀로그래픽 마킹들을 포함하는, 방법.
제1항에 있어서, 상기 코드는 상기 투명 표면으로부터 이격된 투사 표면 상의 미리 설정된 검출 파장 또는 파장 대역에서 볼 수 있는 계산 가성(caustic) 마킹들을 포함하는, 방법.
전자 디바이스로서,
상기 전자 디바이스에 부착된 투명 표면에 대응하는 이미지 데이터를 획득하도록 구성된 이미지 센서;
상기 투명 표면을 통해 보기 위해 상기 전자 디바이스에 콘텐츠를 제시하도록 구성된 디스플레이 - 상기 투명 표면은 코드의 묘사를 포함하고, 상기 코드는 상기 투명 표면을 통해 상기 디스플레이를 보는 것을 방해하지 않으면서 상기 이미지 센서에 의해 상기 투명 표면 상에서 검출가능함 -; 및
상기 코드에 기초하여 상기 디스플레이 상에 콘텐츠를 제공하도록 구성된 프로세서를 포함하는, 전자 디바이스.
제11항에 있어서, 상기 코드는 육안으로 인지될 수 없는, 상기 투명 표면 내의 마킹들을 포함하는, 전자 디바이스.
제11항에 있어서, 상기 코드는, 상기 전자 디바이스가 사용 중이 아닐 때 미리 설정된 방출 파장 또는 파장 대역에서 가시적인 여기가능한 형광 재료를 포함하는, 전자 디바이스.
제11항에 있어서, 상기 코드는 미리 설정된 검출 파장 또는 파장 대역에서 볼 수 있는 여기가능한 광변색 재료를 포함하는, 전자 디바이스.
제11항에 있어서, 상기 코드는 제한된 각도 범위의 위치들로부터 볼 수 있는 반사 홀로그래픽 광학 요소를 포함하는, 전자 디바이스.
제11항에 있어서, 상기 코드는 상기 투명 표면으로부터 이격된 투사 표면 상의 미리 설정된 검출 파장 또는 파장 대역에서 볼 수 있는 계산 가성을 포함하는, 전자 디바이스.
제11항에 있어서, 상기 전자 디바이스는 헤드-장착 디바이스를 포함하는, 전자 디바이스.
제11항에 있어서, 상기 이미지 센서를 사용하여 상기 전자 디바이스의 사용자의 눈들 또는 시선을 추적하는 것을 더 포함하는, 전자 디바이스.
제11항에 있어서, 상기 식별된 코드는 상기 투명 표면의 처방 파라미터들, 상기 전자 디바이스의 사용자, 또는 상기 전자 디바이스에 대한 상기 투명 서비스의 위치 및 배향을 식별하는, 전자 디바이스.
동작들을 수행하기 위해 하나 이상의 프로세서들을 통해 실행가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 동작들은,
전자 디바이스의 이미지 센서로부터 이미지 데이터를 획득하는 것 - 상기 이미지 데이터는 상기 전자 디바이스에 부착된 투명 표면에 대응함 -;
상기 이미지 데이터에서 코드를 식별하는 것 - 상기 코드는 상기 투명 표면을 수반하는 상기 전자 디바이스의 기능을 방해하지 않으면서 상기 이미지 센서에 의해 상기 투명 표면 상에서 검출가능함 -; 및
상기 식별된 코드에 기초하여 상기 디바이스에서 콘텐츠를 제공하는 것을 포함하고, 상기 콘텐츠는 상기 투명 표면을 통해 볼 수 있는, 비일시적 컴퓨터 판독가능 저장 매체.