KR20230005396A - 자체-혼합 센서를 갖는 헤드 장착형 전자 디바이스 - Google Patents

자체-혼합 센서를 갖는 헤드 장착형 전자 디바이스 Download PDF

Info

Publication number
KR20230005396A
KR20230005396A KR1020227043512A KR20227043512A KR20230005396A KR 20230005396 A KR20230005396 A KR 20230005396A KR 1020227043512 A KR1020227043512 A KR 1020227043512A KR 20227043512 A KR20227043512 A KR 20227043512A KR 20230005396 A KR20230005396 A KR 20230005396A
Authority
KR
South Korea
Prior art keywords
optical
lens
self
mixing
sensors
Prior art date
Application number
KR1020227043512A
Other languages
English (en)
Inventor
메흐메트 무틀루
세르한 오 이시크만
자차리 에이. 그레인저
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20230005396A publication Critical patent/KR20230005396A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02092—Self-mixing interferometers, i.e. feedback of light from object into laser cavity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163—Electric or electronic control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

헤드 장착형 디바이스는 헤드 장착형 하우징 및 헤드 장착형 하우징에 의해 지지되는 광학 컴포넌트들을 가질 수 있다. 광학 컴포넌트들은 카메라들, 이동가능한 광학 모듈들, 및 다른 컴포넌트들을 포함할 수 있다. 각각의 광학 모듈은 이미지를 디스플레이하는 디스플레이 및 대응하는 아이 박스에 이미지를 제공하는 렌즈를 포함할 수 있다. 광학 컴포넌트 위치의 변화들을 측정하기 위해 광학 자체-혼합 센서들이 광학 모듈들 및 헤드 장착형 디바이스의 다른 부분들에 포함될 수 있다. 광학 컴포넌트 위치의 변화를 검출하는 것에 응답하여, 디바이스 내의 액추에이터들은 광학 컴포넌트들을 이동시키도록 조정될 수 있거나, 또는 변화를 보상하기 위한 다른 액션이 취해질 수 있다.

Description

자체-혼합 센서를 갖는 헤드 장착형 전자 디바이스
본 출원은, 2021년 4월 14일자로 출원된 미국 특허 출원 제17/230,341호, 및 2020년 5월 21일자로 출원된 미국 가특허 출원 제63/028,458호에 대한 우선권을 주장하며, 이들은 그 전체가 본 명세서에 참조로서 포함되어 있다.
기술분야
본 출원은 일반적으로 전자 디바이스에 관한 것으로, 보다 상세하게는, 광학 컴포넌트들을 갖는 헤드 장착형 디바이스와 같은 전자 디바이스에 관한 것이다.
헤드 장착형 디바이스들과 같은 전자 디바이스들은 이미지들을 디스플레이 하기 위한 디스플레이들을 가질 수 있고 다른 광학 컴포넌트들을 가질 수 있다.
헤드 장착형 디바이스는 헤드 장착형 하우징을 가질 수 있다. 광학 컴포넌트들은 헤드 장착형 하우징에 의해 지지될 수 있다. 광학 컴포넌트들은, 아이 박스(eye box)들에 이미지들을 디스플레이 하기 위한 디스플레이들을 갖는 광학 모듈들 및/또는 전면 카메라들과 같은 카메라들을 포함할 수 있다.
헤드 장착형 디바이스의 부분들 사이의 위치의 변화들을 검출하기 위해, 광학 자체-혼합 센서들이 헤드 장착형 디바이스에 제공될 수 있다. 이러한 변화들은 렌즈들 및 디스플레이들과 같은 광학 모듈 컴포넌트들 사이의 위치들의 변화들을 포함할 수 있다. 이러한 변화들은 또한 카메라들과 같은 광학 컴포넌트들의 이동을 수반할 수 있다.
광학 자체-혼합 센서들을 사용하여 광학 컴포넌트 위치의 변화(예컨대, 컴포넌트 또는 다른 구조물이 그의 원하는 위치로부터 이동했음을 나타내는 변화)를 검출하는 것에 응답하여, 디바이스 내의 액추에이터들은 광학 컴포넌트들을 이동시키도록 조정될 수 있거나 변화를 보상하기 위해 다른 액션이 취해질 수 있다.
도 1은 일 실시예에 따른 예시적인 헤드 장착형 디바이스의 평면도이다.
도 2는 일 실시예에 따른 예시적인 헤드 장착형 디바이스의 배면도이다.
도 3은 일 실시예에 따른 예시적인 헤드 장착형 디바이스의 개략도이다.
도 4는 일 실시예에 따른 예시적인 자체-혼합 센서의 도면이다.
도 5는 일 실시예에 따른, 도 4의 자체-혼합 센서의 동작을 예시하는 그래프들을 포함한다.
도 6은 일 실시예에 따른 예시적인 디스플레이 시스템의 측단면도이다.
도 7은 일 실시예에 따른 예시적인 카메라 시스템의 측단면도이다.
도 8, 도 9, 도 10, 도 11, 도 12 및 도 13은 실시예들에 따른 자체-혼합 센서들을 갖는 예시적인 광학 시스템들의 측단면도들이다.
도 14는 일 실시예에 따른 자체-혼합 센서를 갖는 전자 디바이스를 동작시키는 것과 연관된 예시적인 동작들의 흐름도이다.
헤드 장착형 디바이스와 같은 전자 디바이스는 광학 컴포넌트들을 가질 수 있다. 광학 컴포넌트들은 사용자의 눈들에 이미지들을 제공하는 데 사용되는 광학 모듈들을 포함할 수 있다. 헤드 장착형 디바이스는 또한 카메라들과 같은 다른 광학 컴포넌트들을 가질 수 있다. 헤드 장착형 디바이스의 컴포넌트들은, 디바이스가 낙하 이벤트 또는 다른 높은 응력 이벤트를 겪는 경우, 오정렬을 경험할 가능성을 갖는다. 디바이스가 만족스럽게 동작하도록 보장하기 위해, 광학 자체-혼합 센서들이 헤드 장착형 디바이스의 컴포넌트들의 위치들을 정확하게 측정하는 데 사용될 수 있다. 이어서, 액추에이터들은 위치의 임의의 검출된 변화들을 보상하기 위해 광학 컴포넌트들을 이동시킬 수 있고/있거나 다른 보상 액션이 취해질 수 있다.
예시적인 헤드 장착형 디바이스의 평면도가 도 1에 도시된다. 도 1에 도시된 바와 같이, 전자 디바이스(10)와 같은 헤드 장착형 디바이스들은 하우징(12)과 같은 헤드 장착형 지지 구조물들을 가질 수 있다. 하우징(12)은 디바이스(10)가 사용자의 머리 상에 착용되게 하는 부분들(예컨대, 헤드 장착형 지지 구조물들(12T))을 포함할 수 있다. 지지 구조물들(12T)은 직물, 중합체, 금속, 및/또는 다른 재료로 형성될 수 있다. 지지 구조물들(12T)은 디바이스(10)를 사용자의 머리 상에서 지지하는 것을 돕기 위해 스트랩 또는 다른 헤드 장착형 지지 구조물들을 형성할 수 있다. 하우징(12)의 메인 지지 구조물(예컨대, 메인 하우징 부분(12M)과 같은 헤드 장착형 하우징)는 디스플레이들(14)과 같은 전자 컴포넌트들을 지지할 수 있다.
메인 하우징 부분(12M)은 금속, 중합체, 유리, 세라믹, 및/또는 다른 재료로 형성된 하우징 구조물들을 포함할 수 있다. 예를 들어, 하우징 부분(12M)은 전면(F) 상의 하우징 벽들 및 강성 중합체 또는 다른 강성 지지 구조물들로부터 형성된 인접 상단, 하단, 좌측 및 우측 측면들 상의 하우징 벽들을 가질 수 있고, 이러한 강성 벽들은 선택적으로 전기 컴포넌트들, 직물, 피혁, 또는 다른 연질 재료 등으로 덮일 수 있다. 하우징 부분(12M)은 또한, 구조적 지지를 제공하면서 기류를 제어하고 열을 소산시키는 것과 같은 다수의 기능들을 수행하는 프레임 및/또는 구조물들과 같은 내부 지지 구조물들을 가질 수 있다. 하우징 부분(12M)의 벽들은 디바이스(10)의 내부 영역(34) 내의 내부 컴포넌트들(38)을 에워쌀 수 있고, 디바이스(10)를 둘러싸는 환경(외부 영역(36))으로부터 내부 영역(34)을 분리할 수 있다. 내부 컴포넌트들(38)은 집적 회로, 액추에이터, 배터리, 센서, 및/또는 디바이스(10)를 위한 다른 회로들 및 구조물들을 포함할 수 있다. 하우징(12)은 사용자의 머리 상에 착용되도록 구성될 수 있고, 안경, 모자, 헬멧, 고글, 및/또는 다른 헤드 장착형 디바이스를 형성할 수 있다. 하우징(12)이 고글을 형성하는 구성들이 때때로 본 명세서에서 일례로서 설명될 수 있다.
하우징(12)의 전면(F)은 사용자의 머리 및 얼굴로부터 멀어지게 외향으로 향할 수 있다. 하우징(12)의 대향하는 후방 면(R)은 사용자를 향할 수 있다. 후면(R) 상의 하우징(12)의 부분들(예컨대, 메인 하우징(12M)의 부분들)은 커버(12C)와 같은 커버를 형성할 수 있다. 후면(R) 상의 커버(12C)의 존재는 내부 하우징 구조물들, 내부 컴포넌트들(38), 및 내부 영역(34) 내의 다른 구조물들을 사용자에 의한 시야로부터 숨기는 것을 도울 수 있다.
디바이스(10)는 도 1의 카메라들(46)과 같은 하나 이상의 카메라들을 가질 수 있다. 예를 들어, 전방(전면) 카메라들은 디바이스(10)가 디바이스(10)를 둘러싸는 환경에 대한 디바이스(10)의 이동을 모니터링하게 허용할 수 있다(예를 들어, 카메라들은 시각적 주행기록계 시스템 또는 시각적 관성 주행기록계 시스템의 일부를 형성하는 데 사용될 수 있다). 전방 카메라들은 또한 디바이스(10)의 사용자에게 디스플레이되는 환경의 이미지들을 캡처하는 데 사용될 수 있다. 원하는 경우, 다수의 전방 카메라들로부터의 이미지들이 서로 병합될 수 있고/있거나 전방 카메라 콘텐츠가 사용자에 대한 컴퓨터-생성 콘텐츠와 병합될 수 있다.
디바이스(10)는 임의의 적절한 수의 카메라들(46)을 가질 수 있다. 예를 들어, 디바이스(10)는 K개의 카메라들을 가질 수 있으며, 여기서 K의 값은 적어도 1, 적어도 2, 적어도 4, 적어도 6, 적어도 8, 적어도 10, 적어도 12, 20 미만, 14 미만, 12 미만, 10 미만, 4 내지 10 또는 다른 적합한 값이다. 카메라들(46)은 적외선 파장들에 민감할 수 있고(예를 들어, 카메라들(46)은 적외선 카메라들일 수 있음), 가시 파장들에 민감할 수 있고(예를 들어, 카메라들(46)은 가시 카메라들일 수 있음), 그리고/또는 카메라들(46)은 다른 파장들에 민감할 수 있다. 원하는 경우, 카메라들(46)은 가시 및 적외선 파장들 둘 모두에서 민감할 수 있다.
전면(F) 상에 장착되고 외측을 향하는(디바이스(10)의 전방을 향하고 사용자로부터 멀어짐) 카메라들(46)은 때때로, 본 명세서에서 전방 또는 전면 카메라들로 지칭될 수 있다. 카메라들(46)은 시각적 주행기록계 정보, (예를 들어, 가상 콘텐츠가 실세계 객체들에 대해 적절하게 등록될 수 있도록) 사용자의 시야에서 객체들을 위치설정하도록 프로세싱되는 이미지 정보, 디바이스(10)의 사용자에 대해 실시간으로 디스플레이되는 이미지 콘텐츠 및/또는 다른 적합한 이미지 데이터를 캡처할 수 있다.
디바이스(10)는 좌측 및 우측 광학 모듈들(40)을 가질 수 있다. 광학 모듈들(40)은 전기 및 광학 컴포넌트들, 예컨대 발광 컴포넌트들 및 렌즈들을 지지하며, 따라서 때때로 광학 조립체들, 광학 시스템들, 광학 컴포넌트 지지 구조물들, 렌즈 및 디스플레이 지지 구조물들, 전기 컴포넌트 지지 구조물들 또는 하우징 구조물들로 지칭될 수 있다. 각각의 광학 모듈은 각자의 디스플레이(14), 렌즈(30) 및 이를테면 지지 구조물(32)과 같은 지지 구조물을 포함할 수 있다. 때때로 렌즈 지지 구조물, 광학 컴포넌트 지지 구조물, 광학 모듈 지지 구조물, 광학 모듈 부분 또는 렌즈 배럴로 지칭될 수 있는 지지 구조물(32)은 디스플레이들(14) 및 렌즈들(30)을 수용하기 위해 개방 단부들 또는 다른 지지 구조물들을 갖는 중공형 원통 구조물들을 포함할 수 있다. 지지 구조물들(32)은, 예를 들어 좌측 디스플레이(14) 및 좌측 렌즈(30)를 지지하는 좌측 렌즈 배럴, 및 우측 디스플레이(14) 및 우측 렌즈(30)를 지지하는 우측 렌즈 배럴을 포함할 수 있다.
디스플레이들(14)은 이미지들을 생성하기 위한 픽셀들의 어레이들 또는 다른 디스플레이 디바이스들을 포함할 수 있다. 디스플레이들(14)은, 예를 들어, 박막 회로부를 갖는 기판들 상에 형성되고/되거나 반도체 기판들 상에 형성된 유기 발광 다이오드 픽셀들, 결정질 반도체 다이들로부터 형성된 픽셀들, 액정 디스플레이 픽셀들, 스캐닝 디스플레이 디바이스들, 및/또는 이미지들을 생성하기 위한 다른 디스플레이 디바이스들을 포함할 수 있다.
렌즈들(30)은 디스플레이들(14)로부터 각자의 아이 박스들(13)로 이미지 광을 제공하기 위한 하나 이상의 렌즈 요소들을 포함할 수 있다. 렌즈들은 굴절 유리 렌즈 요소들을 사용하고, 미러 렌즈 구조물들(반사굴절 렌즈들)을 사용하고, 프레넬 렌즈를 사용하고, 홀로그램 렌즈들을 사용하고, 그리고/또는 다른 렌즈 시스템들을 사용하여 구현될 수 있다.
사용자의 눈이 아이 박스들(13) 내에 위치될 때, 디스플레이들(디스플레이 패널들)(14)은 함께 동작하여 디바이스(10)를 위한 디스플레이를 형성한다(예를 들어, 각자의 좌측 및 우측 광학 모듈들(40)에 의해 제공되는 이미지들은 아이 박스들(13) 내의 사용자의 눈에 의해 보일 수 있어서 사용자를 위해 입체 이미지가 생성되게 한다). 디스플레이가 사용자에 의해 보이는 동안 좌측 광학 모듈로부터의 좌측 이미지는 우측 광학 모듈로부터의 우측 이미지와 융합된다.
사용자의 눈이 아이 박스들(13) 내에 위치되는 동안 사용자의 눈을 모니터링하는 것이 바람직할 수 있다. 예를 들어, 사용자 인증을 위해 사용자의 홍채들(또는 사용자의 눈의 다른 부분들)의 이미지들을 캡처하기 위해 카메라를 사용하는 것이 바람직할 수 있다. 또한, 사용자의 시선의 방향을 모니터링하는 것이 바람직할 수 있다. 시선 추적 정보는 사용자 입력의 형태로서 사용될 수 있고/있거나, 이미지 내에서 이미지 콘텐츠 해상도가 포비티드(foveated) 이미징 시스템에서 국소적으로 향상되어야 하는 곳을 결정하는 데 사용될 수 있다. 사용자의 눈들이 아이 박스들(13)에 위치되는 동안 디바이스(10)가 만족스러운 눈 이미지들을 캡처할 수 있음을 보장하기 위해, 각각의 광학 모듈(40)에는 카메라(42)와 같은 카메라 및 발광 다이오드들(44)과 같은 하나 이상의 광원들 또는 레이저들, 램프들 등과 같은 다른 발광 디바이스들이 제공될 수 있다. 카메라들(42) 및 발광 다이오드들(44)은 임의의 적합한 파장들(가시광, 적외선 및/또는 자외선)에서 동작할 수 있다. 예로서, 다이오드들(44)은 사용자에게 보이지 않는(또는 거의 보이지 않는) 적외선 광을 방출할 수 있다. 이는, 디스플레이들(14) 상에서 이미지들을 보는 사용자의 능력을 방해하지 않으면서 눈 모니터링 동작들이 연속적으로 수행될 수 있게 한다.
모든 사용자가 동일한 동공간 거리(interpupillary distance, IPD)를 갖는 것은 아니다. 측방향 차원(X)을 따라 모듈들(40) 사이의 동공간 간격을 조정하고 이에 의해 상이한 사용자 동공간 거리들을 수용하도록 아이 박스들(13) 사이의 간격 IPD를 조정하는 능력을 디바이스(10)에 제공하기 위해, 디바이스(10)에는 하우징(12) 내의 광학 모듈 위치설정 시스템들이 제공될 수 있다. 위치설정 시스템들은 광학 모듈들(40)을 서로에 대해 위치설정하는 데 사용되는 가이드 부재들 및 액추에이터들(43)을 가질 수 있다.
액추에이터들(43)은 지지 구조물들(렌즈 배럴들)(32)을 서로에 대해 이동시키기 위해 수동으로 제어될 수 있고/있거나 컴퓨터 제어식 액추에이터들(예컨대, 컴퓨터 제어식 모터들)일 수 있다. 사용자의 눈의 위치들에 대한 정보는, 예를 들어, 카메라들(42)을 사용하여 수집될 수 있다. 이어서, 아이 박스들(13)의 위치들은 그에 따라 조정될 수 있다.
도 2의 디바이스(10)의 배면도에 도시된 바와 같이, 커버(12C)는 광학 모듈들(40)의 렌즈들(30)을 덮지 않은 채로 두면서 후면(R)을 덮을 수 있다(예를 들어, 커버(12C)는 모듈들(40)과 정렬되고 이들을 수용하는 개구들을 가질 수 있다). 모듈들(40)이 상이한 사용자들에 대한 상이한 동공간 거리들을 수용하기 위해 차원(X)을 따라 서로에 대해 이동됨에 따라, 모듈들(40)은 메인 부분(12M)의 벽들과 같은 고정된 하우징 구조물들에 대해 이동하고 서로에 대해 이동한다.
헤드 장착형 디바이스 또는 다른 웨어러블 디바이스와 같은 예시적인 전자 디바이스의 개략도가 도 3에 도시되어 있다. 도 3의 디바이스(10)는 독립형 디바이스로서 동작될 수 있고/있거나 디바이스(10)의 리소스들은 외부 전자 장비와 통신하는 데 사용될 수 있다. 일례로서, 디바이스(10) 내의 통신 회로부는 사용자 입력 정보, 센서 정보, 및/또는 다른 정보를 외부 전자 디바이스들로 (예컨대, 무선으로 또는 유선 연결을 통해) 송신하는 데 사용될 수 있다. 이들 외부 디바이스 각각은 도 3의 디바이스(10)에 의해 도시된 유형의 컴포넌트들을 포함할 수 있다.
도 3에 도시된 바와 같이, 디바이스(10)와 같은 헤드 장착형 디바이스는 제어 회로부(20)를 포함할 수 있다. 제어 회로부(20)는 디바이스(10)의 동작을 지원하기 위한 저장소 및 프로세싱 회로부를 포함할 수 있다. 저장 및 프로세싱 회로부는 비휘발성 메모리(예를 들어, 플래시 메모리, 또는 솔리드 스테이트 드라이브를 형성하도록 구성되는 다른 전기적으로 프로그래밍가능 판독 전용 메모리), 휘발성 메모리(예를 들어, 정적 또는 동적 랜덤 액세스 메모리) 등과 같은 저장소를 포함할 수 있다. 제어 회로부(20) 내의 프로세싱 회로부는 센서들 및 다른 입력 디바이스들로부터 입력을 수집하는 데 사용될 수 있고, 출력 디바이스들을 제어하는 데 사용될 수 있다. 프로세싱 회로는 하나 이상의 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서들, 기저대역 프로세서들 및 다른 무선 통신 회로들, 전력 관리 유닛들, 오디오 칩들, 주문형 집적 회로들 등에 기초할 수 있다. 동작 동안, 제어 회로부(20)는 시각적 출력 및 다른 출력을 사용자에게 제공하는 데 디스플레이(들)(14) 및 다른 출력 디바이스들을 사용할 수 있다.
디바이스(10)와 외부 장비 사이의 통신을 지원하기 위해, 제어 회로부(20)는 통신 회로부(22)를 사용하여 통신할 수 있다. 회로부(22)는 안테나들, 무선 주파수 송수신기 회로부, 및 다른 무선 통신 회로부 및/또는 유선 통신 회로부를 포함할 수 있다. 때때로 제어 회로부 및/또는 제어 및 통신 회로부로 지칭될 수 있는 회로부(22)는 무선 링크를 통해 디바이스(10)와 외부 장비(예를 들어, 컴퓨터, 셀룰러 전화, 또는 다른 전자 디바이스와 같은 컴패니언 디바이스, 포인트 디바이스, 컴퓨터 스타일러스, 또는 다른 입력 디바이스, 스피커 또는 다른 출력 디바이스와 같은 액세서리 디바이스 등) 사이의 양방향 무선 통신들을 지원할 수 있다. 예를 들어, 회로부(22)는 무선 주파수 송수신기 회로부, 예컨대 무선 로컬 영역 네트워크 링크를 통한 통신들을 지원하도록 구성되는 무선 로컬 영역 네트워크 송수신기 회로부, 근거리 통신 링크를 통한 통신들을 지원하도록 구성되는 근거리 통신 송수신기 회로부, 셀룰러 전화 링크를 통한 통신들을 지원하도록 구성되는 셀룰러 전화 송수신기 회로부, 또는 임의의 다른 적합한 유선 또는 무선 통신 링크를 통한 통신들을 지원하도록 구성되는 송수신기 회로부를 포함할 수 있다. 무선 통신들은, 예를 들어, Bluetooth® 링크, WiFi® 링크, 10 ㎓ 내지 400 ㎓의 주파수에서 동작하는 무선 링크, 60 ㎓ 링크, 또는 다른 밀리미터파 링크, 셀룰러 전화 링크, 또는 다른 무선 통신 링크를 통해 지원될 수 있다. 디바이스(10)는, 원하는 경우, 유선 및/또는 무선 전력을 송신하고/하거나 수신하기 위한 전력 회로들을 포함할 수 있고, 배터리들 또는 다른 에너지 저장 디바이스들을 포함할 수 있다. 예를 들어, 디바이스(10)는 디바이스(10) 내의 회로부에 제공되는 무선 전력을 수신하기 위한 코일 및 정류기를 포함할 수 있다.
디바이스(10)는 디바이스들(24)과 같은 입출력 디바이스들을 포함할 수 있다. 입출력 디바이스들(24)은 사용자 입력을 수집하는 데, 사용자를 둘러싸는 환경에 대한 정보를 수집하는 데, 그리고/또는 사용자에게 출력을 제공하는 데 사용될 수 있다. 디바이스들(24)은 디스플레이(들)(14)와 같은 하나 이상의 디스플레이들을 포함할 수 있다. 디스플레이(들)(14)는 하나 이상의 디스플레이 디바이스들, 예컨대 유기 발광 다이오드 디스플레이 패널들(픽셀 제어 회로부를 포함하는 중합체 기판들 또는 실리콘 기판들 상에 형성된 유기 발광 다이오드 픽셀들을 갖는 패널들), 액정 디스플레이 패널들, 마이크로전자기계 시스템 디스플레이들(예를 들어, 2차원 미러 어레이들 또는 스캐닝 미러 디스플레이 디바이스들), 결정질 반도체 발광 다이오드 다이들(때때로 마이크로LED들로 지칭됨)로 형성된 픽셀 어레이들을 갖는 디스플레이 패널들, 및/또는 다른 디스플레이 디바이스들을 포함할 수 있다.
입출력 디바이스들(24) 내의 센서들(16)은 힘 센서들(예를 들어, 스트레인 게이지들, 용량성 힘 센서들, 저항력 센서들 등), 마이크로폰들과 같은 오디오 센서들, 용량성 센서들과 같은 터치 및/또는 근접 센서들, 예컨대 버튼, 트랙패드, 또는 다른 입력 디바이스를 형성하는 터치 센서), 및 다른 센서들을 포함할 수 있다. 원하는 경우, 센서들(16)은 광학 센서들, 예컨대, 광을 방출 및 검출하는 광학 센서들, 초음파 센서들, 광학 터치 센서들, 광학 근접 센서들, 및/또는 다른 터치 센서들 및/또는 근접 센서들, 단색 및 색상 주변 광 센서들, 이미지 센서들(예를 들어, 카메라들), 지문 센서들, 홍채 스캐닝 센서들, 망막 스캐닝 센서들, 및 다른 생체측정 센서들, 온도 센서들, 3차원 비접촉 제스처들("에어 제스처들")을 측정하기 위한 센서들, 압력 센서들, 위치, 배향 및/또는 모션을 검출하기 위한 센서들(예컨대, 가속도계들, 자기 센서들, 예컨대 나침반 센서들, 자이로스코프들, 및/또는 이들 센서들 중 일부 또는 전부를 포함하는 관성 측정 유닛들), 혈중 산소 센서들, 심박수 센서들, 혈류 센서들, 및/또는 다른 건강 센서들과 같은 건강 센서들, 무선 주파수 센서들, 3차원 카메라 시스템들, 이를테면 깊이 센서들(예컨대, 3차원 이미지들을 캡처하는 스테레오 이미징 디바이스들에 기초한 구조화된 광 센서들 및/또는 깊이 센서들), 및/또는 광학 센서들, 예컨대 자체-혼합 센서들 및 비행 시간(time-of-flight) 측정들을 수집하는 광 검출 및 레인징(라이다(lidar)) 센서들(예를 들어, 비행 시간 카메라들), 습도 센서들, 수분 센서들, 시선 추적 센서들, 근육 활성도를 감지하기 위한 근전도 센서들, 얼굴 센서들, 간섭계 센서들, 비행 시간 센서들, 자기 센서들, 저항성 센서들, 거리 센서들, 각도 센서들, 및/또는 다른 센서들을 포함할 수 있다. 일부 배열들에서, 디바이스(10)는 사용자 입력을 수집하기 위해 센서들(16) 및/또는 다른 입출력 디바이스들을 사용할 수 있다. 예를 들어, 버튼들은 버튼 누르기 입력을 수집하는 데 사용될 수 있고, 디스플레이들과 중첩되는 터치 센서들은 사용자 터치 스크린 입력을 수집하는 데 사용될 수 있고, 터치 패드들은 터치 입력을 수집하는 데 사용될 수 있고, 마이크로폰들은 오디오 입력(예컨대, 음성 커맨드들)을 수집하는 데 사용될 수 있고, 가속도계들은 손가락이 입력 표면과 접촉할 때를 모니터링하는 데 사용될 수 있고, 그에 따라 손가락 누르기 입력을 수집하는 데 사용될 수 있는 식이다.
원하는 경우, 전자 디바이스(10)는 부가적인 컴포넌트들을 포함할 수 있다(예를 들어, 입출력 디바이스들(24) 내의 다른 디바이스들(18) 참조). 부가적인 컴포넌트들은 햅틱 출력 디바이스들, 이동가능한 하우징 구조물들을 이동시키기 위한 액추에이터들, 스피커들과 같은 오디오 출력 디바이스들, 상태 표시자들을 위한 발광 다이오드들, 하우징 및/또는 디스플레이 구조물의 부분들을 조명하는 발광 다이오드들과 같은 광원들, 다른 광학 출력 디바이스들, 및/또는 입력을 수집하고 그리고/또는 출력을 제공하기 위한 다른 회로부를 포함할 수 있다. 디바이스(10)는 또한 배터리 또는 다른 에너지 저장 디바이스, 보조 장비와의 유선 통신을 지원하고 유선 전력을 수신하기 위한 커넥터 포트들, 및 다른 회로부를 포함할 수 있다.
디바이스(10)의 광학 컴포넌트들은 디바이스(10)의 동작 동안 만족스러운 정렬로 유지되는 것이 바람직하다. 낙하 이벤트 또는 디바이스(10) 상에 응력을 부여하는 다른 이벤트로 인해, 디바이스(10) 내의 디스플레이들, 렌즈들, 카메라들, 다른 광학 컴포넌트들 및/또는 다른 구조물들의 위치들이 그들의 초기 위치들에 대해 이동할 위험이 있다. 많은 양의 응력을 받는 경우에도, 디바이스(10)가 만족스럽게 동작하는 것을 보장하기 위해, 디바이스(10)는 센서들을 사용하여 컴포넌트 위치들을 측정할 수 있다. 컴포넌트 위치의 변화를 측정하는 것에 응답하여, 디바이스(10)(예를 들어, 제어 회로부(20))는, (예를 들어, 컴포넌트가 만족스럽게 위치되는 것을 보장하기 위해 컴포넌트의 위치를 조정하는 데 액추에이터를 사용함으로써, 보상할 카메라 또는 디바이스와 연관된 이미지 데이터를 워프시킴으로써 등) 보상 액션을 취할 수 있다. 때때로 본 명세서에서 예로서 설명될 수 있는 예시적인 구성에서, 하나 이상의 액추에이터들은, 디바이스(10)가 낙하 이벤트들 및 다른 높은 응력 이벤트들을 겪는 경우에도 광학 컴포넌트가 그의 원하는 위치에 유지되도록 이동된 광학 컴포넌트를 재위치설정하는 데 사용될 수 있다. 초점을 조정하고/하거나 광학 컴포넌트들의 동작을 달리 조정하기 위해 렌즈들, 디스플레이들 및/또는 다른 컴포넌트들을 이동시키면서 액추에이터들이 측정된 위치 정보를 사용하는 구성들이 또한 예들로서 본 명세서에서 설명될 수 있다.
컴포넌트들이 원하는 위치들에 유지될 수 있도록, 컴포넌트 위치의 비교적 작은 변화들을 측정하는 것이 바람직할 수 있다. 예를 들어, (예로서), 30 미크론 미만, 20 미크론 미만, 7 미크론 미만, 또는 3 미크론 미만의 허용 오차 내에서 렌즈 또는 다른 컴포넌트의 위치를 그의 원래의 위치에 유지하는 것이 바람직할 수 있다. 디바이스(10) 내의 광학 컴포넌트들에 대한 엄격한 허용 오차들을 유지하면서, 대응적으로 정확한 위치 측정들을 취하는 것이 바람직할 수 있다. 본 명세서에서 예로서 설명되는 예시적인 구성에서, 광학 자체-혼합 센서들과 같은 광학 위치 센서들은 이러한 엄격한 허용 오차들 내에서(예를 들어, 10 미크론보다 양호한, 2 미크론보다 양호한 또는 1 미크론보다 양호한 정확도 또는 다른 적합한 정확도로) 컴포넌트 위치들을 측정하는 데 사용된다. 서브미크론 위치 측정 정확도 또는 다른 만족스러운 측정 정밀도는, 상당한 오정렬 에러들을 도입하지 않으면서, 렌즈들, 디스플레이들, 카메라들, 및/또는 다른 광학 컴포넌트들이 원하는 위치들에 배치될 수 있게 한다.
예시적인 광학 자체-혼합 센서가 도 4에 도시된다. 때때로, 광학 자체-혼합 위치 센서 또는 자체-혼합 배향 센서로 지칭될 수 있는 자체-혼합 센서(70)는 거리를 측정하고 그에 따라 센서와 타겟 구조물 사이의 상대적 위치를 결정하는 데 사용될 수 있다. 일부 구성들에서, 각도 배향은 하나 이상의 자체-혼합 센서들을 사용하여 측정될 수 있다. 예를 들어, 각도 경사는 2개 이상의 거리들을 측정함으로써 측정될 수 있다. 예로서, 하나의 축에 대한 경사는 컴포넌트 상의 상이한 각자의 위치들에서 이루어진 한 쌍의 거리 측정들을 사용하여 측정될 수 있는 반면, 2개의 축들에 대한 경사는 3개의 그러한 거리 측정들을 사용하여 측정될 수 있다. 자체-혼합 센서들이 거리, 변위 또는 위치를 측정하는 것으로 지칭되는 배열들이 때때로 예로서 본 명세서에서 설명될 수 있다. 일반적으로, 위치, 각도 배향, 위치 및/또는 배향의 변화들 및/또는 다른 자체-혼합 센서 측정들이 직접 수집될 수 있고/있거나 자체-혼합 센서들로부터의 거리의 측정들로부터 도출될 수 있다.
도 4의 예에서, 자체-혼합 센서(70)는 센서(70)와 타겟(82) 사이의 분리도(거리(D))를 측정하는 데 사용되고 있다. 도 4의 타겟(82)과 같은 디바이스(10)의 타겟 구조물들은 렌즈들의 부분들(예를 들어, 도 1의 렌즈들(30)), 지지 구조물들의 부분들(예를 들어, 렌즈를 위한 렌즈 배럴 또는 다른 지지 구조물(32) 및/또는 다른 광학 모듈 컴포넌트들), 디스플레이 구조물들(예를 들어, 디스플레이들(14)), 카메라들의 부분들(예를 들어, 카메라들(46) 및/또는 카메라들(42)) 및/또는 디바이스(10) 내의 다른 구조물들(예를 들어, 부분(12M)의 하우징 구조물들)일 수 있다. 센서(70)와 같은 자체-혼합 센서들은 하우징 구조물들(예를 들어, 부분(12M)의 구조물) 상에 또는 그에 인접하게 장착될 수 있고/있거나 센서(70)는 렌즈들(예를 들어, 도 1의 렌즈들(30)), 지지 구조물들의 부분들(예를 들어, 렌즈 배럴(32)), 디스플레이 구조물들(예를 들어, 디스플레이들(14)), 카메라들의 부분들 및/또는 디바이스(10) 내의 다른 구조물들(예를 들어, 부분(12M)의 하우징 구조물들) 상에 또는 그에 인접하게 장착될 수 있다. 이러한 방식으로, 거리(D)는 렌즈 정렬에 대한 정보를 나타내는 디스플레이-렌즈 측정 또는 하우징-렌즈 측정에 대응할 수 있고/있거나 그렇지 않으면, 렌즈들, 카메라들, 디스플레이들, 하우징 구조물들 등 사이의 거리들을 측정하는 데 사용될 수 있다. 하나 이상의 센서들(70)을 이용한 측정들이, 컴포넌트가 그의 원하는 위치에 대해 오정렬되었음을 나타내는 경우에, 보상 액션이 취해질 수 있다. 예를 들어, 제어 회로부(20)는 액추에이터를 사용하여 디바이스(10)의 렌즈, 디스플레이, 카메라 또는 다른 컴포넌트를 이동시켜 컴포넌트 위치의 측정된 변화들을 보상할 수 있다. 예로서, 렌즈(30)가 디스플레이(14)로부터 30 미크론만큼 너무 멀리 있으면, 렌즈(30)는 30 미크론만큼 디스플레이(14)를 향해 이동될 수 있다.
도 4의 예시적인 구성에 도시된 바와 같이, 자체-혼합 센서(74)는 수직 캐비티 표면 방출 레이저(80)와 같은 레이저를 포함할 수 있다(예를 들어, 자체-혼합 근접 센서(70)는 다이오드 레이저 또는 다른 코히어런트 또는 부분적 코히어런트 광원 또는 다른 전자기 방사를 갖는 코히어런트 자체-혼합 센서일 수 있음). 레이저(80)는 (때때로 브래그(Bragg) 반사기들로 지칭되는) 박막 간섭 필터 미러들(74)을 가질 수 있으며, 그 각각은 교번하는 굴절률의 박막 층들의 스택으로부터 형성된다. 활성 구역(76)은 미러들(74) 사이에 형성될 수 있다. 레이저(80)의 하부 미러는, 레이저(80)의 광 중 일부가 중첩된 포토다이오드(72)에 도달할 수 있게 하기 위해 100% 미만의 공칭 반사율을 가질 수 있거나, 또는 포토다이오드(72)가 센서(70)의 다른 곳에(예를 들어, 레이저(80)에 측방향으로 인접하게) 위치되는 구성들에서, 하부 미러는 100%의 공칭 반사율을 가질 수 있다. 레이저(80)의 상부 미러는 약간 더 낮은 반사율을 가질 수 있어서, 레이저(80)는 타겟(82)을 향해 광(84)을 방출한다. 레이저(80)는 제어 회로부(20)(예를 들어, 회로부(20)의 구동 회로)를 사용하여 단자들(86)에 구동 신호를 인가함으로써 제어될 수 있다. 감지 회로부(예를 들어, 회로부(20)의 포토다이오드(72) 및/또는 연관된 감지 회로부)는 (예로서) 레이저(80)의 광 출력을 측정할 수 있다.
방출된 광(46)은 850 내지 1200 nm, 800 nm 내지 1100 nm, 920 내지 960 nm, 적어도 800 nm, 적어도 900 nm, 적어도 1000 nm, 1200 nm 미만, 1100 nm 미만, 1000 nm 미만, 또는 900 nm 미만의 적외선 파장, 또는 다른 적합한 파장(예를 들어, 가시 파장, 자외선 파장, 적외선 파장, 근적외선 파장 등)을 가질 수 있다. 방출된 광(84)이 타겟(82)을 조명할 때, 방출된 광(84)의 일부는 반사된 광(86)으로서 센서(70)를 향해 후방으로 반사될 것이다(예를 들어, 타겟(82)으로부터 정반사되고/되거나 타겟(82)의 무광택 표면으로부터 후방 산란되는 광).
도 4의 센서(70)는 감광 요소(예를 들어, 이를테면 포토다이오드(72)와 같은 광 검출기)를 포함한다. 도 4의 예에서 포토다이오드(72)는 레이저(80) 아래에 위치되지만, 원하는 경우 포토다이오드(72)가 레이저(80)에 인접하고, 레이저(80)와는 별개의 기판 상에 위치되고, 활성 영역(76) 위에 위치되고, 그리고/또는 다른 구성들을 갖는 구성들이 사용될 수 있다. 포토다이오드(72)의 단자들은 제어 회로부(20)의 감지 회로부에 결합될 수 있다. 이 회로부는 반사된 광(86)과 같은 반사된 광(방출된 광(84)의 정반사된 부분 및/또는 후방 산란된 부분들)의 수신에 응답하여 생성되는 포토다이오드 출력 신호들을 수집한다. 포토다이오드를 사용하는 것에 부가하여, 자체 혼합은 레이저 접합 전압 측정치들(예를 들어, 레이저가 일정한 바이어스 전류로 구동되는 경우) 또는 레이저 바이어스 전류(예를 들어, 레이저가 일정한 전압으로 구동되는 경우)를 사용하여 검출될 수 있다.
타겟(82)은 근접 센서(70)로부터 거리(D)에 위치된다. 반사된 광(86)이 레이저(80)의 레이저 캐비티에 재진입할 때 타겟(82)으로부터 반사되거나 후방 산란되는 광(84) 중 일부는(즉, 이러한 피드백된 광이 레이저 캐비티 내의 광과 혼합됨), 전기장을 코히어런트하게 섭동시키고 레이저(80) 내의 캐비티 밀도에 섭동을 야기한다. 레이저(80)에서의 이러한 섭동들은 레이저 접합 전압 및/또는 레이저 바이어스 전류와 같은 레이저(80)의 연관된 동작 특성들 및 방출된 광(84)의 전력에서 코히어런트 자체-혼합 변동들을 야기한다. 이러한 변동들은 모니터링될 수 있다. 예를 들어, 광(86)의 전력의 변동들은 포토다이오드(72)를 사용하여 모니터링될 수 있다. 도 4의 예에서, 포토다이오드(72)는 레이저(80) 하에서 형성되는 통합형 모놀리식 포토다이오드이지만, 원하는 경우, 다른 구성들이 사용될 수 있다.
제어 회로부(20)는 레이저(80)에 대한 구동 전류를 공급하도록 구성되며, 포토다이오드(72)의 응답을 감지하기 위한 회로부를 포함한다. 감지된 포토다이오드 출력은 다이오드 전류 및/또는 전압의 측정들을 포함할 수 있다. 변조 방식은 파장 변조를 유도할 목적으로 레이저(80)를 구동하기 위해 사용될 수 있고, (포토다이오드 전류, 접합 전압, 바이어스 전류 등의 측정들을 사용하는) 포토다이오드 출력 프로세싱 방식이 출력 전력에서 측정된 자체-혼합 변동들을 프로세싱하는 데 사용되어, 제어 회로부(20)가 자체-혼합 간섭계의 원리들에 따라 센서(70)와 타겟(82) 사이의 거리(D)를 결정하게 할 수 있다.
레이저(80)를 구동하기 위한 변조 방식은, 예를 들어, 레이저(80)의 구동 전류 크기에 대한 출력 파장의 의존성으로 인해, 삼각파의 각각의 절반 기간 동안 제1 파장(WL1)과 제2 파장(WL2) 사이에서 광(84)의 파장을 연속적으로 변경하는 삼각파 구동 신호를 사용할 수 있다. 광(84)의 파장 변동들은 레이저(80)의 자체-혼합 간섭 신호가 리플들을 나타내게 한다. 원하는 경우, 레이저(80)를 구동시키기 위해 다른 변조 방식들(예를 들어, 정현파 구동 방식들 등)이 사용될 수 있다.
포토다이오드 신호에 대해 사용되는 프로세싱 방식은 주파수 추출 변환을 사용하여 리플들의 주기를 추출하며, 그로부터 거리(D)가 계산될 수 있다. 거리(D)는, 예를 들어, 50 미크론보다 양호한, 20 미크론보다 양호한, 10 미크론보다 양호한, 5 미크론보다 양호한, 2 미크론보다 양호한, 1 미크론보다 양호한 정확도, 또는 다른 적합한 정확도로 결정될 수 있다. 이러한 높은 정확도로 인해, 디바이스(10) 내에서 렌즈 또는 다른 광학 컴포넌트가 어디에 위치되는지의 측정들은, 액추에이터들이 원하지 않는 낙하-도출 이동을 보상하거나 다른 적합한 보상 액션을 취하기 위해 렌즈 및/또는 다른 광학 컴포넌트를 이동시킬 수 있게 하기 위해 충분한 정밀도로 결정될 수 있다. 주파수 추출 변환은 시간 해상도(예를 들어, 웨이블릿 변환)를 가질 수 있거나 또는 갖지 않을 수 있다(예를 들어, 푸리에 변환).
센서(70)에 대한 예시적인 신호 프로세싱 접근법이 도 5에 도시된다.
도 5의 제1(최상부) 트레이스는 레이저(80)에 대한 레이저 구동 전류(Id)가 삼각파와 같은 교류(AC) 신호를 사용하여 어떻게 변조될 수 있는지를 도시한다. 이는 레이저(80)의 온도를 변조하고, 따라서 광(84)의 출력 파장을 변조한다. 예를 들어, 광(84)의 파장은 제1 값(WL1)(구동 신호(Id)가 최소인 경우)과 파장(WL2)(구동 신호(Id)가 최대인 경우) 사이에서 변할 수 있다. 자체-혼합 간섭계의 원리들에 따르면, 광(84)의 파장의 변조는, 자체-혼합 근접 센서가 거리(D)를 변화시키지 않으면서 타겟 거리(D)를 측정할 수 있게 한다.
도 5의 제2(최상부에 대해 두번째) 트레이스는 포토다이오드(72)로부터의 결과적인 출력 신호(PDout)가 자체-혼합 간섭 리플들(60)을 포함하는 방법을 도시한다. 레이저 전류 또는 레이저 전압이 측정되는 구성들에서, 자체-혼합 간섭 리플들이 측정된 전류 또는 전압에서 나타날 것이다.
제어 회로부(20)(예를 들어, 연산 증폭기 회로에 기초한 감지 회로 또는 다른 감지 회로부)는 신호(PDout)(또는 레이저(80)의 측정된 전류 또는 전압)를 구별하도록 구성될 수 있다. 그 결과, 제어 회로부(20)(예를 들어, 회로부(20)의 감지 회로)는 도 5의 제3(최상부로부터 세번째) 트레이스에 도시된 바와 같이 출력 신호(Vsig)를 생성할 수 있다. 신호(Vsig)는 이상적으로, 리플들(60)이 부과되는 구형파이다. 후속 신호 프로세싱(예를 들어, 주파수 추출 변환을 수행하기 위한 프로세싱)을 용이하게 하기 위해, 하이 기간들(64) 동안의 신호(Vsig)의 평균은 (디지털 방식으로 또는 제어 회로부(20) 내의 아날로그 회로부를 사용하여) 하이 기간들(64) 동안의 신호(Vsig)로부터 감산될 수 있으며, 그에 의해, 도 5의 제4(최하부) 트레이스에서 신호(V)에 의해 도시된 바와 같이, 기간들(62 및 64)에서 직류(DC) 성분을 균등화한다.
리플들(60)의 주파수를 결정하기 위해 고속 푸리에 변환(FFT) 또는 다른 주파수-추출 변환(예를 들어, 힐베르트(Hilbert) 변환, 연속 또는 이산 웨이블릿 변환, 다중 신호 분류 방법 등)과 같은 주파수-추출 변환이 신호(V)에 적용될 수 있다. 하나의 예시적인 접근법에 있어서, 리플 주파수는 FFT 진폭 곡선에서 피크와 연관된 주파수를 식별함으로써 결정될 수 있다. FFT 출력에서 더 낮은 피크들을 갖는 주파수들은 잡음과 연관된 것으로 가정될 수 있고, 무시될 수 있다. 곡선 내의 피크들에 곡선을 피팅함으로써(예를 들어, 리플 주파수를 식별하기 위해 FFT 알고리즘의 출력 주파수들 각각에서 FFT 알고리즘의 출력 진폭을 프로세싱함으로써) 더 정확한 주파수 평가가 이루어질 수 있다. 예를 들어, 리플 주파수(fp)를 정확하게 식별하기 위해, 가우시안 곡선과 같은 곡선이 FFT 프로세스의 출력의 주파수 피크들에 피팅될 수 있다. 이어서, 주파수(fp)는 타겟 거리(D)를 계산하는 데 사용될 수 있다. 일부 예시적인 구성들에서, 거리(D)를 결정하기 위해 다른 타입들의 복조가 사용될 수 있다. 예를 들어, IQ 복조는 레이저(80)가 정현파로 변조되는 시나리오들에서 사용될 수 있다. 원하는 경우, 별개의 위상 변조기(예를 들어, 리튬 니오바이트 전기-광학 변조기와 같은 별개의 전기-광학 변조기)가 광(84)을 변조하는 데 사용될 수 있다. 이러한 자체-혼합 변조 및 신호 프로세싱 배열들 및/또는 다른 배열들은, 거리(D)와 같은 거리들이 디바이스(10)에서 측정되게 할 수 있어서, 이러한 거리 정보는 디바이스(10)의 컴포넌트들을 조정하는 데 사용될 수 있다.
센서(70)를 사용하여 생성될 수 있는 유형의 정확한 거리 측정들은 디바이스(10) 내의 광학 컴포넌트 위치들에 대한 실시간 피드백을 제공하는 데 사용될 수 있다. 예를 들어, 렌즈들, 디스플레이들, 이미지 센서들 및/또는 다른 광학 컴포넌트들 및/또는 이러한 컴포넌트들을 지원하는 데 사용되는 하우징 구조물들의 위치들은 센서(70)와 같은 센서들을 사용하여 측정될 수 있어서, 제어 회로부(20)는 이를테면, 컴포넌트들을 재위치설정하기 위해 액추에이터들을 조정할 수 있고/있거나 다른 적절한 액션을 취할 수 있다.
예를 들어, 도 6의 배열을 고려한다. 도 6의 예에서, 광학 모듈(40)의 디스플레이(14)(예를 들어, 픽셀 어레이)에 대한 렌즈(30)의 위치를 측정하기 위해 다수의 센서들(70)이 사용되고 있다. 제1 센서(70)는 (예를 들어, 렌즈(30)의 우측 에지를 따라) 디스플레이(14)와 렌즈(30) 사이의 거리(D1)를 측정할 수 있고, 제2 센서(70)는 (예를 들어, 렌즈(30)의 좌측 에지를 따라) 디스플레이(14)와 렌즈(30) 사이의 거리(D2)를 측정할 수 있다. 제3 센서(70)는, 원하는 경우, (예를 들어, 모든 치수들에서 렌즈(30)의 각도 배향이 결정될 수 있도록) 렌즈(30)와 디스플레이(14) 사이의 분리를 측정할 수 있다.
센서들(70)을 사용함으로써, 디스플레이(14)로부터의 렌즈(30)의 분리도, 및 디스플레이(14)에 대한 렌즈(30)의 배향이 측정될 수 있다. 이러한 유형의 배열을 사용하면, 디스플레이(14)에 대한 렌즈(30)의 원하지 않는 이동, 하우징 부분(12M)의 하우징 섀시 또는 다른 구조적 부재들에 대한 렌즈(30)의 원하지 않는 이동, 렌즈(30) 및/또는 하우징 부분(12M)에 대한 디스플레이(14)의 원하지 않는 이동 및/또는 디바이스(10)에서 광학 모듈(40)의 부분들의 다른 원하지 않는 이동들이 검출될 수 있다.
원하는 경우, 센서들(70)은 또한, 사용자가 아이 박스(13)로부터 디스플레이(14) 상의 콘텐츠를 볼 때 가상 이미지들의 거리들을 변경하도록 이루어지는 렌즈 위치 조정들 동안 렌즈(30)의 위치를 능동적으로 모니터링하는 데 사용될 수 있다. 이러한 렌즈 위치 조정들은 예를 들어, 모듈(40)의 초점을 조정하고 이로써 사용자가 디스플레이(14) 상의 이미지를 보기 위해 필요한 원근조절의 양을 조정하기 위해 이루어질 수 있다. 제어 회로부(20)는 예로서, 좌측 및 우측 광학 모듈들(40) 상의 좌측 및 우측 이미지들과 연관된 3차원 콘텐츠가 사용자에게 제시되고 있을 때 이접운동-원근조절 불일치를 최소화하거나 제거하기 위해 렌즈 초점을 조정할 수 있다.
도 7의 예시적인 구성에서, 카메라(46)가 실세계 객체(90)의 이미지를 캡처하는 동안 센서들(70)은 카메라(도 7의 예에서는 카메라(46)) 내의 카메라 렌즈(30')와 카메라 이미지 센서(46I) 사이의 상대적인 위치를 모니터링하는 데 사용되고 있다. 예를 들어, 제1 센서(70)는 거리(D1)를 측정할 수 있는 한편, 제2 센서는 거리(D2)를 측정할 수 있다. 원하는 경우, 추가적인 센서들(들)(70)이 사용될 수 있다. 이러한 방식으로, 적절한 액션(예를 들어, 렌즈(30'), 이미지 센서(46I) 등의 이동들을 보상함)이 취해질 수 있도록 디바이스(10)의 동작 동안 렌즈(30')의 위치, 이미지 센서(46I) 및/또는 연관된 하우징 구조물들이 측정될 수 있다.
도 8은 센서들(70)을 갖는 예시적인 광학 모듈의 일부의 측단면도이다. 도 8의 예에서, 광학 모듈(40)은 렌즈(30)(예를 들어, 반사굴절 렌즈 또는 다른 렌즈) 및 디스플레이(14)(예를 들어, 유기 발광 다이오드들의 어레이를 갖는 디스플레이)를 포함한다. 렌즈(30)는 광학 모듈 지지 구조물(32)(예를 들어, 렌즈 배럴)에서 지지될 수 있다. 자체-혼합 센서들(70) 및 디스플레이(14)는 지지 구조물들(92 및 94)에 의해 각각 지지될 수 있다. 디스플레이(14) 및 지지 구조물(94)은 지지 구조물(32)에 결합될 수 있거나(예를 들어, 구조물(94)은 렌즈 배럴 구조물의 일부일 수 있음), 또는 도 8에 도시된 바와 같이, 구조물(94)은 지지 구조물(32)과 별개이고(예를 들어, 하우징 부분(12M) 내의 지지 구조물, 디스플레이(14)와 연관된 디스플레이 패널에 대한 디스플레이 기판) 선택적으로 지지 구조물(32)에 결합되는 구조물일 수 있다.
동작 동안, 제어 회로부(20)는 센서들(70)을 사용하여 렌즈(30)의 위치를 측정할 수 있다. 예를 들어, 센서들(70)은, 광학 모듈(40)의 지지 구조물(32)과 별개이고 따라서 렌즈(30)의 위치가 측정될 수 있는 고정된 기준 프레임을 확립하도록 기능하는 도 8의 지지 구조물(92)과 같은 지지 구조물(예를 들어, 하우징 부분(12M) 내의 섀시 또는 다른 하우징 구조물)에 직접 장착될 수 있다. 디스플레이(14) 및 지지부(94)가 지지부(92)에 부착되는 배열들에서, 도 8의 감지 배열은 센서들(70)이 렌즈(30)와 디스플레이(14) 사이의 상대적인 위치를 측정할 수 있게 할 수 있다.
센서(들)(70)에 의해 수집된 렌즈(30)의 위치에 관한 정보에 응답하여, 제어 회로부(20)는 액추에이터들(96)을 사용하여 렌즈(30)의 위치(예를 들어, 지지 구조물(92) 및 디스플레이(14)에 대한 렌즈(30)의 위치)를 조정할 수 있다. 액추에이터들(96)은, 원하는 경우, 지지 구조물(92)(고정 기준 프레임으로서 기능함)과 렌즈(30) 사이에 장착될 수 있다. 액추에이터들(96)은 압전 액추에이터들, 전자기 액추에이터들(예를 들어, 모터들) 및/또는 다른 컴퓨터-제어 위치설정기들일 수 있다. 2개 이상, 3개 이상, 또는 다른 적합한 수의 액추에이터들(96)이 렌즈(30)를 위치설정하는 데 사용될 수 있다. 예를 들어, 렌즈(30)의 배향을 조정하기 위해, 렌즈(30)의 둘레 주위에서 서로 120o로 이격된 3개의 액추에이터들(96)이 사용될 수 있다. 액추에이터들(96)은 디스플레이(14)와 렌즈(30) 사이의 축(Z)을 따른 분리도를 조정할 수 있고/있거나 렌즈(30)를 측방향으로(예를 들어, 치수들(X 및/또는 Y)을 따라) 시프트하도록 구성될 수 있다.
렌즈(30)를 지지 구조물(32)에 장착하는 데 접착제가 사용될 수 있다. 이러한 유형의 배열에서, 접착 수축이 렌즈(30)와 지지 구조물(32) 사이의 상대적인 위치에 영향을 미칠 가능성이 있을 수 있다. 이는, 렌즈(30)의 위치의 측정에 영향을 미칠 수 있는데, 그 이유는, 도 8의 배열이 직접적인 렌즈 위치 측정들이 아니라, 간접적인 렌즈 위치 측정들(렌즈 배럴 위치를 측정하고 측정된 렌즈 배럴 위치로부터 렌즈 위치를 추론함으로써 렌즈 위치가 결정되는 측정들)을 수반하기 때문이다.
원하는 경우, 렌즈(30)의 위치는 (도 8에 도시된 바와 같이 지지 구조물(32)를 통해 간접적으로 측정되기보다는) 직접적으로 측정될 수 있다. 도 9는 (예를 들어, 광(84)이 렌즈(30)의 내향 표면으로부터 직접 반사되기 때문에) 구조물(92)에 대한 렌즈(30)의 위치가 직접 측정되는 예시적인 광학 모듈의 측단면도이다.
원하는 경우, 다른 직접적인 렌즈 위치 감지 배열들이 사용될 수 있다. 도 10의 예에서, 상이한 방향들에서 변위를 측정하기 위한 다수의 센서들(70)(예를 들어, 3개의 센서들(70-1, 70-2, 및 70-3)의 하나 이상의 세트들)이 존재한다. 이 예시적인 구성에서, 각각의 센서(70-1)는 X-Z 평면 상에서 전파하여 이러한 제1 방향을 따라 렌즈 위치를 측정하는 광(84)을 방출할 수 있고, 각각의 센서(70-2)는 Y-Z 평면 상에서 전파하여 제1 방향과 상이한 이러한 제2 방향을 따라 렌즈 위치를 측정하는 광(84)을 방출할 수 있고, 각각의 센서(70-3)는 Z 방향(예를 들어, 제1 및 제2 방향들과 상이한 방향)으로 전파되는 광(84)을 방출할 수 있다. 이러한 구성으로, 센서들(70-1 및 70-2)은 렌즈(30)의 측방향 모션(예를 들어, 도 10의 X 및 Y 축을 따른 모션)을 검출할 수 있다. 각각의 센서(70-3)는 (이 예에서는) Z 치수만을 따라 거리를 측정함으로써, 센서들(70-1 및 70-2)을 사용하여 이루어진 측방향 위치 측정들로부터 이러한 Z-축 측정들을 디커플링(decoupling)시킨다.
도 11의 예에서, 자체-혼합 센서들(70)의 어레이(예를 들어, 적어도 10, 적어도 100, 1000 미만, 50 미만 또는 다른 적합한 수의 조밀한 어레이)가 디바이스(10)에 제공되었다. 센서들(70)은 렌즈(30)의 내향 표면(예를 들어, 렌즈 표면(98))을 향할 수 있다. 동작 동안, 센서들(70)은 표면(98)의 위치를 감지하고, 이로써 표면(98)의 형상에 대한 변형들을 측정할 수 있다. 이 정보는 제어 회로부(20)에 의해 동적으로 사용될 수 있다(예를 들어, 표면(98)의 형상을 변형함으로써 및/또는 렌즈(30)를 이동시킴으로써 렌즈(30)를 조정하기 위해, 액추에이터들을 사용하여 14를 조정하고/하거나 디바이스(10) 내의 다른 구조물들을 조정하기 위해, 예를 들어 렌즈 왜곡에 대항하기 위해 디스플레이(14) 상의 디스플레이된 이미지들을 워핑함으로써 이미지 데이터를 조정하기 위해 등). 원하는 경우, 도 11의 센서들(70)의 어레이는 디스플레이(14) 뒤에 위치될 수 있다(예를 들어, 디스플레이(14)는 센서들(70)로부터의 광이 디스플레이(14)를 통과할 수 있도록 부분적으로 투명할 수 있음).
또 다른 예시적인 배열은 도 12에 도시된다. 도 12의 구성에 도시된 바와 같이, 하나 이상의 센서들(70)은 지지 구조물(94)(예를 들어, 하우징 지지 구조물, 디스플레이(14)를 위한 디스플레이 패널 기판 및/또는 디스플레이(14)의 일부를 형성하고/하거나 디스플레이(14)에 직접 부착되고/되거나 이를 지지하는 다른 구조물) 상에 장착될 수 있다.
도 13은 표면(98P) 또는 렌즈(30)의 내측 광학 표면(98)으로부터 벗어나는 다른 표면과 같은 평면 표면이 렌즈(30)에 어떻게 제공될 수 있는지를 도시한다. 평면 표면(98P)은, 렌즈(30)의 표면으로부터 센서(70)를 향해 반사되는, 센서(70)로부터의 방출된 광의 양을 증가시킴으로써 센서(70)에 대한 광학 피드백을 향상시키는 것을 도울 수 있다. 광(84)을 센서(70)로 다시 반사시키도록 배향되는 표면(98P)과 같은 표면의 부재 시에, 광(84)은 센서(70)와 잘 정렬되지 않은 방향으로 반사되는 경향이 있을 수 있다.
센서들(70)은 광학 모듈들(40) 내의 렌즈들(30) 및/또는 다른 렌즈들(예를 들어, 카메라 렌즈들)의 위치들을 측정하는 데 사용될 수 있다. 예를 들어, 하나 이상의 센서들(70)은 좌측 광학 모듈에서 좌측 렌즈의 위치를 측정하는 데 사용될 수 있고, 하나 이상의 센서들(70)은 우측 광학 모듈에서 우측 렌즈의 위치를 측정하는 데 사용될 수 있다. 제어 회로부(20)는 좌측 및 우측 광학 모듈들(40)에 대해 렌즈 위치를 별개로 측정할 수 있고, 개별적으로 조정가능한 액추에이터들(96)을 사용하여 좌측 및 우측 광학 모듈들에 대해 렌즈 위치를 별개로 조정할 수 있다. 좌측 및 우측 렌즈-디스플레이 분리도를 별개로 제어하는 능력은 좌측 및 우측 눈에 대해 상이한 광학 시력들(안경 처방들)을 갖는 사용자들과 같이 시력 결함들을 갖는 사용자들을 보조하여, 사용자-특정 보정 렌즈들을 모듈들(40)에 제공할 필요성을 감소 또는 제거할 수 있다.
원하는 경우, 렌즈들(예를 들어, 렌즈들(30))의 표면들로부터 먼지 및/또는 다른 파편을 제거하기 위해 렌즈들 흔드는(예를 들어, 진동시키는) 액추에이터들(96)이 사용될 수 있다. 이러한 액추에이터-기반 세정 배열은, 렌즈(30)의 표면(98)과 같은 내향 렌즈 표면들을 세정하는 데 특히 도움이 될 수 있는데, 이는 이러한 내향 렌즈 표면들이 사용자에 의해 쉽게 액세스되지 않을 수 있기 때문이다. 광학 모듈들(40) 내의 렌즈들(30)과 같은 렌즈들을 세정하기 위한 진동들은 디바이스(10)가 파워 업될 때마다 그리고/또는 다른 적합한 시간들에 렌즈들에 적용될 수 있다.
디바이스(10)를 사용하는 것과 연관된 예시적인 동작들이 도 14에 도시된다.
적합한 시간들에서(예를 들어, 파워 업 시에, 디바이스(10) 내의 관성 측정 유닛 및/또는 다른 센서에 의한 낙하 이벤트의 검출에 응답하여, 사용자 커맨드에 응답하여, 스케줄에 따라 등으로) 위치의 측정들이 제어 회로부(20)에 의해 수행될 수 있다(블록(110)).
블록(110)의 동작들 동안, 센서들(70)은 센서들(70)과 디바이스(10) 내의 인접한 구조물들 사이의 거리들(D)을 측정할 수 있다. 거리들(D)은 센서들(70)과 구조물들, 이를테면, 렌즈 표면들 및/또는 렌즈들(30)에 대한 렌즈 배럴들, 디스플레이들(14)(예를 들어, 디스플레이 기판들 및/또는 다른 디스플레이 구조물들), 카메라들, 렌즈들(30) 및/또는 디스플레이들(14)과 같은 광학 모듈들(40)의 부분들을 지원하기 위한 디바이스(10) 내의 지지 구조물들, 다른 광학 컴포넌트들을 지지하기 위한 디바이스(10) 내의 지지 구조물들 및/또는 다른 구조물들 사이의 거리들에 대응할 수 있다. 센서들(70)은 렌즈들(30), 디스플레이들(14), 렌즈 배럴들(지지 구조물들(32)), 디스플레이 지지 구조물들, 하우징 구조물들, 이를테면 카메라들을 지지하기 위한 구조물들, 카메라들, 및/또는 디바이스(10) 내의 다른 구조물들에 결합될 수 있다. 이러한 방식으로, 이들 구조물들의 상대적 및/또는 절대적 위치들에 대한 정보, 및 이에 따라 이들 구조물들의 병진 및/또는 각도 정렬 및 배향에 대한 연관된 정보(예를 들어, 이들의 원하는 정렬에 대한 이러한 구조물들의 오정렬에 대한 정보, 이를테면, 렌즈 정렬, 디스플레이 정렬, 광학 모듈 정렬, 렌즈 표면 형상, 카메라 정렬, 하우징 구조물 정렬에 대한 정보 및/또는 디바이스(10) 내의 구조물들이 이들의 원하는 위치들에 대해 어떻게 오정렬될 수 있는지에 대한 다른 정보)가 수집될 수 있다. 가변 초점을 갖는 시스템들(예를 들어, 이접운동-원근조절 불일치를 감소시키는 것을 돕기 위해 다양한 상이한 가상 이미지 거리들에서 디스플레이들(14) 상에 컴퓨터-생성 콘텐츠를 배치하기 위해 초점을 조정하도록 광학 모듈들(40) 내의 렌즈들(30)과 디스플레이들(14) 사이의 거리가 조정되는 시스템들)에서, 렌즈들(30)의 위치들과 이들의 원하는 조정된 위치들 사이의 편차들로부터 기인하는 오정렬에 대한 정보가 센서들(70)에 의해 수집될 수 있다.
블록(112)의 동작들 동안, 제어 회로부(20)는 센서들(70)로부터의 측정들에 기초하여 디바이스(10)의 조정가능한 컴포넌트들을 조정할 수 있다. 예를 들어, 디바이스(10) 내의 액추에이터들은 렌즈들(30), 디스플레이들(14), 광학 모듈들(40), 지지 구조물들(32), 카메라들(46), 하우징 부분(14M) 내의 지지 구조물들 및/또는 디바이스(10) 내의 다른 구조물들을 재위치설정하도록 조정될 수 있다. 이러한 방식으로, 컴포넌트의 위치에서의 검출된 오정렬(예를 들어, 렌즈들, 디스플레이들, 지지 구조물들, 렌즈 변형을 유발하는 렌즈들의 부분들, 이미지 센서들, 카메라 렌즈들, 카메라들(46)의 다른 부분들 및/또는 디바이스(10) 내의 다른 컴포넌트들 및/또는 구조물들의 서로에 대한 오정렬)이 보정될 수 있다. 예시적인 구성에서, 렌즈(30)가 현재 자신의 원하는 위치에 있지 않다는 것을 검출하는 것에 응답하여, 액추에이터들(96)은 렌즈를 원하는 위치로 이동시킬 수 있다(예를 들어, 렌즈(30)는 치수들(X 및/또는 Y)에서 측방향으로, 치수(Z)에서 수직으로 X, Y 및/또는 Z 축들을 중심으로 기울어짐으로써 각을 이루는 등으로 이동될 수 있다). 원하는 경우, 렌즈(30)의 형상은 액추에이터들을 사용하여(예를 들어, 렌즈(30)를 변형시키는 힘을 적용함으로써) 변경될 수 있다. 이는 원하지 않는 렌즈 형상이 보정될 수 있게 한다.
광학 모듈들(40) 내의 컴포넌트들, 디바이스(10) 내의 카메라들, 및/또는 디바이스(10) 내의 다른 광학 컴포넌트들 및/또는 하우징 구조물들 중 일부 또는 전부를 이동시키거나 또는 달리 물리적으로 조정하는 것 외에도 또는 그 대신에, 자체-혼합 센서들(70)을 사용하여 수집된 데이터에 응답하여, 제어 회로부(20)는 디바이스(10)에 의해 처리되는 이미지 데이터 및/또는 다른 데이터를 조정할 수 있다. 예를 들어, 디스플레이(14)가 그의 원하는 위치로부터 좌측으로 시프트된 것으로 센서들(70)로부터의 측정들이 나타내면, 제어 회로부(20)는 이미지를 대응하는 양만큼 우측으로 다시 시프트시키기 위해 디스플레이(14)에 의해 디스플레이되는 이미지에 대한 데이터를 워핑(시프트, 회전 및/또는 전단)할 수 있다. 이러한 방식으로, 검출된 광학 컴포넌트 오정렬들은 (예를 들어, 카메라들(46)로부터 캡처된 이미지 데이터를 프로세싱함으로써 그리고/또는 측정된 오정렬에 대해 이미지들을 조정하기 위해 디스플레이들(14)에 공급되는 이미지 데이터를 프로세싱함으로써) 보정될 수 있다.
라인(114)에 의해 표시된 바와 같이, 블록들(110 및 112)의 동작들은 연속적으로(예를 들어, 스케줄에 따라, 검출된 낙하 이벤트들에 응답하여, 사용자 입력에 응답하여 등으로) 수행될 수 있다. 이러한 방식으로, 디바이스(10) 내의 광학 컴포넌트들은, 이러한 디바이스들의 위치들이 낙하 이벤트들 또는 다른 높은-응력 조건들에 의해 영향을 받더라도, 만족스러운 정렬로 유지될 수 있다.
전술된 바와 같이, 본 기술의 하나의 양태는 입출력 디바이스들로부터의 정보와 같은 정보의 수집 및 사용이다. 본 개시내용은, 일부 경우들에 있어서, 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하기 위해 이용될 수 있는 개인 정보 데이터를 포함하는 데이터가 수집될 수 있음을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화 번호들, 이메일 주소들, 트위터 ID들, 집 주소들, 사용자의 건강 또는 피트니스 레벨에 관한 데이터 또는 기록들(예컨대, 바이탈 사인(vital sign) 측정치들, 약물 정보, 운동 정보), 생년월일, 사용자명, 패스워드, 생체 정보, 또는 임의의 다른 식별 또는 개인 정보를 포함할 수 있다.
본 개시내용은 본 기술에서의 그러한 개인 정보의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 더 큰 관심이 있는 타겟 콘텐츠를 사용자에게 전달하는데 사용될 수 있다. 따라서, 그러한 개인 정보 데이터의 사용은 사용자들이 전달된 콘텐츠의 계산된 제어를 가능하게 한다. 게다가, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 사용들이 또한 본 발명에 의해 고려된다. 예를 들어, 건강 및 피트니스 데이터는 사용자의 일반적인 웰니스(wellness)에 대한 통찰력을 제공하는 데 사용될 수 있거나, 또는 웰니스 목표를 추구하기 위한 기술을 사용하는 개인들에게 긍정적인 피드백으로서 사용될 수 있다.
본 발명은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전송, 저장, 또는 다른 사용을 책임지고 있는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 이용해야 한다. 그러한 정책들은 사용자들에 의해 쉽게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화함에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 이들 적법한 사용들을 벗어나서 공유되거나 판매되지 않아야 한다. 또한, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 후에 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취하는 것을 고려해야 한다. 추가로, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 추가로, 정책들 및 관례들은 수집되고/되거나 액세스되는 특정 유형들의 개인 정보 데이터에 대해 조정되고, 관할구역 특정 고려사항들을 비롯한 적용가능한 법률들 및 표준들에 적응되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 연방법 및/또는 주의 법, 예컨대 미국 건강 보험 양도 및 책임 법령(Health Insurance Portability and Accountability Act, HIPAA)에 의해 통제될 수 있는 반면, 다른 국가들의 건강 데이터는 다른 규정들 및 정책들의 적용을 받을 수 있고 그에 따라 처리되어야 한다. 따라서, 상이한 프라이버시 관례들은 각각의 국가의 상이한 개인 데이터 유형들에 대해 유지되어야 한다.
전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, 본 기술은 사용자들이 서비스들을 위한 등록 동안 또는 그 이후의 임의의 시간에 개인 정보 데이터의 수집 시의 참가의 "동의함" 또는 "동의하지 않음"을 선택하게 허용하도록 구성될 수 있다. 다른 예에서, 사용자들은 특정 유형의 사용자 데이터를 제공하지 않을 것을 선택할 수 있다. 또 다른 예에서, 사용자들은 사용자 특정 데이터가 유지되는 시간의 길이를 제한할 것을 선택할 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 접근 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 애플리케이션("앱(app)")을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.
더욱이, 의도하지 않은 또는 인가되지 않은 액세스 또는 사용의 위험요소들을 최소화하는 방식으로 개인 정보 데이터가 관리 및 처리되어야 한다는 것이 본 개시내용의 의도이다. 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않게 되면 데이터를 삭제함으로써 위험이 최소화될 수 있다. 추가로, 그리고 소정의 건강 관련 애플리케이션들에 적용하는 것을 비롯하여, 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 식별해제가 사용될 수 있다. 비식별화는, 적절한 때, 특정 식별자들(예컨대, 생년월일 등)을 제거하는 것, 저장된 데이터의 양 또는 특이성을 제어하는 것(예컨대, 주소 레벨에서가 아니라 도시 레벨에서의 위치 데이터를 수집함), 데이터가 저장되는 방법을 제어하는 것(예컨대, 사용자들에 걸쳐서 데이터를 집계함), 및/또는 다른 방법들에 의해 용이해질 수 있다.
따라서, 본 개시내용이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터를 포함할 수 있는 정보의 이용을 광범위하게 커버하지만, 본 개시내용은 다양한 실시예들이 또한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 그러한 개인 정보 데이터의 전부 또는 일부의 결여로 인해 동작불가능하게 되지는 않는다.
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변화하는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다. CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다. 혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다. 증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투사하는 투사 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다. 증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 헤드 장착형 시스템들, 투사 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 투사, OLED들, LED들, μLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원들, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사 기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투사 시스템들은 또한 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투사하도록 구성될 수 있다.
일 실시예에 따르면, 헤드 장착형 하우징, 헤드 장착형 하우징 내의 적어도 하나의 광학 모듈 - 광학 모듈은 디스플레이를 갖고 디스플레이로부터의 이미지를 아이 박스에 제시하도록 구성된 렌즈를 가짐 -, 렌즈까지의 거리를 측정하도록 구성된 광학 자체-혼합 센서, 및 측정된 거리에 기초하여 렌즈를 조정하도록 구성된 액추에이터를 포함하는 헤드 장착형 디바이스가 제공된다.
다른 실시예에 따르면, 액추에이터는 측정된 거리에 응답하여 렌즈를 이동시키도록 구성된다.
다른 실시예에 따르면, 렌즈는 평면 부분을 갖고, 광학 자체-혼합 센서는 평면 부분으로부터 광학 자체-혼합 센서로 다시 반사되는 광의 빔을 방출하도록 구성된다.
다른 실시예에 따르면, 광학 모듈은 렌즈를 지지하도록 구성된 렌즈 배럴을 포함하고, 광학 자체-혼합 센서는 자체-혼합 센서와 렌즈 배럴 사이의 거리를 측정함으로써 렌즈까지의 거리를 측정하도록 구성된다.
다른 실시예에 따르면, 렌즈는 렌즈 표면을 갖고, 광학 자체-혼합 센서는 표면으로부터 반사되는 광을 방출하고 반사된 방출된 광을 검출함으로써 렌즈까지의 거리를 측정하도록 구성된다.
다른 실시예에 따르면, 자체-혼합 센서는 800 내지 1100 nm의 파장을 갖는 광을 방출하도록 구성된 레이저 다이오드를 포함한다.
다른 실시예에 따르면, 광학 자체-혼합 센서에 의해 측정된 거리는 렌즈와 디스플레이 사이의 분리도이다.
다른 실시예에 따르면, 광학 자체-혼합 센서는 렌즈와 디스플레이 사이의 분리도를 측정하는 것과 독립적으로 광학 자체-혼합 센서에 대한 렌즈의 측방향 이동을 측정하도록 구성된다.
일 실시예에 따르면, 헤드 장착형 하우징, 헤드 장착형 하우징에서 지지되는 광학 모듈들 - 각각의 광학 모듈은 디스플레이를 갖고 디스플레이로부터의 이미지를 대응하는 아이 박스에 제시하도록 구성된 렌즈를 가짐 -, 광학 모듈들의 렌즈들을 측정하도록 구성된 광학 자체-혼합 센서들, 및 액추에이터들을 포함하고, 각각의 액추에이터는 광학 모듈들 중 각자의 광학 모듈과 연관되고, 렌즈 측정들에 기초하여 광학 모듈의 디스플레이에 대해 광학 모듈의 렌즈를 이동시키도록 구성되는 헤드 장착형 디바이스가 제공된다.
다른 실시예에 따르면, 렌즈들 각각에 대해 광학 자체-혼합 센서들 중 적어도 2개가 존재한다.
다른 실시예에 따르면, 각각의 광학 모듈은 광학 자체-혼합 센서들의 어레이를 갖는다.
다른 실시예에 따르면, 각각의 렌즈는 렌즈 표면을 갖고, 각각의 광학 모듈에서 광학 자체-혼합 센서들의 어레이는 어레이의 광학 자체-혼합 센서들과 렌즈 표면 사이의 거리들을 측정함으로써 광학 모듈에서 렌즈 표면의 변형을 측정한다.
다른 실시예에 따르면, 각각의 광학 자체-혼합 센서는 광을 방출하는 레이저를 갖고 검출기를 가지며, 렌즈들 각각은 렌즈 표면을 갖고, 광학 자체-혼합 센서들의 검출기들은 방출된 광이 렌즈 표면으로부터 반사된 후 광학 자체-혼합 센서로부터의 방출된 광을 검출하도록 각각 구성된다.
다른 실시예에 따르면, 광학 자체-혼합 센서들은 각각의 광학 모듈에 적어도 제1, 제2, 및 제3 광학 자체-혼합 센서들을 포함한다.
다른 실시예에 따르면, 각각의 광학 모듈의 제1 광학 자기 혼합 센서는 제1 광학 자체-혼합 센서와 광학 모듈 내의 렌즈 사이의 거리를 측정하도록 구성된다.
다른 실시예에 따르면, 각각의 광학 모듈의 제2 및 제3 광학 자체-혼합 센서들은 제2 및 제3 광학 자체-혼합 센서들에 대한 렌즈의 측방향 시프팅을 측정하도록 구성된다.
일 실시예에 따르면, 헤드 장착형 지지 구조물, 헤드 장착형 지지 구조물에 의해 지지되는 광학 컴포넌트, 광학 컴포넌트까지의 거리를 측정하도록 구성된 광학 자체-혼합 센서, 및 광학 자체-혼합 센서로부터의 정보에 적어도 부분적으로 기초하여 광학 컴포넌트를 이동시키도록 구성된 액추에이터를 포함하는 헤드 장착형 디바이스가 제공된다.
다른 실시예에 따르면, 광학 컴포넌트는 렌즈를 포함한다.
다른 실시예에 따르면, 광학 컴포넌트는 카메라를 포함한다.
다른 실시예에 따르면, 광학 컴포넌트는 표면을 갖고, 광학 자체-혼합 센서는, 표면으로부터 반사되는 광을 방출하도록 구성되고, 방출된 광이 표면으로부터 반사된 후 방출된 광을 수신하도록 구성된다.
전술한 것은 단지 예시적인 것이며, 설명된 실시예들에 대해 다양한 수정들이 이루어질 수 있다. 전술한 실시예들은 개별적으로 또는 임의의 조합으로 구현될 수 있다.

Claims (20)

  1. 헤드 장착형 디바이스로서,
    헤드 장착형 하우징;
    상기 헤드 장착형 하우징 내의 적어도 하나의 광학 모듈 - 상기 광학 모듈은 디스플레이를 갖고 상기 디스플레이로부터의 이미지를 아이 박스(eye box)에 제시하도록 구성된 렌즈를 가짐 -;
    상기 렌즈까지의 거리를 측정하도록 구성된 광학 자체-혼합 센서; 및
    상기 측정된 거리에 기초하여 상기 렌즈를 조정하도록 구성된 액추에이터를 포함하는, 헤드 장착형 디바이스.
  2. 제1항에 있어서, 상기 액추에이터는 상기 측정된 거리에 응답하여 상기 렌즈를 이동시키도록 구성되는, 헤드 장착형 디바이스.
  3. 제2항에 있어서, 상기 렌즈는 평면 부분을 갖고, 상기 광학 자체-혼합 센서는 상기 평면 부분으로부터 상기 광학 자체-혼합 센서로 다시 반사되는 광의 빔을 방출하도록 구성되는, 헤드 장착형 디바이스.
  4. 제2항에 있어서, 상기 광학 모듈은 상기 렌즈를 지지하도록 구성된 렌즈 배럴(lens barrel)을 포함하고, 상기 광학 자체-혼합 센서는 상기 자체-혼합 센서와 상기 렌즈 배럴 사이의 거리를 측정함으로써 상기 렌즈까지의 거리를 측정하도록 구성되는, 헤드 장착형 디바이스.
  5. 제2항에 있어서, 상기 렌즈는 렌즈 표면을 갖고, 상기 광학 자체-혼합 센서는 상기 표면으로부터 반사되는 광을 방출하고 상기 반사된 방출된 광을 검출함으로써 상기 렌즈까지의 거리를 측정하도록 구성되는, 헤드 장착형 디바이스.
  6. 제2항에 있어서, 상기 자체-혼합 센서는 800 내지 1100 nm의 파장을 갖는 광을 방출하도록 구성된 레이저 다이오드를 포함하는, 헤드 장착형 디바이스.
  7. 제2항에 있어서, 상기 광학 자체-혼합 센서에 의해 측정된 거리는 상기 렌즈와 상기 디스플레이 사이의 분리도인, 헤드 장착형 디바이스.
  8. 제2항에 있어서, 상기 광학 자체-혼합 센서는 상기 렌즈와 상기 디스플레이 사이의 분리도를 측정하는 것과 독립적으로 상기 광학 자체-혼합 센서에 대한 상기 렌즈의 측방향 이동을 측정하도록 구성되는, 헤드 장착형 디바이스.
  9. 헤드 장착형 디바이스로서,
    헤드 장착형 하우징;
    상기 헤드 장착형 하우징에서 지지되는 광학 모듈들 - 각각의 광학 모듈은 디스플레이를 갖고 상기 디스플레이로부터의 이미지를 대응하는 아이 박스에 제시하도록 구성된 렌즈를 가짐 -;
    상기 이동가능한 광학 모듈들의 렌즈들을 측정하도록 구성된 광학 자체-혼합 센서들; 및
    액추에이터들을 포함하고, 각각의 액추에이터는 상기 광학 모듈들 중 각자의 광학 모듈과 연관되고, 상기 렌즈 측정들에 기초하여 상기 광학 모듈의 디스플레이에 대해 상기 광학 모듈의 렌즈를 이동시키도록 구성되는, 헤드 장착형 디바이스.
  10. 제9항에 있어서, 상기 렌즈들 각각에 대해 상기 광학 자체-혼합 센서들 중 적어도 2개가 존재하는, 헤드 장착형 디바이스.
  11. 제9항에 있어서, 각각의 광학 모듈은 상기 광학 자체-혼합 센서들의 어레이를 갖는, 헤드 장착형 디바이스.
  12. 제11항에 있어서, 각각의 렌즈는 렌즈 표면을 갖고, 각각의 광학 모듈에서 상기 광학 자체-혼합 센서들의 어레이는 상기 어레이의 광학 자체-혼합 센서들과 상기 렌즈 표면 사이의 거리들을 측정함으로써 상기 광학 모듈에서 상기 렌즈 표면의 변형을 측정하는, 헤드 장착형 디바이스.
  13. 제9항에 있어서, 각각의 광학 자체-혼합 센서는 광을 방출하는 레이저를 갖고 검출기를 가지며, 상기 렌즈들 각각은 렌즈 표면을 갖고, 상기 광학 자체-혼합 센서들의 검출기들은 방출된 광이 상기 렌즈 표면으로부터 반사된 후 상기 광학 자체-혼합 센서로부터의 방출된 광을 검출하도록 각각 구성되는, 헤드 장착형 디바이스.
  14. 제9항에 있어서, 상기 광학 자체-혼합 센서들은 각각의 광학 모듈에 적어도 제1, 제2, 및 제3 광학 자체-혼합 센서들을 포함하는, 헤드 장착형 디바이스.
  15. 제14항에 있어서, 각각의 광학 모듈의 제1 광학 자체-혼합 센서는 상기 제1 광학 자체-혼합 센서와 상기 광학 모듈 내의 렌즈 사이의 거리를 측정하도록 구성되는, 헤드 장착형 디바이스.
  16. 제15항에 있어서, 각각의 광학 모듈의 제2 및 제3 광학 자체-혼합 센서들은 상기 제2 및 제3 광학 자체-혼합 센서들에 대한 상기 렌즈의 측방향 시프팅을 측정하도록 구성되는, 헤드 장착형 디바이스.
  17. 헤드 장착형 디바이스로서,
    헤드 장착형 지지 구조물;
    상기 헤드 장착형 지지 구조물에 의해 지지되는 광학 컴포넌트;
    상기 광학 컴포넌트까지의 거리를 측정하도록 구성된 광학 자체-혼합 센서; 및
    상기 광학 자체-혼합 센서로부터의 정보에 적어도 부분적으로 기초하여 상기 광학 컴포넌트를 이동시키도록 구성된 액추에이터를 포함하는, 헤드 장착형 디바이스.
  18. 제17항에 있어서, 상기 광학 컴포넌트는 렌즈를 포함하는, 헤드 장착형 디바이스.
  19. 제17항에 있어서, 상기 광학 컴포넌트는 카메라를 포함하는, 헤드 장착형 디바이스.
  20. 제17항에 있어서, 상기 광학 컴포넌트는 표면을 갖고, 상기 광학 자체-혼합 센서는, 상기 표면으로부터 반사되는 광을 방출하도록 구성되고, 상기 방출된 광이 상기 표면으로부터 반사된 후 상기 방출된 광을 수신하도록 구성되는, 헤드 장착형 디바이스.
KR1020227043512A 2020-05-21 2021-05-11 자체-혼합 센서를 갖는 헤드 장착형 전자 디바이스 KR20230005396A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063028458P 2020-05-21 2020-05-21
US63/028,458 2020-05-21
US17/230,341 2021-04-14
US17/230,341 US11719937B2 (en) 2020-05-21 2021-04-14 Head-mounted electronic device with self-mixing sensors
PCT/US2021/031853 WO2021163713A1 (en) 2020-05-21 2021-05-11 Head-mounted electronic device with self-mixing sensors

Publications (1)

Publication Number Publication Date
KR20230005396A true KR20230005396A (ko) 2023-01-09

Family

ID=76197660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227043512A KR20230005396A (ko) 2020-05-21 2021-05-11 자체-혼합 센서를 갖는 헤드 장착형 전자 디바이스

Country Status (6)

Country Link
US (1) US11719937B2 (ko)
EP (1) EP4136495A1 (ko)
JP (1) JP7480353B2 (ko)
KR (1) KR20230005396A (ko)
CN (1) CN115668034A (ko)
WO (1) WO2021163713A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112235B2 (en) 2019-04-05 2021-09-07 Apple Inc. Handling obstructions and transmission element contamination for self-mixing particulate matter sensors
US11774342B2 (en) 2019-04-05 2023-10-03 Apple Inc. Particulate matter sensors based on split beam self-mixing interferometry sensors
US11692809B2 (en) 2019-09-18 2023-07-04 Apple Inc. Self-mixing interferometry-based absolute distance measurement with distance reference
US11815693B2 (en) * 2020-04-20 2023-11-14 Apple Inc. Head-mounted electronic device
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
US11640054B2 (en) * 2021-03-19 2023-05-02 Meta Platforms Technologies, Llc Multi-wavelength self-mixing interferometry
US11948043B2 (en) * 2021-06-02 2024-04-02 Apple Inc. Transparent insert identification
CN118020014A (zh) * 2021-09-21 2024-05-10 苹果公司 设备对准系统
US12085724B1 (en) 2022-06-17 2024-09-10 Apple Inc. Waveguide deformation sensing
US11846752B1 (en) * 2022-11-11 2023-12-19 Htc Corporation Head-mounted display device with adjustable interpupillary distance
US12067909B2 (en) 2022-12-16 2024-08-20 Apple Inc. Electronic devices with dynamic brightness ranges for passthrough display content

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105209953B (zh) 2013-03-15 2020-01-03 依米有限公司 通过结构框架保持对准的头戴式显示器
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9664982B2 (en) 2015-03-12 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Optical system driving device, lens barrel, and optical device
KR102691894B1 (ko) 2016-06-29 2024-08-06 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 이의 제어방법
US10495879B1 (en) 2016-09-27 2019-12-03 Meta View, Inc. Apparatuses, methods and systems for wearable displays
DE102016226294A1 (de) 2016-12-29 2018-07-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung der Brechkraft einer Linse in einem Auge und Verwendung
US11874530B2 (en) 2017-05-17 2024-01-16 Apple Inc. Head-mounted display device with vision correction
EP3740809A4 (en) 2017-11-01 2021-12-15 Vrgineers, Inc. INTERACTIVE AUGMENTED OR VIRTUAL REALITY DEVICES
WO2019104413A1 (en) 2017-12-03 2019-06-06 Frank Jones Enhancing the performance of near-to-eye vision systems
US10771884B2 (en) 2018-04-05 2020-09-08 Apple Inc. Electronic devices with coherent self-mixing proximity sensors
US11029442B2 (en) 2018-04-27 2021-06-08 Apple Inc. Self-mixing optical proximity sensors for electronic devices
US10838203B2 (en) 2018-07-17 2020-11-17 Apple Inc. Adjustable electronic device system with facial mapping
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
WO2021049740A1 (en) * 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Eye accommodation distance measuring device and method, and head-mounted display
WO2021055327A1 (en) 2019-09-16 2021-03-25 NewSight Reality, Inc. Augmented reality or mixed reality system for eyewear
WO2021055343A1 (en) 2019-09-19 2021-03-25 Akalana Management Llc Optical systems with flare-mitigating angular filters

Also Published As

Publication number Publication date
JP7480353B2 (ja) 2024-05-09
EP4136495A1 (en) 2023-02-22
CN115668034A (zh) 2023-01-31
WO2021163713A1 (en) 2021-08-19
US20210302745A1 (en) 2021-09-30
JP2023527724A (ja) 2023-06-30
US11719937B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
US11719937B2 (en) Head-mounted electronic device with self-mixing sensors
US11126004B2 (en) Head-mounted electronic display device with lens position sensing
US11119321B2 (en) Electronic device with a display attached to a lens element
US11815693B2 (en) Head-mounted electronic device
US11960093B1 (en) Head-mounted display systems with gaze tracker alignment monitoring
KR20210138696A (ko) 헤드 장착형 디바이스를 위한 광학 모듈
KR102676300B1 (ko) 헤드 장착형 디바이스를 위한 렌즈 장착 구조체
CN209821509U (zh) 头戴式系统
US12061345B2 (en) Head-mounted electronic display device with lens position sensing
US20230418078A1 (en) Electronic Devices With Deformation Sensors
US20230418019A1 (en) Electronic Device With Lens Position Sensing
WO2024006632A1 (en) Electronic device with lens position sensing
KR20200129131A (ko) 전자 디바이스용 하우징 구조체 및 입출력 디바이스
US11860439B1 (en) Head-mounted electronic device with alignment sensors
US11763779B1 (en) Head-mounted display systems with alignment monitoring
US11762422B1 (en) Electronic devices with drop protection
US11899214B1 (en) Head-mounted device with virtually shifted component locations using a double-folded light path
US20240012257A1 (en) Electronic Devices with Lens Positioners
US11927761B1 (en) Head-mounted display systems