KR20190106640A - 광학 마커를 갖는 전자 디바이스 - Google Patents

광학 마커를 갖는 전자 디바이스 Download PDF

Info

Publication number
KR20190106640A
KR20190106640A KR1020180116193A KR20180116193A KR20190106640A KR 20190106640 A KR20190106640 A KR 20190106640A KR 1020180116193 A KR1020180116193 A KR 1020180116193A KR 20180116193 A KR20180116193 A KR 20180116193A KR 20190106640 A KR20190106640 A KR 20190106640A
Authority
KR
South Korea
Prior art keywords
electronic device
mixed reality
marker
reality system
light
Prior art date
Application number
KR1020180116193A
Other languages
English (en)
Other versions
KR102142190B1 (ko
Inventor
크리스토퍼 디. 프레스트
마르타 엠. 지아치노
매튜 에스. 로저스
큐 안 에스. 응우옌
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20190106640A publication Critical patent/KR20190106640A/ko
Application granted granted Critical
Publication of KR102142190B1 publication Critical patent/KR102142190B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G02B27/34—Fiducial marks and measuring scales within the optical system illuminated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0279—Improving the user comfort or ergonomics
    • H04M1/0283—Improving the user comfort or ergonomics for providing a decorative aspect, e.g. customization of casings, exchangeable faceplate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G02B27/22—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G02B5/122—Reflex reflectors cube corner, trihedral or triple reflector type
    • G02B5/124—Reflex reflectors cube corner, trihedral or triple reflector type plural reflecting elements forming part of a unitary plate or sheet
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/281—Interference filters designed for the infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Position Input By Displaying (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

전자 디바이스에는 광학 마커가 제공될 수 있다. 마커는 코팅으로부터 형성될 수 있다. 코팅은 2차원 광학 코드를 형성하도록 패턴화될 수 있거나, 또는 전자 디바이스에 관한 정보를 제공하는 것을 돕는 외형선 또는 다른 인식가능한 마커 구조를 형성하도록 패턴화될 수 있다. 센서, 예컨대, 깊이 센서 또는 다른 센서를 갖는 디바이스는 전자 디바이스 및 그의 마커에 대한 정보를 수집할 수 있다. 이러한 정보는 전자 디바이스가 깊이 센서 또는 다른 광원으로부터의 하나 이상의 광선에 의해 조명되는 동안 이미지 센서에 의해 캡처된 이미지에 대한 정보를 포함할 수 있다. 마커는 혼합 현실 시스템에서 혼합 현실 광학 마커로서의 역할을 하도록 구성될 수 있다. 혼합 현실 마커 이미지 또는 다른 센서 데이터의 분석은 마킹된 디바이스에 대한 디바이스 유형, 디바이스 위치, 디바이스 크기, 디바이스 배향에 대한 정보, 및 다른 정보를 나타낼 수 있다.

Description

광학 마커를 갖는 전자 디바이스{ELECTRONIC DEVICES WITH OPTICAL MARKERS}
본 출원은 전체가 본 명세서에 참고로 포함된, 2018년 9월 27일자로 출원된 미국 특허 출원 제16/143,812호 및 2018년 3월 8일자로 출원된 미국 가특허 출원 제62/640,495호의 우선권을 주장한다.
본 발명은 대체적으로 전자 디바이스에 관한 것으로, 더 구체적으로는, 전자 디바이스의 광학 특성에 관한 것이다.
혼합 현실(mixed reality) 시스템은 실세계 콘텐츠 상에 오버레이(overlay)된 컴퓨터 생성 콘텐츠를 디스플레이하는 머리 착용가능 디바이스를 갖는다. 사용자는 머리 착용가능 디바이스에 더하여 휴대용 전화기 또는 다른 전자 디바이스를 가질 수 있다. 혼합 현실 헤드셋이 사용자의 시야 내에서 휴대용 전화기 및 다른 그러한 디바이스의 존재를 인식하기는 어렵거나 불가능할 수 있다. 이는 그러한 전자 디바이스의 존재를 이용하는 혼합 현실 특징부를 사용자에게 제공하는 것을 어렵거나 불가능하게 할 수 있다. 일부 경우에, 휴대용 전화기 및 다른 전자 디바이스의 시각적 외관이 만족스럽지 않을 수 있다.
전자 디바이스에는 광학적으로 구별가능한 마커가 제공될 수 있다. 마커는 미리정의된 광학 특성을 갖는 패턴화된 코팅 또는 다른 구조로부터 형성될 수 있다. 마커는 가시광 조명에서 가시적일 수 있고/있거나 적외광 및/또는 자외광 센서를 사용하여 검출가능할 수 있다. 마커를 포함하는 캡처된 이미지와 같은 센서 판독치를 처리함으로써, 전자 디바이스에 대한 정보가 획득될 수 있다. 예를 들어, 시스템 내의 마커를 포함하는 이미지의 분석은 디바이스 유형, 디바이스 위치, 디바이스 크기, 디바이스 배향에 대한 정보, 및 마킹된 디바이스에 대한 다른 정보를 나타낼 수 있다.
마커는 박막 간섭 코팅 층, 광발광성(photoluminescent) 코팅 층, 및/또는 역반사(retroreflective) 코팅 층과 같은 코팅 층으로부터 형성될 수 있다. 마커는 2차원 바코드를 형성하도록 패턴화될 수 있고/있거나, 외형선 또는 다른 인식가능한 마커 구조를 형성하도록 패턴화될 수 있고/있거나, 다른 인식가능한 마커 구조를 형성하는 데 사용될 수 있어서 전자 디바이스에 관한 정보를 제공하는 것을 도울 수 있다.
혼합 현실 시스템에서와 같은 일부 구성에서, 센서, 예컨대, 깊이 센서 또는 다른 센서를 갖는 디바이스는 전자 디바이스의 마커에 대한 정보를 수집할 수 있다. 센서를 갖는 디바이스는 마킹된 디바이스를 포함하는 실세계 이미지 상에 컴퓨터 생성 콘텐츠를 오버레이하는 것과 같은 기능을 수행하는 데 이러한 정보를 사용할 수 있다. 수집되는 정보는 전자 디바이스가 깊이 센서 또는 다른 광원로부터의 하나 이상의 광선에 의해 조명되는 동안 깊이 센서 내의 이미지 센서에 의해 캡처된 이미지를 포함할 수 있다. 이러한 유형의 배열에서, 마커는 혼합 현실 마커로서의 역할을 하도록 구성될 수 있다.
원하는 경우, 마커는 (예컨대, 이동가능 버튼 부재 또는 터치 센서 버튼 위치 상에 마커를 배치함으로써) 전자 디바이스 버튼과 같은 전자 디바이스의 일부를 강조(highlight)하도록 구성될 수 있고/있거나, (예컨대, 상이한 파장의 펄스 광에 의한 조명 환경에서) 움직이는 애니메이션화된 그래픽을 제공하도록 구성될 수 있고/있거나, 그렇지 않으면 원하는 광학 특성을 전자 디바이스에 제공하는 데 사용될 수 있다.
도 1은 일 실시예에 따른, 전자 디바이스를 갖는 예시적인 시스템의 개략도이다.
도 2는 일 실시예에 따른 예시적인 전자 디바이스의 개략도이다.
도 3은 일 실시예에 따른 전자 디바이스 내의 예시적인 센서의 도면이다.
도 4는 일 실시예에 따른 전자 디바이스의 측단면도이다.
도 5는 일 실시예에 따른, 전자 디바이스 내의 구조 상에 형성될 수 있는 하나 이상의 하위층으로 제조된 재료의 층의 측단면도이다.
도 6은 일 실시예에 따른, 입자를 갖는 재료의 예시적인 층의 측단면도이다.
도 7 및 도 8은 실시예들에 따른, 역반사 표면 특성을 갖는 재료의 예시적인 층의 측단면도이다.
도 9는 도 1에 도시된 유형의 전자 디바이스 시스템에서 광과 연관된 예시적인 광 강도 프로파일을 도시하는 그래프이다.
도 10은 일 실시예에 따른 역반사 표면을 갖는 시스템에서 광 강도가 각도의 함수에 따라 어떻게 가변할 수 있는지를 도시하는 그래프이다.
도 11은 일 실시예에 따른 마커를 갖는 예시적인 전자 디바이스의 사시도이다.
도 12는 일 실시예에 따른 주연부 마커를 갖는 전자 디바이스의 코너 부분의 평면도이다.
사용자는 하나 이상의 전자 디바이스를 사용할 수 있다. 이러한 전자 디바이스는 휴대용 전화기, 액세서리, 및 다른 디바이스를 포함할 수 있다. 사용자는 또한 혼합 현실 머리 장착형 디바이스를 가질 수 있다. 머리 장착형 디바이스는 실세계 물체의 위치에 대한 정보를 수집하는 카메라 및 다른 센서를 가질 수 있다. 머리 장착형 디바이스는 이러한 정보를 사용하여 실세계 콘텐츠 상에 컴퓨터 생성 콘텐츠를 오버레이할 수 있다.
혼합 현실 시스템의 머리 장착형 디바이스의 시야 내에서의 휴대용 전화기 및 다른 전자 디바이스의 존재의 정확한 인식을 보장하기 위하여, 휴대용 전화기 및 다른 전자 디바이스에는 광학적으로 구별가능한 마커(때때로, 광학 마커 또는 시각적 마커로 지칭됨)가 제공될 수 있다. 마커는 사용자의 환경 내에서의 마킹된 디바이스의 위치의 검출을 가능하게 하고/하거나 다른 정보(예컨대, 디바이스 식별자 정보)를 제공하는 것을 돕는 패턴화된 재료로 형성될 수 있다.
원하는 경우, 마커는 인식가능한 스펙트럼 응답(때때로 스펙트럼 반사율 코드로 지칭됨)을 나타내는 재료, 역반사 재료, 광발광성 재료, 박막 간섭 필터 층, 및 센서를 갖는 머리 장착형 디바이스 또는 다른 디바이스가 사용자의 환경에서 전자 디바이스에 대한 정보를 수집하는 것을 돕는 다른 재료로 형성될 수 있다. 마커에 형성된 스펙트럼 반사율 코드 및 다른 마커의 속성은 디바이스 유형 식별자로서 사용될 수 있거나, 디바이스의 위치, 형상, 배향, 및 크기에 대한 정보를 전달할 수 있거나, 다른 정보를 전달하는 데 사용될 수 있다.
마커는 코팅 또는 다른 구조로부터 형성될 수 있다. 마커는 코드화된 패턴, 디바이스의 외형선을 나타내는 역할을 하는 패턴, 및/또는 다른 패턴을 형성할 수 있다. 박막 간섭 필터 층, 역반사 재료의 층, 박막 간섭 필터, 유색 재료, 및/또는 다른 유형의 구조가 버튼 및 다른 디바이스 구조를 강조하는 데 사용될 수 있다. 머리 장착형 디바이스와 같은 전자 디바이스에 의해 검출되는 마커에 대한 정보는 컴퓨터 생성 콘텐츠를 실세계 콘텐츠에 정합하는 데 사용될 수 있고/있거나(예컨대, 휴대용 전화기 또는 다른 디바이스의 전부 또는 일부와 정렬되는 컴퓨터 생성 콘텐츠의 오버레이를 나타냄), 사용자가 갖는 액세서리 및/또는 다른 디바이스의 어느 것이 시스템에서 사용가능한 것인지 식별하는 데 사용될 수 있고/있거나, (예컨대, 다수의 디바이스에 걸쳐 콘텐츠를 디스플레이하기, 하나의 디바이스를 마스터로서 사용하고 어느 하나는 슬레이브로서 사용하기, 다수의 디바이스의 상대 배향에 의존하는 시스템 기능을 지원하기 등을 위하여) 다수의 전자 디바이스들의 작동을 조정하는 데 사용될 수 있고/있거나, 다수의 전자 디바이스를 갖는 시스템에서 다른 개선된 기능의 구현을 가능하게 하는 데 사용될 수 있다.
다수의 전자 디바이스를 포함하는 예시적인 시스템이 도 1에 도시되어 있다. 도 1에 도시된 바와 같이, 시스템(8)은 전자 디바이스(10)와 같은 전자 디바이스를 포함한다. 시스템(8)은, 예를 들어, 둘 이상의 디바이스(10), 셋 이상의 디바이스(10), 다섯 이상의 디바이스(10), 100개 미만의 디바이스(10), 25개 미만의 디바이스(10), 10개 미만의 디바이스(10), 및/또는 다른 적합한 개수의 디바이스(10)를 포함할 수 있다. 디바이스(10)는 주변 디바이스에 대한 정보를 취득하는 하나 이상의 디바이스(10A), 및 디바이스(10A)에 의한 그러한 정보의 취득을 가능하게 하는 마커를 갖는 하나 이상의 디바이스(10B)를 포함할 수 있다. 일례로서, 디바이스(10A)는 카메라, 구조화된 광 깊이 센서, 및 시스템(8)에서 데이터를 취득하기 위한 다른 센서를 갖는 머리 장착형 디바이스일 수 있고, 디바이스(10B)는 디바이스(10A)가 디바이스(10B)를 식별하고 디바이스(10A)에 대한 그의 위치를 찾는 것을 돕는 광학 마커(예컨대, 광학 혼합 현실 시스템 마커)를 갖는 시스템(8) 내의 휴대용 전화기, 또는 다른 디바이스일 수 있다. 이러한 유형의 환경에서, 디바이스(10A)는 사용자에게 혼합 현실 콘텐츠를 제공할 수 있고, 시스템(8)은 때때로 혼합 현실 시스템으로 지칭될 수 있다.
대체적으로, 디바이스(10A, 10B)는 임의의 적합한 디바이스, 예컨대, 휴대용 전화기, 전자 손목 시계 디바이스, 태블릿 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 텔레비전, 가구나 차량 또는 다른 매설형 시스템의 일부인 디스플레이 및 다른 컴포넌트를 갖는 전자 디바이스, 착용가능 디바이스, 예컨대, 손목 밴드, 헤드 밴드, 의복, 모자, 머리 장착형 디바이스(예컨대, 안경, 구글, 헬멧 등), 태블릿 컴퓨터에 입력을 제공하기 위한 무선 연필, 컴퓨터 마우스, 키보드, 이어 버드(ear bud), 및/또는 다른 액세서리, 및/또는 다른 전자 장비일 수 있다. 원하는 경우, 디바이스(10)는 다른 디바이스에 의한 인식을 향상시키기 위한 광학 마커 및 그러한 디바이스를 인식하기 위한 센서 둘 모두를 포함할 수 있다(예컨대, 디바이스(10A, 10B)의 특징부가 상호 배타적일 필요는 없다). 예를 들어, 휴대용 전화기, 머리 장착형 디스플레이, 또는 다른 전자 디바이스가 센서에 의한 검출을 가능하게 하기 위한 마커 및 검출 동작을 수행하기 위한 센서 둘 모두를 포함할 수 있다.
도 1에 도시된 바와 같이, 디바이스(10B)는 광(40)에 의해 조명될 수 있다. 광(40)은 디바이스(10A)와 같은 디바이스에 의해 생성될 수 있고/있거나(예컨대, 광이 깊이 센서와 같은 센서로부터 방출됨), 하나 이상의 다른 광원(11)에 의해 생성될 수 있다. 광원(11)은 자연 광을 생성하는 태양을 포함할 수 있고/있거나, 인공 광원(예컨대, 형광등, 백열등, 가시광원, 예컨대, 가시광 발광 다이오드, 할로겐등, 및/또는 다른 실내 및/또는 실외 인공 가시광원)을 포함할 수 있다. 일부 구성에서, 광원(11)은 비가시광(예컨대, 하나 이상의 파장의 적외광 및/또는 하나 이상의 파장의 자외광)을 생성하는 광원(예컨대, 발광 다이오드, 레이저, 램프 등)을 포함할 수 있다. 일부 구성에서, 광원(11)은 하나 이상의 원하는 파장의 펄스 광을 하나 이상의 원하는 펄스 패턴으로 생성할 수 있다. 대체적으로, 광원(11) 및/또는 디바이스(10) 내의 광원은 하나 이상의 파장의 인공 및/또는 자연 광(적외광, 가시광, 및/또는 자외광)의 임의의 하나 이상의 광원을 포함할 수 있다.
외부 광원(11)에 의해 방출되는 광(40)은 디바이스(10B)를 조명하기 위하여 방향(42)으로 방출될 수 있다. 디바이스(10A) 내의 광원에 의해 방출되는 광(40)은 디바이스(10B)를 조명하기 위하여 방향(44)으로 방출될 수 있다. 디바이스(10B)는 (예컨대, 경면 반사, 역반사 광, 및/또는 확산 산란 광으로서) 광(40)을 반사하는 광학 마커(적외광, 가시광, 및/또는 자외광 조명 하에서 광학적으로 인식가능한 마커)를 가질 수 있다, 반사된 광(40')은 디바이스(10A) 내의 센서에 의해 검출될 수 있다. 원하는 경우, 디바이스(10B)는 또한 디바이스(10A)에 의한 검출을 위한 광(예컨대, 가시광, 적외광, 및/또는 자외광)을 생성하는 광원(발광 다이오드, 레이저, 램프 등)을 포함할 수 있다.
디바이스(10)의 외관을 향상시키기 위하여 (예컨대, 사용자의 육안에 대해 디바이스(10B)와 같은 디바이스의 외관을 향상시키기 위하여), 사용자에게 가시적이고 디바이스(10)에 원하는 외관을 제공하는 패턴화된 구조를 디바이스(10)에 제공하는 것이 바람직할 수 있다. 일례로서, 디바이스(10) 내의 트림(trim) 구조, 버튼(예컨대, 이동가능 버튼 부재 또는 터치 감응형 버튼 위치), 하우징 구조, 및/또는 다른 구조에 패턴화된 구조가 제공될 수 있다. 때때로 가시광 마커로 지칭될 수 있는 이러한 패턴화된 구조는 특정 버튼들을 서로 구별하는 것을 도울 수 있고/있거나, 디바이스 또는 컴포넌트의 외형선을 강조하는 것을 도울 수 있고/있거나, 디바이스(10)의 사용 및/또는 디바이스(10)에 관한 다른 정보를 제공할 수 있다. 마커는 또한 바코드 또는 다른 광학 코드(예를 들어, 2차원 매트릭스 바코드, 예컨대, QR 코드 또는 다른 코드), 정렬 특징부(예컨대, 시스템(8)의 디바이스(10B)의 형상 및 위치의 정보를 디바이스(10A)에 통지하기 위함) 등으로서 사용될 수 있다. 이들과 같은 마커는 가시광 파장 및/또는 다른 파장에서 작동할 수 있다. 예를 들어, 마커는 (가시광 파장에서 사용자의 육안에 대해 가시적이거나 비가시적이면서) 적외광 파장에서 작동할 수 있고, 자외광 파장에서 작동할 수 있고, 다수의 파장에서 작동할 수 있고, 등일 수 있다.
도 2는 예시적인 전자 디바이스의 개략도이다. 도 2의 예시적인 디바이스(10)와 같은 디바이스는 도 1의 디바이스(10A) 및/또는 디바이스(10B)로서 사용될 수 있다. 도 2에 도시된 바와 같이, 전자 디바이스(10)는 제어 회로부(30)를 가질 수 있다. 제어 회로부(30)는 저장 및 처리 회로부, 예컨대, 마이크로프로세서와 연관된 처리 회로부, 전력 관리 유닛, 베이스밴드 프로세서, 디지털 신호 프로세서, 마이크로제어기, 및/또는 처리 회로를 갖는 주문형 집적 회로를 포함할 수 있다. 제어 회로부(30)는 디바이스(10) 내에 원하는 제어 및 통신 특징부를 구현할 수 있다. 예를 들어, 제어 회로부(30)는 데이터를 수집하는 데, 수집된 데이터를 처리하는 데, 그리고 수집된 데이터를 기초로 적합한 작동을 취하는 데 사용될 수 있다. 제어 회로부(30)는 하드웨어(예컨대, 전용 하드웨어 또는 회로부), 펌웨어, 및/또는 소프트웨어를 사용하여 이러한 작동을 수행하도록 구성될 수 있다. 이러한 활동을 수행하기 위한 소프트웨어 코드는 비일시적 컴퓨터 판독가능 저장 매체(예컨대, 유형의 컴퓨터 판독가능 저장 매체)에 저장될 수 있다. 소프트웨어 코드는 때로는 소프트웨어, 데이터, 프로그램 명령어들, 명령어들, 또는 코드로 지칭될 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는 비휘발성 랜덤 액세스 메모리(NVRAM)와 같은 비휘발성 메모리, 하나 이상의 하드 드라이브(예컨대, 마그네틱 드라이브 또는 솔리드 스테이트 드라이브), 하나 이상의 제거가능형 플래시 드라이브 또는 다른 제거가능형 매체 등을 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체에 저장된 소프트웨어는 제어 회로부(30)의 처리 회로부에서 실행될 수 있다. 프로세싱 회로부는 프로세싱 회로부, 하나 이상의 마이크로프로세서들, 또는 다른 프로세싱 회로부를 갖춘 주문형 집적 회로들을 포함할 수 있다.
디바이스(10)는 통신 회로부(32)를 가질 수 있다. 통신 회로부(32)는 유선 통신 회로부(예컨대, 커넥터와 연관된 포트를 통하여 디지털 및/또는 아날로그 신호를 송신하고/하거나 수신하기 위한 회로부)를 포함할 수 있고, 무선 장비와의 통신을 지원하기 위한 무선 통신 회로부(예컨대, 무선 주파수 송수신기 및 안테나)를 포함할 수 있다. 회로부(32) 내의 무선 통신 회로부는 무선 근거리 통신망 회로부(예컨대, 와이파이® 회로부), 휴대용 전화기 송수신기 회로부, 위성 위치 확인 시스템 수신기 회로부(예컨대, 위치, 속도 등을 결정하기 위한 GPS(Global Positioning System) 수신기), 근거리장 통신 회로부 및/또는 다른 무선 통신 회로부를 포함할 수 있다. 통신 회로부(32)를 사용하여, 시스템(8) 내의 디바이스(10)들은 (예컨대, 하나의 디바이스가 다른 디바이스로 송신된 입력을 수집하여 그 디바이스를 제어할 수 있도록) 서로 통신할 수 있다.
디바이스(10)는 사용자로부터의 입력 및 디바이스(10)의 작동 환경을 수신하고 출력을 제공하기 위하여 입력-출력 디바이스(34)를 사용할 수 있다. 입력-출력 디바이스(34)는 디스플레이(14)(예컨대, 액정 디스플레이, 유기 발광 다이오드 디스플레이, 또는 다른 디스플레이)와 같은 하나 이상의 시각적 출력 디바이스를 포함할 수 있다. 입력-출력 디바이스(34)는 또한 버튼, 조이스틱, 스크롤 휠, 터치 패드, 키 패드, 키보드, 마이크로폰, 스피커, 디스플레이(예컨대, 터치 스크린 디스플레이), 음 발생기, 진동기(예컨대, 압전 진동 컴포넌트 등), 센서, 발광 다이오드 및 다른 상태 표시자, 데이터 포트 등을 포함할 수 있다. 입력-출력 디바이스(34) 내의 센서(36)는 힘 센서, 터치 센서, 제스처 센서, 용량성 근접 센서, 광학 근접 센서, 주변 광 센서, 온도 센서, 공기압 센서, 가스 센서, 미립자 센서, 자기 센서, 운동 및 배향 센서(예컨대, 가속도계, 자이로스코프, 및 자기계와 같은 하나 이상의 센서에 기초한 관성 측정 유닛), 스트레인 게이지, 적외광, 가시광, 및/또는 자외광 파장에서 작동하는 이미지 센서(카메라)를 포함하는 센서, 깊이 센서(예컨대, 광선을 그리드(grid) 또는 다른 패턴으로 방출하고 목표 물체 상에 생성된 광의 결과적인 스폿(spot)을 측정하는 이미지 센서를 갖는 구조화된 광 깊이 센서), 한 쌍의 입체 센서를 사용하여 3차원 깊이 정보를 수집하는 센서, 광선 레이더(lidar; light detection and ranging) 센서, 레이더 센서, 사용자 주변의 2차원 또는 3차원 밀리미터 파 이미지를 수집하기 위한 무선 주파수 센서(예컨대, 밀리미터 파 시스템) 등을 포함할 수 있다.
도 3은 깊이 센서와 같은 예시적인 광 기반 센서의 도면이다. 도 3에 도시된 바와 같이, 센서(36)는 이미지 센서 또는 다른 광 검출기(예컨대, 2차원 디지털 이미지 센서(36B) 참조)를 포함할 수 있다. 이미지 센서(36B)는 적외광, 가시광, 및/또는 자외광 파장에서 작동할 수 있다. 이미지 센서(36B)와 같은 센서는 그러한 전자 디바이스 상에 존재하는 임의의 마커를 포함하여 전자 디바이스의 이미지를 캡처할 수 있고/있거나 사용자 주변의 다른 아이템의 이미지를 캡처할 수 있다. 일부 경우에, 이미지 센서(들)(36B)는 광원(11)으로부터의 블랭킷(blanket) 자연 또는 인공 조명을 사용하여 조명된 물체(예컨대, 디바이스(10B))의 이미지를 캡처할 수 있다. 원하는 경우, 이미지 센서(36B)는 디바이스(10A) 내의 카메라 플래시 또는 다른 광원으로부터의 출력에 의해 조명된 물체(예컨대, 디바이스(10B))의 이미지를 캡처할 수 있다.
일부 예시적인 구성에서, 센서(36)(예컨대, 디바이스(10A) 내의 센서)는 광원(36A)으로부터의 시준된 광(때때로, 구조화된 광으로 지칭됨)의 광선을 방출하는 광원을 포함할 수 있다. 광원(36A)은, 일례로서, 적외광 레이저들(또는 가시광 및/또는 자외광 파장에서 작동하는 레이저들)의 2차원 어레이를 포함할 수 있다. 레이저 또는 다른 구조화된 광원의 이러한 2차원 어레이는 광선(예컨대, 광(40)의 광선)들의 어레이를 방출할 수 있다. 센서(36B)는 이러한 광선(구조화된 광)이 디바이스(10B) 상의 마커 및/또는 디바이스(10B)의 다른 부분 및 디바이스(10B) 주변의 물체를 조명하는 경우에 형성되는 스폿을 포함하는 이미지를 캡처 및 처리할 수 있다. 마커를 디바이스(10B) 내에 포함시킴으로써, 디바이스(10B)의 3차원 형상 및 디바이스(10A)에 대한 디바이스(10B)의 위치를 결정하는 프로세스가 가능하게 될 수 있다. 대체적으로, 임의의 적합한 센서(36)는 디바이스(10) 내에 제공될 수 있다. 구조화된 광 깊이 센서의 사용은 예시적인 것이다.
도 4는 도 2의 디바이스(10)와 같은 예시적인 디바이스의 일부의 측단면도이다. 도 4에 도시된 바와 같이, 디바이스(10)는 디스플레이(14)와 같은 디스플레이를 가질 수 있다. 디스플레이(14)는, 원하는 경우, 디바이스(10)의 일 면(예컨대, 전방 면) 상에 형성될 수 있고, 층(24)과 같은 하우징 구조가 반대 면(예컨대, 후방 면) 상에 형성될 수 있다. 원하는 경우, 디바이스(10)에 대한 다른 구성이 사용될 수 있다. 디바이스(10)는 부분(12)과 같은 측벽 부분을 가질 수 있다. 디바이스(10)를 위한 전자 디바이스 하우징의 이러한 측벽 부분, 후방 하우징, 및, 원하는 경우, 다른 하우징 부분은 금속과 같은 재료, 전방 및/또는 후방 유리 층의 일체형 부분, 중합체, 세라믹, 다른 재료 및/또는 이들 재료의 조합으로 형성될 수 있다.
디스플레이(14)는 디스플레이 커버 층(16)(예컨대, 유리 또는 투명 중합체의 층) 및 디스플레이 모듈(18)(예컨대, 디바이스(10)의 사용자에게 이미지들을 나타내는 픽셀들의 어레이를 형성하는 디스플레이 층)을 포함할 수 있다. 디스플레이 모듈(18)은 액정 디스플레이 구조, 유기 발광 다이오드 디스플레이 구조, 마이크로-발광 다이오드들의 어레이, 또는 다른 적합한 디스플레이일 수 있다. 디스플레이(14)(예컨대, 커버 층(16)) 및 디바이스(10)의 하우징 구조 예컨대, 하우징(12) 및 후방 층(24)은 마커가 형성될 수 있는 디바이스(10)에 대한 외부 표면을 형성한다. 작동 중에, 때때로 픽셀 어레이로 지칭될 수 있는 모듈(18)은 디스플레이 커버 층(16)을 통하여 관찰가능한 이미지를 나타낼 수 있다. 컴포넌트(22)(예컨대, 집적 회로, 센서 등과 같은 전기 컴포넌트)와 같은 디바이스(10) 내의 내부 컴포넌트가 디바이스(10) 내의 인쇄 회로(20)와 같은 하나 이상의 기판 상에 장착될 수 있다. 디바이스(10)는 디바이스(10)가 사용자에 의해 착용되는 것을 허용하도록 형상화된 하우징(예컨대, 사용자의 머리 또는 다른 신체 일부에 착용되도록 구성된 하우징 구조)을 가질 수 있고/있거나, (예컨대, 디바이스(10)가 휴대용 전화기인 구성에서) 직사각형 외형선을 갖는 하우징을 가질 수 있고/있거나, 다른 적합한 하우징을 가질 수 있다.
마커는 패턴화된 코팅 층으로부터 형성될 수 있거나, 디바이스(10)의 일부분 내로 더 깊이 매설될 수 있다. 원하는 경우, 마커는 사출 성형된 중합체 하우징 구조 내로 마커 재료를 포함시킴으로써, 금속 하우징 구조에 형성된 구멍, 홈, 또는 다른 개구 내로 중합체 충전재 재료를 매설함으로써, 유리 또는 세라믹 하우징 구조에 입자 또는 다른 재료를 추가함으로써, 또는 전자 디바이스 하우징의 일부로서 광학 마커 구조를 형성하기 위하여 재료를 달리 패턴화함으로써 하우징 구조의 일부로부터 형성될 수 있다. 일부 구성에서(예컨대, 코팅 층으로 마커를 형성하는 경우), 마커는 기판 층의 내부 및/또는 외부 표면 상에 형성될 수 있다. 일례로서, 디바이스(10) 내의 투명한 하우징 층, 투명한 디스플레이 층, 투명한 윈도 층, 및/또는 다른 투명 부재가 층을 통하여 디바이스(10)의 외부 표면에서 가시적인 마커를 형성하는 패턴화된 층으로 덮인 내부 표면을 가질 수 있다. 외부 코팅이 또한 형성될 수 있다. 마커는 기능성 부재(예컨대, 버튼의 일부를 형성하는 버튼 부재) 상에 형성될 수 있고/있거나 디바이스(10)의 다른 부분(예컨대, 디바이스 하우징과 연관된 것과 같은 외부 표면) 상에 형성될 수 있다. 디바이스(10)용 마커가 코팅 층(들)으로부터 형성되는 예시적인 구성이 때때로 본 명세서에서 일례로서 설명될 수 있다.
코팅은 금속, 반도체, 및/또는 유전체로 형성될 수 있다. 코팅용 유전체 재료는 유기 재료, 예컨대, 중합체 층 및/또는 무기 재료, 예컨대, 산화물 층(예컨대, 산화규소, 금속 산화물, 예컨대, 산화알루미늄 등), 질화물 층, 및/또는 다른 무기 유전체 재료를 포함할 수 있다. 원하는 경우, 코팅이 박막 간섭 필터 층(때때로, 이색성 층으로 지칭됨)으로부터 형성될 수 있다. 마커에 원하는 광학 특성을 부여하는 광발광성 구조, 역반사 구조, 및/또는 다른 구조가 또한 사용될 수 있다. 빛나는 외관을 원하는 배열에서, 고반사율을 갖는 금속 코팅, 또는 유전체 층들(예컨대, 교호하는 고굴절률 값 및 저굴절률 값의 유전체 층들의 스택)을 갖는 박막 간섭 필터가 미러 코팅(반사 코팅)으로서의 역할을 하도록 구성될 수 있다.
디바이스(10)에 마커를 형성하는 데 사용될 수 있는 유형의 예시적인 코팅 층이 도 5에 도시되어 있다. 도 5에 도시된 바와 같이, 코팅 층(62)은 구조(60)와 같은 구조에 의해 지지될 수 있다. 구조(60)는 하우징 구조(예컨대, 외부에서 관찰가능한 표면을 갖는 하우징 벽), 투명 부재(예컨대, 외부에서 관찰가능하고/하거나 내부에서 관찰가능한 표면을 갖는 투명 하우징 구조 또는 투명 디스플레이 커버 층), 및/또는 디바이스(10) 내의 다른 구조(때때로, 지지 층, 지지 구조, 기판 등으로 지칭됨)일 수 있다. 층(62)은 구조(60)의 내부 및/또는 외부 표면 상에 형성될 수 있다. 층(62)은 하나 이상의 하위층(62')을 가질 수 있다.
일부 구성에서, 층(62)의 하나 이상의 하위층(62')의 벌크(bulk) 특성은 층(62)의 광학적 특성에 영향을 미친다. 예를 들어, 층(62)은 유색 재료(예컨대, 중합체 함유 염료 및/또는 안료), 또는 광발광성을 나타내는 재료(광발광성 염료, 인광물질 등)를 포함할 수 있다. 이러한 재료는 얇은(거의 광의 파장) 또는 두꺼운 층으로 침착될 수 있고, 층(62)에 대한 광 투과, 반사, 및 흡수를 조절하는 데 사용될 수 있다.
다른 구성에서는, 층(62')의 박막 간섭 특성이 코팅 층(62)에 원하는 광학 특성을 제공하기 위하여 사용된다. 층(62)은, 일례로서, 각각이 비교적 얇고(예컨대, 10 마이크로미터 미만, 3 마이크로미터 미만, 적어도 0.05 마이크로미터 등) 및 적외광, 가시광, 및 자외광 스펙트럼의 적절한 부분에 걸친 원하는 반사, 투과, 및 흡수와 같은 원하는 광학 특성을 갖는 박막 간섭 필터를 집합적으로 형성하는 N개의 하위층(62')(N은 적어도 3, 적어도 5, 적어도 7, 적어도 10, 적어도 20, 적어도 40, 200 미만, 100 미만, 또는 다른 적합한 수임)을 포함할 수 있다.
코팅 층(62')은 유전체 층(예컨대, 무기 유전체 층, 예컨대, 산화규소, 질화규소, 산화티타늄, 산화탄탈룸, 산화지르코늄, 산화알루미늄 등 및/또는 중합체 층)을 포함할 수 있다. 층(62)에 대한 박막 간섭 필터 구성에서, 층(62')은 (예컨대, 박막 간섭 미러를 형성하기, 가시광 파장에서보다 적외광 파장에서 반사율이 더 높은 박막 간섭 필터를 형성하기 등을 위하여) 교호하는 고굴절률 및 저굴절률과 같은 원하는 굴절률 값을 가질 수 있다. 원하는 경우, 금속 층, 반도체 층, 및/또는 다른 재료의 층이 층(62) 내로 포함될 수 있다.
도 6에 도시된 바와 같이, 하나 이상의 층(62')이 매설된 입자(66)를 갖는 재료(64)로 형성될 수 있다. 입자(66)는 광 산란 입자(예컨대, 적어도 1.8, 적어도 1.9, 적어도 2.0, 2.1 미만의 굴절률을 갖는 재료, 또는 저굴절률의 재료 내에 매설되는 경우 높은 산란을 나타내는 다른 적합한 재료)를 포함할 수 있다. 재료(64)는 입자(66)의 굴절률과 상이한 굴절률을 갖는 중합체 또는 무기 재료와 같은 유전체일 수 있다. 일부 구성에서, 입자(66)는 중공 마이크로구체, 저굴절률 재료의 입자, 및/또는 다른 저굴절률 구조로부터 형성될 수 있다.
일부 구성에서, 입자(66)는 광발광성일 수 있고, 펌프 광의 적용에 응답하여 하나 이상의 선택된 파장의 광(예컨대, 방출 파장보다 짧은 하나 이상의 파장의 광(40))을 방출할 수 있다. 입자(66)는 또한 광(40)을 반사하는 것을 돕도록 반사 표면을 형성할 수 있다. 원하는 경우, 입자(66) 및/또는 재료(64)는 원하는 광학 특성을 갖는 벌크 흡수 특성을 가질 수 있다. 예를 들어, 입자(66) 및/또는 재료(64)는 가시광보다 적외광을 더 반사할 수 있어서, 센서(36)(도 3)로부터의 광(40)의 적외광 광선이 강하게 반사하고(예컨대, 반사 광(40') 참조) 따라서 층(62')으로부터 형성된 마커가 사용자에게는 불필요하게 가시적이도록 하지 않으면서 센서(36B)에 대해서는 향상된 가시성(visibility)을 갖게 할 것이다.
도 7은 층(62')이 역반사 표면을 갖는 예시적인 구성인 층(62')의 측단면도이다. 도 7의 층(62')은, 일례로서, 층(62) 내의 층(62')들 중 최상부 층 또는 거의 최상부 층일 수 있다. 입자(66')는 구체(예컨대, 유리 구체) 또는 다른 역반사 입자일 수 있다. 이러한 입자를 사용하여, 광(40)의 입사 광선은 광(40)의 광원을 향하여 뒤로 반사될 것이다(예컨대, 반사 광선(40')이 입사 광선(40)의 경로를 따라갈 것이다). 이러한 유형의 배열은 (예컨대, 도 3의 발광 컴포넌트(36A)에 의해 도 3의 이미지 센서(36B)를 향하여 방출되는 광(40)의 반사를 향상시킴으로써) 디바이스(10B) 상의 마커를 디바이스(10A) 내의 센서(들)에 대해 강하게 가시적이도록 하는 것을 돕는 데 사용될 수 있다. 도 7의 층(62')으로부터 형성된 역반사 층은 (일례로서) 코팅 층(62) 내의 최상부 층(62')(또는 단독 층(62'))으로서 형성될 수 있다.
도 8에 도시된 바와 같이, 다른 유형의 역반사 표면이 디바이스(10)의 마커를 위하여 형성될 수 있다. 도 8의 예에서, 텍스처화된(textured) 표면이 층(62') 상에 형성되었다. 텍스처화된 표면은 돌기(68)를 갖고 역반사기를 위한 반사 경사 표면(70)을 형성한다. 이는 광(40)의 입사 광선이 그의 입사 경로를 따라서 광(40')으로서 뒤로 반사(역반사)되게 한다. 원하는 경우, 역반사 표면은 도 7 및 도 8의 역반사 표면 구조들의 조합으로 그리고/또는 다른 역반사 코팅으로부터 형성될 수 있다. 도 7 및 도 8의 예들은 예시적인 것이다.
도 9는 층(62) 내의 광발광성 재료가 하나 이상의 관심 파장의 방출되는 광을 생성하는 데 어떻게 사용될 수 있는지를 도시한다. 시스템(8) 내의 디바이스(10)의 작동 중에, 광원(11) 및/또는 디바이스(10A) 내의 광원(들)은 하나 이상의 펌프 광 파장의 펌프 광(예컨대, 파장(WL1)의 펌프 광 참조)을 방출할 수 있다. 펌프 광은 자외광, 가시광, 및/또는 적외광일 수 있다. 층(62) 내의 광발광성 재료의 존재로 인하여, 펌프 광은 광발광성 재료가 광발광성의 원리에 따르는 하나 이상의 더 긴 파장(예컨대, 파장(WL2…WLN))의 광을 방출하게 한다. 이러한 특정 기지의 파장의 광을 방출하는 마커가 이미지 센서(예컨대, 도 3의 센서(36B) 참조) 또는 다른 광 기반 검출기(들)를 이용하여 검출될 수 있다. 마커로부터의 반사 광(광(40'))의 스펙트럼 성분 및 마커의 다른 속성(예컨대, 마커의 형상 등)을 분석함으로써, 디바이스(10A)는 디바이스(10B)에 대한 정보(예컨대, 디바이스 유형, 디바이스(10A)에 대한 디바이스 위치, 디바이스 형상, 디바이스 위치 등)를 획득할 수 있다. 일례로서, 파장(w1, w2)의 광을 방출하는 제1 코팅 층이 휴대용 전화기를 위한 마커를 형성하는 데 사용될 수 있고, 상이한 파장(w3, w4)의 광을 방출하는 제2 코팅 층이 손목 시계 디바이스를 위한 마커를 형성하는 데 사용될 수 있다. (예컨대, 마커로부터의 반사 광(40')의 스펙트럼을 분석하는 컬러 디지털 이미지 센서 또는 다른 센서를 사용하여) 목표 디바이스 상의 마커로부터의 반사 광(40')의 스펙트럼을 분석함으로써, 디바이스(10A)는 디바이스(10A)의 시야에 있는 주어진 디바이스가 휴대용 전화기인지 또는 시계인지를 결정할 수 있거나, 디바이스(10B)에 관한 다른 정보를 추출할 수 있다.
디바이스(10B)가 역반사 구조(예컨대, 역반사 코팅으로부터 형성된 마커)를 포함하는 시스템(8)에 대한 구성에서, 입사 광은 원래의 입사 광과 동일한 경로를 따라서 그의 광원을 향하여 뒤로 반사될 것이다. 일례로서, 광(40)이 AI의 각도(예컨대, 디바이스(10B) 상의 역반사 마커 표면의 표면 법선에 대한 각도(AI))로 디바이스(10B)에 입사하는 도 10에 도시된 시나리오를 고려하자. 이러한 광(40)은 강도 프로파일(72)과 같은 각도에 대한 강도 프로파일을 가질 수 있다. 역반사 마커 구조가 없는 경우, 광(40)은 각도(AI)를 따라서 뒤로 약하게 반사될 것이다(예컨대, 확산 반사되는 광과 같은 비-역반사 표면으로부터의 균일하게 산란된 광에 대응하는 광 강도 프로파일(76) 참조). 역반사 구조(예컨대, 도 7 및/또는 도 8의 역반사 층(62')을 포함하는 역반사 코팅 층(62)으로부터 형성된 마커)가 있는 경우, 반사 광(40')은 프로파일(74)에 의해 도시된 유형의 강도 프로파일을 가질 것이다(즉, 반사 광(40')은 입사 광(40)으로서 마커(62)의 표면 법선에 대한 동일한 각배향을 갖는 경로를 따라서 강한 강도를 가질 것이다).
도 11은 예시적인 광학 마커 구조(광학 마커)(80)를 갖는 예시적인 전자 디바이스(10B)의 사시도이다. 마커(80)는 패턴화된 코팅, 예컨대, 도 5의 코팅(62) 및/또는 다른 마커 구조(예컨대, 하우징 층 내의 개구 내에 형성된 마커, 마커 재료를 포함하는 하우징 구조 또는 다른 디바이스 구조의 일부로부터 형성된 마커 등)로부터 형성될 수 있다. 코팅(62)과 같은 코팅은 리프트-오프(lift-off) 기법, 에칭, 섀도우 마스크(shadow mask) 침착 기법, 기계가공, 레이저 패턴화, 및/또는 다른 적합한 패턴화 기법을 사용하여 패턴화될 수 있다. 코팅(62)은 십자가, 도트(dot), 정사각형, 비대칭 형상(예컨대, 비대칭 십자가, 비대칭 스폿 등), 그리드(예컨대, 도 11의 디바이스(10B)의 중심에 있는 그리드 형상의 마커(80) 참조), 링(예컨대, 디바이스(10B)의 주연부의 일부 또는 전부를 따라서 이어지는 주연부 링) 등을 형성하도록 패턴화될 수 있다. 스위치 및 이동가능 버튼 부재를 갖는 버튼 및/또는 터치 센서 버튼이 마커(80)들로 라벨링될 수 있다(예컨대, 버튼(80M) 참조).
일부 구성에서, 마커(80)들은 균일하게 분포될 수 있다(예컨대, 디바이스(10)의 외형선을 구별하는 것을 돕도록 디바이스(10)의 4개의 코너의 각각에 적어도 하나의 마커(80)가 있을 수 있다). 다른 구성에서, 마커(80)는 디바이스(10B)가 회전되었는지, 뒤집혔는지(flipped) 등을 디바이스(10A)가 결정하는 것을 가능하게 하는 패턴으로 분포될 수 있다. 예를 들어, 디바이스(10B)의 하우징의 상이한 코너들에는 상이한 개수의 마커(80)가 제공될 수 있어서, 디바이스(10A)는 디바이스(10B)가 (예컨대, 디바이스(10B)가 안착되어 있는 표면의 평면 내에서) 회전되었는지 여부를 결정할 수 있다. 마커(80)는 디바이스(10B)의 후방 면 상에, 디바이스(10B)의 전방 면 상에, 디바이스(10B) 상의 측벽 장착형 버튼 및/또는 하우징 측벽의 일부 상에, 그리고/또는 디바이스(10B)의 다른 적합한 부분 상에 형성될 수 있다.
도 12는 마커(80)가 디바이스(10B)의 주연부 에지 부분(PP)(예컨대, 주연부 하우징 구조, 예컨대, 금속 주연부 하우징 밴드, 주연부 하우징 구조, 예컨대, 디바이스(10B)의 주연부 주위로 이어지고 평면 후방 벽의 일체형 부분을 형성하는 측벽, 디바이스(10B) 내의 디스플레이(14)용 베젤 또는 트림 또는 다른 컴포넌트를 형성하는 다른 구조 등)을 따라서 어떻게 형성될 수 있는지를 도시하는 디바이스(10B)의 코너 부분의 평면도이다. 도 12의 예에서, 디바이스(10B)의 주연부 에지를 따라서 일련의 마커(80)가 존재한다. 원하는 경우, 디바이스(10B)의 주연부가 위치되는 곳을 나타내기 위하여 단일 스트립 형상의 마커 또는 다른 마커 패턴이 사용될 수 있다.
작동 중에, 디바이스(10A)는 하나 이상의 파장의 디바이스(10B)의 디지털 이미지를 형성하기 위하여 센서(36)를 사용할 수 있거나, 또는 그와 달리 디바이스(10B)에 대한 스펙트럼 측정치 및/또는 다른 광 기반 측정치를 얻기 위하여 센서(36)를 사용할 수 있다. 디바이스(10B) 상의 마커는 미리결정된 패턴의 색, 반사율, 광 흡수율, 광 투과율, 마커 형상, 마커 배향 등을 이용하여 코드화될 수 있다. 일부 구성에서, 마커(10B)는 디바이스(10B)에 관한 정보(예컨대, 디바이스 유형, 디바이스 일련 번호 또는 다른 식별 정보 등)를 포함하는 2차원 바코드 또는 다른 인코딩된 광학 패턴을 형성할 수 있다. 그러한 코드는, 일례로서, 디바이스-특정 또는 디바이스-모델-특정(디바이스-유형-특정) 코드일 수 있다. 하나 이상의 디바이스(10B)가 디바이스(10A)가 존재하는 곳에 있는 경우, 디바이스(10A)는 센서(36)를 사용하여 (예컨대, 이미징(imaging) 및 다른 광 기반 검출 기법, 및 적절한 경우, 바코드 디코딩 동작을 이용하여) 각각의 디바이스(10B)를 감지할 수 있다. 이러한 감지 동작은 구조화된 광을 방출하는 것, 광선(들), 블랭킷 조명 또는 다른 디바이스-방출 광(40)을 스캐닝하는 것을 수반할 수 있고/있거나, 하나 이상의 자연 및/또는 인공 외부 광원(11)을 사용하여 광(40)을 방출하는 것을 수반할 수 있다.
방출된 광(40)은 미리결정된 공간적 특징을 가질 수 있고/있거나(예컨대, 광(40)은 평행한 광선들의 어레이로 방출되는 구조화된 광일 수 있음), 미리결정된 스펙트럼 특징을 가질 수 있고/있거나(예컨대, 광(40)은 하나 이상의 미리결정된 파장의 광을 포함할 수 있음), 미리결정된 시간적 특징을 가질 수 있고/있거나(예컨대, 하나 이상의 상이한 파장의 광(40)은 미리결정된 패턴의 펄스로 방출될 수 있음), 다른 알려진 특징을 가질 수 있다. 마커(80)는 스펙트럼 반사율 코드(기지의 반사율 대 파장 특징), 및 마커(80)가 디바이스(10B)에 관한 원하는 정보를 디바이스(10A)에 전달하는 것을 돕는 다른 미리정의된 특성을 포함할 수 있다. 방출된 광(40)과 방출된 광(40)에 의해 조명된 각각의 디바이스(10B) 상의 마커(80) 사이의 상호작용의 결과로서, 대응하는 특징을 갖는 반사 광(40')이 생성될 것이다. 예를 들어, 광(40)이 파장(wa, wb, wc)의 광을 포함하고 디바이스(10) 내의 주어진 마커(80)가 파장(wa)의 광의 80%를, 파장(wb)의 광의 30%를, 그리고 파장(wc)의 광의 50%를 반사하도록 구성되는 경우, 디바이스(10A)는 이들 3가지 파장 각각의 반사 광(40')으로서 수신되는 광(40)의 양을 분석함으로써 주어진 마커(및 디바이스(10B))가 존재하는지 여부를 결정할 수 있다.
상이한 조명 조건에 노출되는 동안 상이한 가시광 외관을 디바이스(10B) 상의 버튼 또는 다른 디바이스 구조에 제공하기를 원하는 경우, 디바이스(10B)의 버튼 및 다른 부분(예컨대, 주변 하우징 구조)에는 적절한 마커 코팅이 제공될 수 있다. 일례로서, 사용자가 디바이스(10A)로 하여금 형광등의 주변 조명 조건에서 온광(warm)(낮은 색 온도) 플래시 조명을 출력하게 하는 것을 돕도록 가압될 수 있는 버튼을 강조하는 것이 바람직한 경우, 그러한 버튼 및 주변 하우징 구조에는, 버튼이 형광등 조명에서 디바이스(10B) 내의 주변 구조보다 더 밝게 보이지만 일광에서 주변 구조와 동일한 밝기를 갖는 것으로 보이도록, 조정된 광 반사 스펙트럼을 갖는 각각의 코팅이 제공될 수 있다.
일부 배열에서, 코팅(62)은 광원(11)으로부터의 하나 이상의 파장의 광의 시간 가변성 패턴에 응답하여 반사하도록 그리고/또는 냉발광(luminesce)하도록 패턴화될 수 있다. 광원(11)으로부터의 광(40)이 특정 펄스 시퀀스를 갖는 경우에 애니메이션화된 효과가 생성될 수 있다. 예를 들어, 제1 층(62)은 파장(wla)을 중심으로 한 좁은 파장 범위의 광을 반사하는 제1 패턴을 (예컨대, 이러한 범위에만 있는 광을 반사하는 박막 간섭 필터를 형성함으로써) 형성할 수 있고, 제2 및 제3 층들(62)은 파장(wlb, wlc)을 중심으로 한 좁은 파장 범위의 광을 각각 반사하는 제2 및 제3 패턴들을 형성할 수 있다. 광원(11)들은 각각의 파장(wla, wlb, wlc)의 광 펄스를 순차적으로 출력하는 사이클을 이루어, 제1 패턴과 제2 패턴과 제3 패턴 사이에서 반사 광을 반복적으로 교호함으로써 형성된 애니메이션화된 패턴을 생성할 수 있다. 이러한 기법은 체이싱 광(chasing light) 패턴, 움직이는 애니메이션화된 캐릭터 등을 형성하는 데 이용될 수 있다.
혼합 현실 환경에서, 디바이스(10A)는 마커(예컨대, 역반사 마커 및/또는 광발광성 재료를 사용한 태그(tag)된 마커, 알려진 스펙트럼 특성을 갖는 박막 간섭 필터, 비대칭 형상 및/또는 레이아웃과 같은 알려진 비대칭 패턴을 갖는 마커 등)를 사용하여 사용자의 시야(예컨대, 센서(36B) 및/또는 다른 이미지 센서 디바이스의 시야)에 있는 각각의 디바이스(10B)를 식별하는 것을 도울 수 있고 이러한 디바이스(10B) 내의 디스플레이(14) 및 다른 컴포넌트의 위치를 결정하는 것을 도울 수 있다. 디바이스(10A)는 이미지 처리 기법(예컨대, 패턴 인식)을 이용하여, 마커(80)가 언제 존재하는지를 결정할 수 있고 검출된 마커로부터 원하는 정보를 추출할 수 있다. 예를 들어, 디바이스(10A)는 센서(36)로부터의 센서 데이터를 처리하여, 디바이스(10B)를 식별하고/하거나, 디바이스(10B)의 위치(예컨대, 디바이스(10B)로부터의 방향 및 거리)를 식별하고/하거나, 각각의 디바이스(10B)의 회전 배향(예컨대, 테이블 또는 다른 지지 표면 상에서의 그의 회전 배향)을 식별하고/하거나, 각각의 디바이스(10B)의 외형선을 식별하고/하거나, 하우징 에지, 디스플레이 에지, 및/또는 다른 디바이스 특징부의 위치를 결정하고/하거나, 각각의 디바이스(10B)에 관한 다른 정보를 추출할 수 있다. 이어서, 디바이스(10A)는 그의 디스플레이를 사용하여 적절한 동작을 취할 수 있다(예컨대, 디바이스(10B) 상의 디스플레이(14)의 검출된 에지와 정밀하게 정렬된 컴퓨터 생성 콘텐츠를 오버레이함으로써, 각각의 디바이스(10B)를 완전히 또는 부분적으로 가리는 콘텐츠를 오버레이하기, (예컨대, 사용자가 디바이스(10B)의 위치를 용이하게 찾고 그를 사용하는 것을 허용하도록) 검출된 디바이스(10B)의 외형선을 나타내거나 또는 달리 그의 위치를 시각적으로 강조하기 등
디바이스(10B)는 입력 디바이스(예컨대, 게임 제어기, 내비게이션 디바이스, 마이크로폰 등)로서 사용될 수 있다. 각각의 디바이스(10B) 내의 버튼, 터치 스크린, 제스처 인식 디바이스 및 다른 입력-출력 디바이스가 입력으로서 사용될 수 있고/있거나 디바이스(10B)는 다른 방식으로 입력을 수집하는 데 사용될 수 있다. 일례로서, 사용자가 디바이스(10B)(예컨대, 키보드)를 공중에서 흔들고, 디바이스(10A)는 디바이스(10B)의 검출된 움직임을 입력으로서 사용되어 디바이스(10A)에 의해 디스플레이되고 있는 가상 물체를 사용자에게 이동시킬 수 있다. 다른 예로서, 디바이스(10A)는 (예컨대, 디바이스(10B) 상의 이미지의 전부 또는 일부가 디바이스(10A)에 의해 변경되는 대안 현실을 생성하기 위하여) 디바이스(10B) 내의 디스플레이(14) 위에 이미지를 오버레이할 수 있다. 또 다른 예는 사용자의 시야 내의 검출된 디바이스(10B) 상에 또는 그에 인접하게 배치된 플래싱 아이콘(flashing icon) 또는 다른 시각적으로 눈에 띄는 컴퓨터 생성 객체를 생성함으로써 마우스 또는 다른 입력 디바이스를 강조하는 것을 수반한다. 디바이스(10A)는 이러한 기법을 이용하여, 혼합 현실 환경에서 작동하는 동안 사용자가 디바이스(10B)의 위치를 찾는 것을 도울 수 있다. 디바이스(10B)에는, 또한, 가상 버튼 영역을 (센서(36)를 사용하여 감지되는 디바이스(10B)의 마커(80) 및/또는 다른 검출가능 특징부의 패턴 인식을 사용하여 식별되는 바와 같은) 디바이스(10B)의 특정 부분과 중첩시킴으로써 가상 버튼 및 다른 증강된 특징부가 제공될 수 있다 마커(80)가 혼합 현실 시스템 내에서 광학 마커(예컨대, 디바이스(10B)의 위치, 배향, 및 다른 속성을 결정하기 위하여 디바이스(10A)가 광학적으로 검출할 수 있는 마커)로서 사용될 수 있기 때문에, 이러한 유형의 마커(80)는 때때로 혼합 현실 광학 마커, 광학 혼합 현실 시스템 마커, 시각적 혼합 현실 마커, 혼합 현실 마커, 또는 혼합 현실 정렬 특징부로 지칭될 수 있다. 정렬 마커(80)가 적외광 파장에서 디바이스(10A)에 의해 관찰되게 하면서 가시광 조건에서는 시야로부터 마커(80)를 숨기기 위하여, 마커(80)는 적외광 파장에서는 투명하고 가시광 파장에서는 불투명한 코팅 층 아래에 매설될 수 있다(예컨대, 층(62')들 중에서 하나 이상의 상부 층이 박막 간섭 필터로부터 형성된 적외광을 투과하고 가시광을 차단하는 층, 적외광에 투명한 가시광 흡수 재료를 갖는 중합체 층 등일 수 있다).
일 실시예에 따르면, 전자 디바이스가 제공되는데, 전자 디바이스는 하우징; 디스플레이를 포함하는 하우징 내의 전기 컴포넌트; 및 하우징의 외부 표면 상의 혼합 현실 시스템 광학 마커(marker)를 포함한다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 박막 간섭 필터로부터 형성된다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 하우징의 배향에 대한 시각적 정보를 제공하도록 구성된다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 2차원 바코드를 포함한다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 가시광보다 적외광을 더 반사하도록 구성된다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 역반사 층(retroreflective layer)을 포함한다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 중합체 층을 갖는 역반사 층, 및 중합체 층의 외부로 부분적으로 돌출된 투명 구체를 포함한다.
다른 실시예에 따르면, 전자 디바이스는 버튼을 포함하며, 혼합 현실 시스템 광학 마커는 버튼 상에 형성된다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 하우징의 적어도 하나의 주연부 에지를 따라서 이어진다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 광발광성(photoluminescent) 재료를 포함한다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 전자 디바이스를 식별하는 스펙트럼 반사율 코드를 형성하도록 구성된 재료를 포함한다.
일 실시예에 따르면, 혼합 현실 시스템이 제공되는데, 혼합 현실 시스템은 제1 전자 디바이스 하우징, 하우징 내의 제1 전자 디바이스 컴포넌트, 및 제1 전자 디바이스 하우징 상의 혼합 현실 시스템 광학 마커를 갖는 제1 전자 디바이스; 및 제2 전자 디바이스 하우징, 제2 전자 디바이스 하우징 내의 제어 회로부, 및 센서를 갖는 제2 전자 디바이스를 포함하고, 제2 전자 디바이스의 제어 회로부는 센서에 의해 혼합 현실 시스템 광학 마커에 대한 정보를 수집하도록; 그리고 혼합 현실 시스템 광학 마커에 대한 수집된 정보를 분석함으로써 제1 전자 디바이스의 위치를 결정하도록 구성된다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 박막 간섭 코팅, 광발광성 코팅, 및 역반사기 코팅으로 이루어진 군으로부터 선택되는 적어도 하나의 코팅을 포함한다.
다른 실시예에 따르면, 센서는 한 세트의 적외광 광선을 방출하도록 구성된 광 방출기를 갖는 구조화된 광 깊이 센서, 및 적외광 광선에 의해 생성된 스폿(spot)에 의해 조명되는 혼합 현실 시스템 광학 마커의 이미지를 캡처하도록 구성된 이미지 센서를 포함한다.
다른 실시예에 따르면, 제2 전자 디바이스는 머리 장착형 혼합 현실 디바이스를 포함하고, 제1 전자 디바이스는 휴대용 전화기를 포함한다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 적어도 하나의 2차원 바코드를 포함한다.
다른 실시예에 따르면, 혼합 현실 시스템 광학 마커는 제1 전자 디바이스의 크기 및 배향에 대한 정보를 센서에 제공하도록 구성된다.
일 실시예에 따르면, 광을 방출하고 방출된 광이 물체에 반사된 후에 방출된 광을 포함하는 이미지를 캡처하는 깊이 센서를 갖는 혼합 현실 디바이스를 구비한 혼합 현실 시스템에서 사용되도록 구성된 전자 디바이스가 제공되는데, 전자 디바이스는 전자 디바이스 하우징; 전자 디바이스 하우징 내의 제어 회로부; 하우징 내의 디스플레이 - 전자 디바이스 하우징 및 디스플레이는 전자 디바이스에 대한 외부 표면을 한정함 -; 및 외부 표면의 적어도 일부 상의 마커 - 깊이 센서가 마커를 향하여 광을 방출하는 경우에 깊이 센서를 향하여 방출된 광을 반사하는 패턴화된 역반사 코팅으로부터 형성됨 - 를 포함한다.
다른 실시예에 따르면, 마커는 2차원 바코드를 형성하도록 구성된다.
다른 실시예에 따르면, 마커는 캡처된 이미지가 혼합 현실 디바이스에 의해 처리되는 경우에 전자 디바이스 하우징의 크기 및 배향에 대한 정보를 나타내는 혼합 현실 광학 마커를 형성하도록 구성된다.
상기 내용은 단지 예시일 뿐이며, 기술된 실시예들에 대해 다양한 수정들이 이루어질 수 있다. 전술한 실시예들은 개별적으로 또는 임의의 조합으로 구현될 수 있다.

Claims (20)

  1. 전자 디바이스로서,
    하우징;
    디스플레이를 포함하는 상기 하우징 내의 전기 컴포넌트; 및
    상기 하우징의 외부 표면 상의 혼합 현실 시스템 광학 마커(mixed reality system optical marker)를 포함하여 구성된, 전자 디바이스.
  2. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 박막 간섭 필터로부터 형성되는, 전자 디바이스.
  3. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 상기 하우징의 배향에 대한 시각적 정보를 제공하도록 구성되는, 전자 디바이스.
  4. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 2차원 바코드를 포함하는, 전자 디바이스.
  5. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 가시광보다 적외광을 더 반사하도록 구성되는, 전자 디바이스.
  6. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 역반사 층(retroreflective layer)을 포함하는, 전자 디바이스.
  7. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 중합체 층을 갖는 역반사 층, 및 상기 중합체 층의 외부로 부분적으로 돌출된 투명 구체를 포함하는, 전자 디바이스.
  8. 제1항에 있어서, 버튼을 추가로 포함하며, 상기 혼합 현실 시스템 광학 마커는 상기 버튼 상에 형성되는, 전자 디바이스.
  9. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 상기 하우징의 적어도 하나의 주연부 에지를 따라서 이어지는, 전자 디바이스.
  10. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 광발광성(photoluminescent) 재료를 포함하는, 전자 디바이스.
  11. 제1항에 있어서, 상기 혼합 현실 시스템 광학 마커는 상기 전자 디바이스를 식별하는 스펙트럼 반사율 코드를 형성하도록 구성된 재료를 포함하는, 전자 디바이스.
  12. 혼합 현실 시스템으로서,
    제1 전자 디바이스 하우징, 상기 하우징 내의 제1 전자 디바이스 컴포넌트, 및 상기 제1 전자 디바이스 하우징 상의 혼합 현실 시스템 광학 마커를 갖는 제1 전자 디바이스; 및
    제2 전자 디바이스 하우징, 상기 제2 전자 디바이스 하우징 내의 제어 회로부, 및 센서를 갖는 제2 전자 디바이스를 포함하고, 상기 제2 전자 디바이스의 제어 회로부는
    상기 센서에 의해 상기 혼합 현실 시스템 광학 마커에 대한 정보를 수집하도록; 그리고
    상기 혼합 현실 시스템 광학 마커에 대한 상기 수집된 정보를 분석함으로써 상기 제1 전자 디바이스의 위치를 결정하도록 구성되는, 혼합 현실 시스템.
  13. 제12항에 있어서, 상기 혼합 현실 시스템 광학 마커는 박막 간섭 코팅, 광발광성 코팅, 및 역반사기 코팅으로 이루어진 군으로부터 선택되는 적어도 하나의 코팅을 포함하는, 혼합 현실 시스템.
  14. 제13항에 있어서, 상기 센서는 한 세트의 적외광 광선을 방출하도록 구성된 광 방출기를 갖는 구조화된 광 깊이 센서, 및 상기 적외광 광선에 의해 생성된 스폿(spot)에 의해 조명되는 상기 혼합 현실 시스템 광학 마커의 이미지를 캡처하도록 구성된 이미지 센서를 포함하는, 혼합 현실 시스템.
  15. 제14항에 있어서, 상기 제2 전자 디바이스는 머리 장착형 혼합 현실 디바이스를 포함하고, 상기 제1 전자 디바이스는 휴대용 전화기를 포함하는, 혼합 현실 시스템.
  16. 제15항에 있어서, 상기 혼합 현실 시스템 광학 마커는 적어도 하나의 2차원 바코드를 포함하는, 혼합 현실 시스템.
  17. 제13항에 있어서, 상기 혼합 현실 시스템 광학 마커는 상기 제1 전자 디바이스의 크기 및 배향에 대한 정보를 상기 센서에 제공하도록 구성되는, 혼합 현실 시스템.
  18. 광을 방출하고 상기 방출된 광이 물체에 반사된 후에 상기 방출된 광을 포함하는 이미지를 캡처하는 깊이 센서를 갖는 혼합 현실 디바이스를 구비한 혼합 현실 시스템에서 사용되도록 구성된 전자 디바이스로서,
    전자 디바이스 하우징;
    상기 전자 디바이스 하우징 내의 제어 회로부;
    상기 하우징 내의 디스플레이 - 상기 전자 디바이스 하우징 및 상기 디스플레이는 상기 전자 디바이스에 대한 외부 표면을 한정함 -; 및
    상기 외부 표면의 적어도 일부 상의 마커 - 상기 깊이 센서가 상기 마커를 향하여 광을 방출하는 경우에 상기 깊이 센서를 향하여 상기 방출된 광을 반사하는 패턴화된 역반사 코팅으로부터 형성됨 - 를 포함하는 전자 디바이스.
  19. 제18항에 있어서, 상기 마커는 2차원 바코드를 형성하도록 구성되는, 전자 디바이스.
  20. 제18항에 있어서, 상기 마커는 상기 캡처된 이미지가 상기 혼합 현실 디바이스에 의해 처리되는 경우에 상기 전자 디바이스 하우징의 크기 및 배향에 대한 정보를 나타내는 혼합 현실 광학 마커를 형성하도록 구성되는, 전자 디바이스.
KR1020180116193A 2018-03-08 2018-09-28 광학 마커를 갖는 전자 디바이스 KR102142190B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862640495P 2018-03-08 2018-03-08
US62/640,495 2018-03-08
US16/143,812 US10969600B2 (en) 2018-03-08 2018-09-27 Electronic devices with optical markers
US16/143,812 2018-09-27

Publications (2)

Publication Number Publication Date
KR20190106640A true KR20190106640A (ko) 2019-09-18
KR102142190B1 KR102142190B1 (ko) 2020-08-06

Family

ID=63720509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116193A KR102142190B1 (ko) 2018-03-08 2018-09-28 광학 마커를 갖는 전자 디바이스

Country Status (4)

Country Link
US (2) US10969600B2 (ko)
EP (2) EP3537692A1 (ko)
KR (1) KR102142190B1 (ko)
CN (1) CN110244819B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231162A1 (ko) * 2021-04-30 2022-11-03 삼성전자 주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890700B2 (en) * 2018-09-24 2021-01-12 Apple Inc. Electronic devices having infrared-transparent antireflection coatings
US11049330B2 (en) 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
US11049264B2 (en) * 2019-10-03 2021-06-29 Pixart Imaging Inc. Marker detecting device and optical tracking device
US11815693B2 (en) 2020-04-20 2023-11-14 Apple Inc. Head-mounted electronic device
US20220237396A1 (en) * 2021-01-26 2022-07-28 Nec Corporation Of America Invisible coated infrared patterns
US20220390646A1 (en) * 2021-06-02 2022-12-08 Pixart Imaging Inc. Optical tracking device
CN116229472B (zh) * 2023-05-11 2023-08-01 深圳棒棒帮科技有限公司 一种智能笔、书写信息采集系统及批改处理系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267921A1 (en) * 1995-06-29 2009-10-29 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
KR20120124325A (ko) * 2011-05-03 2012-11-13 순천대학교 산학협력단 적외선 엘이디 발광영역의 영상 복원을 통한 증강현실 시스템
US20130278635A1 (en) * 2011-08-25 2013-10-24 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US20150185375A1 (en) * 2013-12-30 2015-07-02 Avery Dennison Corporation High Reflectivity Open Bead Method and Material
US20150317923A1 (en) * 2012-12-11 2015-11-05 3M Innovative Properties Company Inconspicuous optical tags and methods therefor
US20160339337A1 (en) * 2015-05-21 2016-11-24 Castar, Inc. Retroreflective surface with integrated fiducial markers for an augmented reality system
US20170011553A1 (en) * 2015-07-07 2017-01-12 Google Inc. System for tracking a handheld device in virtual reality
US9734442B2 (en) * 2007-10-31 2017-08-15 Ncr Corporation LumID barcode format
US20170249726A1 (en) * 2016-02-26 2017-08-31 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
US20170337706A1 (en) * 2016-05-06 2017-11-23 Innovega Inc. Gaze tracking system with contact lens fiducial
JP6259172B1 (ja) * 2016-03-29 2018-01-10 株式会社齋藤創造研究所 入力装置および画像表示システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5970729A (ja) 1982-10-13 1984-04-21 Kawasaki Steel Corp 金属ストリツプ顕熱回収方法およびその装置
US6451408B1 (en) * 1995-06-29 2002-09-17 3M Innovative Properties Company Retroreflective article
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US6696126B1 (en) * 1999-08-12 2004-02-24 The United States Of America As Represented By The Secretary Of The Navy Visual-tactile signage
EP1482471A1 (en) 2003-05-28 2004-12-01 3M Innovative Properties Company Two-part security sticker and document system therefor
JP2006277283A (ja) * 2005-03-29 2006-10-12 Fuji Xerox Co Ltd 情報処理システムおよび情報処理方法
US7513941B2 (en) * 2005-11-14 2009-04-07 3M Innovative Properties Company Pavement marking, reflective elements, and methods of making micospheres
JP2009047902A (ja) 2007-08-20 2009-03-05 Hitachi Displays Ltd 表示装置
JP4982715B2 (ja) * 2008-08-21 2012-07-25 学校法人関西学院 情報提供方法及び情報提供システム
KR101337204B1 (ko) * 2009-04-08 2013-12-06 퀄컴 인코포레이티드 향상된 핸드헬드 스크린-센싱 포인터
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
JP5635689B2 (ja) * 2010-07-29 2014-12-03 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実用の基準マーカー
US20190278091A1 (en) * 2010-10-04 2019-09-12 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20120102438A1 (en) 2010-10-22 2012-04-26 Robinson Ian N Display system and method of displaying based on device interactions
US8636215B2 (en) * 2011-06-27 2014-01-28 Hand Held Products, Inc. Decodable indicia reading terminal with optical filter
WO2013090494A1 (en) 2011-12-16 2013-06-20 3M Innovative Properties Company Optical digitizer system with position-unique photoluminescent indicia
US8608073B2 (en) 2012-01-26 2013-12-17 Apple Inc. System and method for robust real-time 1D barcode detection
US9050762B2 (en) * 2012-03-23 2015-06-09 Orafol Americas Inc. Methods for fabricating retroreflector tooling and retroreflective microstructures and devices thereof
CN103679108B (zh) * 2012-09-10 2018-12-11 霍尼韦尔国际公司 具有多个图像传感器的光学标记读取装置
US8971568B1 (en) * 2012-10-08 2015-03-03 Gerard Dirk Smits Method, apparatus, and manufacture for document writing and annotation with virtual ink
WO2014099486A1 (en) 2012-12-21 2014-06-26 3M Innovative Properties Company Photoluminescent retroreflective articles
US9052186B2 (en) * 2013-01-31 2015-06-09 Hewlett-Packard Development Company, L.P. Correspondence mapping between an imaging system and a directional rendering system
WO2014142881A1 (en) * 2013-03-14 2014-09-18 Intel Corporation Asynchronous representation of alternate reality characters
US10208439B2 (en) * 2014-08-14 2019-02-19 Brite-Line Technologies, Llc Pavement marking tape with widely-distributed, multi-edged relief features for improved retroreflectivity
US9804257B2 (en) 2014-11-13 2017-10-31 WorldViz LLC Methods and systems for an immersive virtual reality system using multiple active markers
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
CN206961066U (zh) * 2017-02-28 2018-02-02 深圳市未来感知科技有限公司 一种虚拟现实交互设备
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
JP6453501B1 (ja) 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US10949994B1 (en) 2018-03-01 2021-03-16 Thomas Byram Scheffler Dynamic marker device for augmented and mixed reality and method of use

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267921A1 (en) * 1995-06-29 2009-10-29 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US9734442B2 (en) * 2007-10-31 2017-08-15 Ncr Corporation LumID barcode format
KR20120124325A (ko) * 2011-05-03 2012-11-13 순천대학교 산학협력단 적외선 엘이디 발광영역의 영상 복원을 통한 증강현실 시스템
US20130278635A1 (en) * 2011-08-25 2013-10-24 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US20150317923A1 (en) * 2012-12-11 2015-11-05 3M Innovative Properties Company Inconspicuous optical tags and methods therefor
US20150185375A1 (en) * 2013-12-30 2015-07-02 Avery Dennison Corporation High Reflectivity Open Bead Method and Material
US20160339337A1 (en) * 2015-05-21 2016-11-24 Castar, Inc. Retroreflective surface with integrated fiducial markers for an augmented reality system
US20170011553A1 (en) * 2015-07-07 2017-01-12 Google Inc. System for tracking a handheld device in virtual reality
US20170249726A1 (en) * 2016-02-26 2017-08-31 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
JP6259172B1 (ja) * 2016-03-29 2018-01-10 株式会社齋藤創造研究所 入力装置および画像表示システム
US20170337706A1 (en) * 2016-05-06 2017-11-23 Innovega Inc. Gaze tracking system with contact lens fiducial

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231162A1 (ko) * 2021-04-30 2022-11-03 삼성전자 주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치

Also Published As

Publication number Publication date
EP3537692A1 (en) 2019-09-11
US20190278098A1 (en) 2019-09-12
US10969600B2 (en) 2021-04-06
CN110244819B (zh) 2024-05-14
US20210191142A1 (en) 2021-06-24
KR102142190B1 (ko) 2020-08-06
EP4131903A1 (en) 2023-02-08
US11921300B2 (en) 2024-03-05
CN110244819A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
KR102142190B1 (ko) 광학 마커를 갖는 전자 디바이스
US20170345218A1 (en) Systems and method of interacting with a virtual object
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
EP2834723B1 (en) Touch sensitive user interface
CN208874676U (zh) 一种图像获取装置、身份识别装置及电子设备
CN109451106B (zh) 电子装置
TR201815821T4 (tr) Bir cihazın kontrolu için yöntem.
CN210199340U (zh) 电子设备和装置
KR20160108386A (ko) 3d 실루엣 감지 시스템
CN105164612A (zh) 使用脉冲式光源的近平面分段
KR20140088545A (ko) 광학 태블릿 스타일러스 및 실내 네비게이션 시스템
CA2493236A1 (en) Apparatus and method for inputting data
Sato et al. Spectrans: Versatile material classification for interaction with textureless, specular and transparent surfaces
EP3260956A1 (en) Non-contact input device and method
CN115735183A (zh) 增强现实眼戴器3d绘画
CN115917465A (zh) 使用卷帘快门相机的视觉惯性追踪
CN115735174A (zh) 使用保持社交距离的增强现实体验
CN114859367A (zh) 具有光学路径延伸器的光学干涉测量接近传感器
CN115836269A (zh) 增强现实环境增强
CN109313866A (zh) 具有在下面的编码图案的近红外透明显示边框
JP4114637B2 (ja) 位置計測システム
TWI753452B (zh) 從具有機發光二極體顯示螢幕的設備投射結構光圖案
CN209690702U (zh) 投影装置及其光源和设备
CN209690706U (zh) 投影装置及其光源和设备
CN209327765U (zh) 投影装置及其设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right