KR20230025697A - 기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어 - Google Patents

기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어 Download PDF

Info

Publication number
KR20230025697A
KR20230025697A KR1020237001455A KR20237001455A KR20230025697A KR 20230025697 A KR20230025697 A KR 20230025697A KR 1020237001455 A KR1020237001455 A KR 1020237001455A KR 20237001455 A KR20237001455 A KR 20237001455A KR 20230025697 A KR20230025697 A KR 20230025697A
Authority
KR
South Korea
Prior art keywords
eyewear
image
physical object
processor
frame
Prior art date
Application number
KR1020237001455A
Other languages
English (en)
Inventor
베누 아이옌가
러셀 더글라스 패튼
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20230025697A publication Critical patent/KR20230025697A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Emergency Management (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Geometry (AREA)
  • Educational Administration (AREA)
  • Electromagnetism (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

부분적인 실명 또는 완전한 실명을 갖는 유저에 대한 것을 비롯하여, 아이웨어 디바이스들의 유저 경험을 개선하는 카메라 기반의 보상을 갖는 아이웨어. 카메라 기반의 보상은 아이웨어 카메라들 및 알고리즘을 사용하여 에지들과 같은 물리적 오브젝트들의 기하학적 피처들을 검출한다. 물리적 오브젝트가 검출되는 경우, 물리적 오브젝트의 가까운 존재, 아이웨어로부터 오브젝트까지의 거리, 및 오브젝트의 타입을 나타낼 수 있는 경고, 예컨대 청각적 경고가 생성된다. 이러한 타입의 기하학적 검출은 더 적은 프로세싱 전력을 사용하고, 따라서 배터리 수명을 연장시킨다.

Description

기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어
관련 출원들에 대한 교차 참조
[0001] 본 출원은 2020년 6월 16일자로 출원된 발명의 명칭이 BLIND ASSIST EYEWEAR WITH GEOMETRIC HAZARD DETECTION인 미국 특허 출원 일련 번호 제16/902,850호에 대한 우선권을 주장하는데, 그 내용들은 참조에 의해 본원에 완전히 통합된다.
기술 분야
[0002] 본 주제는 아이웨어 디바이스(eyewear device), 예를 들면, 스마트 글래스(smart glass)들에 관한 것이다.
[0003] 오늘날 이용 가능한 스마트 글래스들, 헤드웨어(headwear) 및 헤드기어(headgear)와 같은 휴대용 아이웨어 디바이스들은 카메라들 및 씨쓰루 디스플레이(see-through display)들을 통합한다.
[0004] 묘화하는 도면들은 하나 이상의 구현예들을, 단지 제한들로서가 아니라, 단지 예로서 묘사한다. 도면들에서, 동일한 참조 번호들은 동일한 또는 유사한 엘리먼트들을 지칭한다.
[0005] 도 1a는 이미지 디스플레이를 갖는 우측 광학 어셈블리를 도시하는 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도이며, 유저에 의해 검출된 머리 또는 눈 움직임에 기초하여 이미지 디스플레이 상에 제시되는 유저 인터페이스에 시야 조정(field of view adjustment)들이 적용된다;
[0006] 도 1b는 가시 광 카메라(visible light camera), 아이웨어 디바이스의 유저의 머리 움직임을 추적하기 위한 머리 움직임 추적기, 및 회로 보드를 묘사하는 도 1a의 아이웨어 디바이스의 안경다리(temple)의 상부 단면도이다;
[0007] 도 2a는 아이웨어 디바이스의 유저를 식별하기 위한 시스템에서 사용하기 위한, 프레임 상에서 눈 스캐너를 포함하는 아이웨어 디바이스의 예시적인 하드웨어 구성의 배면도(rear view)이다;
[0008] 도 2b는 아이웨어 디바이스의 유저를 식별하기 위한 시스템에서 사용하기 위한, 안경다리 상에서 눈 스캐너를 포함하는 다른 아이웨어 디바이스의 예시적인 하드웨어 구성의 배면도이다;
[0009] 도 2c 및 도 2d는 두 개의 상이한 타입들의 이미지 디스플레이들을 포함하는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 배면도이다;
[0010] 도 3은 적외선 방출기, 적외선 카메라, 프레임 전면(frame front), 프레임 후면(frame back), 및 회로 보드를 묘사하는 도 2a의 아이웨어 디바이스의 후면 사시도(rear perspective view)를 도시한다;
[0011] 도 4는 도 3의 아이웨어 디바이스의 적외선 방출기 및 프레임을 통해 취해지는 단면도이다;
[0012] 도 5는 눈 시선 방향(eye gaze direction)을 검출하는 것을 예시한다;
[0013] 도 6은 눈 포지션을 검출하는 것을 예시한다;
[0014] 도 7은 좌측 원시 이미지로서 좌측 가시 광 카메라에 의해 캡쳐되는 가시 광 및 우측 원시 이미지로서 우측 가시 광 카메라에 의해 캡쳐되는 가시 광의 예를 묘사한다;
[0015] 도 8a는 이미지에서 오브젝트들을 식별하고, 식별된 오브젝트들을 텍스트로 변환하고, 그 다음, 텍스트를 이미지 내의 식별된 오브젝트들을 나타내는 오디오로 변환하고, 원격 오퍼레이터로 하여금 지시들을 통해 유저에게 지원을 제공하게 하는 카메라 기반의 보상 시스템을 예시한다;
[0016] 도 8b는 이미지에서 물리적 오브젝트들의 기하학적 피처들을 식별하는 카메라 기반의 보상 시스템을 예시한다;
[0017] 도 9는 아이웨어 디바이스의 전자 컴포넌트들의 블록도를 예시한다;
[0018] 도 10은 검출된 오브젝트를 나타내는 오디오를 제공하는 아이웨어 디바이스의 동작의 플로우차트이다;
[0019] 도 11은 원격 디바이스로부터 유저에게 오디오 도움(audio assistance)을 제공하는 아이웨어 디바이스의 동작의 플로우차트이다; 그리고
[0020] 도 12는 물리적 오브젝트의 기하학적 피처들을 결정하기 위해 알고리즘을 사용하는 아이웨어 디바이스의 동작의 플로우차트이다.
[0021] 본 개시내용은 부분적인 실명(blindness) 또는 완전한 실명을 갖는 유저에 대한 것을 비롯하여, 아이웨어 디바이스들의 유저 경험을 개선하는 카메라 기반의 보상을 갖는 아이웨어의 예들을 포함한다. 카메라 기반의 보상은 아이웨어 카메라들 및 알고리즘을 사용하여 에지들과 같은 물리적 오브젝트들의 기하학적 피처들을 검출한다. 가까운 물리적 오브젝트의 존재, 아이웨어로부터 오브젝트까지의 거리, 및 오브젝트의 타입을 나타낼 수 있는 오디오 경고와 같은 경고가 물리적 오브젝트가 검출되는 경우 생성된다. 이러한 타입의 기하학적 검출은 더 적은 프로세싱 전력을 사용하고, 따라서 배터리 수명을 연장시킨다.
[0022] 예들의 추가적인 목적들, 이점들 및 신규의 피처들은 후속하는 설명에서 부분적으로 기재될 것이며, 부분적으로는, 다음의 그리고 첨부의 도면들의 검토시 기술 분야의 숙련된 자들에게 명백하게 될 것이거나 또는 예들의 생성 또는 동작에 의해 학습될 수 있다. 본 주제의 목적들 및 이점들은, 특히 첨부된 청구항들에서 지적되는 방법론들, 수단들 및 조합들에 의해 실현되고 달성될 수 있다.
[0023] 다음의 상세한 설명에서, 관련 교시들의 완전한 이해를 제공하기 위해, 예들을 통해 다수의 구체적인 세부사항들이 기재된다. 그러나, 본 교시들이 그러한 세부사항들 없이 실시될 수 있다는 것이 기술 분야의 숙련된 자들에게 명백해야 한다. 다른 경우들에, 본 교시들의 양태들을 불필요하게 모호하게 하는 것을 방지하기 위해, 널리 공지된 방법들, 프로시져들, 컴포넌트들 및 회로부(circuitry)는, 상세하게는 아니지만, 상대적으로 높은 레벨에서 설명되었다.
[0024] 본원에서 사용되는 바와 같은 용어 "커플링되는(coupled)"은, 하나의 시스템 엘리먼트에 의해 생성되는 또는 공급되는 신호들 또는 광이 다른 커플링된 엘리먼트에 전달되게 하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결, 링크, 등을 가리킨다. 달리 설명하지 않는 한, 커플링된 엘리먼트들 또는 디바이스들은 반드시 서로 직접적으로 연결되는 것은 아니며 광 또는 신호들을 수정, 조작 또는 전달할 수 있는 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있다.
[0025] 아이웨어 디바이스, 연관된 컴포넌트들 및 도면들 중 임의의 것에서 도시되는 바와 같은 눈 스캐너 및 카메라를 통합하는 임의의 완전한 디바이스들의 방위들은, 예시 및 논의 목적들을 위해, 단지 예로서 주어진다. 특정한 가변 광학 프로세싱 애플리케이션을 위한 동작에서, 아이웨어 디바이스는 아이웨어 디바이스의 특정한 애플리케이션에 적절한 임의의 다른 방향, 예를 들면, 위, 아래, 측방향들, 또는 임의의 다른 방위로 배향될 수 있다. 또한, 본원에서 사용되는 경우, 앞(front), 뒤(rear), 안쪽(inwards), 바깥쪽(outwards), 향하여(towards), 좌측(left), 우측(right), 횡방향(lateral), 종방향(longitudinal), 위(up), 아래(down), 상위(upper), 하위(lower), 상단(top), 저부(bottom) 및 측면(side)과 같은 임의의 방향 용어는 단지 예로서 사용되며, 본원에서 달리 설명되는 바와 같이 구성되는 임의의 광학기기(optic) 또는 광학기기의 컴포넌트의 방향 또는 방위에 관해 제한하는 것은 아니다.
[0026] 이제, 첨부의 도면들에서 예시되고 하기에서 논의되는 예들에 대한 참조가 상세하게 이루어진다.
[0027] 도 1a는, 이미지 디스플레이(180D)(도 2a)를 갖는 우측 광학 어셈블리(180B)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도이다. 아이웨어 디바이스(100)는 스테레오 카메라를 형성하는 다수의 가시 광 카메라들(114A-B)(도 7)을 포함하는데, 그 중 우측 가시 광 카메라(114B)는 우측 안경다리(110B) 상에 위치된다.
[0028] 좌측 및 우측 가시 광 카메라들(114A-B)은 가시 광 범위 파장에 민감한 이미지 센서를 구비한다. 가시 광 카메라들(114A-B) 각각은 상이한 전방 대향 커버리지 각도(frontward facing angle of coverage)를 가지며, 예를 들면, 가시 광 카메라(114B)는 묘사된 커버리지 각도(angle of coverage; 111B)를 갖는다. 커버리지 각도는 가시 광 카메라(114A-B)의 이미지 센서가 전자기 방사선을 픽업하여 이미지들을 생성하는 각도 범위이다. 그러한 가시 광들 카메라(114A-B)의 예들은, 640p(예를 들면, 총 0.3 메가픽셀들에 대한 640×480), 720p, 또는 1080p와 같은 고해상도 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 VGA(video graphic array) 카메라를 포함한다. 가시 광 카메라들(114A-B)로부터의 이미지 센서 데이터는 지오로케이션 데이터와 함께 캡쳐되고, 이미지 프로세서에 의해 디지털화되며, 메모리에 저장된다.
[0029] 입체시(stereoscopic vision)를 제공하기 위해, 가시 광 카메라들(114A-B)은 장면의 이미지가 캡쳐되는 타임스탬프와 함께 디지털 프로세싱을 위해 이미지 프로세서(도 9의 엘리먼트(912))에 커플링될 수 있다. 이미지 프로세서(912)는 가시 광 카메라들(114A-B)로부터 신호들을 수신하고 가시 광 카메라들(114A-B)로부터의 그들 신호들을 메모리(도 9의 엘리먼트(934))에 저장하기에 적절한 포맷으로 프로세싱하는 회로부를 포함한다. 타임스탬프는, 가시 광 카메라들(114A-B)의 동작을 제어하는 이미지 프로세서(912) 또는 다른 프로세서에 의해 추가될 수 있다. 가시 광 카메라들(114A-B)은 스테레오 카메라가 인간의 양안시(binocular vision)를 시뮬레이팅하는 것을 허용한다. 스테레오 카메라들은 동일한 타임스탬프를 각각 갖는 가시 광 카메라들(114A-B)로부터의 두 개의 캡쳐된 이미지들(도 7의 엘리먼트들(758A-B))에 기초하여 삼차원 이미지들(도 7의 엘리먼트(715))를 재생성하는 능력을 제공한다. 그러한 삼차원 이미지들(715)은, 예를 들면, 가상 현실 또는 비디오 게이밍을 위한 몰입형의 실감나는 경험을 허용한다. 입체시를 위해, 한 쌍의 이미지들(758A-B) ― 좌측 및 우측 가시 광 카메라들(114A-B) 각각에 대해 하나의 이미지 ― 가 시간의 주어진 순간에 생성된다. 좌측 및 우측 가시 광 카메라들(114A-B)의 전방 대향 커버리지 각도들(111A-B)로부터의 생성된 이미지들(758A-B)의 쌍이 (예를 들면, 이미지 프로세서(912)에 의해) 함께 스티칭되는 경우, 광학 어셈블리(180A-B)에 의해 깊이 인식이 제공된다.
[0030] 한 예에서, 유저 인터페이스 시야 조정 시스템이 아이웨어 디바이스(100)를 포함한다. 아이웨어 디바이스(100)는 프레임(105), 프레임(105)의 우측 측면(170B)으로부터 연장되는 우측 안경다리(110B), 및 유저에게 그래픽 유저 인터페이스를 제시하기 위한 광학 어셈블리(180B)를 포함하는 씨쓰루 이미지 디스플레이(180D)(도 2a 및 도 2b)를 포함한다. 아이웨어 디바이스(100)는 장면의 제1 이미지를 캡쳐하기 위한 프레임(105) 또는 좌측 안경다리(110A)에 연결되는 좌측 가시 광 카메라(114A)를 포함한다. 아이웨어 디바이스(100)는 제1 이미지와 부분적으로 중첩되는 장면의 제2 이미지를 (예를 들면, 좌측 가시 광 카메라(114A)와 동시에) 캡쳐하기 위한 프레임(105) 또는 우측 안경다리(110B)에 연결되는 우측 가시 광 카메라(114B)를 더 포함한다. 도 1a 및 도 1b에서 도시되지는 않지만, 유저 인터페이스 시야 조정 시스템은, 아이웨어 디바이스(100)에 커플링되며 가시 광 카메라들(114A-B)에 연결되는 프로세서(932), 프로세서(932)가 액세스 가능한 메모리(934), 및 메모리(934) 내의 프로그래밍을, 예를 들면, 아이웨어 디바이스(100) 그 자체 또는 유저 인터페이스 시야 조정 시스템의 다른 부분 내에서 더 포함한다.
[0031] 도 1a에서 도시되지는 않지만, 아이웨어 디바이스(100)는 머리 움직임 추적기(도 1b의 엘리먼트(109)) 또는 눈 움직임 추적기(도 2b의 엘리먼트(213))를 또한 포함한다. 아이웨어 디바이스(100)는 디스플레이된 이미지들의 시퀀스를 제시하기 위한 광학 어셈블리(180A-B)의 씨쓰루 이미지 디스플레이들(180C-D), 및 디스플레이된 이미지들(715)의 시퀀스를 제시하도록 광학 어셈블리(180A-B)의 이미지 디스플레이들(180C-D)을 제어하기 위한 광학 어셈블리(180A-B)의 씨쓰루 이미지 디스플레이들(180C-D)에 커플링되는 이미지 디스플레이 드라이버(도 9의 엘리먼트(942))를 더 포함하는데, 이들은 하기에서 더 상세하게 설명된다. 아이웨어 디바이스(100)는 메모리(934) 및 이미지 디스플레이 드라이버(942) 및 메모리(934)에 액세스할 수 있는 프로세서(932)를 더 포함한다. 아이웨어 디바이스(100)는 메모리 내의 프로그래밍(도 9의 엘리먼트(934))을 더 포함한다. 프로세서(932)에 의한 프로그래밍의 실행은, 씨쓰루 이미지 디스플레이들(180C-D)을 통해, 디스플레이된 이미지들의 시퀀스의 초기 디스플레이된 이미지를 제시하는 기능들을 비롯한 기능들을 수행하도록 아이웨어 디바이스(100)를 구성하는데, 초기 디스플레이된 이미지는 초기 머리 방향 또는 초기 눈 시선 방향(도 5의 엘리먼트(230))에 대응하는 초기 시야를 갖는다.
[0032] 프로세서(932)에 의한 프로그래밍의 실행은 다음의 것에 의해 아이웨어 디바이스의 유저의 움직임을 검출하도록 아이웨어 디바이스(100)를 추가로 구성한다: (i) 머리 움직임 추적기(도 1b의 엘리먼트(109))를 통해, 유저의 머리의 머리 움직임을 추적하는 것, 또는 (ii) 눈 움직임 추적기(도 2b, 도 5의 엘리먼트(213))를 통해, 아이웨어 디바이스(100)의 유저의 눈의 눈 움직임을 추적하는 것. 프로세서(932)에 의한 프로그래밍의 실행은, 유저의 검출된 움직임에 기초하여 초기 디스플레이된 이미지의 초기 시야에 대한 시야 조정을 결정하도록 아이웨어 디바이스(100)를 추가로 구성한다. 시야 조정은 연속적인 머리 방향 또는 연속적인 눈 방향에 대응하는 연속적인 시야를 포함한다. 프로세서(932)에 의한 프로그래밍의 실행은, 시야 조정에 기초하여 디스플레이된 이미지들의 시퀀스의 연속적인 디스플레이된 이미지를 생성하도록 아이웨어 디바이스(100)를 추가로 구성한다. 프로세서(932)에 의한 프로그래밍의 실행은, 광학 어셈블리(180A-B)의 씨쓰루 이미지 디스플레이들(180C-D)을 통해, 연속적인 디스플레이된 이미지들을 제시하도록 아이웨어 디바이스(100)를 추가로 구성한다.
[0033] 도 1b는 우측 가시 광 카메라(114B), 머리 움직임 추적기(109), 및 회로 보드를 묘사하는 도 1a의 아이웨어 디바이스(100)의 안경다리의 상면 단면도(top cross-sectional view)이다. 좌측 가시 광 카메라(114A)의 구성 및 배치는, 연결들 및 커플링이 좌측 측면(170A) 상에 있다는 것을 제외하면, 우측 가시 광 카메라(114B)와 실질적으로 유사하다. 도시되는 바와 같이, 아이웨어 디바이스(100)는 우측 가시 광 카메라(114B) 및 플렉시블 PCB(printed circuit board)(140)일 수 있는 회로 보드를 포함한다. 우측 힌지(126B)는 우측 안경다리(110B)를 아이웨어 디바이스(100)의 우측 안경다리(125B)에 연결한다. 몇몇 예들에서, 우측 가시 광 카메라(114B)의 컴포넌트들, 플렉시블 PCB(140), 또는 다른 전기 커넥터들 또는 콘택들은 우측 안경다리(125B) 또는 우측 힌지(126B) 상에 위치될 수 있다.
[0034] 도시되는 바와 같이, 아이웨어 디바이스(100)는, 예를 들면, IMU(inertial measurement unit)를 포함하는 머리 움직임 추적기(109)를 구비한다. 관성 측정 유닛은, 가속도계들 및 자이로스코프들을 사용하여, 때로는 자력계들의 조합을 또한 사용하여, 신체의 특정한 힘, 각속도, 때로는 신체를 둘러싸는 자기장을 측정하고 보고하는 전자 디바이스이다. 관성 측정 유닛은 하나 이상의 가속도계들을 사용하여 선형 가속도를 그리고 하나 이상의 자이로스코프들을 사용하여 회전 레이트를 검출하는 것에 의해 작동한다. 관성 측정 유닛들의 통상적인 구성들은 세 개의 축들: 좌우 움직임에 대한 수평 축(X), 상하 움직임에 대한 수직 축(Y), 및 상하 움직임에 대한 깊이 또는 거리 축(Z) 각각에 대한 축마다 하나의 가속도계, 자이로, 및 자력계를 포함한다. 가속도계는 중력 벡터를 검출한다. 자력계는 진행 방향 기준을 생성하는 나침반과 같은 자기장(예를 들면, 남쪽, 북쪽, 등을 향함)에서의 회전을 정의한다. 세 개의 가속도계들은 지면, 아이웨어 디바이스(100), 또는 아이웨어 디바이스(100)를 착용하는 유저를 기준으로 정의될 수 있는, 상기에서 정의되는 수평, 수직, 및 깊이 축을 따른 가속도를 검출한다.
[0035] 아이웨어 디바이스(100)는, 머리 움직임 추적기(109)를 통해, 유저의 머리의 머리 움직임을 추적하는 것에 의해 아이웨어 디바이스(100)의 유저의 움직임을 검출한다. 머리 움직임은 이미지 디스플레이 상에서의 초기 디스플레이된 이미지의 제시 동안 초기 머리 방향으로부터의 수평 축, 수직 축, 또는 이들의 조합에 대한 머리 방향의 변동을 포함한다. 하나의 예에서, 머리 움직임 추적기(109)를 통해, 유저의 머리의 머리 움직임을 추적하는 것은, 관성 측정 유닛(109)을 통해, 수평 축(예를 들면, X 축), 수직 축(예를 들면, Y 축), 또는 이들의 조합(예를 들면, 횡단 또는 대각선 움직임)에 대한 초기 머리 방향을 측정하는 것을 포함한다. 머리 움직임 추적기(109)를 통해, 유저의 머리의 머리 움직임을 추적하는 것은, 관성 측정 유닛(109)을 통해, 초기 디스플레이된 이미지의 제시 동안 수평 축, 수직 축 또는 이들의 조합에 대한 연속적인 머리 방향을 측정하는 것을 더 포함한다.
[0036] 머리 움직임 추적기(109)를 통해, 유저의 머리의 머리 움직임을 추적하는 것은, 초기 머리 방향 및 연속적인 머리 방향 둘 모두에 기초하여 머리 방향의 변동을 결정하는 것을 더 포함한다. 아이웨어 디바이스(100)의 유저의 움직임을 검출하는 것은, 머리 움직임 추적기(109)를 통해, 유저의 머리의 머리 움직임을 추적하는 것에 응답하여,머리 방향의 변동이 수평 축, 수직 축 또는 이들의 조합에 대한 편차 각도 임계치를 초과한다는 것을 결정하는 것을 더 포함한다. 편차 각도 임계치는 약 3° 내지 10° 사이에 있다. 본원에서 사용되는 바와 같이, 각도를 언급할 때 용어 "약"은 언급된 양으로부터 ±10 %를 의미한다.
[0037] 수평 축을 따른 변동은 문자들, 비트모지(Bitmoji)들, 애플리케이션 아이콘들, 등과 같은 삼차원 오브젝트들을, 예를 들면, 숨기기(example), 숨김 해제하기(unhiding), 또는 다르게는 삼차원 오브젝트의 가시성을 조정하는 것에 의해, 시야 안팎으로 슬라이드한다. 예를 들면, 유저가 상방을 바라볼 때, 수직 축을 따른 변동은, 하나의 예에서, 날씨 정보, 하루 중의 시간, 날짜, 일정 약속들, 등을 디스플레이한다. 다른 예에서, 유저가 수직 축 상에서 하방을 바라보는 경우, 아이웨어 디바이스(100)는 전력이 차단될 수 있다.
[0038] 우측 안경다리(110B)는 안경다리 본체(211) 및 안경다리 캡(temple cap)을 포함하는데, 도 1b의 단면에서는 안경다리 캡이 생략되어 있다. 우측 안경다리(110B) 내부에는, 우측 가시 광 카메라(114B), 마이크(들)(130), 스피커(들)(132), (예를 들면, Bluetooth™를 통한 무선 단거리 네트워크 통신을 위한) 저전력 무선 회로부, (예를 들면, WiFi를 통한 무선 로컬 영역 네트워크 통신을 위한) 고속 무선 회로부에 대한 컨트롤러 회로들을 포함하는 다양한 상호 접속된 회로 보드들, 예컨대 PCB들 또는 플렉시블 PCB들이 배치된다.
[0039] 우측 가시 광 카메라(114B)는 플렉시블 PCB(140)에 커플링되거나 또는 그 상에 배치되고 우측 안경다리(110B)에서 형성되는 개구(들)를 통해 조준되는 가시 광 카메라 커버 렌즈에 의해 커버된다. 몇몇 예들에서, 우측 안경다리(110B)에 연결되는 프레임(105)은 가시 광 카메라 커버 렌즈에 대한 개구(들)를 포함한다. 프레임(105)은 유저의 눈으로부터 멀어지는 바깥쪽을 향하도록 구성되는 정면 대향 면을 포함한다. 가시 광 카메라 커버 렌즈에 대한 개구는 정면 대향 면 상에 그리고 그것을 통해 형성된다. 예에서, 우측 가시 광 카메라(114B)는 아이웨어 디바이스(100)의 유저의 우안의 시선(line of sight) 또는 시각(perspective)과 함께 바깥쪽 대향 커버리지 각도(111B)를 갖는다. 가시 광 카메라 커버 렌즈는, 바깥쪽 대향 커버리지 각도를 가지고, 그러나 상이한 바깥쪽 방향에서 개구가 형성되는 우측 안경다리(110B)의 바깥쪽 대향 표면에 또한 접착될 수 있다. 커플링은 또한 중간 컴포넌트들을 통해 간접적일 수 있다.
[0040] 좌측(제1) 가시 광 카메라(114A)는 제1 연속적인 디스플레이된 이미지의 제1 배경 장면을 생성하기 위해 좌측 광학 어셈블리(180A)의 좌측 씨쓰루 이미지 디스플레이(180C)에 연결된다. 우측(제2) 가시 광 카메라(114B)는 제2 연속적인 디스플레이된 이미지의 제2 배경 장면을 생성하기 위해 우측 광학 어셈블리(180B)의 우측 씨쓰루 이미지 디스플레이(180D)에 연결된다. 제1 배경 장면 및 제2 배경 장면은 부분적으로 중첩되어 연속적인 디스플레이된 이미지의 삼차원 관찰 가능 영역을 제시한다.
[0041] 플렉시블 PCB(140)는 우측 안경다리(110B) 내부에 배치되고 우측 안경다리(110B)에 수용되는 하나 이상의 다른 컴포넌트들에 커플링된다. 우측 안경다리(110B)의 회로 보드들 상에 형성되는 것으로 도시되지만, 우측 가시 광 카메라(114B)는 좌측 안경다리(110A), 안경다리들(125A-B), 또는 프레임(105)의 회로 보드들 상에서 형성될 수 있다.
[0042] 도 2a는, 아이웨어 디바이스(100)의 착용자/유저의 눈 포지션 및 시선 방향을 결정하기 위한 시스템에서의 사용을 위한, 프레임(105) 상에 눈 스캐너(113)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 배면도이다. 도 2a에서 도시되는 바와 같이, 아이웨어 디바이스(100)는 도 2a의 예에서 안경(eyeglasses)인 유저에 의한 착용을 위해 구성되는 형태이다. 아이웨어 디바이스(100)는 다른 형태들을 취할 수 있고, 예를 들면, 헤드기어, 헤드셋 또는 헬멧과 같은 다른 타입들의 프레임워크들을 통합할 수 있다.
[0043] 안경 예에서, 아이웨어 디바이스(100)는 유저의 코에 대해 적응되는 브리지(106)를 통해 우측 테두리(107B)에 연결되는 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A-B)은, 렌즈 및 씨쓰루 디스플레이들(180C-D)과 같은 개개의 광학 엘리먼트(180A-B)를 유지하는 개개의 어퍼쳐들(175A-B)을 포함한다. 본원에서 사용되는 바와 같이, 용어 렌즈는 광으로 하여금 수렴/발산하게 하는 또는 수렴/발산을 거의 또는 전혀 야기하지 않는 굴곡된 그리고 편평한 표면들을 갖는 투명한 또는 반투명한 조각(piece)들의 유리 또는 플라스틱을 포괄하도록 의도된다.
[0044] 두 개의 광학 엘리먼트들(180A-B)를 갖는 것으로 도시되지만, 아이웨어 디바이스(100)는 다른 배열들, 예컨대 애플리케이션 또는 아이웨어 디바이스(100)의 의도된 유저에 따라 단일의 광학 엘리먼트를 포함할 수 있다. 추가로 도시되는 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측면(170A)에 인접한 좌측 안경다리(110A) 및 프레임(105)의 우측 측면(170B)에 인접한 우측 안경다리(110B)를 포함한다. 안경다리들(110A-B)은 (예시되는 바와 같이) 개개의 측면들(170A-B) 상에서 프레임(105)에 통합될 수 있거나 또는 개개의 측면들(170A-B) 상에서 프레임(105)에 부착되는 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 안경다리들(110A-B)은 프레임(105)에 부착되는 안경다리들(도시되지 않음)에 통합될 수 있다.
[0045] 도 2a의 예에서, 눈 스캐너(113)는 적외선 방출기(115) 및 적외선 카메라(120)를 포함한다. 가시 광 카메라들은 적외선 광 검출을 차단하기 위한 청색 광 필터를 통상적으로 포함하는데, 한 예에서, 적외선 카메라(120)는 청색 필터가 제거된 가시 광 카메라, 예컨대 저해상도 비디오 그래픽 어레이(VGA) 카메라(예를 들면, 총 0.3 메가픽셀들에 대한 640×480 픽셀들)이다. 적외선 방출기(115) 및 적외선 카메라(120)는 프레임(105) 상에 함께 위치되며, 예를 들면, 둘 모두는 좌측 테두리(107A)의 상위 부분(upper portion)에 연결되는 것으로 도시된다. 프레임(105) 또는 좌측 및 우측 안경다리들(110A-B) 중 하나 이상은 적외선 방출기(115) 및 적외선 카메라(120)를 포함하는 회로 보드(도시되지 않음)를 포함한다. 적외선 방출기(115) 및 적외선 카메라(120)는, 예를 들면, 납땜에 의해 회로 보드에 연결될 수 있다.
[0046] 적외선 방출기(115) 및 적외선 카메라(120) 둘 모두가 우측 테두리(107B) 상에 있는, 또는 프레임(105) 상의 상이한 위치들에 있는, 예를 들면, 적외선 방출기(115)가 좌측 테두리(107A) 상에 있고 적외선 카메라(120)가 우측 테두리(107B) 상에 있는 배열들을 비롯하여, 적외선 방출기(115) 및 적외선 카메라(120)의 다른 배열들이 구현될 수 있다. 다른 예에서, 적외선 방출기(115)는 프레임(105) 상에 있고 적외선 카메라(120)는 안경다리들(110A-B) 중 하나 상에 있거나, 또는 그 반대의 경우도 가능하다. 적외선 방출기(115)는 본질적으로 프레임(105), 좌측 안경다리(110A), 또는 우측 안경다리(110B) 상의 임의의 곳에 연결되어 적외선 광의 패턴을 방출할 수 있다. 유사하게, 적외선 카메라(120)는 본질적으로 프레임(105), 좌측 안경다리(110A), 또는 우측 안경다리(110B) 상의 임의의 곳에 연결되어 적외선 광의 방출된 패턴에서 적어도 하나의 반사 변동을 캡쳐할 수 있다.
[0047] 적외선 방출기(115) 및 적외선 카메라(120)는, 개개의 눈 포지션 및 시선 방향을 식별하기 위해, 눈의 부분적 또는 전체 시야를 가지고 유저의 눈을 향해 안쪽을 향하도록 배열된다. 예를 들면, 적외선 방출기(115) 및 적외선 카메라(120)는, 프레임(105)의 상위 부분에서 또는 프레임(105)의 양쪽 단부들에 있는 안경다리들(110A-B)에서 눈 바로 전방에서 배치된다.
[0048] 도 2b는 다른 아이웨어 디바이스(200)의 예시적인 하드웨어 구성의 배면도이다. 이 예시적인 구성에서, 아이웨어 디바이스(200)는 우측 안경다리(210B) 상에서 눈 스캐너(213)를 포함하는 것으로 묘사된다. 도시되는 바와 같이, 적외선 방출기(215) 및 적외선 카메라(220)는 우측 안경다리(210B) 상에서 함께 위치된다. 눈 스캐너(213) 또는 눈 스캐너(213)의 하나 이상의 컴포넌트들은 좌측 안경다리(210A) 및 아이웨어 디바이스(200)의 다른 위치들, 예를 들면, 프레임(105) 상에서 위치될 수 있다는 것이 이해되어야 한다. 적외선 방출기(215) 및 적외선 카메라(220)는 도 2a의 것과 비슷하지만, 그러나 눈 스캐너(213)는 도 2a에서 앞서 설명되는 바와 같이 상이한 광 파장들에 민감하도록 변경될 수 있다.
[0049] 도 2a와 유사하게, 아이웨어 디바이스(200)는 브리지(106)를 통해 우측 테두리(107B)에 연결되는 좌측 테두리(107A)를 포함하는 프레임(105)을 포함하고; 좌측 및 우측 테두리들(107A-B)은 씨쓰루 디스플레이(180C-D)를 포함하는 개개의 광학 엘리먼트들(180A-B)을 유지하는 개개의 어퍼쳐들을 포함한다.
[0050] 도 2c 및 도 2d는, 두 개의 상이한 타입들의 씨쓰루 이미지 디스플레이들(180C-D)을 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성들의 배면도들이다. 하나의 예에서, 광학 어셈블리(180A-B)의 이들 씨쓰루 이미지 디스플레이들(180C-D)은 통합된 이미지 디스플레이를 포함한다. 도 2c에서 도시되는 바와 같이, 광학 어셈블리들(180A-B)은, LCD(liquid crystal display), OLED(organic light-emitting diode) 디스플레이, 도파관 디스플레이, 또는 임의의 다른 그러한 디스플레이와 같은, 임의의 적절한 타입의 적절한 디스플레이 매트릭스(180C-D)를 포함한다. 광학 어셈블리(180A-B)는, 렌즈들, 광학 코팅들, 프리즘들, 미러들, 도파관들, 광학 스트립들, 및 임의의 조합의 다른 광학 컴포넌트들을 포함할 수 있는 광학 레이어 또는 레이어들(176)을 또한 포함한다. 광학 레이어들(176A-N)은 적절한 사이즈 및 구성을 가지며 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 유저의 눈에 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 레이어들(176A-N)의 프리즘은, 유저의 눈이 대응하는 좌측 및 우측 테두리들(107A-B)을 통해 보고 있을 때 유저가 프리즘의 제2 표면을 보는 것을 허용하도록, 좌측 및 우측 테두리들(107A-B)에서 형성되는 개개의 어퍼쳐들(175A-B)의 전체 또는 적어도 일부 위로 연장된다. 광학 레이어들(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 상방을 향하고 디스플레이 매트릭스는, 디스플레이 매트릭스에 의해 방출되는 광자들 및 광이 제1 표면에 충돌하도록, 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학 레이어들(176A-N)의 프리즘의 제2 표면에 의해 유저의 눈을 향해 지향되도록 사이즈가 정해지고 형상이 정해진다. 이와 관련하여, 광학 레이어들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향하여 광을 지향시키도록 볼록할 수 있다. 프리즘은 옵션 사항으로(optionally) 씨쓰루 이미지 디스플레이들(180C-D)에 의해 투영되는 이미지를 확대하도록 사이즈가 정해지고 형상이 정해질 수 있으며, 광은, 제2 표면으로부터 보이는 이미지가 씨쓰루 이미지 디스플레이들(180C-D)로부터 방출되는 이미지보다 하나 이상의 차원들에서 더 크도록, 프리즘을 통해 이동한다.
[0051] 다른 예에서, 광학 어셈블리(180A-B)의 씨쓰루 이미지 디스플레이들(180C-D)는 도 2d에서 도시되는 바와 같은 프로젝션 이미지 디스플레이(projection image display)를 포함한다. 광학 어셈블리(180A-B)는 스캐닝 미러 또는 검류계(galvanometer)를 사용하는 3 컬러 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 동안, 레이저 프로젝터(150)와 같은 광학적 소스는 아이웨어 디바이스(100)의 안경다리들(125A-B) 중 하나에 또는 그 상에 배치된다. 광학 어셈블리(180A-B)는 광학 어셈블리(180A-B)의 렌즈의 폭에 걸쳐 또는 렌즈의 전면(front surface)과 후면(rear surface) 사이에서 렌즈의 깊이에 걸쳐 이격되는 하나 이상의 광학 스트립들(155A-N)을 포함한다.
[0052] 레이저 프로젝터(150)에 의해 투영되는 광자들이 광학 어셈블리(180A-B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A-N)과 조우한다. 특정한 광자가 특정한 광학 스트립과 조우하는 경우, 광자는 유저의 눈을 향해 방향이 재지향되거나, 또는 그것은 다음 번 광학 스트립으로 전달된다. 레이저 프로젝터(150)의 변조, 및 광학 스트립들의 변조의 조합은 특정한 광자들 또는 광의 빔들을 제어할 수 있다. 한 예에서, 프로세서는 기계적, 음향적, 또는 전자기적 신호들을 개시하는 것에 의해 광학 스트립들(155A-N)을 제어한다. 두 개의 광학 어셈블리들(180A-B)을 갖는 것으로 도시되지만, 아이웨어 디바이스(100)는 다른 배열들, 예컨대 단일의 또는 세 개의 광학 어셈블리들을 포함할 수 있거나, 또는 광학 어셈블리(180A-B)는 애플리케이션 또는 아이웨어 디바이스(100)의 의도된 유저에 따라 배열된 상이한 배열을 가질 수 있다.
[0053] 도 2c 및 도 2d에서 추가로 도시되는 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측면(170A)에 인접한 좌측 안경다리(110A) 및 프레임(105)의 우측 측면(170B)에 인접한 우측 안경다리(110B)를 포함한다. 안경다리들(110A-B)은 (예시되는 바와 같이) 개개의 측면(170A-B) 상에서 프레임(105)에 통합될 수 있거나 또는 개개의 측면(170A-B) 상에서 프레임(105)에 부착되는 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 안경다리들(110A-B)은 프레임(105)에 부착되는 안경다리들(125A-B)에 통합될 수 있다.
[0054] 하나의 예에서, 씨쓰루 이미지 디스플레이들은 제1 씨쓰루 이미지 디스플레이(180C) 및 제2 씨쓰루 이미지 디스플레이(180D)를 포함한다. 아이웨어 디바이스(100)는 개개의 제1 및 제2 광학 어셈블리(180A-B)를 유지하는 제1 및 제2 어퍼쳐들(175A-B)을 포함한다. 제1 광학 어셈블리(180A)는 제1 씨쓰루 이미지 디스플레이(180C)(예를 들면, 도 2c의 디스플레이 매트릭스 또는 광학 스트립들 및 프로젝터(도시되지 않음))를 포함한다. 제2 광학 어셈블리(180B)는 제2 씨쓰루 이미지 디스플레이(180D)(예를 들면, 도 2c의 디스플레이 매트릭스 또는 광학 스트립들(155A-N) 및 프로젝터(150))를 포함한다. 연속적인 디스플레이된 이미지의 연속적인 FoV(field of view)는, 수평에서, 수직에서, 또는 대각선 방향에서 측정되는 약 15° 내지 30°, 더 구체적으로는 24° 사이의 시야각(angle of view)을 포함한다. 다른 예에서, 110°와 같은 더 넓은 FoV가 사용될 수 있다. 연속적인 시야를 갖는 연속적인 디스플레이된 이미지는, 제1 및 제2 이미지 디스플레이들 상에서 제시되는 두 개의 디스플레이된 이미지들을 함께 스티칭하는 것을 통해 보이게 되는 결합된 삼차원 관찰 가능 영역을 나타낸다.
[0055] 본원에서 사용되는 바와 같이, "시야각"은 광학 어셈블리(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D) 각각 상에서 제시되는 디스플레이된 이미지들과 연관되는 시야의 각도 범위를 설명한다. "커버리지 각도"는 가시 광 카메라들(114A-B) 또는 적외선 카메라(220)의 렌즈가 이미지화할 수 있는 각도 범위를 설명한다. 통상적으로, 렌즈에 의해 생성되는 이미지 서클은 필름 또는 센서를 완전히 덮을 만큼 충분히 큰 데, 어쩌면 약간의 비네팅(즉, 이미지 중앙과 비교하여 주변을 향하는 이미지의 밝기 또는 채도의 감소)을 포함한다. 렌즈의 커버리지 각도가 센서를 채우지 않는 경우, 통상적으로 에지를 향해 강한 비네팅과 함께, 이미지 서클이 보일 것이고, 유효 시야각은 커버리지 각도로 제한될 것이다. "시야"는, 아이웨어 디바이스(100)의 유저가 광학 어셈블리(180A)의 좌측 및 우측 이미지 디스플레이들(180C-D) 상에 제시되는 디스플레이된 이미지들을 통해 그의 또는 그녀의 눈들을 통해 볼 수 있는 관찰 가능 영역의 필드를 설명하도록 의도된다. 광학 어셈블리(180A-B)의 이미지 디스플레이(180C)는 15° 내지 30°, 예를 들면, 24° 사이의 커버리지 각도를 갖는 시야를 가질 수 있고, 480×480 픽셀들 또는 그 이상의 해상도를 가질 수 있다. 다른 예에서, 110°와 같은 더 넓은 FoV가 사용될 수 있다.
[0056] 도 3은 도 2a의 아이웨어 디바이스의 배면 사시도를 나타낸다. 아이웨어 디바이스(100)는 적외선 방출기(215), 적외선 카메라(220), 프레임 전면(330), 프레임 후면(335), 및 회로 보드(340)를 포함한다. 아이웨어 디바이스(100)의 프레임의 좌측 테두리의 상위 부분은 프레임 전면(330) 및 프레임 후면(335)을 포함한다는 것이 도 3에서 확인될 수 있다. 프레임 후면(335)에는 적외선 방출기(215)에 대한 개구가 형성된다.
[0057] 프레임의 좌측 테두리의 상위 중간 부분의 원형 단면(4)에서 도시되는 바와 같이, 플렉시블 PCB(340)인 회로 보드가 프레임 전면(330)과 프레임 후면(335) 사이에 끼인다. 또한, 좌측 힌지(126A)를 통한 좌측 안경다리(325A)에 대한 좌측 안경다리(110A)의 부착이 더욱 상세하게 도시되어 있다. 몇몇 예들에서, 적외선 방출기(215), 플렉시블 PCB(340), 또는 다른 전기적 커넥터들 또는 콘택들을 비롯하여, 눈 움직임 추적기(213)의 컴포넌트들이 좌측 안경다리(325A) 또는 좌측 힌지(126A) 상에 위치될 수 있다.
[0058] 도 4는 도 3의 아이웨어 디바이스의 원으로 둘러싸인 단면(4)에 대응하는 프레임 및 적외선 방출기(215)를 통과하는 단면도이다. 아이웨어 디바이스(100)의 다수의 레이어들이 도 4의 단면에서 예시되는데, 도시되는 바와 같이, 프레임은 프레임 전면(330) 및 프레임 후면(335)을 포함한다. 플렉시블 PCB(340)는 프레임 전면(330) 상에 배치되고 프레임 후면(335)에 연결된다. 적외선 방출기(215)는 플렉시블 PCB(340) 상에 배치되고 적외선 방출기 커버 렌즈(445)에 의해 커버된다. 예를 들면, 적외선 방출기(215)는 플렉시블 PCB(340)의 후면으로 리플로우된다. 리플로우는, 두 개의 컴포넌트들을 연결하기 위해 솔더 페이스트를 녹이는 제어된 열에 플렉시블 PCB(340)를 노출시키는 것에 의해, 적외선 방출기(215)를 플렉시블 PCB(340)의 후면 상에서 형성되는 콘택 패드(들)에 부착한다. 하나의 예에서, 리플로우는 플렉시블 PCB(340) 상에 적외선 방출기(215)를 표면 실장하고 두 개의 컴포넌트들을 전기적으로 연결하기 위해 사용된다. 그러나, 예를 들면, 인터커넥트들을 통해 적외선 방출기(215)로부터 플렉시블 PCB(340)로 도선(lead)들을 연결하기 위해 스루홀들이 사용될 수 있다는 것이 이해되어야 한다.
[0059] 프레임 후면(335)은 적외선 방출기 커버 렌즈(445)에 대한 적외선 방출기 개구(450)를 포함한다. 적외선 방출기 개구(450)는 유저의 눈을 향하여 안쪽을 향하도록 구성되는 프레임 후면(335)의 후방 대향 면 상에서 형성된다. 예에서, 플렉시블 PCB(340)는 플렉시블 PCB 접착제(460)를 통해 프레임 전면(330)에 연결될 수 있다. 적외선 방출기 커버 렌즈(445)는 적외선 방출기 커버 렌즈 접착제(455)를 통해 프레임 후면(335)에 연결될 수 있다. 커플링은 또한 중간 컴포넌트들을 통해 간접적일 수 있다.
[0060] 한 예에서, 프로세서(932)는 도 5에서 도시되는 바와 같이 착용자의 눈(234)의 눈 시선 방향(230) 및 도 6에서 도시되는 바와 같이 아이박스 내의 착용자의 눈(234)의 눈 포지션(236)를 결정하기 위해 눈 추적기(213)를 활용한다. 눈 추적기(213)는, 눈(234)으로부터의 적외선 광의 반사 변동들의 이미지를 캡쳐하여 눈(234)의 동공(232)의 시선 방향(230)을 결정하기 위해, 그리고 또한 씨쓰루 디스플레이(180D)와 관련하여 눈 포지션(236)을 결정하기 위해, 적외선 광 조명(예를 들면, 근적외선, 단파장 적외선, 중파장 적외선, 장파장 적외선, 또는 원적외선)을 사용하는 스캐너이다.
[0061] 도 7은 카메라들을 사용하여 가시 광을 캡쳐하는 예를 묘사한다. 가시 광은 좌측 원시 이미지(758A)로서 좌측 가시 광 카메라 시야(111A)를 갖는 좌측 가시 광 카메라(114A)에 의해 캡쳐된다. 가시 광은 우측 원시 이미지(758B)(레벨 원시 이미지(758A)와 중첩되는 FOV(713)를 가짐)로서 우측 가시 광 카메라 시야(111B)를 갖는 우측 가시 광 카메라(114B)에 의해 캡쳐된다. 좌측 원시 이미지(758A) 및 우측 원시 이미지(758B)의 프로세싱에 기초하여, 이하 이미지로서 지칭되는 삼차원 장면의 삼차원 깊이 맵(715)이 프로세서(932)에 의해 생성된다.
[0062] 도 8a는 부분적인 또는 전체적인 실명을 갖는 아이웨어(100/200)의 유저들의 유저 경험을 향상시키기 위해 이미지(715)를 프로세싱하는 카메라 기반의 보상 시스템(800)의 예를 예시한다. 부분적인 또는 전체적인 실명을 보상하기 위해, 카메라 기반의 보상(800)의 프로세서(932)는 이미지(715) 내의 오브젝트들(802)을 결정하고, 결정된 오브젝트들(802)을 텍스트로 변환하고, 그 다음, 텍스트를 이미지 내의 오브젝트들(802)을 나타내는 오디오로 변환한다.
[0063] CNN(convolutional neural network)은 이미지 검출 태스크들 위해 일반적으로 사용되는 특별한 타입의 피드포워드 인공 신경망이다. 한 예에서, 카메라 기반의 보상 시스템(800)은 영역 기반의 RCNN(region-based convolutional neural network)(945)을 사용한다. RCNN(945)은 좌측 및 우측 카메라들(114A-B)로부터 생성되는 이미지(715) 내의 오브젝트들(802)을 나타내는 컨볼루션 피처 맵(804)을 생성하도록 구성된다. 컨볼루션 피처 맵(804)의 관련 텍스트는 텍스트 대 음성 알고리즘(950)을 사용하여 프로세서(932)에 의해 프로세싱된다. 프로세서(932)는 이미지(715) 내의 오브젝트들(802)을 나타내는 오디오를 생성하도록 구성되는 자연어 프로세서(natural language processor)를 포함한다.
[0064] 한 예에서, 그리고 하기에서 도 10과 관련하여 더욱 상세하게 논의될 바와 같이, 좌측 및 우측 카메라들(114A-B)로부터 각각 생성되는 이미지(715)는, 이 예에서 말에 탄 카우보이로서 보이는 오브젝트들(802)을 포함하도록 도시된다. 이미지(715)는 이미지(715)에 기초하여 컨볼루션 피처 맵(804)을 생성하는 RCNN(945)에 입력된다. 예시적인 RCNN은 인도 Haryana, Gurugram 소재의 Analytics Vidhya로부터 입수 가능하다. 컨볼루션 피처 맵(804)으로부터, 프로세서(932)는 컨볼루션 피처 맵(804)에서 제안의 영역을 식별하고 그들을 정사각형들(806)로 변환한다. 정사각형들(806)은 전체 이미지(715)보다 더 작은 이미지(715)의 서브세트를 나타내는데, 이 경우 이 예에서 도시되는 정사각형(806)은 말을 탄 카우보이를 포함한다.
[0065] 프로세서(932)는 ROI(region of interest) 풀링 레이어(pooling layer)(808)를 사용하여 정사각형들(806)을, 그들이 완전히 연결되는 레이어(810)에 입력될 수 있도록, 고정된 사이즈로 재성형한다. 완전히 연결된 레이어(812)에 기초하여 제안된 ROI의 클래스를 그리고 또한 ROI 피처 벡터(818)로부터 경계 박스(bounding box; bbox) 회귀자(regressor)(816)에 대한 오프셋 값들을 예측하기 위해 소프트맥스 레이어(814)가 사용된다.
[0066] 컨볼루션 피처 맵(804)의 관련 텍스트는 자연어 프로세서(932)를 사용하여 텍스트 대 음성 알고리즘(950)을 통해 프로세싱되고, 컨볼루션 피처 맵(804)의 텍스트, 예컨대 이 예에서 카우보이와 말 오브젝트들을 나타내는 텍스트를 나타내는 오디오를 생성하기 위해 디지털 신호 프로세서가 사용된다. 예시적인 텍스트 대 음성 알고리즘(950)은 독일 베를린 소재의 DFKI Berlin로부터 입수 가능하다. 오디오는 컨볼루션 신경망을 사용하여 해석될 수 있거나, 또는 그것은 다른 디바이스 또는 시스템으로 오프로딩될 수 있다. 오디오는, 그것을 유저가 들을 수 있도록 스피커(132)를 사용하여 생성된다(도 2a).
[0067] 유저가 카메라 기반의 보상 시스템(800)이 단독으로 제공할 수 있는 것보다 더 많은 도움을 원하거나, 또는 카메라 기반의 보상 시스템(800)이 유저의 전방의 환경을 결정할 수 없다는 것을 검출하는 경우, 유저는 아이웨어(100/200)의 지원 모드 알고리즘(assisted mode algorithm)을 트리거할 수 있다. 지원 모드 알고리즘(946)이 트리거되는 경우, 도 9에서 도시되는 바와 같은 모바일 디바이스(991)를 갖는 물리적으로 원격에 있는 오퍼레이터는, 통신들 네트워크(995)를 통해, 아이웨어 카메라들(114A-B)에 의해 생성되는 이미지들(715)을 포함하는 비디오 스트림, 및 마이크(130)로부터의 옵션 사항의 오디오 스트림을 제시받는다. 모바일 디바이스(991)는 도 9에서 도시되는 바와 같이 아이웨어 마이크(130)에 의해 캡쳐되는 오디오를 생성하기 위해 스피커를 포함한다.
[0068] 원격 오퍼레이터는, 응답하여, 통신들 네트워크(995)를 통해 아이웨어(100/200)에 오디오 피드백, 및 시각적 피드백(해당되는 경우)을 제공하여, 취해야 할 적절한 조치에 대해 유저에게 지시한다. 예를 들면, 아이웨어(100/200)의 유저는, 혼잡한 장면 또는 미지의 장애물을 탐색하는 방법에 대한, 모바일 디바이스(991)의 원격 오퍼레이터로부터의 오디오 조언을 원할 수 있다. 원격 오퍼레이터가 수신된 스트리밍 비디오를 보고, 제공되는 경우, 오디오 스트림을 듣는 것에 기초하여, 원격 오퍼레이터는, 응답에서, 아이웨어(100/200)의 유저에게 상응하게 지시한다.
[0069] 도 8b는 부분적인 또는 전체적인 실명을 가진 아이웨어(100/200)의 유저들의 유저 경험을 향상시키기 위해 이미지(715)를 프로세싱하는 카메라 기반의 보상 시스템(820)의 예를 예시한다. 부분적인 또는 전체적인 실명을 보상하기 위해, 카메라 기반의 보상 시스템(820)의 프로세서(932)는 알고리즘(1200)(도 12)을 실행하여 이미지(715) 내의 하나 이상의 물리적 오브젝트들(822)을 검출한다. 카메라 기반의 보상 시스템(820)은 오브젝트(들)(822)의 에지들, 각도들, 표면들, 등과 같은 물리적 오브젝트들(822)의 하나 이상의 기하학적 피처들(824)을 인식하기 위해 이미지(715)를 프로세싱한다. 이 예에서, 아이웨어(100/200)의 유저 근처에 있는 오브젝트(822)는 의자로서 도시되어 있다. 계단들, 벤치들, 연석들, 가로등들, 등과 같은 많은 다른 타입들의 물리적 오브젝트들(822)이 프로세싱되어 검출될 수 있으며, 오브젝트(822) 타입에 대한 제한은 추론되지 않는다.
[0070] 도 8b에서 도시되는 바와 같은 이하 설명되는 카메라 기반의 시스템(820)은 SIFT(scale-invariant feature transform) 알고리즘(952)을 포함하고, 도 12를 참조하여 설명된다. 도 12는 프로세서(932)에 의해 실행되는 여러 블록들을 갖는 SIFT 알고리즘(952)의 흐름도(1200)를 예시한다. 플로우차트(1200)는 메모리, 예컨대 도 9에서 도시되는 바와 같은 메모리(934)에 저장되는 코드와 같은 컴퓨터 실행 가능 명령어들을 포함한다.
[0071] 단계(1202)에서, 물리적 오브젝트들(822)의 관련 기하학적 피처들(824)이 프로세서(932)에 의해 프로세싱된다. SIFT 알고리즘(952)은 노이즈 감소와 같은 사전 프로세싱 단계들로 구성된다. 그 이후, SIFT 알고리즘(952)은, 좌측 및 우측 스테레오 이미지들(758A 및 758B)이 각각 분석되도록 정렬 및 정류와 같은 사전 프로세싱을 수행한다. SIFT 알고리즘(952)은 두 개의 이미지들(758A 및 758B)로부터 오브젝트(822)의 피처들을 추출 및 매칭시키는 것에 의해 피처 검출을 수행하고, 이미지들 둘 모두에서 존재하는 피처들을 식별한다.
[0072] 피처 검출에 더하여, SIFT 알고리즘(952)은 캐니(Canny) 에지 검출기와 같은 검출기를 사용하여 에지 검출을 수행한다. 이 에지 검출은 먼저 가우시안(Gaussian) 필터를 사용하여 원시 에지들을 평활화하는 것, 방향성 가우시안 미분 필터(directional Gaussian derivative filter)들을 적용하여 에지 기울기들 및 방위들을 획득하는 것, 비최대 억제(non-max suppression)를 사용하여 에지들을 얇게 만드는 것, 및 마지막으로 실제 에지들을 분리하기 위한 임계치를 설정하는 것에 의해 수행된다.
[0073] 보상 시스템들(820)의 다른 타입들의 이미지 프로세싱이 사용될 수 있으며, SIFT 기반의 시스템에 대한 제한은 추론되지 않는다.
[0074] 단계(1204)에서, 삼차원 장면의 삼차원 깊이 맵(715)은 도 7을 참조하여 앞서 설명되는 바와 같이 프로세서(932)에 의해 생성되고 이미지로서 지칭된다. 깊이 맵 생성은 인간의 양안시 시스템에 기초하는 고전적인 컴퓨터 비전 알고리즘이다. 그것은 두 개의 평행한 뷰 포트들에 의존하고 좌측 및 우측 이미지들(758A 및 758B)에서 매칭하는 키 포인트들 사이의 디스패리티들을 추정하는 것에 의해 깊이를 계산한다. SIFT 알고리즘(952)에 의해 식별되는 좌측 및 우측 이미지들(758A 및 758B)에서의 매칭된 피처들 사이의 픽셀 거리는 프로세서(932)에 의해 계산된다. 카메라들을 포함하는 광학 시스템의 기하학적 형상(스테레오 베이스라인, 해상도, 초점 거리, 등)을 이해하는 것에 의해, 픽셀 디스패리티가 깊이 값으로 변환된다. 이것은 필요로 되는 출력을 직접적으로 제공할 수 있거나, 또는 추가적인 프로세싱 단계들이 깊이 맵(715)을 업스케일링하거나 또는 그것에 밀도를 추가하는 데 도움이 될 수 있다.
[0075] 단계(1206)에서, 아이웨어(100/200)를 착용하는 유저의 자세 및 포지션에 기초하여, 깊이 맵(715)은 위험을 나타낼 수 있는 오브젝트들(822)을 찾도록 프로세서(932)에 의해 분석된다. 이것은 유저의 움직임의 경로 바로 전방에 위치되는 콘텐트의 깊이를 주시하는 것에 의해 달성될 수 있다. 이것은 유저의 움직임의 방향 전방에 있는 깊이 맵(715)의 부분의 깊이 값들을 분석하는 것에 의해 달성된다.
[0076] 단계(1208)에서, 식별된 오브젝트들(822)에 기초하여, 프로세서(932)에 의해 오디오 경고와 같은 경고가 스테레오 스피커들(130)(도 2a)를 통해 아이웨어(100/200)을 착용하는 유저에게 생성된다. 이 경고는, 예컨대 아이웨어(100/200)로부터 오브젝트의 거리, 또는 오브젝트(822)의 타입을 식별하기 위한 포맷일 수 있다. 예를 들면, 위험 알림에 대한 설정된 파라미터들에 따라, "3 미터 떨어진 장애물" 또는 "3 미터 떨어진 의자". 오브젝트(822)는 경고에서 구체적으로 식별될 수 있거나 또는 식별되지 않을 수 있다. 내장된 디지털 대 아날로그 기능들, 스테레오 스피커들, 및 프로세서를 사용하는 것에 의해, 아이웨어(100/200)는 아이웨어 유저에게 장애물이 될 수 있는 오브젝트(822)의 존재를 유저에게 알려준다.
[0077] 한 예에서, 도 9에서 도시되는 바와 같이, 아이웨어(100/200)는, 아이웨어(100/200)와 모바일 디바이스(990) 사이에서 데이터를 무선으로 교환하기 위해, 예컨대 저전력 BluetoothTM(블루투스) 통신 링크(925)에 의해, 모바일 디바이스(990)에 전기적으로 페어링된다. 모바일 디바이스(990)는 이미지들(715)을 포함하는 수신된 비디오 스트림, 및 옵션 사항의 오디오 스트림을 통신들 네트워크(995)를 통해 원격 모바일 디바이스(991)로 전달하도록 구성된다. 다른 예에서, 아이웨어(100/200) 그 자체의 저전력 무선 회로부(924) 또는 고속 무선 회로부(936)는 통신들 네트워크(995)를 통해 원격 모바일 디바이스(991)로 비디오 스트림, 및 옵션 사항의 오디오 스트림을 직접적으로 송신하도록 구성된다. 원격 모바일 디바이스(991)의 원격 오퍼레이터는, 응답하여, 오디오 피드백을, 통신들 네트워크(995) 및 모바일 디바이스(990)에 대한 저전력 통신 링크(925)를 통해 아이웨어(100/200)로, 또는 통신들 네트워크(995)를 통해 직접적으로 아이웨어(100/200)로 전달한다. 이 예에서, 고속 회로부(936)는 통신 네트워크(995)에 대한 무선 액세스를 제공하는 네트워크 어댑터를 구비한다.
[0078] 하나의 예에서, 원격 오퍼레이터는 모바일 디바이스(991)의 디스플레이 상에서 스트리밍된 비디오를 보고 있는, 옵션 사항으로, 스피커(932) 상에서 옵션 사항의 오디오 스트림을 또한 듣고 있는 친구일 수 있다. 모바일 디바이스(991)는 모바일 디바이스(990)와 유사하고 수신된 비디오 스트림, 및 오디오 스트림을 수신 및 프로세싱하도록 구성되는 컴퓨터 명령어들을 포함하는 애플리케이션을 포함한다.
[0079] 도 9는 아이웨어(100/200)에 배치되는 예시적인 전자 컴포넌트들을 포함하는 하이 레벨 기능 블록도를 묘사한다. 예시된 전자 컴포넌트들은, RCNN(945), 지원 모드 알고리즘(946), 텍스트 대 음성 알고리즘(950), SIFT 알고리즘(952)을 포함하는 프로세서(932), 및 메모리(934)를 포함한다.
[0080] 메모리(934)는 프로세서(932)가 RCNN(945), 지원 모드 알고리즘(946), 텍스트 대 음성 알고리즘(950), SIFT 알고리즘(952)을 수행하기 위한, 그리고 광학 엘리먼트(180A-B)를 통해 볼 수 있으며 이미지(715)에서 렌더링되는 오브젝트(들)를 나타내는 오디오를 생성하기 위한 명령어들을 비롯하여, 아이웨어(100/200)의 기능성을 구현하기 위해 프로세서(932)에 의한 실행을 위한 명령어들을 포함한다. 프로세서(932)는 배터리(도시되지 않음)로부터 전력을 수신하고, 아이웨어(100/200)의 기능성을 수행하기 위해, 그리고 무선 연결들을 통해 외부 디바이스들과 통신하기 위해, 메모리(934)에 저장되는, 또는 프로세서(932)와 온칩으로 통합되는 명령어들을 실행한다.
[0081] 유저 인터페이스 조정 시스템(900)은, 아이웨어 디바이스(100/200)인 웨어러블 디바이스 및 눈 움직임 추적기(213)(예를 들면, 도 2b에서 적외선 방출기(215) 및 적외선 카메라(220)로서 도시됨)를 포함한다. 유저 인터페이스 조정들 시스템(900)은 다양한 네트워크들을 통해 연결되는 모바일 디바이스(990) 및 서버 시스템(998)을 또한 포함한다. 모바일 디바이스(990)는 스마트폰, 태블릿, 랩탑 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결(925) 및 고속 무선 연결(937) 둘 모두를 사용하여 아이웨어 디바이스(100)와 연결될 수 있는 임의의 다른 그러한 디바이스일 수 있다. 모바일 디바이스(990)는 서버 시스템(998) 및 네트워크(995)에 연결된다. 네트워크(995)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0082] 아이웨어 디바이스(100/200)는 적어도 두 개의 가시 광 카메라들(114A-B)(하나는 좌측 측면(170A)과 연관되고 하나는 우측 측면(170B)과 연관됨)를 포함한다. 아이웨어 디바이스(100/200)는 광학 어셈블리(180A-B)의 두 개의 씨쓰루 이미지 디스플레이들(180C-D)(하나는 좌측 측면(170A)과 연관되고 하나는 우측 측면(170B)과 연관됨)을 더 포함한다. 이미지 디스플레이들(180C-D)은 본 개시내용에서 옵션 사항이다. 아이웨어 디바이스(100)는 이미지 디스플레이 드라이버(942), 이미지 프로세서(912), 저전력 회로부(920), 및 고속 회로부(930)를 또한 포함한다. 아이웨어 디바이스(100/200)에 대해 도 9에서 도시되는 컴포넌트들은 안경다리들의 하나 이상의 회로 보드들, 예를 들면, PCB 또는 플렉시블 PCB 상에서 위치된다. 대안적으로 또는 추가적으로, 묘사된 컴포넌트들은 아이웨어 디바이스(100/200)의 안경다리들, 프레임들, 힌지들, 또는 브리지에 위치될 수 있다. 좌측 및 우측 가시 광 카메라들(114A-B)은 상보형 금속 산화물 반도체(CMOS) 이미지 센서, 전하 결합 소자(charge coupled device), 렌즈, 또는, 미지의 오브젝트들을 갖는 장면들의 이미지들을 비롯하여, 데이터를 캡쳐하기 위해 사용될 수 있는 임의의 다른 개개의 가시 또는 광 캡쳐 엘리먼트들과 같은 디지털 카메라 엘리먼트들을 포함할 수 있다.
[0083] 눈 움직임 추적 프로그래밍(945)은, 아이웨어 디바이스(100)로 하여금, 눈 움직임 추적기(213)를 통해, 아이웨어 디바이스(100/200)의 유저의 눈의 눈 움직임을 추적하게 하는 것을 비롯하여, 유저 인터페이스 시야 조정 명령어들을 구현한다. 다른 구현된 명령어들(기능들)은, 아이웨어 디바이스(100/200)로 하여금, 연속적인 눈 방향에 대응하는 유저의 검출된 눈 움직임에 기초하여 초기 디스플레이된 이미지의 초기 시야에 대한 시야 조정을 결정하게 한다. 추가로 구현된 명령어들은 시야 조정에 기초하여 디스플레이된 이미지들의 시퀀스의 연속적인 디스플레이된 이미지를 생성한다. 연속적인 디스플레이된 이미지는 유저 인터페이스를 통해 유저에게 가시적인 출력으로서 생성된다. 이 가시적 출력은, 초기 시야를 갖는 초기 디스플레이된 이미지 및 연속적인 시야를 갖는 연속적인 디스플레이된 이미지를 비롯하여, 디스플레이된 이미지들의 시퀀스를 제시하기 위해 이미지 디스플레이 드라이버(942)에 의해 구동되는 광학 어셈블리(180A-B)의 씨쓰루 이미지 디스플레이들(180C-D) 상에서 나타난다.
[0084] 도 9에서 도시되는 바와 같이, 고속 회로부(930)는 고속 프로세서(932), 메모리(934), 및 고속 무선 회로부(936)를 포함한다. 예에서, 이미지 디스플레이 드라이버(942)는, 광학 어셈블리(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D)을 구동하기 위해 고속 회로부(930)에 커플링되고 고속 프로세서(932)에 의해 동작된다. 고속 프로세서(932)는 아이웨어 디바이스(100/200)에 의해 필요로 되는 임의의 일반적인 컴퓨팅 시스템의 고속 통신들 및 동작을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(932)는 고속 무선 회로부(936)를 사용하여 고속 무선 연결(937) 상에서 무선 로컬 영역 네트워크(WLAN)로의 고속 데이터 전송들을 관리하는 데 필요한 프로세싱 리소스들을 포함한다. 특정한 예들에서, 고속 프로세서(932)는 LINUX 오퍼레이팅 시스템 또는 아이웨어 디바이스(100)의 다른 그러한 오퍼레이팅 시스템과 같은 오퍼레이팅 시스템을 실행하고 오퍼레이팅 시스템은 실행을 위해 메모리(934)에 저장된다. 임의의 다른 책임들에 더하여, 아이웨어 디바이스(100)에 대한 소프트웨어 아키텍쳐를 실행하는 고속 프로세서(932)는 고속 무선 회로부(936)와의 데이터 전송들을 관리하기 위해 사용된다. 특정한 예들에서, 고속 무선 회로부(936)는, 본원에서 Wi-Fi로서 또한 지칭되는, IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신들 표준들은 고속 무선 회로부(936)에 의해 구현될 수 있다.
[0085] 아이웨어 디바이스(100/200)의 저전력 무선 회로부(924) 및 고속 무선 회로부(936)는 단거리 트랜시버들(Bluetooth™) 및 무선 와이드, 로컬, 또는 와이드 영역 네트워크 트랜시버들(예를 들면, 셀룰러 또는 WiFi)을 포함할 수 있다. 저전력 무선 연결(925) 및 고속 무선 연결(937)을 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(990)는, 네트워크(995)의 다른 엘리먼트들이 그럴 수 있는 것처럼, 아이웨어 디바이스(100/200)의 아키텍쳐의 세부사항들을 사용하여 구현될 수 있다.
[0086] 메모리(934)는 다른 것들 중에서도, 컬러 맵들, 좌측 및 우측 가시 광 카메라들(114A-B) 및 이미지 프로세서(912)에 의해 생성되는 카메라 데이터뿐만 아니라, 광학 어셈블리(180A-B)의 씨쓰루 이미지 디스플레이들(180C-D) 상에서 이미지 디스플레이 드라이버(942)에 의해 디스플레이용으로 생성되는 이미지들을 비롯하여, 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 스토리지 디바이스를 포함한다. 메모리(934)가 고속 회로부(930)와 통합되는 것으로 도시되지만, 다른 예들에서, 메모리(934)는 아이웨어 디바이스(100/200)의 독립적인 독립형 엘리먼트일 수 있다. 특정한 그러한 예들에서, 전기 라우팅 라인들은, 이미지 프로세서(912) 또는 저전력 프로세서(922)로부터 메모리(934)로의 고속 프로세서(932)를 포함하는 칩을 통한 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(932)는 저전력 프로세서(922)가 메모리(934)를 수반하는 판독 또는 기록 동작이 필요로 되는 임의의 시간에 고속 프로세서(932)를 부팅하도록 메모리(934)의 주소 지정을 관리할 수 있다.
[0087] 서버 시스템(998)은, 예를 들면, 프로세서, 메모리 및 네트워크(995)를 통해 모바일 디바이스(990) 및 아이웨어 디바이스(100/200)와 통신하기 위한 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서의 하나 이상의 컴퓨팅 디바이스들일 수 있다. 아이웨어 디바이스(100)는 호스트 컴퓨터와 연결된다. 예를 들면, 아이웨어 디바이스(100/200)는 고속 무선 연결(937)을 통해 모바일 디바이스(990)와 페어링되거나 또는 네트워크(995)를 통해 서버 시스템(998)에 연결된다.
[0088] 아이웨어 디바이스(100/200)의 출력 컴포넌트들은 시각적 컴포넌트들, 예컨대 도 2c 및 도 2d에서 설명되는 바와 같은 광학 어셈블리(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D)(예를 들면, LCD(liquid crystal display), PDP(plasma display panel), LED(light emitting diode) 디스플레이, 프로젝터, 또는 도파관과 같은 디스플레이)을 포함한다. 광학 어셈블리(180A-B)의 이미지 디스플레이들(180C-D)은 이미지 디스플레이 드라이버(942)에 의해 구동된다. 아이웨어 디바이스(100/200)의 출력 컴포넌트들은 음향 컴포넌트들(예를 들면, 스피커들), 햅틱 컴포넌트들(예를 들면, 진동 모터), 다른 신호 생성기들, 및 등등을 더 포함한다. 아이웨어 디바이스(100/200), 모바일 디바이스(990) 및 서버 시스템(998)의 입력 컴포넌트들은 영숫자 입력 컴포넌트들(예를 들면, 키보드, 영숫자 입력을 수신하도록 구성되는 터치스크린, 광-광학 키보드(photo-optical keyboard), 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반의 입력 컴포넌트들(예를 들면, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기기들), 촉각 입력 컴포넌트들(예를 들면, 물리적 버튼, 터치들 또는 터치 제스쳐들의 위치 및 힘을 제공하는 터치스크린, 또는 다른 촉각 입력 컴포넌트들), 마이크(130)를 포함하는 오디오 입력 컴포넌트들을 포함할 수 있다. 마이크(130)는 아이웨어 디바이스(100/200)에 근접한 오디오를 캡쳐하는데, 그 오디오는 원격 오퍼레이터의 모바일 디바이스(991)로 스트리밍될 수 있다. 마이크(130)는 보여지는 이미지에 대응하는 예에서 지향성일 수 있다.
[0089] 아이웨어 디바이스(100/200)는 추가적인 주변장치 디바이스 엘리먼트들(919)을 옵션 사항으로 포함할 수 있다. 그러한 주변장치 디바이스 엘리먼트들은 생체 인식 센서(biometric sensor)들, 추가적인 센서들, 또는 아이웨어 디바이스(100)와 통합되는 디스플레이 엘리먼트들을 포함할 수 있다. 예를 들면, 주변장치 디바이스 엘리먼트들(919)은 출력 컴포넌트들, 모션 컴포넌트들, 포지션 컴포넌트들, 또는 본원에서 설명되는 임의의 다른 그러한 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다.
[0090] 예를 들면, 유저 인터페이스 시야 조정(900)의 생체 인식 컴포넌트들은 표현들(예를 들면, 손 표현들, 얼굴 표정들, 목소리 표현(vocal expression)들, 신체 제스쳐들, 또는 시선 추적)을 검출하기 위한, 생체 신호(biosignal)들(예를 들면, 혈압, 심박수, 체온, 땀, 또는 뇌파들)을 측정하기 위한, 사람을 식별(예를 들면, 보이스 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파도 기반의 식별)하기 위한, 등을 위한 컴포넌트들을 포함한다. 모션 컴포넌트들은 가속도 센서 컴포넌트들(예를 들면, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들면, 자이로스코프), 등을 포함한다. 포지션 컴포넌트들은 위치 좌표들을 생성하기 위한 위치 센서 컴포넌트들(예를 들면, GPS(Global Positioning System) 수신기 컴포넌트), 위치 결정 시스템 좌표들을 생성하기 위한 WiFi 또는 Bluetooth™ 트랜시버들, 고도 센서 컴포넌트들(예를 들면, 고도가 유도될 수 있는 기압을 검출하는 고도계들 또는 기압계들), 방위 센서 컴포넌트들(예를 들면, 자력계들), 등을 포함한다. 그러한 위치 결정 시스템 좌표들은 저전력 무선 회로부(924) 또는 고속 무선 회로부(936)를 통해 모바일 디바이스(990)로부터 무선 연결들(925 및 937)을 통해 또한 수신될 수 있다.
[0091] 몇몇 예들에 따르면, "애플리케이션" 또는 "애플리케이션들"은 프로그램들에서 정의되는 기능들을 실행하는 프로그램(들)이다. 다양한 방식들로 구조화되는 애플리케이션들 중 하나 이상을 생성하기 위해, 다양한 프로그래밍 언어들, 예컨대 객체 지향 프로그래밍 언어들(예를 들면, Objective-C(오브젝티브 C), Java(자바) 또는 C++) 또는 절차적 프로그래밍 언어들(예를 들면, C 또는 어셈블리어)이 활용될 수 있다. 특정한 예에서, 써드파티 애플리케이션(예를 들면, 특정한 플랫폼의 판매 업체 이외의 엔티티에 의해 ANDROID™(안드로이드) 또는 IOS™(아이오에스) SDK(software development kit)를 사용하여 개발되는 애플리케이션)은 IOS™, ANDROID™, WINDOWS®(윈도우즈) 폰, 또는 다른 모바일 오퍼레이팅 시스템들과 같은 모바일 오퍼레이팅 시스템 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서 써드파티 애플리케이션은 본원에서 설명되는 기능성을 용이하게 하기 위해 오퍼레이팅 시스템에 의해 제공되는 API 호출(call)들을 호출할 수 있다.
[0092] 도 10은 텍스트 대 음성 알고리즘(950) 및 메모리(934)에 저장되는 명령어들을 실행하는 고속 프로세서(932)에 의해 생성되는 아이웨어의 다른 컴포넌트들을 포함하는 아이웨어 디바이스(100/200)의 동작을 예시하는 플로우차트(1000)이다. 순차적으로 발생하는 것으로 도시되지만, 도 10의 블록들은 구현예에 따라 재정렬되거나 또는 병렬화될 수 있다.
[0093] 블록들(1002-1010)은 RCCN(945)을 사용하여 수행된다.
[0094] 블록(1002)에서, 프로세서(932)는 유저 입력 또는 컨텍스트 데이터 및 이미지 캡쳐를 대기한다. 한 예에서, 입력은 좌측 및 우측 카메라들(114A-B)로부터 각각 생성되는, 그리고 이 예에서 말에 타고 있는 카우보이로서 도시되는 오브젝트들(802)을 포함하는 것으로 도시되는 이미지(715)이다.
[0095] 블록(1004)에서, 프로세서(932)는 이미지(715)를 RCCN(945)을 통해 통과시켜 컨볼루션 피처 맵(804)을 생성한다. 프로세서(932)는 이미지(715)의 이미지 픽셀들의 어레이에 대해 필터 매트릭스를 사용하는 컨볼루션 레이어를 사용하고 컨볼루션 연산을 수행하여 컨볼루션 피처 맵(804)을 획득한다.
[0096] 블록(1006)에서, 프로세서(932)는 ROI 풀링 레이어(pooling layer)들(808)을 사용하여 컨볼루션 피처 맵(804)의 제안들의 영역을 정사각형들(806)로 재성형한다. 프로세서는 얼마나 많은 오브젝트들이 프로세싱되는지를 결정하고 정보 과부하를 방지하기 위한 정사각형들(806)의 형상 및 사이즈를 결정하도록 프로그래밍 가능하다. ROI 풀링 레이어(808)는 컨볼루션 신경망(convolutional neural network)들을 사용하는 오브젝트 검출 태스크들에서 사용되는 연산이다. 예를 들면, 이 예에서는 단일의 이미지에서 말을 타고 있는 카우보이를 검출한다. 그것의 목적은 고정된 사이즈의 피처 맵(예를 들면, 7×7)을 획득하기 위해 불균일한 사이즈들의 입력들에 대해 맥스 풀링(max pooling)을 수행하는 것이다.
[0097] 블록(1008)에서, 프로세서(932)는 완전히 연결된 레이어들(810)을 프로세싱하는데, 여기서 소프트맥스 레이어(softmax layer; 814)는 제안된 영역들의 클래스 및 경계 박스 회귀자(816)를 예측하기 위해 완전히 연결된 레이어(812)를 사용한다. 소프트맥스 레이어는, 통상적으로, 다중 클래스 분류(예를 들면: 오브젝트 인식)를 수행하는 신경망에서의 최종 출력 레이어이다.
[0098] 블록(1010)에서, 프로세서(932)는 이미지(715) 내의 오브젝트들(802)을 식별하고 관련 오브젝트들(802)을 선택한다. 프로세서(932)는, 정사각형들(806) 내의 상이한 클래스들의 오브젝트들(802), 예를 들면, 교통 신호등들 및 교통 신호등들의 컬러를 식별 및 선택하도록 프로그래밍 가능하다. 다른 예에서, 프로세서(932)는 차량들, 기차들, 및 비행기들과 같은 정사각형(806) 내에서 움직이는 오브젝트들을 식별 및 선택하도록 프로그래밍된다. 다른 예에서, 프로세서는 표지판들, 예컨대 보행자 횡단보도들, 경고 표지판들 및 정보 표지판들을 식별 및 선택하도록 프로그래밍된다. 도 8a에서 도시되는 예에서, 프로세서(932)는 관련 오브젝트들(802)을 카우보이 및 말로서 식별한다.
[0099] 블록(1012)에서, 이미지(715)에서 문자들 및 텍스트를 식별하기 위해 블록들(1002-1010)이 반복된다. 프로세서(932)는 관련 문자들 및 텍스트를 식별한다. 관련 문자들 및 텍스트는, 예를 들면, 그들이 이미지(715)의 최소 부분, 예컨대 이미지(715)의 1/1000 이상을 점유하는 경우, 관련성이 있는 것으로 결정될 수 있다. 이것은 주목하지 않는 작은 문자들 및 텍스트의 프로세싱을 제한한다. 관련 오브젝트들, 문자들 및 텍스트는 피처들로서 지칭되며, 모두 텍스트 대 음성 알고리즘(950)으로 제출된다.
[0100] 블록들(1014-1024)은 텍스트 대 음성 알고리즘(950)에 의해 수행된다. 텍스트 대 음성 알고리즘(950)은 RCCN(945)으로부터 수신되는 관련 오브젝트들(802), 문자들 및 텍스트들을 프로세싱한다.
[0101] 블록(1014)에서, 프로세서(932)는 유저 요청 또는 컨텍스트에 따라 관련 정보에 대해 이미지(715)의 텍스트를 파싱한다. 텍스트는 컨볼루션 피처 맵(804)에 의해 생성된다.
[0102] 블록(1016)에서, 프로세서(932)는 약어들 및 숫자들을 확장하기 위해 텍스트를 사전 프로세싱한다. 이것은 약어(abbreviation)들을 텍스트 단어들로, 그리고 수치들을 텍스트 단어들로 변환하는 것을 포함할 수 있다.
[0103] 블록(1018)에서, 프로세서(932)는 미지의 단어들에 대해 어휘 목록 또는 규칙들을 사용하여 문자소(grapheme) 대 음소(phoneme) 변환을 수행한다. 문자소는 임의의 주어진 언어의 쓰기 시스템의 최소 단위이다. 음소는 주어진 언어의 음성 사운드이다.
[0104] 블록(1020)에서, 프로세서(932)는 지속 기간 및 억양에 대한 모델을 적용하는 것에 의해 음향 파라미터들을 계산한다. 지속 기간은 두 이벤트들 사이의 경과된 시간의 양이다. 억양은, 단어들을 의의소(sememe)(음조(tone)로서 공지되어 있는 개념)로서 구별하기 위한 것이 아니라, 오히려 화자의 태도들 및 감정들을 나타내는 것과 같은 다양한 다른 기능들을 위해 사용될 때 발화된 피치(spoken pitch)에서의 변동이다.
[0105] 블록(1022)에서, 프로세서(932)는 음향 파라미터들을 합성기(synthesizer)를 통해 통과시켜 음소 스트링으로부터 사운드들을 생성한다. 합성기는 프로세서(932)에 의해 실행되는 소프트웨어 기능이다.
[0106] 블록(1024)에서, 프로세서(932)는 이미지(715)의 오브젝트들(802)뿐만 아니라, 문자들 및 텍스트를 나타내는 오디오를 스피커(132)를 통해 재생한다. 오디오는 적절한 지속 기간 및 억양을 갖는 하나 이상의 단어들일 수 있다. 단어의 명백한 분석에 기초하여 임의의 단어가 재생될 수 있도록, 단어들에 대한 오디오 사운드들은 사전 녹음되고, 메모리(934)에 저장되며 합성된다. 합성의 경우 특정한 단어들에 대해서도 억양 및 지속 기간이 역시 메모리(934)에 저장될 수 있다.
[0107] 도 11은 지원 모드 알고리즘(946) 및 메모리(934)에 저장되는 명령어들을 실행하는 고속 프로세서(932)에 의해 생성되는 아이웨어의 다른 컴포넌트들을 포함하는 아이웨어 디바이스(100/200)의 동작을 예시하는 플로우차트(1100)이다. 순차적으로 발생하는 것으로 도시되지만, 도 11의 블록들은 구현예에 따라 재정렬되거나 또는 병렬화될 수 있다.
[0108] 블록(1102)에서, 아이웨어 유저가 혼잡한 장면 또는 미지의 장애물을 내비게이팅하기 위한 오디오 지시들을 수신하는 것과 같은 원격 도움을 원하는 경우, 아이웨어 유저는 원격 도움을 제공하도록 아이웨어 디바이스(100/200)를 트리거한다. 하나의 예에서, 이것은 아이웨어 유저가 아이웨어 디바이스(100/200)의 입력을 선택하는 것, 예컨대 볼륨 버튼을 더블 클릭하는 것, 또는 보이스 커맨드를 생성하는 것, 예컨대 어구 "도움을 제공해줘"를 말하는 것을 포함한다.
[0109] 블록(1104)에서, 프로세서(932)는 카메라들(114A-B)에 의해 생성되는 이미지들(715)을 통신들 네트워크(995)를 통해 원격 디바이스(991)로 스트리밍하는 것에 의해 트리거에 응답한다. 옵션 사항으로, 아이웨어 디바이스(100/200) 부근에서 캡쳐되는 오디오는 프로세서(932)에 의해 원격 디바이스(991)로 역시 스트리밍된다. 아이웨어 디바이스(100/200)는 저전력 링크(925)를 통해 모바일 디바이스(990) 및 통신들 네트워크(995)를 통해, 또는 통신들 네트워크(995)를 통해 직접적으로 통신할 수 있다. 원격 디바이스(991)의 원격 오퍼레이터는 스트리밍된 비디오를 보고, 스트리밍된 오디오를 듣고, 모바일 디바이스(991)의 마이크에 의해 수신되며 아이웨어(100/200)로 전송하도록 프로세싱되는 오디오 지시들, 예컨대 혼잡한 장면 또는 미지의 장애물을 내비게이팅하는 방법에 대한 조언을 생성한다.
[0110] 블록(1106)에서, 아이웨어(100/200)의 프로세서(932)는 통신들 네트워크(995)를 통해 원격 디바이스(991)의 원격 오퍼레이터로부터 오디오 지시들을 수신한다. 오디오 지시들은 프로세싱되고, 그 다음, 오디오 지시들을 나타내는 오디오가 스피커(132)에 의해 생성된다. 원격 디바이스(990)는 논의되는 바와 같이 오디오 지시들을 아이웨어(100/200)로 전달하기 위해 사용될 수 있거나 또는 사용되지 않을 수 있다. 아이웨어 유저는 오디오 지시들에 기초하여 혼잡한 장면 또는 미지의 장애물을 내비게이팅할 수 있다.
[0111] 본원에서 사용되는 용어들 및 표현들은, 특정한 의미들이 본원에서 달리 기재되는 경우를 제외하면, 조사 및 연구의 그들의 대응하는 개개의 영역들과 관련하여 그러한 용어들 및 표현들에 부여되는 일반적인 의미를 갖는다는 것이 이해될 것이다. 제1 및 제2 등과 같은 관계 용어들은, 전적으로, 하나의 엔티티 또는 액션을 다른 것으로부터, 그러한 엔티티들 또는 액션들 사이의 임의의 실제의 그러한 관계 또는 순서를 반드시 요구하거나 또는 암시하지 않으면서, 구별하기 위해 사용될 수 있다. 용어들 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)", 또는 이들의 임의의 다른 변형어는 비배타적인 포함을 포괄하도록 의도되며, 그 결과, 엘리먼트들 또는 단계들의 목록을 포함하는(comprises) 또는 포함하는(includes) 프로세스, 방법, 물품, 또는 장치는 그들 엘리먼트들 또는 단계들만을 포함하는 것이 아니라, 그러한 프로세스, 방법, 물품, 또는 장치에 내재하는 또는 명시적으로 나열되지 않은 다른 엘리먼트들 또는 단계들을 포함할 수 있다. 단수형 표현이 선행하는 엘리먼트는, 추가적인 제약들 없이, 그 엘리먼트를 포함하는 프로세스, 방법, 물품, 또는 장치에서의 추가적인 동일한 엘리먼트들의 존재를 배제하지는 않는다.
[0112] 달리 명시되지 않는 한, 후속하는 청구항들을 비롯하여, 본 명세서에 기재되는 임의의 및 모든 측정치들, 값들, 평가(rating)들, 포지션들, 크기들, 사이즈들, 및 다른 명세들은, 정확한 것이 아니라, 대략적인 것이다. 그러한 양들은, 그들이 관련되는 기능들과 그리고 그들이 속하는 기술 분야에서 관례적인 것과 일치하는 합리적인 범위를 가지도록 의도된다. 예를 들면, 명시적으로 달리 언급되지 않는 한, 파라미터 값 등은 언급된 양에서 ±10 %만큼 변할 수 있다.
[0113] 또한, 전술한 발명을 실시하기 위한 구체적인 내용(Detailed Description)에서, 개시내용을 간소화하는 목적을 위해 다양한 피처들이 다양한 예들에서 함께 그룹화된다는 것을 알 수 있다. 개시내용의 이 방법은, 청구된 예들이 각각의 청구항에서 명시적으로 기재되는 것보다 더 많은 피처들을 요구한다는 의도를 반영하는 것으로 해석되어서는 안된다. 오히려, 후속하는 청구항들이 반영하는 바와 같이, 보호될 주제는 임의의 단일의 개시된 예의 모든 피처들보다 더 적은 피처들 내에 놓여 있다. 따라서, 다음의 청구항들은 발명을 실시하기 위한 구체적인 내용에 이로써 통합되는데, 각각의 청구항은 별개로 청구된 주제로서 자체적으로 존재한다.
[0114] 전술한 내용이 최선의 모드인 것으로 간주되는 것들 및 다른 예들을 설명하였지만, 그 내에서 다양한 수정들이 이루어질 수 있다는 것 및 본원에서 개시되는 주제는 다양한 형태들 및 예들에서 구현될 수 있다는 것, 및 그들은 다양한 애플리케이션들 ― 그들 중 일부만이 본원에서 설명되었음 ― 에서 적용될 수 있다는 것이 이해된다. 본 개념들의 진정한 범위 내에 속하는 임의의 및 모든 수정예들 및 변형예들을 청구한다는 것이 다음의 청구항들에 의해 의도된다.

Claims (20)

  1. 아이웨어(eyewear)로서,
    프레임;
    상기 프레임에 의해 지지되는 광학 엘리먼트;
    상기 프레임에 커플링되며 물리적 오브젝트의 이미지를 생성하도록 구성되는 카메라; 및
    전자 프로세서를 포함하고, 상기 전자 프로세서는:
    상기 카메라로부터의 상기 이미지를 프로세싱하여 상기 물리적 오브젝트의 기하학적 피처를 검출하도록, 그리고
    상기 물리적 오브젝트를 나타내는 오디오 경고를 생성하도록 구성되는, 아이웨어.
  2. 제1항에 있어서,
    상기 전자 프로세서는 상기 물리적 오브젝트의 상기 기하학적 피처를 검출하기 위해 SIFT(scale-invariant feature transform) 알고리즘을 사용하도록 구성되는, 아이웨어.
  3. 제1항에 있어서,
    상기 이미지는 삼차원 깊이 맵인, 아이웨어.
  4. 제1항에 있어서,
    상기 프로세서는 상기 물리적 오브젝트의 에지를 검출하도록 구성되는, 아이웨어.
  5. 제4항에 있어서,
    상기 물리적 오브젝트의 상기 에지를 검출하도록 구성되는 캐니(Canny) 에지 검출기를 더 포함하는, 아이웨어.
  6. 제1항에 있어서,
    상기 오디오 경고는 상기 아이웨어로부터 상기 물리적 오브젝트의 거리를 나타내는, 아이웨어.
  7. 제1항에 있어서,
    상기 오디오 경고는 상기 물리적 오브젝트의 타입을 나타내는, 아이웨어.
  8. 제1항에 있어서,
    상기 광학 엘리먼트는 씨쓰루 디스플레이(see-through display)를 포함하는, 아이웨어.
  9. 프레임, 상기 프레임에 의해 지지되는 광학 엘리먼트, 및 상기 프레임에 커플링되며 물리적 오브젝트의 이미지를 생성하도록 구성되는 카메라, 및 전자 프로세서를 구비하는 아이웨어와 함께 사용하기 위한 방법으로서,
    상기 카메라로부터의 상기 이미지를 프로세싱하여 상기 물리적 오브젝트의 기하학적 피처를 검출하는 단계, 및
    상기 물리적 오브젝트를 나타내는 오디오 경고를 생성하는 단계를 포함하는, 아이웨어와 함께 사용하기 위한 방법.
  10. 제9항에 있어서,
    상기 전자 프로세서는 상기 물리적 오브젝트의 상기 기하학적 피처를 검출하기 위해 SIFT(scale-invariant feature transform) 알고리즘을 사용하는, 아이웨어와 함께 사용하기 위한 방법.
  11. 제10항에 있어서,
    상기 이미지는 삼차원 깊이 맵인, 아이웨어와 함께 사용하기 위한 방법.
  12. 제9항에 있어서,
    상기 프로세서는 상기 물리적 오브젝트의 에지를 검출하는, 아이웨어와 함께 사용하기 위한 방법.
  13. 제12항에 있어서,
    상기 프로세서는 상기 물리적 오브젝트의 상기 에지를 검출하기 위해 캐니 에지 검출기를 사용하는, 아이웨어와 함께 사용하기 위한 방법.
  14. 제9항에 있어서,
    상기 오디오 경고는 상기 아이웨어로부터 상기 물리적 오브젝트의 거리를 나타내는, 아이웨어와 함께 사용하기 위한 방법.
  15. 제9항에 있어서,
    상기 오디오 경고는 상기 물리적 오브젝트의 타입을 나타내는, 아이웨어와 함께 사용하기 위한 방법.
  16. 제9항에 있어서,
    상기 광학 엘리먼트는 씨쓰루 디스플레이를 포함하는, 아이웨어와 함께 사용하기 위한 방법.
  17. 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 프로그램 코드는, 실행시, 프레임, 상기 프레임에 의해 지지되는 광학 엘리먼트, 및 상기 프레임에 커플링되며 하나 이상의 피처들을 갖는 물리적 오브젝트의 이미지를 생성하도록 구성되는 카메라를 구비하는 아이웨어의 프로세서로 하여금:
    상기 카메라로부터의 상기 이미지를 프로세싱하여 상기 물리적 오브젝트의 기하학적 피처를 검출하는 단계, 및
    상기 물리적 오브젝트를 나타내는 오디오 경고를 생성하는 단계
    를 수행하게 하는, 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체.
  18. 제17항에 있어서,
    상기 프로그램 코드는, 상기 물리적 오브젝트의 상기 기하학적 피처를 검출하기 위해, 실행시, 상기 프로세서로 하여금, SIFT(scale-invariant feature transform) 알고리즘을 사용하게 하도록 동작하는, 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체.
  19. 제17항에 있어서,
    상기 프로그램 코드는, 실행시, 상기 프로세서로 하여금, 상기 물리적 오브젝트의 에지를 검출하게 하도록 동작하는, 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제17항에 있어서,
    상기 프로그램 코드는, 상기 물리적 오브젝트의 에지를 검출하기 위해, 실행시, 상기 프로세서로 하여금, 캐니 에지 검출기를 사용하게 하도록 동작하는, 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체.
KR1020237001455A 2020-06-16 2021-06-02 기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어 KR20230025697A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/902,850 US20210390882A1 (en) 2020-06-16 2020-06-16 Blind assist eyewear with geometric hazard detection
US16/902,850 2020-06-16
PCT/US2021/035496 WO2021257280A1 (en) 2020-06-16 2021-06-02 Blind assist eyewear with geometric hazard detection

Publications (1)

Publication Number Publication Date
KR20230025697A true KR20230025697A (ko) 2023-02-22

Family

ID=76624236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237001455A KR20230025697A (ko) 2020-06-16 2021-06-02 기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어

Country Status (5)

Country Link
US (1) US20210390882A1 (ko)
EP (1) EP4164565A1 (ko)
KR (1) KR20230025697A (ko)
CN (1) CN115715177A (ko)
WO (1) WO2021257280A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131277A1 (en) * 2018-12-20 2020-06-25 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US20230031871A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in a smart glass
CN117058749B (zh) * 2023-08-17 2024-06-07 深圳市华弘智谷科技有限公司 一种多摄像头透视方法、装置、智能眼镜及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198222A1 (en) * 2007-02-02 2008-08-21 Sanjay Gowda System and method for tele-presence
US10838210B2 (en) * 2016-07-25 2020-11-17 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10679368B2 (en) * 2017-12-21 2020-06-09 Intel IP Corporation Methods and apparatus to reduce depth map size in collision avoidance systems
US11568640B2 (en) * 2019-09-30 2023-01-31 Lenovo (Singapore) Pte. Ltd. Techniques for providing vibrations at headset

Also Published As

Publication number Publication date
EP4164565A1 (en) 2023-04-19
WO2021257280A1 (en) 2021-12-23
CN115715177A (zh) 2023-02-24
US20210390882A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
US11900729B2 (en) Eyewear including sign language to speech translation
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US20210390882A1 (en) Blind assist eyewear with geometric hazard detection
US20210375301A1 (en) Eyewear including diarization
US11830494B2 (en) Wearable speech input-based vision to audio interpreter
US11783582B2 (en) Blindness assist glasses
US11215846B1 (en) Wearable proximity sensing array for the visually impaired
US20240045214A1 (en) Blind assist glasses with remote assistance
US11982814B2 (en) Segmented illumination display
US11538499B1 (en) Video highlights with auto trimming
US11955135B2 (en) Wearable speech input-based to moving lips display overlay
US11852500B1 (en) Navigation assistance for the visually impaired
US20220323286A1 (en) Enabling the visually impaired with ar using force feedback
US11798282B1 (en) Video highlights with user trimming
US20230168522A1 (en) Eyewear with direction of sound arrival detection
EP4392968A1 (en) Eyewear with translation from speech signals to images of moveable lips for overlay on a display

Legal Events

Date Code Title Description
A201 Request for examination