KR20210103541A - 입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 가요성 안경류 디바이스 - Google Patents

입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 가요성 안경류 디바이스 Download PDF

Info

Publication number
KR20210103541A
KR20210103541A KR1020217022640A KR20217022640A KR20210103541A KR 20210103541 A KR20210103541 A KR 20210103541A KR 1020217022640 A KR1020217022640 A KR 1020217022640A KR 20217022640 A KR20217022640 A KR 20217022640A KR 20210103541 A KR20210103541 A KR 20210103541A
Authority
KR
South Korea
Prior art keywords
offset
calibration
eyewear
image
image capture
Prior art date
Application number
KR1020217022640A
Other languages
English (en)
Inventor
존 버나드 아디사나 2세
데이비드 벤 에즈라
니르 다우베
마티아스 힌터만
사기 가츠
나티 클링거
마이클 라이너
아슈토시 와이. 슈클라
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20210103541A publication Critical patent/KR20210103541A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H04N5/2253—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

한 쌍의 이미지 캡처 디바이스들을 포함하는 안경류에 대한 3-차원 이미지 교정 및 프리젠테이션이 설명된다. 교정 및 프리젠테이션은, 안경류에 대한 지지 구조의 굴곡을 수용하기 위해 교정 오프셋을 획득하는 것, 획득된 교정 오프셋에 의해 3차원 렌더링 오프셋을 조정하는 것, 그리고 3-차원 렌더링 오프셋을 사용하여 입체 이미지들을 제시하는 것을 포함한다.

Description

입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 가요성 안경류 디바이스
[0001] 본 출원은 2018년 12월 20일에 출원되고 발명이 명칭이 FLEXIBLE EYEWEAR DEVICE WITH DUAL CAMERAS FOR GENERATING STEREOSCOPIC IMAGES인 미국 가출원 일련 번호 제62/782,885호를 우선권으로 주장하며, 이 문서의 내용들은 전체가 본원에 인용에 의해 포함된다.
[0002] 본 청구 대상은 이미지 캡처 안경류, 예컨대, 스마트 글래스(smart glasses)에 관한 것으로, 특히 입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 이미지 캡처 안경류에 관한 것이다.
[0003] 장면의 입체 이미지들은 3-차원 효과를 생성하는 데 유용하다. 일반적으로 제1 카메라는 장면의 제1 이미지를 캡처하고 제2 카메라는 동일한 장면의 제2 이미지를 캡처한다. 제1 및 제2 카메라들은 서로 고정된 관계를 갖는다. 3-차원 디스플레이 시스템은 원하는 3-차원 효과를 생성하기 위해 캡처된 제1 이미지를 관찰자의 하나의 눈에 제시하고 캡처된 제2 이미지를 관찰자의 다른 눈에 제시한다. 사실적인 3-차원 효과를 제공하기 위해 제1 카메라와 제2 카메라 간의 관계가 중요하다. 예컨대, 카메라들이 장착되는 지지 구조의 구부러짐으로 인해 제1 카메라와 제2 카메라 사이의 관계가 고정된 관계로부터 벗어나는 경우, 3-차원 경험이 악영향을 받는다.
[0004] 도면은 제한들이 아니라, 단지 예로서만 구현들을 도시한다. 도면들에서, 유사한 참조 번호들은 동일하거나 유사한 엘리먼트들을 지칭한다. 복수의 유사한 엘리먼트들이 존재할 때, 특정 엘리먼트들을 참조하는 소문자 지정들을 이용하여 복수의 유사한 엘리먼트들에 단일 참조 번호가 할당될 수 있다. 엘리먼트들을 집합적으로 또는 엘리먼트들 중 비-특정의 하나 또는 그 초과의 엘리먼트들을 지칭할 때, 소문자 지정들이 생략될 수 있다.
[0005] 도 1a는 듀얼 카메라들 및 듀얼 카메라들 및 다른 전자 컴포넌트들을 지지하는 지지 구조를 포함하는 이미지 캡처 안경류 예의 사시도이다.
[0006] 도 1b는 이미지 캡처 안경류를 착용한 사용자의 머리를 수용하기 위해 이미지 캡처 안경류에 의해 정의된 구역을 예시하는, 도 1a의 이미지 캡처 안경류 예의 평면도이다.
[0007] 도 1c는 듀얼 카메라들의 위치들 및 안경류의 가요성을 보여주는, 도 1a의 이미지 캡처 안경류 예의 평면도이다.
[0008] 도 1d는 상이한 굽힘 포지션들에서 듀얼 카메라들의 개개의 시야들을 보여주는, 도 1a의 이미지 캡처 안경류 예의 다른 평면도이다.
[0009] 도 2는 네트워크를 통한 개인 컴퓨팅 디바이스 및 수신자와의 통신, 및 도 1a의 이미지 캡처 안경류 예에 의해 지원되는 전자 컴포넌트들의 예의 블록도이다.
[0010] 도 3a는 듀얼 카메라들의 교정을 수행하기 위한 듀얼 카메라 안경류의 동작의 예를 보여주는 흐름도이다.
[0011] 도 3b는 교정 결과를 사용하여 입체 이미징을 수행하기 위한 듀얼 카메라 안경류의 동작의 예의 추가 세부사항들을 보여주는 흐름도이다.
[0012] 다음의 상세한 설명에서, 관련 교시내용들의 완전한 이해를 제공하기 위해, 예들로서 다수의 특정한 세부사항들이 기술된다. 그러나, 이들 세부사항들이 본 교시내용들을 실시하는데 필수적인 것은 아니라는 것이 당업자들에게는 명백해야 한다. 다른 경우들에서, 잘 알려진 방법들, 절차들, 컴포넌트들 및 회로의 세부사항 없는 비교적 고레벨 설명은 본 교시내용들의 양상들을 불필요하게 모호하게 하는 것을 회피한다.
[0013] 본원에서 사용되는 바와 같은 "커플링"이라는 용어는 하나의 시스템 엘리먼트에 의해 생성되거나 공급되는 신호들 또는 광이 다른 커플링된 엘리먼트에 부여되는 임의의 논리적, 광학적, 물리적 또는 전기적 연결, 링크 등을 지칭한다. 달리 설명되지 않는 한, 커플링된 엘리먼트들 또는 디바이스들은 반드시 서로 물리적으로 연결될 필요는 없고, 광 또는 신호들을 수정, 조작 또는 전달할 수 있는 공역(airspace), 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있다.
[0014] 도면들 중 임의의 것에 도시된 바와 같은 이미지 캡처 안경류, 연관된 컴포넌트들, 및 LED를 통합하는 임의의 디바이스들의 배향들은 단지 예로서 예시 및 논의 목적들을 위한 것이다. 동작 시에, 이미지 캡처 안경류의 배향은 이미지 캡처 안경류의 특정 애플리케이션에 적합한 다른 방향들 예컨대, 위, 아래, 옆으로 또는 임의의 다른 배향에 있을 수 있다. 또한, 전방, 후방, 안쪽, 바깥쪽, 향해, 좌측, 우측, 측방향, 종방향, 위, 아래, 상위, 하위, 최상부, 최하부 및 측과 같은 임의의 방향 용어는 방향 또는 배향에 관해 제한하는 것이 아니라 예시적이다.
[0015] 예시적인 이미지 캡처 안경류는 광학 엘리먼트, 전자 컴포넌트들, 듀얼 카메라들을 포함하는 전자 컴포넌트들 및 광학 엘리먼트를 지지하도록 구성된 지지 구조, 및 전자 컴포넌트들에 커플링되고 지지 구조에 의해 지지되는 디스플레이 시스템을 갖는다. 듀얼 카메라들은 3-차원 이미지들을 렌더링하고 그리고/또는 3-차원 효과를 생성하는데 사용하기 위해 입체 이미지들을 캡처한다.
[0016] 도 1a는 예시적인 이미지 캡처 안경류(12) 상의 제1 카메라(10) 및 제2 카메라(11)의 전방 사시도를 도시한다. 예시된 이미지 캡처 안경류(12)는 중앙 프레임 부분(16)으로부터 연장되는 템플(temple)들(14A 및 14B)을 갖는 지지 구조(13)를 포함한다. 이미지 캡처 안경류(12)는 부가적으로 관절식 연결부(articulated joint)들(18A 및 18B), 전자 컴포넌트들(20A 및 20B), 및 코어 와이어들(22A, 22B 및 24)을 포함한다. 예시된 이미지 캡처 안경류(12)는 글래스이지만, 이미지 캡처 안경류는 헤드셋, 헤드 기어, 헬멧, 또는 사용자에 의해 착용될 수 있는 다른 디바이스와 같은 다른 형태들을 취할 수 있다.
[0017] 지지 구조(13)는 제1 및 제2 카메라들(10, 11)을 지지한다. 지지 구조(13)는 또한 사용자에 의해 착용될 때 사용자의 시야 내의 하나 이상의 광학 엘리먼트들을 지지한다. 예컨대, 중앙 프레임 부분(16)은 하나 이상의 광학 엘리먼트들을 지지한다. 본원에서 사용되는 바와 같은 "광학 엘리먼트들"이라는 용어는 렌즈들, 투명 유리 또는 플라스틱 조각들, 프로젝터들, 스크린들, 디스플레이들 및 시각적 이미지들을 제시하거나 사용자가 시각적 이미지들을 지각하게 하는 다른 디바이스들을 지칭한다. 일 예에서, 개개의 템플들(14A 및 14B)은 개개의 관절식 연결부들(18A 및 18B)에서 중앙 프레임 부분(16)에 연결된다. 예시된 템플들(14A 및 14B)은 내부에서 종방향으로 연장되는 코어 와이어들(22A 및 22B)을 갖는 세장형 부재들이다.
[0018] 도 1a에서 템플(14A)은 웨어러블 상태로 예시되고 템플(14B)은 접힌 상태로 예시된다. 도 1a에 도시된 바와 같이, 관절식 연결부(18A)는 템플(14A)을 중앙 프레임 부분(16)의 우측 단부 부분(26A)에 연결한다. 유사하게, 관절식 연결부(18B)는 템플(14B)을 중앙 프레임 부분(16)의 좌측 단부 부분(26B)에 연결한다. 중앙 프레임 부분(16)의 우측 단부 부분(26A)은 내부에 전자 컴포넌트들(20A)을 탑재하는 하우징을 포함한다. 좌측 단부 부분(26B)은 또한 내부에 전자 컴포넌트들(20B)을 탑재하는 하우징을 포함한다. 하우징은 중앙 프레임과 일체로 형성되거나, 개개의 템플들(14A, 14B)과 일체로 형성되거나, 별개의 컴포넌트들로서 형성될 수 있다.
[0019] 플라스틱 재료 또는 다른 재료는 인접한 관절식 연결부(18A)로부터 템플(14A)의 제2 종방향 단부를 향해 종방향으로 연장되는 코어 와이어(22A)를 매립한다. 유사하게, 플라스틱 재료 또는 다른 재료는 또한 인접한 관절식 연결부(18B)로부터 템플(14B)의 제2 종방향 단부를 향해 종방향으로 연장되는 코어 와이어(22B)를 매립한다. 플라스틱 재료 또는 다른 재료는 부가적으로, (인접한 전자 컴포넌트들(20A)에서 종결되는) 우측 단부 부분(26A)으로부터 (인접한 전자 컴포넌트들(20B)에서 종결되는) 좌측 단부 부분(26B)으로 연장되는 코어 와이어(24)를 매립한다.
[0020] 전자 컴포넌트들(20A 및 20B)은 지지 구조(13)에 의해(예컨대, 템플(들)(14A, 14B) 및/또는 중앙 프레임 부분(16) 중 어느 하나 또는 둘 모두에 의해) 지지된다. 전자 컴포넌트들(20A 및 20B)은 전원, 전력 및 통신 관련 회로, 통신 디바이스들, 디스플레이 디바이스들, 컴퓨터, 메모리, 모듈들 등(도시되지 않음)을 포함한다. 전자 컴포넌트들(20A 및 20B)은 또한 상이한 관점들로부터 이미지들 및/또는 비디오들을 캡처하기 위한 듀얼 카메라들(10 및 11)을 포함하거나 지지할 수 있다. 이러한 이미지들은 융합되어 입체 이미지들/비디오들을 생성할 수 있다. 또한, 이미지 캡처 안경류의 동작 상태를 표시하는 표시기 LED들 및 캡처된 비디오와 일치하는 오디오를 캡처하기 위한 하나 이상의 마이크로폰들이 포함된다(그러나 도면에 도시되지 않음).
[0021] 일 예에서, 템플들(14A 및 14B) 및 중앙 프레임 부분(16)은 코어 와이어들(22A, 22B 및 24)이 그 내부에 매립되어 있는 플라스틱 재료, 셀룰로오스 플라스틱(예컨대, 셀룰로오스 아세테이트), 친환경 플라스틱(eco-plastic) 재료, 열가소성 재료 등으로 구성된다. 코어 와이어들(22A, 22B 및 24)은 구조(13)(즉, 템플(들)(14A, 14B) 및/또는 중앙 프레임 부분(16))을 지지하기 위한 구조적 무결성을 제공한다. 부가적으로, 코어 와이어들(22A, 22B 및/또는 24)은 전자 컴포넌트들(20A 및 20B)에 인접하여 로컬화된 가열 가능성을 감소시키도록 전자 컴포넌트들(20A 및 20B)에 의해 생성된 열을 그로부터 멀리 전달하는 열 싱크(heat sink)로서 작용한다. 따라서, 코어 와이어들(22A, 22B 및/또는 24)은 열 소스에 대한 열 싱크를 제공하기 위해 열 소스에 열적으로 커플링된다. 코어 와이어들(22A, 22B 및/또는 24)은 예컨대, 비교적 가요성 전도성 금속 또는 금속 합금 재료 이를테면, 알루미늄, 알루미늄 합금, 니켈-은 합금들 및 스테인리스 강 중 하나 이상을 포함할 수 있다.
[0022] 도 1b에 예시된 바와 같이, 지지 구조(13)는 사용자/착용자의 머리의 부분(52)(예컨대, 메인 부분)을 수용하기 위한 구역(예컨대, 프레임(12) 및 템플들(14A 및 14B)에 의해 정의된 구역(52))을 정의한다. 정의된 구역(들)은 사용자가 이미지 캡처 안경류(12)를 착용중일 때, 지지 구조에 의해 에워싸이고, 지지 구조에 의해 둘러싸이고, 지지 구조에 인접하고 및/또는 지지 구조 근처에 있는 사용자의 머리의 적어도 일부를 수용하는 하나 이상의 구역들이다.
[0023] 위에서 설명된 바와 같이, 이미지 캡처 안경류(12)는 입체 이미지들을 캡처하기 위한 듀얼 카메라들(10, 11)을 갖는다. 듀얼 카메라들(10, 11)의 단순화된 부감도가 도 1c에 도시되며, 여기서 프레임(13)은 프레임(13)의 개개의 반대 측들(즉, 좌측 및 우측)에 통합된 카메라들(10, 11)을 포함한다. 제1 카메라(10)는 제1 시선(30)을 갖고, 제2 카메라(11)는 제2 시선(30)을 갖는다. 일 예에서, 프레임(13)이 구부러지지 않으면, 제1 및 제2 시선(30, 31)은 실질적으로 평행하다. 일반적으로 입체 이미징은 둘 이상의 오프셋 2-차원(2D) 이미지들로부터 깊이를 갖는 3-차원(3D) 이미지인 것처럼 보이는 것을 생성하기 위한 기술이다. 입체 이미징은 자신의 개개의 좌측 눈 및 우측 눈으로 오프셋 이미지들을 캡처하는 사람들에 의해 자연스럽게 수행된다. 그 후, 이러한 오프셋 이미지들은 뇌에 의해 결합되어 3D 이미지(즉, 깊이를 갖는 이미지)인 것처럼 보이는 이미지를 형성한다.
[0024] 3-차원 이미지들의 생성 및/또는 3-차원 효과의 생성은 일반적으로 입체 이미지들의 융합을 요구한다. 예컨대, 입체 이미징 알고리즘은 알려진 시선들, 시선들의 분리, 및/또는 카메라들의 시야들을 사용하여 입체 이미지들을 융합함으로써 3-차원 이미지를 생성할 수 있다. 입체 이미징 알고리즘은 알려진 시선들, 시선들의 분리 및/또는 카메라들의 시야를 사용하여, 디스플레이를 통해 관찰자의 제1 눈에 입체 이미지들 중 제1 이미지를 제시하고 동일하거나 상이한 디스플레이를 통해 관찰자의 제2 눈에 입체 이미지들 중 제2 이미지를 제시함으로써 3차원 효과를 생성할 수 있다.
[0025] 입체 이미징 알고리즘은 입체 이미지들로부터 장면에 관한 정보를 비교함으로써 예컨대, 2개의 이미지들에서 오브젝트들의 상대적 포지션들을 조사함으로써 깊이 정보를 추출할 수 있다. 통상적인 스테레오 비전에서, 일 장면 상에서 2개의 상이한 뷰들을 획득하기 위해 서로 수평으로 배치된 2개의 카메라들이 사용된다. 이들 두 이미지들을 비교함으로써, 대응하는 이미지 포인트들의 수평 좌표들의 차이를 인코딩하는 디스패리티 맵(disparity map)의 형태로 상대적인 깊이 정보가 획득될 수 있다. 이 디스패리티 맵의 값들은 대응하는 픽셀 위치의 장면 깊이에 반비례한다.
[0026] 사람이 3-차원 효과를 경험하기 위해, 입체 디바이스는 우측 카메라(10)로부터의 이미지가 관찰자의 우측 눈에 보여지고 좌측 카메라(11)로부터의 이미지가 좌측 눈에 보여지는 상태로, 입체 이미지들을 중첩한다. 화상 품질을 증가시키기 위해 이미지들이 사전 프로세싱될 수 있다. 예컨대, 이미지들은 (예컨대, "어안” 렌즈로 획득되었기 때문에) 먼저 왜곡을 제거하도록 프로세싱될 수 있다. 예컨대, 관찰된 이미지가 이상적인 핀홀 카메라의 투영과 매칭하도록 보장하기 위해 배럴 왜곡 및 접선 왜곡이 제거될 수 있다. 이미지는 부가적으로 이미지 조절(image rectification)로서 알려지는, 이미지 쌍들의 비교를 허용하기 위해 공통 평면에 다시 투영될 수 있다. 2개의 이미지들을 비교하는 정보 측정이 최소화된다. 이는, 2개의 이미지들에서 피처들의 포지션의 최상의 추정을 제공하고, 디스패리티 맵을 생성한다. 선택적으로, 수신된 디스패리티 맵은 3-차원 포인트 클라우드 내로 투영된다. 카메라의 투영 파라미터들을 활용함으로써, 포인트 클라우드가 컴퓨팅되어서, 알려진 규모의 측정들이 제공된다.
[0027] 3-차원 효과를 생성하기 위해 입체 이미지를 제시하기 위한 알고리즘(들)은 개개의 카메라들 사이의 상대적인 시선들/시야들에 의존한다. 이 정보가 없으면, 알고리즘(들)은 원하는 3-차원 효과를 달성하기 위해 입체 이미지들을 적절하게 융합/디스플레이할 수 없을 수 있다.
[0028] 모든 안경류는 사용자 편의를 위해 약간의 유연성을 허용하면서 안경류 컴포넌트들의 지지를 가능하게 하는 강성을 갖는다. 그러나 이러한 유연성은 원하는 3-차원 효과를 생성하기 위한 적합한 입체 이미지들의 캡처 - 이는 위에서 설명된 바와 같이 카메라들이 서로에 대해 알려진 시선들/시야들을 갖도록 요구함 - 를 복잡하게 한다.
[0029] 예컨대, 입체 이미징 알고리즘은 서로 실질적으로 평행한 시선들을 갖는, 도 1c에 도시된 바와 같은 카메라들의 알려진 시야들에 기초하여 세팅될 수 있다. 그러나, 도 1d에 도시된 바와 같이, 사용자가 안경류(12)를 자신의 머리 상에 놓을 때, 프레임(13)은 템플들(14A, 14B)이 휘어진 템플 포지션들(14A', 14B')로 바깥쪽으로 휘어짐으로 인해 구부러져, 카메라들(10, 11)의 배향의 변화를 초래할 수 있다. 카메라들(10, 11)의 배향이 변경될 때, 카메라들(10, 11)의 원래 시선들(30, 31)은 새로운 카메라 배향(10', 11')에 대한 구부러진 시선들(30', 31')로 개개의 가변 각도(23A, 23B) 만큼 시프트된다. 따라서, 카메라들(10 및 11)의 시선들(30', 31')은 더 이상 서로 평행하지 않을 것이다.
[0030] 이러한 구부러짐으로 인한 가변 각도들(23A, 23B)은 템플들(14A, 14B)의 강성, 프레임(13)의 강성, 사용자 머리의 크기 등에 의존한다. 따라서 카메라들(10, 11)의 상대적인 시야들은 상이한 착용자들에 대해 상이할 수 있다. 카메라(10)의 구부러지지 않은 시야는 라인들(25A 내지 25B)에 의해 표현된 시야로부터 25A’ 내지 25B'로 표현된 시야로 각도(23A)만큼 변경된다. 카메라(10)의 구부러지지 않은 시야는 라인들(25C 내지 25D)에 의해 표현된 시야로부터 25C’ 내지 25D'에 의해 표현된 시야로 각도(23A)만큼 변경된다. 일 예에서, 입체 이미지 알고리즘은 카메라들을 교정하여 카메라의 상대적인 시야를 결정한다.
[0031] 단지 2개의 굴곡(flexure) 상태들만이 도 1d에 예시되지만, 굴곡은 본질적으로 안경류(12)를 통해 연장되는 임의의 축을 따라 및/또는 그 주위에서 발생할 수 있다. 굴곡의 범위는 프레임(13)의 구조적 강성에 의존하는 최소치 및 최대치를 가질 수 있다. 일반적으로 프레임 강성이 증가하고 그리고/또는 템플 강성이 감소함에 따라, 굴곡의 범위가 감소한다. 따라서, 안경류는 모든 축 및 굴곡 각도를 따라 수락 가능한 레벨로 굴곡 범위를 제한하는 미리 결정된 강성을 갖도록 설계 및 제조될 수 있다. 강성은 프레임을 구성하는 데 사용되는 재료들에 기초하여 설계될 수 있다. 예컨대, 크로스바(예컨대, 금속)는 프레임들의 굴곡을 제한하고 그에 따라, 입체 이미지를 생성하기 위해 수락 가능한 미리 결정된 범위로 카메라들(10, 11)의 시선들/시야들의 움직임을 제한하기 위해 라인(21)을 따라 프레임들에 통합된다.
[0032] 일반적으로 안경류(12)는 입체 이미지들을 생성하기 전에 교정을 수행한다. 교정 알고리즘은 양 카메라들(10 및 11)로부터 이미지들을 캡처하고 카메라들 각각에 의해 캡처된 대응하는 이미지들 간의 피처들을 매칭시킴으로써 카메라들 간의 상대적인 시야들을(즉, 우측 카메라(10)와 좌측 카메라(11) 사이의 피처의 상대적 움직임은 어떤지를) 결정하는 것을 포함한다. 이 교정은 안경류에 의해 또는 사용자 요청(예컨대, 사용자가 버튼(32)(도 1b)과 같은 버튼을 누름) 시에 자동으로 수행될 수 있다. 교정이 수행되면, 안경류는 시선들/시야들에 대한 변화들을 고려함으로써 3-차원 이미지들을 생성하고 그리고/또는 3-차원 효과들을 생성하는 데 사용하기 위한 입체 이미지들을 캡처할 수 있다.
[0033] 도 2는 위에서 설명된 바와 같이 시선들/시야들의 변화들을 고려함으로써 교정을 수행하고 3-차원 이미지들을 랜더링/디스플레이할 수 있는 안경류의 예시적인 전자 컴포넌트들의 블록도이다. 예시된 전자 컴포넌트는, 이미지 캡처 안경류(12)의 다양한 디바이스들을 제어하기 위한 제어기(100)(예컨대, 저전력 프로세서, 이미지 프로세서 등); 이미지 캡처 안경류(12)와 클라이언트 디바이스(예컨대, 개인용 컴퓨팅 디바이스(50)) 사이의 통신을 용이하게 하기 위한 무선 모듈(예컨대, BluetoothTM)(102); 이미지 캡처 안경류(12)에 전력을 공급하기 위한 전력 회로(104)(예컨대, 배터리, 필터 등); 데이터(예컨대, 이미지들, 비디오, 이미지 프로세싱 알고리즘들/소프트웨어 등)를 저장하기 위한 플래시 스토리지(106); 레이저 측정 디바이스와 같은 거리 측정 디바이스(108); 선택기(32); 및 이미지들 및/또는 일련의 이미지들(예컨대, 비디오)을 캡처하기 위한 듀얼 카메라들(10, 11) 및 사운드를 캡처하기 위한 마이크로폰(도시되지 않음)을 포함한다. 이미지 캡처 안경류(12) 및 개인용 컴퓨팅 디바이스(50)가 별개의 컴포넌트들로서 예시되지만, 개인용 컴퓨팅 디바이스(50)의 기능성은 이미지 캡처 안경류(12)에 통합되어, 별개의 컴퓨팅 디바이스에 대한 필요성 없이, 이미지 캡처 안경류(12)가 하나 이상의 수신자들(예컨대, 인터넷(53)을 통해 수신자들(51))에 입체 이미지(들)를 직접 전송하는 것을 가능하게 할 수 있다. 부가적으로, 안경류(12)에 의해 수행되는 것으로 본원에서 설명된 프로세싱(예컨대, 교정 및 입체 알고리즘들의 하나 이상의 단계들)은 개인용 컴퓨팅 디바이스(51) 내의 프로세서와 같이 안경류 디바이스(12)에 커플링된 원격 프로세서에 의해 수행될 수 있다.
[0034] 선택기(32)는 교정 알고리즘 및/또는 입체 이미징 알고리즘을 위한 이미지들/비디오를 캡처하도록 (예컨대, 버튼의 순간적인 푸쉬에 응답하여) 이미지 캡처 안경류(12)의 제어기(100)를 트리거할 수 있다. 일 예에서, 선택기(32)는 눌러졌을 때, 제어기(100)에 사용자 입력 신호를 전송하는 안경류(12) 상의 물리적 버튼일 수 있다. 제어기(100)는 미리 결정된 시간 기간(예컨대, 3초) 동안 버튼을 누르는 것을, 교정 알고리즘 및/또는 입체 이미지 알고리즘을 수행하도록 하는 요청으로서 해석할 수 있다. 다른 예들에서, 선택기(32)는 안경류 또는 다른 디바이스 상의 가상 버튼일 수 있다. 또 다른 예에서, 선택기는 음성 커맨드들을 해석하는 음성 모듈 또는 눈의 초점이 지향되는 곳을 검출하는 눈 검출 모듈일 수 있다. 제어기(100)는 또한 선택기(32)로부터의 신호들을, 이미지(들)의 의도된 수신자(예컨대, 네트워크(53)를 통한 원격 스마트 폰(51) 또는 사용자 페어링된 스마트 폰(50))를 선택하도록 하는 트리거로서 해석할 수 있다.
[0035] 무선 모듈(102)은 스마트 폰, 태블릿, 패블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 네트워킹된 기기, 액세스 포인트 디바이스, 또는 무선 모듈(102)에 연결 가능한 임의의 다른 이러한 디바이스와 같은 클라이언트/개인용 컴퓨팅 디바이스(50)에 커플링될 수 있다. 예컨대, Bluetooth, Bluetooth LE, Wi-Fi, Wi-Fi 다이렉트, 셀룰러 모뎀, 근거리 무선 통신 시스템뿐만 아니라 이러한 시스템들 중 임의의 것의 다수의 인스턴스들은 그 사이의 통신을 가능하게 하도록 이러한 연결들을 구현할 수 있다. 예컨대, 디바이스들 사이의 통신은 이미지 캡처 안경류(12)와 클라이언트 디바이스 사이에서 소프트웨어 업데이트들, 이미지들, 비디오들, 조명 방식들 및/또는 사운드의 전달을 용이하게 할 수 있다.
[0036] 또한, 개인용 컴퓨팅 디바이스(50)는 네트워크(53)를 통해 하나 이상의 수신자들(예컨대, 수신자 개인용 컴퓨팅 디바이스(51))과 통신할 수 있다. 네트워크(53)는 개인용 컴퓨팅 디바이스들이 예컨대, 텍스트, 이메일, 인스턴트 메시징 등을 통해 이미지(들)를 송신 및 수신할 수 있게 하는 셀룰러 네트워크, Wi-Fi, 인터넷 등일 수 있다.
[0037] 이미지들/비디오를 캡처하기 위한 카메라들(10, 11)은 전하-커플링 디바이스, 렌즈, 또는 전기 신호(들)로의 변환을 위한 이미지 데이터를 캡처하기 위한 임의의 다른 광 캡처 엘리먼트들과 같은 디지털 카메라 엘리먼트들을 포함할 수 있다. 카메라들(10, 11)은 부가적으로 또는 대안적으로, 사운드를 전기 신호(들)로 변환하기 위한 트랜스듀서를 갖는 마이크로폰을 포함할 수 있다.
[0038] 제어기(100)는 전자 컴포넌트들을 제어한다. 예컨대, 제어기(100)는 카메라들(10, 11)로부터 신호들을 수신하고 이러한 신호들을 메모리(106)(예컨대, 플래시 스토리지)에 저장하기에 적합한 포맷으로 프로세싱하기 위한 회로를 포함한다. 제어기(100)는 전원이 켜지고 부팅되어 정상 동작 모드에서 동작하거나 슬립 모드에 진입한다. 일 예에서, 제어기(100)는 동작을 위해 마이크로프로세서에 의해 사용되는 휘발성 메모리와 함께, 카메라(10)로부터의 센서 데이터를 프로세싱하도록 맞춤화된 마이크로프로세서 IC(integrated circuit)를 포함한다. 메모리는 제어기(100)에 의한 실행을 위한 소프트웨어 코드(예컨대, 교정 알고리즘의 실행, 입체 이미징 알고리즘, 수신자 선택, 이미지들의 송신 등)를 저장할 수 있다.
[0039] 전자 컴포넌트들 각각은 동작을 위해 전력을 요구한다. 전력 회로(104)는 배터리, 전력 변환기 및 분배 회로(도시되지 않음)를 포함할 수 있다. 배터리는 리튬-이온 등과 같은 재충전 가능한 배터리일 수 있다. 전력 변환기 및 분배 회로는 다양한 전자 컴포넌트들에 전력을 공급하기 위해 전압들을 필터링 및/또는 변환하기 위한 전기 컴포넌트들을 포함할 수 있다.
교정 알고리즘
[0040] 도 3a는 교정 프로세스(300)를 도시한다. 위에서 설명한 바와 같이, 입체 이미징을 수행하기 전에, 안경류는 어떠한 굴곡(flexure)도 경험하지 않는 안경류에 대한 표준 시선들/시야들에 대해 입체 카메라들(예컨대, 카메라들(10, 11))의 현재 시선들/시야들 사이의 상대적인 차이를 결정하기 위해 교정 프로세스를 수행한다. 이는 입체 이미징 알고리즘이 이미지들을 올바르게 결합하여 양질의 입체 이미지를 생성할 수 있도록 보장하는 데 유익하다.
[0041] 블록(302)에서, 안경류는 알려진 치수들(알려진 장면으로서 본원에서 지칭됨)을 갖는 적어도 하나의 오브젝트를 포함하는 장면의 입체 이미지들을 캡처한다. 안경류(12)는 우측 카메라(10)로 알려진 장면의 우측 원시 이미지를 캡처하고 좌측 카메라(11)로 알려진 장면의 좌측 원시 이미지를 캡처할 수 있다. 일 예에서, 알려진 장면은 SIFT(Scale Invariant Feature Transforms) 또는 BRISK(Binary Robust Invariant Scalable Keypoints)와 같은 이미지 프로세싱 알고리즘에 의해 쉽게 검출 가능한 뚜렷한 피처들을 갖는다. 다른 예에서, 트레이닝된 DNN(deep neural network)은 사람들 또는 자동차들과 같은 알려진 오브젝트들을 식별할 수 있다.
[0042] 블록(303)에서, 블록(303)에서 획득된 이미지들은 왜곡을 제거하기 위해 조절된다. 제어기(100)는 카메라들의 개개의 렌즈들에 의해 도입되는 왜곡(예컨대, 비네팅(vignetting)으로 인한 렌즈의 에지들에서의 왜곡)을 제거하여 이미지들 간의 피처들의 비교를 용이하게 하도록 이미지들을 조절할 수 있다. 우측 원시 이미지가 조절되어 우측 조절된 이미지를 생성하고 좌측 원시 이미지가 조절되어 우측 조절된 이미지를 생성한다.
[0043] 블록(304)에서, 교정 알고리즘은 알려진 장면에서 알려진 피처에 대한 거리를 획득한다. 일 예에서, 제어기(100)에 의해 실행되는 교정 알고리즘은 캡처된 이미지(들)에서 알려진 피처의 크기, 예컨대, 수평 및/또는 수직 방향에서 알려진 피처에 의해 커버되는 픽셀들의 수에 기초하여 알려진 피처에 대한 거리를 결정한다. 다른 예에서, 검출된 알려진 오브젝트들의 높이/폭은 DNN에 의해 검출된 경계 사각형들로부터 결정된다. DNN은 또한 알려진 오브젝트에 대한 거리를 직접 추정하도록 트레이닝될 수 있다. 다른 예에서, 교정 알고리즘은 안경류에 통합된 레이저 측정 디바이스와 같은 거리 측정 디바이스(108)로부터 거리를 수신한다.
[0044] 블록(306)에서, 교정 알고리즘은 알려진 장면에서 하나 이상의 피처들에 대한 입체 이미지들 간의 실제 오프셋을 식별한다. 교정 알고리즘은 다른 이미지(예컨대, 우측 원시 또는 조절된 이미지)에서 알려진 피처(들)에 대하여 하나의 이미지(예컨대, 좌측 원시 또는 조절된 이미지)에서 그 알려진 피처(들)에 대한 오프셋을 비교할 수 있다. 일 예에서, (예컨대, 수평 방향으로) 좌측 이미지에서 피처의 포지션과 우측 이미지에서 피처의 포지션 사이의 픽셀들의 수가 실제 오프셋이다.
[0045] 블록(308)에서, 교정 알고리즘은 교정 오프셋을 결정한다. 일 예에서, 교정 오프셋은 어떠한 굴곡도 경험하지 않는 안경류로 결정된 알려진 장면에서의 하나 이상의 피처들에 대한 이전에 결정된 오프셋과 실제 오프셋 간의 차이이다.
[0046] 대안적인 실시예에서, 교정 오프셋은 안경류에 의해 경험되는 굴곡의 양에 기초하여 결정된다. 굴곡의 양은 안경류의 프레임의 스트레인 게이지(strain gauge)에 의해 생성된 값에 기초하여 추정될 수 있다. 예컨대, 미리 정의된 오프셋 값들은 미리 정의된 스트레인 레벨들(예컨대, 없음, 낮음, 중간 및 높음)과 연관될 수 있다. 시스템이 굴곡량을 고려하여 입체 이미지들을 적절히 렌더링 및 디스플레이하는 것을 가능하게 하도록 (예컨대, 단계들(302, 308)을 사용하여) 각각의 굴곡량에 대해 차이 교정 오프셋이 결정될 수 있다.
[0047] 블록(310)에서, 교정 오프셋(들)이 저장된다. 일 예에서, 교정 알고리즘은 예컨대, 입체 이미지를 생성하는데 사용하기 위해 제어기(100)에 의해 액세스 가능한 메모리(106)에 교정 오프셋(들)을 저장한다. 제어기(100)는 오프셋에 대응하는 굴곡량과 함께 각각의 교정 오프셋을 저장할 수 있다.
입체 알고리즘
[0048] 도 3b는 3-차원 프리젠테이션 프로세스(320)를 도시한다. 위에서 설명된 바와 같이, 교정이 완료된 후, 안경류는 입체 이미징을 수행하여 3-차원 이미지들을 렌더링/디스플레이할 수 있다.
[0049] 블록(322)에서, 안경류는 장면의 입체 이미지를 획득한다. 안경류(12)는 우측 카메라(10)로 알려진 장면의 우측 원시 이미지를 캡처하고 좌측 카메라(11)로 알려진 장면의 좌측 원시 이미지를 캡처할 수 있다.
[0050] 블록(324)에서, 입체 알고리즘은 획득된 원시 입체 이미지들을 조절하여 입체 이미지들의 왜곡을 보정한다. 제어기(100)는 카메라들의 개개의 렌즈들에 의해 도입되는 왜곡(예컨대, 비네팅(vignetting)으로 인한 렌즈 에지의 왜곡)을 제거하여 이미지들 간의 피처들의 비교를 용이하게 하도록 이미지들을 조절할 수 있다. 우측 원시 이미지가 조절되어 우측 조절된 이미지를 생성하고 좌측 원시 이미지가 조절되어 우측 조절된 이미지를 생성한다.
[0051] 블록(326)에서, 입체 알고리즘은 (예컨대, 도 3a에 대해 위에서 설명된 프로세스로부터) 교정 오프셋을 획득한다. 일 예에서, 제어기(100)는 메모리(106)로부터 교정 오프셋을 리트리브한다. 제어기(100)는 먼저 프레임(12)이 경험하는 굴곡량을 결정하고 굴곡량에 대응하는 교정 오프셋을 메모리(106)로부터 선택할 수 있다.
[0052] 블록(328)에서, 입체 알고리즘은 획득된 교정 오프셋만큼 렌더링 알고리즘에서 3-차원 렌더링 오프셋(즉, 3-차원 효과를 제공하기 위해 서로 알려진 관계를 갖는 카메라들에 의해 캡처된 장면의 2개의 캡처된 이미지들 간의 오프셋)을 조정한다. 일 예에서, 제어기(100)는 교정 오프셋만큼 3-차원 렌더링 오프셋을 조정한다.
[0053] 블록(330)에서, 입체 알고리즘은 조정된 오프셋을 사용하여 렌더링된 입체 이미지에 기초한 3-차원 이미지들을 제시한다. 일 예에서, 입체 알고리즘은 (예컨대, 안경류의 디스플레이들을 통해) 관찰자의 우측 및 좌측 눈들에 입체 이미지들의 우측 및 좌측 이미지들을 각각 제시한다. 제시된 이미지들은 착용자에게 보다 사실적인 3-차원 효과를 제공하기 위해 조정된 오프셋을 고려하여 투영된다. 다른 예에서, 입체 알고리즘은 뷰어에게 보다 사실적인 3-차원 효과를 제공하기 위해 조정된 오프셋을 고려하여 디스플레이 상에서 입체 이미지들의 우측 및 좌측 이미지들을 블렌딩한다.
[0054] 도 3a 및 도 3b의 단계들은 실체가 있는 컴퓨터 판독 가능 매체 상에 이를테면, 자기 매체 예컨대, 컴퓨터 하드 드라이브, 광학 매체, 예컨대, 광학 디스크, 솔리드-스테이트 메모리, 예컨대, 플래시 메모리 또는 당업계에 알려진 다른 저장 매체들 상에 실체가 있게 저장되는 소프트웨어 코드 또는 명령들을 로딩 및 실행할 때, 전자 컴포넌트들 및/또는 개인용 컴퓨팅 디바이스의 제어기(100)에 의해 수행될 수 있다. 따라서, 도 3a 및 도 3b의 단계들과 같이 본원에서 설명된 개인용 컴퓨팅 디바이스(50) 또는 제어기(100)에 의해 수행되는 기능성 중 임의의 것은 실체가 있는 컴퓨터 판독 가능 매체 상에 실체가 있게 저장된 소프트웨어 코드 또는 명령들로 구현될 수 있다. 제어기 및/또는 개인용 컴퓨팅 디바이스에 의해 이러한 소프트웨어 코드 또는 명령들을 로딩 및 실행할 때, 제어기 및/또는 개인용 컴퓨팅 디바이스는 본원에서 설명된 3A 및 3B의 단계들을 포함하여, 본원에서 설명된 제어기 및/또는 개인용 컴퓨팅 디바이스의 기능성 중 임의의 것을 수행할 수 있다.
[0055] 본원에서 사용되는 용어들 및 표현들은 특정 의미가 본원에서 달리 명시된 경우를 제외하면, 그의 대응하는 개개의 조사 및 연구 영역에 대한 그러한 용어들 및 표현들에 따라 보통의 의미를 갖는다는 것이 이해될 것이다. 제1 및 제2 등과 같은 상관적인 용어들은 단지 하나의 엔티티(entity) 또는 액션을 서로 구별하기 위해 사용될 수 있으며 그러한 엔티티들 또는 액션들 사이의 임의의 실제의 그러한 관계 또는 순서를 반드시 요구하거나 또는 암시하는 것은 아니다. "포함하다", "포함하는"이란 용어들 또는 이들의 임의의 다른 변동은, 엘리먼트들 또는 단계들의 리스트를 포함하는 프로세스, 방법, 물품, 또는 장치가 오직 그 엘리먼트들 또는 단계들만을 포함하는 것이 아니라 그러한 프로세스, 방법, 물품, 또는 장치에 내재하거나 명백히 나열되지 않은 다른 엘리먼트들 또는 단계들을 포함할 수 있도록, 비-배타적인 포함을 커버하는 것으로 의도된다. 단수로 표현되는 엘리먼트는, 추가의 제약들 없이, 그 엘리먼트를 포함하는 프로세스, 방법, 물품, 또는 장치에서의 부가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.
[0056] 달리 언급되지 않는 한, 이어지는 청구항들을 포함한 본 명세서에 명시된 모든 측정들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 규격들은 정확한 것이 아니라 대략적인 것이다. 이러한 양들은 이들이 관련된 기능들 및 이들이 속한 분야에서 관습적인 것과 일관되는 합당한 범위를 갖는 것으로 의도된다. 예컨대, 달리 명시적으로 언급되지 않는 한, 파라미터 값 등은 언급된 양으로부터 ± 10 %만큼 변동될 수 있다.
[0057] 또한, 위의 상세한 설명에서, 개시내용을 간소화하기 위해 다양한 예들에서 다양한 특징들이 함께 그룹화됨을 알 수 있다. 이 개시내용의 방법은 청구된 예들이 각각의 청구항에서 명시적으로 인용된 것보다 많은 특징들을 요구한다는 의도를 반영하는 것으로 해석되는 것을 아니다. 오히려, 다음의 청구항들이 반영할 때, 보호될 청구 대상은 임의의 단일의 개시된 예의 모든 특징들보다 적다. 따라서, 다음의 청구항들은 이로써 상세한 설명에 통합되며, 각각의 청구항은 별개로 청구된 청구 대상으로서 그 자체를 주장한다.
[0058] 상기는 최상의 모드 및/또는 다른 예들로 간주되는 것을 설명하였지만, 다양한 수정들이 그 안에서 이루어질 수 있고 본원에서 개시되는 청구 대상은 다양한 형태들 및 예들로 구현될 수 있고, 이들은 수많은 애플리케이션들에 적용되며, 그 중 일부만이 본원에서 설명되었다는 것이 이해된다. 이어지는 청구항들은 본 개념들의 진정한 범위 내에 있는 임의의 그리고 모든 수정들 및 변형들을 청구하는 것으로 의도된다.

Claims (20)

  1. 시스템으로서,
    이미지 캡처 안경류 ― 상기 이미지 캡처 안경류는,
    지지 구조, 및
    장면의 입체 이미지들을 캡처하기 위해 상기 지지 구조에 연결된 듀얼 카메라들을 포함함 ― ;
    상기 이미지 캡처 안경류에 커플링된 프로세서;
    상기 프로세서에 액세스 가능한 메모리; 및
    상기 메모리의 프로그래밍(programming)을 포함하고,
    상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 시스템을 구성하고, 상기 기능들은,
    상기 듀얼 카메라들로부터 상기 입체 이미지들을 획득하고;
    상기 지지 구조의 굴곡을 수용하기 위해 교정 오프셋을 획득하고;
    상기 획득된 교정 오프셋에 의해 3-차원 렌더링 오프셋을 조정하고; 그리고
    상기 3-차원 렌더링 오프셋을 사용하여 3-차원 이미지로서 상기 입체 이미지를 제시하기 위한 것인,
    시스템.
  2. 제1 항에 있어서,
    상기 듀얼 카메라들은 상이한 시야들로부터 입체 이미지들을 캡처하기 위해 미리 결정된 거리만큼 떨어져 상기 안경류의 지지 구조 상에 포지셔닝되는,
    시스템.
  3. 제1 항에 있어서,
    상기 지지 구조는 프레임 및 상기 프레임으로부터 연장되는 템플(temple)들을 포함하고, 상기 듀얼 카메라들은 상기 프레임에 의해 지지되고, 상기 프레임은 상기 프레임의 강성을 증가시키기 위해 내부에 매립된 강성 바(rigid bar)를 포함하는,
    시스템.
  4. 제1 항에 있어서,
    상기 교정 오프셋을 획득하기 위한 상기 메모리의 프로그래밍은 상기 듀얼 카메라들을 지지하는 안경류 지지 구조의 오프셋 각도를 결정하는,
    시스템.
  5. 제4 항에 있어서,
    상기 교정 오프셋을 획득하기 위한 상기 메모리의 프로그래밍은 상기 오프셋 각도를 결정하기 위해 상기 듀얼 카메라들 사이의 알려진 각도와 편향 각도 사이의 차이를 결정하는,
    시스템.
  6. 제1 항에 있어서,
    상기 프로세서 및 상기 메모리는 상기 지지 구조에 의해 지지되는,
    시스템.
  7. 제1 항에 있어서,
    상기 프로세서 및 상기 메모리는 상기 이미지 캡처 안경류에 커플링된 클라이언트 디바이스에 의해 지지되는,
    시스템.
  8. 제1 항에 있어서,
    상기 교정 오프셋을 획득하기 위한 상기 메모리의 프로그래밍은 상기 이미지에서 알려진 오브젝트에 대한 거리를 결정하는,
    시스템.
  9. 제1 항에 있어서,
    상기 이미지들을 제시하기 위한 상기 메모리의 프로그래밍은 상기 조정된 오프셋을 사용하여 상기 입체 이미지들을 블렌딩(blending)하는 것을 포함하는,
    시스템.
  10. 제1 항에 있어서,
    상기 메모리의 프로그래밍은 상기 입체 이미지의 왜곡을 보정하기 위한 기능들을 포함하는 프로그래밍을 더 포함하는,
    시스템.
  11. 이미지 캡처 안경류를 위한 교정 방법으로서,
    이미지 캡처 안경류 디바이스의 지지 구조에 의해 지지되는 듀얼 카메라들로부터 입체 이미지들을 획득하는 단계;
    상기 듀얼 카메라들 사이의 상기 지지 구조의 굴곡을 수용하기 위해 교정 오프셋을 획득하는 단계;
    상기 획득된 교정 오프셋에 의해 3-차원 렌더링 오프셋을 조정하는 단계;
    상기 3-차원 렌더링 오프셋을 사용하여 3-차원 이미지로서 상기 입체 이미지를 렌더링하는 단계; 및
    상기 3-차원 이미지를 제시하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  12. 제11 항에 있어서,
    상기 제시하는 단계는,
    디스플레이 상에 상기 3-차원 이미지를 제시하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  13. 제11 항에 있어서,
    상기 디스플레이 상의 프리젠테이션을 위한 3-차원 이미지를 생성하기 위해 상기 조정된 오프셋을 사용하여 상기 입체 이미지들을 블렌딩하는 단계를 더 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  14. 제11 항에 있어서,
    상기 이미지 캡처 안경류 디바이스는 제1 디스플레이 및 제2 디스플레이를 포함하고, 상기 제시하는 단계는,
    상기 제1 디스플레이 상에 상기 3-차원 이미지의 좌측 이미지 컴포넌트 및 상기 제2 디스플레이 상에 상기 3-차원 이미지의 우측 이미지 컴포넌트를 제시하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  15. 제11 항에 있어서,
    상기 교정 오프셋을 획득하는 단계는,
    상기 듀얼 카메라들을 지지하는 상기 안경류 지지 구조의 오프셋 각도를 결정하는 단계; 및
    상기 결정된 오프셋 각도에 응답하여 상기 교정 오프셋을 선택하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  16. 제15 항에 있어서,
    상기 결정하는 단계는,
    상기 듀얼 카메라들 간의 알려진 각도와 편향 각도 사이의 차이를 결정하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  17. 제11 항에 있어서,
    상기 교정 오프셋을 획득하는 단계는,
    상기 듀얼 카메라들을 지지하는 상기 안경류 지지 구조의 굴곡량을 결정하는 단계; 및
    상기 결정된 굴곡량에 응답하여 상기 교정 오프셋을 선택하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  18. 제17 항에 있어서,
    메모리에 복수의 교정 오프셋들을 저장하는 단계를 더 포함하고, 각각의 교정 오프셋은 상기 이미지 캡처 안경류의 굴곡량에 대응하는,
    이미지 캡처 안경류를 위한 교정 방법.
  19. 제18 항에 있어서,
    상기 선택하는 단계는,
    상기 복수의 교정 오프셋들로부터 상기 결정된 굴곡량에 대응하는 교정 오프셋을 상기 메모리로부터 리트리브하는 단계를 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
  20. 제11 항에 있어서,
    상기 입체 이미지들의 왜곡을 보정하기 위해 상기 입체 이미지들을 조절(rectify)하는 단계를 더 포함하는,
    이미지 캡처 안경류를 위한 교정 방법.
KR1020217022640A 2018-12-20 2019-11-19 입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 가요성 안경류 디바이스 KR20210103541A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862782885P 2018-12-20 2018-12-20
US62/782,885 2018-12-20
PCT/US2019/062136 WO2020131277A1 (en) 2018-12-20 2019-11-19 Flexible eyewear device with dual cameras for generating stereoscopic images

Publications (1)

Publication Number Publication Date
KR20210103541A true KR20210103541A (ko) 2021-08-23

Family

ID=68848460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217022640A KR20210103541A (ko) 2018-12-20 2019-11-19 입체 이미지들을 생성하기 위한 듀얼 카메라들을 갖는 가요성 안경류 디바이스

Country Status (5)

Country Link
US (4) US11212509B2 (ko)
EP (1) EP3899642A1 (ko)
KR (1) KR20210103541A (ko)
CN (1) CN113196139B (ko)
WO (1) WO2020131277A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11846782B1 (en) * 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors
KR20220017272A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 웨어러블 전자 장치
US11778160B2 (en) 2021-06-01 2023-10-03 Microsoft Technology Licensing, Llc Calibrating sensor alignment with applied bending moment
WO2023048935A1 (en) * 2021-09-21 2023-03-30 Kokanee Research Llc Display systems with strain gauge circuitry
US20230247291A1 (en) * 2022-02-02 2023-08-03 Argo AI, LLC System, Method, and Computer Program Product for Online Sensor Motion Compensation

Family Cites Families (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69840547D1 (de) * 1997-10-30 2009-03-26 Myvu Corp Schnittstellensystem für brillen
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20050207486A1 (en) 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US7784938B2 (en) * 2007-05-09 2010-08-31 Dolby Laboratories Licensing Corporation Method and system for shaped glasses and viewing 3D images
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
EP2469743B1 (en) * 2010-12-23 2019-02-20 Nagravision S.A. A system to identify a user of television services by using biometrics
JP5633406B2 (ja) 2011-02-04 2014-12-03 セイコーエプソン株式会社 虚像表示装置
JP5889536B2 (ja) 2011-03-08 2016-03-22 ローム株式会社 制御システム、制御装置、映像システム、眼鏡、および映像表示装置
EP2546776B1 (de) 2011-07-11 2013-06-12 Sick Ag Kamerabasierter Codeleser und Verfahren zu dessen justierter Herstellung
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8810600B2 (en) 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
US9204041B1 (en) 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US9275459B2 (en) 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
CA2902430C (en) 2013-03-15 2020-09-01 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US9470911B2 (en) * 2013-08-22 2016-10-18 Bespoke, Inc. Method and system to create products
US9628778B2 (en) 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
KR102191151B1 (ko) * 2013-12-30 2020-12-16 삼성디스플레이 주식회사 전자 기기 및 전자 기기의 구동 방법
CA2879598A1 (en) 2014-01-26 2015-07-26 Matthew S. Muller Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
JP6447055B2 (ja) 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
US8988509B1 (en) 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9759918B2 (en) 2014-05-01 2017-09-12 Microsoft Technology Licensing, Llc 3D mapping with flexible camera rig
JP6364936B2 (ja) * 2014-05-07 2018-08-01 セイコーエプソン株式会社 画像表示装置
EP2950519B1 (de) 2014-05-26 2016-05-25 Sick Ag Kamera und Verfahren zur Aufnahme von Bilddaten
JP6354425B2 (ja) 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US9635222B2 (en) * 2014-08-03 2017-04-25 PogoTec, Inc. Wearable camera systems and apparatus for aligning an eyewear camera
KR20160036745A (ko) 2014-09-25 2016-04-05 삼성디스플레이 주식회사 다시점 영상 표시 시스템 및 그 구동 방법
DE102014115540A1 (de) 2014-10-24 2016-04-28 Sick Ag Kamera und Verfahren zur Erfassung von Objekten
US9804669B2 (en) 2014-11-07 2017-10-31 Eye Labs, Inc. High resolution perception of content in a wide field of view of a head-mounted display
KR102275778B1 (ko) * 2014-12-04 2021-07-09 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
US10152119B2 (en) * 2014-12-11 2018-12-11 Htc Corporation Head-mounted display apparatus and calibration method thereof
WO2016126672A1 (en) * 2015-02-02 2016-08-11 Brian Mullins Head mounted display calibration
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
US10162412B2 (en) 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
CN107409189B (zh) 2015-04-07 2020-06-16 奥林巴斯株式会社 眼镜型显示装置
JP6646361B2 (ja) 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2016174659A1 (en) 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
US11086148B2 (en) * 2015-04-30 2021-08-10 Oakley, Inc. Wearable devices such as eyewear customized to individual wearer parameters
US10122998B2 (en) 2015-04-30 2018-11-06 Seiko Epson Corporation Real time sensor and method for synchronizing real time sensor data streams
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
JP6701532B2 (ja) 2015-06-17 2020-05-27 ソニー株式会社 画像処理装置および画像処理方法
WO2017014693A1 (en) 2015-07-21 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a disparity map based on stereo images of a scene
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
KR102574490B1 (ko) * 2015-10-12 2023-09-04 삼성전자주식회사 머리 장착형 전자 장치
CA3004271C (en) 2015-11-04 2024-04-09 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US9762893B2 (en) 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
WO2017122552A1 (ja) 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display
US10650602B2 (en) 2016-04-15 2020-05-12 Center Of Human-Centered Interaction For Coexistence Apparatus and method for three-dimensional information augmented video see-through display, and rectification apparatus
US10887573B1 (en) 2016-05-03 2021-01-05 Erin Sanaa Kenrick System for processing 2D content for 3D viewing
WO2017193691A1 (zh) * 2016-05-12 2017-11-16 深圳增强现实技术有限公司 增强现实智能眼镜
KR101822471B1 (ko) 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
TW201810185A (zh) * 2016-06-20 2018-03-16 帕戈技術股份有限公司 影像對準系統及方法
WO2018014014A1 (en) 2016-07-15 2018-01-18 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
CN107664840A (zh) * 2016-07-28 2018-02-06 中强光电股份有限公司 头戴式显示装置
KR102420857B1 (ko) 2016-08-30 2022-07-15 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
KR102529928B1 (ko) 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
KR20180060559A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
US20190129184A1 (en) * 2016-12-08 2019-05-02 Snail Innovation Institute Laser-based display engine in wearable display devices
CN206671680U (zh) * 2017-02-10 2017-11-24 京东方科技集团股份有限公司 一种智能用户体验设备及智能头盔
JP6792699B2 (ja) 2017-03-13 2020-11-25 三井化学株式会社 アイウェア
DE102017106831A1 (de) 2017-03-30 2018-10-04 Sick Ag Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten
JP6855313B2 (ja) 2017-05-01 2021-04-07 キヤノン株式会社 画像表示システム、画像表示装置および画像表示方法
US10719125B2 (en) 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
US10379545B2 (en) 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
JP7149322B2 (ja) * 2017-07-17 2022-10-06 ビュージックス コーポレーション 両眼式バーチャルイメージング装置の画像シフト補正
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
KR101910288B1 (ko) 2017-09-12 2018-10-22 (주)이즈미디어 듀얼 카메라모듈의 정렬 방법
US10925484B2 (en) * 2017-09-14 2021-02-23 Orthozon Technologies, Llc Interpupillary calibration system, apparatus, and method for stereoscopic visualization
US10504243B2 (en) 2017-10-09 2019-12-10 Facebook Technologies, Llc Calibration system for a head-mounted display tracking system
WO2019089811A1 (en) * 2017-11-01 2019-05-09 Vrgineers, Inc. Interactive augmented or virtual reality devices
WO2019126714A1 (en) * 2017-12-21 2019-06-27 Magic Leap, Inc. Method for calibrating an augmented reality device
CN110915210B (zh) 2018-01-02 2021-10-15 鲁姆斯有限公司 具有主动对准的增强现实显示器及相应方法
US11054670B2 (en) * 2018-02-07 2021-07-06 Brent Sheldon Flexible eyewear assembly
US10511832B1 (en) * 2018-02-14 2019-12-17 Facebook Technologies, Llc Calibration of virtual image system with extended nasal field of view
AU2019225473A1 (en) * 2018-02-20 2020-07-30 Brent Sheldon Flexible bridge assembly for eyewear and method of assembling flexible eyewear
DE102018105301B4 (de) 2018-03-08 2021-03-18 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
US10757342B1 (en) 2018-04-25 2020-08-25 Snap Inc. Image device auto exposure
US11272170B2 (en) 2019-08-26 2022-03-08 Alexander Shau Ergonomic protective eyewear
JP2020003898A (ja) * 2018-06-26 2020-01-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11269402B1 (en) * 2018-08-03 2022-03-08 Snap Inc. User interface interaction paradigms for eyewear device with limited field of view
TWI725522B (zh) 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
US20200077073A1 (en) 2018-08-28 2020-03-05 Qualcomm Incorporated Real-time stereo calibration by direct disparity minimization and keypoint accumulation
CN112771438B (zh) 2018-09-26 2023-10-10 美国斯耐普公司 利用二维输入选择对三维深度图像进行深度雕塑
US11113889B1 (en) * 2018-09-27 2021-09-07 Snap Inc. Adjustable waveguide assembly and augmented reality eyewear with adjustable waveguide assembly
CN112771856B (zh) * 2018-09-27 2024-04-05 美国斯耐普公司 可分离失真视差确定
US10896494B1 (en) * 2018-09-27 2021-01-19 Snap Inc. Dirty lens image correction
US10764558B2 (en) * 2018-09-27 2020-09-01 Valve Corporation Reduced bandwidth stereo distortion correction for fisheye lenses of head-mounted displays
EP3663963B1 (de) 2018-12-04 2021-03-10 Sick Ag Lesen von optischen codes
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US11240481B2 (en) 2018-12-26 2022-02-01 Snap Inc. Creation and user interactions with three-dimensional wallpaper on computing devices
US10911680B2 (en) 2018-12-28 2021-02-02 Intel Corporation Method and system of geolocation and attitude correction for mobile rolling shutter cameras
WO2020189864A1 (ko) * 2019-03-19 2020-09-24 엘지전자 주식회사 전자 디바이스
JP7307568B2 (ja) 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
CN110139028B (zh) 2019-03-25 2020-07-07 华为技术有限公司 一种图像处理的方法及头戴式显示设备
US11112609B1 (en) * 2019-05-07 2021-09-07 Snap Inc. Digital glasses having display vision enhancement
CN114008675A (zh) * 2019-06-25 2022-02-01 美国斯耐普公司 灭点立体图像校正
US11320667B2 (en) 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
US11039113B2 (en) * 2019-09-30 2021-06-15 Snap Inc. Multi-dimensional rendering
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11307412B1 (en) * 2019-12-30 2022-04-19 Snap Inc. Audio visualizer eyewear device
JP2023511066A (ja) * 2020-01-15 2023-03-16 マジック リープ， インコーポレイテッド 頭部搭載型ディスプレイシステムにおける変形に関する補償
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors
US11263729B2 (en) 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device
US20210375301A1 (en) * 2020-05-28 2021-12-02 Jonathan Geddes Eyewear including diarization
US20210390882A1 (en) * 2020-06-16 2021-12-16 Venu Iyengar Blind assist eyewear with geometric hazard detection
US11582409B2 (en) * 2020-06-29 2023-02-14 Snap Inc. Visual-inertial tracking using rolling shutter cameras
US11533443B2 (en) * 2020-06-29 2022-12-20 Innovega, Inc. Display eyewear with adjustable camera direction
US11665334B2 (en) 2020-06-30 2023-05-30 Snap Inc. Rolling shutter camera pipeline exposure timestamp error determination
KR20220017272A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 웨어러블 전자 장치
WO2022050599A1 (ko) * 2020-09-07 2022-03-10 삼성전자 주식회사 카메라의 신호 라인을 감소시킨 전자 장치
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras
US11587255B1 (en) * 2020-09-25 2023-02-21 Snap Inc. Collaborative augmented reality eyewear with ego motion alignment
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11917120B2 (en) * 2020-09-28 2024-02-27 Snap Inc. Eyewear with strain gauge estimation
WO2022072097A1 (en) * 2020-09-30 2022-04-07 Snap Inc. Multi-purpose cameras for augmented reality and computer vision applications
US11422380B2 (en) * 2020-09-30 2022-08-23 Snap Inc. Eyewear including virtual scene with 3D frames
US11294188B1 (en) * 2020-09-30 2022-04-05 Snap Inc. Geometry modeling of eyewear devices with flexible frames
US20220174188A1 (en) 2020-11-30 2022-06-02 Microsoft Technology Licensing, Llc Spad array for intensity image sensing on head-mounted displays
US11442275B2 (en) * 2020-12-20 2022-09-13 Snap Inc. Eyewear including a push-pull lens set
US11391962B1 (en) * 2020-12-31 2022-07-19 Lenovo (United States) Inc. Head mounted display nosepiece
KR20240010486A (ko) * 2021-05-18 2024-01-23 스냅 인코포레이티드 컴퓨터 스테레오 비전에 대한 오정렬된 밴티지 포인트 완화
US11778160B2 (en) * 2021-06-01 2023-10-03 Microsoft Technology Licensing, Llc Calibrating sensor alignment with applied bending moment
US11651518B2 (en) * 2021-06-03 2023-05-16 Meta Platforms Technologies, Llc System for determining an expected field of view
US11620761B2 (en) * 2021-06-07 2023-04-04 Microsoft Technology Licensing, Llc Depth sensing via device case
CN117581147A (zh) * 2021-06-30 2024-02-20 斯纳普公司 具有x射线效应的增强现实眼镜
US11512952B1 (en) * 2021-06-30 2022-11-29 Microsoft Technology Licensing, Llc Enhanced detection of sensor misalignments by coordinating sensors utilizing multiple sensing modalities
WO2023003803A1 (en) * 2021-07-19 2023-01-26 Lifecast Incorporated Virtual reality systems and methods
US11740322B2 (en) * 2021-09-10 2023-08-29 Htc Corporation Head mounted display device and position device thereof
US20230090308A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Augmented reality device based on waveguide with variable curvature, method for operating the augmented reality device, augmented reality glasses, optical compensator
US20230152595A1 (en) * 2021-11-17 2023-05-18 Meta Platforms Technologies, Llc Frame bending compensation in smart glasses for immersive reality applications

Also Published As

Publication number Publication date
US20230135377A1 (en) 2023-05-04
US20200204787A1 (en) 2020-06-25
EP3899642A1 (en) 2021-10-27
US20240056560A1 (en) 2024-02-15
CN113196139A (zh) 2021-07-30
US11856179B2 (en) 2023-12-26
US20220060675A1 (en) 2022-02-24
CN113196139B (zh) 2023-08-11
WO2020131277A1 (en) 2020-06-25
US11212509B2 (en) 2021-12-28
US11575872B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
US11575872B2 (en) Flexible eyewear device with dual cameras for generating stereoscopic images
KR102239686B1 (ko) 단일 깊이 추적 순응-수렴 솔루션
US9864191B2 (en) Viewer with varifocal lens and video display system
US9509916B2 (en) Image presentation method and apparatus, and terminal
CN109901710B (zh) 媒体文件的处理方法和装置、存储介质及终端
TWI564590B (zh) Image can strengthen the structure of the glasses
US20170070730A1 (en) Imaging apparatus and imaging method
KR102334212B1 (ko) 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
US20150304625A1 (en) Image processing device, method, and recording medium
WO2017133160A1 (zh) 一种智能眼镜透视方法及系统
WO2016169339A1 (zh) 可影像强化的眼镜结构
KR101650706B1 (ko) 웨어러블 디스플레이장치
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
US20230281916A1 (en) Three dimensional scene inpainting using stereo extraction
TWI635316B (zh) External near-eye display device
WO2018035842A1 (zh) 外加式近眼显示装置
KR101862381B1 (ko) 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치
CN211402964U (zh) 一种立体拍摄眼镜
US20230171511A1 (en) Image processing apparatus, imaging apparatus, and image processing method
CN113900252A (zh) 一种增强现实的眼镜装置
KR20200143504A (ko) 단일 깊이 추적 순응-수렴 솔루션