KR20230024982A - 카메라 고유 교정 - Google Patents

카메라 고유 교정 Download PDF

Info

Publication number
KR20230024982A
KR20230024982A KR1020237001279A KR20237001279A KR20230024982A KR 20230024982 A KR20230024982 A KR 20230024982A KR 1020237001279 A KR1020237001279 A KR 1020237001279A KR 20237001279 A KR20237001279 A KR 20237001279A KR 20230024982 A KR20230024982 A KR 20230024982A
Authority
KR
South Korea
Prior art keywords
double
cameras
optical element
camera
diffractive optical
Prior art date
Application number
KR1020237001279A
Other languages
English (en)
Inventor
지헝 지아
에티엔느 그레고리 그로스맨
하오 젱
다니엘 로저 도밍게즈
로버트 디. 테콜스테
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20230024982A publication Critical patent/KR20230024982A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

실시예들은 양면 DOE(diffractive optical element)를 사용한 하나 이상의 카메라 교정을 위한 이미지 디스플레이 시스템들 및 방법들을 제공한다. 더 구체적으로, 실시예들은 양면 DOE를 사용하여 획득된 단일 이미지를 사용하여 하나 이상의 카메라들의 고유 파라미터들을 결정하는 것에 관한 것이다. 양면 DOE는 제1 표면 상에 제1 패턴을 그리고 제2 표면 상에 제2 패턴을 갖는다. 제1 및 제2 패턴들 각각은, 각각의 표면 상에 타일링될 때 라이닝되는 서브-패턴들을 반복함으로써 형성될 수 있다. 양면 DOE 상의 패턴들은, DOE에 의해 형성된 이미지 패턴의 이미지 상의 중심 세기 피크의 밝기가 미리 결정된 양으로 감소되도록 형성된다.

Description

카메라 고유 교정
[0001] 본 출원은 2020년 6월 16일에 출원되고 발명의 명칭이 "CAMERA INTRINSIC CALIBRATION"인 미국 가특허 출원 제63/039,910호에 대한 우선권 이익을 주장하며, 상기 가출원의 전체 내용은 모든 목적들을 위해 인용에 의해 본 명세서에 통합된다.
[0002] 현대의 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 하였으며, 여기서 디지털로 생성된 이미지들 또는 그 일부들은 그들이 보이는 방식으로 웨어러블 디바이스에서 사용자에게 제시되거나 실제인 것처럼 인지될 수 있다. 가상 현실 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계의 시각적 입력에 대한 투명성 없이 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고, 증강 현실 또는 "AR" 시나리오는 통상적으로 사용자 주변의 실제 세계의 시각화를 위한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0003] 웨어러블 디바이스는 증강 및/또는 가상 현실 안경을 포함할 수 있다. 카메라가 안경에 커플링될 수 있다. 증강 및/또는 가상 현실 안경 상의 실세계 객체의 실제 위치를 보기 위해, 카메라가 교정될 필요가 있다. 카메라를 교정하는 것은 카메라의 고유 파라미터(intrinsic parameter)들을 결정하는 것을 포함할 수 있다. 고유 파라미터들은 3-D 카메라의 좌표들로부터 2-D 이미지 좌표들로의 투영 변환을 표현한다. 고유 파라미터들은 초점 길이(fx, fy), 주점(principal point) 및 왜곡 계수(들)를 포함할 수 있다.
[0004] 따라서, 카메라 교정은 카메라의 렌즈 및 이미지 센서의 파라미터들을 추정할 수 있다. 결정된 파라미터들은 렌즈 왜곡을 보정하거나, 세계 단위들로 객체의 크기를 측정하거나, 또는 3-D 장면 재구성에서의 장면에서 카메라의 위치를 결정하기 위해 사용될 수 있다.
[0005] 결과적으로, 인간의 시각 인식 시스템은 매우 복잡하며, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스러운 느낌의 풍부한 프리젠테이션을 용이하게 하는 VR, AR 또는 혼합 현실 "MR" 기술을 생성하는 것은 난제이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술과 관련된 다양한 난제들을 다룬다.
[0006] 실시예들은 일반적으로, 디스플레이 시스템 교정을 위한 이미지 디스플레이 시스템들 및 방법들에 관한 것이다. 실시예들은 양면(two-sided) DOE(diffractive optical element)에 의해 형성된 광 패턴의 단일 이미지를 사용하는 것에 기초하는 카메라 고유 교정 접근법을 제공한다. 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성된 격자 패턴은 이미지 상의 중심 세기 피크(central intensity peak)의 밝기를 미리 결정된 양(예컨대, 레이저 소스로부터 방출된 레이저 빔의 약 0.5% 내지 1.6%가 DOE에 의해 형성된 0차 가상 광원에 도달함)으로 감소시키도록 선택된다.
[0007] 실시예들은 복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템을 제공한다. 시스템은 복수의 카메라들, 복수의 시준기 조립체들, 및 복수의 카메라들로부터 이미지 데이터를 수신하기 위해 복수의 카메라들에 커플링된 프로세서를 포함한다. 각각의 카메라는 복수의 시준기 조립체들 중 하나의 시준기 조립체의 전방에 배치된다. 각각의 시준기 조립체는 양면 회절 광학 엘리먼트를 포함한다. 양면 회절 광학 엘리먼트의 각각의 표면 상에 격자 패턴이 형성된다. 프로세서는 실행가능 명령들을 저장하고, 이러한 실행가능 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 복수의 카메라들 중 각각의 카메라에 대해 다음의 단계들: 카메라로부터 이미지를 수신하는 단계, 데이터 쌍들을 식별하는 단계, 및 이미지에 대한 식별된 데이터 쌍들을 사용하여 카메라의 고유 파라미터들을 결정하는 단계를 수행하게 한다. 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성된 격자 패턴은 이미지 상의 중심 세기 피크의 밝기를 미리 결정된 양으로 감소시키도록 선택된다. 각각의 데이터 쌍은, 이미지 상의 세기 피크에 대응하는, 양면 회절 광학 엘리먼트에 의해 형성된 가상 광원, 및 세기 피크의 픽셀 좌표들을 포함한다.
[0008] 실시예들은 복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법을 추가로 제공한다. 방법은 복수의 카메라들 및 복수의 시준기 조립체들을 제공하는 단계를 포함한다. 각각의 시준기 조립체는 양면 회절 광학 엘리먼트를 포함한다. 양면 회절 광학 엘리먼트의 각각의 표면 상에 격자 패턴이 형성된다. 방법은 복수의 시준기 조립체들의 전방에 복수의 카메라들을 배치하는 단계를 더 포함한다. 각각의 카메라는 복수의 시준기 조립체들 중 하나의 시준기 조립체의 전방에 배치된다. 복수의 카메라들 중 각각의 카메라에 대해, 컴퓨팅 디바이스를 사용하여 다음 단계들: 카메라로부터 이미지가 수신되는 단계, 데이터 쌍들이 식별되는 단계 및 이미지에 대한 식별된 데이터 쌍들을 사용하여 카메라의 고유 파라미터들이 결정되는 단계가 수행된다. 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성된 격자 패턴은 이미지 상의 중심 세기 피크의 밝기를 미리 결정된 양으로 감소시키도록 선택된다. 각각의 데이터 쌍은, 이미지 상의 세기 피크에 대응하는, 양면 회절 광학 엘리먼트에 의해 형성된 가상 광원, 및 세기 피크의 픽셀 좌표들을 포함한다.
[0009] 종래의 기술들에 비해 본 개시의 방식에 의해 다수의 이점들이 달성된다. 예를 들어, 실시예들은 양면 DOE를 사용하여 실세계 이미지 캡처 디바이스 및/또는 AR/VR 디스플레이 시스템을 교정하는 방법들 및 시스템들을 제공한다. 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성된 격자 패턴은 이미지 상의 중심 세기 피크의 밝기를 미리 결정된 양(예컨대, 레이저 소스로부터 방출된 레이저 빔의 약 0.5% 내지 1.6%가 DOE에 의해 형성된 0차 가상 광원에 도달함)으로 감소시키도록 선택된다.
[0010] 본 명세서에 설명된 요지의 하나 이상의 구현들의 세부사항들은 첨부한 도면들 및 아래의 설명에서 기술된다. 다른 특징들, 양상들 및 이점들은 설명, 도면들 및 청구항들로부터 명백해질 것이다. 이러한 요약 및 하기 상세한 설명 어느 것도 본 발명의 요지의 범위를 정의하거나 제한하려 하지 않는다.
[0011] 도 1은 예시적인 실시예들에 따른 카메라 좌표계 및 세계 좌표계를 예시한다.
[0012] 도 2는 예시적인 실시예들에 따라 DOE(diffractive optical element)가 작용하는 방법의 개략적인 설명을 예시한다.
[0013] 도 3a는 일부 실시예들에 따른 양면 DOE를 사용하여 카메라의 고유 교정을 위한 예시적인 시스템의 단면도를 예시한다.
[0014] 도 3b는 일부 실시예들에 따른, 도 3a에 예시된 예시적인 시스템의 평면도를 예시한다.
[0015] 도 4는 일부 실시예들에 따른, 비-최적의 격자 패턴을 갖는 양면 DOE에 의해 형성된 광 패턴의 개략적인 표현을 예시한다.
[0016] 도 5는 일부 실시예들에 따른 예시적인 양면 DOE의 예시적인 격자 패턴들의 개략적인 표현을 예시한다.
[0017] 도 6은 일부 실시예들에 따른 예시적인 격자 패턴의 개략적인 표현을 예시한다.
[0018] 도 7은 일부 실시예들에 따른, 최적의 격자 패턴을 갖는 예시적인 양면 DOE에 의해 형성된 광 패턴의 개략적인 표현을 예시한다.
[0019] 도 8a 내지 도 8c는 일부 실시예들에 따른 예시적인 시준기 조립체의 성능을 검증하기 위한 예시적인 성능 테스트 스테이션을 예시한다.
[0020] 도 9는 일부 실시예들에 따른, AR/VR 시스템에 대한 웨어러블의 복수의 카메라들의 고유 교정을 위한 예시적인 교정 스테이션을 예시한다.
[0021] 도 10은 일부 실시예들에 따른 복수의 양면 DOE들을 사용하여 복수의 카메라들의 고유 교정을 위한 방법을 예시하는 간략화된 흐름도이다.
[0022] 도 11은 일부 실시예들에 따른 컴퓨터 시스템(예컨대, 이미지 프로세싱 서버 컴퓨터)의 간략화된 개략도이다.
[0023] 실시예들은 양면 DOE(diffractive optical element)를 사용한 하나 이상의 카메라 교정을 위한 이미지 디스플레이 시스템들 및 방법들에 관한 것이다. 더 구체적으로, 실시예들은 양면 DOE에 의해 형성된 광 패턴의, 각각의 카메라에 의해 획득된 단일 이미지를 사용하여 하나 이상의 카메라들의 고유 파라미터들을 결정하는 것에 관한 것이다. DOE는, 입력 광원으로부터 광 빔들의 패턴을 생성하는 광학 엘리먼트이다. 각각의 광 빔의 방향은 주어진 DOE에 대해 알려져 있다. 다양한 실시예들에 따르면, 양면 DOE는 제1 표면 상에 제1 격자 패턴을 그리고 제2 표면 상에 제2 격자 패턴을 갖는다. 제1 및 제2 격자 패턴들 각각은, 어떠한 갭들을 제공하지 않으면서 각각의 표면 상에 타일링될(tiled) 때 라이닝되는(lined) 서브-패턴들을 반복함으로써 형성될 수 있다. 예를 들어, DOE의 일 측은 타일링되는 3*3 패턴을 포함할 수 있고, DOE의 다른 측은, 양면 DOE가, 예를 들어, 반복 서브-패턴을 포함하는 57*57 패턴을 형성할 수 있도록 타일링되는 19*19 패턴을 포함할 수 있다.
[0024] 실시예들에 따르면, 웨어러블 디바이스는 증강 및/또는 가상 현실 웨어러블(예컨대, 안경)을 포함할 수 있다. 하나 이상의 카메라들이 웨어러블에 커플링될 수 있다. 증강 및/또는 가상 현실 안경 상의 실세계 객체의 실제 위치를 보기 위해, 하나 이상의 카메라들은 교정될 필요가 있다. 카메라를 교정하는 것은 카메라의 고유 파라미터들을 결정하는 것을 포함할 수 있다. 고유 파라미터들은 3-D 카메라의 좌표들로부터 2-D 이미지 좌표들로의 투영 변환을 표현한다. 고유 파라미터들은 초점 길이(fx, fy), 주점 및 왜곡 계수(들)를 포함할 수 있다. 따라서, 카메라 교정은 카메라의 렌즈 및 이미지 센서의 파라미터들을 추정할 수 있다. 결정된 파라미터들은 렌즈 왜곡을 보정하거나, 세계 단위들로 객체의 크기를 측정하거나, 또는 3-D 장면 재구성에서의 장면에서 카메라의 위치를 결정하는 데 사용될 수 있다.
[0025] 종래의 시스템들은 주어진 카메라의 고유 파라미터들을 결정할 수 있게 한다. 일부 종래의 교정 기법들은 체커보드 접근법을 사용하며, 이는, 카메라가 각각의 이미지 사이에서 카메라에 대해 이동되는 체커보드의 다수의 이미지들(예컨대, 100+ 이미지들)을 캡처하도록 요구한다. 이어서, 포착된 이미지들은 카메라의 고유 파라미터들을 결정하도록 프로세싱된다. 교정은, 각각의 이미지 상의 체커보드의 부분(예컨대, 체커보드의 코너들)의 위치를 결정하고 그 포인트의 좌표들을 카메라의 위치와 상관시킴으로써 달성된다. 그러나 로봇 시스템들, 자동차들, 공수 차량들, 수중 및 수상 선박들, 감시 시스템들과 같은 시스템들의 경우, 다수의 카메라들이 사용될 수 있다. 다수의 카메라들이 필요한 시스템들의 경우, 각각의 카메라는 개별적으로 고유하게 교정되어야 하며, 이는 시간 소모적이고 번거롭다.
[0026] 도 1은 예시적인 실시예들에 따른 카메라 좌표계 및 세계 좌표계를 예시한다. 실세계 객체(108)는 카메라 좌표계(102)의 중심에 제공된 카메라(100)를 사용하여 이미징되고 있다. 카메라(100)는 실세계 객체(108)의 3D 포인트들을 이미지 평면(104) 상의 2D 포인트들에 맵핑한다. 객체(108)의 포지션은 세계 좌표계(106)를 사용하여 정의된다. 카메라(100)를 사용하여, 객체(108)의 이미지가 이미지 평면(104) 상에 형성된다. 예를 들어, 이미지 평면 상의 이미지 포인트(112)는 객체(108)의 포인트(110)에 대응한다.
[0027] VR/AR 표현에서 실세계 객체 및/또는 모델의 정확한 재구성을 달성하기 위해 카메라(100)를 교정하는 것이 필요할 수 있다. 카메라 교정은 카메라 및/또는 이미징 시스템과 연관된 특정 파라미터들을 결정하는 것을 포함할 수 있다. 예를 들어, 카메라 교정은 카메라의 고유 파라미터들 중 하나 이상을 결정하는 것을 포함할 수 있다.
[0028] 고유 파라미터들은 카메라 좌표계(102)로부터 이미지 평면(104) 상의 2-D 이미지 좌표들로의 투영 변환을 표현할 수 있다. 고유 파라미터들은 초점 길이(fx, fy), 주점 및 왜곡 계수를 포함한다. 초점 길이는 카메라 좌표계(102)의 중심과 이미지 평면(104) 사이의 거리를 지칭한다. 주점(114)은 주축(즉, 카메라 좌표계(102)의 z-축)이 이미지 평면(104)과 교차하는 곳이다. 왜곡 계수는 특정 카메라의 렌즈에 의해 도입된 왜곡을 보정하기 위해 사용되는 특정 카메라와 연관된 계수일 수 있다. 종래의 시스템들은 고유 카메라 교정을 위해 미리 정의된 교정 그리드들(예컨대, 알려진 3D 교정 타겟 객체들, 이를테면 체커보드 객체들)을 사용한다. 단일 카메라의 파라미터들을 추정하기 위해서는 상이한 배향들을 갖는 몇몇 관측들이 필요하다.
[0029] 다양한 실시예들에 따르면, 제1 표면 상의 제1 격자 패턴 및 대향하는 제2 표면 상의 제2 격자 패턴을 포함하는 양면 DOE가 하나 이상의 카메라들의 고유 교정을 위해 사용될 수 있다. 다양한 실시예들에 따라, 제1 표면은 타일링될 때 라이닝되는 반복 3*3 패턴을 포함할 수 있고, 제2 표면은 타일링될 때 라이닝되는 반복 19*19 패턴을 포함할 수 있다. 레이저가 턴 온되고 광이 DOE를 향해 지향될 때, DOE는 알려진 포지션들에서 가상 광들의 패턴("가상 광원들"로 지칭됨)을 생성할 수 있다. DOE에 의해 형성된 가상 광원들은 "DOE의 아이 박스(eye box)"로 지칭되는 공간의 영역 내에 위치된(그리고 적절하게 배향된) 관측자(예컨대, 카메라)에 의해 보일 수 있다. 대안적으로, DOE의 아이 박스에 배치된 카메라는 DOE에 의해 형성된 가상 광원들을 캡처할 수 있다.
[0030] 카메라에 의해 생성된 디지털 이미지에서, 각각의 가상 광원은 그레이 레벨들의 로컬 최대값으로서 식별가능할 수 있다. 이미지는 로컬 최대값들의 리스트를 컴퓨팅하기 위해 자동으로 프로세싱될 수 있다. 표기
Figure pct00001
은 이미지 내의 가상 광원들의 투영들의 이미지들의 리스트를 예시하기 위해 사용될 수 있다. 각각의
Figure pct00002
는 이미지 내의 포인트의 x-좌표 및 y-좌표로 구성된 2-차원 벡터이다. 2-차원 벡터들은 세기 피크들로 지칭될 수 있다.
[0031] 가상 광원 DA의 3D 포지션은 4개의 동질 좌표들
Figure pct00003
의 벡터로 표현될 수 있다. 따라서, 유한 거리의 가상 광원은 벡터
Figure pct00004
에 의해 고유하게 표현될 수 있는 한편, 무한대에 있는 가상 광원은 벡터
Figure pct00005
에 의해 고유하게 표현될 수 있다. 벡터
Figure pct00006
에 대한 좌표들은 "좌표들의 디스플레이 시스템"에 기록된다. DOE를 생성할 때, 가상 광원들의 포지션들은 예를 들어, 특정 구현에 따라 선택될 수 있다. 따라서, 예시적인 DOE는, DOE에 부착된 기준 좌표계에서 알려진 좌표들을 갖는 N개의 가상 광원들
Figure pct00007
, ...,
Figure pct00008
의 세트를 생성한다. 특히, "0차 광원"으로 지칭되는 하나의 가상 광원은 격자를 통한 레이저의 직접 투과에 대응한다. 0차 가상 광원은 다른 광원들보다 밝다.
[0032] 양면 DOE의 각각의 표면 상의 패턴의 설계에 대한 제1 제약은 최적의 레벨로 0차 가상 광원의 밝기를 갖는 것이다. 0차 가상 광원의 밝기는, 양면 DOE에 의해 생성된 나머지 가상 광원들과 구별가능할 정도로 충분히 밝지만, 이웃 가상 광원들의 밝기에 대해 카메라를 오도하지 않을 정도로 너무 밝지 않도록 밸런싱되어야 한다. 즉, 0차 가상 광원의 밝기가 너무 높을 때, 이는 정확한 교정이 수행될 수 없는 포인트까지 카메라를 포화시킨다. 0차 가상 광원의 밝기가 너무 낮을 때, 카메라는 0차 가상 광원을 식별할 수 없다. 실시예들은 0차 가상 광원의 밝기를 미리 결정된 양으로(예컨대, 레이저 소스로부터 방출된 레이저 빔의 약 1.1±0.5%로) 감소시키도록 DOE의 각각의 표면 상에 격자 패턴을 제공한다. 즉, 레이저 소스로부터 방출된 레이저 빔의 미리 결정된 양만이 0차 가상 광원에 도달한다.
[0033] 양면 DOE의 각각의 표면 상의 패턴의 설계에 대한 제2 제약은 나머지 가상 광원들(예컨대, 0차 가상 광원 이외의 가상 광원들)에 걸쳐 균일한 밝기를 갖는 것이다. 구체적으로, 나머지 가상 광원들이 너무 어둡다면, 카메라는 이들을 검출하지 못할 수 있다.
[0034] 실시예들은 제약들 둘 모두를 충족하고 하나 이상의 카메라들의 빠르고 효율적인 고유 교정을 제공하는 양면 DOE를 제공한다. 실시예들은, 함께 작용하는 2개의 패턴들의 조합된 효과가 제약들 둘 모두를 충족하는 패턴으로 결과들을 제공하도록, DOE의 2개의 표면들 각각 상에 패턴을 배치함으로써 DOE의 표면들 둘 모두를 사용한다. 출력에서 0차 스폿의 밝기(예컨대, DOE에 의해 형성된 광 패턴)는 양면 DOE를 이용하여 약 1.1±0.5%로 감소될 수 있다. 다양한 실시예들에 따르면, M*M(예컨대, 19*19) 어레이를 생성하는 제1 패턴이 DOE의 하나의 표면 상에 배치되고, N*N(예컨대, 3*3) 어레이를 생성하는 제2 패턴이 DOE의 대향 표면 상에 배치된다. 제2 패턴은 제1 패턴에 비해 매우 높은 각도들로 팬 아웃(fan out)될 수 있다. 양면 DOE는, 각각의 카메라에 의해 캡처된 이미지가 N2개의 반복 서브-패턴들을 포함하도록, 제2 표면 상의 M*M 어레이를 제1 표면 상의 N*N 어레이의 크기와 매칭(match)하도록 타일링함으로써 형성될 수 있다. 즉, 일부 실시예들에서, DOE는 19*19의 3*3 사본을 생성하고, 규칙적인 그리드를 형성하는 연속적인 패턴(예컨대, 사이에 갭이 없이 형성된 동일한 패턴의 9개의 카피들)을 갖도록 갭 없이 카피들을 타일링함으로써 형성될 수 있다.
[0035] 0차 가상 광원은 예시적인 실시예들에 따라 DOE가 작용하는 방법의 개략적인 설명을 예시하는, 도 2의 m=0에 대응한다. 입사 레이저 빔은 미리 결정된 격자를 갖는 DOE를 향해 지향된다. DOE로부터 투과된 광은 다양한 회절 차수들(예컨대,
Figure pct00009
)로 표면 또는 이미지 상에서 다시 캡처된다.
[0036] DOE의 표면들은 거리 d만큼 이격된 반복적인 일련의 좁은 폭의 그루브들을 포함할 수 있다. 입사 광은 표면 법선으로부터 측정된 각도
Figure pct00010
로 격자에 충돌한다. 격자를 빠져나가는 차수 m의 광은 표면 법선에 대해
Figure pct00011
의 각도로 떠난다. 일부 기하학적 변환들 및 일반적인 격자 표현을 활용하여, 투과성 회절 격자에 대한 표현이 다음과 같이 발견될 수 있다:
Figure pct00012
여기서, n_src 및 n_0은 각각 격자 계면 전 및 후의 재료의 굴절률들이다.
[0037] 양면 DOE는 통상적으로, 실리콘 결정과 같은 기판의 각각의 고체 표면 상에 미세한 격자를 에칭함으로써 생성된다. 카메라는, 자신의 입사 동공이 양면 DOE의 아이 박스에 완전히 포함되고, 카메라가 양면 DOE에 의해 형성된 가상 광원들의 이미지를 형성하도록 배향되게 배치될 수 있다. 양면 DOE의 배향이 또한 대략적으로 알려져 있을 수 있다.
[0038] DA1이 0차 가상 광원이면, 가장 밝은 세기 피크
Figure pct00013
는 이미지의 세기 피크들
Figure pct00014
중에서 식별될 수 있다. 가장 밝은 세기 피크에는
Figure pct00015
가 할당될 수 있다. 이러한 0차 세기 피크로부터, 모든 가상 광원
Figure pct00016
에 대응하는 각각의 세기 피크
Figure pct00017
가 식별될 수 있다. 세기 피크 쌍들이 식별되면, 카메라의 고유 파라미터들이 계산될 수 있다.
[0039] 도 3a 및 도 3b는 다양한 실시예들에 따른, 카메라의 고유 교정을 위한 예시적인 시스템을 예시한다. 구체적으로, 도 3a는 양면 DOE를 사용하는 카메라의 고유 교정을 위한 예시적인 시준기 조립체의 단면도를 예시하고, 도 3b는 도 3a에 예시된 예시적인 시준기 조립체의 평면도를 예시한다.
[0040] 예시적인 시스템은 양면 DOE(306), 시준 렌즈(304) 및 레이저 소스(302)를 포함하는 시준기 조립체(300)를 포함할 수 있다. 카메라(308)는 양면 DOE(306)에 의해 형성된 광 패턴들의 이미지를 캡처하기 위해 양면 DOE의 아이 박스에 배치될 수 있다. 양면 DOE(306)는 레이저 소스(302)와 카메라(308) 사이에 제공된다. 도 3b에 도시된 바와 같이, DOE(306)는 짐벌(gimbal) 및 DOE 장착부(316)에 제공될 수 있다. 시준기 조립체(300)는, 외부 환경으로부터의 오염물들 및 충격으로부터 그리고/또는 긁히거나 또는 다른 방식으로 손상되는 것으로부터 DOE(306)를 보호하기 위한 보호 윈도우(318)를 포함할 수 있다.
[0041] 다양한 실시예들에 따르면, 레이저 소스(302)는 솔리드 스테이트 레이저를 포함할 수 있다. 레이저 소스(302)로부터 방출된 광은 시준 렌즈(304)를 통과할 수 있다. 시준 렌즈(304)를 빠져나가는 광은 시준 렌즈(304)의 광학 축(312)과 평행하다. 시준된 렌즈(304)를 빠져나가는 광은 DOE(306)를 향해 전파된다. 예시적인 양면 DOE(306)는 57*57 패턴의 가상 광원들을 형성할 수 있다(예컨대, 57*57 시준된 빔들이 양면 DOE(306)로부터 나올 수 있음).
[0042] 위에서 제공된 바와 같이, DOE(306)의 설계는 2개의 제약들: 0차 가상 광원의 밝기가 미리 결정된 레벨로(예컨대, 레이저 소스로부터 방출된 레이저 빔의 약 0%까지, 또는 약 0% 내지 약 1.6%까지의 범위로) 감소되어야 하는 것, 및 나머지 가상 광원들에 걸쳐 균일한 밝기가 달성되어야 하는 것을 충족해야 한다. 이러한 제약들이 충족되지 않을 때, 결과적인 이미지는 도 4에 예시된 바와 같이 균일한 반복 서브-패턴을 갖지 않을 수 있다.
[0043] 도 4는 일부 실시예들에 따른, (카메라에 의해 캡처된 바와 같은) 비-최적의 격자 패턴을 갖는 양면 DOE에 의해 형성된 광 패턴의 개략적인 표현을 예시한다. 광 패턴은 코너들에서 불량한 균일성을 가지며, 이는, DOE의 어느 하나의 표면 상의 임의의 주어진 패턴이 카메라의 고유 교정에 사용될 수 있는 최적의 광 패턴을 초래하지 않는다는 것을 나타낸다. DOE의 제1 표면 상의 제1 격자는 19*19 도트 패턴을 생성하고, DOE의 제2 표면 상의 제2 격자는 19*19 도트 패턴을 3*3 패턴으로 분배한다. 도 4에 예시된 이미지는 각각의 블록에서 19*19 도트 패턴을 갖는 9개의 블록들을 포함한다. 이미지에 도시된 십자 형상은 각각의 블록에서의 회절 효율 차이로 인한 아티팩트이다. 최적의 조건들에서, 9개의 블록들은 동일한 밝기를 가져야 한다(아래에서 논의되는 도 7에 도시된 바와 같음).
[0044] 도 3a를 다시 참조하면, 카메라(308)는, 양면 DOE(306)를 가로질러 자신에게 오는 모든 상이한 시준된 빔들을 픽업하고, 양면 DOE(306)를 통과하는 시준된 광에 의해 형성된 광 패턴의 이미지를 캡처할 수 있다. 다양한 실시예들에 따라, 양면 DOE(306)는 높은 각도들의 가상 광원들이 카메라의 시야 내에 있음을 보장하도록 크기가 설정되어야 한다(예컨대, 높은 각도들의 가상 광원들이 DOE로부터 카메라의 렌즈 애퍼처로 이어져야 한다). 예를 들어, 양면 DOE(306)는 수평 치수로 100 픽셀, 수직 치수로 100 픽셀 및 대각선으로 140 픽셀의 영역을 커버할 수 있다. 다양한 실시예에 따르면, 0차 가상 광원은 카메라에 의해 캡처된 이미지의 중심 세기 피크에 대응할 수 있다.
[0045] 카메라(308)는 캡처된 이미지 데이터(예컨대, 가상 광원들의 패턴의 이미지)를 유선 또는 무선 접속(314)을 통해 이미지 프로세싱 서버 컴퓨터(310)에 송신할 수 있다(또는 이미지는 카메라(308)로부터 이미지 프로세싱 서버 컴퓨터(310)에 의해 리트리브될 수 있음). 다양한 실시예들에 따르면, 시스템은 대응하는 시준기 조립체의 전방에 각각 배치된 다수의 카메라들을 포함할 수 있다. 다수의 카메라들 모두는 프로세싱을 위해(예컨대, 각각의 카메라의 고유 파라미터들을 결정하기 위해) 이미지들을 이미지 프로세싱 서버 컴퓨터(310)에 송신할 수 있다. 이미지 프로세싱 서버 컴퓨터(310)는 프로세서, 메모리, 디스플레이 및 입력 엘리먼트들(터치 스크린, 키보드, 마우스 등을 포함하지만 이에 제한되지 않음)을 포함할 수 있다. 프로세서는 하나 이상의 집적 회로들(예컨대, 하나 이상의 단일 코어 또는 멀티코어 마이크로프로세서들 및/또는 마이크로제어기들)로서 구현될 수 있고, 하나 이상의 카메라들로부터 수신된 이미지 데이터(예컨대, 이미지들)의 프로세싱을 제어하기 위해 사용된다. 프로세서는 시스템 메모리에 저장된 프로그램 코드 또는 컴퓨터 판독가능 코드에 대한 응답으로 다양한 프로그램들을 실행할 수 있고, 다수의 동시에 실행되는 프로그램들 또는 프로세스들을 유지할 수 있다.
[0046] 시스템 메모리는 임의의 수의 비휘발성 메모리들(예컨대, 플래시 메모리) 및 휘발성 메모리들(예컨대, DRAM, SRAM)의 임의의 조합, 또는 임의의 다른 비일시적 저장 매체, 또는 이들의 조합 매체들을 사용하여 구현될 수 있다. 시스템 메모리는 본 명세서에 설명된 기능들 중 임의의 기능을 수행하기 위해 프로세서에 의해 실행가능한 컴퓨터 코드 및 OS(operating system)를 저장할 수 있다. 예시적인 이미지 프로세싱 서버 컴퓨터(310)의 세부사항들은 도 11과 관련하여 아래에서 제공된다.
[0047] 실시예들은 제약들 둘 모두를 충족하고 하나 이상의 카메라들의 빠르고 효율적인 고유 교정을 제공하는 양면 DOE를 제공한다. 실시예들은, 함께 작용하는 2개의 패턴들의 조합된 효과가 제약들 둘 모두를 충족하는 패턴으로 결과들을 제공하도록, 각각의 표면 상에 패턴을 배치함으로써 DOE의 표면들 둘 모두를 사용한다. 다양한 실시예들에 따르면, 반사-방지 코팅은 어느 표면에도 적용되지 않는다.
[0048] 도 5는 일부 실시예들에 따른 예시적인 양면 DOE의 예시적인 격자 패턴들의 개략적인 표현을 예시한다. 다양한 실시예들에 따르면, 3*3 어레이를 생성하는 제1 패턴(500)이 DOE의 제1 표면 상에 배치된다. 19*19 어레이를 생성하는 제2 패턴(502)은 DOE의 제2(즉, 대향) 표면 상에 배치된다. 제1 패턴(500)은 제2 패턴(502)에 비해 매우 높은 각도들로 팬 아웃될 수 있다. 양면 DOE는 19*19의 3*3 사본을 생성하고, 규칙적인 그리드를 형성하는 연속적인 패턴을 갖도록 갭 없이 카피들을 타일링함으로써 형성될 수 있다. 표 1은 예시적인 양면 DOE에 대한 광학 규격들을 제공한다. 표 1에서 식별된 균일성은 다음과 같이 정의될 수 있다:
균일성 = 범위 (N, E, S, W, NE, NW, SE, SW) / Min (N, E, S, W, NE, NW, SE, SW)
여기서 N, E, S, W, NE, NW, SE, SW는 3*3 스폿 생성기 상의 각각의 스폿의 밝기이다. 0차는 이 계산에서 제외된다.
Figure pct00018
표 1 - 예시적인 양면 DOE에 대한 광학 규격들
[0049] 도 6은 일부 실시예들에 따른 예시적인 격자 패턴의 개략적인 표현을 예시한다. 격자 패턴(600)은 도 5에 예시된 패턴들 중 하나(예컨대, 제2 패턴(502))를 타일링함으로써 형성될 수 있다. (도면 상에서 예시 목적들로 사용되는) 가상 분리 라인들(604)로 예시된 바와 같이, 격자 패턴(600)은 어떠한 갭들도 남기지 않고 복수의 19*19 어레이들을 서로 나란히 배치함으로써 형성된다. 패턴은 대향 표면의 크기와 매칭하도록 반복되어야 하며, 반복되는 어레이들은 그 전체가 반복될 필요가 없다(예컨대, 격자 패턴(600)의 코너들 또는 에지들에서의 어레이는 컷-오프될 수 있음). 예시적인 양면 DOE가 DOE의 제1 표면 상에 3*3 어레이를 생성하는 제1 패턴 및 DOE의 제2(즉, 대향) 표면 상에 19*19 어레이를 생성하는 제2 패턴을 포함하는 경우, DOE는 57*57 어레이 DOE일 수 있다. 시준된 광이 양면 DOE를 통해 이동할 때, 광 패턴들은 양면 DOE로부터 미리 결정된 거리에 형성된다. 예를 들어, 양면 DOE에 의해 형성된 예시적인 광 패턴(700)이 도 7에 예시된다.
[0050] 도 7은 일부 실시예들에 따른, 예시적인 양면 DOE에 의해 형성된 광 패턴의 개략적인 표현을 예시한다. 광 패턴(700)은 9개의 반복 서브-패턴들(704)을 포함할 수 있고, 0차 스폿(702)은 광 패턴(700)의 중심에서 가장 밝은 스폿이다. 0차 스폿의 밝기(예컨대, 에너지)를 약 1.1±0.5%로 감소시킴으로써 ― 이는 입력 광(예컨대, DOE 상에서 전파된 시준된 광)의 약 1.1±0.5%가 0차 스폿(702)에 도달한다는 것을 의미함 ―, 실시예들은 단일 이미지를 사용하는 카메라의 고유 교정을 가능하게 한다. 실제로, 0차 스폿(702)(예컨대, 그의 밝기가 1.1±0.5%로 감소됨) 및 회절 효율을 제한하는 것은 결국, 반복 서브-패턴들(704)의 중심 스폿들을 중심 패턴 주위로 제약한다(예컨대, 도 7에 예시된 0차 스폿(702)을 제약하는 광 패턴(700) 내의 중심 정사각형). 다양한 실시예들에 따르면, 회절 효율은 60%보다 크도록 제약되는데, 이는, 60%보다 큰, DOE로 들어오는 에너지의 회절 효율이 57*57 어레이의 스폿들 중 하나에서 끝나야 한다는 것을 의미한다.
[0051] 도 8a 내지 도 8c는 일부 실시예들에 따른 예시적인 시준기 조립체의 성능을 검증하기 위한 예시적인 성능 테스트 스테이션(800)을 예시한다. 도 8a에 예시된 바와 같이, 성능 테스트 스테이션(800)은 (예컨대, 도 3a 및 도 3b에 예시된 시준기 조립체(300)와 유사한) 적어도 하나의 시준기 조립체(802)를 포함한다. 다양한 실시예들에 따르면, 테스트 스테이션(800)은 하나 이상의 시준기 조립체들(802)의 성능을 검증하기 위해 사용될 수 있다. 테스트 스테이션(800)은 프레임(806)을 포함하며, 그 프레임(806) 상에 시준기 조립체/조립체들(802), 골드 표준 카메라(804) 및 골드 표준 웨어러블(808)이 커플링된다. 테스트 스테이션(800)은 휴대용일 수 있다. 예를 들어, 테스트 스테이션(800)은 테스트 스테이션(800)의 프레임(806)에 커플링된 하나 이상의 핸들들(810)을 사용하여 운반될 수 있다. 도 8b는 테스트 영역(812)에서 예시적인 성능 테스트 스테이션(800)의 후방으로부터의 도면을 예시한다. 도 8c는 테스트 영역(812)에서의 예시적인 성능 테스트 스테이션(800)의 전방 부분의 최상부의 확대도를 예시한다. 다양한 실시예들에 따르면, 테스트 영역(812)은 인클로저 또는 박스를 포함할 수 있다.
[0052] 다양한 실시예들에 따르면, 시준기 조립체(802)는 2인치 및/또는 3인치 시준기를 포함할 수 있다. 골드 표준 카메라(804) 및/또는 하나 이상의 카메라들을 포함하는 골드 표준 웨어러블(808)은 시준기 조립체/조립체들(802) 전방에 배치될 수 있다. 예를 들어, 카메라(804)는 시준기 조립체(802)의 3 인치 시준기를 검증하기 위해 사용될 수 있다. 하나 이상의 카메라들을 포함하는 웨어러블(808)은 시준기 조립체(802)의 2인치 시준기를 검증하기 위해 사용될 수 있다.
[0053] 시준기 조립체들(802)이 (골드 표준 카메라 및 골드 표준 웨어러블을 사용하여) 검증되면, 이들은 AR/VR 시스템을 위한 웨어러블의 복수의 카메라들의 고유 교정을 위해 사용될 수 있다.
[0054] 도 9는 일부 실시예들에 따른, AR/VR 시스템에 대한 웨어러블의 복수의 카메라들의 고유 교정을 위한 예시적인 시스템을 예시한다. 교정 시스템(900)은 금속 시스(metal-sheathed) 광섬유 케이블들(906)과 같은 복수의 접속들을 통해 3개의 상이한 시준기 조립체들(908) 내로 광을 전송하는 커플러(904) 내로 약 1 밀리와트의 레이저 광을 방출하는 솔리드 스테이트 레이저(902)를 포함할 수 있다. 다양한 실시예들에 따르면, 커플러(904)는 시스템(900)에 의해 요구되는 만큼 많은 상이한 시준기 조립체들 내로 광을 전송하도록 구성되며, 그 수는 도 9에 예시된 바와 같이 3으로 제한되지 않는다. 광이 시준 조립체들(908) 각각에 제공된 양면 DOE를 통과할 때, 각각의 시준 조립체는 도 7에 예시된 것과 유사한 스폿 어레이(예컨대, 광 패턴)를 생성한다.
[0055] 도 9에 예시된 교정 시스템(900)은 시준기 조립체들(908) 중 하나의 시준기 조립체의 전방에 카메라들 중 각각의 카메라를 배치함으로써 예시적인 AR/VR 시스템의 3개의 카메라들(예컨대, 세계 카메라들)을 교정하기 위해 사용될 수 있다. 이 예시적인 예에서, 시준기 조립체들(908) 중 하나의 시준기 조립체의 전방에 각각 배치된 3개의 카메라들이 동시에 고유하게 교정될 수 있다. 도 8a에 예시된 프레임(806)과 유사한 프레임이 교정 목적들을 위해 또한 사용될 수 있다. 도 9에 예시된 시스템을 사용하여, 예를 들어, 더 많거나 더 적은 시준기 조립체들을 시스템에 커플링하고 필요에 따라 적절한 커플러를 사용함으로써 더 많은 또는 더 적은 카메라들이 교정될 수 있다는 것을 당업자는 인식할 것이다.
[0056] 도 10은 일부 실시예들에 따른 복수의 양면 DOE들을 사용하여 복수의 카메라들의 고유 교정을 위한 방법을 예시하는 간략화된 흐름도(1000)이다.
[0057] 단계(1002)에서, 복수의 카메라들 및 복수의 시준기 조립체들이 제공된다. 다양한 실시예들에 따르면, 복수의 카메라들은 AR/VR 시스템에 커플링될 수 있다. 예를 들어, 카메라들은 AR/VR 시스템의 웨어러블(예컨대, 헤드셋) 부분에 커플링될 수 있다. 다른 실시예들에서, 하나 이상의 카메라들을 각각 포함하는 다수의 웨어러블들이 동시에 교정될 수 있다.
[0058] 다양한 실시예들에서, 각각의 시준기 조립체는 양면 DOE(diffractive optical element)를 포함한다. 양면 DOE의 각각의 표면 상에 격자 패턴이 형성되는 것이 제공된다. 양면 DOE는 제1 표면 상에 형성된 제1 격자 패턴의 N*N 어레이 및 제2 표면 상에 형성된 제2 패턴의 M*M 어레이를 포함할 수 있다. M*M 어레이는, 각각의 카메라에 의해 캡처된 이미지가 N2개의 반복 서브-패턴들을 포함하도록, 양면 회절 광학 엘리먼트의 제1 표면 상의 N*N 어레이의 크기와 매칭하도록 양면 회절 광학 엘리먼트의 제2 표면 상에 타일링된다. 예를 들어, 일부 실시예들에서, N=3 및 M=19이고, 19*19 어레이는, 각각의 카메라에 의해 캡처된 이미지가 9개의 반복 서브-패턴들을 포함하도록, 양면 DOE의 제1 표면 상의 3*3 어레이의 크기와 매칭하도록 양면 DOE의 제2 표면 상에 타일링된다.
[0059] 단계(1004)에서, 각각의 카메라가 복수의 시준기 조립체들 중 하나의 시준기 조립체의 전방에 배치되도록, 복수의 카메라들은 복수의 시준기 조립체들의 전방에 배치된다. 예를 들어, 각각의 카메라는 개개의 시준기 조립체의 양면 DOE의 아이 박스에 유지되도록 구성될 수 있다. 이러한 방식으로, 카메라는 개개의 시준기 조립체에 의해 생성된 전체 광 패턴을 캡처할 수 있을 것이다.
[0060] 다음의 단계들(1006-1010)은 복수의 카메라들 중 각각의 카메라에 대해 수행된다.
[0061] 따라서, 단계(1006)에서, 방법은, 컴퓨팅 디바이스를 사용하여, 카메라로부터 이미지를 수신하는 단계를 포함한다. 이미지는 시준 렌즈 및 양면 DOE를 통과하는 레이저 빔에 의해 형성된 광 패턴의 이미지를 포함할 수 있다. 다양한 실시예들에 따르면, 양면 DOE의 각각의 표면 상에 형성된 격자 패턴은 이미지 상의 중심 세기 피크의 밝기를 미리 결정된 양으로 감소시키도록 선택된다. 다양한 실시예들에 따르면, 양면 DOE의 각각의 표면 상에 형성된 격자 패턴은 이미지 상의 중심 세기 피크의 밝기를 레이저 소스로부터 방출된 레이저 빔의 약 1.1±0.5%로 감소시키도록 선택된다. 일부 실시예들에서, 이미지는 어떠한 갭들도 없는 반복 서브-패턴을 포함할 수 있다. 예를 들어, 이미지는 타일들 사이에 어떠한 갭들도 없는 동일한 서브-패턴의 9개의 타일들을 포함할 수 있다.
[0062] 다양한 실시예들에 따르면, 각각의 시준기 조립체는 시준 렌즈를 포함한다. 방법은 또한, 각각의 시준기 조립체의 시준 렌즈에 레이저 빔을 방출하도록 레이저 소스를 구성하는 단계를 포함할 수 있다. 각각의 시준기 조립체의 시준 렌즈는 양면 DOE와 레이저 소스 사이에 제공된다.
[0063] 단계(1008)에서, 방법은, 컴퓨팅 디바이스를 사용하여, 데이터 쌍들을 식별하는 단계를 포함하고, 각각의 데이터 쌍은, 이미지 상의 세기 피크에 대응하는, 양면 회절 광학 엘리먼트에 의해 형성된 가상 광원, 및 세기 피크의 픽셀 좌표들을 포함한다.
[0064] 단계(1010)에서, 컴퓨팅 디바이스 및 이미지에 대한 식별된 데이터 쌍들을 사용하여 카메라의 고유 파라미터들이 결정된다. 고유 파라미터들은 카메라의 초점 길이, 주점 및 왜곡 계수(들) 중 하나 이상을 포함한다.
[0065] 도 10에 예시된 특정 단계들이 일부 실시예들에 따라 양면 DOE를 사용하여 카메라를 교정하고 고유 파라미터들을 결정하기 위한 특정 방법을 제공한다는 것이 인식되어야 한다. 대안적인 실시예들에 따라 다른 시퀀스들의 단계들이 또한 수행될 수 있다. 예를 들어, 대안적인 실시예들은 도 10에서 약술된 단계들을 상이한 순서로 수행할 수 있다. 더욱이, 도 10에 예시된 개별 단계들은 개별 단계에 적절한 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 또한, 특정 애플리케이션들에 따라 추가적인 단계들이 추가 또는 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0066] 실시예들은 종래의 시스템들에 비해 다수의 이점들을 제공한다. 실시예들은 각각의 표면 상에 특정 격자 패턴을 갖는 양면 DOE를 각각 포함하는 하나 이상의 시준기 조립체들을 사용하여 실세계 이미지 캡처 디바이스 및/또는 AR/VR 디스플레이 시스템을 교정할 수 있게 한다. 양면 DOE 상의 격자들은, DOE에 의해 형성된 이미지 패턴의 이미지 상의 중심 세기 피크의 밝기가 레이저 소스로부터 방출된 레이저 빔의 약 1.1±0.5%로 감소되도록 형성된다(예컨대, 이미지의 중심 세기 피크에 도달하는, 레이저 소스로부터 방출된 레이저 빔의 약 1.1±0.5%가 이미지의 중심 세기 피크에 도달함). 따라서, 실시예들은 0차 가상 광원이 최적 레벨의 밝기를 갖는 광 패턴을 생성하는 양면 DOE를 제공한다(예컨대, 양면 DOE에 의해 생성된 나머지 가상 광원들과 구별가능할 정도로 충분히 밝지만, 이웃 가상 광원들의 밝기에 대해 카메라를 오도하지 않을 정도로 너무 밝지 않음).
[0067] 도 11은 일부 실시예들에 따른 컴퓨터 시스템(예컨대, 이미지 프로세싱 서버 컴퓨터(310))의 간략화된 개략도이다. 제어 시스템으로 또한 지칭될 수 있는, 도 11에 예시된 바와 같은 컴퓨터 시스템(1100)은 하나 이상의 컴퓨팅 디바이스들을 포함할 수 있다. 도 11은 다양한 실시예들에 의해 제공되는 방법들의 단계들 중 일부 또는 전부를 수행할 수 있는 컴퓨터 시스템(1100)의 일 실시예의 개략적인 예시를 제공한다. 도 11이 단지 다양한 컴포넌트들의 일반화된 예시를 제공하는 것을 의미하며, 그 컴포넌트들 중 임의의 또는 모든 컴포넌트가 적절하게 활용될 수 있음을 주목해야 한다. 따라서, 도 11은 개별적인 시스템 엘리먼트들이 비교적 분리된 또는 비교적 더 통합된 방식으로 어떻게 구현될 수 있는지를 넓게 예시한다.
[0068] 컴퓨터 시스템(1100)은, 버스(1105)를 통해 전기적으로 커플링될 수 있는 또는 그렇지 않으면, 적절하게 통신할 수 있는 하드웨어 엘리먼트들을 포함하는 것으로 도시된다. 하드웨어 엘리먼트들은, 제한없이 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수 목적 프로세서들, 이를테면, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등을 포함하는 하나 이상의 프로세서들(1110); 제한없이 마우스, 키보드, 카메라 등을 포함할 수 있는 하나 이상의 입력 디바이스들(1115); 및 제한없이 디스플레이 디바이스, 프린터 등을 포함할 수 있는 하나 이상의 출력 디바이스들(1120)을 포함할 수 있다. 컴퓨터 시스템(1100)은 도 3a와 관련하여 위에서 논의된 바와 같이, 유선 또는 무선 커플링을 통해 카메라(1147)(예컨대, 카메라(308))와 통신할 수 있다.
[0069] 컴퓨터 시스템(1100)은, 제한없이 로컬 및/또는 네트워크 액세스가능한 저장부를 포함할 수 있고 그리고/또는 제한 없이 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 고체-상태 저장 디바이스, 예를 들어 프로그래밍가능한 것, 플래시-업데이트가능한 것 등일 수 있는 랜덤 액세스 메모리("RAM") 및/또는 판독-전용 메모리("ROM")를 포함할 수 있는 하나 이상의 비일시적 저장 디바이스들(1125)을 더 포함하고 그리고/또는 그와 통신할 수 있다. 이러한 저장 디바이스들은, 제한없이 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하는 임의의 적절한 데이터 저장부들을 구현하도록 구성될 수 있다.
[0070] 컴퓨터 시스템(1100)은 또한, 제한없이 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋, 이를테면 Bluetooth™ 디바이스, 802.11 디바이스, Wi-Fi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등 및/또는 유사한 것을 포함할 수 있는 통신 서브시스템(1130)을 포함할 수 있다. 통신 서브시스템(1130)은 일 예를 들자면, 아래에서 설명되는 네트워크와 같은 네트워크, 다른 컴퓨터 시스템들, 텔레비전, 및/또는 본 명세서에서 설명되는 임의의 다른 디바이스들과 데이터가 교환될 수 있게 하는 하나 이상의 입력 및/또는 출력 통신 인터페이스들을 포함할 수 있다. 원하는 기능 및/또는 다른 구현 우려들에 따라, 휴대용 전자 디바이스 또는 유사한 디바이스는 통신 서브시스템(1130)을 통해 이미지 및/또는 다른 정보를 통신할 수 있다. 다른 실시예들에서, 휴대용 전자 디바이스, 예컨대, 제1 전자 디바이스는 입력 디바이스(1115)로서 컴퓨터 시스템(1100), 예컨대, 전자 디바이스에 통합될 수 있다. 일부 실시예들에서, 컴퓨터 시스템(1100)은 전술된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 작동 메모리(1135)를 더 포함할 것이다.
[0071] 컴퓨터 시스템(1100)은 또한, 운영 시스템(1140), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다른 코드, 이를테면 하나 이상의 애플리케이션 프로그램들(1145)을 포함하는 작동 메모리(1135) 내에 현재 위치된 것으로 도시된 소프트웨어 엘리먼트들을 포함할 수 있고, 이들은 본 명세서에 설명된 바와 같이, 다양한 실시예들에 의해 제공된 컴퓨터 프로그램들을 포함할 수 있고, 그리고/또는 방법들을 구현하도록 설계될 수 있고, 그리고/또는 다른 실시예들에 의해 제공된 시스템들을 구성할 수 있다. 단지 예로서, 도 10과 관련하여 설명된 것들과 같이 위에서 논의된 방법들에 대해 설명된 하나 이상의 절차들은, 컴퓨터 및/또는 컴퓨터 내의 프로세서에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있으며; 이어서, 일 양상에서, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터 또는 다른 디바이스를 구성 및/또는 적응시키기 위해 사용될 수 있다.
[0072] 이러한 명령들 및/또는 코드의 세트는, 앞서 설명된 비일시적 저장 디바이스(들)(1125)와 같은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다. 일부 경우들에서, 저장 매체는, 컴퓨터 시스템(1100)과 같은 컴퓨터 시스템 내에 통합될 수 있다. 다른 실시예들에서, 저장 매체는, 저장 매체가 명령들/코드가 저장된 범용 컴퓨터를 프로그래밍, 구성 및/또는 적응시키기 위해 사용될 수 있도록, 컴퓨터 시스템과 별개, 예를 들어, 컴팩트 디스크와 같은 착탈형 매체일 수 있고, 그리고/또는 설치 패키지로 제공될 수 있다. 이러한 명령들은, 컴퓨터 시스템(1100)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고, 그리고/또는 예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등을 사용하여 컴퓨터 시스템(1100) 상에 컴파일 및/또는 설치할 때, 실행가능 코드의 형태를 취하는 소스 및/또는 설치가능한 코드의 형태를 취할 수 있다.
[0073] 상당한 변형들이 특정 요건들에 따라 수행될 수 있음은 당업자들에게 자명할 것이다. 예를 들어, 커스터마이징된 하드웨어가 또한 사용될 수 있고, 그리고/또는 특정 엘리먼트들이 하드웨어, 애플릿(applet)들 등과 같은 휴대용 소프트웨어를 포함하는 소프트웨어, 또는 둘 모두로 구현될 수 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 접속이 이용될 수 있다.
[0074] 위에서 언급된 바와 같이, 일 양상에서, 일부 실시예들은 본 기술의 다양한 실시예들에 따른 방법들을 수행하기 위해 컴퓨터 시스템(1100)과 같은 컴퓨터 시스템을 이용할 수 있다. 실시예들의 세트에 따르면, 이러한 방법들의 절차들 중 일부 또는 전부는, 프로세서(1110)가 운영 시스템(1140)에 통합될 수 있는 하나 이상의 명령들 및/또는 다른 코드, 이를테면 작동 메모리(1135)에 포함된 애플리케이션 프로그램(1145)의 하나 이상의 시퀀스들을 실행하는 것에 대한 응답으로 컴퓨터 시스템(1100)에 의해 수행된다. 이러한 명령들은 저장 디바이스(들)(1125) 중 하나 이상과 같은 다른 컴퓨터 판독가능 매체로부터 작동 메모리(1135) 내로 판독될 수 있다. 단지 예로서, 작동 메모리(1135)에 포함된 명령들의 시퀀스들의 실행은 프로세서(들)(1110)로 하여금, 본 명세서에 설명된 방법들의 하나 이상의 절차들을 수행하게 할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에서 설명되는 방법들의 부분들은 특수화된 하드웨어를 통해 실행될 수 있다.
[0075] 본 명세서에서 사용된 바와 같이, "머신-판독가능 매체" 및 "컴퓨터-판독가능 매체"라는 용어들은 머신으로 하여금 특정한 방식으로 동작하게 하는 데이터를 제공하는 것에 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템(1100)을 사용하여 구현되는 실시예에서, 다양한 컴퓨터 판독가능 매체들은, 실행을 위해 프로세서(들)(1110)에 명령들/코드를 제공하는 것에 수반될 수 있고 그리고/또는 그러한 명령들/코드를 저장 및/또는 운반하는데 사용될 수 있다. 많은 구현들에서, 컴퓨터 판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 그러한 매체는 비휘발성 매체들 또는 휘발성 매체들의 형태를 취할 수 있다. 비휘발성 매체들은, 예를 들어, 저장 디바이스(들)(1125)와 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체들은 작동 메모리(1135)와 같은 동적 메모리를 포함한다(이에 제한되지 않음).
[0076] 물리적인 및/또는 유형의 컴퓨터 판독가능 매체들의 일반적인 형태들은, 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 그로부터 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
[0077] 다양한 형태들의 컴퓨터 판독가능 매체들은, 실행을 위해 하나 이상의 명령들의 하나 이상의 시퀀스들을 프로세서(들)(1110)에 운반하는 것에 수반될 수 있다. 단지 예로서, 명령들은 초기에, 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 운반될 수 있다. 원격 컴퓨터는, 자신의 동적 메모리로 명령들을 로딩하고, 컴퓨터 시스템(1100)에 의해 수신 및/또는 실행되도록 송신 매체를 통해 신호들로서 명령들을 전송할 수 있다.
[0078] 통신 서브시스템(1130) 및/또는 이의 컴포넌트들은 일반적으로 신호들을 수신할 것이고, 이어서, 버스(1105)는 신호들 및/또는 신호들에 의해 운반된 데이터, 명령들 등을 작동 메모리(1135)에 운반할 수 있으며, 그로부터 프로세서(들)(1110)는 명령들을 리트리브 및 실행한다. 작동 메모리(1135)에 의해 수신된 명령들은 선택적으로, 프로세서(들)(1110)에 의한 실행 전에 또는 후에 비일시적 저장 디바이스(1125) 상에 저장될 수 있다.
[0079] 본원에서 설명되고 그리고/또는 첨부 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 및 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용성 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나, 또는 해석형 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0080] 추가로, 본 개시의 기능성의 특정 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적합한 전문화된 실행가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은, 예컨대 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수 백만개의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 임무 또는 애플리케이션을 제공하기 위해, 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0081] 코드 모듈들 또는 임의의 타입의 데이터는, 임의의 타입의 비-일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 스토리지, 이들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상에서 송신될 수 있고, 그리고 (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적, 유형의 컴퓨터 스토리지에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0082] 본원에서 설명되고 그리고/또는 첨부 도면들에 묘사된 흐름도들에서 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은 (예컨대, 논리적 또는 산술적) 특정한 기능들 또는 프로세스의 단계들을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함하는 코드 모듈들, 세그먼트들, 또는 코드 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 추가되거나, 이들로부터 삭제되거나, 수정되거나 또는 다른 방식으로 변경될 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그와 관련된 블록들, 단계들 또는 상태들은 적합한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 작업들 또는 이벤트들은 개시된 예시적인 실시예들에 추가되거나 이들로부터 제거될 수 있다. 게다가, 본원에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현 변동들이 가능하다.
[0083] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 클라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷, 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0084] 본 개시의 시스템들, 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본 명세서에 개시된 바람직한 속성들을 단독으로 담당하거나 요구되지 않는다. 상기 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브-조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시에서 설명된 구현들에 대한 다양한 변형들은 당업자들에게 용이하게 명백할 수 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 개시의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 설명된 구현들로 제한되도록 의도되는 것이 아니라, 본 개시, 본 명세서에 개시된 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0085] 별개의 구현들의 상황에서 본 명세서에 설명되는 특정 특징들은 또한 단일 구현으로 결합되어 구현될 수 있다. 반대로, 단일 구현의 상황에서 설명되는 다양한 특징들은 또한 다수의 구현들에서 별개로 또는 임의의 적절한 하위 결합으로 구현될 수 있다. 아울러, 특징들이 특정한 조합들로 작용하는 것으로 앞서 설명되고 심지어 초기에 이와 같이 청구될지라도, 일부 경우들에서, 청구된 결합으로부터의 하나 이상의 특징들은 그 결합으로부터 제거될 수 있고, 청구된 결합은 하위 결합 또는 하위 결합의 변화에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 모든 실시예에 필요하거나 필수적인 것은 아니다.
[0086] 구체적으로 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에서 사용된 조건어, 이를테면 특히, "할 수 있다("can", "could", "might", "may")" 및 "예컨대" 등은 일반적으로 특정 실시예들은 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 어쨌든 하나 이상의 실시예들을 위해 요구된다는 것, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅을 사용하여 또는 이러한 것을 사용함 없이, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 이 임의의 특정 실시예에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함하는 것을 암시하도록 의도되지 않는다. "포함하는(comprising)", "포함하는(including)", "갖는(having)" 등의 용어들은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 추가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아닌) 포괄적인 의미로 사용되어, 예컨대 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이란 용어는 리스트 내 엘리먼트들 중 하나, 일부 또는 모두를 의미한다. 게다가, 본 출원 및 첨부된 청구항들에 사용된 단수 표현들은, 다르게 특정되지 않으면 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0087] 본 명세서에서 사용되는 바와 같이, 아이템들의 리스트 "중 적어도 하나"로 지칭되는 구문은 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 "A, B, C; A 및 B; A 및 C; B 및 C; 및 A, B 및 C를 커버하도록 의도된다. 구체적으로 다르게 언급되지 않으면, "X, Y 및 Z 중 적어도 하나"라는 구절과 같은 접속어는, 일반적으로 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 사용되는 문맥으로 이해된다. 따라서, 그런 접속어는 일반적으로, 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하도록 의도되지 않는다.
[0088] 유사하게, 동작들이 특정 순서로 도면들에 묘사될 수 있지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서 또는 순차적 순서로 수행될 필요가 없거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 추가로, 도면들은 순서도 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들은 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예를 들어, 하나 이상의 추가적인 동작들은 예시된 동작들 중 임의의 것 전에, 후에, 동시에, 또는 그 사이에서 수행될 수 있다. 추가적으로, 동작들은 다른 구현들에서 재배열되거나 재정렬될 수 있다. 특정한 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있음을 이해해야 한다. 추가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 존재한다. 몇몇 경우들에서, 청구항들에서 인용된 동작들은, 상이한 순서로 수행될 수 있으며, 여전히 바람직한 결과들을 달성할 수 있다.

Claims (18)

  1. 복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템으로서,
    복수의 카메라들;
    복수의 시준기 조립체들 ― 각각의 카메라는 상기 복수의 시준기 조립체들 중 하나의 시준기 조립체의 전방에 배치되고, 각각의 시준기 조립체는 양면 회절 광학 엘리먼트(two-sided diffractive optical element)를 포함하고, 격자 패턴이 상기 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성됨 ―; 및
    상기 복수의 카메라들로부터 이미지 데이터를 수신하기 위해 상기 복수의 카메라들에 커플링된 프로세서를 포함하고,
    상기 프로세서는 실행가능 명령들을 저장하고,
    상기 실행가능 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 복수의 카메라들 중 각각의 카메라에 대해,
    상기 카메라로부터 이미지를 수신하게 하고 ― 상기 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성된 상기 격자 패턴은 상기 이미지 상의 중심 세기 피크(central intensity peak)의 밝기를 미리 결정된 양으로 감소시키도록 선택됨 ―;
    데이터 쌍들을 식별하게 하고 ― 각각의 데이터 쌍은, 상기 이미지 상의 세기 피크에 대응하는, 상기 양면 회절 광학 엘리먼트에 의해 형성된 가상 광원, 및 상기 세기 피크의 픽셀 좌표들을 포함함 ―; 그리고
    상기 이미지에 대한 상기 식별된 데이터 쌍들을 사용하여 상기 카메라의 고유 파라미터들을 결정하게 하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  2. 제1항에 있어서,
    상기 양면 회절 광학 엘리먼트는,
    상기 양면 회절 광학 엘리먼트의 제1 표면 상에 형성된 제1 격자 패턴의 N*N 어레이; 및
    상기 양면 회절 광학 엘리먼트의 제2 표면 상에 형성된 제2 패턴의 M*M 어레이를 포함하고,
    상기 M*M 어레이는, 각각의 카메라에 의해 캡처된 상기 이미지가 N2개의 반복 서브-패턴들을 포함하도록, 상기 양면 회절 광학 엘리먼트의 제1 표면 상의 N*N 어레이의 크기와 매칭(match)하도록 상기 양면 회절 광학 엘리먼트의 제2 표면 상에 타일링되는(tiled),
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  3. 제2항에 있어서,
    N=3 및 M=19이고, 19*19 어레이는, 각각의 카메라에 의해 캡처된 상기 이미지가 9개의 반복 서브-패턴들을 포함하도록, 상기 양면 회절 광학 엘리먼트의 제1 표면 상의 3*3 어레이의 크기와 매칭하도록 상기 양면 회절 광학 엘리먼트의 제2 표면 상에 타일링되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  4. 제2항에 있어서,
    상기 이미지는 어떠한 갭들도 없는 반복 서브-패턴을 포함하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  5. 제1항에 있어서,
    각각의 시준기 조립체의 시준 렌즈; 및
    각각의 시준기 조립체의 상기 시준 렌즈에 레이저 빔을 방출하도록 구성된 레이저 소스를 더 포함하고, 각각의 시준기 조립체의 상기 시준 렌즈는 상기 양면 회절 광학 엘리먼트와 상기 레이저 소스 사이에 제공되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  6. 제5항에 있어서,
    상기 미리 결정된 양은 상기 이미지의 중심 세기 피크에 도달하는, 상기 레이저 소스로부터 방출된 레이저 빔의 약 1.1 ± 0.5%인,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  7. 제5항에 있어서,
    상기 이미지는 상기 시준 렌즈 및 상기 양면 회절 광학 엘리먼트를 통과하는 상기 레이저 빔에 의해 형성된 광 패턴에 대응하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  8. 제1항에 있어서,
    상기 고유 파라미터들은 상기 카메라의 초점 길이, 주점(principal point) 및 왜곡 계수(들) 중 하나 이상을 포함하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  9. 제1항에 있어서,
    각각의 카메라는 개개의 시준기 조립체의 상기 양면 회절 광학 엘리먼트의 아이 박스(eye box)에 유지되도록 구성되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 시스템.
  10. 복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법으로서,
    복수의 카메라들 및 복수의 시준기 조립체들을 제공하는 단계 ― 각각의 시준기 조립체는 양면 회절 광학 엘리먼트를 포함하고, 격자 패턴이 상기 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성됨 ―;
    상기 복수의 시준기 조립체들의 전방에 상기 복수의 카메라들을 배치하는 단계 ― 각각의 카메라는 상기 복수의 시준기 조립체들 중 하나의 시준기 조립체의 전방에 배치됨 ―;
    상기 복수의 카메라들 중 각각의 카메라에 대해,
    컴퓨팅 디바이스를 사용하여, 상기 카메라로부터 이미지를 수신하는 단계 ― 상기 양면 회절 광학 엘리먼트의 각각의 표면 상에 형성된 상기 격자 패턴은 상기 이미지 상의 중심 세기 피크의 밝기를 미리 결정된 양으로 감소시키도록 선택됨 ―;
    상기 컴퓨팅 디바이스를 사용하여, 데이터 쌍들을 식별하는 단계 ― 각각의 데이터 쌍은, 상기 이미지 상의 세기 피크에 대응하는, 상기 양면 회절 광학 엘리먼트에 의해 형성된 가상 광원, 및 상기 세기 피크의 픽셀 좌표들을 포함함 ―; 및
    상기 컴퓨팅 디바이스를 사용하여, 상기 이미지에 대한 상기 식별된 데이터 쌍들을 사용하여 상기 카메라의 고유 파라미터들을 결정하는 단계를 포함하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  11. 제10항에 있어서,
    상기 양면 회절 광학 엘리먼트는,
    상기 양면 회절 광학 엘리먼트의 제1 표면 상에 형성된 제1 격자 패턴의 N*N 어레이; 및
    상기 양면 회절 광학 엘리먼트의 제2 표면 상에 형성된 제2 패턴의 M*M 어레이를 포함하고,
    상기 M*M 어레이는, 각각의 카메라에 의해 캡처된 상기 이미지가 N2개의 반복 서브-패턴들을 포함하도록, 상기 양면 회절 광학 엘리먼트의 제1 표면 상의 N*N 어레이의 크기와 매칭하도록 상기 양면 회절 광학 엘리먼트의 제2 표면 상에 타일링되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  12. 제11항에 있어서,
    N=3 및 M=19이고, 19*19 어레이는, 각각의 카메라에 의해 캡처된 상기 이미지가 9개의 반복 서브-패턴들을 포함하도록, 상기 양면 회절 광학 엘리먼트의 제1 표면 상의 3*3 어레이의 크기와 매칭하도록 상기 양면 회절 광학 엘리먼트의 제2 표면 상에 타일링되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  13. 제10항에 있어서,
    상기 이미지는 어떠한 갭들도 없는 반복 서브-패턴을 포함하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  14. 제10항에 있어서,
    각각의 시준기 조립체는 시준 렌즈를 포함하고,
    상기 방법은, 각각의 시준기 조립체의 상기 시준 렌즈에 레이저 빔을 방출하도록 레이저 소스를 구성하는 단계를 더 포함하고,
    각각의 시준기 조립체의 상기 시준 렌즈는 상기 양면 회절 광학 엘리먼트와 상기 레이저 소스 사이에 제공되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  15. 제14항에 있어서,
    상기 미리 결정된 양은 상기 이미지의 중심 세기 피크에 도달하는, 상기 레이저 소스로부터 방출된 레이저 빔의 약 1.1 ± 0.5%인,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  16. 제15항에 있어서,
    상기 이미지는 상기 시준 렌즈 및 상기 양면 회절 광학 엘리먼트를 통과하는 상기 레이저 빔에 의해 형성된 광 패턴에 대응하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  17. 제10항에 있어서,
    상기 고유 파라미터들은 상기 카메라의 초점 길이, 주점 및 왜곡 계수(들) 중 하나 이상을 포함하는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
  18. 제10항에 있어서,
    각각의 카메라는 개개의 시준기 조립체의 상기 양면 회절 광학 엘리먼트의 아이 박스에 유지되도록 구성되는,
    복수의 카메라들의 고유 파라미터들을 결정하기 위한 방법.
KR1020237001279A 2020-06-16 2021-06-15 카메라 고유 교정 KR20230024982A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063039910P 2020-06-16 2020-06-16
US63/039,910 2020-06-16
PCT/US2021/037500 WO2021257617A1 (en) 2020-06-16 2021-06-15 Camera intrinsic calibration

Publications (1)

Publication Number Publication Date
KR20230024982A true KR20230024982A (ko) 2023-02-21

Family

ID=78825754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237001279A KR20230024982A (ko) 2020-06-16 2021-06-15 카메라 고유 교정

Country Status (7)

Country Link
US (2) US11887208B2 (ko)
EP (1) EP4165450A4 (ko)
JP (1) JP2023530939A (ko)
KR (1) KR20230024982A (ko)
CN (1) CN115769111A (ko)
IL (1) IL299018A (ko)
WO (1) WO2021257617A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636623B2 (en) 2021-06-28 2023-04-25 Motional Ad Llc Systems and methods for camera alignment using pre-distorted targets
US20230237701A1 (en) * 2022-01-21 2023-07-27 Motional Ad Llc Active alignment of an optical assembly with intrinsic calibration
CN117760705B (zh) * 2024-02-22 2024-05-14 武汉精立电子技术有限公司 一种AR产品eyebox的测量方法与系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252647B1 (en) * 1990-11-15 2001-06-26 Nikon Corporation Projection exposure apparatus
EP1533646A1 (en) * 2003-11-21 2005-05-25 Heptagon OY Optical pattern generating device
MX2007009124A (es) * 2005-01-31 2007-10-08 Univ Illinois Metodos y dispositivos para caracterizar particulas en medios transparentes y turbios.
US20090112482A1 (en) * 2007-10-26 2009-04-30 Sandstrom Perry L Microarray detector and synthesizer
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
AR104093A1 (es) * 2016-03-08 2017-06-28 Invap S E Dispositivo de imágenes gamma de alta velocidad
AU2018369622A1 (en) * 2017-11-15 2020-05-14 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements

Also Published As

Publication number Publication date
US11887208B2 (en) 2024-01-30
JP2023530939A (ja) 2023-07-20
US20240112370A1 (en) 2024-04-04
US20210390739A1 (en) 2021-12-16
EP4165450A4 (en) 2023-12-06
CN115769111A (zh) 2023-03-07
WO2021257617A1 (en) 2021-12-23
EP4165450A1 (en) 2023-04-19
IL299018A (en) 2023-02-01

Similar Documents

Publication Publication Date Title
KR20230024982A (ko) 카메라 고유 교정
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
KR102359978B1 (ko) 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CN108476311B (zh) 可穿戴显示系统和用于校准可穿戴显示器的方法
US10670808B1 (en) Systems and methods for altering an alignment of light from a light projector with a waveguide
US10558049B2 (en) Focal surface display
US11776509B2 (en) Image correction due to deformation of components of a viewing device
KR20090094824A (ko) 3차원 프로젝션 디스플레이
EP3492861B1 (en) Image processing system and image processing method
CN110771145A (zh) 事件摄像机
JP2016100698A (ja) 校正装置、校正方法、プログラム
WO2018080533A1 (en) Real-time generation of synthetic data from structured light sensors for 3d object pose estimation
JP2013117958A (ja) 三次元(3d)カメラのシミュレーション
US20220179359A1 (en) Apparatus for analyzing depth of holographic image and analyzing method thereof
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
KR101218151B1 (ko) 다중 직교 투영 영상을 이용한 3차원 물체의 푸리에 홀로그램 생성 방법 및 그 광학적 재생 장치
Edwards Holograms on the horizon?
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
Hirukawa et al. Simultaneous independent image display technique on multiple 3D objects
US20220191455A1 (en) Image processing apparatus, image processing method, and program
KR20240047826A (ko) 홀로그램 투사 장치 및 방법
JP2019082955A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015072565A (ja) 画像処理装置、画像処理方法およびプログラム