KR102572974B1 - 카메라 모듈 및 그의 깊이 정보 추출 방법 - Google Patents

카메라 모듈 및 그의 깊이 정보 추출 방법 Download PDF

Info

Publication number
KR102572974B1
KR102572974B1 KR1020180048635A KR20180048635A KR102572974B1 KR 102572974 B1 KR102572974 B1 KR 102572974B1 KR 1020180048635 A KR1020180048635 A KR 1020180048635A KR 20180048635 A KR20180048635 A KR 20180048635A KR 102572974 B1 KR102572974 B1 KR 102572974B1
Authority
KR
South Korea
Prior art keywords
structured light
light
optical
unit
resolution
Prior art date
Application number
KR1020180048635A
Other languages
English (en)
Other versions
KR20190124542A (ko
Inventor
박강열
장성하
이창혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180048635A priority Critical patent/KR102572974B1/ko
Priority to US17/050,641 priority patent/US11393112B2/en
Priority to PCT/KR2019/005057 priority patent/WO2019209064A1/ko
Priority to CN201980028493.0A priority patent/CN112020856B/zh
Publication of KR20190124542A publication Critical patent/KR20190124542A/ko
Application granted granted Critical
Publication of KR102572974B1 publication Critical patent/KR102572974B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3152—Modulator illumination systems for shaping the light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 카메라 모듈은 특정 패턴의 구조광을 생성하여 피사체에 투사하되, 하나의 영상 프레임마다 상기 구조광의 광경로를 이미지 센서의 서브픽셀 단위로 변경하는 구조광 프로젝터, 그리고 상기 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성하고, 상기 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 지도를 생성하는 구조광 카메라를 포함한다.

Description

카메라 모듈 및 그의 깊이 정보 추출 방법{CAMERA MODULE AND DEPTH MAP EXTRACTION METHOD OF THE SAME}
본 발명은 카메라 모듈 및 그의 깊이 정보 추출 방법에 관한 것이다.
3차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
IR 구조광 방식에서 원하는 수준의 깊이 분해능을 획득하기 위해서는, 구조광의 패턴을 구성하는 도트의 개수를 증가시켜야 한다. 하지만, 이미지 센서의 해상도로 각 도트를 구분해야 하므로, 도트의 개수를 원하는 깊이 분해능을 얻을 때까지 무한정 증가시키기 어려운 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 구조광 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈 및 그의 깊이 정보 추출 방법을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 모듈은 특정 패턴의 구조광을 생성하여 피사체에 투사하되, 하나의 영상 프레임마다 상기 구조광의 광경로를 이미지 센서의 서브픽셀 단위로 변경하는 구조광 프로젝터, 그리고 상기 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성하고, 상기 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 지도를 생성하는 구조광 카메라를 포함한다.
상기 구조광 프로젝터는, 상기 카메라와 기 설정된 간격을 두고 배치될 수 있다.
상기 서브 픽셀은, 0 픽셀보다 크고 1 픽셀보다 작은 크기를 가질 수 있다.
상기 구조광 프로젝터는, 빛을 생성하는 광원 유닛, 상기 생성된 빛을 집광하여 상기 특정 패턴의 구조광을 생성하는 광학 유닛, 그리고 하나의 영상 프레임마다 상기 구조광의 광경로를 카메라 이미지 센서의 서브픽셀 단위로 변경하는 틸팅 유닛을 포함할 수 있다.
상기 틸팅 유닛은, 상기 구조광의 광경로를 상, 하, 좌, 우 중 어느 하나의 방향으로 변경할 수 있다.
상기 틸팅 유닛은, 상기 광원 유닛과 상기 광학 유닛 사이에 위치하여 상기 구조광의 광경로를 변경할 수 있다.
상기 틸팅 유닛은, 상기 광학 유닛의 전면에 위치하여 상기 구조광의 광경로를 변경할 수 있다.
상기 광학 유닛은, 상기 광원 유닛이 생성한 빛을 집광하는 집광 소자와 상기 집광 소자가 집광한 빛을 회절시켜 특정 패턴의 구조광을 생성하는 패턴 소자를 포함하며, 상기 틸팅 유닛은, 상기 집광 소자와 상기 패턴 소자 사이에 위치하여 상기 구조광의 광경로를 변경할 수 있다.
상기 복수의 저해상 영상 프레임은, 각각에 대응하는 구조광의 광경로가 서로 다를 수 있다.
상기 구조광 카메라는, 복수의 저해상 영상 프레임 각각에 대응하는 복수의 저해상 깊이 지도를 생성하고, 상기 복수의 저해상 깊이 지도에 초해상 기법(super resolution)을 적용하여 고해상 깊이 지도를 생성할 수 있다.
상기 구조광 카메라는, 복수의 저해상 영상 프레임에 초해상 기법(super resolution)을 적용하여 고해상 영상 프레임을 생성하고, 상기 고해상 영상 프레임에 대응하는 고해상 깊이 지도를 생성할 수 있다.
본 발명의 한 실시예에 따른 카메라 모듈을 이용하면, 이미지 센서의 화소 수나 구조광 패턴의 도트 수를 크게 증가시키지 않고도 높은 해상도로 깊이 정보를 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
도 2는 본 발명의 실시예에 따른 구조광의 광경로 변경을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 구조광 프로젝터의 구성도이다.
도 4는 본 발명의 실시예에 따른 광학 유닛의 구성도이다.
도 5는 본 발명의 실시예에 따른 서브 픽셀을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 가변 프리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 액체 랜즈를 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 틸팅 유닛의 배치 구조를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 구조광 카메라의 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
우선, 도 1 및 도 2를 통해 본 발명의 실시예에 따른 카메라 모듈에 대해 대해 상세하게 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다. 도 2는 본 발명의 실시예에 따른 구조광의 광경로 변경을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 카메라 모듈(10)은 구조광 프로젝터(100) 및 구조광 카메라(200)를 포함한다.
구조광 프로젝터(100)는 특정 패턴의 구조광을 생성한 후 피사체에 투사한다. 구조광 프로젝터(100)는 하나의 영상 프레임마다 구조광의 광경로를 구조광 카메라(200) 내 이미지 센서의 서브픽셀만큼 변경하여 피사체에 투사한다.
도 2에서 제1 영상 프레임은 기준 광경로에 따라 구조광이 피사체에 투사된 것을 나타낸다. 그리고 제2 영상 프레임은 기준 광경로에서 서브 픽셀만큼 우측으로 광경로가 이동된 구조광이 피사체에 투사된 것을 나타낸다. 제1 영상 프레임과 제2 영상 프레임을 비교하여 보면, 피사체에 투사된 구조광의 특정 패턴이 서브픽셀만큼 우측으로 이동한 것을 알 수 있다. 즉, 구조광의 광경로를 서브 픽셀만큼 변경함으로써, 특정 패턴이 서브픽셀만큼 이동하여 피사체에 투사된다. 도 2에서는 구조광의 광경로를 서브픽셀만큼 우측으로 변경하는 것으로 나타내었으나, 상, 하, 좌, 우 중 어느 하나의 방향으로 변경이 가능하다.
구조광 프로젝터(100)는 깊이 정보 추출을 위하여 구조광 카메라(200)와 일정 간격을 두고 배치될 수 있다. 예를 들어, 본 발명의 실시예에 따른 카메라 모듈(10)이 스마트폰과 같은 모바일 단말에 적용될 경우, 구조광 프로젝터(100)와 구조광 카메라(200) 사이의 거리는 5 내지 200mm 일 수 있다. 또는, 구조광 프로젝터(100)와 구조광 카메라(200)는 카메라 모듈(10) 내에 함께 배치될 수도 있다.
구조광 카메라(200)는 특정 패턴의 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성한다. 그리고, 구조광 카메라(200)는 복수의 저해상 영상 프레임을 정합하여 고해상 영상 프레임을 생성한다. 여기서, 고해상 영상 프레임은 저해상 영상 프레임보다 상대적으로 높은 해상도를 가지는 영상 프레임을 의미한다.
구조광 카메라(200)는 구조광의 파장에 대응하는 광학 구조로 구성된다. 예를 들어, 구조광이 적외선 파장으로 생성된 경우, 구조광 카메라(200)는 적외선 파장을 촬영할 수 있는 광학 구조로 구성될 수 있다.
한편, 카메라 모듈(10)은 조명부(미도시)를 더 포함할 수 있다. 조명부는 구조광 프로젝터와 별도로 피사체에 빛을 조사할 수 있다. 조명부가 조사하는 빛은 근적외선이나 가시광선 일 수 있다. 조명부가 빛을 조사하면, 구조광 카메라(200)는 이를 촬영하여 피사체의 형상과 특징점을 추출할 수 있다.
다음으로, 도 3 및 도 4를 통해 본 발명의 실시예에 따른 구조광 프로젝터에 대해 상세하게 살펴보도록 한다.
도 3은 본 발명의 실시예에 따른 구조광 프로젝터의 구성도이다. 도 4는 본 발명의 실시예에 따른 광학 유닛의 구성도이다.
도 3에 나타난 바와 같이, 본 발명의 실시예에 따른 구조광 프로젝터(100)는 광원 유닛(110), 광학 유닛(120) 및 틸팅 유닛(130)을 포함한다.
광원 유닛(110)은 빛을 생성한다. 이때, 광원 유닛(110)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원 유닛(110)은 발광 다이오드(Light Emitting Diode, LED)를 이용하여 빛을 생성할 수 있다. 발광 다이오드는 유기 발광 다이오드(Organic light emitting diode, OLED) 및 레이저 다이오드(Laser diode, LD)를 포함한다. 광원 유닛(110)은 복수의 발광 다이오드가 어레이 된 형태일 수 있다.
광학 유닛(120)은 광원 유닛(110)이 생성한 빛을 집광하여 특정 패턴의 구조광을 생성한다. 그리고, 광학 유닛(120)은 특정 패턴의 구조광을 피사체에 투사한다. 광학 유닛(120)은 집광 소자(121)와 패턴 소자(122)를 포함한다.
집광 소자(121)는 광원 유닛(110)이 생성한 빛을 집광한다. 집광 소자(121)는 오목렌즈, 볼록렌즈 및 콜리메이터(collimator) 중 적어도 하나를 포함할 수 있다.
패턴 소자(122)는 집광 소자(121)로부터 받은 빛을 회절시켜 특정 패턴의 구조광을 생성한다. 패턴 소자(122)는 회절 광학 소자(Diffractive Optical Element, DOE), 홀로그램 광학 소자(hologram optical element, HOE) 및 컴퓨터 생성 홀로그램(computer generated hologram, CGH) 중 적어도 하나를 포함할 수 있다. 예를 들어, 패턴 소자(122)가 회절 광학 소자인 경우, 패턴 소자(122)의 표면 요철 구조를 변환시켜 특정 패턴의 구조광을 생성할 수 있다.
이때, 특정 패턴은 대응점을 찾기 용이하도록 복수의 도트(dots)를 통해 구현될 수 있다. 여기서, 복수의 도트는 서로 구별되도록 고유한 패턴을 가진다. 특정 패턴은 격자 무늬나 세로 무늬로 구현될 수 있으며, 가로 무늬로도 구현될 수 있다.
틸팅 유닛(130)은 하나의 영상 프레임마다 구조광의 광경로를 구조광 카메라에 포함된 이미지 센서의 서브 픽셀(sub-pixel) 단위로 변경한다. 이때, 틸팅 유닛(130)은 상, 하, 좌 우 중 어느 하나의 방향으로 구조광의 광경로를 변경할 수 있다. 따라서, 이미지 센서의 서브 픽셀 단위로 광경로가 변경된 구조광을 피사체에 조사한 후, 구조광 카메라가 피사체를 촬영하면, 상, 하, 좌, 우 중 어느 하나의 방향으로 서브 픽셀 단위만큼 이동한 저해상 영상 프레임이 생성된다.
도 5는 본 발명의 실시예에 따른 서브 픽셀을 설명하기 위한 도면이다. 도 3에서는 76,800개의 픽셀이 매트릭스 형태로 배열된 320x240 해상도의 이미지 센서를 나타낸다. 즉, 도 3에서 하나의 블록이 1 픽셀이 된다. 이때, 복수의 픽셀 사이에는 도 3의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다. 서브 픽셀은 0픽셀보다 크고 1픽셀보다 작을 수 있다. 예를 들어, 서브픽셀은 0.5 픽셀의 크기를 가질 수 있으며, 1/3 또는 1/4 픽셀의 크기를 가질 수 도 있다. 서브픽셀의 크기는 저해상 영상 프레임과 고해상 영상 프레임의 해상도에 따라 당업자가 설계변경 할 수 있다.
다음으로, 도 6 및 도 7을 통해 본 발명의 실시예에 따른 틸팅 유닛의 구조에 대해 살펴보도록 한다.
본 발명의 실시예에 따른 틸팅 유닛은 입사된 빛을 편향시켜 광경로를 변경한다. 구체적으로 틸팅 유닛은 특정한 굴절률을 가지는 물질의 높이 차를 이용하여 빛의 경로를 변경한다. 이때, 특정한 굴절률을 가지는 물질은 광학 액체(liquid optics)일 수 있다. 틸팅 유닛은 반사광의 광경로를 변경할 수 있는 광학 구조를 가지는 가변 프리즘(tunable prism)이나 액체렌즈(liquid lens)로 구성될 수 있다.
도 6은 본 발명의 실시예에 따른 가변 프리즘을 설명하기 위한 도면이다.
도 6의 (a)는 가변 프리즘의 구조를 나타낸다. 도 6의 (a)에 나타난 바와 같이, 가변 프리즘은 글래스 컨테이너(131), 광학 액체층(132), 멤브레인(133), 렌즈 셰이퍼(134), 글래스 윈도우(135) 및 액추에이터(미도시)를 포함한다.
글래스 컨테이너(131)는 액체를 담을 수 있는 형태로 구성된다. 글래스 컨테이너(131)는 빛이 통과할 수 있는 투명한 재질로 구성된다. 글래스 컨테이너(131)는 붕규산염(borosilicate)으로 구성될 수 있다.
광학 액체층(132)은 유동성을 가지며 빛이 통과할 수 있는 광학 액체로 구성된다. 광학 액체층(132)은 글래스 컨테이너(131)에 광학 액체가 광학 액체가 담김으로써 생성된다. 광학 액체층(132)은 렌즈 셰이퍼(134)에 의해 변형된 형상에 따라 광경로를 변경할 수 있다. 광학 액체의 굴절률 1 내지 1.5일 수 있다. 광학 액체는 불소화유(perfluoro polyether, PFPE)일 수 있다.
멤브레인(133)은 글래스 컨테이너(131)에 담긴 광학 액체에 외부로 흐르지 않도록 밀봉한다. 또한, 멤브레인(133)은 광학 액체층(132)이 이물이 들어가지 않도록 광학 액체층(132)을 밀봉한다. 멤브레인(133)은 빛이 통과할 수 있는 투명 재질로 구성된다. 멤브레인(133)은 신축이 가능하다. 멤브레인(133)은 폴리디메틸실록산(polydimethyl siloxane, PDMS)으로 구성될 수 있다.
글래스 윈도우(135)는 빛이 통과할 수 있는 투명한 재질의 플레이트로 구성된다. 글래스 윈도우(135)는 붕규산염(borosilicate)으로 구성될 수 있다.
렌즈 셰이퍼(134)는 금속으로 구성될 수 있다. 렌즈 셰이퍼(134)는 빛이 통과할 수 있는 홀이 형성된 원형 플레이트로 구성될 수 있다. 렌즈 셰이퍼(134)는 원점을 중심으로 대칭되는 지점에 액추에이터로부터 힘을 전달받을 수 있는 동력전달부재을 포함할 수 있다.
액추에이터는 렌즈 셰이퍼(134)의 동력전달부재를 누름으로써 광학 액체층(132)의 형상을 변형시킬 수 있다. 엑추에이터는 VCM(Voice Coil Motor)로 구성될 수 있다.
도 6의 (b)는 가변 프리즘의 구동 매커니즘을 나타낸다. 도 6의 (b)와 같이, 본 발명의 실시예에 따른 가변 프리즘은 액추에이터가 렌즈 셰이퍼(134)의 동력전달부재를 눌러 광학 액체층(132)의 형상을 변형시킴으로써 높이차를 생성한다. 높이차가 형성된 광학 액체층(132)은 입사되는 빛에 편향을 줌으로써 광경로를 변경한다.
도 7은 본 발명의 실시예에 따른 액체 랜즈를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 액체 랜즈는 두 개의 플레이트 사이에 성질이 서로 다른 두 개의 광학 액체를 포함하는 구조일 수 있다. 두 광학 액체는 굴절률 1 내지 2의 유동적 재질로 구성된다. 두 광학 액체에 구동 전압을 인가하면 두 광학 액체가 이루는 계면이 변형된다. 계면을 통과한 빛은 광경로가 변경될 수 있다. 두 광학 액체에 인가되는 구동 전압의 편차가 증가할수록 계면의 FOV(Field Of View) 각도 변화가 증가될 수 있다.
예를 들어, 도 7의 (a)와 도 7의 (c)에서와 같이, 60v와 30v의 전압이 인가되면, 60v 측의 제1 액체 높이가 낮아지고 30v 측의 제1 액체 높이가 높아진다. 그러면, 입사된 반사광은 액체 렌즈를 통과하면서 30v 측으로 광경로가 변경된다. 도 7의 (b)에서와 같이 45v의 동일한 전압이 인가되면, 반사광의 광경로는 변경되지 않는다.
다음으로, 도 8 내지 도 10을 통해 본 발명의 실시예에 따른 틸팅 유닛의 배치 구조에 대해 살펴보도록 한다. 도 8 내지 도 10은 본 발명의 실시예에 따른 틸팅 유닛의 배치 구조를 나타낸 도면이다.
먼저, 도 8에 나타난 바와 같이, 틸팅 유닛(130)은 광원 유닛(110)과 광학 유닛(120)의 사이에 위치할 수 있다. 따라서, 틸팅 유닛(130)은 광원 유닛(110)이 생성한 빛의 광경로를 변경한다. 그리고, 빛의 광경로가 변경됨에 따라, 광학 유닛(120)은 광경로가 변경된 구조광을 생성한다. 예를 들어, 제1 프레임에서는 도 6의 실선과 같은 광경로에 따라 피사체(1)에 구조광을 투사한다고 가정한다. 그러면, 제1 프레임 다음의 제2 프레임에서, 틸팅 유닛(130)은 광원 유닛(110)이 생성한 빛의 광경로를 a와 같이 이동시켜 광학 유닛(120)에 입사시킨다. 그러면 광학 유닛(120)은 변경된 광경로에 따라 b와 같은 광경로의 구조광을 생성하여 피사체(1)에 투사한다.
다음으로, 도 9에 나타난 바와 같이, 틸팅 유닛(130)은 광학 유닛(120)의 전면에 위치할 수 있다. 따라서, 틸팅 유닛(130)은 광학 유닛(120)이 생성한 구조광의 광경로를 변경한다. 예를 들어, 제1 프레임에서는 도 9의 실선과 같은 광경로에 따라 피사체(1)에 구조광을 투사한다고 가정한다. 그러면, 제1 프레임 다음의 제2 프레임에서, 틸팅 유닛(130)은 광학 유닛(120)이 생성한 구조광의 광경로를 c와 같이 이동시켜 피사체(1)에 투사한다.
다음으로, 도 10에 나타난 바와 같이, 틸팅 유닛(130)은 광학 유닛에 포함될 수 있다. 구체적으로 틸팅 유닛(130)은 광학 유닛의 집광 소자(121)와 광학 유닛의 패턴 소자(122) 사이에 위치할 수 있다. 따라서, 틸팅 유닛(130)은 집광 소자가 집광한 빛의 광경로를 변경하며, 패턴 소자에 전달한다. 그러면, 패턴 소자는 광경로가 변경된 구조광을 생성할 수 있다. 예를 들어, 제1 프레임에서는 도 8의 실선과 같은 광경로에 따라 피사체(1)에 구조광을 투사한다고 가정한다. 그러면, 제1 프레임 다음의 제2 프레임에서, 틸팅 유닛(130)은 집광 소자로부터 전달받은 빛의 광경로를 d와 같이 변경하여 패턴 소자에 전달한다. 그러면, 패턴 소자는 e와 같은 광경로를 가지는 구조광을 생성하여 피사체(1)에 투사한다.
도 11은 본 발명의 실시예에 따른 구조광 카메라의 구성도이다.
도 11에 나타난 바와 같이, 본 발명의 실시예에 따른 구조광 카메라(200)는 렌즈부(210), 이미지 센서부(220) 및 영상 제어부(230)를 포함한다.
렌즈부(210)은 피사체로부터 반사된 구조광을 집광하여 이미지 센서(220)에 전달한다.
본 발명의 실시예에 따르면, 렌즈 모듈(210)은 렌즈, 렌즈 배럴 및 홀더를 포함할 수 있다.
렌즈는 복수로 구성될 수 있으며, 1개로 구성될 수도 있다. 렌즈가 복수로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 구조광 카메라(200) 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴은 홀더와 결합되며, 내부에 렌즈를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
홀더는 렌즈 배럴과 결합되어 렌즈 배럴을 지지하고, 이미지 센서가 부착된 기판에 결합될 수 있다. 홀더는 렌즈 배럴 하부에 IR 글래스가 부착될 수 있는 공간을 구비할 수 있다. 홀더는 나선형 구조를 포함하고, 마찬가지로 나선형 구조를 포함하는 렌즈 배럴과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 홀더와 렌즈 배럴은 접착제를 통해 결합되거나, 홀더와 렌즈 배럴이 일체형으로 형성될 수도 있다.
이미지 센서부(220)는 렌즈부(210)를 통해 집광된 구조광을 흡수하여 영상 신호를 생성한다. 이미지 센서는 구조광의 파장을 흡수할 수 있는 포토 다이오드(photo diode)를 포함할 수 있다. 이미지 센서부(220)는 복수의 픽셀이 매트릭스 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(220)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다.
다음으로, 영상 제어부(130)는 영상 신호를 이용하여 복수의 저해상 영상 프레임을 생성하고, 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 영상을 생성한다.
본 발명의 실시예에서는 깊이 정보의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용하여 복수의 저해상 영상 프레임으로부터 고해상 영상을 생성한다. SR 기법의 수학적 모델은 수학식 1과 같이 나타낼 수 있다.
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, ??, yk,M]T, 여기서, M=N1*N2) Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, ??, xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 정보 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
깊이 정보 추출에 SR 기법을 적용하기 위하여, 영상 제어부(230)는 이미지 센서부(220)로부터 수신한 영상신호를 이용하여 복수의 저해상 영상 프레임을 생성한 후, 복수의 저해상 영상 프레임에 SR 기법을 적용하여 고해상 영상 프레임을 생성하고, 고해상 영상 프레임에 대응한 깊이 정보를 추출할 수 있다.
구체적으로, 영상 제어부(230)는 영상 신호를 이용하여 복수의 저해상 영상 프레임을 생성한다.
그리고, 영상 제어부(230)는 복수의 저해상 영상 프레임의 위치 관계를 정합한다. 구체적으로, 영상 제어부(230)는 복수의 저해상 영상 프레임 중 하나를 기준 영상으로 설정하고, 기준 영상을 중심으로 복수의 저해상 영상 프레임의 위치 관계를 정합한다. 이때, 본 발명의 실시예에 따른 복수의 저해상 영상 프레임은 서로 다른 광경로에 따라 피사체에 투사된 구조광을 촬영한 영상이다. 즉, 본 발명의 실시예에 따른 복수의 영상 프레임들은 영상 촬영시 프레임간 화소 단위의 움직임이 정해져 있다. 따라서, 화소 단위의 움직임을 추정하여 복수의 영상을 정합하는 종래 SR 기법과는 달리, 본 발명의 실시예에 따른 영상 제어부는 화소 단위의 움직임 추정 과정 없이 복수의 저해상 영상 프레임의 위치관계를 정합한다.
그러면, 영상 제어부(230)는 정합된 위치 관계를 이용하여 정합점을 추정하고, 추정된 정합점을 이용하여 고해상 영상 프레임의 각 픽셀값을 추정한다. 그리고 영상 제어부(230)는 추정된 픽셀값을 후처리(post processing)하여 고해상 영상 프레임을 생성한다. 이때, 영상 제어부(230)는 블록 현상 제거 필터(de-blocking filter)나 초점 복원 필터(de-blurring filter)를 이용하여 후처리 할 수 있다.
다음으로, 영상 제어부(230)는 고해상 영상 프레임을 이용하여 깊이 정보를 추출하며, 깊이 정보를 이용하여 고해상 깊이 지도(depth map)를 생성할 수 있다.
다른 방법으로, 복수의 저해상 깊이 정보에 대하여 SR 기법을 적용하여 고해상 깊이 정보를 추출할 수 있다.
구체적으로, 영상 제어부(230)는 영상 신호를 이용하여 복수의 저해상 영상 프레임을 생성한다. 그리고, 영상 제어부(230)는 각각의 저해상 영상 프레임에 대한 저해상 깊이 지도를 생성한다.
그러면, 영상 제어부(230)는 각각의 저해상 깊이 지도에 대해 SR 기법을 적용하여 고해상 깊이 지도를 생성한다. 저해상 깊이 지도에 대한 SR 기법 적용 과정은 상기의 저해상 영상 프레임에 대한 SR 기법과 동일한 바, 상세한 설명은 생략하도록 한다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1 : 피사체 10 : 카메라 모듈
100 : 구조광 프로젝터 110 : 광원 유닛
120 : 광학 유닛 121 : 집광 소자
122 : 패턴 소자 130 : 틸팅 유닛
200 : 구조광 카메라 210 : 렌즈부
220 : 이미지 센서부 230 : 영상 제어부

Claims (11)

  1. 특정 패턴의 구조광을 생성하여 피사체에 투사하되, 하나의 영상 프레임마다 상기 구조광의 광경로를 이미지 센서의 서브픽셀 단위로 변경하는 구조광 프로젝터; 그리고
    상기 구조광이 투사된 피사체를 촬영하여 변경된 상기 구조광의 광경로 각각에 대응하는 복수의 저해상 영상 프레임을 생성하고, 상기 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 지도를 추출하는 구조광 카메라를 포함하며,
    상기 구조광 프로젝터는,
    빛을 생성하는 광원 유닛;
    상기 생성된 빛을 집광하여 상기 특정 패턴의 구조광을 생성하는 광학 유닛; 그리고,
    하나의 영상 프레임마다 상기 구조광의 광경로를 카메라 이미지 센서의 서브픽셀 단위로 변경하는 틸팅 유닛을 포함하며,
    상기 틸팅 유닛은, 액체를 수용하는 글래스 컨테이너; 상기 글래스 컨테이너에 수용되는 광학 액체로 구성되는 광학 액체층, 상기 광학 액체층을 상부에서 밀봉하는 멤브레인, 빛이 통과하는 홀이 형성되어 있는 원형 플레이트 형상으로 상기 멤브레인 상부에 마련되는 렌즈 셰이퍼, 상기 렌즈 셰이퍼의 동력전달부재를 가압하여 상기 광학 액체층의 형상을 변형시키는 액추에이터를 포함하며,
    상기 광학 액체층은 상기 렌즈 셰이퍼에 의해 변형된 형상에 따라 일정 수치 범위의 굴절률을 가지는 상기 광학 액체의 높이 차를 이용하여 광경로를 변경하는 카메라 모듈.
  2. 삭제
  3. 제1항에 있어서,
    상기 서브픽셀은,
    0 픽셀보다 크고 1 픽셀보다 작은 크기를 가지는 카메라 모듈.
  4. 삭제
  5. 제1항에 있어서,
    상기 틸팅 유닛은,
    상기 구조광의 광경로를 기준 광경로를 기준으로 상, 하, 좌, 우 중 어느 하나의 방향으로 변경하는 카메라 모듈.
  6. 제1항에 있어서,
    상기 틸팅 유닛은,
    상기 광원 유닛과 상기 광학 유닛 사이에 위치하여 상기 구조광의 광경로를 변경하는 카메라 모듈.
  7. 제1항에 있어서,
    상기 틸팅 유닛은,
    상기 광학 유닛의 전면에 위치하여 상기 구조광의 광경로를 변경하는 카메라 모듈.
  8. 제1항에 있어서,
    상기 광학 유닛은,
    상기 광원 유닛이 생성한 빛을 집광하는 집광 소자와 상기 집광 소자가 집광한 빛을 회절시켜 특정 패턴의 구조광을 생성하는 패턴 소자를 포함하며,
    상기 틸팅 유닛은,
    상기 집광 소자와 상기 패턴 소자 사이에 위치하여 상기 구조광의 광경로를 변경하는 카메라 모듈.
  9. 삭제
  10. 제6항 내지 제8항 중 어느 하나에 있어서,
    상기 구조광 카메라는,
    복수의 저해상 영상 프레임 각각에 대응하는 복수의 저해상 깊이 지도를 생성하고, 상기 복수의 저해상 깊이 지도에 초해상 기법(super resolution)을 적용하여 고해상 깊이 지도를 생성하는 카메라 모듈.
  11. 제6항 내지 제8항 중 어느 하나에 있어서,
    상기 구조광 카메라는,
    복수의 저해상 영상 프레임에 초해상 기법(super resolution)을 적용하여 고해상 영상 프레임을 생성하고, 상기 고해상 영상 프레임에 대응하는 고해상 깊이 지도를 생성하는 카메라 모듈.
KR1020180048635A 2018-04-26 2018-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법 KR102572974B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180048635A KR102572974B1 (ko) 2018-04-26 2018-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법
US17/050,641 US11393112B2 (en) 2018-04-26 2019-04-26 Camera module and method for extracting depth information by same
PCT/KR2019/005057 WO2019209064A1 (ko) 2018-04-26 2019-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법
CN201980028493.0A CN112020856B (zh) 2018-04-26 2019-04-26 相机模块和用于通过相机模块提取深度信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180048635A KR102572974B1 (ko) 2018-04-26 2018-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법

Publications (2)

Publication Number Publication Date
KR20190124542A KR20190124542A (ko) 2019-11-05
KR102572974B1 true KR102572974B1 (ko) 2023-08-31

Family

ID=68293790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048635A KR102572974B1 (ko) 2018-04-26 2018-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법

Country Status (4)

Country Link
US (1) US11393112B2 (ko)
KR (1) KR102572974B1 (ko)
CN (1) CN112020856B (ko)
WO (1) WO2019209064A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572974B1 (ko) * 2018-04-26 2023-08-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
CN115380523A (zh) 2020-02-13 2022-11-22 Lg伊诺特有限公司 相机模块
CN115218820A (zh) * 2021-04-20 2022-10-21 上海图漾信息科技有限公司 结构光投射装置、深度数据测量头、计算设备和测量方法
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법
KR102692035B1 (ko) * 2023-07-26 2024-08-06 재단법인 구미전자정보기술원 Gpu를 이용한 구조광 기반 프로젝터의 서브픽셀 추정 장치 및 그 제어방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022642A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Super-Resolution in Structured Light Imaging

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3083719B2 (ja) * 1994-07-05 2000-09-04 シャープ株式会社 投射型液晶表示装置
WO2006134793A1 (ja) * 2005-06-14 2006-12-21 Brother Kogyo Kabushiki Kaisha 投影装置
EP2618102A2 (en) * 2006-11-21 2013-07-24 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
JP2015212927A (ja) * 2014-04-17 2015-11-26 株式会社リコー 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム
US9264591B2 (en) 2014-06-02 2016-02-16 Apple Inc. Comb drive and leaf spring camera actuator
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
WO2016079718A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods circuits devices assemblies systems and functionally associated computer executable code for image acquisition with depth estimation
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
TWI781085B (zh) * 2015-11-24 2022-10-21 日商索尼半導體解決方案公司 複眼透鏡模組及複眼相機模組
KR102410030B1 (ko) * 2016-03-02 2022-06-17 옵토튠 컨슈머 아게 광학 장치, 특히, 자동초점, 이미지 흔들림 방지 및 초-고해상도 기능을 포함하는 카메라
EP3516328B1 (en) * 2016-09-21 2023-05-03 Philip M. Johnson Non-contact coordinate measuring machine using hybrid cyclic binary code structured light
US10360693B2 (en) * 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
US10809424B2 (en) * 2017-03-29 2020-10-20 AGC Inc. Glass sheet composite, diaphragm using the same, and image projection structure
KR102572974B1 (ko) * 2018-04-26 2023-08-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US11250277B2 (en) * 2018-11-30 2022-02-15 Universal City Studios Llc Alternating crossed alignment object detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022642A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Super-Resolution in Structured Light Imaging

Also Published As

Publication number Publication date
CN112020856B (zh) 2023-03-24
CN112020856A (zh) 2020-12-01
KR20190124542A (ko) 2019-11-05
US11393112B2 (en) 2022-07-19
US20210065390A1 (en) 2021-03-04
WO2019209064A1 (ko) 2019-10-31

Similar Documents

Publication Publication Date Title
KR102572974B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
Boominathan et al. Recent advances in lensless imaging
US9756228B2 (en) Low profile camera and vision sensor
US20130038719A1 (en) Image capturing device
KR20190076998A (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
KR102297488B1 (ko) 라이트 필드 카메라
CN111866387B (zh) 深度图像成像系统和方法
US11568553B2 (en) Camera module and depth map extraction method thereof
US9234648B2 (en) Illumination apparatus and method for the generation of an illumination field
CN113260892B (zh) 光学系统及包括该光学系统的相机模块
CN112272948A (zh) 相机模块及由此的深度信息提取方法
CN111818242B (zh) 影像感测装置
CN109494244B (zh) 带有光场相机的有机发光二极管显示面板
Brückner et al. Ultra-thin wafer-level camera with 720p resolution using micro-optics
US11528416B2 (en) Camera device having shiftable optical path
Oberdörster et al. Digital focusing and refocusing with thin multi-aperture cameras
US11882263B2 (en) ToF camera
CN116746144A (zh) 相机模块
Kawachi et al. Snapshot super-resolution indirect time-of-flight camera using a grating-based subpixel encoder and depth-regularizing compressive reconstruction
US11867817B2 (en) Camera module and depth information extraction method thereof
Zhang et al. Compact multispectral light field camera based on an inkjet-printed microlens array and color filter array
Antipa Lensless Computational Imaging Using Random Optics
Huang Physical Designs in Artificial Neural Imaging
Kumar Three-dimensional imaging using a novel rotating point spread function imager

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant