KR102628853B1 - 3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들 - Google Patents

3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들 Download PDF

Info

Publication number
KR102628853B1
KR102628853B1 KR1020180173143A KR20180173143A KR102628853B1 KR 102628853 B1 KR102628853 B1 KR 102628853B1 KR 1020180173143 A KR1020180173143 A KR 1020180173143A KR 20180173143 A KR20180173143 A KR 20180173143A KR 102628853 B1 KR102628853 B1 KR 102628853B1
Authority
KR
South Korea
Prior art keywords
sub
light pattern
dots
pattern
patterns
Prior art date
Application number
KR1020180173143A
Other languages
English (en)
Other versions
KR20190092255A (ko
Inventor
릴롱 쉬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190092255A publication Critical patent/KR20190092255A/ko
Application granted granted Critical
Publication of KR102628853B1 publication Critical patent/KR102628853B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/08—Trick photography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

구조화된 광 시스템을 위한 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함한다. 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접한다. 서브 패턴들 각각은 각 다른 서브 패턴과 상이하다. 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함하고, N은 정수이다. 각 도트는 동일한 크기이다. 각 서브 행은 제 1 방향으로 확장되고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장된다. 서브 열에 정렬된 기본 광 패턴의 도트들을 더 포함하고, 서브 열에 정렬된 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 기본 광 패턴의 도트들로부터 제 2 방향으로 오프셋된다. 일 실시 예에서, 제 2 방향에서의 기본 광 패턴의 각 서브 패턴의 크기는 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 더 크다.

Description

3D 카메라 시스템을 위한 강건하고 구조화된 광 패턴들{ROBUST STRUCTURED-LIGHT PATTERNS FOR 3D CAMERA SYSTEM}
여기에서 개시되는 주제는 3D 카메라 시스템들에 관한 것으로, 좀 더 상세하게는 3D 카메라 시스템을 위한 구조화된 광 패턴에 관한 것이다.
스테레오 카메라 시스템들로도 불리는 구조화된 광 3D 카메라 시스템(structured-light 3D-camera system)들에서 깊이 값들을 추정하기 위해 널리 사용되는 기법은 기준 패턴의 조각에 가장 잘 매칭하는 이미지 조각을 검색하는 것이다. 이러한 검색의 전반적인 계산상의 부담을 줄이기 위해, 이미지 조각은 기준 패턴과 거의 수평선 상에 이웃하여 위치한다고 가정된다. 또한, 기준 패턴이 전체 투영 공간을 채우기 위해 수평 및 수직으로 반복되는 고유의 서브 패턴들의 유한개의 세트만을 포함하도록 설계되어, 검색 프로세스가 더 단순화된다. 기준 패턴의 고유한 서브 패턴들에 대해 알려진 배열은 이미지 조각의 '유형(class)'을 식별하고 결과적으로 이미지 조각과 기준 조각 사이의 시차(disparity)를 판별하는데 사용된다. 또한, 이미지 조각은 깊이 픽셀 위치의 중심에 있는 것으로 가정되며, 이는 깊이 추정 값의 계산을 단순화시킨다.
본 개시의 실시 예들은 3D 카메라 시스템을 위한 강건하고 구조화된 광 패턴들을 제공할 수 있다.
일 실시 예는 구조화된 광 시스템을 위환 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접할 수 있고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있고, 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함할 수 있고, N은 정수일 수 있고, 각 도트는 동일한 크기일 수 있고, 각 서브 행은 제 1 방향으로 확장될 수 있고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들을 더 포함할 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 기본 광 패턴의 도트들로부터 제 2 방향으로 오프셋 될 수 있다.
다른 실시 예는 구조화된 광 시스템을 위환 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접할 수 있고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있고, 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함할 수 있고, N은 정수일 수 있고, 각 도트는 동일한 크기일 수 있고, 각 서브 행은 제 1 방향으로 확장될 수 있고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있고, 제 2 방향에서의 기본 광 패턴의 각 서브 패턴의 크기는 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 클 수 있다.
또 다른 실시 예는 구조화된 광 시스템을 위환 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접할 수 있고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있고, 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함할 수 있고, N은 정수일 수 있고, 각 도트는 동일한 크기일 수 있고, 각 서브 행은 제 1 방향으로 확장될 수 있고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들을 더 포함할 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 기본 광 패턴의 도트들로부터 제 2 방향으로 오프셋 될 수 있고, 제 2 방향에서의 기본 광 패턴의 각 서브 패턴의 크기는 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 클 수 있다.
여기에서 개시된 실시 예들은 회전 광 패턴과 대조적으로 재매핑된 도트들을 갖는 기준 광 패턴을 제공할 수 있다. 재매핑된 도트들을 갖는 기준 광 패턴으로부터 형성된 3D 이미지는 노이즈가 더 적고, 더 정확할 수 있다. 기준 광 패턴의 재매핑된 도트들은 가장 짧은 측정 가능한 거리를 연장할 수 있다.
본 발명의 특징들은 도면에 도시 된 예시적인 실시 예를 참조하여 설명 될 것이다.
도 1a은 여기에서 개시된 주제에 따라 예시적인 구조화된 광 시스템 및 기준 광 패턴의 블록도를 보여준다.
도 1b는 예시적인 기본 광 패턴을 보여준다.
도 2는 기본 광 패턴 위로 4 x 4 픽셀 창을 밀어 넣음으로써 얻어진 서브 패턴들에 대한 예시적인 대응 유형 식별 번호들(IDs)을 보여준다.
도 3은 여기에서 개시된 주제에 따른 이동 계수에 기초하여 재매핑된 도트를 갖는 기본 광 패턴을 보여준다다.
도 4는 여기에서 개시된 주제에 따라 기본 광 패턴의 도트를 재매핑하는 과정의 흐름도를 보여준다.
도 5a 및 도 5b는 기준 광 패턴의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴을 형성하기 위해 재매핑된 기준 광 패턴의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여준다.
도 6a 내지 6c는 실제로 발생할 수 있는 픽셀 샘플링 상황을 보여준다.
도 7a 및 도 7b는 도트들이 신장 계수(k)만큼 수직 방향으로 신장된 기본 광 패턴 및 기준 광 패턴 요소를 보여주는 개념도들이다.
도 8은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트들을 재매핑하기 위한 과정을 보여주는 흐름도이다.
도 9는 여기에서 개시된 주제에 따라 재배치되고 신장된 도트들을 갖는 기본 광 패턴을 보여주는 개념도이다.
도 10a 및 도 10b는 신장된 기준 광 패턴의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴을 형성하기 위해 재매핑되고 신장된 기준 광 패턴의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여준다.
이하의 본문에서, 다양한 상세한 설명들은 본문의 이해를 제공하기 위하여 제시된다. 그러나 이러한 상세한 설명 없이 기재된 본 발명의 사상이 당업자에 의해 용이하게 구현될 수 있음은 잘 이해될 것이다. 다른 예에서, 잘 알려진 방법들, 절차들, 구성들, 및 회로들은 본문을 모호하게 하지 않기 위하여 설명되지 않는다.
상세한 설명에서 '하나의 실시 예' 또는 '일 실시 예'를 참조하는 것은 실시 예와 연관된 특정한 특징, 구조, 또는 특성이 본문의 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 즉, 본문의 다양한 위치에서 사용되는 '하나의 실시 예에서' 또는 '일 실시 예에서' 또는 '하나의 실시 예에 따라' 또는 유사한 의미를 갖는 다른 표현들은 동일한 실시 예를 참조하는 것을 요구하지 않는다. 더욱이, 특정한 특징들, 구조들, 또는 특성들은 적절한 방식으로 하나 또는 그 이상의 실시 예들에서 조합될 수 있다. 또는, 본문에서 언급된 내용에 따라, 단수 용어는 복수의 형태를 포함하고, 복수 용어는 단수 형태를 포함할 수 있다. 구성 도면들을 포함하는 다양한 도면들은 오직 설명의 목적을 위하여 본문에서 언급되고, 도시되며, 정량화되지 않는다. 유사하게, 다양한 파형들 및 타이밍도들은 단순히 설명의 목적을 위하여 도시된다. 예를 들어, 일부 요소들의 치수들은 명확성을 위해 다른 요소들에 비해 과장될 수 있다. 또한, 적절한 것으로 고려되는 경우, 참조 번호들은 대응하는 요소들 및/또는 유사한 요소들을 나타내기 위해 도면들에서 반복된다.
본문에서 사용된 용어들은 특정한 실시 예들을 기술하기 위한 목적으로만 사용되는 것이며, 본 발명의 장치와 방법으로 한정하는 의도로는 사용되지 않는다. 문맥상 명백히 다르게 지시하지 않는 한 단수 형태는 본 발명의 개념의 설명 및 부가된 청구항에 사용될 때, 복수의 형태를 포함하는 의도로 사용된 것으로 이해되어야 한다. 그리고 '포함하는' 또는 '포함하며, 한정되지 않는'의 용어가 본 명세서에 사용되는 경우, 기술된 특징, 숫자, 단계, 동작, 구성, 및/또는 부품들의 존재를 명기하는 것이며, 이들의 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성, 부품, 및/또는 그룹의 존재 또는 부가를 배제하지 않는 것으로 더 이해되어야 한다. '제 1', '제 2'와 같은 용어들은 앞서 설명된 구성에 대한 라벨로써 사용되고, 별도의 정의가 없는 한 특정한 순서(예를 들어, 공간적, 시간적, 논리적, 등)를 의도하는 것은 아니다. 더욱이, 동일한 참조 번호들은 동일하거나 또는 유사한 기능을 갖는 부분들, 구성들, 블록들, 회로들, 유닛들, 또는 모듈들을 지칭하기 위하여 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 단순히 설명의 간결성 및 편의를 위한 것이며, 이러한 구성들 및 유닛들의 구성 또는 구조적인 세부 사항들이 모든 실시 예들 또는 공통적으로 참조되는 부분들/모듈들에서 동일한 것으로 의도되지 않으며, 단순히, 본 발명의 특정 실시 예들을 지칭하기 위한 하나의 수단이다.
다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어들(기술적 그리고 과학적 용어들을 포함하는)은 본 발명이 속한 기술 분야에서 당업자에 의해 일반적으로 이해되는 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 이러한 용어들은 본 명세서 그리고/또는 관련 기술의 문맥에서 그들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의되지 않는 한 이상화되거나 지나지게 형식적인 감각으로 해석되지 않아야 한다.
여기에서 개시된 실시 예들은 회전 광 패턴과 대조적으로 재매핑된 도트들을 갖는 기준 광 패턴을 제공할 수 있다. 재매핑된 도트들은 픽셀 샘플링 불균일성을 감소시킬 수 있고, 이미지 조각의 유형을 식별하는 것과 관련된 등극선(epipolar line) 제한을 완화할 수 있다. 또한, 기준 광 패턴의 재매핑된 도트는 최대 측정 가능한 시차의 두 배를 제공할 수 있다. 따라서, 재매핑된 도트들을 갖는 기준 광 패턴으로부터 형성된 3D 이미지는 노이즈가 더 적고, 더 정확할 수 있다. 일 실시 예에서, 기준 광 패턴의 재매핑된 도트들은 가장 짧은 측정 가능한 거리를 (예를 들어, 20%, 30%, 50% 등 만큼) 연장할 수 있다.
일 실시 예에서, 기준 광 패턴의 도트들은 등극선 위반에 강건할 수 있고, 이미지 왜곡 및 카메라 샘플링의 불균일성에 대한 시스템 강건성을 향상시킬 수 있는 깊이 추정을 제공하기 위해 수직 방향으로 확장 될 수 있다. 반대급부(trade-off)은 깊이 이미지가 감소된 수직 해상도를 가질 수 있다는 것일 수 있다. 예로서, 투영된 이미지의 중심에 있는 서브 패턴들은 확장되지 않은 채로 유지될 수 있는 반면, 중심으로부터 떨어진 곳에 있는 패턴들은 점차적으로 확장될 수 있다. 결과는 3D 이미지의 중심 영역 주변의 완전한 수평/수직 해상도가 될 수 있고, 3D 이미지의 경계들을 향하여 감소된 수직 해상도가 될 수 있다.
도 1A은 여기에서 개시된 본 발명에 따른 구조화된 광 시스템(100) 및 기준 광 패턴의 예시적인 실시 예의 블록도를 보여준다. 구조화된 광 시스템(100)은 프로젝터(101), 카메라(102) 및 프로세싱 장치(130)를 포함할 수 있다. 동작에서, 프로세싱 장치(103)는 기준 광 패턴(104)을 프로젝터(101)로 송신할 수 있고, 프로젝터(101)는 기준 광 패턴(104)을 선(105)으로 표시된 장면이나 물체에 투영할 수 있다. 카메라(102)는 투영된 기준 광 패턴(104)으로 그 장면을 이미지(106)로서 촬영할 수 있다. 이미지(106)는 프로세싱 장치(103)로 송신될 수 있고, 프로세싱 장치(103)는 이미지(106)에 촬영된 기준 광 패턴의 기준 광 패턴(104)에 대한 시차에 기초하여 깊이 맵(depth map, 107)을 생성할 수 있다. 깊이 맵(107)은 이미지(106)의 조각들에 대응하는 추정된 깊이 정보를 포함할 수 있다.
프로세싱 장치(103)는 소프트웨어 명령, 전용 집적 회로 또는 이들의 조합을 통해 프로그래밍 된 마이크로프로세서(microprocessor) 또는 개인용 컴퓨터(personal computer, PC)일 수 있다. 일 실시 예에서, 프로세싱 장치(103)에 의해 제공되는 프로세싱은 그래픽 프로세싱 장치(graphics processing unit, GPU), 멀티 코어 시스템 또는 프로세싱 동작들을 구현할 수 있는 전용 하드웨어에 의해 가속화된 소프트웨어를 통해 완전히 구현될 수 있다. 하드웨어 및 소프트웨어 구성들 모두는 병렬 프로세싱의 상이한 단계들을 제공할 수 있다. 구조화된 광 시스템(100)의 일 실시 예는 스마트 폰(smart phone), 핸드폰(cell phone), 또는 디지털 카메라(digital camera) 와 같은 휴대용 장치의 일부일 수 있지만, 이에 한정되지는 않는다.
일 실시 예에서, 프로젝터(101) 및 카메라(102)는 가시 영역 또는 사람의 눈에 보이지 않을 수 있는 적외광 스펙트럼에서 매칭될 수 있다. 투영된 기준 광 패턴은 프로젝터(101) 및 카메라(102) 모두의 스펙트럼 범위 내에 있을 수 있다. 또한, 프로젝터(101) 및 카메라(102)의 해상도들은 상이할 수 있다. 예를 들어, 프로젝터(101)는 비디오 그래픽스 어레이(video graphics array, VGA) 해상도(예를 들어, 640×480 픽셀)로 기준 광 패턴(104)을 투영할 수 있고, 카메라(102)는 더 높은 해상도(예를 들어, 1280×720 픽셀)를 가질 수 있다. 이러한 구성에서, 깊이 맵(107)을 생성하기 위해, 이미지(106)는 다운 샘플링되거나 및/또는 프로젝터(101)에 의해 조명된 영역만 분석될 수 있다.
일 실시 예에서, 기준 광 패턴(104)은 기준 광 패턴(104)을 완전히 채우기 위해 수평 및 수직 방향 모두로 반복될 수 있는 복수의 기준 광 패턴 요소들을 포함 할 수 있다. 도 1B는 수평 방향(즉, x 방향)으로 48도트(dot)의 너비이고, 수직 방향(즉, y 방향)으로 4픽셀의 높이인 기본 광 패턴(108)의 일 실시 예를 보여주는 개념도이다. 다른 기본 광 패턴들도 가능하다. 단순화를 위해, 도트 대 픽셀의 비율은 1:1 일 수 있다. 즉, 각 투영된 도트는 카메라(102)에서 정확히 하나의 픽셀로 촬영될 수 있다. 일 실시 예에서, 도 1A의 기준 광 패턴(104)은 기본 광 패턴(108)을 수평 방향으로 10회, 수직 방향으로 160회 반복함으로써 형성 될 수 있다.
기본 광 패턴(108) 위에 4×4 픽셀 창(window)을 중첩시키고 (가장자리를 감싸면서) 수평으로 밀어 넣는 경우, 48개의 고유 패턴들이 있을 수 있다. 4x4 픽셀 창이 수평으로 밀려들어가는 동안 4x4 픽셀 창이 (기본 광 패턴(108)을 감싸면서) 기본 광 패턴(108)의 높이의 4 픽셀 위 로 수직으로 밀려들어가는 경우, 총 192 개의 고유 패턴들이 있을 수 있다. 도 2는 기본 광 패턴(108) 위로 4 x 4 픽셀 창을 밀어 넣음으로써 얻어진 192개의 고유 서브 패턴들에 대한 예시적인 대응 유형 식별 번호들(IDs)을 보여준다. 96개의 유형 IDs는 기본 광 패턴(108) 위에 표시될 수 있고, 96개의 유형 IDs는 기본 광 패턴 (108) 아래에 표시될 수 있다.
예를 들어 4×4 픽셀 창(201)이 기본 광 패턴(108)의 좌측 상부에 위치되는 경우, 픽셀 창에서의 서브 패턴에 대한 대응 유형 ID는 1일 수 있다. 4×4 픽셀 창(201)이 한 행 아래로 밀려들어가는 경우, 픽셀 창의 서브 패턴에 대한 대응 유형 ID는 2, 등등일 수 있다. 4×4 픽셀 창(202)이 기본 광 패턴(108)의 우측 하부에 위치되는 경우, 픽셀 창에서의 서브 패턴에 대한 대응 유형 ID는 192일 수 있다. 다른 유형 ID들도 가능하다.
기준 광 패턴(104)의 최대 시차를 확장하기 위해, 광 패턴(104)이 회전될 수 있다. 그러나, 이러한 접근법은 투영된 광 도트들이 더 이상 균일하게 샘플링 될 수 없기 때문에 그 결과 기준 광 패턴과 촬영된 이미지 사이의 불일치가 증가되는 결점을 갖게 된다. 예로서, 기준 광 패턴이 회전되는 경우, 2개의 회전 된 도트의 불연속된 중심은 샘플 픽셀 위치의 중심으로부터 실질적으로 동일한 거리에 위치될 수 있다. 샘플 픽셀 위치에 있는 두 개의 도트 중 어느 도트가 더 나은 것으로 인식되어야 하는지를 식별하기 위한 판단이 어려워지고, 서브 패턴에 대한 잘못된 유형 ID를 초래할 수 있다. 이러한 상황은 여기에서 충돌로 언급될 수 있다. 또한, 회전회전된 기준 광 패턴과 촬영된 이미지 간의 불일치가 증가하기 때문에 등극선 가정이 제한되어야 한다. 기준 광 패턴이 회전된 경우 불일치들 수를 줄이기 위해, 보다 정밀한 왜곡 보정 및 정렬이 요구된다.
기준 광 패턴을 회전시키는 대신에, 여기에서 개시된 주제의 일 실시 예는 기본 광 패턴의 각 연속적인 열의 도트를 주어진 수평 방향으로 기준 광 패턴의 수평 폭을 가로지르는 미리 결정된 양만큼 아래쪽으로 이동시키거나 재매핑할 수 있다. 다른 실시 예는 기본 광 패턴의 각 연속적인 열의 도트를 주어진 수평 방향으로 기준 광 패턴의 수평 폭을 가로지르는 미리 결정된 양만큼 위쪽으로 이동시킬 수 있다. 기준 광 패턴은 이동되거나 재매핑된 도트를 갖는 기본 광 패턴(108)을 수평 방향으로 10번, 수직 방향으로 160번 반복하여 형성될 수 있다. 재매핑된 기준 광 패턴은 픽셀 샘플링 불균일성을 감소시키고 등극선 제한을 완화함으로써, 회전된 기준 광 패턴에 의해 제공되는 것보다 노이즈가 더 적고 더 정밀한 결과적인 3D 이미지를 제공할 수 있다.
일 실시 예에서, 기본 광 패턴(108)의 도트들은 아래의 [수학식 1]에서 와 같이 인접한 열에 대하여 재매핑될 수 있다.
[수학식 1]에서, x 및 y는 기본 광 패턴에서의 도트의 원래 좌표들이고, x' 및 y'는 재매핑된 기본 광 패턴에서의 이동된 도트의 새로운 좌표들이고, m은 이동 계수이다.
도 3은 여기에서 개시된 주제에 따른 이동 계수(m)에 기초하여 재매핑 된 도트들을 갖는 기본 광 패턴(300)을 보여준다. 기본 광 패턴(300)은 수평 방향 (즉, x 방향)으로 48 도트 너비를 가질 수 있고, 각 열은 수직 방향 (즉, y 방향)으로 4 도트 높이일 수 있고, 도트의 각 열은 왼쪽 바로 옆 도트의 열에 대한 이동 계수(m)에 의해 재매핑될 수 있다. 도 3에 도시 된 예에서, 이동 계수(m)는 10%일 수 있다. 즉, 각 열의 도트는 왼쪽 바로 옆 열로부터 10%만큼 아래로 이동될 수 있다. 다른 이동 계수들이 사용될 수 있다. 단순화를 위해, 각 투영된 도트들이 정확히 카메라의 하나의 픽셀에 의해 촬영될 수 있도록 도트 대 픽셀의 비율은 1:1이 될 수 있다. 도 3에서의 열들이 왼쪽 바로 옆 열에 대해 아래쪽으로 이동되긴 했지만, 열들은 대안적으로 왼쪽 바로 옆 열에 대해 위쪽으로 이동될 수 있다(예를 들어, m <0 인 경우).
도 4는 여기에서 개시된 주제에 따라 기본 광 패턴의 도트들을 재매핑하는 과정(400)의 흐름도를 보여준다. 프로세스는 401에서 시작할 수 있다. 402에서, 기본 광 패턴의 도트들의 가장 왼쪽의 열이 식별될 수 있다. 403에서 오른쪽에 있는 도트들의 다음 열이 선택될 수 있다. 404에서, 현재 선택된 열의 도트들은 이동 계수(m)만큼 이동될 수 있다. 405에서, 기본 광 패턴의 모든 열들이 처리되었는지 여부가 판단될 수 있다. 모든 열들이 처리되지 않았다면, 흐름은 403으로 되돌아 갈 수 있다. 기준 광 패턴의 모든 열들이 처리 된 경우, 흐름은 과정이 종료되는 406으로 진행될 수 있다. 다른 실시 예에서, 과정은 기본 광 패턴의 도트들의 가장 오른쪽 열에서 시작하여 왼쪽으로 작업 할 수 있다. 도 4에서의 과정(400)은 특정 순서(즉, 왼쪽에서 오른쪽)로 표현되어 있지만, 도트 이동을 제공하기 위해 사용된 순서는 임의적일 수 있음을 이해해야 한다. 즉, 각 도트는 임의의 순서로 이동될 수 있다.
또한, 도 5a 및 도 5b는 각각 기준 광 패턴(501)의 부분의 서브 패턴들에 대한 예시적인 유형 ID들의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴 (501')을 형성하기 위해 재매핑된 기준 광 패턴(501)의 부분의 서브 패턴들에 대한 유형 ID들의 배열을 보여준다. 보다 구체적으로, 도 5a는 기준 광 패턴(501)을 형성하는 상이한 서브 패턴들의 유형 ID들을 보여주는 반면, 도 5b는 재매핑된 기준 광 패턴(501')에 대한 상이한 서브 패턴들의 유형 ID들을 보여준다. 도 5a에 도시된 광 패턴(501)의 유형 ID들의 최상단 행은, 유형 ID들의 최상단 행이 도 5b에 도시 된 광 패턴(501')에서 재매핑되었음을 보다 쉽게 알 수 있도록 회색으로 강조(하이라이트) 표시되었다.
여기에서 개시된 주제에 따라 재매핑된 기준 광 패턴의 이점을 더 설명하기 위해, 도 6a 내지 6c는 실제로 발생할 수 있는 픽셀 샘플링 상황을 보여준다. 또한, 도 6a 내지 도 6c에서, 도트 크기는 약 2㎛일 수 있고 픽셀 크기는 약 1㎛일 수 있으며 결과적으로 픽셀 대 도트 비율은 약 4:1일 수 있다.
도 6a에서, 회전되지 않고 재매핑되지 않은 기준 광 패턴의 예시적인 4×4 조각의 도트들(601)이 예시적인 샘플링 픽셀 위치들(602)에 대해 보여진다. 예시적인 샘플링 픽셀 위치들(602)이 정확하게 도트들(601)과 일렬로 배열되지 않지만, 샘플링 픽셀 위치들(602)의 도트들(601) 상으로의 중첩이 상대적으로 균일하기 때문에, 예시적인 4×4 조각의 유형 ID가 결정될 확률이 높다.
도 6b에서, 회전 된 기준 광 패턴의 예시적인 4×4 조각의 도트들(603)이 예시적인 샘플링 픽셀 위치들(604)에 대해 보여진다. 기준 광 패턴의 회전은 샘플링 픽셀 위치들(604)의 도트들(603) 상으로의 중첩을 상대적으로 균일하지 않게 야기할 수 있다. 몇몇 샘플 픽셀 위치들(604)은 다른 샘플 픽셀 위치들보다 더 많은 도트들(602)을 촬영할 수 있다. 결과적으로, 회전 된 도트들(603) 및 샘플 픽셀 위치들(604)로부터 생성된 결과적인 3D 이미지는 도 6a에서 도트들(601) 및 샘플 픽셀 위치들(602)에 의해 생성된 결과적인 3D 이미지보다 상대적으로 노이즈가 많고, 덜 정확할 수 있다.
도 6c에서, 재매핑된 기준 광 패턴의 예시적인 4×4 조각의 도트들(605)이 예시적인 샘플링 픽셀 위치들(606)에 대해 보여진다. 기준 광 패턴의 도트들의 재매핑은 확장된 시차도 제공하면서 샘플링 픽셀 위치들(606)의 도트들 (605)상으로의 중첩이 상대적으로 균일하도록 야기할 수 있다. 또한, 충돌 사례가 상당히 감소할 수 있다. 결과적으로, 재매핑된 도트들(605) 및 샘플 픽셀 위치들(606)로부터 생성된 결과적인 3D 이미지는 도 6b에서의 회전 된 도트들(603) 및 샘플 픽셀 위치들(604)에 의해 생성된 결과적인 3D 이미지보다 상대적으로 노이즈가 더 적고, 상대적으로 더 정확할 수 있다. 샘플 픽셀 위치들(606)은 또한 기준 광 패턴의 도트의 재매핑에 대응하도록 재매핑된다는 것을 유의해야 한다.
기본 광 패턴의 다른 실시 예는 여기에서 개시된 주제에 따라 수직 방향으로 신장된 도트들을 제공할 수 있다. 도 7a 및 도 7b는 각각 도트들이 신장 계수(k)만큼 수직 방향으로 신장된 기본 광 패턴(108) 및 기준 광 패턴 요소(700)를 보여준다. 기준 광 패턴 요소를 수직 방향으로 신장시킴으로써, 깊이 추정은 등극선 위반에 대해 보다 강건 해질 수 있고, 따라서 시스템 강건성 및 정확성이 증가할 수 있다.
일 실시 예에서, 기본 광 패턴의 도트들은 아래의 [수학식 2]에서와 같이 수직 방향으로 신장될 수 있다.
[수학식 2]에서, x 및 y는 기준 광 패턴 요소의 도트의 원래 좌표이고, x' 및 y'는 기준 광 패턴 요소의 신장된 도트의 새로운 좌표이고, k는 신장 계수이다. 도 7b의 기준 광 패턴(700)의 도트들은, 도 7a의 기본 광 패턴 (108)의 도트들과 비교하여 2배만큼 신장될 수 있다. 기본 광 패턴의 도트들이 신장됨으로써 관찰될 수 있는 반대급부는 깊이 이미지가 감소된 수직 해상도를 가질 수 있다는 것이다. 이 경우, 도트들은 기준 광 패턴에서 그것들의 위치에 따라 불균일하게 신장 될 수 있다. 예로서, 이미지 중심의 패턴들은 신장되지 않을 수 있는 반면 이미지 중심에서 떨어진 패턴들이 점차적으로 신장될 수 있다. 그 결과는 중심 영역들 주변의 완전한 수평/수직 해상도와 이미지의 경계 방향들로 감소된 수직 해상도일 수 있다.
기본 광 패턴의 도트를 재매핑하고 신장하는 것은 아래의 [수학식 3]에서와 같이 결합될 수 있다.
[수학식 3]에서, x 및 y는 기준 광 패턴 요소의 도트의 원래 좌표이고, x' 및 y'는 기준 광 패턴 요소의 신장된 도트의 새로운 좌표이고, m은 이동 계수이고, k는 신장 계수이다.
도 8은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트들을 재매핑하기 위한 과정(800)의 흐름도를 보여준다. 과정은 801에서 시작할 수 있다. 802에서, 기준 광 패턴 요소의 모든 도트들은 신장 계수(k)만큼 신장될 수 있다. 과정은 803에서 종료될 수 있다.
도 9는 여기에서 개시된 주제에 따라 재배치되고 신장된 도트들을 갖는 기본 광 패턴(900)을 보여준다. 기본 광 패턴(900)은 수평 방향 (즉, x 방향)으로 48 도트 너비를 가지며, 각 열은 수직 방향 (즉, y 방향)으로 4 도트 높이일 수 있고 도트의 각 열이 바로 왼쪽에 있는 도트의 열에 대해 이동 계수 (m)에 의해 재매핑될 수 있다. 도 9에 도시 된 예에서, 이동 계수(m)는 10%일 수 있고, 신장 계수(k)는 2일 수 있다.
도 10a 및 도 10b는 각각 신장된 기준 광 패턴(1001)의 부분의 서브 패턴들에 대한 예시적인 유형 ID들의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴 (1001')을 형성하기 위해 재매핑되고 신장된 기준 광 패턴(1001)의 부분의 서브 패턴들에 대한 유형 ID들의 배열을 보여준다. 즉, 도 10a는 신장된 도트를 가지는 기준 광 패턴(1001)을 형성하는 상이한 서브 패턴들의 유형 ID들을 보여주는 반면, 도 10b는 재매핑되고 신장된 기준 광 패턴(1901')에 대한 상이한 서브 패턴들의 유형 ID들을 보여준다. 도 10a에 도시된 광 패턴(1001)의 유형 ID들의 최상단 행은, 유형 ID들의 최상단 행이 도 10b에 도시 된 광 패턴(1001')에서 재매핑되었음을 보다 쉽게 알 수 있도록 회색으로 강조(하이라이트) 표시되었다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (10)

  1. 구조화된 광 시스템을 위한 구조화된 광 패턴에 있어서, 구조화된 광 패턴은:
    제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함하되,
    상기 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고,
    상기 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고,
    상기 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함하고,
    상기 N은 정수이고,
    각 도트는 동일한 크기이고,
    각 서브 행은 상기 제 1 방향으로 확장되고, 각 서브 열은 상기 제 1 방향에 직교하는 제 2 방향으로 확장되고,
    상기 서브 패턴들 각각은 제1 내지 제N 서브 열들이 순차적으로 배열되고,
    상기 서브 패턴들 각각에서, 제2 서브 열의 I 번째 도트는 상기 제2 서브 열에 인접한 제1 서브 열의 대응하는 I 번째 도트로부터 상기 제 2 방향으로 미리 정해진 거리만큼 오프셋되고, 그리고
    상기 서브 패턴들 각각에서, 제N 서브 열의 I 번째 도트는 상기 제1 서브 열의 대응하는 상기 I 번째 도트로부터 상기 제 2 방향으로 상기 미리 정해진 거리의 n-1 배만큼 오프셋되고,
    상기 I는 1 이상이고 N 이하인 정수를 포함하는 구조화된 광 패턴.
  2. 제 1 항에 있어서,
    상기 서브 패턴들은 48 개의 서브 패턴들을 포함하는 구조화된 광 패턴.
  3. 제 1 항에 있어서,
    상기 제 2 방향에서의 상기 기본 광 패턴의 각 서브 패턴의 크기는 상기 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 큰 구조화된 광 패턴.
  4. 제 3 항에 있어서,
    복수의 구조화된 광 패턴은 제 1 복수의 열에 배열되고, 상기 제 1 복수의 열 각각은 제 2 복수의 구조화된 광 패턴을 포함하는 구조화된 광 패턴.
  5. 구조화된 광 시스템을 위한 구조화된 광 패턴에 있어서, 구조화된 광 패턴은:
    제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함하되,
    상기 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고,
    상기 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고,
    상기 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함하고,
    상기 N은 정수이고,
    각 도트는 동일한 크기이고,
    각 서브 행은 상기 제 1 방향으로 확장되고, 각 서브 열은 상기 제 1 방향에 직교하는 제 2 방향으로 확장되고,
    상기 서브 패턴들 각각은 제1 내지 제N 서브 열들이 순차적으로 배열되고,
    상기 서브 패턴들 각각에서, 제2 서브 열의 I 번째 도트는 상기 제2 서브 열에 인접한 제1 서브 열의 대응하는 I 번째 도트로부터 상기 제 2 방향으로 미리 정해진 거리만큼 오프셋되고,
    상기 서브 패턴들 각각에서, 제N 서브 열의 I 번째 도트는 상기 제1 서브 열의 대응하는 상기 I 번째 도트로부터 상기 제 2 방향으로 상기 미리 정해진 거리의 n-1 배만큼 오프셋되고,
    상기 I는 1 이상이고 N 이하인 정수를 포함하고, 그리고
    상기 제 2 방향에서의 상기 기본 광 패턴의 각 서브 패턴의 크기는 상기 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 큰 구조화된 광 패턴.
  6. 제 5 항에 있어서,
    상기 제 1 방향에서의 제 1 서브 패턴의 크기는 상기 제 1 방향에서의 제 2 서브 패턴과 동일한 크기이고,
    상기 제 1 서브 패턴은 상기 제 2 서브 패턴과 상이한 구조화된 광 패턴.
  7. 제 5 항에 있어서,
    상기 구조화된 광 패턴은 물체로부터 반사되고, 기준 구조화된 광 패턴에 대한 시차를 포함하는 구조화된 광 패턴.
  8. 삭제
  9. 제 5 항에 있어서,
    복수의 구조화된 광 패턴은 제 1 복수의 열에 정렬되고, 상기 제 1 복수의 열 각각은 제 2 복수의 구조화된 광 패턴을 포함하는 구조화된 광 패턴.
  10. 삭제
KR1020180173143A 2018-01-29 2018-12-28 3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들 KR102628853B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862623527P 2018-01-29 2018-01-29
US62/623,527 2018-01-29
US15/928,081 US11297300B2 (en) 2018-01-29 2018-03-21 Robust structured-light patterns for 3D camera system
US15/928,081 2018-03-21

Publications (2)

Publication Number Publication Date
KR20190092255A KR20190092255A (ko) 2019-08-07
KR102628853B1 true KR102628853B1 (ko) 2024-01-24

Family

ID=67392548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180173143A KR102628853B1 (ko) 2018-01-29 2018-12-28 3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들

Country Status (3)

Country Link
US (1) US11297300B2 (ko)
KR (1) KR102628853B1 (ko)
CN (1) CN110097587A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958897B2 (en) * 2018-04-02 2021-03-23 Mediatek Inc. Method and apparatus of depth fusion
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US20230267628A1 (en) * 2020-09-23 2023-08-24 Qualcomm Incorporated Decoding an image for active depth sensing to account for optical distortions
WO2024088935A1 (en) 2022-10-28 2024-05-02 Ams International Ag System and method for object depth estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154607A1 (en) * 2007-12-28 2012-06-21 Moed Michael C Deformable Light Pattern for Machine Vision System
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
WO2016199323A1 (ja) * 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867250A (en) 1996-05-03 1999-02-02 Baron; William S. Apparatus and method for optically mapping front and back surface topographies of an object
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
KR100648656B1 (ko) 2004-12-14 2006-11-24 삼성전자주식회사 오차확산 처리방법 및 그 처리장치
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US7448009B2 (en) 2006-01-03 2008-11-04 Texas Instruments Incorporated Method of leakage optimization in integrated circuit design
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
US20080037044A1 (en) 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
EP2618102A2 (en) 2006-11-21 2013-07-24 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US7930674B2 (en) 2007-03-29 2011-04-19 Agere Systems Inc. Modifying integrated circuit designs to achieve multiple operating frequency targets
US7496867B2 (en) 2007-04-02 2009-02-24 Lsi Corporation Cell library management for power optimization
US7849422B2 (en) 2007-06-20 2010-12-07 Lsi Corporation Efficient cell swapping system for leakage power reduction in a multi-threshold voltage process
WO2010041254A2 (en) 2008-10-06 2010-04-15 Mantisvision Ltd. Method and system for providing three-dimensional and range inter-planar estimation
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US20150138078A1 (en) 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
WO2016087915A2 (en) 2014-12-05 2016-06-09 Mantisvision Ltd. Markers in 3d data capture
US9712806B2 (en) 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
JP6480902B2 (ja) * 2016-10-06 2019-03-13 ファナック株式会社 投影パターン作成装置および３次元計測装置
US10108069B2 (en) * 2017-01-24 2018-10-23 The Boeing Company Electromagnetic effect resistant spatial light modulator

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154607A1 (en) * 2007-12-28 2012-06-21 Moed Michael C Deformable Light Pattern for Machine Vision System
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
WO2016199323A1 (ja) * 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置

Also Published As

Publication number Publication date
US20190238823A1 (en) 2019-08-01
US11297300B2 (en) 2022-04-05
KR20190092255A (ko) 2019-08-07
CN110097587A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
KR102628853B1 (ko) 3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들
EP3189495B1 (en) Method and apparatus for efficient depth image transformation
CN106648511A (zh) 一种显示分辨率的自适应显示方法及装置
US9341859B2 (en) 3D image based alignment method
EP2562581A1 (en) Three-dimensional video display device and three-dimensional video display method
EP2849431A1 (en) Method and apparatus for detecting backlight
KR102401168B1 (ko) 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR101903619B1 (ko) 구조화된 스테레오
WO2017048382A1 (en) Multiplexed temporal calibration for event-based cameras
TWI775935B (zh) 估測圖像中的深度的方法
Yang et al. Designing display pixel layouts for under-panel cameras
KR102325296B1 (ko) 3d 영상 디스플레이 장치 및 방법
CN104252705A (zh) 一种图像拼接方法及装置
JP2005308464A (ja) 欠陥検出装置および欠陥検出方法
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
CN114359220A (zh) 获取异形屏的光学信息的方法及装置、非易失性存储介质
US20200386992A1 (en) Image distortion detection method and system
US10986761B2 (en) Board inspecting apparatus and board inspecting method using the same
JP2004229093A (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
Boev et al. Visual-quality evaluation methodology for multiview displays
KR102581393B1 (ko) Qis 센서를 위한 고 대비 구조화된 광 패턴들
CN107093395B (zh) 一种透明显示装置及其图像显示方法
CN102117128B (zh) 高解析度图像感测装置及其图像运动感测方法
CN110896469B (zh) 用于三摄的解像力测试方法及其应用

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181228

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211222

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181228

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230423

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231023

PG1601 Publication of registration