KR20190070264A - Qis 센서를 위한 고 대비 구조화된 광 패턴들 - Google Patents

Qis 센서를 위한 고 대비 구조화된 광 패턴들 Download PDF

Info

Publication number
KR20190070264A
KR20190070264A KR1020180143030A KR20180143030A KR20190070264A KR 20190070264 A KR20190070264 A KR 20190070264A KR 1020180143030 A KR1020180143030 A KR 1020180143030A KR 20180143030 A KR20180143030 A KR 20180143030A KR 20190070264 A KR20190070264 A KR 20190070264A
Authority
KR
South Korea
Prior art keywords
light pattern
sub
reference light
patterns
image
Prior art date
Application number
KR1020180143030A
Other languages
English (en)
Other versions
KR102581393B1 (ko
Inventor
릴롱 쉬
이빙 미쉘 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/907,242 external-priority patent/US10740913B2/en
Priority claimed from US15/928,081 external-priority patent/US11297300B2/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190070264A publication Critical patent/KR20190070264A/ko
Application granted granted Critical
Publication of KR102581393B1 publication Critical patent/KR102581393B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

이미지의 깊이를 추정하기 위한 구조화된 광 시스템 및 방법이 개시된다. 기준 광 패턴의 투영을 포함하고 기준 광 패턴이 투영된 장면인 이미지가 수신된다. 기준 광 패턴은 기준 개수의 서브 패턴들을 포함한다. 수신된 이미지의 조각과 기준 광 패턴의 서브 패턴이 하드코드 템플릿 매칭 기법 또는 조각이 서브 패턴에 대응할 확률에 기초하여 매칭된다. 룩업 테이블이 사용되는 경우, 테이블은 확률 행렬일 수 있고, 사전에 계산된 상관 점수들을 포함하거나 사전에 계산된 유형 ID들을 포함할 수 있다. 조각의 깊이의 추정은 조각과 서브 패턴 사이의 시차에 기초하여 결정될 수 있다.

Description

QIS 센서를 위한 고 대비 구조화된 광 패턴들{HIGH CONTRAST STRUCTURED LIGHT PATTERNS FOR QIS SENSORS}
여기에서 개시되는 주제는 구조화된 광 시스템을 위한 장치 및 방법에 관한 것으로, 좀 더 상세하게는 구조화된 광 시스템에서 시스템 블러를 보상하기 위한 장치 및 방법에 관한 것이다.
스테레오 카메라 시스템들로도 불리는 구조화된 광 3D 카메라 시스템(structured-light 3D-camera system)들에서 깊이 값들을 추정하기 위해 널리 사용되는 기법은 기준 패턴의 조각에 가장 잘 매칭하는 이미지 조각을 검색하는 것이다. 이러한 검색의 전반적인 계산상의 부담을 줄이기 위해, 이미지 조각은 기준 패턴과 거의 수평선 상에 이웃하여 위치한다고 가정된다. 또한, 기준 패턴이 전체 투영 공간을 채우기 위해 수평 및 수직으로 반복되는 고유의 서브 패턴들의 유한개의 세트만을 포함하도록 설계되어, 검색 프로세스가 더 단순화된다. 기준 패턴의 고유한 패턴들에 대해 알려진 배열은 이미지 조각의 '유형(class)'을 식별하고 결과적으로 이미지 조각과 기준 조각 사이의 시차(disparity)를 판별하는데 사용된다. 또한, 이미지 조각은 깊이 픽셀 위치의 중심에 있는 것으로 가정되며, 이는 깊이 추정 값의 계산을 단순화시킨다.
그럼에도 불구하고 이미지 조각의 크기 및 검색 범위가 커지게 되면, 조각 검색을 하는 것이 시간이 많이 걸리게 되고 계산 집약적이 되어, 실시간으로 깊이를 추정하는 것을 달성하기 어려워진다. 상당한 계산 비용으로 어려움을 겪는 것에 더하여, 일부 구조화된 광 3D 카메라 시스템들은 깊이 추정에 있어서 심각한 노이즈로 인해 어려움을 겪을 수 있다. 결과적으로, 그러한 구조화된 광 3D 카메라 시스템들은 전력 소모가 크며, 픽셀 노이즈, 블러(blur), 왜곡 및 채도와 같은 이미지 결함들에 민감할 수 있다.
또한, 일반적인 구조화된 광 시스템에서, 투영된 광 도트는 확산되고 흐려질 수 있고, 이는 광원, 디퓨저(diffuser), 광 패턴 필름, 카메라 렌즈 그리고 이미지 센서의 픽셀들과 같은 구조화된 광 시스템의 많은 구성 요소들에 의해 야기될 수 있다. 결과적으로, 촬영된 이미지가 흐려질 수 있다. 이러한 흐려짐은 흑색/백색 도트의 국지적 대비를 감소시킬 수 있고, 그것 때문에 패턴 매칭을 더 어렵게 만들 수 있다. 또한, 광이 너무 강할 경우(즉, 프로젝터 광원과 주변 광), 적분 시간이 너무 길게 설정되거나 픽셀 풀-웰 용량(full-well capacity)이 너무 작으면, 이미지 센서의 픽셀들은 쉽게 포화될 수 있다. 결과적으로, 기준 패턴의 백색 도트는 확장되는 반면 흑색 도트는 서로에 대해 축소되어 구조화된 광 패턴들이 왜곡될 수 있다.
본 개시의 실시 예들은 QIS 센서를 위한 고 대비 구조화된 광 패턴들을 제공할 수 있다.
일 실시 예는 구조화된 광 시스템을 위한 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고, 서브 패턴들 각각은 서브 행의 제 1 기준 개수의 부분들 및 서브 열의 제 2 기준 개수의 부분들을 포함하고, 제 1 기준 개수는 정수이고, 제 2 기준 개수는 정수일 수 있다. 각 서브 행은 제 1 방향으로 확장되고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있다. 부분들 각각은 제 1 타입 부분 또는 제 2 타입 부분을 더 포함하고, 제 1 방향 및 제 2 방향의 제 1 타입 부분의 크기는 제 1 방향 및 제 2 방향의 제 2 타입 부분의 크기보다 클 수 있다. 일 실 시 예에서, 제 1 타입 부분은 흑색 부분을 포함하고, 제 2 타입 부분은 백색 부분을 포함할 수 있다. 제 1 방향 및 제 2 방향의 제 1 타입 부분의 크기는 제 1 방향 및 제 2 방향의 제 2 타입 부분의 크기의 3배일 수 있다.
다른 실시 예는 구조화된 광 시스템을 위한 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고, 서브 패턴들 각각은 서브 행의 제 1 기준 개수의 부분들 및 서브 열의 제 2 기준 개수의 부분들을 포함하고, 제 1 기준 개수는 정수이고, 제 2 기준 개수는 정수이고, 각 서브 행은 제 1 방향으로 확장될 수 있다. 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있다. 부분들 각각은 흑색 부분 또는 백색 부분을 더 포함하고, 제 1 방향 및 제 2 방향의 제 흑색 부분의 크기는 제 1 방향 및 제 2 방향의 백색 부분의 크기보다 클 수 있다. 일 실시 예에서, 제 1 방향 및 제 2 방향의 제 흑색 부분의 크기는 제 1 방향 및 제 2 방향의 백색 부분의 크기의 3배일 수 있다.
다른 실시 예는 구조화된 광 시스템을 위한 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 물체에서 반사되고 기준 구조화된 광 패턴에 대한 시차를 포함하는 기본 광 패턴을 포함할 수 있다. 기준 구조화된 광 패턴은 기본 광 패턴으로부터 형성되고, 기본 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함할 수 있다. 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있다. 서브 패턴들 각각은 서브 행의 제 1 기준 개수의 부분들 및 서브 열의 제 2 기준 개수의 부분들을 포함하고, 제 1 기준 개수는 정수이고, 제 2 기준 개수는 정수일 수 있다. 각 서브 행은 제 1 방향으로 확장되고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있다. 부분들 각각은 제 1 타입 부분 또는 제 2 타입 부분을 더 포함하고, 제 1 방향 및 제 2 방향의 제 1 타입 부분의 크기는 제 1 방향 및 제 2 방향의 제 2 타입 부분의 크기보다 클 수 있다. 일 실시 예에서, 서브 열에 정렬된 기본 광 패턴의 부분들은 인접한 서브 열에 정렬된 기본 광 패턴의 부분들로부터 제 2 방향으로 상쇄될 수 있다. 제 2 방향의 기본 광 패턴의 서브 패턴들 각각의 크기는 제 1 방향의 서브 패턴들 각각의 크기보다 신장 계수만큼 클 수 있다.
여기에서 개시된 실시 예들은 회전 광 패턴과 대조적으로 재매핑되거나 신장된 도트 또는 부분들을 갖는 기준 광 패턴을 제공할 수 있다. 재매핑된 도트를 갖는 기준 광 패턴으로부터 형성된 3D 이미지는 노이즈가 더 적고, 더 정확할 수 있다. 또한, 수직 방향으로 신장된 도트 또는 부분들은 이미지 왜곡 및 카메라 샘플링의 불균일성에 대한 시스템 강건성을 향상시킬 수 있는 깊이 추정을 제공할 수 있다.
본 발명의 특징들은 도면에 도시 된 예시적인 실시 예를 참조하여 설명 될 것이다.
도 1a은 본 발명의 실시 예에 따른 구조화된 광 시스템 및 기준 광 패턴을 보여주는 개념도이다.
도 1b는 도 1a의 기준 광 패턴을 형성하는데에 사용될 수 있는 예시적인 기준 광 패턴의 요소를 보여주는 개념도이다.
도 2a는 하드코드 템플릿 매칭 기법을 사용하여 매칭될 왼쪽 및 오른쪽의 이미지 입력 조각을 보여주는 개념도이다.
도 2b는 본 발명의 실시 예에 따른 하드코드 템플릿 매칭 기법을 사용하여 매칭될 이미지 입력 조각 및 기준 광 패턴 조각을 보여주는 개념도이다.
도 3은 본 발명의 실시 예에 따른 하드코드 템플릿 매칭 기법을 사용하여 깊이에 관한 정보를 결정하기 위한 과정을 보여주는 흐름도이다.
도 4는 본 발명의 실시 예에 따라 증분 분석되는 연속적인 기준 광 패턴의 조각들을 보여주는 개념도이다.
도 5는 본 발명의 실시 예에 따라 이미지 입력 조각이 기준 광 패턴의 조각의 유형 c에 속할 확률에 기초하여 깊이 정보를 추정하기 위한 과정을 보여주는 개념도이다.
도 6은 본 발명의 실시 예에 따라 이미지 입력 조각이 유형 c에 속할 확률을 생성하기 위해 룩업 테이블을 사용하는 과정을 보여주는 개념도이다.
도 7은 본 발명의 실시 예에 따라 큰 이미지 입력 조각을 별개로 더 작게 분할하고 이미지 입력 서브-조각이 유형 c에 속할 확률을 생성하기 위해 룩업 테이블을 사용하는 과정을 보여주는 개념도이다.
도 8은 본 발명의 일 실시 예에 따라 이미지 입력 조각이 클래스 c에 속하는 것을 결정하기 위해 사용될 수 있는 사전에 계산 된 클래스 식별자만을 포함하는 룩업 테이블을 사용하는 과정을 보여주는 개념도이다.
도 9는 본 발명의 실시 예에 따라 슬라이딩 윈도우를 사용하여 큰 이미지 입력 조각을 더 작게 분할하고 사전에 계산된 클래스 식별자들을 포함하는 룩업 테이블을 사용하는 과정을 보여주는 개념도이다.
도 10은 본 발명의 실시 예에 따라 이미지 입력 조각이 기준 광 패턴 조각에 매칭할 확률에 기초하여 깊이 정보를 결정하는 과정을 보여주는 흐름도이다.
도 11은 기본 광 패턴 위로 4 x 4 픽셀 창을 밀어 넣음으로써 얻어진 서브 패턴들에 대한 예시적인 대응 유형 식별 번호들(IDs)을 보여주는 개념도이다.
도 12는 여기에서 개시된 주제에 따른 이동 계수에 기초하여 재매핑된 도트를 갖는 기본 광 패턴을 보여주는 개념도이다.
도 13은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트를 재매핑하는 과정을 보여주는 흐름도이다.
도 14a 및 도 14b는 기준 광 패턴의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴을 형성하기 위해 재매핑된 기준 광 패턴의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여주는 개념도들이다.
도 15a 내지 15c는 실제로 발생할 수 있는 픽셀 샘플링 상황을 보여주는 개념도들이다.
도 16a 및 도 16b는 도트가 신장 계수(k)만큼 수직 방향으로 신장된 기준 광 패턴 및 기준 패턴 요소를 보여주는 개념도들이다.
도 17은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트 또는 부분들을 재매핑하기 위한 과정을 보여주는 흐름도이다.
도 18은 여기에서 개시된 주제에 따라 재배치되고 신장된 도트 또는 부분들을 갖는 기본 광 패턴을 보여주는 개념도이다.
도 19a 및 도 19b는 신장된 기준 광 패턴의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴을 형성하기 위해 재매핑되고 신장된 기준 광 패턴의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여주는 개념도들이다.
도 20a는 구조화된 광 시스템에 의해 사용될 수 있고 시스템에 의해 부가 될 수 있는 블러를 보상하지 않는 예시적인 기준 광 패턴을 보여주는 개념도이다.
도 20b는 구조화된 광 시스템에 의해 도 20a의 기준 광 패턴에 추가될 수 있는 예시적인 블러를 보여주는 개념도이다.
도 20c는 촬영 이후에 도 20a의 기준 광 패턴이 구조화된 광 시스템에 어떻게 나타나는지를 보여주는 개념도이다.
도 21a는 예시적인 7x7 시스템 블러 커널을 보여주는 개념도이다.
도 21b는 도 21a의 예시적인 7x7 시스템 블러 커널의 3D 이미지를 보여주는 개념도이다.
도 22a는 여기에서 개시된 실시 예에 따라 흑색 도트와 백색 도트의 크기의 비율이 3:1 인 예시적인 기본 기준 광 패턴 요소를 보여주는 개념도이다.
도 22b는 도 22a와 편리한 비교를 위해 도 1b의 기준 기본 광 패턴을 보여주는 개념도이다.
도 23은 여기에서 개시된 주제에 따라 기준 광 패턴의 흑색 도트에 대한 백색 도트의 크기를 감소시키는 과정을 보여주는 흐름도이다.
도 24a는 여기에서 개시된 주제에 따라 블러에 대해 보상 된 기준 광 패턴을 보여주는 개념도이다.
도 24b는 블러가 구조화된 광 시스템에 의해 시스템에 의해 추가 된 도 24a의 기준 광 패턴을 보여주는 개념도이다.
도 24c는 도 24a의 기준 광 패턴의 촬영된 이미지 및 이상적인 기준 광 패턴을 보여주는 개념도이다.
도 25a는 여기에서 개시된 주제에 따라 기본 광 패턴을 형성하기 위해 흑색 도트와 백색 도트의 비율이 3:1이고 도트가 신장 계수(k)만큼 수직 방향으로 신장되는 예시적인 기본 광 패턴을 보여주는 개념도이다.
도 25b는 기본 광 패턴을 형성하기 위해 흑색 도트와 백색 도트의 비율이 3:1이고 도트가 이동 계수(m)만큼 재매핑되는 예시적인 기본 광 패턴을 보여주는 개념도이다.
도 25c는 기본 광 패턴을 형성하기 위해 흑색 도트와 백색 도트의 비율이 3:1이고 도트가 이동 계수(m)만큼 재매핑되고 도트가 신장 계수(k)만큼 수직 방향으로 신장되는 예시적인 기본 광 패턴을 보여주는 개념도이다.
이하의 본문에서, 다양한 상세한 설명들은 본문의 이해를 제공하기 위하여 제시된다. 그러나 이러한 상세한 설명 없이 기재된 본 발명의 사상이 당업자에 의해 용이하게 구현될 수 있음은 잘 이해될 것이다. 다른 예에서, 잘 알려진 방법들, 절차들, 구성들, 및 회로들은 본문을 모호하게 하지 않기 위하여 설명되지 않는다.
상세한 설명에서 '하나의 실시 예' 또는 '일 실시 예'를 참조하는 것은 실시 예와 연관된 특정한 특징, 구조, 또는 특성이 본문의 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 즉, 본문의 다양한 위치에서 사용되는 '하나의 실시 예에서' 또는 '일 실시 예에서' 또는 '하나의 실시 예에 따라' 또는 유사한 의미를 갖는 다른 표현들은 동일한 실시 예를 참조하는 것을 요구하지 않는다. 더욱이, 특정한 특징들, 구조들, 또는 특성들은 적절한 방식으로 하나 또는 그 이상의 실시 예들에서 조합될 수 있다. 또는, 본문에서 언급된 내용에 따라, 단수 용어는 복수의 형태를 포함하고, 복수 용어는 단수 형태를 포함할 수 있다. 구성 도면들을 포함하는 다양한 도면들은 오직 설명의 목적을 위하여 본문에서 언급되고, 도시되며, 정량화되지 않는다. 유사하게, 다양한 파형들 및 타이밍도들은 단순히 설명의 목적을 위하여 도시된다. 예를 들어, 일부 요소들의 치수들은 명확성을 위해 다른 요소들에 비해 과장될 수 있다. 또한, 적절한 것으로 고려되는 경우, 참조 번호들은 대응하는 요소들 및/또는 유사한 요소들을 나타내기 위해 도면들에서 반복된다.
본문에서 사용된 용어들은 특정한 실시 예들을 기술하기 위한 목적으로만 사용되는 것이며, 본 발명의 장치와 방법으로 한정하는 의도로는 사용되지 않는다. 문맥상 명백히 다르게 지시하지 않는 한 단수 형태는 본 발명의 개념의 설명 및 부가된 청구항에 사용될 때, 복수의 형태를 포함하는 의도로 사용된 것으로 이해되어야 한다. 그리고 '포함하는' 또는 '포함하며, 한정되지 않는'의 용어가 본 명세서에 사용되는 경우, 기술된 특징, 숫자, 단계, 동작, 구성, 및/또는 부품들의 존재를 명기하는 것이며, 이들의 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성, 부품, 및/또는 그룹의 존재 또는 부가를 배제하지 않는 것으로 더 이해되어야 한다. '제 1', '제 2'와 같은 용어들은 앞서 설명된 구성에 대한 라벨로써 사용되고, 별도의 정의가 없는 한 특정한 순서(예를 들어, 공간적, 시간적, 논리적, 등)를 의도하는 것은 아니다. 더욱이, 동일한 참조 번호들은 동일하거나 또는 유사한 기능을 갖는 부분들, 구성들, 블록들, 회로들, 유닛들, 또는 모듈들을 지칭하기 위하여 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 단순히 설명의 간결성 및 편의를 위한 것이며, 이러한 구성들 및 유닛들의 구성 또는 구조적인 세부 사항들이 모든 실시 예들 또는 공통적으로 참조되는 부분들/모듈들에서 동일한 것으로 의도되지 않으며, 단순히, 본 발명의 특정 실시 예들을 지칭하기 위한 하나의 수단이다.
다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어들(기술적 그리고 과학적 용어들을 포함하는)은 본 발명이 속한 기술 분야에서 당업자에 의해 일반적으로 이해되는 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 이러한 용어들은 본 명세서 그리고/또는 관련 기술의 문맥에서 그들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의되지 않는 한 이상화되거나 지나지게 형식적인 감각으로 해석되지 않아야 한다.
여기에서 개시된 실시 예들은 구조화된 광 시스템에 대한 빠른 속도의 깊이 추정들을 제공할 수 있다. 일 실시 예에서, 깊이 추정들은 기준 조각들에 대한 이미지 조각들의 하드코드 템플릿 매칭(hardcode template matching)을 기반으로 제공될 수 있다. 다른 실시 예에서, 이미지 조각들은, 예로서, 베이즈 규칙(Bayes' rule)에 기초한 상관(correlation)에 의해 기준 조각들에 매칭될 수 있다. 또 다른 실시 예는 매우 빠른 깊이 추정을 제공하기 위해 룩업 테이블을 사용하여 이미지 조각들을 기준 조각들에 매칭할 수 있다. 여기에서 개시된 모든 실시 예는 다른 접근법들에 수반되는 잡음, 블러 및 왜곡을 감소시키면서도 다른 접근법들과 비교하여 크게 감소된 계산상의 부하와, 감소된 메모리/하드웨어 자원 요구를 제공할 수 있다.
룩업 테이블을 사용하는 여기에서 개시된 실시 예들은 일정 시간 깊이 추정(a constant-time depth estimation)을 제공할 수 있다. 또한, 룩업 테이블은 깊이 예측을 향상시키는 트레이닝 데이터 세트에 기초하여 학습될 수 있다. 룩업 테이블은 다른 접근 방식들보다 더 강건(robust)하면서도 높은 정확도를 제공할 수 있다.
여기에서 개시된 실시 예들은 회전 광 패턴과 대조적으로 재매핑된 도트 또는 부분들을 갖는 기준 광 패턴을 제공할 수 있다. 재매핑된 도트 또는 부분들은 픽셀 샘플링 불균일성을 감소시킬 수 있고, 이미지 조각의 유형을 식별하는 것과 관련된 등극선(epipolar line) 제한을 완화할 수 있다. 또한, 기준 광 패턴의 재매핑된 도트는 최대 측정 가능한 시차의 두 배를 제공할 수 있다. 따라서, 재매핑된 도트를 갖는 기준 광 패턴으로부터 형성된 3D 이미지는 노이즈가 더 적고, 더 정확할 수 있다. 일 실시 예에서, 기준 광 패턴의 재매핑된 도트는 가장 짧은 측정 가능한 거리를 연장할 수 있다(예를 들어, 20%, 30%, 50% 등만큼).
일 실시 예에서, 기준 광 패턴의 도트들 또는 부분들은 등극선 위반에 강건할 수 있고, 이미지 왜곡 및 카메라 샘플링의 불균일성에 대한 시스템 강건성을 향상시킬 수 있는 깊이 추정을 제공하기 위해 수직 방향으로 확장 될 수 있다. 균형(trade-off)은 깊이 이미지가 감소된 수직 해상도를 가질 수 있다는 것일 수 있다. 예로서, 투영된 이미지의 중심에 있는 서브 패턴들은 확장되지 않은 채로 유지될 수 있는 반면, 중심으로부터 떨어진 곳에 있는 패턴들은 점차적으로 확장될 수 있다. 결과는 3D 이미지의 중심 영역 주변의 완전한 수평/수직 해상도가 될 수 있고, 3D 이미지의 경계들을 향하여 감소된 수직 해상도가 될 수 있다.
일 실시 예에서, 블러의 역효과는 블러가 시스템에 존재하는 경우 그것의 이론적인 형상 및 대비를 유지하는 기준 광 패턴을 사용함으로써 감소될 수 있다.
일 실시 예에서, 기준 광 패턴은 블러가 시스템에 존재하는 경우 촬영된 결과 도트가 이론적인 기준 패턴에 더 잘 매칭되고 블러의 효과를 감소한 형상 및 대비를 가질 수 있도록 흑색 도트에 대한 백색 도트 또는 부분들을 축소함으로써 시스템 블러를 보상할 수 있다. 또한, 여기에서 개시된 기준 광 패턴은 포화에 대해 더 강건한 감소된 풀-웰 속성을 갖는 픽셀들을 갖는 양자 이미지 센서(quanta image sensor, QIS)의 사용을 허용 할 수 있다. 또한, 감소 된 풀-웰 속성을 갖는 픽셀들을 포함하는 센서를 사용함으로써, 감소된 시스템 광 전력이 사용될 수 있다. 또 다른 이점은 감소된 풀-웰 속성을 사용함으로써 감지된 이미지를 디지털로 변환하는 것과 관련된 전력이 감소될 수 있는 것일 수 있다.
도 1a은 본 발명의 실시 예에 따른 구조화된 광 시스템 및 기준 광 패턴을 보여주는 개념도이다. 구조화된 광 시스템(100)은 프로젝터(101), 카메라(102) 및 프로세싱 장치(130)를 포함할 수 있다. 동작 중, 프로세싱 장치(103)는 기준 광 패턴(104)을 프로젝터(101)로 송신할 수 있고, 프로젝터(101)는 기준 광 패턴(104)을 도 1a에서 선(105)으로 표시된 장면이나 물체에 투영할 수 있다. 카메라(102)는 기준 광 패턴(104)이 투영된 장면을 이미지(106)로서 촬영할 수 있다. 일 실시 예에서, 카메라(102)는 QIS 센서를 포함할 수 있다. 이미지(106)는 프로세싱 장치(103)로 송신될 수 있고, 프로세싱 장치(103)는 이미지(106)에 촬영된 기준 광 패턴의 기준 광 패턴(104)에 대한 시차에 기초하여 깊이 맵(depth map, 107)을 생성할 수 있다. 깊이 맵(107)은 이미지(106)의 조각들에 대응하는 추정된 깊이 정보를 포함할 수 있다.
프로세싱 장치(103)는 소프트웨어 명령, 전용 집적 회로 또는 이들의 조합을 통해 프로그래밍 된 마이크로프로세서(microprocessor) 또는 개인용 컴퓨터(personal computer, PC)일 수 있다. 일 실시 예에서, 프로세싱 장치(103)에 의해 제공되는 프로세싱은 그래픽 프로세싱 장치(graphics processing unit, GPU), 멀티 코어 시스템 또는 프로세싱 동작들을 구현할 수 있는 전용 하드웨어에 의해 가속화된 소프트웨어를 통해 완전히 구현 될 수 있다. 하드웨어 및 소프트웨어 구성들 모두는 병렬 프로세싱의 상이한 단계들을 제공할 수 있다. 구조화된 광 시스템(100)의 일 실시 예는 스마트 폰(smart phone), 핸드폰(cell phone), 또는 디지털 카메라(digital camera)와 같은 그러나 이에 한정되지 않는, 휴대용 장치의 일부일 수 있다.
일 실시 예에서, 프로젝터(101) 및 카메라(102)는 가시 영역 또는 사람의 눈에 보이지 않을 수 있는 적외광 스펙트럼에서 매칭될 수 있다. 투영된 기준 광 패턴은 프로젝터(101) 및 카메라(102) 모두의 스펙트럼 범위 내에 있을 수 있다. 또한, 프로젝터(101) 및 카메라(102)의 해상도들은 상이할 수 있다. 예를 들어, 프로젝터(101)는 비디오 그래픽스 어레이(video graphics array, VGA) 해상도(예를 들어, 640×480 픽셀)로 기준 광 패턴(104)을 투영 할 수 있고, 카메라(102)는 더 높은 해상도(예를 들어, 1280×720 픽셀)를 가질 수 있다. 이러한 구성에서, 깊이 맵(107)을 생성하기 위해, 이미지(106)는 다운 샘플링되거나 및/또는 프로젝터(101)에 의해 조명된 영역만 분석될 수 있다.
본 발명의 실시 예에 따른 기준 광 패턴(104)은 기준 광 패턴(104)을 완전히 채우기 위해 수평 및 수직 방향 모두로 반복될 수 있는 복수의 기본 광 패턴들(108) 또는 기준 광 패턴 요소들을 포함 할 수 있다. 도 1b는 수평 방향(즉, x 방향)으로 48도트(dots) 또는 부분들(portions)의 너비이고, 수직 방향(즉, y 방향)으로 4도트 또는 부분들의 높이인 기본 광 패턴(108)의 일 실시 예를 보여주는 개념도이다. 다른 기본 광 패턴들이 가능하고, 다른 폭들 및 높이들이 가능하다. 단순화를 위해, 도트 대 픽셀의 비율은 1:1 일 수 있다. 즉, 각 투영된 도트는 카메라(102)에서 정확히 하나의 픽셀로 촬영될 수 있다. 기본 광 패턴(108) 위에 4×4 픽셀 창(window)을 중첩시키고 (가장자리를 감싸면서) 수평으로 밀어 넣는 경우, 48개의 고유 패턴들이 있을 수 있다. 4x4 픽셀 창이 수평으로 밀려들어가는 동안 4x4 픽셀 창이 (기본 광 패턴(108)을 감싸면서) 패턴(108)의 높이의 4 픽셀의 위 또는 아래로 수직으로 밀려들어가는 경우, 총 192 개의 고유 패턴들이 있을 수 있다. 4x4 픽셀과 다른 차원을 갖는 픽셀 창들이 가능하다. 일 실시 예에서, 도 1a의 기준 광 패턴(104)은 기본 광 패턴(108)을 수평 방향으로 10회, 수직 방향으로 160회 반복함으로써 형성 될 수 있다.
여기에 개시된 일 실시 예에서, 프로세싱 장치(103)는 이미지 조각(image patch)들을 기준 광 패턴(104)의 조각들과 매칭하기 위해 하드코드 템플릿 매칭 기법을 사용하여 깊이 맵(107)에 대한 추정된 깊이 정보를 생성할 수 있는데, 여기에서 매칭 기법의 복잡도는 O(P)이고 P는 매칭되는 조각의 크기일 수 있다. 여기에서 개시된 다른 실시 예에서, 프로세싱 장치(103)는 매칭 기법의 복잡도가 O(P)인 기준 광 패턴(104)의 조각에 이미지 조각이 매칭할 확률에 기초하여 이미지 조각들과 기준 광 패턴(104)의 조각들을 매칭함으로써, 추정 된 깊이 정보를 생성 할 수 있다. 여기에서 개시된 또 다른 실시 예에서, 프로세싱 장치(103)는 매칭 기법의 복잡도가 O(1)로 표현되는 기준 광 패턴(104)의 조각에 이미지 조각이 매칭할 확률 정보를 포함 할 수 있는 룩업 테이블을 참조함으로써, 추정된 깊이 정보를 생성 할 수 있다.
1. 하드코드 템플릿 매칭.
이미지 조각을 기준 광 패턴(104)의 조각에 매칭하는 것은 본 발명의 일 실시 예에 따른 하드코드 템플릿 매칭 기법을 사용하는 직접 계산 접근법(direct calculation approach)에 의해 수행 될 수 있다. 계산상의 목적들을 위해, 기준 광 패턴(104)은 1들 및 0들의 패턴들로 표현될 수 있고, 이는 조각 비교들을 위한 계산들을 크게 단순화할 수 있다.
이미지 조각을 기준 광 패턴의 조각에 매칭하는데 3가지 상이한 계산 기법들 중 하나가 사용될 수 있다. 제 1 계산 기법은 매칭 점수가 이미지 조각과 기준 조각 사이의 픽셀 단위의 절대 차의 합에 기초하여 결정되는 절대 차의 합(Sum of Absolute Difference, SAD) 접근법에 기초 할 수 있다. 제 2 계산 기법은 제곱 차의 합(Sum of Squared Difference, SSD) 접근법에 기초 할 수 있다. 제 3 계산 기법은 정규화된 교차-상관(Normalized Cross-Correlation, NCC) 접근법에 기초 할 수 있다.
여기에서 개시된 실시 예들에 따른 직접 계산 접근법의 이점을 설명하기 위해, 도 2a 및 도 2b는 이미지 조각들을 기준 조각들에 매칭하기 위한 본 발명의 실시 예에 따른 직접 계산 접근법을 다른 직접 계산 접근법들과 비교하기 위해 참조 될 것이다.
도 2a는 스테레오 카메라 시스템에서 수신될 수 있는 2개의 4x4 이미지 조각들을 보여주는 개념도이다. 가장 왼쪽의 이미지 입력 조각(P)은 가장 오른쪽의 이미지 기준 조각(Q)과 매칭될 것이다. 기준 광 패턴(104)과 같은 기준 광 패턴이 이미지에 투영되고, 투영 된 기준 광 패턴이 왼쪽 이미지 입력 조각(P) 및 오른쪽 이미지 입력 조각(Q) 모두에 나타난다고 가정한다.
입력 조각들(P, Q)에 대한 매칭 점수를 생성하는데 사용될 수 있는 SAD 매칭 계산은 에러 함수(Ek)를 최소화하는 것일 수 있다. SAD 매칭 계산은 아래 [수학식 1]로 설명될 수 있다.
Figure pat00001
수학식 1에서 (i, j)는 조각 내의 픽셀 위치일 수 있고, k는 기준 광 패턴의 조각에 대응하는 조각 식별자 ID : [1,192]일 수 있다. 이 예제의 경우, 조각 식별자(k)는 192개의 고유 패턴들을 갖는 기준 광 패턴(104)과 관련되는 것으로 가정한다.
수학식 1에 따른 SAD 접근법의 경우, 단일 이미지 조각(Qk)과 관련하여 단일 이미지 입력 조각(P)에 대한 에러 함수(Ek)를 결정하기 위한 총 계산 작업량이 4 x 4 x 2 x 192 = 6144번의 합산 연산들을 포함할 수 있다.
수학식 1에 따른 접근법과는 대조적으로, 도 2b를 참조하여, 본 발명의 실시 예에 따른 SAD 직접 계산 기법이 설명될 것이다. 도 2b에서, 왼쪽에 있는 조각은 투영된 기준 광 패턴(104)을 포함하는 4x4 입력 이미지 조각(P)일 수 있다. 오른쪽에 있는 조각은 기준 광 패턴(104)으로부터의 4x4 조각의 이진 표현인 예시적인 4x4 이진 기준 조각(Qk)일 수 있다. 'A'를 포함하는 이진 기준 조각(Qk)의 픽셀들 각각은 이진수 '0'(즉, 흑색)을 나타낼 수 있다. 'B'를 포함하는 이진 기준 조각(Qk)의 픽셀들 각각은 이진수 '1'(즉, 백색)을 나타낼 수 있다.
이진 패턴들을 사용하여, 에러 함수를 최소화하는 것은 기준 패턴들에서 '1'인 픽셀들의 합산 연산들만으로 재형성될 수 있다. 여기에서 개시된 일 실시 예에 따르면, 기준 광 패턴 조각과 관련하여 이미지 입력 조각(P)에 대한 매칭 점수를 생성하는데 사용될 수 있는 단순화된 SAD 매칭 계산은 에러 함수(Ek)를 최소화하는 것일 수 있다. 에러 함수(Ek)를 최소화하는 단순화된 SAD 매칭 계산은 아래 [수학식 2]로 설명될 수 있다.
Figure pat00002
수학식 2에서 (i, j)는 입력 조각(P) 내의 픽셀 위치일 수 있고, k는 기준 광 패턴(104)의 조각에 대응하는 조각 식별자 ID : [1,192]일 수 있고, Bk는 기준 조각(Qk)에서 1의 값을 갖는 픽셀들의 세트일 수 있다. ∥Bk∥는 기준 조각(Qk)에서의 1들의 개수일 수 있고, Psum은 조각(P)의 모든 픽셀 값들의 합일 수 있다. ∥Bk∥가 각 이진 기준 조각에 대해 알려져 있고, Psum이 사전에 계산 될 수 있으므로(그리고, 기준 픽셀 패턴에서 1들의 평균은 8임), 단일 패턴 대 패턴 비교를 수행하는데 필요한 합산들의 횟수는 32에서 약 8로 감소될 수 있다.
따라서, 수학식 (2-3)에 따른 SAD 접근법에 대하여, 이미지 기준 조각(Qk)에 대한 단일 이미지 입력 조각(P)에 대한 에러 함수(Ek)를 결정하기 위한 총 계산상의 부담은 평균 ∥Bk∥가 8인 경우 8 x 192번의 합산 연산들을 포함할 수 있다. 계산 연산들의 개수를 더 줄이기 위해, Psum은 사전에 계산될 수 있다.
도 2a를 다시 참조하면, 에러 함수(Ek)를 최소화하는데 사용될 수 있는 제곱 차의 합(SSD) 매칭 계산은 [수학식 3]으로 설명될 수 있다.
Figure pat00003
수학식 3에서, (i, j)는 조각 내의 픽셀 위치일 수 있고, k는 기준 광 패턴(104)의 조각에 대응하는 조각 식별자 ID : [1,192]일 수 있다.
수학식 3에 따른 SSD 접근법의 경우, 이미지 기준 조각(Qk)과 관련하여 단일 이미지 입력 조각(P)에 대한 에러 함수(Ek)를 결정하기 위한 총 계산은 4 x 4 x 2 x 192 = 6144번의 합산 연산들을 포함할 수 있다.
도 2b를 참조하면, 위 수학식 3에 기반하는 SSD 접근법과 대조적으로, 여기에서 개시된 실시 예에 따라 에러 함수(Ek)를 최소화하는데 사용될 수 있는 단순화된 SSD 매칭 계산은 [수학식 4]로 설명될 수 있다.
Figure pat00004
수학식 4에서, (i, j)는 입력 조각(P)내의 픽셀 위치일 수 있고, k는 기준 광 패턴(104)의 조각에 대응하는 조각 식별자 ID : [1,192]일 수 있고, Bk는 이진 기준 조각(Qk)에서 1의 값을 갖는 픽셀들의 세트일 수 있고, ∥Bk∥는 이진 기준 조각(Qk)에서의 1들의 개수일 수 있고, Psum은 조각(P)의 모든 픽셀 값들의 합일 수 있다. 수학식 4를 참조하면, 에러 함수(Ek)는 기준 광 패턴의 흑색 조각들의 개수의 제곱 및 기준 광 패턴의 백색 조각들의 개수에 기초하여 결정될 수 있다.
수학식 4에 따른 단순화된 SSD 접근법의 경우, 이미지 기준 조각(Qk)과 관련하여 단일 이미지 입력 조각(P)에 대한 에러 함수(Ek)를 결정하기 위한 총 계산상의 부담은 ∥Bk∥의 평균이 8 인 경우 약 8 x 192번의 합산 연산들을 포함할 수 있다. 계산 연산들의 수를 더 줄이기 위해 ∥Bk∥ 및
Figure pat00005
는 사전에 계산될 수 있다.
도 2a를 다시 참조하면, 에러 함수(Ek)를 최소화하는데 사용될 수 있는 정규화된 교차-상관(NCC) 매칭 계산은 아래의 [수학식 5]로 설명될 수 있다.
Figure pat00006
수학식 5에서, (i, j)는 조각 내의 픽셀 위치일 수 있고, k는 기준 광 패턴(104)의 조각에 대응하는 조각 식별자 ID : [1,192]일 수 있다.
수학식 5에 따른 NCC 접근법의 경우, 이미지 기준 조각(Qk)과 관련하여 단일 이미지 입력 조각(P)에 대한 에러 함수(Ek)를 결정하기 위한 총 계산상의 부담은 4 x 4 x 192번의 곱셈 연산들과 4 x 4 x 192번의 합산 연산들, 즉 6144번의 연산들을 포함할 수 있다.
도 2b를 참조하면, 위 수학식 5에 기반하는 NCC 접근법과 대조적으로, 여기에 개시된 일 실시 예에 따른 에러 함수(Ek)를 최소화하는 데 사용될 수 있는 단순화된 NCC 매칭 계산은 아래의 [수학식 6]으로 설명될 수 있다.
Figure pat00007
수학식 6에서, (i, j)는 입력 조각(P) 내의 픽셀 위치일 수 있고, k는 기준 광 패턴(104)의 조각에 대응하는 조각 식별자 ID : [1,192]일 수 있고, ∥Bk∥는 이진 기준 조각(Q)에서 백색 조각들의 합일 수 있다. 수학식 6을 참조하면, 에러 함수(Ek)는 이진 기준 조각의 백색 조각들의 개수로 흑색 조각들의 개수를 나눈 것에 기초하여 결정될 수 있다.
여기에 개시된 단순화 된 NCC 기법은 정규화를 위해 하나의 나눗셈 연산을 이용할 수 있다. ∥Bk∥가 5 개의 상이한 정수 값들(구체적으로, 6-10)을 취할 수 있으므로, 매칭 점수들을 비교할 때까지 나눗셈 연산이 지연 될 수 있다. 따라서, 192개의 매칭 점수들은 그것들의 ∥Bk∥값들에 기초하여 5개의 그룹으로 나눠질 수 있고, 가장 높은 매칭 점수가 각 그룹 중에서 발견될 수 있다. 5 개의 그룹들 각각 중에서 가장 높은 점수가 비교 될 때만 나눗셈이 수행될 필요가 있고, 나눗셈은 5회만 수행될 필요가 있다. 따라서, 수학식 (6-2)에 따른 NCC 접근법의 경우, 이미지 기준 조각(Qk)과 관련하여 단일 이미지 입력 조각(P)에 대한 에러 함수(Ek)를 결정하기 위한 총 계산상의 부담은 5번의 곱셈 연산들과 2 x 192번의 합산 연산들 즉, 389번의 연산들을 포함할 수 있다. 여기에 개시된 SAD 및 SSD 접근법과 유사하게, P2 sum은 사전에 계산될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 하드코드 템플릿 매칭 기법을 사용하여 깊이 정보를 결정하는 과정을 보여주는 흐름도이다. 301에서, 과정이 시작될 수 있다. 302에서, 투영된 기준 광 패턴을 갖는 이미지가 수신될 수 있다. 일 실시 예에서, 투영된 기준 광 패턴은 기준 광 패턴(104)일 수 있다. 303에서, 조각들은 수신된 이미지로부터 추출될 수 있다. 304에서, 각 이미지 조각은 여기에 개시된 단순화된 SAD, SSD 또는 NCC 기법을 사용하여 기준 광 패턴 조각에 매칭될 수 있다. 305에서, 각 이미지 조각과 각 이미지 조각에 매칭되는 기준 광 패턴 조각 사이의 시차가 결정될 수 있다. 306에서, 각 이미지 조각에 대한 깊이 정보가 결정될 수 있다. 307에서, 과정이 종료될 수 있다.
여기에 개시된 3개의 단순화된 직접 계산 매칭 기법들 각각에 대한 연산들의 수는 하나의 기준 조각으로부터 다음 기준 조각까지의 항
Figure pat00008
을 증분 계산함으로써 더 감소 될 수 있다. 예를 들어, 항
Figure pat00009
이 도 4에 도시 된 기준 조각(401)에 대해 증분 계산(incrementally computing)된다면, 기준 조각(402)에 대한 항
Figure pat00010
에 대한 계산은 단지 두 번의 합산 연산들을 추가할 수 있다. 따라서, 하나의 기준 조각으로부터 다음 기준 조각까지 항
Figure pat00011
을 증분 계산함으로써, 연산들의 수가 크게 감소될 수 있다.
특히, 기준 조각(401)은 6 개의 1들(즉, 6 개의 백색 픽셀들)을 포함할 수 있다. 기준 조각(402)은 8 개의 1들(예를 들어, 8 개의 백색 픽셀)을 포함할 수 있다. 기준 조각(401)과 기준 조각(402) 사이의 1들의 개수의 차이가 2이므로, 기준 조각(402)에서 1들의 개수에 대한 값은 기준 조각(401)에서의 1들의 수에 대한 값보다 2만큼 더 클 수 있다. 기준 조각(403)을 고려하면, 기준 조각(402) 및 기준 조각(403) 모두가 8개의 1들을 포함하기 때문에 추가적인 합산 연산들이 추가되지 않을 수 있다. 평균적으로, 합산 연산들의 증분 수는 2일 수 있다. 따라서, 이 증분 접근법을 사용하여, 모든 고유 패턴들을 매칭하는데 필요한 합산 연산들의 총 개수가 2 × 192번으로 감소될 수 있고, 여기에 개시된 단순화된 SAD 기법은 수학식 (3)에 따른 SAD 기법보다 16배 더 빠를 수 있다.
이미지 입력 조각과 이미지 입력 조각에 매칭되는 기준 조각 사이의 시차는 깊이 맵(107)에 대한 깊이 정보를 생성하기 위해 프로세싱 장치(103)에 의해 사용될 수 있는 수학식 (2-3), (4-3), (6-2) 중 어느 것에든 기초하여 결정될 수 있다.
2. 확률에 기초한 패턴 상관 관계(Pattern Correlation)
이미지 입력 조각이 기준 광 패턴(104)과 같은 기준 광 패턴 조각에 매칭할 확률에 기초하여 추정된 깊이 정보를 생성하기 위해 베이즈 규칙에 기초한 패턴 상관이 사용될 수 있다. 즉, 베이즈 규칙은 이미지 입력 조각이 기준 광 패턴 조각들의 유형 c에 속할 가능성을 결정하는데 사용될 수 있다. 4x4 타일(또는 조각, T)이 유형 c에 속할 확률(P)을 추정하는 단순화된 방법은 아래 [수학식 7]로 설명될 수 있다.
Figure pat00012
수학식 7에서, t는 1의 값을 갖는 픽셀일 수 있다.
수학식 7의 중간 항에서 표시된 것과 같이 곱셈들을 수행하는 대신, 이미지 입력 조각이 기준 광 패턴 조각들의 유형 c에 속할 확률은 수학식 7의 가장 우측 항에서 표시 된 것과 같이 합산 연산들만을 사용함으로써 결정될 수 있다. 따라서, 확률(
Figure pat00013
)은 확률들의 곱셈 대신에 확률들의 합으로 표현될 수 있다. 크기가 4 x 4인 픽셀들의 192개의 고유 패턴들의 경우, t는 [0,15]의 값을 취할 수 있고, c는 [1,192]의 값을 취할 수 있다. 각 항목이
Figure pat00014
를 나타내는 16 × 192 행렬(M)이 형성 될 수 있다. 이미지 입력 조각이 분류되는 경우, 각 유형에 대한 확률(
Figure pat00015
)을 얻기 위해 이미지 입력 조각이 행렬(M)의 각 열과 상관될 수 있다. 가장 높은 확률을 갖는 유형은 최종적으로 매칭된 유형에 해당할 수 있다. 행렬(M)의 항목들은 각 기준 픽셀의 깊이 값이 알려진 구조화된 광 이미지들로부터 형성된 데이터 세트로부터 학습될 수 있다. 대안적으로, 행렬(M)은 선형 최적화(linear optimization) 기법 또는 뉴럴 네트워크(neural network)에 의해 형성될 수 있다. 패턴 상관 관계 접근법의 성능은 행렬(M)이 얼마나 잘 학습될 수 있는지에 기초할 수 있다.
도 5는 본 발명의 일 실시 예에 따라 이미지 입력 조각이 기준 광 패턴 조각의 유형 c에 속할 확률에 기초하여 깊이 정보를 추정하기 위한 과정을 보여주기 위한 개념도이다. 501에서, 이미지 입력 조각은 0과 1로 이진화되며, 이는 요소들([0, 1])을 형성하기 위해 T를 정규화하고 0.5로 임계 값을 설정함으로써 수행될 수 있다. 이진화된 입력 조각은 그 뒤 1 x 16 벡터로 정렬될 수 있다. 입력 조각이 특정 기준 광 패턴 조각일 확률을 나타내는 503에서 1 x 192 요소 히스토그램(H)을 형성하기 위해, 벡터(T) 및 행렬(M)은 502에서 곱해질 수 있다.
도 5에 도시된 접근법을 사용하여 결정된 이미지 입력 조각과 이미지 입력 조각에 매칭되는 기준 조각 사이의 시차는 깊이 맵(107)에 대한 깊이 정보를 생성하기 위해 프로세싱 장치(103)에 의해 사용 될 수 있다.
3. 룩업 테이블에 의한 패턴 분류.
또한, 프로세싱 장치(103)에 의해 생성된 추정된 깊이 정보는 이미지 입력 조각을 유형 c에 속하는 것으로 분류하기 위해 룩업 테이블(LUT)을 사용함으로써 생성 될 수 있다. 즉, 이미지 조각이 기준 광 패턴의 조각들의 유형 c에 속할 확률 정보를 포함하는 룩업 테이블이 생성 될 수 있다.
일 실시 예에서, 룩업 테이블은 모든 가능한 4 × 4 이진화된 입력 패턴들을 설명하기 위해 216개의 키들을 가질 수 있다. 각 키에 대응하는 값을 생성하는 기법은 도 5와 관련하여 설명 된 바와 같이, 이미지 입력 조각이 유형 c에 속할 확률에 기초할 수 있다.
도 6은 본 발명의 실시 예에 따라 이미지 입력 조각이 유형 c에 속할 확률을 생성하기 위해 룩업 테이블을 사용하는 과정을 보여주는 개념도이다. 도 6에서, 4 x 4 이미지 입력 조각(601)은 사전에 계산된 상관 점수 표(604)에 키(603)를 형성하기 위해 602에서 이진화되고 벡터화될 수 있다. 테이블(604)의 각 행은 이미지 입력 조각이 유형 c에 속할 확률의 히스토그램(605)의 값들을 포함할 수 있다. 도 6에 도시 된 예에서, 이미지 입력 조각(601)은 예시적인 키 <0,0,...,0,1,0>를 형성하기 위해 이진화되고 벡터화될 수 있다. 이 예시적인 키에 대한 히스토그램(605)은 606에서 표시된다. 도 6에 도시 된 예시에 대하여, 룩업 테이블(604)의 항목들의 총 수는 216 행×192 열 = 12MB개일 수 있다.
이미지 입력 조각이 큰 실시 예에서, 도 6의 룩업 테이블(604)에 대응하는 룩업 테이블은 스마트 폰과 같은 휴대용 장치에 대해서는 엄청나게 커질 수 있다. 예를 들어, 이미지 입력 조각이 8 x 8 크기의 입력 조각인 경우, 룩업 테이블(604)에 대응하는 룩업 테이블은 8.712 GB 항목들을 포함할 수 있다. 룩업 테이블이 이렇게 큰 크기를 갖는 것을 방지하기 위해, 큰 이미지 입력 조각은 룩업 테이블(604)에 대응하는 룩업 테이블에 대한 키들로서 사용되는 4 x 4 서브 조각들과 같은 더 작은 조각들로 분할될 수 있다. 입력 조각의 분할은 분리된 별도의 하위 조각들을 제공하기 위해 수행되거나 슬라이딩-윈도우(sliding-window)를 사용하여 수행 될 수 있다.
도 7은 본 발명의 실시 예에 따라 큰 이미지 입력 조각을 뚜렷하게 더 작게 분할하고 이미지 입력 서브-조각이 유형 c에 속할 확률을 생성하기 위해 룩업 테이블을 사용하는 과정을 보여주는 개념도이다. 도 7에서, 8 x 8 이미지 입력 조각 (701)은 4개의 서브-조각들(701a-701d)로 더 작게 분할될 수 있다. 4개의 서브-조각들은 사전에 계산된 상관 점수 표(704)에 별도의 예시적인 키들(703)을 각각 형성하기 위해 702에서 각각 이진화되고 벡터화될 수 있다. 테이블(704)의 각 행은 이미지 입력 서브-조각이 유형 c에 속할 확률의 히스토그램의 값들을 포함할 수 있다. 도 7에 도시된 예에서, 이미지 입력 서브-조각들(701a-701d)은 별도의 키들을 형성하기 위해 각각 이진화되고 벡터화될 수 있다. 선택 과정은 705에서 8x8 이미지 입력 조각(701)에 대한 특정 확률 히스토그램(706)을 결정하기 위해 사용될 수 있다. 선택 과정은, 예를 들어, 최대 선택을 받는 확률 히스토그램을 선택할 수 있다. 도 7에 도시 된 예에서, 룩업 테이블(704)의 항목들의 총 수는 216 행 × 192 열 = 12MB개일 수 있다. 예를 들어, 슬라이딩-윈도우 과정이 큰 이미지 입력 조각을 더 작게 분할하기 위해 대안적으로 사용되는 경우, 도 7에 도시된 과정은 기본적으로 동일한 방식으로 수행될 수 있다.
룩업 테이블(604)(또는 룩업 테이블(704))을 사전에 계산된 유형 식별자들을 포함하는 룩업 테이블로 대체함으로써 룩업 테이블의 전체적인 크기가 더 감소될 수 있다. 도 8은 본 발명의 일 실시 예에 따라 이미지 입력 조각이 유형 c에 속하는 것을 결정하기 위해 사용될 수 있는 사전에 계산 된 유형 식별자(ID)만을 포함하는 룩업 테이블을 사용하는 과정을 보여주는 개념도이다. 도 8에서, 4x4 이미지 입력 조각(801)은 사전에 계산된 유형 ID 표(804)에 키(803)를 형성하기 위해 802에서 이진화되고 벡터화될 수 있다. 테이블(804)의 각 행은 이미지 입력 서브-조각에 대한 사전 계산 된 유형 ID를 포함할 수 있다. 도 8에 도시된 예에서, 이미지 입력 조각(801)은 예시적인 키 <0,0,...,0,1,0>를 형성하기 위해 802에서 이진화되고 벡터화될 수 있다. 이 예시적인 키에 대한 예측된 유형 ID는 806에서 표시될 수 있다. 도 8에 도시 된 예시에 대하여, 룩업 테이블(804)내의 항목들의 총 수는 216 행 × 1 열 = 65,536개일 수 있다.
도 9는 본 발명의 실시 예에 따라 슬라이딩 윈도우를 사용하여 큰 이미지 입력 조각을 더 작게 분할하고 사전에 계산된 유형 식별자들을 포함하는 룩업 테이블을 사용하는 과정을 보여주는 개념도이다. 도 9에서, 8 x 8 이미지 입력 조각(901)은 64개의 4 x 4 서브-조각들로 더 작게 분할될 수 있는데, 그 중 서브-조각들(901a 내지 901d)만 도시되었다. 서브 조각들은 사전에 계산 된 유형 ID 표(904)에 별도의 키들(903)을 각각 형성하기 위해 각각 이진화되고 벡터화될 수 있다. 905에서의 64-입력 선택 과정은 8 × 8 이미지 입력 조각(901)에 대한 확률 히스토그램(906)을 생성하기 위해 사용될 수 있다. 도 9에 도시 된 예시에 대하여, 룩업 테이블(904) 내의 항목들의 총 수는 216 행 × 1 열 = 65,536개일 수 있다.
도 10은 본 발명의 실시 예에 따라 이미지 입력 조각이 기준 광 패턴 조각에 매칭할 확률에 기초하여 깊이 정보를 결정하는 과정을 보여주는 흐름도이다. 1001에서 과정이 시작될 수 있다. 1002에서, 투영된 기준 광 패턴을 갖는 이미지가 수신될 수 있다. 일 실시 예에서, 투영 된 기준 광 패턴은 기준 광 패턴(104)일 수 있다. 1003에서, 수신된 이미지는 조각들로 분할될 수 있고, 각 조각은 이진화될 수 있다. 1004에서, 각 이미지 조각은 이미지 입력이 기준 광 패턴 조각들의 유형 c에 속할 확률에 기초하여 기준 광 패턴 조각에 매칭될 수 있다. 일 실시 예에서, 도 5에 도시된 과정과 같이, 매칭은 입력 조각이 특정 기준 광 패턴 조각일 확률들을 나타내는 히스토그램(H)을 형성하기 위해 확률 행렬(M)을 사용하여 수행될 수 있다. 다른 실시 예에서, 매칭은 이미지 입력 조각이 유형 c에 속할 확률을 생성하기 위한 룩업 테이블을 사용하여 수행될 수 있다. 도 6에 도시된 과정과 같이, 룩업 테이블은 룩업 테이블의 각 행이 이미지 입력 조각이 유형 c에 속할 확률의 히스토그램의 값들을 포함하는 사전에 계산된 상관 점수 표로서 구현 될 수 있다. 또 다른 실시 예에서, 이미지 입력 조각이 유형 c에 속한다는 결정은 도 7 또는 도 9에 도시된 과정과 같은 선택 과정을 포함할 수 있다. 또 다른 실시 예에서, 룩업 테이블은 도 8 또는 도 9에 도시 된 바와 같은 사전에 계산 된 유형 ID 표로서 구현 될 수 있다.
1005에서, 각 이미지 조각과 각 이미지 조각에 매칭되는 기준 광 패턴 조각 사이의 시차가 결정될 수 있다. 1006에서, 각 이미지 조각에 대한 깊이 정보가 결정될 수 있다. 1007에서, 과정이 종료될 수 있다.
표 1은 스테레오-매칭 접근법과 여기에 개시된 매칭 접근법들 사이의 몇 가지 정량적인 비교를 나타낸다. 스테레오-매칭 접근법의 계산상의 복잡도는 O (P * S)로 나타낼 수 있고, P는 조각의 크기이고 S는 검색 크기이다. 스테레오-매칭 접근법의 속도는 기본 라인 1X로 간주할 수 있고 필요한 메모리의 크기는 2MB일 수 있다.
접근법 속도 메모리
스테레오-매칭
Figure pat00016
 1X 2 MB
하드코딩
Figure pat00017
 16X 0
상관
Figure pat00018
 4X 3kB
룩업 테이블
Figure pat00019
 32X 12 MB
룩업 테이블+선택
Figure pat00020
 >1000X 64 KB
여기에 개시된 매칭 접근법들의 계산들은 다른 매칭 접근법보다 훨씬 더 간단할 수 있고, 훨씬 더 빠를 수 있다. 어떤 접근법이 사용되는지에 따라, 여기에 개시된 매칭 접근법들이 사용할 수 있는 메모리의 크기는 다른 매칭 접근법이 사용하는 메모리의 크기보다 현저하게 적을 수 있다.
도 11은 기본 광 패턴(108)(도 1b로부터) 위로 4 x 4 픽셀 창을 밀어 넣음으로써 얻어진 192개의 고유 서브 패턴들에 대한 예시적인 대응 유형 식별 번호들(IDs)을 보여주는 개념도이다. 96개의 유형 IDs는 기본 광 패턴(108) 위에 표시될 수 있고, 96개의 유형 IDs는 기본 광 패턴 (108) 아래에 표시될 수 있다.
예를 들어 4×4 픽셀 창(1101)이 기본 광 패턴(108)의 좌측 상부에 위치되는 경우, 픽셀 창에서의 서브 패턴에 대한 대응 유형 ID는 1일 수 있다. 4×4 픽셀 창(1101)이 한 행 아래로 밀려들어가는 경우, 픽셀 창의 서브 패턴에 대한 대응 유형 ID는 2, 등등일 수 있다. 4×4 픽셀 창(1102)이 기본 광 패턴(108)의 우측 하부에 위치되는 경우, 픽셀 창에서의 서브 패턴에 대한 대응 유형 ID는 192일 수 있다. 다른 유형 IDs도 가능하다.
기준 광 패턴(104)(도 1a로부터)의 최대 시차를 확장하기 위해, 광 패턴 (104)이 회전될 수 있다. 그러나, 이러한 접근법은 투영된 광 도트가 더 이상 균일하게 샘플링 될 수 없기 때문에 그 결과 기준 광 패턴과 촬영된 이미지 사이의 불일치가 증가되는 결점을 갖게 된다. 예로서, 기준 광 패턴이 회전되는 경우, 2개의 회전 된 도트의 불연속된 중심은 샘플 픽셀 위치의 중심으로부터 실질적으로 동일한 거리에 위치될 수 있다. 샘플 픽셀 위치에 있는 두 개의 도트 중 어느 도트가 더 나은 것으로 인식되어야 하는지를 식별하기 위한 판단이 어려워지고, 서브 패턴에 대한 잘못된 유형 ID를 초래할 수 있다. 이러한 상황은 여기에서 충돌로 언급될 수 있다. 또한, 회전된 기준 광 패턴과 촬영된 이미지 간의 불일치가 증가하기 때문에 등극선 가정이 제한되어야 한다. 기준 광 패턴이 회전된 경우 불일치들 수를 줄이기 위해, 보다 정밀한 왜곡 보정 및 정렬이 요구된다.
기준 광 패턴을 회전시키는 대신에, 여기에서 개시된 주제의 일 실시 예는 기본 광 패턴의 각 연속적인 열의 도트를 주어진 수평 방향으로 기준 광 패턴의 수평 폭을 가로지르는 미리 결정된 양만큼 아래쪽으로 이동시키거나 재매핑할 수 있다. 다른 실시 예는 기본 광 패턴의 각 연속적인 열의 도트를 주어진 수평 방향으로 기준 광 패턴의 수평 폭을 가로지르는 미리 결정된 양만큼 위쪽으로 이동시킬 수 있다. 기준 광 패턴은 이동되거나 재매핑된 도트를 갖는 기본 광 패턴(108)을 수평 방향으로 10번, 수직 방향으로 160번 반복하여 형성될 수 있다. 재매핑된 기준 광 패턴은 픽셀 샘플링 불균일성을 감소시키고 등극선 제한을 완화함으로써, 회전된 기준 광 패턴에 의해 제공되는 것보다 노이즈가 더 적고 더 정밀한 결과적인 3D 이미지를 제공할 수 있다.
일 실시 예에서, 기본 광 패턴(108)의 도트는 아래의 [수학식 8]에서 와 같이 인접 열에 대하여 재매핑될 수 있다.
Figure pat00021
[수학식 8]에서, x 및 y는 기본 광 패턴에서의 도트의 원래 좌표들이고, x' 및 y'는 재매핑된 기본 광 패턴에서의 이동된 도트의 새로운 좌표들이고, m은 이동 계수이다.
도 12는 여기에서 개시된 주제에 따른 이동 계수에 기초하여 재매핑 된 도트를 갖는 기본 광 패턴을 보여주는 개념도이다. 기본 광 패턴(1200)은 수평 방향 (즉, x 방향)으로 48 도트 너비를 가질 수 있고, 각 열은 수직 방향 (즉, y 방향)으로 4 도트 높이일 수 있고, 도트의 각 열은 왼쪽 바로 옆 도트의 열에 대한 이동 계수(m)에 의해 재매핑될 수 있다. 도 12에 도시 된 예에서, 이동 계수(m)는 10%일 수 있다. 즉, 각 열의 도트는 왼쪽 바로 옆 열로부터 10%만큼 아래로 이동될 수 있다. 다른 이동 계수들이 사용될 수 있다. 단순화를 위해, 각 투영된 도트가 정확히 카메라의 하나의 픽셀에 의해 촬영될 수 있도록 도트 대 픽셀의 비율은 1:1이 될 수 있다. 도 12에서의 열들이 왼쪽 바로 옆 열에 대해 아래쪽으로 이동되긴 했지만, 열들은 대안적으로 왼쪽 바로 옆 열에 대해 위쪽으로 이동될 수 있다(예를 들어, m <0 인 경우).
도 13은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트를 재매핑하는 과정을 보여주는 흐름도이다. 프로세스는 1301에서 시작할 수 있다. 1302에서, 기본 광 패턴의 도트의 가장 왼쪽의 열이 식별될 수 있다. 1303에서 오른쪽에 있는 도트의 다음 열이 선택될 수 있다. 1304에서, 현재 선택된 열의 도트는 이동 계수(m)만큼 이동될 수 있다. 1305에서, 기본 광 패턴의 모든 열들이 처리되었는지 여부가 판단될 수 있다. 그렇지 않다면, 흐름은 1303으로 되돌아 갈 수 있다. 기준 광 패턴의 모든 열들이 처리 된 경우, 흐름은 과정이 종료되는 1306으로 진행될 수 있다.. 다른 실시 예에서, 과정은 기본 광 패턴의 도트의 가장 오른쪽 열에서 시작하여 왼쪽으로 작업 할 수 있다. 도 13에서의 과정(1300)은 특정 순서(즉, 왼쪽에서 오른쪽)로 표현되어 있지만, 도트 이동을 제공하기 위해 사용된 순서는 임의적일 수 있음을 이해해야 한다. 즉, 각 도트는 임의의 순서로 이동될 수 있다.
또한, 도 14a 및 도 14b는 기준 광 패턴(1401)의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴(1401')을 형성하기 위해 재매핑된 기준 광 패턴(1401)의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여주는 개념도들이다. 보다 구체적으로, 도 14a는 기준 광 패턴(1401)을 형성하는 상이한 서브 패턴들의 유형 IDs를 보여주는 반면, 도 14b는 재매핑된 기준 광 패턴(1401')에 대한 상이한 서브 패턴들의 유형 IDs를 보여준다. 도 14a에 도시된 광 패턴(1401)의 유형 IDs의 최상단 행은, 유형 IDs의 최상단 행이 도 14b에 도시 된 광 패턴(1401')에서 재매핑되었음을 보다 쉽게 알 수 있도록 회색으로 강조(하이라이트) 표시되었다.
여기에서 개시된 주제에 따라 재매핑된 기준 광 패턴의 이점을 더 설명하기 위해, 도 15a 내지 15c는 실제로 발생할 수 있는 픽셀 샘플링 상황을 보여주는 개념도들이다. 또한, 도 15a 내지 도 15c에서, 도트 크기는 약 2㎛일 수 있고 픽셀 크기는 약 1㎛일 수 있으며 결과적으로 픽셀 대 도트 비율은 약 4:1일 수 있다. 다른 픽셀 대 도트 비율이 가능하다는 점에 유의해야 한다.
도 15a에서, 회전되지 않고 재매핑되지 않은 기준 광 패턴의 예시적인 4×4 조각의 도트들 또는 부분들(1501)이 예시적인 샘플링 픽셀 위치들(1502)에 대해 보여진다. 예시적인 샘플링 픽셀 위치들(1502)이 정확하게 도트(1501)와 일렬로 배열되지 않지만, 샘플링 픽셀 위치들(1502)의 도트(1501)상으로의 중첩이 상대적으로 균일하기 때문에, 예시적인 4×4 조각의 유형 ID가 결정될 확률이 높다.
도 15b에서, 회전 된 기준 광 패턴의 예시적인 4×4 조각의 도트 또는 부분 들(1503)이 예시적인 샘플링 픽셀 위치들(1504)에 대해 보여진다. 기준 광 패턴의 회전은 샘플링 픽셀 위치들(1504)의 도트(1503)상으로의 중첩을 상대적으로 균일하지 않게 야기할 수 있다. 몇몇 샘플 픽셀 위치들(1504)은 다른 샘플 픽셀 위치들보다 더 많은 도트(1502)를 촬영할 수 있다. 결과적으로, 회전 된 도트(1503) 및 샘플 픽셀 위치들(1504)로부터 생성된 결과적인 3D 이미지는 도 15a에서 도트(1501) 및 샘플 픽셀 위치들(1502)에 의해 생성된 결과적인 3D 이미지보다 상대적으로 노이즈가 많고, 덜 정확할 수 있다.
도 15c에서, 재매핑된 기준 광 패턴의 예시적인 4×4 조각의 도트 또는 부분 들(1505)이 예시적인 샘플링 픽셀 위치들(1506)에 대해 보여진다. 기준 광 패턴의 도트의 재매핑은 확장된 시차도 제공하면서 샘플링 픽셀 위치들(1506)의 도트(1505)상으로의 중첩이 상대적으로 균일하도록 야기할 수 있다. 또한, 충돌 사례가 상당히 감소할 수 있다. 결과적으로, 재배치 된 도트(1505) 및 샘플 픽셀 위치들 (1506)로부터 생성된 결과적인 3D 이미지는 도 15b에서의 회전 된 도트(1503) 및 샘플 픽셀 위치들(1504)에 의해 생성된 결과적인 3D 이미지보다 상대적으로 노이즈가 더 적고, 상대적으로 더 정확할 수 있다. 샘플 픽셀 위치들(1506)은 또한 기준 광 패턴의 도트의 재매핑에 대응하도록 재매핑된다는 것을 유의해야 한다.
기본 광 패턴의 다른 실시 예는 여기에서 개시된 주제에 따라 수직 방향으로 신장된 도트를 제공할 수 있다. 도 16a 및 도 16b는 도트가 신장 계수(k)만큼 수직 방향으로 신장된 기본 광 패턴(108) 및 기준 패턴 요소(1600)를 보여주는 개념도들이다. 기준 광 패턴 요소를 수직 방향으로 신장시킴으로써, 깊이 추정은 등극선 위반에 대해 보다 강건 해질 수 있고, 따라서 시스템 강건성 및 정확성이 증가할 수 있다.
일 실시 예에서, 기본 광 패턴의 도트는 아래의 [수학식 9]에서와 같이 수직 방향으로 신장될 수 있다.
Figure pat00022
수학식 9에서, x 및 y는 기준 광 패턴 요소의 도트의 원래 좌표이고, x'및 y'는 기준 광 패턴 요소의 신장된 도트의 새로운 좌표이고, k는 신장 계수이다. 도 16b의 기준 광 패턴(1600)의 도트 또는 부분들은, 도 16a의 기본 광 패턴 (108)의 도트와 비교하여 2배만큼 신장될 수 있다. 기본 광 패턴의 도트가 신장됨으로써 관찰될 수 있는 균형은 깊이 이미지가 감소된 수직 해상도를 가질 수 있다는 것이다. 이 경우, 도트는 기준 광 패턴에서 그것들의 위치에 따라 불균일하게 신장 될 수 있다. 예로서, 이미지 중심의 패턴들은 신장되지 않을 수 있는 반면 이미지 중심에서 떨어진 패턴들이 점차적으로 신장될 수 있다. 그 결과는 중심 영역들 주변의 완전한 수평/수직 해상도와 이미지의 경계 방향들로 감소된 수직 해상도일 수 있다.
기본 광 패턴의 도트를 재매핑하고 신장하는 것은 아래의 [수학식 10]에서와 같이 결합될 수 있다.
Figure pat00023
수학식 10에서, x 및 y는 기준 광 패턴 요소의 도트의 원래 좌표이고, x'및 y'는 기준 광 패턴 요소의 신장된 도트의 새로운 좌표이고, m은 이동 계수이고, k는 신장 계수이다.
도 17은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트 또는 부분들을 재매핑하기 위한 과정을 보여주는 흐름도이다. 과정은 1701에서 시작할 수 있다. 1702에서, 기준 광 패턴 요소의 모든 도트는 신장 계수(k)만큼 신장될 수 있다. 과정은 1703에서 종료될 수 있다.
도 18은 여기에서 개시된 주제에 따라 재배치되고 신장된 도트 또는 부분들을 갖는 기본 광 패턴을 보여주는 개념도이다. 기본 광 패턴(1800)은 수평 방향 (즉, x 방향)으로 48 도트 너비를 가지며, 각 열은 수직 방향 (즉, y 방향)으로 4 도트 높이일 수 있고 도트의 각 열이 바로 왼쪽에 있는 도트의 열에 대해 이동 계수 (m)에 의해 재매핑될 수 있다. 도 18에 도시 된 예에서, 이동 계수(m)는 10%일 수 있고, 신장 계수(k)는 2일 수 있다.
도 19a 및 도 19b는 신장된 기준 광 패턴(1901)의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴 (1901')을 형성하기 위해 재매핑되고 신장된 기준 광 패턴(1901)의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여주는 개념도들이다. 즉, 도 19a는 신장된 도트를 가지는 기준 광 패턴(1901)을 형성하는 상이한 서브 패턴들의 유형 IDs를 보여주는 반면, 도 19b는 재매핑되고 신장된 기준 광 패턴(1901')에 대한 상이한 서브 패턴들의 유형 IDs를 보여준다. 도 19a에 도시된 광 패턴(1901)의 유형 IDs의 최상단 행은, 유형 IDs의 최상단 행이 도 19b에 도시 된 광 패턴(1901')에서 재매핑되었음을 보다 쉽게 알 수 있도록 회색으로 강조(하이라이트) 표시되었다.
도 20a는 구조화 된 광 시스템에 의해 사용될 수 있고 시스템에 의해 부가 될 수 있는 블러를 보상하지 않는 예시적인 기준 광 패턴을 보여주는 개념도이다. 일 실시 예에서, 예시적인 기준 광 패턴(2000)은 기준 광 패턴(104)에 대응할 수 있다. 예시적인 기준 광 패턴(2000)은 예리한 에지 및 패턴의 백색 및 흑색 영역들 사이의 고 대비를 포함할 수 있다. 광원, 디퓨저, 광 패턴 필름, 카메라 렌즈 및 QIS 이미지 센서의 픽셀과 같은 구조화 된 광 시스템의 구성 요소는 도 20b에 도시 된 예시적인 기준 광 패턴(2001)과 같이 블러를 추가 할 수 있다. 블러는 흑색/백색 도트의 국지적 대비를 감소시켜 패턴 매칭을 더 어렵게 만들 수 있다. 도 20c는 촬영 이후에 기준 광 패턴(2002)이 시스템에 어떻게 나타나는지를 보여주는 개념도이다. 광이 너무 강하면(즉, 프로젝터 광원+주변 광), 적분 시간이 너무 길게 설정되거나 픽셀 풀-웰 용량이 너무 적거나 촬영된 이미지의 픽셀이 쉽게 포화 될 수 있다. 결과적으로, 도 20c에 도시 된 바와 같이, 기준 광 패턴의 백색 도트가 확장될 수 있는 반면, 흑색 도트가 축소될 수 있어 기준 광 패턴이 왜곡될 수 있다.
시스템 블러는 모델링 될 수 있다. 예로서, 프로젝터의 초점 비율(즉, f 비율 또는 f 정지)이 2.0이고, 카메라의 초점 비율이 2.4이고, 센서의 픽셀 간격이 1.0μm인 구조화된 광 시스템이 고려된다. 도 21a는 3:1의 픽셀 대 도트 비율에 대한 예시적인 7x7 시스템 블러 커널(system-blur kernel, 2100) 및 총 50개의 전자의 픽셀 풀-웰을 보여주는 개념도이다. 시스템 블러 커널(2100)은 이상적인 기준 광 패턴의 예리한 에지 및 고 대비를 흐리게 하기 위해 이상적인 참조 광 패턴을 통해 커널을 컨볼루션함으로써 촬영된 기준 광 패턴에 블러 효과를 모델링하기 위해 사용될 수 있다. 도 21b는 도 21a의 예시적인 7x7 시스템 블러 커널의 3D 이미지(2101)를 보여주는 개념도이다. 도 21b에서, 수평 스케일은 픽셀 단위이며, 수직 스케일은 100으로 정규화되어 있다.
커널(2100)의 중심에서, 블러는 0.2350일 수 있고, 중심으로부터 수평 또는 수직으로 단지 1 픽셀 떨어진 블러는 0.1112일 수 있다. 따라서, 중심으로부터 1 픽셀 떨어진 블러는 중심 픽셀의 값의 절반을 가질 수 있다. 중심 픽셀로부터 수평 또는 수직으로 2 픽셀 떨어진 블러는 0.0133일 수 있다. 중심 픽셀을 둘러싼 블러 커널의 값은 중심 픽셀을 둘러싸는 픽셀에서 동작하여 시스템 블러로 인해 발생하는 몇몇 전자 또는 광자를 받을 수 있다. 예로서, 중앙 픽셀이 백색 픽셀인 경우 블러 커널이 촬영된 백색 픽셀의 크기를 증가시키기 위해 동작하는 반면 중심 픽셀이 흑색 픽셀 인 경우 블러 커널의 효과는 훨씬 적을 수 있다. 따라서, 센서의 픽셀들의 풀-웰 값이 상대적으로 낮으면 픽셀이 쉽게 포화될 수 있다. 백색 중심 픽셀이 포화되어지는 경우 중심 백색 픽셀 주변에 이웃하는 하나의 픽셀 또한 포화 되어질 수 있다. 흑색 픽셀에 이웃하는 픽셀은 본질적으로 크게 영향을 받지 않을 수 있다. 결과적으로, 도 20c에 도시된 것처럼, 백색 픽셀은 효과적으로 확장되고 정보의 손실을 야기 할 수 있다.
구조화 된 광 시스템에 의해 추가 될 수 있는 블러를 보상하기 위해, 기준 광 패턴의 흑색 도트에 대하여 백색 도트가 감소되거나 축소될 수 있다. 도 22a는 흑색 도트와 백색 도트의 크기의 비율이 3:1 인 예시적인 기본 기준 광 패턴 요소를 보여주는 개념도이다. 편리한 비교를 위해, 도 22b는 기준 기본 광 패턴(도 1b 참조)을 보여주는 개념도이다. 흑색 도트와 백색 도트의 크기의 다른 비율들도 가능하다.
흑색 도트에 대한 백색 도트의 크기를 줄이기 위해 사용될 수 있는 일 예시적인 기법은 역 가우스 함수(inverse Gaussian function)를 사용하여 블러 패턴을 디컨볼루션(deconvolve)하는 것일 수 있다. 사용될 수 있는 다른 예시적인 기법은 백색 도트를 골격형 패턴(skeleton-type pattern)으로 형성하는 것일 수 있다. 다른 기법들도 또한 사용될 수 있다.
도 23은 여기에서 개시된 주제에 따라 기준 광 패턴의 흑색 도트에 대한 백색 도트의 크기를 감소시키는 과정을 보여주는 흐름도이다. 과정은 2301에서 시작될 수 있다. 2302에서, 기준 광 패턴 요소의 모든 백색 도트는 기준 광 패턴의 흑색 도트에 비해 크기가 감소될 수 있다. 과정은 2303에서 종료할 수 있다.
도 24a는 여기에서 개시된 주제에 따라 블러에 대해 보상 된 기준 광 패턴을 보여주는 개념도이다. 특히, 기준 광 패턴(2400)은 흑색 도트의 크기에 비해 크기가 감소 된 백색 도트를 포함할 수 있다. 도 24b는 블러가 시스템에 의해 추가 된 기준 광 패턴(2400')을 보여주는 개념도이다. 도 24c는 이상적인 기준 광 패턴(108')과 더 유사한 촬영된 이미지(2401)를 보여주는 개념도이다.
표 2는 30 프레임/초로 동작하는 1㎛ 픽셀 간격을 갖는 a3840x2880 픽셀 QIS 센서를 포함하는 등극 구조화된 광 시스템의 QIS 센서에 대한 시뮬레이션 결과를 나타낸다.
평균 주위 광 세기 피크 투영된 광 세기 거리 주변 광에 기초하는 전자들 수 투영된 광에 의한 전자들 수
50　Klux 4　W 4　m 9749 269
1　m 4291
0.3　m 47,685
표 2의 가장 왼쪽 열에서 보여지는 바와 같이, 평균 주위 광 세기는 50Klux일 수 있고, 좌측으로부터 두 번째 열의 피크 투영된 광 세기는 4W일 수 있다. 주변 광 레벨에 기초하여 축적 되거나 감지 된 전자의 수는 9749개의 전자(또는 광자)로 제 4 열에서 보여질 수 있다. QIS 센서로부터 4 미터의 거리에서의 반사의 경우, 투영 된 광으로부터 수집되거나 감지 된 추가적인 전자의 수는 269개의 전자일 수 있다. QIS 센서로부터 1미터 거리에서의 반사의 경우 추가적으로 4291개의 전자가 수집되거나 감지될 수 있고 0.3미터의 거리에서 추가적으로 47,685개의 전자가 수집되거나 감지될 수 있다. 0.3미터 거리에서의 반사의 경우, QIS 센서는 상당한 수의 포화된 픽셀을 가질 수 있다. 또한, 도 21a의 블러 커널(2100)을 고려하면, 백색 픽셀에 이웃하는 많은 픽셀은 또한 0.3m의 반사 거리에서 포화되어 도 20c에 도시 된 것과 유사한 촬영된 된 이미지를 초래한다. 여기에서 개시된 기준 광 패턴에서의 흑색 도트의 크기에 대한 백색 도트의 크기를 감소시켜 블러를 보상함으로써, 포화된 픽셀의 수가 감소 될 수 있다. 또한, 센서의 픽셀의 풀-웰 특성은 또한 블러에 대한 보상에 의해 감소 될 수 있으며, 이는 결국 감지된 광자를 디지털 신호로 변환하는데 필요한 전력을 감소시킬 수 있다.
도 25a는 기본 광 패턴(108)을 형성하기 위해 흑색 도트와 백색 도트의 비율이 3:1이고 도트가 신장 계수(k)만큼 수직 방향으로 신장되는 예시적인 기본 광 패턴(2501)을 보여주는 개념도이다. 기본 광 패턴(2501)에 대해서는, 신장 계수(k)는 2일 수 있다. 흑색 도트와 백색 도트의 크기의 다른 비율이 사용될 수 있고, 다른 신장 계수(k)가 사용될 수 있다.
도 25b는 기본 광 패턴(108)을 형성하기 위해 흑색 도트와 백색 도트의 비율이 3:1이고 도트가 이동 계수(m)만큼 재매핑되는 예시적인 기본 광 패턴(2502)을 보여주는 개념도이다. 기본 광 패턴(2502)에 대해서는, 이동 계수(m)는 5 %일 수 있다. 흑색 도트와 백색 도트의 크기의 다른 비율이 사용될 수 있고, 다른 이동 계수(m)가 사용될 수 있다.
도 25c는 기본 광 패턴(108)을 형성하기 위해 흑색 도트와 백색 도트의 비율이 3:1이고 도트가 이동 계수(m)만큼 재매핑되고 도트가 신장 계수(k)만큼 수직 방향으로 신장되는 예시적인 기본 광 패턴(2503)을 보여주는 개념도이다. 기본 광 패턴(2503)에 대해서는, 신장 계수(k)는 2일 수 있고 이동 계수(m)는 5 %일 수 있다. 흑색 도트와 백색 도트의 크기의 다른 비율이 사용될 수 있고, 다른 신장 계수(k)가 사용될 수 있고, 다른 이동 계수(m)가 사용될 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (10)

  1. 구조화된 광 시스템을 위한 구조화된 광 패턴에 있어서,
    제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함하되,
    상기 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고,
    상기 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고,
    상기 서브 패턴들 각각은 서브 행의 제 1 기준 개수의 부분들 및 서브 열의 제 2 기준 개수의 부분들을 포함하고,
    상기 제 1 기준 개수는 정수이고,
    상기 제 2 기준 개수는 정수이고,
    각 서브 행은 상기 제 1 방향으로 확장되고, 각 서브 열은 상기 제 1 방향에 직교하는 제 2 방향으로 확장되고,
    상기 부분들 각각은 제 1 타입 부분 또는 제 2 타입 부분을 더 포함하고,
    상기 제 1 방향 및 상기 제 2 방향의 상기 제 1 타입 부분의 크기는 상기 제 1 방향 및 상기 제 2 방향의 상기 제 2 타입 부분의 크기보다 큰 구조화된 광 패턴.
  2. 제 1 항에 있어서,
    상기 구조화된 광 패턴은 물체에 반사되고, 기준 구조 광 패턴에 대한 시차(disparity)를 포함하는 구조화된 광 패턴.
  3. 제 1 항에 있어서,
    상기 제 1 방향 및 상기 제 2 방향의 상기 제 1 타입 부분의 상기 크기는 상기 제 1 방향 및 상기 제 2 방향의 상기 제 2 타입 부분의 상기 크기의 3배인 구조화된 광 패턴.
  4. 제 3 항에 있어서,
    상기 서브 패턴들은 48개의 서브 패턴을 포함하는 구조화된 광 패턴.
  5. 제 4 항에 있어서,
    상기 제 1 기준 개수는 4이고, 상기 제 2 기준 개수는 4인 구조화된 광 패턴.
  6. 제 3 항에 있어서,
    복수의 구조화된 광 패턴은 제 1 복수의 열에 배열되고, 각 열은 제 2 복수의 구조화된 광 패턴을 포함하는 구조화된 광 패턴.
  7. 구조화된 광 시스템을 위한 구조화된 광 패턴에 있어서,
    제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함하되,
    상기 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고,
    상기 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고,
    상기 서브 패턴들 각각은 서브 행의 제 1 기준 개수의 부분들 및 서브 열의 제 2 기준 개수의 부분들을 포함하고,
    상기 제 1 기준 개수는 정수이고,
    상기 제 2 기준 개수는 정수이고,
    각 서브 행은 상기 제 1 방향으로 확장되고, 각 서브 열은 상기 제 1 방향에 직교하는 제 2 방향으로 확장되고,
    상기 부분들 각각은 흑색 부분 또는 백색 부분을 더 포함하고,
    상기 제 1 방향 및 상기 제 2 방향의 상기 제 흑색 부분의 크기는 상기 제 1 방향 및 상기 제 2 방향의 상기 백색 부분의 크기보다 큰 구조화된 광 패턴.
  8. 제 7 항에 있어서,
    상기 서브 열에 정렬된 상기 기본 광 패턴의 상기 부분들은 인접한 서브 열에 정렬된 상기 기본 광 패턴의 부분들로부터 상기 제 2 방향으로 상쇄되는 구조화된 광 패턴.
  9. 제 8 항에 있어서,
    상기 제 2 방향의 상기 기본 광 패턴의 서브 패턴들 각각의 크기는 상기 제 1 방향의 상기 서브 패턴들 각각의 크기보다 신장 계수만큼 큰 구조화된 광 패턴.
  10. 제 7 항에 있어서,
    상기 제 2 방향의 상기 기본 광 패턴의 서브 패턴들 각각의 크기는 상기 제 1 방향의 상기 서브 패턴들 각각의 크기보다 신장 계수만큼 큰 구조화된 광 패턴.
KR1020180143030A 2017-12-12 2018-11-19 Qis 센서를 위한 고 대비 구조화된 광 패턴들 KR102581393B1 (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201762597904P 2017-12-12 2017-12-12
US62/597,904 2017-12-12
US201862623527P 2018-01-29 2018-01-29
US62/623,527 2018-01-29
US15/907,242 US10740913B2 (en) 2017-12-12 2018-02-27 Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US15/907,242 2018-02-27
US15/928,081 2018-03-21
US15/928,081 US11297300B2 (en) 2018-01-29 2018-03-21 Robust structured-light patterns for 3D camera system
US201862648372P 2018-03-26 2018-03-26
US62/648,372 2018-03-26
US16/003,014 US11262192B2 (en) 2017-12-12 2018-06-07 High contrast structured light patterns for QIS sensors
US16/003,014 2018-06-07

Publications (2)

Publication Number Publication Date
KR20190070264A true KR20190070264A (ko) 2019-06-20
KR102581393B1 KR102581393B1 (ko) 2023-09-21

Family

ID=66734691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143030A KR102581393B1 (ko) 2017-12-12 2018-11-19 Qis 센서를 위한 고 대비 구조화된 광 패턴들

Country Status (3)

Country Link
US (2) US11262192B2 (ko)
KR (1) KR102581393B1 (ko)
CN (1) CN109919850A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034565B (zh) * 2021-03-25 2023-07-04 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017062A (ja) * 2003-06-25 2005-01-20 Hitachi Ltd 立体形状計測装置、加工装置、および半導体デバイス製造方法
US20120154607A1 (en) * 2007-12-28 2012-06-21 Moed Michael C Deformable Light Pattern for Machine Vision System
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615003A (en) 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5867250A (en) 1996-05-03 1999-02-02 Baron; William S. Apparatus and method for optically mapping front and back surface topographies of an object
WO1999058930A1 (en) 1998-05-14 1999-11-18 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6891627B1 (en) 2000-09-20 2005-05-10 Kla-Tencor Technologies Corp. Methods and systems for determining a critical dimension and overlay of a specimen
JP2006098252A (ja) 2004-09-30 2006-04-13 Brother Ind Ltd ３次元情報取得方法
KR100648656B1 (ko) 2004-12-14 2006-11-24 삼성전자주식회사 오차확산 처리방법 및 그 처리장치
WO2006107929A1 (en) 2005-04-06 2006-10-12 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US7448009B2 (en) 2006-01-03 2008-11-04 Texas Instruments Incorporated Method of leakage optimization in integrated circuit design
WO2007087405A2 (en) 2006-01-24 2007-08-02 The Trustees Of Columbia University In The City Of New York Capturing scene images and depth geometry and generating a compensation image
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
US20080037044A1 (en) 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
US8717676B2 (en) 2006-10-31 2014-05-06 Modilis Holdings Llc Light outcoupling structure for a lighting device
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
US7930674B2 (en) 2007-03-29 2011-04-19 Agere Systems Inc. Modifying integrated circuit designs to achieve multiple operating frequency targets
US7496867B2 (en) 2007-04-02 2009-02-24 Lsi Corporation Cell library management for power optimization
US7849422B2 (en) 2007-06-20 2010-12-07 Lsi Corporation Efficient cell swapping system for leakage power reduction in a multi-threshold voltage process
WO2010041254A2 (en) 2008-10-06 2010-04-15 Mantisvision Ltd. Method and system for providing three-dimensional and range inter-planar estimation
US9046355B2 (en) 2009-07-29 2015-06-02 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
EP2501288B1 (en) 2009-11-19 2016-12-21 Modulated Imaging Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
KR101832960B1 (ko) * 2011-09-09 2018-02-28 엘지전자 주식회사 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
US20150103358A1 (en) * 2012-03-09 2015-04-16 Galil Soft Ltd. System and method for non-contact measurement of 3d geometry
US9599558B2 (en) 2012-08-07 2017-03-21 Carl Zeiss Industrielle Messtechnik Gmbh Measuring device for measuring a measurement object and related method
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
WO2014106843A2 (en) 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
WO2015000890A1 (en) 2013-07-02 2015-01-08 Roche Diagnostics Gmbh Estimation of food volume and carbs
WO2015059705A1 (en) 2013-10-23 2015-04-30 Pebbles Ltd. Three dimensional depth mapping using dynamic structured light
US20150138078A1 (en) 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
WO2015151098A2 (en) 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
US10408605B2 (en) 2014-07-08 2019-09-10 Facebook Technologies, Llc Method and system for adjusting light pattern for structured light imaging
JP2016024052A (ja) * 2014-07-18 2016-02-08 国立大学法人 鹿児島大学 ３次元計測システム、３次元計測方法及びプログラム
CN107004278B (zh) 2014-12-05 2020-11-17 曼蒂斯影像有限公司 3d数据捕获中的标记
CN104457607A (zh) * 2014-12-10 2015-03-25 东北大学 一种面向深度测量的沙漏码结构光的编解码方法
US9712806B2 (en) 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
TWI604414B (zh) 2016-05-31 2017-11-01 財團法人工業技術研究院 投影系統及其非平面自動校正方法與自動校正處理裝置
JP6480902B2 (ja) * 2016-10-06 2019-03-13 ファナック株式会社 投影パターン作成装置および３次元計測装置
US10108069B2 (en) * 2017-01-24 2018-10-23 The Boeing Company Electromagnetic effect resistant spatial light modulator

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017062A (ja) * 2003-06-25 2005-01-20 Hitachi Ltd 立体形状計測装置、加工装置、および半導体デバイス製造方法
US20120154607A1 (en) * 2007-12-28 2012-06-21 Moed Michael C Deformable Light Pattern for Machine Vision System
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product

Also Published As

Publication number Publication date
US20210341284A1 (en) 2021-11-04
US20190178634A1 (en) 2019-06-13
US11262192B2 (en) 2022-03-01
KR102581393B1 (ko) 2023-09-21
US11525671B2 (en) 2022-12-13
CN109919850A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
US10990825B2 (en) Image processing method, electronic device and computer readable storage medium
CN106778996B (zh) 嵌入有视觉图像的二维码的生成系统和方法以及读取系统
US7606439B2 (en) Method for extracting raw data from an image resulting from a camera shot
US9390475B2 (en) Backlight detection method and device
KR102521052B1 (ko) 구조화된 광 기반의 3d 카메라 시스템을 위한 빠른 속도의 강건하고 효율적인 깊이 추정
US9569822B2 (en) Removing noise from an image via efficient patch distance computations
US9361698B1 (en) Structure light depth sensor
US10964050B2 (en) Method for identifying foreground object in image and electronic device
CN106991422B (zh) 字符切割方法、装置及计算机可读存储介质和电子设备
KR102628853B1 (ko) 3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들
US20110110595A1 (en) Image correction apparatus and method for eliminating lighting component
WO2012049275A1 (en) Continuous edge and detail mapping using a weighted monotony measurement
CN104504387A (zh) 文本图像的校正方法和装置
KR102581393B1 (ko) Qis 센서를 위한 고 대비 구조화된 광 패턴들
US20180033156A1 (en) Method and device for filtering texture, using patch shift
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
CN112070708A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN109919992B (zh) 估测图像中的深度的方法
JP6352875B2 (ja) マーカ生成方法、マーカ復号方法、マーカ復号装置およびマーカ読取装置
CN107103318B (zh) 图像点定位方法及图像点定位装置
CN116824183B (zh) 基于多重特征描述符的图像特征匹配方法和装置
CN116823590A (zh) 数据获取方法、装置、设备及系统
McCrackin Classification-based Adaptive Image Denoising

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant