KR20190092255A

KR20190092255A - 3d 카메라 시스템을 위한 강건하고 구조화된 광 패턴들

Info

Publication number: KR20190092255A
Application number: KR1020180173143A
Authority: KR
Inventors: 릴롱 쉬
Original assignee: 삼성전자주식회사
Priority date: 2018-01-29
Filing date: 2018-12-28
Publication date: 2019-08-07
Also published as: US20190238823A1; KR102628853B1; CN110097587A; US11297300B2

Abstract

구조화된 광 시스템을 위한 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함한다. 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접한다. 서브 패턴들 각각은 각 다른 서브 패턴과 상이하다. 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함하고, N은 정수이다. 각 도트는 동일한 크기이다. 각 서브 행은 제 1 방향으로 확장되고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장된다. 서브 열에 정렬된 기본 광 패턴의 도트들을 더 포함하고, 서브 열에 정렬된 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 기본 광 패턴의 도트들로부터 제 2 방향으로 오프셋된다. 일 실시 예에서, 제 2 방향에서의 기본 광 패턴의 각 서브 패턴의 크기는 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 더 크다.

Description

3D 카메라 시스템을 위한 강건하고 구조화된 광 패턴들{ROBUST STRUCTURED-LIGHT PATTERNS FOR 3D CAMERA SYSTEM}

여기에서 개시되는 주제는 3D 카메라 시스템들에 관한 것으로, 좀 더 상세하게는 3D 카메라 시스템을 위한 구조화된 광 패턴에 관한 것이다.

스테레오 카메라 시스템들로도 불리는 구조화된 광 3D 카메라 시스템(structured-light 3D-camera system)들에서 깊이 값들을 추정하기 위해 널리 사용되는 기법은 기준 패턴의 조각에 가장 잘 매칭하는 이미지 조각을 검색하는 것이다. 이러한 검색의 전반적인 계산상의 부담을 줄이기 위해, 이미지 조각은 기준 패턴과 거의 수평선 상에 이웃하여 위치한다고 가정된다. 또한, 기준 패턴이 전체 투영 공간을 채우기 위해 수평 및 수직으로 반복되는 고유의 서브 패턴들의 유한개의 세트만을 포함하도록 설계되어, 검색 프로세스가 더 단순화된다. 기준 패턴의 고유한 서브 패턴들에 대해 알려진 배열은 이미지 조각의 '유형(class)'을 식별하고 결과적으로 이미지 조각과 기준 조각 사이의 시차(disparity)를 판별하는데 사용된다. 또한, 이미지 조각은 깊이 픽셀 위치의 중심에 있는 것으로 가정되며, 이는 깊이 추정 값의 계산을 단순화시킨다.

본 개시의 실시 예들은 3D 카메라 시스템을 위한 강건하고 구조화된 광 패턴들을 제공할 수 있다.

일 실시 예는 구조화된 광 시스템을 위환 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접할 수 있고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있고, 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함할 수 있고, N은 정수일 수 있고, 각 도트는 동일한 크기일 수 있고, 각 서브 행은 제 1 방향으로 확장될 수 있고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들을 더 포함할 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 기본 광 패턴의 도트들로부터 제 2 방향으로 오프셋 될 수 있다.

다른 실시 예는 구조화된 광 시스템을 위환 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접할 수 있고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있고, 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함할 수 있고, N은 정수일 수 있고, 각 도트는 동일한 크기일 수 있고, 각 서브 행은 제 1 방향으로 확장될 수 있고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있고, 제 2 방향에서의 기본 광 패턴의 각 서브 패턴의 크기는 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 클 수 있다.

또 다른 실시 예는 구조화된 광 시스템을 위환 구조화된 광 패턴을 제공하는데, 구조화된 광 패턴은 제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함할 수 있고, 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접할 수 있고, 서브 패턴들 각각은 각 다른 서브 패턴과 상이할 수 있고, 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함할 수 있고, N은 정수일 수 있고, 각 도트는 동일한 크기일 수 있고, 각 서브 행은 제 1 방향으로 확장될 수 있고, 각 서브 열은 제 1 방향에 직교하는 제 2 방향으로 확장될 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들을 더 포함할 수 있고, 서브 열에 정렬된 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 기본 광 패턴의 도트들로부터 제 2 방향으로 오프셋 될 수 있고, 제 2 방향에서의 기본 광 패턴의 각 서브 패턴의 크기는 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 클 수 있다.

여기에서 개시된 실시 예들은 회전 광 패턴과 대조적으로 재매핑된 도트들을 갖는 기준 광 패턴을 제공할 수 있다. 재매핑된 도트들을 갖는 기준 광 패턴으로부터 형성된 3D 이미지는 노이즈가 더 적고, 더 정확할 수 있다. 기준 광 패턴의 재매핑된 도트들은 가장 짧은 측정 가능한 거리를 연장할 수 있다.

본 발명의 특징들은 도면에 도시 된 예시적인 실시 예를 참조하여 설명 될 것이다.
도 1a은 여기에서 개시된 주제에 따라 예시적인 구조화된 광 시스템 및 기준 광 패턴의 블록도를 보여준다.
도 1b는 예시적인 기본 광 패턴을 보여준다.
도 2는 기본 광 패턴 위로 4 x 4 픽셀 창을 밀어 넣음으로써 얻어진 서브 패턴들에 대한 예시적인 대응 유형 식별 번호들(IDs)을 보여준다.
도 3은 여기에서 개시된 주제에 따른 이동 계수에 기초하여 재매핑된 도트를 갖는 기본 광 패턴을 보여준다다.
도 4는 여기에서 개시된 주제에 따라 기본 광 패턴의 도트를 재매핑하는 과정의 흐름도를 보여준다.
도 5a 및 도 5b는 기준 광 패턴의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴을 형성하기 위해 재매핑된 기준 광 패턴의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여준다.
도 6a 내지 6c는 실제로 발생할 수 있는 픽셀 샘플링 상황을 보여준다.
도 7a 및 도 7b는 도트들이 신장 계수(k)만큼 수직 방향으로 신장된 기본 광 패턴 및 기준 광 패턴 요소를 보여주는 개념도들이다.
도 8은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트들을 재매핑하기 위한 과정을 보여주는 흐름도이다.
도 9는 여기에서 개시된 주제에 따라 재배치되고 신장된 도트들을 갖는 기본 광 패턴을 보여주는 개념도이다.
도 10a 및 도 10b는 신장된 기준 광 패턴의 부분의 서브 패턴들에 대한 예시적인 유형 IDs의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴을 형성하기 위해 재매핑되고 신장된 기준 광 패턴의 부분의 서브 패턴들에 대한 유형 IDs의 배열을 보여준다.

이하의 본문에서, 다양한 상세한 설명들은 본문의 이해를 제공하기 위하여 제시된다. 그러나 이러한 상세한 설명 없이 기재된 본 발명의 사상이 당업자에 의해 용이하게 구현될 수 있음은 잘 이해될 것이다. 다른 예에서, 잘 알려진 방법들, 절차들, 구성들, 및 회로들은 본문을 모호하게 하지 않기 위하여 설명되지 않는다.

상세한 설명에서 '하나의 실시 예' 또는 '일 실시 예'를 참조하는 것은 실시 예와 연관된 특정한 특징, 구조, 또는 특성이 본문의 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 즉, 본문의 다양한 위치에서 사용되는 '하나의 실시 예에서' 또는 '일 실시 예에서' 또는 '하나의 실시 예에 따라' 또는 유사한 의미를 갖는 다른 표현들은 동일한 실시 예를 참조하는 것을 요구하지 않는다. 더욱이, 특정한 특징들, 구조들, 또는 특성들은 적절한 방식으로 하나 또는 그 이상의 실시 예들에서 조합될 수 있다. 또는, 본문에서 언급된 내용에 따라, 단수 용어는 복수의 형태를 포함하고, 복수 용어는 단수 형태를 포함할 수 있다. 구성 도면들을 포함하는 다양한 도면들은 오직 설명의 목적을 위하여 본문에서 언급되고, 도시되며, 정량화되지 않는다. 유사하게, 다양한 파형들 및 타이밍도들은 단순히 설명의 목적을 위하여 도시된다. 예를 들어, 일부 요소들의 치수들은 명확성을 위해 다른 요소들에 비해 과장될 수 있다. 또한, 적절한 것으로 고려되는 경우, 참조 번호들은 대응하는 요소들 및/또는 유사한 요소들을 나타내기 위해 도면들에서 반복된다.

본문에서 사용된 용어들은 특정한 실시 예들을 기술하기 위한 목적으로만 사용되는 것이며, 본 발명의 장치와 방법으로 한정하는 의도로는 사용되지 않는다. 문맥상 명백히 다르게 지시하지 않는 한 단수 형태는 본 발명의 개념의 설명 및 부가된 청구항에 사용될 때, 복수의 형태를 포함하는 의도로 사용된 것으로 이해되어야 한다. 그리고 '포함하는' 또는 '포함하며, 한정되지 않는'의 용어가 본 명세서에 사용되는 경우, 기술된 특징, 숫자, 단계, 동작, 구성, 및/또는 부품들의 존재를 명기하는 것이며, 이들의 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성, 부품, 및/또는 그룹의 존재 또는 부가를 배제하지 않는 것으로 더 이해되어야 한다. '제 1', '제 2'와 같은 용어들은 앞서 설명된 구성에 대한 라벨로써 사용되고, 별도의 정의가 없는 한 특정한 순서(예를 들어, 공간적, 시간적, 논리적, 등)를 의도하는 것은 아니다. 더욱이, 동일한 참조 번호들은 동일하거나 또는 유사한 기능을 갖는 부분들, 구성들, 블록들, 회로들, 유닛들, 또는 모듈들을 지칭하기 위하여 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 단순히 설명의 간결성 및 편의를 위한 것이며, 이러한 구성들 및 유닛들의 구성 또는 구조적인 세부 사항들이 모든 실시 예들 또는 공통적으로 참조되는 부분들/모듈들에서 동일한 것으로 의도되지 않으며, 단순히, 본 발명의 특정 실시 예들을 지칭하기 위한 하나의 수단이다.

다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어들(기술적 그리고 과학적 용어들을 포함하는)은 본 발명이 속한 기술 분야에서 당업자에 의해 일반적으로 이해되는 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 이러한 용어들은 본 명세서 그리고/또는 관련 기술의 문맥에서 그들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의되지 않는 한 이상화되거나 지나지게 형식적인 감각으로 해석되지 않아야 한다.

여기에서 개시된 실시 예들은 회전 광 패턴과 대조적으로 재매핑된 도트들을 갖는 기준 광 패턴을 제공할 수 있다. 재매핑된 도트들은 픽셀 샘플링 불균일성을 감소시킬 수 있고, 이미지 조각의 유형을 식별하는 것과 관련된 등극선(epipolar line) 제한을 완화할 수 있다. 또한, 기준 광 패턴의 재매핑된 도트는 최대 측정 가능한 시차의 두 배를 제공할 수 있다. 따라서, 재매핑된 도트들을 갖는 기준 광 패턴으로부터 형성된 3D 이미지는 노이즈가 더 적고, 더 정확할 수 있다. 일 실시 예에서, 기준 광 패턴의 재매핑된 도트들은 가장 짧은 측정 가능한 거리를 (예를 들어, 20%, 30%, 50% 등 만큼) 연장할 수 있다.

일 실시 예에서, 기준 광 패턴의 도트들은 등극선 위반에 강건할 수 있고, 이미지 왜곡 및 카메라 샘플링의 불균일성에 대한 시스템 강건성을 향상시킬 수 있는 깊이 추정을 제공하기 위해 수직 방향으로 확장 될 수 있다. 반대급부(trade-off)은 깊이 이미지가 감소된 수직 해상도를 가질 수 있다는 것일 수 있다. 예로서, 투영된 이미지의 중심에 있는 서브 패턴들은 확장되지 않은 채로 유지될 수 있는 반면, 중심으로부터 떨어진 곳에 있는 패턴들은 점차적으로 확장될 수 있다. 결과는 3D 이미지의 중심 영역 주변의 완전한 수평/수직 해상도가 될 수 있고, 3D 이미지의 경계들을 향하여 감소된 수직 해상도가 될 수 있다.

도 1A은 여기에서 개시된 본 발명에 따른 구조화된 광 시스템(100) 및 기준 광 패턴의 예시적인 실시 예의 블록도를 보여준다. 구조화된 광 시스템(100)은 프로젝터(101), 카메라(102) 및 프로세싱 장치(130)를 포함할 수 있다. 동작에서, 프로세싱 장치(103)는 기준 광 패턴(104)을 프로젝터(101)로 송신할 수 있고, 프로젝터(101)는 기준 광 패턴(104)을 선(105)으로 표시된 장면이나 물체에 투영할 수 있다. 카메라(102)는 투영된 기준 광 패턴(104)으로 그 장면을 이미지(106)로서 촬영할 수 있다. 이미지(106)는 프로세싱 장치(103)로 송신될 수 있고, 프로세싱 장치(103)는 이미지(106)에 촬영된 기준 광 패턴의 기준 광 패턴(104)에 대한 시차에 기초하여 깊이 맵(depth map, 107)을 생성할 수 있다. 깊이 맵(107)은 이미지(106)의 조각들에 대응하는 추정된 깊이 정보를 포함할 수 있다.

프로세싱 장치(103)는 소프트웨어 명령, 전용 집적 회로 또는 이들의 조합을 통해 프로그래밍 된 마이크로프로세서(microprocessor) 또는 개인용 컴퓨터(personal computer, PC)일 수 있다. 일 실시 예에서, 프로세싱 장치(103)에 의해 제공되는 프로세싱은 그래픽 프로세싱 장치(graphics processing unit, GPU), 멀티 코어 시스템 또는 프로세싱 동작들을 구현할 수 있는 전용 하드웨어에 의해 가속화된 소프트웨어를 통해 완전히 구현될 수 있다. 하드웨어 및 소프트웨어 구성들 모두는 병렬 프로세싱의 상이한 단계들을 제공할 수 있다. 구조화된 광 시스템(100)의 일 실시 예는 스마트 폰(smart phone), 핸드폰(cell phone), 또는 디지털 카메라(digital camera) 와 같은 휴대용 장치의 일부일 수 있지만, 이에 한정되지는 않는다.

일 실시 예에서, 프로젝터(101) 및 카메라(102)는 가시 영역 또는 사람의 눈에 보이지 않을 수 있는 적외광 스펙트럼에서 매칭될 수 있다. 투영된 기준 광 패턴은 프로젝터(101) 및 카메라(102) 모두의 스펙트럼 범위 내에 있을 수 있다. 또한, 프로젝터(101) 및 카메라(102)의 해상도들은 상이할 수 있다. 예를 들어, 프로젝터(101)는 비디오 그래픽스 어레이(video graphics array, VGA) 해상도(예를 들어, 640×480 픽셀)로 기준 광 패턴(104)을 투영할 수 있고, 카메라(102)는 더 높은 해상도(예를 들어, 1280×720 픽셀)를 가질 수 있다. 이러한 구성에서, 깊이 맵(107)을 생성하기 위해, 이미지(106)는 다운 샘플링되거나 및/또는 프로젝터(101)에 의해 조명된 영역만 분석될 수 있다.

일 실시 예에서, 기준 광 패턴(104)은 기준 광 패턴(104)을 완전히 채우기 위해 수평 및 수직 방향 모두로 반복될 수 있는 복수의 기준 광 패턴 요소들을 포함 할 수 있다. 도 1B는 수평 방향(즉, x 방향)으로 48도트(dot)의 너비이고, 수직 방향(즉, y 방향)으로 4픽셀의 높이인 기본 광 패턴(108)의 일 실시 예를 보여주는 개념도이다. 다른 기본 광 패턴들도 가능하다. 단순화를 위해, 도트 대 픽셀의 비율은 1:1 일 수 있다. 즉, 각 투영된 도트는 카메라(102)에서 정확히 하나의 픽셀로 촬영될 수 있다. 일 실시 예에서, 도 1A의 기준 광 패턴(104)은 기본 광 패턴(108)을 수평 방향으로 10회, 수직 방향으로 160회 반복함으로써 형성 될 수 있다.

기본 광 패턴(108) 위에 4×4 픽셀 창(window)을 중첩시키고 (가장자리를 감싸면서) 수평으로 밀어 넣는 경우, 48개의 고유 패턴들이 있을 수 있다. 4x4 픽셀 창이 수평으로 밀려들어가는 동안 4x4 픽셀 창이 (기본 광 패턴(108)을 감싸면서) 기본 광 패턴(108)의 높이의 4 픽셀 위 로 수직으로 밀려들어가는 경우, 총 192 개의 고유 패턴들이 있을 수 있다. 도 2는 기본 광 패턴(108) 위로 4 x 4 픽셀 창을 밀어 넣음으로써 얻어진 192개의 고유 서브 패턴들에 대한 예시적인 대응 유형 식별 번호들(IDs)을 보여준다. 96개의 유형 IDs는 기본 광 패턴(108) 위에 표시될 수 있고, 96개의 유형 IDs는 기본 광 패턴 (108) 아래에 표시될 수 있다.

예를 들어 4×4 픽셀 창(201)이 기본 광 패턴(108)의 좌측 상부에 위치되는 경우, 픽셀 창에서의 서브 패턴에 대한 대응 유형 ID는 1일 수 있다. 4×4 픽셀 창(201)이 한 행 아래로 밀려들어가는 경우, 픽셀 창의 서브 패턴에 대한 대응 유형 ID는 2, 등등일 수 있다. 4×4 픽셀 창(202)이 기본 광 패턴(108)의 우측 하부에 위치되는 경우, 픽셀 창에서의 서브 패턴에 대한 대응 유형 ID는 192일 수 있다. 다른 유형 ID들도 가능하다.

기준 광 패턴(104)의 최대 시차를 확장하기 위해, 광 패턴(104)이 회전될 수 있다. 그러나, 이러한 접근법은 투영된 광 도트들이 더 이상 균일하게 샘플링 될 수 없기 때문에 그 결과 기준 광 패턴과 촬영된 이미지 사이의 불일치가 증가되는 결점을 갖게 된다. 예로서, 기준 광 패턴이 회전되는 경우, 2개의 회전 된 도트의 불연속된 중심은 샘플 픽셀 위치의 중심으로부터 실질적으로 동일한 거리에 위치될 수 있다. 샘플 픽셀 위치에 있는 두 개의 도트 중 어느 도트가 더 나은 것으로 인식되어야 하는지를 식별하기 위한 판단이 어려워지고, 서브 패턴에 대한 잘못된 유형 ID를 초래할 수 있다. 이러한 상황은 여기에서 충돌로 언급될 수 있다. 또한, 회전회전된 기준 광 패턴과 촬영된 이미지 간의 불일치가 증가하기 때문에 등극선 가정이 제한되어야 한다. 기준 광 패턴이 회전된 경우 불일치들 수를 줄이기 위해, 보다 정밀한 왜곡 보정 및 정렬이 요구된다.

기준 광 패턴을 회전시키는 대신에, 여기에서 개시된 주제의 일 실시 예는 기본 광 패턴의 각 연속적인 열의 도트를 주어진 수평 방향으로 기준 광 패턴의 수평 폭을 가로지르는 미리 결정된 양만큼 아래쪽으로 이동시키거나 재매핑할 수 있다. 다른 실시 예는 기본 광 패턴의 각 연속적인 열의 도트를 주어진 수평 방향으로 기준 광 패턴의 수평 폭을 가로지르는 미리 결정된 양만큼 위쪽으로 이동시킬 수 있다. 기준 광 패턴은 이동되거나 재매핑된 도트를 갖는 기본 광 패턴(108)을 수평 방향으로 10번, 수직 방향으로 160번 반복하여 형성될 수 있다. 재매핑된 기준 광 패턴은 픽셀 샘플링 불균일성을 감소시키고 등극선 제한을 완화함으로써, 회전된 기준 광 패턴에 의해 제공되는 것보다 노이즈가 더 적고 더 정밀한 결과적인 3D 이미지를 제공할 수 있다.

일 실시 예에서, 기본 광 패턴(108)의 도트들은 아래의 [수학식 1]에서 와 같이 인접한 열에 대하여 재매핑될 수 있다.

[수학식 1]에서, x 및 y는 기본 광 패턴에서의 도트의 원래 좌표들이고, x' 및 y'는 재매핑된 기본 광 패턴에서의 이동된 도트의 새로운 좌표들이고, m은 이동 계수이다.

도 3은 여기에서 개시된 주제에 따른 이동 계수(m)에 기초하여 재매핑 된 도트들을 갖는 기본 광 패턴(300)을 보여준다. 기본 광 패턴(300)은 수평 방향 (즉, x 방향)으로 48 도트 너비를 가질 수 있고, 각 열은 수직 방향 (즉, y 방향)으로 4 도트 높이일 수 있고, 도트의 각 열은 왼쪽 바로 옆 도트의 열에 대한 이동 계수(m)에 의해 재매핑될 수 있다. 도 3에 도시 된 예에서, 이동 계수(m)는 10%일 수 있다. 즉, 각 열의 도트는 왼쪽 바로 옆 열로부터 10%만큼 아래로 이동될 수 있다. 다른 이동 계수들이 사용될 수 있다. 단순화를 위해, 각 투영된 도트들이 정확히 카메라의 하나의 픽셀에 의해 촬영될 수 있도록 도트 대 픽셀의 비율은 1:1이 될 수 있다. 도 3에서의 열들이 왼쪽 바로 옆 열에 대해 아래쪽으로 이동되긴 했지만, 열들은 대안적으로 왼쪽 바로 옆 열에 대해 위쪽으로 이동될 수 있다(예를 들어, m <0 인 경우).

도 4는 여기에서 개시된 주제에 따라 기본 광 패턴의 도트들을 재매핑하는 과정(400)의 흐름도를 보여준다. 프로세스는 401에서 시작할 수 있다. 402에서, 기본 광 패턴의 도트들의 가장 왼쪽의 열이 식별될 수 있다. 403에서 오른쪽에 있는 도트들의 다음 열이 선택될 수 있다. 404에서, 현재 선택된 열의 도트들은 이동 계수(m)만큼 이동될 수 있다. 405에서, 기본 광 패턴의 모든 열들이 처리되었는지 여부가 판단될 수 있다. 모든 열들이 처리되지 않았다면, 흐름은 403으로 되돌아 갈 수 있다. 기준 광 패턴의 모든 열들이 처리 된 경우, 흐름은 과정이 종료되는 406으로 진행될 수 있다. 다른 실시 예에서, 과정은 기본 광 패턴의 도트들의 가장 오른쪽 열에서 시작하여 왼쪽으로 작업 할 수 있다. 도 4에서의 과정(400)은 특정 순서(즉, 왼쪽에서 오른쪽)로 표현되어 있지만, 도트 이동을 제공하기 위해 사용된 순서는 임의적일 수 있음을 이해해야 한다. 즉, 각 도트는 임의의 순서로 이동될 수 있다.

또한, 도 5a 및 도 5b는 각각 기준 광 패턴(501)의 부분의 서브 패턴들에 대한 예시적인 유형 ID들의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴 (501')을 형성하기 위해 재매핑된 기준 광 패턴(501)의 부분의 서브 패턴들에 대한 유형 ID들의 배열을 보여준다. 보다 구체적으로, 도 5a는 기준 광 패턴(501)을 형성하는 상이한 서브 패턴들의 유형 ID들을 보여주는 반면, 도 5b는 재매핑된 기준 광 패턴(501')에 대한 상이한 서브 패턴들의 유형 ID들을 보여준다. 도 5a에 도시된 광 패턴(501)의 유형 ID들의 최상단 행은, 유형 ID들의 최상단 행이 도 5b에 도시 된 광 패턴(501')에서 재매핑되었음을 보다 쉽게 알 수 있도록 회색으로 강조(하이라이트) 표시되었다.

여기에서 개시된 주제에 따라 재매핑된 기준 광 패턴의 이점을 더 설명하기 위해, 도 6a 내지 6c는 실제로 발생할 수 있는 픽셀 샘플링 상황을 보여준다. 또한, 도 6a 내지 도 6c에서, 도트 크기는 약 2㎛일 수 있고 픽셀 크기는 약 1㎛일 수 있으며 결과적으로 픽셀 대 도트 비율은 약 4:1일 수 있다.

도 6a에서, 회전되지 않고 재매핑되지 않은 기준 광 패턴의 예시적인 4×4 조각의 도트들(601)이 예시적인 샘플링 픽셀 위치들(602)에 대해 보여진다. 예시적인 샘플링 픽셀 위치들(602)이 정확하게 도트들(601)과 일렬로 배열되지 않지만, 샘플링 픽셀 위치들(602)의 도트들(601) 상으로의 중첩이 상대적으로 균일하기 때문에, 예시적인 4×4 조각의 유형 ID가 결정될 확률이 높다.

도 6b에서, 회전 된 기준 광 패턴의 예시적인 4×4 조각의 도트들(603)이 예시적인 샘플링 픽셀 위치들(604)에 대해 보여진다. 기준 광 패턴의 회전은 샘플링 픽셀 위치들(604)의 도트들(603) 상으로의 중첩을 상대적으로 균일하지 않게 야기할 수 있다. 몇몇 샘플 픽셀 위치들(604)은 다른 샘플 픽셀 위치들보다 더 많은 도트들(602)을 촬영할 수 있다. 결과적으로, 회전 된 도트들(603) 및 샘플 픽셀 위치들(604)로부터 생성된 결과적인 3D 이미지는 도 6a에서 도트들(601) 및 샘플 픽셀 위치들(602)에 의해 생성된 결과적인 3D 이미지보다 상대적으로 노이즈가 많고, 덜 정확할 수 있다.

도 6c에서, 재매핑된 기준 광 패턴의 예시적인 4×4 조각의 도트들(605)이 예시적인 샘플링 픽셀 위치들(606)에 대해 보여진다. 기준 광 패턴의 도트들의 재매핑은 확장된 시차도 제공하면서 샘플링 픽셀 위치들(606)의 도트들 (605)상으로의 중첩이 상대적으로 균일하도록 야기할 수 있다. 또한, 충돌 사례가 상당히 감소할 수 있다. 결과적으로, 재매핑된 도트들(605) 및 샘플 픽셀 위치들(606)로부터 생성된 결과적인 3D 이미지는 도 6b에서의 회전 된 도트들(603) 및 샘플 픽셀 위치들(604)에 의해 생성된 결과적인 3D 이미지보다 상대적으로 노이즈가 더 적고, 상대적으로 더 정확할 수 있다. 샘플 픽셀 위치들(606)은 또한 기준 광 패턴의 도트의 재매핑에 대응하도록 재매핑된다는 것을 유의해야 한다.

기본 광 패턴의 다른 실시 예는 여기에서 개시된 주제에 따라 수직 방향으로 신장된 도트들을 제공할 수 있다. 도 7a 및 도 7b는 각각 도트들이 신장 계수(k)만큼 수직 방향으로 신장된 기본 광 패턴(108) 및 기준 광 패턴 요소(700)를 보여준다. 기준 광 패턴 요소를 수직 방향으로 신장시킴으로써, 깊이 추정은 등극선 위반에 대해 보다 강건 해질 수 있고, 따라서 시스템 강건성 및 정확성이 증가할 수 있다.

일 실시 예에서, 기본 광 패턴의 도트들은 아래의 [수학식 2]에서와 같이 수직 방향으로 신장될 수 있다.

[수학식 2]에서, x 및 y는 기준 광 패턴 요소의 도트의 원래 좌표이고, x' 및 y'는 기준 광 패턴 요소의 신장된 도트의 새로운 좌표이고, k는 신장 계수이다. 도 7b의 기준 광 패턴(700)의 도트들은, 도 7a의 기본 광 패턴 (108)의 도트들과 비교하여 2배만큼 신장될 수 있다. 기본 광 패턴의 도트들이 신장됨으로써 관찰될 수 있는 반대급부는 깊이 이미지가 감소된 수직 해상도를 가질 수 있다는 것이다. 이 경우, 도트들은 기준 광 패턴에서 그것들의 위치에 따라 불균일하게 신장 될 수 있다. 예로서, 이미지 중심의 패턴들은 신장되지 않을 수 있는 반면 이미지 중심에서 떨어진 패턴들이 점차적으로 신장될 수 있다. 그 결과는 중심 영역들 주변의 완전한 수평/수직 해상도와 이미지의 경계 방향들로 감소된 수직 해상도일 수 있다.

기본 광 패턴의 도트를 재매핑하고 신장하는 것은 아래의 [수학식 3]에서와 같이 결합될 수 있다.

[수학식 3]에서, x 및 y는 기준 광 패턴 요소의 도트의 원래 좌표이고, x' 및 y'는 기준 광 패턴 요소의 신장된 도트의 새로운 좌표이고, m은 이동 계수이고, k는 신장 계수이다.

도 8은 여기에서 개시된 주제에 따라 기본 광 패턴의 도트들을 재매핑하기 위한 과정(800)의 흐름도를 보여준다. 과정은 801에서 시작할 수 있다. 802에서, 기준 광 패턴 요소의 모든 도트들은 신장 계수(k)만큼 신장될 수 있다. 과정은 803에서 종료될 수 있다.

도 9는 여기에서 개시된 주제에 따라 재배치되고 신장된 도트들을 갖는 기본 광 패턴(900)을 보여준다. 기본 광 패턴(900)은 수평 방향 (즉, x 방향)으로 48 도트 너비를 가지며, 각 열은 수직 방향 (즉, y 방향)으로 4 도트 높이일 수 있고 도트의 각 열이 바로 왼쪽에 있는 도트의 열에 대해 이동 계수 (m)에 의해 재매핑될 수 있다. 도 9에 도시 된 예에서, 이동 계수(m)는 10%일 수 있고, 신장 계수(k)는 2일 수 있다.

도 10a 및 도 10b는 각각 신장된 기준 광 패턴(1001)의 부분의 서브 패턴들에 대한 예시적인 유형 ID들의 배열과, 여기에서 개시된 주제에 따라 기준 광 패턴 (1001')을 형성하기 위해 재매핑되고 신장된 기준 광 패턴(1001)의 부분의 서브 패턴들에 대한 유형 ID들의 배열을 보여준다. 즉, 도 10a는 신장된 도트를 가지는 기준 광 패턴(1001)을 형성하는 상이한 서브 패턴들의 유형 ID들을 보여주는 반면, 도 10b는 재매핑되고 신장된 기준 광 패턴(1901')에 대한 상이한 서브 패턴들의 유형 ID들을 보여준다. 도 10a에 도시된 광 패턴(1001)의 유형 ID들의 최상단 행은, 유형 ID들의 최상단 행이 도 10b에 도시 된 광 패턴(1001')에서 재매핑되었음을 보다 쉽게 알 수 있도록 회색으로 강조(하이라이트) 표시되었다.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims

구조화된 광 시스템을 위한 구조화된 광 패턴에 있어서, 구조화된 광 패턴은
제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함하되,
상기 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고,
상기 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고,
상기 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함하고,
상기 N은 정수이고,
각 도트는 동일한 크기이고,
각 서브 행은 상기 제 1 방향으로 확장되고, 각 서브 열은 상기 제 1 방향에 직교하는 제 2 방향으로 확장되고,
상기 서브 열에 정렬된 상기 기본 광 패턴의 상기 도트들을 더 포함하고,
상기 서브 열에 정렬된 상기 기본 광 패턴의 상기 도트들은 인접한 서브 열에 정렬된 상기 기본 광 패턴의 상기 도트들로부터 제 2 방향으로 오프셋되는 구조화된 광 패턴.
제 1 항에 있어서,
상기 서브 패턴들은 48 개의 서브 패턴들을 포함하는 구조화된 광 패턴.
제 1 항에 있어서,
상기 제 2 방향에서의 상기 기본 광 패턴의 각 서브 패턴의 크기는 상기 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 큰 구조화된 광 패턴.
제 3 항에 있어서,
복수의 구조화된 광 패턴은 제 1 복수의 열에 배열되고, 상기 제 1 복수의 열 각각은 제 2 복수의 구조화된 광 패턴을 포함하는 구조화된 광 패턴.
구조화된 광 시스템을 위한 구조화된 광 패턴에 있어서, 구조화된 광 패턴은
제 1 방향으로 확장되는 서브 패턴들의 행을 포함하는 기본 광 패턴을 포함하되,
상기 서브 패턴들 각각은 적어도 하나의 다른 서브 패턴에 인접하고,
상기 서브 패턴들 각각은 각 다른 서브 패턴과 상이하고,
상기 서브 패턴들 각각은 서브 행에서의 N 개의 도트들 및 서브 열에서의 N 개의 도트들을 포함하고,
상기 N은 정수이고,
각 도트는 동일한 크기이고,
각 서브 행은 상기 제 1 방향으로 확장되고, 각 서브 열은 상기 제 1 방향에 직교하는 제 2 방향으로 확장되고,
상기 제 2 방향에서의 상기 기본 광 패턴의 각 서브 패턴의 크기는 상기 제 1 방향에서의 각 서브 패턴의 크기보다 신장 계수만큼 큰 구조화된 광 패턴.
제 5 항에 있어서,
상기 제 1 방향에서의 제 1 서브 패턴의 크기는 상기 제 1 방향에서의 제 2 서브 패턴과 동일한 크기이고,
상기 제 1 서브 패턴은 상기 제 2 서브 패턴과 상이한 구조화된 광 패턴.
제 5 항에 있어서,
상기 구조화된 광 패턴은 물체로부터 반사되고, 기준 구조화된 광 패턴에 대한 시차를 포함하는 구조화된 광 패턴.
제 5 항에 있어서,
서브 열에 정렬된 상기 기본 광 패턴의 도트들은 인접한 서브 열에 정렬된 상기 기본 광 패턴의 도트들로부터 상기 제 2 방향으로 오프셋되는 구조화된 광 패턴.
제 8 항에 있어서,
복수의 구조화된 광 패턴은 제 1 복수의 열에 정렬되고, 상기 제 1 복수의 열 각각은 제 2 복수의 구조화된 광 패턴을 포함하는 구조화된 광 패턴.
제 5 항에 있어서,
상기 구조화된 광 패턴의 중심 부근의 상기 신장 계수는 상기 구조화된 광 패턴의 에지(edge) 부근의 상기 신장 계수와 동일한 구조화된 광 패턴.