KR102456875B1

KR102456875B1 - 심도 촬상 장치, 방법 및 응용

Info

Publication number: KR102456875B1
Application number: KR1020177029937A
Authority: KR
Inventors: 알료샤 몰나르; 수렌 자야수리야; 스리람 시바라마크리쉬난
Original assignee: 코넬 유니버시티
Priority date: 2015-03-17
Filing date: 2016-03-17
Publication date: 2022-10-19
Also published as: KR20170134502A; CN107533139B; JP6722194B2; US20200191967A1; WO2016149438A1; CA2979836C; CA2979836A1; JP2018513967A; EP3271747B1; US20190033448A1; CN107533139A; US10605916B2; EP3271747A1; US10983216B2

Abstract

심도 촬상 장치는 단일 온칩 아키텍처로 결합된 라이트 필드 이미저 및 비행 시간 이미저를 포함한다. 이 하이브리드 장치는 피사체 장면의 라이트 필드 이미지와 비행 시간 영상을 동시에 캡처 할 수 있다. 라이트 필드 영상과 비행 시간 영상의 동시 수집을 가능하게 하는 알고리즘이 설명된다. 관련된 하이브리드 픽셀 구조, 디바이스 어레이 (하이브리드 촬상 시스템) 및 디바이스 응용에 관하여 개시된다.

Description

심도 촬상 장치, 방법 및 응용

관련 출원 데이터

본 출원은 그 내용 전체가 참고 인용된 2015년 3월 17일에 출원된 미국 가출원 제 62/134122 호의 우선권을 주장한다.

본 발명의 양상들 및 실시예들은 일반적으로 영상 감응 분야에 속한다. 특히, 양상 및 실시예들은 심도 촬상 장치, 컴포넌트들, 방법들 및 이들의 응용에 관한 것이다.

3D 정보를 캡처하기 위한 심도 센싱(depth sensing) 기능이 도입되어 촬상 및 카메라 시스템에서 보편적으로 사용되어 왔으며, 컴퓨터 비전 및 그래픽 연구의 주요 분야가 되어왔다. 심도 값들을 사용하면 새로운 컴퓨터 비전 시스템과 인간-컴퓨터 상호 작용을 실현할 수 있는 장면 이해 및 모델링이 수월해진다. 스테레오, 측광 스테레오, 구조적 조명, 라이트 필드(LF: light field), RGB-D 및 비행시간 (TOF) 촬상과 같은 심도 정보를 캡처하기 위해 많은 방법이 제안되어왔다. 그러나 심도 카메라(depth camera)는 일반적으로 한 번에 단 하나의 심도 센싱 기술만을 지원하므로, 견고성과 유연성이 제한된다.

각 촬상 양식은 표 1에 요약된 온칩 구현, 비용, 심도 해상도 등과 같은 특성들에 대한 저만의 장단점을 가지고 있다.

제안된 심도를 포함하는 다른 심도 센싱 방식양식들의 상대적인 장단점 요약표

특징	스테레오	측광 스테레오	구조적 조명	라이트 필드	비행시간	심도 (제안된)
온칩 픽셀 구현	아니오	아니오	아니오	예	예	예
조명원	수동적	능동적	능동적	수동적	능동적	능동적
고해상도 심도맵	아니오	예	예	아니오	예	예
심도에 필요한 텍스쳐	예	아니오	아니오	예	아니오	아니오
심도 측정의 모호성	아니오	예	아니오	아니오	예	아니오

본 발명자들은 2 개 이상의 심도 센싱 기술들을 이용하는 하이브리드 3D 촬상 시스템들이 이러한 개별적인 한계들을 극복하는 해결책을 제공할 수 있다는 것에 착안하였다. 또한, 온칩(on-chip) 구현과 양식들을 결합한 시스템은 비용 효과적이고 대량 생산이 가능하며, 보편적인 견고한 심도 센싱이 가능하도록 한다.

라이트 필드 (LF) 촬상은 두 개의 공간 좌표와 두 개의 각도 좌표로 매개 변수화 된 플레놉틱(Plenoptic) 함수의 4D 표현들을 캡처하거나, 장면에서 비폐쇄 광선의 공간과 동등하게 캡처한다. 라이트 필드는 장면으로부터 새로운 시점들의 합성, 모델링, 이미지 기반 렌더링 및 에피폴라(epipolar) 기하학으로부터 심도를 추정하는데 사용된다. 카메라와 관련하여, 라이트 필드는 기계적 갠트리(gantry) 또는 대형 고밀도 카메라 어레이들을 사용하거나 마이크로 렌즈, 코딩 된 조리개, 전송 마스크 또는 대칭 및 반대칭 위상 격자를 포함한 회절 격자를 포함한 단일 샷 방법으로 캡처되어 왔다. 라이트 필드는 피사계 심도를 확장할 수 있고, 후처리에서 다른 조리개들을 합성하기 위해 디지털 리포커싱(refocusing)을 사용할 수 있으므로 사진 촬영 후 소프트웨어 제어 레벨을 가능하게 한다. 공동 소유의 미국 특허 제8,530,811호, 제8,809,758호 및 제8,767,047호의 주제는 각도 감응 픽셀 (ASP)를 이용하는 방법 및 라이트 필드 (LF) 촬상 장치를 개시하고 있으며 그 전체가 본원에 참고로 포함된다. 미국 특허 제9,110,240호, 미국 특허 출원 제20150061065호, WO2006039486호, WO2007092581호, WO2007092545호 및 제 WO2007044725호는 그 전체가 본원에 참고로 포함된다.

비행 시간 (TOF) 촬상은 포토게이트 및 포토닉 믹서 디바이스(photonic mixer device)를 포함하는 다양한 장치에 의해 복구되는 진폭 변조된 광에 의해 이동된 광학 경로 길이를 인코딩함으로써 작동한다. 믹서 장치. 구체적으로 광원(일반적으로 근적외선 영역 (약 840-1000 nm)의 LED)은 특정 주파수에서 진폭 변조된다. 이 빛은 장면을 비추고 진폭 변조된 빛이 물체에서 반사되어 이미지 센서에 도착하면 해당 물체의 심도에 해당하는 위상 지연을 획득한다. 이러한 위상 지연을 감지하기 위하여, 대부분의 센서들은 CMOS 프로세스에서 P 기판 위에 폴리실리콘으로 구성된, 포토게이트로 알려진 픽셀 유형을 사용한다. 이러한 포토게이트들은 상기 광원과 동일한 주파수로 변조되며, 각 픽셀에서 수집하는 전하의 양은 위상 지연에 정비례한다. 따라서 포토게이트들의 한 개의 어레이는 하나의 이미지를 캡처하고 이때 이미지내의 각 픽셀은 심도 번호를 갖는다. 고해상도 심도 맵을 산출하는 동안, 단일 주파수 TOF는 반투명 물체 및 산란 매체로 인한 위상 랩핑 모호성 및 다중 경로 간섭을 비롯한 한계로 인해 어려움을 겪게 된다. 이러한 제한 사항을 극복하기 위하여 제안된 기술에는 다중 주파수 방식의 위상 언랩핑, 전역/직접 조명 분리, 디블러링(deblurring) 및 초해상도, 후처리 알고리즘을 갖는 다중 경로 간섭 완화 등이 포함된다. 최근에 이러한 센서의 새로운 시간 코딩 패턴은 여러 개의 광학 경로를 해결하는 것을 도와 비행 중 빛을 보거나 흐린 매체를 통과해 조사하는 것을 가능하게 한다. TOF + 스테레오, TOF + 측광 스테레오 및 TOF + 편광을 융합시키기 위한 카메라 시스템들이 제안되어왔다.

심도 맵과 강도 이미지의 융합은 명시적 특징 감지에 의한 3D 재구성을 가능하게 하기 위해 사용되어왔다. KinectFusion을 통해 카메라 추적 및 3D 재구성을 위한 실시간 상호 작용이 시연되었다. 심도와 강도의 픽셀 별 값들을 획득하는 것에 의하여 개념적으로 심도 필드와 유사하지만, 이러한 융합 방법은 공간-각도 샘플링을 체계적으로 제어하지 않거나 기존의 캡처 트레이드오프(tradeoff)를 능가하지 않는다

본 발명자들은 라이트 필드 (LF) 및 TOF 촬상을 단일, 온칩, 하이브리드 3D 촬상 시스템에 결합시킴으로써 얻을 수 있는 장점 및 이익을 인식하였다. 이러한 시스템은 고해상도 심도 정보의 TOF 이점을 갖는 사후 캡처 디지털 리포커싱 및 코딩된 신호를 사용하는 완화된 다중 경로 간섭과 같은 라이트 필드 장점을 승계받을 것이다. 또한, LF와 TOF 촬상 모두는 온칩으로 구현되었으며, 하이브리드 픽셀 구조를 설계하여 두 가지 방식을 온칩으로 결합 할 수도 있다. 각 방식에는 상대적인 단점이 있다: 라이트 필드의 심도는 텍스쳐가 있는 표면을 필요로 하고 불일치에 대한 물체 거리에 의존적인 단일 주파수 TOF 촬상은 위상 래핑이 어려우며 셔터 속도가 낮은 소형 조리개 카메라로 제한된다. 그러나, 본 발명에서 '심도(depth field)' 촬상 (장치 및 방법)으로 지칭되는 여기서 구현된 하이브리드 LF/TOF 촬상 장치 및 방법은 이러한 모든 제한을 완화 할 수 있다.

본 발명의 일 양상은 심도 촬상 장치다. 일 실시예에 따르면, 상기 심도 촬상 장치는 장면의 LF 영상을 획득할 수 있는 명 필드 (LF) 촬상부; 장면의 TOF 영상을 획득할 수 있는 비행 시간 (TOF) 촬상부; 상기 심도 촬상 장치에 의한 상기 LF 영상 및 상기 TOF 영상의 동시 획득을 가능하게 하는 알고리즘을 조작 실행하도록 프로그래밍된 영상 처리부를 포함하고, 상기 LF 촬상부는 상기 TOF 촬상부 위에 배치되고 둘 모두는 단일 온칩 아키텍처로 구현되는 것을 특징으로 한다. 다양한 비 제한적인 실시예에서, 심도 촬상 장치는 단독으로 또는 다양한 비 제한적인 조합으로 다음의 특징 또는 제한을 더 포함하거나 추가로 특징화할 수 있다:

- 이때, 상기 LF 촬상부는 격자를 한다;

- 이때, 상기 LF 촬상부는 금속 격자를 포함한다;

- 이때, 상기 격자는 주기적인 격자이다;

- 이때, 상기 격자는 위상 격자이다.

- 이때, 상기 격자는 반대칭 위상 격자(anti-(odd)-symmetry phase grating)이다.

- 이때, 상기 LF 촬상부는 진폭 마스크를 포함한다;

- 이때, 상기 LF 촬상부는 각도 감응 픽셀 (ASP)이다;

- 이때, 상기 TOF 촬상부는 능동 (모듈화 가능한) 광원을 포함하는 모듈화 가능한 포토게이트를 포함한다;

- 이때, 상기 TOF 촬상부는 복수의 인터리빙된 포토게이트이다;

- 이때, 상기 복수의 인터리빙된 포토게이트는 능동 광원의 변조 주파수에서 변조된다;

- 상기 심도 촬상 장치의 피사체 측에 배치된 렌즈를 더 포함한다,

- CMOS 구조로 구현되는 상기 심도 촬상 장치.

일 실시예에 따르면, 상기 심도 촬상 장치는 라이트 필드 (LF) 촬상부; 및 비행시간 (TOF) 촬상부를 포함하며, 상기 LF 촬상부 및 상기 TOF 촬상부는 단일 온칩 아키텍처로 구현된다.

본 발명의 일 양상은 심도 픽셀 구조이다. 일 실시예에 따르면, 상기 심도 픽셀 구조는 라이트 필드 (LF) 촬상부; 포토게이트; 및 상기 포토게이트에 광학적으로 커플링된 능동 광원을 포함하고, 이때 상기 LF 촬상부는 상기 포토게이트 위에 배치되고, 상기 픽셀 구조는 단일 온칩 아키텍처로 구현되는 것을 특징한다.

본 발명의 일 양상은 심도 촬상 시스템이다. 일 실시예에 따르면, 상기 심도 촬상 시스템은 피사계 심도 픽셀 구조의 어레이를 포함하고, 이때 각각의 심도 픽셀 구조가 라이트 필드 (LF) 촬상부, 포토게이트, 및 포토게이트에 광학적으로 결합된 활성 광원을 포함하는 것을 특징으로 하며, 이때 상기 LF 촬상부는 상기 포토게이트 위에 배치되고 각 픽셀 구조는 단일 온칩 아키텍처로 구현된다. 다양한 비 제한적인 실시예에서, 상기 심도 촬상 시스템은 단독으로 또는 다양한 비 제한적인 조합으로 다음의 특징 또는 제한을 더 포함하거나 추가로 특징화할 수 있다:

- 피사체 장면과 상기 피사계 심도 픽셀 구조의 어레이 사이에 배치된 렌즈를 더 포함;

- 글로벌 셔터를 더 포함.

본 발명의 일 양상은 촬상 방법이다. 일 실시예에 따르면, 상기 촬상 방법은 대상 장면의 LF 영상을 획득하는 단계; 단일 온칩 구현된 하이브리드 영상 감응 디바이스에 의해 상기 LF 및 TOF 영상이 동시에 획득되는, 상기 대상 장면의 TOF 영상을 동시에 획득하는 단계; 및 상기 획득된 LF 및 TOF 영상을 처리하여 상기 대상 장면의 심도 영상을 형성하는 단계를 포함하는 것을 특징으로 한다. 다양한 비 제한적인 실시예에서, 상기 촬상방법은 단독으로 또는 다양한 비 제한적인 조합으로 다음 단계, 특징 또는 한계를 추가로 포함하거나 추가로 특징화할 수 있다:

- 단일 노출로 LF 및 TOF 영상을 획득하는 단계를 더 포함;

- 디지털 리포커싱 기술을 사용하여 상기 심도 영상을 획득하는 단계를 더 포함;

- 위상 언랩핑 기법을 사용하여 상기 심도 영상을 획득하는 단계를 더 포함

본 명세서 및 청구 범위에서 사용되는 바와 같이, 상기 TOF부는 활성(변조 가능한) 광원을 포함하는 것으로 가정한다.

도 1은 본 발명의 일 실시예에 따라 사용되고 당 업계에 공지된 포토게이트의 개략적인 단면도이다.
도 2는 본 발명의 실시예에 따른 CMOS 구조에서의 심도 픽셀의 개략적인 단면도이다.
도 3은 본 발명의 일 실시예에 따라 사용된 2 개의 인터리빙된 포토게이트의 개략적 인 평면도이다.
도 4는 본 발명의 일 실시예에 따른 심도 촬상 시스템 아키텍처의 개략적인 블록도이다.
도 5는 본 발명의 예시적인 실시예에 따른 심도 촬상 시스템 신호 체인 아키텍처의 개략적인 블록도이다.
도 6은 본 발명의 예시적인 실시예에 따른 심도 촬상 시스템의 온칩 모듈레이터 아키텍처의 개략적인 블록도이다.
도 7A는 심도 필드를 캡처하기 위한 단일-샷 카메라 시스템에 대한 3 개의 예시적인 픽셀 설계를 도시한다. 라이트 필드와 TOF 정보를 동시에 캡처하기 위해 마이크로 렌즈, 진폭 마스크 또는 회절 격자를 포토게이트 상단 위에 위치시킨다; 도 7B는 이진 홀수-대칭 위상 격자를 도시한다; 도 7C는 반대칭 위상 격자를 도시하며, 이것의 상기 세그먼트의 너비는 본 발명의 예시적인 실시예에 따라 격자의 중심으로부터의 거리에 따라 증가한다.
도 8은 a) TOF 카메라들의 어레이를 사용하여 개념적으로 심도를 캡처하는 것, (b) (u, v, x, y)의 4D 함수로서의 알베도(albedo), (c) (u, v, x, y)의 4D 함수로서의 TOF 심도값들에 대응하는 위상을 도시한다.
도 9는 a) 캡처된 장면, b-e) 상기 장면의 심도 맵에 대한 상이한 초점 평면에 대한 디지털 리 포커싱을 도시하고, 본 발명의 도시적 예에 따라 심도 촬상이 범위 찰상을 위해 조리개와 피사계 심도 사이의 트레이드오프를 어떻게 깰 수 있는지 할 수 있는지 보여준다.
도 10은 합성 데이터에 대한 위상 언랩핑 알고리즘을 사용하는 방법을 도시한다: a) 지상 진실 심도 값을 갖는 박스 장면, b) 교정을 위해 마크된 기준선이 있는 위상 래핑된 장면, c) 라이트 필드 대응 알고리즘에 의해 제공되는 심도 맵. 위상 언랩핑에 대한 본 장면 내에서 동일한 교정 라인이 식별되고, d) 상기 TOF 래핑된 값들을 주어진 교정 라인에 대한 대응으로부터의 심도값들에 매핑한다, e) 본 발명의 도시적인 실시예에 따른 언랩핑 된 심도 맵.

본 발명의 양상은 CMOS 아키텍처-여기서는 각도 감응 포토게이트(ASPG)-에서 유리하게 라이트 필드 (LF) 촬상부 및 비행시간 (TOF) 촬상부를 포함하는 통합된 하이브리드 촬상 시스템, 및 하나의 통합 장치로 LF 및 TOF 영상들을 동시에 획득하는 방법을 포함한다. LF 및 TOF 촬상부/시스템은 당업계에 공지되어 있으며, 이들 구성 요소들 자체는 구현된 발명의 진보적인 측면을 형성하지 못한다.

출원인이 공동 발명 및 소유한 각도 감응 픽셀 (ASP)를 이용하는 특허된 LF 촬상 시스템 및 방법이 상기 참조된다. 이러한 LF 영상 센서/방법은 포토다이오드 위에 배치된 회절 격자를 사용하였다. 포토다이오드는 전형적으로 n/p 실리콘의 인터페이스에 의해 야기되는 접합 커패시턴스이다. 상기 n-도핑된 영역은 상기 p-실리콘에 비해 높은 전압으로 유지되어, 이 영역을 광활성화되게 하고 영역에 이르는 광자의 양에 비례하는 전류를 발생시킨다.

포토다이오드와 구별되어, 포토게이트는 얇은 필드 산화물 (일반적으로 SiO2) 위에 폴리실리콘 게이트로 구성되며 상기 산화물은 실리콘 위에 존재한다. 본 게이트는 능동 광 변조와 결합된 전압에 의해 변조되어 상기 광의 진폭 위상에 비례하는 전류 신호를 생성한다. 그러나, 본 발명자들은 전압 변조 포토게이트를 사용하여 TOF 촬상을 수행하는 능력 이외에도, 포토게이트는 게이트 전압이 일정하게 유지될 때 포토다이오드처럼 작용할 것이라는 것을 인식했다. 따라서 포토게이트는 일반 촬상과 TOF 촬상을 모두 수행 할 수 있고; 또한 회절 격자가 이러한 장치 위에 통합되면, LF 촬상과 TOF 촬상을 모두 수행 할 수 있다. LF 촬상과 TOF 촬상을 동시에 수행하기 위하여, TOF 촬상을 수학적으로 반전시켜 일반 이미지와 TOF 심도 이미지를 복구 할 수 있다. 이에 대해서는 아래에서 보다 상세하게 설명된다.

통합 하이브리드 LF/TOF 촬상 시스템, 구성 요소(픽셀) 및 방법(LF 및 TOF 촬상 동시에)은 여기서는 '심도' 촬상(시스템, 픽셀, 방법) 이라고 한다. 구현된 심도 촬상 시스템은 코딩된 신호를 사용하여 고해상도 심도 정보 및 완화된 다중 경로 간섭의 TOF 이점을 갖는 사후 캡처 디지털 리포커싱과 같은 LF 시스템 이점을 계승한다. 또한, LF 및 TOF 촬상은 모두 온칩으로 구현되었고, 구현된 하이브리드 픽셀 구조는 두 가지 방식 모두를 또한 온칩으로 결합할 수 있다. 각 양식에는 상대적으로 단점: 라이트 필드로부터의 심도는 텍스쳐가 있는 표면을 요구하고, 불일치 대상 거리에 의존적이며, 단일 주파수 TOF 촬상은 위상 래핑 (phase wrapping)으로 인해 어려우며, 셔터 속도가 낮은 작은 조리개 카메라로 제한되지만, 상기 구현된 심도 장치 및 방법은 이러한 모든 제한들을 완화할 수 있다

도 1은 구체화된 심도 시스템 (촬상 시스템 또는 픽셀 컴포넌트)의 TOF 컴포넌트에서 이용되는 포토게이트 (100)를 개략적으로 도시한다. 상기 포토게이트(100)는 CMOS 프로세스에서 실리콘 (P-기판)상의 SiO2 위의 폴리실리콘 게이트 (PG)로 구성된다. 상기 게이트가 동기화된 능동(즉 변조가능한) 광 (조명) 변조와 결합된 전압에 의해 변조될 때, 상기 광의 진폭의 위상에 비례하는 전류 신호가 생성된다.

도 2는 본 발명의 일 실시예에 따른 CMOS 구조의 심도 픽셀 (Angle Sensitive Photogate 'ASPG') (200)의 개략적인 단면도이다. 상기 픽셀(200)은 대표 포토게이트(203) 위에 SiO2 내의 2 개의 주기적인 금속 회절 격자들(M5, M3) (201,202)을 포함한다.

도 3은 본 발명의 일 실시예에 따라 사용된 2 개의 인터리빙된 포토게이트 (301, 303)의 개략적 인 평면도이다. 상기 도면에서 PC = 폴리실리콘, RX = 확산 영역, PC + RX = 채널을 통한 MOSFET의 게이트, RX 단독 = 트랜지스터의 소스/드레인 (P + 또는 N + 영역)을 나타낸다. 장치 구현에서 격자 (여기에 표시되지 않음)는 인터리빙 된 포토게이트와 동일한 피치로, 장치의 상단에 수평 방향으로 배치된다.

도 4는 본 발명의 일 실시예에 따른 심도 촬상 시스템 아키텍처(400)의 개략적인 블록도를 도시한다. 시스템(400)은 ASPG 어레이(402), 상기 어레이에 커플링된 행-드라이버(403), 열 증폭기(404) 및 A/D 변환기(405)를 포함한다. 당업자는 롤링 셔터와는 대조적으로, 글로벌 셔터는 전체 이미지 센서를 한번에 노출시키고 행 별로 읽어낼 수 있도록 구현 가능하다는 것을 인식할 수 있을 것이다.

도 5는 본 발명의 예시적인 실시예에 따른 심도 촬상 시스템 신호 체인 아키텍처(500)의 개략적 인 블록도를 도시한다. 예시적 양태에서, 능동 (변조 가능한) 광원(501)-예를 들어, Asin[2πf _m t]의 형태로 변조 주파수 f _m 에서 사인파 (또는 구형파)에 의해 변조된, 출력 진폭 A를 갖는 레이저-은 상기 대상 장면을 비추고, 부딪혀 산란하고, 반환광은 심도=cφ/4πf _m 에서 위상지연 Asin[2πf _m t-φ]를 얻는다. f _m 에서 변조된 상기 인터리빙된 포토게이트(301, 30)는 차동 전압 V0을 생성 한 다음 f _m + 90 도에 대해 V90을 생성한다. 우선, φ= atan (V90/V0) (최대 범위는 c/2f _m 이고 분해능은 f _m 에 비례한다).

도 6은 본 발명의 예시적인 실시예에 따른 심도 촬상 시스템의 온칩 모듈레이터 아키텍처 (600)의 개략적인 블록도이다. 정현파 및 무작위 이진 패턴을 포함하는 TOF 변조를 생성하기 위해, 상기 TOF 변조는 온칩 메모리(601)내에 국부적으로 저장될 수 있고, 고속 클럭 (604)에 의해 구동되는 선출회로(selector circuit)(603)를 사용하여 온칩 메모리(601)로 신속하게 액세스 하여 포토게이트(605)를 구동할 수 있게 한다. 이러한 설계는 TOF 촬상의 심도 감도를 향상시키는 TOF 변조 신호에 대한 고속 주파수 스위칭을 가능하게 한다.

아래에서는 LF 및 TOF 촬상의 수학 공식을 심도의 개념으로 설명한다. 이러한 피사계를 캡처하는 방법 및 알베도를 회복하기 위해 상기 전방 모델을 반전시키는 방법을 제시하는데,

활성 조명에 대한 오브젝트의 반사율 값, 2D 공간 좌표 및 2D 각도 좌표의 함수로서 정의된다.

심도를 캡처하기 위한 상기 전방 모델을 설명하기 위해, 먼저 LF 및 TOF 촬상에 대한 전방 모델을 논의한다.

라이트 필드

라이트 필드는 일반적으로 두 평면 모델 l(u, v, x, y)에 의해 매개 변수화되며, 여기서 (u, v)는 렌즈 평면에서의 각도 좌표이고 (x, y)는 센서 평면의 공간 좌표이다. 이 함수의 출력은 두 평면과의 교차점을 통해 매개 변수화 된 광선의 밝기를 나타낸다. 라이트 필드 캡처에 대한 전방 모델은 다음의 문헌에서 모델링되어왔다.

여기서 i _LF (x, y)는 검출기에 의해 측정된 강도이고, m(u, v, x, y)는 입사 광선을 인코딩하는 변조/다중화 함수이다. 변조 함수는 핀홀(m(u, v, x, y) = δ(u, v, x, y))을 포함하는 라이트 필드를 감지하기 위해 사용될 수 있는 다른 광학 요소들, 푸리에(Fourier) 마스크, 랜덤 코드/마스크, 또는 회절격자를 나타내며 이때 상기 변조 함수들은 가버 웨이브렛(Gabor wavelets)이다. , i _LF , l는 벡터화 된 이미지 및 라이트 필드이고 M은 변조 매트릭스 위의 방정식일때, i _LF = Ml 을 이산화하면, 선형 및 비선형 역변환은 모두 라이트 필드를 복구할 수 있다.

비행 시간 촬상

대조적으로, TOF는 전형적으로 들어오는 입사광 신호와 센서로 보내지는 레퍼런스 코드 사이의 교차상관을 사용하여 모델링된다. 주어진 입사광의 형태:

1 + αcos (f _M t + (x, y))

이때 φ는 광원에서 대상으로 카메라로의 광학적 이동 결로에 기인하여 누적된 위상이고, α는 알베도이며, (적분 시간으로 정규화된) 상기 센서에서의 세기:

여기서 τ는 레퍼런스 신호의 위상 시프트를 제어하는 교차 상관 매개 변수이다. fM τ = 0, π/2, π, 3π/2가 되도록 다른 τ를 선택함으로써, 아래의 구적 역변환을 사용하여 알베도 및 각 공간 위치 (x, y)에서의 위상 φ를 복구할 수 있다:

d = cφ/4f _M 은 TOF 촬상을 위해 위상 φ로부터 심도 d를 직접 복구 할 수 있는 것을 유의한다.

심도(Depth Fields)

이제 모든 (u, v, x, y) 공간-각 좌표, 즉, α = α(u, v, x, y), φ = φ(u, v, x, y)에서 발생하는 (위상으로 인코딩된) 알베도와 심도의 순서쌍 (α, φ)으로서 심도 필드의 개념을 논의한다.

TOF는 핀홀 카메라 모델을 가정하고 이때 상기 핀홀 카메라 모델은 특정한 고정된 (u, v)에서 φ 및 α를 샘플링 하기 때문에, 심도는 TOF 측정만 가지고는 복구 할 수 없다는 점에 유의해야 한다.

심도 촬상의 전방 모델은 다음과 같이 설명된다.

대략적으로는,

이 모델을 반전시키기 위해, 각 공간 위치에서 영상 i(0), i(90), i(180), i(270) 를 얻으려면 네 가지 측정 f _M τ = 0, π/2, π, 3π/2 를 취한다. 그런 다음 M ^-1 i(τ)를 계산하여 이러한 영상들 각각에 대한 라이트 필드 매트릭스를 반전시킨다(참고: 이러한 낮은 공간 해상도에서 수행되거나 선명하지 않은 사전 또는 모델링 가정을 사용하여 해상도를 유지할 수 있다). 따라서 우리는 모든 (u, v, x, y)에서 혼합된 알베도 및 위상을 회복시킨다:

상기 알베도와 위상을 풀기 위해, 이전과 같이 f _M τ = 0, π/2, π, 3π/2 에 대해 D '에 대한 구적 역변환을 수행하여 TOF에서 심도를 복구할 수 있다.

심도 캡처 방법

우리는 심도의 단일 샷 캡처에 대한 가능성을 설명한다 (참고 : '단일 샷'은 샷 당 4 단계 측정이 수행되기 때문에 잘못된 이름이지만, 이러한 기능은 단일 노출에서 작동하도록 하드웨어에 집어넣을 수 있다). 대부분의 라이트 필드 센서에서와 같이, 포토게이트, 측광 믹서 디바이스, 측방 전계 변조기 및 당업계의 공지된 다른 것들과 같은CMOS TOF 센서 위에 마이크로 렌즈를 정렬할 수 있다. 그렇게 하면 상기 센서 평면에서 공간 해상도를 희생하여 상기 각평면을 샘플링 할 수 있다. 주 렌즈는 조리개를 넓힐 수 있기 때문에 마이크로 렌즈 밑의 서브 조리개 뷰 각각이 큰 피사계 심도를 유지하면서 더 많은 광 투과를 가능하게 한다. 이는 기존의 TOF 카메라가 작은 조리개와 넓은 피사계 심도를 유지하기 위해 노출 시간을 희생하므로 유리하다. 카메라 몸체내의 공액상 평면에서 마이크로 렌즈의 미세 광학 정렬에 주의를 기울여야 한다. 예를 들어, 초점 거리 f를 갖는 렌즈를 사용할 때, 심도 센서는 거리 f + Δf (경험적으로, 예를 들어, f = 50mm, Δf = 0.5 내지 2mm)에 위치해야 한다.

대안으로 구현된 심도 센서는 입사각 광선을 필터링하기 위해 포토게이트의 센서 평면과 메인 렌즈 사이에 진폭 마스크를 사용할 수 있다. 마이크로 렌즈보다 적은 광 투과율을 허용하면서, 마스크는 심도의 개선된 재구성을 위해 다른 코딩 패턴으로 설계될 수 있고 고정 광학 요소와 달리 카메라 본체 내에서 유연하게 상호 교환 될 수 있다.

또 다른 실시예는 외부 광학 요소들의 정렬을 필요로 하지 않고 상술한 ASP 설계와 유사한 인터리빙된 포토게이트에 집적 회절 격자를 사용하는 완전히 통합된 CMOS 픽셀 디자인이다. 이 러한 센서는 들어오는 빛을 회절시켜 밑의 포토게이트에 의해 촬상된 탈봇(Talbot) 패턴을 형성함으로써 작동한다. 이 ASPG 픽셀은 위상 격자들을 가지고 보다 나은 광효율을 얻을 수 있고, 비용 및 대량 생산을 위한 CMOS 통합의 장점을 유지하면서 인터리빙된 포토게이트들을 가지고 그거의 픽셀 크기를 줄일 수 있다. 도 7A는 심도를 캡처하기 위한 단일 샷 카메라 시스템에 대한 3 개의 픽셀 개념 설계를 도시한다. 마이크로 렌즈, 진폭 마스크 또는 회절 격자는 라이트 필드와 TOF 정보를 동시에 캡처하기 위해 포토게이트 위에 위치시킨다. 도 7B는 LF 이미저(imager)에서 사용될 수 있는 이진 홀수-대칭 위상 격자를 도시한다. 도 7C는 세그먼트의 폭이 상기 격자의 중심으로부터의 거리에 따라 증가하는 반경 방향의 홀수 대칭 위상 격자를 도시한다.

도 8a, 8b, 및 8c는 심도 캡처의 개략도를 제공하고, 도 8a는 TOF 카메라들의 어레이를 개념적으로 사용하여 심도를 캡처하는 것을 도시하고, 도 8b는 ( u,v,x,y )의 4D 함수로서 알베도를 나타내며, 도 8c는 (u,v,x,y)의 4D 함수로서 TOF 심도 값에 대응하는 위상을 도시한다.

이제 심도 필드의 몇 가지 새로운 응용에 대해 설명한다.

합성 조리개 리포커싱 (refocusing)

TOF 촬상의 한 가지 단점은 정확한 심도 값을 산출하기 위해 큰 피사계 심도에 대해 작은 조리개가 필요하다는 것이다. 얕은 피사계 심도 또는 넓은 조리개를 사용하면 TOF 심도 값을 손상시키는 광학적 흐림이 발생한다. 그러나 작은 조리개는 셔터 속도를 제한하고 이러한 시스템의 획득 시간을 증가시킨다. 대조적으로, 라이트 필드 촬상은 합성 조리개 리포커싱을 사용하여 피사계 심도와 조리개 크기 사이의 균형을 깨뜨린다. 픽셀 위에 마이크로 렌즈가 있는 플레놉틱 센서는, 공간 해상도가 손실되는 때에도 상기 마이크로렌즈 밑의 서브-조리개 영상들을 초점이 맞도록 유지하면서, 조리개를 열 수 있고 보다 많은 광투과를 허용한다. 캡처 후, 디지털 방식으로 상기 영상의 초점을 재조정 할 수 있으므로 4D 라이트 필드를 전단(剪斷)한 다음 (u, v)를 합산하여 다른 초점 면들로 영상들을 합성함으로써 피사계 심도를 확장할 수 있다.

심도에도 동일한 기술이 적용될 수 있다. 도 9 (a-e)는 동일한 전단 및 평균 작동 적용에 의한 4Dφ (u, v, x, y) 정보의 디지털 리포커싱을 도시한다. 이전의 심도 맵에서는 볼 수 없었던 장면을 위한 큰 가상 조리개를 통해 캡처를 합성 할 수 있고, 상기 장면은 예술적/사진 효과를 강화하기 위해 넓은 조리개 광도 영상들과 결합 될 수도 있다. 또한 이것은 마이크로 렌즈가 있는 TOF 센서와 같은 단일 샷 심도 센서가 조리개를 통해 더 많은 빛을 허용할 수 있고, 동일한 피사계 심도를 유지하면서 노출을 증가시킬 수 있음을 입증한다. 이로 인해 손실된 공간 해상도와 후처리 알고리즘에서의 피사계 심도를 계산적으로 복구하는 비용으로 TOF 센서의 획득 시간을 단축 할 수 있다.

위상 언랩핑 모호성

단일 주파수 TOF에 대한 한 가지 주요 한계는 위상이 2π 주기성을 갖기 때문에 심도 추정값이 변조 파장을 둘러쌀 것이라는 점이다. 수십 MHz인 변조 주파수에서, 이것은 수 미터의 심도 범위에 해당하며, 다중 주파수 또는 위상 언랩핑 알고리즘을 사용함으로써 더 확장될 수 있다. 그러나 변조 주파수 범위가 높아지면 위상 랩핑이 더욱 심해진다.

단일 변조 주파수에서 심도를 캡처하는 것으로 다른 관점에서 본래의 에피폴라 기하학을 활용함으로써 위상주기를 풀 수 있음을 알 수 있다. 우리는 MW Tao, S. Hadap, J. Malik 및 R. Ramamoorthi 의 2013년도 IEEE, IEEE 국제 컨퍼런스 (ICCV), 673-683 페이지에 게시된 Depth from combining defocus and correspondence using light-field cameras에서 발표된 대응 알고리즘으로부터 심도를 사용하는데, 이것은 거칠고 거리에 따라 다르지만 위상 랩핑으로 어려움을 겪지 않으므로TOF가 제공하는 심도 측정 값을 언랩핑 할 수 있다.

도 10 (a-e)는 합성 데이터에 위상 언랩핑 알고리즘을 사용하는 것을 도시한다. 도 10a는 레이 트레이서(ray tracer) Mitsuba를 사용하여 시뮬레이션 된 박스 장면 및 캡처된 심도를 도시한다. 도 10b, e에서, 위상 랩핑을 시뮬레이션하고 대응으로부터 심도가 계산된다. 위상 언랩핑을 수행하기 위해, 영상에서 연속선 (이 장면의 측벽)을 선택하여 TOF 영상이 장면에서 랩핑되는 횟수를 결정한다. 이 맵핑을 이용하여 랩핑된 TOF 심도 값을 대응으로부터의 심도 값과 매치시켜 그림 도10d에 나타낸 바와 같이 전체 영상에 대해 언랩핑된 TOF 심도 값에 이르게 된다. 또한, 대응으로부터 심도를 계산할 때 가장자리 불연속성을 완화하기 위해 중간 필터를 사용한다.

도 10e는 장면의 언랩핑 심도 맵을 도시한다.

부분 폐색자(occlude)를 통한 리포커싱

4D 심도를 캡처하여 합성할 수 있는 큰 합성 조리개를 사용하면 전경에서 폐색자들을 지나쳐서 촬상할 수 있다. 이러한 기술은 배경을 드러내기 위해 상기 전경을 흐릿하게 하고 덤불과 식물들을 통해 보기 위하여 라이트 필드에서 보여져 왔다, 동일한 기술을 상기 심도에 적용하면 상기 알베도에 대해서 올바르게 작동한다(전경을 흐릿하게 하면서 대상을 명확하게 볼 수 있다), 하지만 위상에 대해서는 작동하지 않는 것에 주의한다. 그 이유는 시각적으로 전경색과 배경색의 일부 혼합을 지각적으로 허용 할 수 있지만, 이 같은 혼합은 우리의 위상 측정을 변질시키고 부정확한 심도 값을 유도한다.

라이트 필드를 리포커스할 때, 이런 혼합 문제를 해결하기 위해, 연구원은 전단된 라이트 필드에 대해 평균화할 때 전경에서 오는 광선을 단순히 추가하지 않았다. 연구원의 가장 중요한 가정은 전경 오브젝트 광선이 연속적인 비디오를 촬영하는 것 또는 에피폴라 영상을 구축하고 대응 심도를 찾고, 배경에 상대적으로 전경을 분리하는 것에 의해서 식별된다는 것이다. 이러한 알고리즘들은 가리는 대상 픽셀을 식별하는데 계산상 많은 비용이 든다. 대조적으로, TOF 측정을 통해 직접 캡처된 심도를 직접 활용하여, 장면에서 관측된 심도의 히스토그램을 구성한다. 그 다음 에피 폴라 영상을 구성하고, 라인 기울기를 추정한 다음 클러스터링을 수행하기 위해 히스토그램을 형성하는 것보다 빠른, K-평균 또는 다른 계산적으로 효율적인 클러스터링 알고리즘을 사용하여 전경 클러스터를 선택할 수 있다.

산란 매체를 지나서 리포커싱

바로 위의 논의에서는 특정 (u, v) 시점에 대한 배경을 차단하는 부분 폐색자를 다루지만, 산란 매체 또는 반투명 대상과 같은 다른 폐색자는 한 개의 픽셀에서 다른 광학 경로 길이들에 함께 대응하는 다중 위상 측정을 혼합하기 때문에 보다 더 어렵다. 본 문제는 코딩된 TOF, 특히 2015년 IEEE International Conference on Computer Vision (ICCV)에서 수락된 R. Tadano, A. Pediredla 및 A. Veeraraghavan에 의해 발표된 심도 선택 코드: 사진에서의 심도 선택성을 위한 직접적이며 온칩 프로그래밍이 가능한 기술을 통해서 접근한다. 코딩된 TOF는 지나간 산란 매체를 촬상함으로써 우리의 심도 카메라 시스템의 기능을 확장하여, 공간정보를 이용하여 디지털 리포커싱을 수행할 수 있도록 한다. 우리는 상기 산란 매체를 지나서 심도를 얻기 위해 후방 산란 망을 통해 촬상하였다. 우리는 강한 후방산란자(backscatter) 역할을 하는 망을 상기 카메라 앞에 배치하였고, 이것은 산란으로 인하여 심도 값을 현저하게 변질시켰다. 상기 심도 선택 코드를 사용하여, 우리는 그물을 지나쳐 촬상할 수 있고, 다른 (u, v) 시점에서 다수의 샷을 사용하여 그물망 너머에 심도를 캡처하고 디지털 리포커싱을 수행 할 수 있었다. 따라서 심도 촬상이 코드화된 TOF 기술의 장점을 어떻게 활용할 수 있는지를 입증할 수 있다.

심도들은 라이트 필드와 TOF 촬상을 공간-각도 함수의 단일 함수로 통합할 수 있고, 다양한 응용에 유용하다. 두 가지 촬상 양식을 추가하는 간단한 확장 외에도, 이들은 TOF 정보를 사용하고 조리개와 피사계 심도 간의 균형을 깸으로써 서로 알릴 수 있고 알고리즘을 계산적으로 보다 효율적이고 개념적으로 보다 단순하게 만들 수 있는데, 특히, 라이트 필드에 대한 다양한 폐색자들의 문제를 해결하는 데 있어서 그러하다. 이와 같이 라이트 필드 심도 추정의 개선은 심도 필드 카메라에 대해 적용되어 심도 해상도를 향상시킬 수 있다.

심도 필드 카메라와 관련된 풀리지 않는 의문점은 픽셀 크기이며, 이로 인해 픽셀 멀티플렉싱이 문제가 될 수도 있다. 우리는 TOF 픽셀이 현재 10μm로 줄어들었으며 보통 픽셀 (1um)보다 10 배 더 크기 때문에 누적된 이미지 센서들과 같은 기술적 진보가 이러한 멀티플렉싱 문제를 완화하는 데 도움이 될 수 있다는 것에 주의한다. 그럼에도 불구하고, 심도 카메라의 명확한 장점은 공간 해상도가 제한 요소가 아닌 어플리케이션이다. 여기에는 공간 픽셀 레이아웃이 중요하지 않은 조리개 및 렌즈가 없는 촬상에 의해 제한되는 촬상 시스템이 포함된다.

일부 제한 사항에는 단일 샷 심도 카메라를 위해 손실된 공간 해상도를 복구하기 위한 긴 연산 알고리즘, 또는 심도를 스캔라인(scanline)하는 기계적 갠트리상의 TOF 카메라 또는 대형 카메라 어레이를 위한 증가된 획득 시간을 포함한다. 많은 응용들은 야생에서 심도 센싱에 부분적으로 견고성을 제공하지만, 실제 자율 시스템에 배치를 제한하는 모델링 추정 (전경 vs. 배경 분리, 산란 매체가 대상을 가라 앉히지 않음)에 의존한다.

몇몇 발명의 실시예가 본 명세서에서 설명되고 예시되었지만, 당업자는 기능을 수행하고 /하거나 결과를 얻고/거나 설명된 하나 이상의 이점을 얻기 위한 다양한 다른 수단 및/또는 구조를 쉽게 구상 할 것이다. 이러한 변형 및/또는 변형의 각각은 본원에 기재된 본 발명의 실시 양태의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 당업자들은 여기에 기술된 모든 파라미터들, 치수들, 재료들 및 구성들이 예시적인 것으로 의도되고 실제 파라미터들, 치수들, 재료들 및/또는 구성들이 특정 응용들 또는 본 발명의 교시가 사용된 응용들에 의존할 것이다. 당업자는 일상적인 실험만을 사용하여 본 명세서에 기재된 특정 발명적 실시예들에 대한 많은 균등물을 인식할 것이거나 확인할 수 있을 것이다. 그러므로, 전술한 실시예는 단지 예로서 제시되고, 첨부된 청구 범위 및 그에 대응하는 범위 내에서, 본 발명의 실시예는 구체적으로 기술되고 청구 된 것과 다르게 실시 될 수 있음을 이해해야 한다. 본 개시의 발명적인 실시예는 본 명세서에 기재된 각각의 개별적인 특징, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다. 또한 둘 이상의 그러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법의 모든 조합이 본 발명의 진보성 범위는, 그러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법이 상호 불일치하지 않는 경우, 본 개시의 발명의 범위 내에 포함되는 것이다.

본 명세서에서 정의되고 사용되는 모든 정의는 사전 정의, 참조로 편입된 문헌에서의 정의 및/또는 정의된 용어의 통상적인 의미를 제어하는 것으로 이해되어야 한다.

본 명세서 및 청구의 범위에서 사용된 바와 같이, 반대되는 것으로 명확히 표시되지 않는 한, 하나로 나타낸 단수명사는 "적어도 하나"를 의미하는 것으로 이해되어야 한다.

본 명세서 및 청구의 범위에서 사용된 "및/또는"이라는 문구는 이와 같이 결합된 요소들 중 "어느 하나 또는 둘 모두"를 의미하는 것으로 이해되어야 하며, 즉, 어떤 경우에는 결합적으로 존재하고 다른 경우에는 분리적으로 존재하는 요소 사례. "및/또는"과 함께 나열된 다수의 구성 요소는 동일한 방식으로, 즉 결합된 구성 요소 중 "하나 이상"으로 해석되어야 한다. 구체적으로 식별된 요소와 관련이 있는지 여부와 상관없이 "및/또는"절에 의해 구체적으로 식별되는 요소 이외에 다른 요소가 선택적으로 존재할 수 있다. 따라서, 비 제한적인 예로서, "포함하는 "과 같은 제한이 없는 언어와 함께 사용될 때, "A 및/또는 B"에 대한 참조는 일 실시예에서 A만을 (B 이외의 요소들을 선택적으로 포함); 다른 실시 양태에서는 B 만 (A 이외의 요소들을 선택적으로 포함)으로; 또 다른 구현 예에서는, A 및 B 모두 (임의로 다른 원소를 포함); 기타를 나타낼 수 있다.

본 명세서 및 청구의 범위에서 사용된 "또는"은 상기에서 정의된 "및/또는"과 동일한 의미를 갖는 것으로 이해되어야 한다. 예를 들어, 목록에서 항목을 분리할 때, "또는" 및/또는 "및/또는"은 포괄적인 것으로 해석되어야 하며, 즉 하나 이상의 번호 또는 하나 이상의 목록을 포함하는 것으로, 선택적으로 목록에 없는 추가 항목들 중 하나 이상을 포함한다. "오직 하나"또는 "정확히 하나"와 같이 반대로 명백하게 표시된 용어 또는 청구 범위에서 사용되는 경우 "~로 이루어진"이라는 용어만이 번호 또는 목록의 정확히 하나의 요소를 포함하는 것을 의미 할 것이다. 집단. 일반적으로, 본원에서 사용된 "또는"이라는 용어는 "~중(의) 하나", "~중 단 하나", "정확히 ~중 어느 하나"등과 같이 배타적인 용어로 선행될 경우에만 배타적인 대안 (즉, "하나 또는 다른 하나 하지만 둘 다는 아닌")으로 해석되어야 할 것이다. "~으로 본질적으로 구성된다 "는 특허법 분야에서 통상적으로 사용되는 의미를 갖는다.

본 명세서 및 청구의 범위에서 사용된 바와 같이, 하나 이상의 구성 요소의 리스트와 관련하여 "적어도 하나"라는 문구는 상기 구성 요소의 임의의 하나 이상의 구성 요소로부터 선택된 적어도 하나의 구성 요소를 의미하는 것으로 이해되어야 한다. 구성 요소들의 리스트를 포함하지만, 반드시 요소들의 리스트 내에 특별히 나열된 각각의 모든 구성 요소들 중 적어도 하나를 포함하는 것은 아니며, 구성 요소들의 리스트에서 요소들의 임의의 조합을 배제하지 않는다. 이 정의는 또한 "적어도 하나"라는 문구가 언급된 구성 요소 목록 내에서 구체적으로 식별된 요소 이외의 요소가 선택적으로 존재할 수 있게 하며, 구체적으로 식별된 요소와 관련이 있거나 관계가 없다. 따라서, 비제한적인 예로서, "A 및 B 중 적어도 하나"(또는 동등하게, "A 또는 B 중 적어도 하나" 또는 동등하게 "A 및/또는 B 중 적어도 하나")는 하나 이상의 실시 양태에서 B를 함유하지 않는 하나 이상의 A를 선택적으로 포함하는 하나 이상의 (선택적으로 B 이외의 요소를 포함) 화합물; 다른 실시 양태에서 A는 존재하지 않는 (및 임의로 A 이외의 요소를 포함) 하나 이상의 B를 선택적으로 포함하며, 또 다른 실시 양태에서, 하나 이상의 A, 임의적으로 하나 이상의 A 및 적어도 하나의 임의로 B를 포함하는 하나 이상의 B (및 선택적으로 다른 요소를 포함); 기타를 나타낼 수 있다.

반대로 명확하게 지시되지 않는 한, 하나 이상의 단계 또는 동작을 포함하는 본 명세서에 청구 된 임의의 방법에서, 방법의 단계 또는 동작의 순서는 반드시 단계 또는 동작이 나열되는 순서에 한정되는 것은 아니라는 것을 이해해야 한다.

청구 범위 및 상기 명세서에서, "포함하는", "포함하는", "들고 있다", "가지고 있다", "포함하다", "포함하다", "보유하다", "구성되어있다" 등의 전이부 구는 한정적이지 않은 의미로 이해되어야 한다. "이루어진", "본질적으로 이루어진"과 같은 전이부 구는 미국 특허청 심사소 매뉴얼, 섹션 2111.03에 명시된 바와 같이 각각 닫힌 또는 반이 닫힌 전이부 구이어야 할 것이다.

Claims

장면을 촬상하는 심도 촬상 장치에 있어서, 상기 심도 촬상 장치는:
장면을 조명하기 위해 광을 방출하도록 구성된 광원, 및 상기 방출된 광에 응답하여 상기 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 복수의 TOF 센서들을 포함하는 비행 시간(TOF) 촬상부; 및
반환 광의 경로에 배치되고 상기 복수의 TOF 센서들에 의한 상기 반환 광의 검출 전에 상기 반환 광을 공간적으로 변조하도록 구성된 라이트 필드(LF) 촬상부를 포함하고,
상기 복수의 TOF 센서들 및 상기 LF 촬상부는 단일 온칩 아키텍처에서 구현되고, 및
상기 복수의 TOF 센서들에 의해 획득된 상기 심도 영상은 상기 LF 촬상부에 의해 상기 반환 광에 적용된 상기 공간 변조에 의해 인코딩된 LF 정보, 및 TOF 정보를 포함하는, 상기 심도 촬상 장치.
제1항에 있어서, 상기 LF 촬상부는 격자를 포함하는, 상기 심도 촬상 장치.
제2항에 있어서, 상기 격자는 금속 격자인, 상기 심도 촬상 장치.
제2항에 있어서, 상기 격자는 주기적 격자인, 상기 심도 촬상 장치.
제2항에 있어서, 상기 격자는 위상 격자인, 상기 심도 촬상 장치.
제5항에 있어서, 상기 위상 격자는 반(홀수) 대칭 위상 격자인, 상기 심도 촬상 장치.
제1항에 있어서, 상기 LF 촬상부는 마이크로렌즈를 포함하는, 상기 심도 촬상 장치.
제1항에 있어서, 상기 LF 촬상부는 진폭 마스크를 포함하는, 상기 심도 촬상 장치.
제1항에 있어서, 상기 복수의 TOF 센서들은 복수의 포토게이트들을 포함하는, 상기 심도 촬상 장치.
제9항에 있어서, 상기 복수의 포토게이트들은 인터리브된 포토게이트들을 포함하는, 상기 심도 촬상 장치.
제9항에 있어서, 상기 광원은 변조 주파수에서 상기 방출된 광을 변조하도록 구성되고, 상기 복수의 포토게이트들은 상기 변조 주파수에서 상기 반환 광을 검출하도록 변조되는, 상기 심도 촬상 장치.
제1항에 있어서, 상기 심도 촬상 장치의 대상 측에 배치된 렌즈를 더 포함하는, 상기 심도 촬상 장치.
제1항에 있어서, CMOS 아키텍처에서 구현되는 상기 심도 촬상 장치.
제1항에 있어서, LF 촬상 동작 모드를 포함하고, 상기 복수의 TOF 센서들은 상기 LF 촬상부를 통과한 장면 광을 검출함으로써 상기 장면의 LF 이미지를 획득하도록 구성되는, 상기 심도 촬상 장치.
제14항에 있어서, 상기 복수의 TOF 센서들은 변조 가능한 게이트 전압을 가지는 복수의 포토게이트들을 포함하고, 상기 변조 가능한 게이트 전압은 상기 LF 촬상 동작 모드에서 일정하게 유지되는, 상기 심도 촬상 장치.
심도 픽셀 구조로서, 상기 심도 픽셀 구조는:
장면을 조명하는 광에 응답하여 상기 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 비행 시간(TOF) 센서들의 세트; 및
상기 반환 광의 경로에 배치되고 상기 TOF 센서들의 세트에 의한 상기 반환 광의 검출 전에 라이트 필드(LF) 정보를 상기 반환 광에 인코딩하도록 구성된 LF 촬상부를 포함하고,
상기 TOF 센서들의 세트 및 상기 LF 촬상부는 단일 온칩 아키텍처에서 구현되는, 상기 심도 픽셀 구조.
장면을 촬상하는 심도 촬상 장치에 있어서, 상기 심도 촬상 장치는:
장면을 조명하기 위해 광을 방출하도록 구성된 광원, 및 상기 방출된 광에 응답하여 상기 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 복수의 포토게이트들을 포함하는 비행 시간(TOF) 촬상부; 및
상기 복수의 포토게이트들에 의한 상기 반환 광의 검출 전에 상기 반환 광을 회절시키도록 구성된 회절 격자를 포함하고,
상기 복수의 포토게이트들 및 상기 회절 격자는 단일 온칩 아키텍처에서 구현되고, 및
상기 복수의 TOF 센서들에 의해 획득된 상기 심도 영상은 상기 회절 격자에 의해 인코딩된 LF 정보 및 TOF 정보를 포함하는, 상기 심도 촬상 장치.
장면을 촬상하기 위한 방법으로서, 상기 촬상 방법은:
비행 시간(TOF) 광원에 의해 방출된 광으로 장면을 조명하는 단계;
라이트 필드(LF) 촬상부로, 상기 방출된 광에 응답하여 상기 장면으로부터 반환된 광을 반환 광을 공간적으로 변조하는 단계; 및
상기 공간적으로 변조된 반환 광을 검출함으로 상기 장면의 심도 영상을 획득하는 단계를 포함하고, 상기 심도 영상은 상기 LF 촬상부에 의해 인코딩된 LF 정보, 및 TOF 정보 모두를 포함하는, 상기 촬상 방법.
제18항에 있어서, 플레놉틱 공간-각 좌표의 함수로서 상기 장면의 알베도 맵 및 심도 맵을 획득하기 위해 상기 심도 영상을 처리하는 단계를 더 포함하는, 상기 촬상 방법.
제18항에 있어서, 디지털 리포커싱 기술을 이용하여 상기 심도 영상을 처리하는 단계를 더 포함하는, 상기 촬상 방법.
제18항에 있어서, 위상 언랩핑 기술을 이용하여 상기 심도 영상을 처리하는 단계를 더 포함하는, 상기 촬상 방법.
심도 촬상 시스템에 있어서, 상기 심도 촬상 시스템은:
장면을 조명하기 위해 광을 방출하도록 구성된 광원; 및
심도 픽셀 구조들의 어레이를 포함하고,
각각의 심도 픽셀 구조는 단일 온칩 아키텍처에서 구현되고 및
상기 방출된 광에 응답하여 상기 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 TOF 센서들의 세트; 및
상기 반환 광의 경로에 배치되고, 상기 복수의 TOF 센서들에 의한 상기 반환 광의 검출 전에 공간 변조에 의해 라이트 필드(LF) 정보를 상기 반환 광에 인코딩하도록 구성된 LF 촬상부를 포함하는, 상기 심도 촬상 시스템.
제22항에 있어서, 상기 장면과 상기 심도 픽셀 구조들의 어레이 사이에 배치된 렌즈를 더 포함하는, 상기 심도 촬상 시스템.
제22항에 있어서, 글로벌 셔터를 더 포함하는 상기 심도 촬상 시스템.
장면을 촬상하기 위한 심도 촬상 장치에 있어서, 상기 심도 촬상 장치는:
장면으로부터 반환된 반환 광의 경로에 배치되고 비행 시간(TOF) 촬상부에 의한 상기 반환 광의 검출 전에 상기 반환 광을 공간적으로 변조하도록 구성된 라이트 필드(LF) 촬상부를 포함하고,
상기 TOF 촬상부에 의해 획득된 심도 영상은 공간 변조에 의해 인코딩된 LF 정보, 및 TOF 정보를 포함하는, 상기 심도 촬상 장치.
제25항에 있어서, 상기 LF 촬상부는 격자를 포함하는, 상기 심도 촬상 장치.
제26항에 있어서, 상기 격자는 금속 격자인, 상기 심도 촬상 장치.
제26항에 있어서, 상기 격자는 주기적 격자인, 상기 심도 촬상 장치.
제26항에 있어서, 상기 격자는 위상 격자인, 상기 심도 촬상 장치.
제29항에 있어서, 상기 위상 격자는 반(홀수) 대칭 위상 격자인, 상기 심도 촬상 장치.
제25항에 있어서, 상기 LF 촬상부는 마이크로렌즈를 포함하는, 상기 심도 촬상 장치.
제25항에 있어서, 상기 LF 촬상부는 진폭 마스크를 포함하는, 상기 심도 촬상 장치.
제25항에 있어서, 상기 심도 촬상 장치의 대상 측에 배치된 렌즈를 더 포함하는, 상기 심도 촬상 장치.
제25항에 있어서, CMOS 아키텍처에서 구현되는 상기 심도 촬상 장치.
제25항에 있어서, 상기 TOF 촬상부를 포함하는, 상기 심도 촬상 장치.
심도 픽셀 구조에 있어서, 상기 심도 픽셀 구조는:
장면을 조명하는 광에 응답하여 상기 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 비행 시간(TOF) 촬상부; 및
상기 반환 광의 경로에 배치되고 상기 TOF 촬상부에 의한 상기 반환 광의 검출 전에 라이트 필드(LF) 정보를 상기 반환 광에 인코딩하도록 구성된 LF 촬상부를 포함하는, 상기 심도 픽셀 구조.
제36항에 있어서, 상기 TOF 촬상부는 TOF 센서들의 세트를 포함하는, 상기 심도 픽셀 구조.
장면을 촬상하는 방법으로서, 상기 촬상 방법은:
라이트 필드(LF) 촬상부로, 방출된 광에 응답하여 장면으로부터 반환된 반환 광을 공간적으로 변조하는 단계; 및
상기 공간적으로 변조된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하는 단계를 포함하고, 상기 심도 영상은, 상기 LF 촬상부에 의해 인코딩된 LF 정보 및 비행 시간(TOF) 정보 모두를 포함하는, 상기 촬상 방법.
제38항에 있어서, 플레놉틱 공간-각 좌표의 함수로서 상기 장면의 알베도 맵 및 심도 맵을 획득하기 위해 상기 심도 영상을 처리하는 단계를 더 포함하는, 상기 촬상 방법.
제38항에 있어서, 디지털 리포커싱 기술을 이용하여 심도 영상을 처리하는 단계를 더 포함하는, 상기 촬상 방법.
제38항에 있어서, 위상 언랩핑 기술을 이용하여 상기 심도 영상을 처리하는 단계를 더 포함하는, 상기 촬상 방법.
심도 촬상 시스템에 있어서, 상기 심도 촬상 시스템은 심도 픽셀 구조들의 어레이를 포함하고, 각각의 심도 픽셀 구조는:
방출된 광에 응답하여 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 비행 시간(TOF) 촬상부; 및
상기 반환 광의 경로에 배치되고, 상기 복수의 TOF 촬상부에 의한 상기 반환 광의 검출 전에 공간 변조에 의해 라이트 필드(LF) 정보를 상기 반환 광에 인코딩하도록 구성된 LF 촬상부를 포함하는, 상기 심도 촬상 시스템.
제42항에 있어서, 상기 TOF 촬상부는 TOF 센서들의 세트를 포함하는, 상기 심도 촬상 시스템.
제42항에 있어서, 상기 장면과 심도 픽셀 구조들의 어레이 사이에 배치된 렌즈를 더 포함하는, 상기 심도 촬상 시스템.
제42항에 있어서, 글로벌 셔터를 더 포함하는 상기 심도 촬상 시스템.
장면을 촬상하는 심도 촬상 장치에 있어서, 상기 심도 촬상 장치는:
방출된 광에 응답하여 장면으로부터 반환된 반환 광을 검출함으로써 상기 장면의 심도 영상을 획득하도록 구성된 비행 시간(TOF) 촬상부; 및
상기 TOF 촬상부에 의한 상기 반환 광의 검출 전에 상기 반환 광을 회절시키도록 구성된 회절 격자를 포함하고,
상기 TOF 촬상부에 의해 획득된 상기 심도 영상은 상기 회절 격자에 의해 인코딩된 LF 정보, 및 TOF 정보를 포함하는, 상기 심도 촬상 장치.
제46항에 있어서, 상기 TOF 촬상부는 상기 방출된 광의 변조 주파수에서 변조된 하나 이상의 포토게이트들을 포함하는, 상기 심도 촬상 장치.
제46항에 있어서, 상기 심도 촬상 장치의 대상 측에 배치된 렌즈를 더 포함하는, 상기 심도 촬상 장치.