KR102207461B1

KR102207461B1 - 엑스슬릿 카메라

Info

Publication number: KR102207461B1
Application number: KR1020167011476A
Authority: KR
Inventors: 징이 유; 진웨이 예; 위 지
Original assignee: 유니버시티 오브 델라웨어
Priority date: 2013-10-03
Filing date: 2014-10-03
Publication date: 2021-01-25
Also published as: CN106464780A; JP2016539530A; JP6462671B2; WO2015051282A2; KR20160068829A; WO2015051282A3; US20160253824A1; CN106464780B; US10546395B2

Abstract

신(scene)을 재구성하는 다관점 카메라, 시스템 및 방법이 제공된다. 신(scene)을 나타내는 광이 이미징 센서에 결합된 렌즈 모듈을 통해 지향된다. 렌즈 모듈은 이미징 센서의 광축을 따라서 위치결정되는 제1원통형 렌즈 및 제2원통형 렌즈와, 제1원통형 렌즈 및 제2원통형 렌즈 각각에 배치되는 제1슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함한다. 제2원통형 렌즈의 원통축은 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열된다. 렌즈 모듈을 통해 지향된 광은 이미징 센서에 의해 캡쳐되어 적어도 하나의 다관점 이미지를 형성한다. 적어도 하나의 다관점 이미지를 처리하여 신(scene)의 재구성 특성을 결정한다.

Description

엑스슬릿 카메라{XSLIT CAMERA}

연방 후원 연구에 관한 진술

본 발명은 국립과학재단(NSF: National Science Foundation)으로부터의 승인번호 IIS-CAREER-0845268 및 IIS-RI-1016395에 의해 부분적으로 지원되었다. 미합중국 정부는 본 발명에 대한 권리를 가질 수 있다.

관련출원의 교차 참조

본 출원은 2013년 10월 3일자 출원되고, "엑스슬릿 카메라(XSLIT CAMERA)"라는 명칭을 가진 미국 가출원 제61/886,161호에 대한 우선권을 주장한다.

본 발명은 다관점 카메라 분야에 관한 것으로서, 특히, 맨하튼월드(MW: Manhattan World) 재구성, 스테레오 매칭, 및 코드형 어퍼처 이미징(coded aperture imaging)을 포함하는 컴퓨터 비전 어플리케이션을 위한 방법 및 엑스슬릿 카메라에 관한 것이다.

핀홀 카메라는 공지되어 있다. 핀홀 카메라는 일반적으로 단일의 작은 어퍼처(즉, 핀홀)를 가지고 렌즈는 포함하지 않는다. 핀홀 카메라는 일반적으로 공통 CoP(Center-of-Projection: 투영의 중심)를 통과하는 신(scene)으로부터 광선을 수집한다. 핀홀 카메라 모델은 3차원(3D) 좌표점들 간의 수학적 관계와 이상적 핀홀 카메라의 이미지 평면에 대한 그 투영을 보여준다. 핀홀 카메라 모델은 공통적으로 다양한 컴퓨터 비전 태스크(예를 들면, 사물 인식, 동작 분석, 신(scene) 재구성, 이미지 복원 등)를 위한 이미징 모델로서 사용된다. 핀홀 모델은 적어도 2가지 이유 때문에 인기가 있다. 첫째는, 핀홀의 기하학적 구조가 심플하다는 점이다. 핀홀은 3개의 파라미터(3차원에서 CoP의 위치)에 의해 고유하게 정의되며, 그 이미징 프로세스가 종래 3 × 4 핀홀 카메라 매트릭스에 의해 통일적으로 설명될 수 있다. 둘째, 사람의 눈이 가상 핀홀 카메라로서 작용한다는 점이다. 예를 들면, 사람의 눈을 통해 선은 선으로 목격되고, 평행선은 소멸점에서 수렴하는 선으로 목격된다. 따라서, 핀홀 카메라는 일반적으로 관점 카메라(perspective camera)로도 불린다.

또한, 다관점 카메라(muliti-perspective camera)는 컴퓨터 비전용으로도 사용되고 있다. 일반적으로, 다관점 카메라는 공간에서 여러 다른 점들로부터 기원하는 광선을 캡쳐 한다. 다관점 이미징 모델은 자연에 광범위하게 존재한다. 예를 들면, 곤충 곁눈은 조금씩 다른 방향을 가르키는 수천개의 개별 광수용체 유닛을 포함할 수 있다. 다관점 카메라에 의해 수집된 광선은 일반적으로 공통 CoP를 통과하지 않으며, 그에 따라서 핀홀의 기하학적 구조를 추종하지 않는다. 다관점 이미징 모델은 핀홀 이미징 모델에 비해 신(scene)의 기하학적 구조를 인지하고/하거나 해석하는데 더 유리하다.

교차형 슬릿 카메라는 뒤코 뒤 오롱(Ducos du Hauron)이 개발한 교차형 슬릿 아나모포서(anamorphoser)로 거슬러 올라간다. 아나모포서는 핀홀을 카메라 축을 따라서 이격된 한 쌍의 좁고 수직 교차하는 슬릿으로 대체함으로써 핀홀 카메라를 변형시키고 있다. 이미지 왜곡이 아나모픽(anamorphic) 또는 아나모포틱(anamorphotic)으로 나타나고, 아나모픽 압축의 경중을 통해 교차형 슬릿 모델을 사용하여 추정된 왜곡을 근접하게 일치시킨다. 이와 같은 교차형 슬릿의 억지기법적(brute-force) 구현은 낮은 광효율과 불량한 이미징 퀄러티를 초래한다.

본 발명의 일 양태는 신(scene)을 재구성하기 위한 방법으로 구현될 수 있다. 본 발명의 방법은 이미징 센서에 결합된 렌즈 모듈을 통해 신(scene)을 나타내는 광을 지향시키는 단계를 포함한다. 상기 렌즈 모듈은 상기 이미징 센서의 광축을 따라서 위치 결정되는 제1원통형 렌즈 및 제2원통형 렌즈와, 상기 제1원통형 렌즈 및 제2원통형 렌즈에 각각 배치되는 제1 슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함한다. 상기 제2원통형 렌즈의 원통축은 상기 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열된다. 상기 방법은 또한 적어도 하나의 다관점 이미지를 형성하도록 상기 렌즈 모듈을 통해 지향된 광을 상기 이미징 센서에 의해 캡쳐하는 단계, 및 상기 신(scene)의 재구성 특성을 결정하도록 상기 적어도 하나의 다관점 이미지를 프로세서에 의해 처리하는 단계를 포함한다.

본 발명의 또 다른 양태는 시스템으로 구현될 수 있다. 상기 시스템은 신(scene)의 적어도 하나의 다관점 이미지를 캡쳐하도록 구성된 카메라 및 이미지 처리 모듈을 포함한다. 상기 카메라는 이미징 센서에 결합된 렌즈 모듈을 포함한다. 상기 렌즈 모듈은 상기 이미징 센서의 광축을 따라서 위치결정되는 제1원통형 렌즈 및 제2원통형 렌즈와, 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈에 각각 배치되는 제1슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함한다. 상기 제2원통형 렌즈의 원통축은 상기 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열된다. 상기 이미지 처리 모듈은 상기 신(scene)의 적어도 하나의 다관점 이미지를 수신하고 상기 신(scene)의 재구성 특성을 결정하도록 구성된다.

본 발명의 또 다른 양태는 다관점 카메라로 구현될 수 있다. 상기 카메라는 이미징 센서 및 상기 이미징 센서에 결합된 렌즈 모듈을 포함한다. 상기 렌즈 모듈은 상기 이미징 센서의 광축을 따라서 위치결정되는 제1원통형 렌즈 및 제2원통형 렌즈를 포함한다. 상기 제2원통형 렌즈의 원통축은 상기 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열된다. 상기 렌즈 모듈은 또한 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈에 각각 배치되는 제1슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함한다. 상기 이미징 센서는 신(scene)의 다관점 이미지를 캡쳐하도록 구성된다.

본 발명은 첨부도면과 함께 설명하는 다음의 상세한 설명으로부터 이해할 수 있다. 일반적인 관례에 따라서 도면의 여러 구성은 축적비율에 구속되지 않으며, 여러 구성의 치수는 명료함을 위해 확대 또는 축소될 수 있다. 또한, 도면에서, 같은 구성요소는 공통 참조부호를 사용하여 표현한다. 특허 또는 출원 파일은 적어도 하나의 칼라로 작성된 도면을 포함할 수 있다. 칼라 도면을 가진 본 특허 또는 출원 공보의 사본은 요청 및 필요 요금이 지불되면 특허청에서 제공된다. 첨부 도면은 다음과 같다.
도 1은 본 발명의 일양태에 따라서 예시적 엑스슬릿 이미징 시스템을 나타낸 기능적 블록도이다.
도 2a는 본 발명의 일양태에 따라서 도 1에 도시한 이미징 시스템의 예시적 엑스슬릿 카메라의 분해 사시도로서, 엑스슬릿 렌즈 모듈의 구성요소를 나타낸 도면이다.
도 2b는 본 발명의 일양태에 따라서 도 2a에 도시한 예시적 엑스슬릿 카메라를 나타낸 사시도이다.
도 2c는 본 발명의 다른 양태에 따라서, 도 1에 도시한 이미징 시스템의 예시적 엑스슬릿 카메라 및 회전 모듈을 나타낸 사시도이다.
도 3a는 본 발명의 일양태에 따라서, 2개의 이미지 평면에 대해서 도 2a에 도시한 엑스슬릿 카메라의 슬릿 어퍼처의 사시도로서, 엑스슬릿 카메라를 위한 광선 기하학적 구조를 나타낸 도면이다.
도 3b는 본 발명의 일양태에 따라서, 도 2a에 도시한 엑스슬릿 카메라의 슬릿 어퍼처, 이미지 평면, 공면 평행선들이 포함된 평면의 사시도로서, 공면 선 이미지가 이미지 평면 상의 2개의 다른 점에서 만곡되고 교차되는 것을 나타낸 도면이다.
도 3c는 본 발명의 일양태에 따라서 선 이미지의 교차부분으로부터 엑스슬릿 소멸점(XVP: XSlit Vanishing Point) 및 공면 공통점(CCP: Coplanar Common Point) 의 식별을 보여주는 예시적 일조의 선 이미지를 나타낸 도면이다.
도 4는 본 발명의 일양태에 따라서 MW 신(scene)의 재구성을 위한 예시적 방법을 나타낸 흐름도이다.
도 5a는 본 발명의 일양태에 따라서 예시적 MW 신(scene)을 나타낸 이미지 도면이다.
도 5b는 관점 카메라에 의해 캡쳐될 때 도 5a에 도시한 MW 신(scene) 의 이미지를 나타낸 도면이다.
도 5c 및 도 5d는 본 발명의 일양태에 따라서, 도 2a에 도시한 엑스슬릿 카메라에 의해 캡쳐될 때, 그리고 MW 재구성 처리에 따라서 재구성될 때, 각각 도 5a에 도시한 MW 신(scene)을 보여주는 예시적 이미지를 나타낸 도면이다.
도 6a 및 도 6b는 본 발명의 일양태에 따라서, 회전 스테레오 이미지 쌍을 캡쳐하기 위한 슬릿 어퍼처 배열을 보여주는 예시적 엑스슬릿 카메라를 나타낸 분해 사시도이다.
도 6c 및 도 6d는 본 발명의 일양태에 따라서, 회전 스테레오 이미지 쌍을 캡쳐하기 위한 예시적 엑스슬릿 카메라 및 회전링을 나타낸 사시도이다.
도 7a는 본 발명의 일양태에 따라서, 회전 엑스슬릿 스테레오 이미지 쌍에서 등극곡선 및 기하학적 구조를 나타낸 사시도이다.
도 7b는 본 발명의 일양태에 따라서, 예시적 회전 엑스슬릿 스테레오 이미지 쌍 및 대응 등극곡선을 보여주는 이미지로서, 양쪽 등극곡선 상에서 대응 특징점을 나타낸 도면이다.
도 8은 본 발명의 일양태에 따라서, 회전 스테레오 매칭을 위한 예시적 방법을 나타낸 흐름도이다.
도 9a 및 도 9b는 본 발명의 일양태에 따라서, 신(scene)의 회전 엑스슬릿 스테레오 이미지의 예시적 쌍을 나타낸 도면이다.
도 9c, 도 9d 및 도 9E는 본 발명의 일양태에 따라서, 도 9a 및 도 9b의 스테레오 이미지 쌍으로부터 복원된 것으로서, 픽셀 기반 스킴, 왜곡보정이 있는 패치 기반 스킴, 왜곡보정이 없는 패치 기반 스킴에 관한 각 디스패리티 맵을 나타낸 예시적 이미지 도면이다.
도 10a, 도 10b, 도 10c는 본 발명의 일양태에 따라서, 예시적 신(scene) 및 이 신(scene)의 회전 엑스슬릿 이미지 쌍을 나타낸 이미지 도면이다.
도 10d, 도 10E, 도 10F 및 도 10G는 본 발명의 일양태에 따라서, 다른 기초선(baseline)에 관한 예시적 스테레오 매칭 결과 및 도 10에 도시한 신(scene)의 디스패리티 맵을 나타낸 도면이다.
도 11은 본 발명의 일양태에 따라서, 엑스슬릿 카메라에 의해 캡쳐된 점상 강도분포 함수(PSF:Point Spread Function)를 나타낸 예시적 이미지 도면이다.
도 11a, 도 11b, 도 11c 및 도 11d는 좌우방향으로부터 도 11a에 도시한 이미지의 박스부분을 나타낸 도면이다.
도 12는 본 발명의 일양태에 따라서, 코드형 어퍼처 이미징을 위한 예시적 방법을 나타낸 흐름도이다.
도 13a는 본 발명의 일양태에 따라서, 코드형 어퍼처 이미징을 위해 사용되는 예시적 엑스슬릿 카메라의 사시도로서, 엑스슬릿 카메라를 통한 엑스슬릿 렌즈 위치결정과 광선 변형을 나타낸 도면이다.
도 13b는 본 발명의 일양태에 따라서, 깊이 하자 및 광대역 코드형 어퍼처에 관한 주파수의 함수로서 예시적 파워 스펙트럼을 나타낸 그래프이다.
도 14a, 도 14b, 도 14c, 도 14d는 본 발명의 일양태에 따라서, 지상실측 이미지, 엑스슬릿 코드형 어퍼처 이미지, 출력등가 구면형 렌즈(TESL:Throughput Eequivalent Spherical Lens) 코드형 어퍼처 이미지를 포함하는 합성 신(scene)의 예시적 이미지를 나타낸 도면이다.
도 14E, 도 14F, 도 14G 및 도 14H는 도 14a 내지 도 14d에 도시한 코드형 어퍼처 및 지상실측 이미지에 관한 예시적 깊이 맵 이미지를 나타낸 도면이다.
도 14I, 도 14J 및 도 14K는 도 14a 내지 도 14c에 도시한 각 TESL 및 엑스슬릿 코드형 어퍼처 이미지에 기초한 예시적 결과의 블러(blur) 제거 이미지를 나타낸 도면이다.
도 14L, 도 14M, 도 14N 및 도 14O는 각각 14d, 도 14I, 도 14J 및 도 14K에 도시한 이미지 부분들을 나타낸 도면이다.

본 발명의 양태들은 신(scene)의 적어도 하나의 다관점 이미지를 캡쳐하도록 구성된 카메라와, 신(scene)의 캡쳐된 적어도 하나의 다관점 이미지를 처리하기 위한 이미지 처리 모듈에 관한 것이다. 카메라는 이미징 센서에 결합된 렌즈 모듈을 포함한다. 렌즈 모듈은 이미징 센서의 광축을 따라서 위치결정된 제1 원통형 렌즈 및 제2 원통형 렌즈와, 제1원통형 렌즈 및 제2원통형 렌즈에 각각 위치결정되는 제1슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함한다. 제2원통형 렌즈의 원통축은 제1원통형 렌즈의 원통축에 대해 평행하게 떨어져 일정 각도로 배열된다. 이미지 처리 모듈은 신(scene)의 캡쳐된 적어도 하나의 다관점 이미지를 수신하고 신(scene)의 재구성 특성을 결정하도록 구성된다.

제1원통형 렌즈 및 제2원통형 렌즈의 각도는 90도 이상이고 180도 미만일 수 있다. 따라서, 렌즈 모듈은 여기서는 엑스슬릿 렌즈 모듈로서 설명하고, 다관점 이미지는 엑스슬릿 이미지라고 칭한다. 일예로서, 다른 원통형 렌즈 위치(이미징 센서에 상대적인 위치)에서 2개의 이미지를 캡쳐하도록 엑스슬릿 카메라를 구성할 수도 있다. 2개의 이미지를 또한 회전 스테레오 이미지 쌍으로도 칭할 수 있다. 일예로서, 코드형 어퍼처 이미징을 수행하기 위해, 엑스슬릿 카메라는 깊이 하자 코드 및 광대역 코드를 포함하는 코드형 어퍼처를 포함할 수 있다.

신(scene)의 재구성 특성은 이미지에서의 하나 이상의 평면의 식별(예를 들면, MW(Manhattan World) 재구성), 깊이 맵 결정(예를 들면, 회전 스테레오 이미징을 통해) 및/또는 신(scene)의 깊이 재구성(예를 들면, 코드형 어퍼처 이미징을 통해)을 포함할 수 있다. 일예로서, 이미징 처리 모듈은 캡쳐된 엑스슬릿 이미지로부터 MW 재구성을 수행하도록 구성될 수도 있다. 일예로서, 이미지 처리 모듈은 회전 엑스슬릿 스테레오 이미지 쌍으로부터 회전 스테레오 매칭을 수행하도록 구성될 수도 있다. 일예로서, 이미지 처리 모듈은 캡쳐된 엑스슬릿 코드형 이미지로부터 코드형 어퍼처 이미징을 수행하도록 구성될 수도 있다.

도 1에는 다관점 이미지(여기서는 엑스슬릿 이미지로도 칭함)를 캡쳐하여 처리하는 엑스슬릿 이미징 시스템(100)이 도시되어 있다. 시스템(100)은 엑스슬릿 카메라(102), 컨트롤러(104), 이미지 처리 모듈(106), 저장부(108), 디스플레이부(110) 및 사용자 인터페이스(112)를 포함한다. 일예로서, 시스템(100)은, 예를 들면, 회전 스테레오 매칭 모듈(122)와 함께 회전 스테레오 매칭을 수행하는 회전 모듈(114)을 포함할 수 있다(하기에 도 8을 참조하여 추가로 설명함). 도시를 생략하였지만, 시스템(100)은, 예를 들면, 글로벌 네트웍(즉, 인터넷)을 통해 원격지에 결합될 수 있다.

엑스슬릿 카메라(102)는 엑스슬릿 렌즈 모듈(116) 및 카메라(118)를 포함한다. 도 2a 및 도 2b를 참조로 아래에 추가로 설명하는 바와 같이, 렌즈 모듈(116)은 엑스슬릿 카메라(102)의 광축(210)을 따라서 배치되는 제1슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2)을 포함하며, 제1슬릿 렌즈(202-1)는 제2슬릿 렌즈(202-2)에 대해 상대적으로 일정 각도로 배열되어 있다. 일예로서, 슬릿 렌즈(202)는 상호 직각으로 위치결정된다(도 2a에 도시된 바와 같이). 다른 예로서, 슬릿 렌즈(202)는 도 3a에 도시된 바와 같이 경사진 각도로 배열된다(즉, 평행도 아니고 공면도 아니다). 카메라(118)는 메인 렌즈 및 이미징 센서(예를 들면 도 2a에 도시한 이미징 센서(208))를 가진 적절한 임의의 범용 카메라를 포함할 수 있다. 일예로서, 카메라(118)는 소니사가 제조한 모델번호 NEX-5N의 디지털 카메라를 포함한다. 카메라(118)를 엑스슬릿 카메라(102)로 변환하기 위해, 엑스슬릿 렌즈 모듈(116)은 카메라(118)의 메인 렌즈에 부착될 수도 있다(도 2b에 도시함). 엑스슬릿 카메라(102)는 신(scene)의 엑스슬릿 이미지(즉, 다관점 이미지)를 캡쳐하도록 구성될 수 있다.

컨트롤러(104)는 하나 이상의 엑스슬릿 카메라(102), 이미지 처리 모듈(106), 저장부(108), 디스플레이부(110), 사용자 인터페이스(112) 및 광학적 회전 모듈(114)에 결합되어 엑스슬릿 이미지의 캡쳐, 저장, 디스플레이 및/또는 처리를 제어한다. 컨트롤러(104)는, 예를 들면, 논리회로, 디지털 신호 프로세서 또는 마이크로프로세서를 포함할 수 있다. 이미지 처리 모듈(106)의 하나 이상의 기능이 컨트롤러(104)에 의해 수행될 수 있음을 알 수 있다.

이미지 처리 모듈(106)은 맨하튼 월드(MW:Manhattan World) 재구성 처리 모듈(120), 회전 스테레오 매칭 모듈(122) 및 코드형 어퍼처 이미징 모듈 중 하나 이상을 포함할 수 있다(도 4, 도 8, 도 12를 참조로 아래에 더 상세히 설명함). MW 재구성 모듈(120)은 엑스슬릿 카메라(102)에 의해 캡쳐된 MW 신(scene)의 평면을 재구성하도록 구성될 수 있다. 회전 모듈(114)과 조합하여 회전 스테레오 매칭 모듈(122)은 엑스슬릿 이미지 쌍을 (엑스슬릿 카메라(102)를 경유하여) 캡쳐하고 스테레오 매칭을 수행하여 캡쳐된 신(scene)의 깊이 맵을 재구성한다. 코드형 어퍼처 이미징 모듈(124)은 엑스슬릿 카메라(102)와 함께 코드형 어퍼처를 사용하여 엑스슬릿 카메라(102)에 의해 캡쳐된 신(scene)의 깊이를 재구성한다. 이미지 처리 모듈(106)은, 예를 들면, 논리회로, 디지털 신호 프로세서 또는 마이크로프로세서를 포함할 수 있다.

저장부(108)는 엑스슬릿 카메라(102)로부터 캡쳐된 엑스슬릿 이미지, 처리된 이미지 및/또는 이미지 처리 결과물(이미지 처리 모듈(106)로부터 비롯된 결과물) 중 적어도 하나를 저장하도록 구성된다. 저장부(108)는, 예를 들면, 자기 디스크, 광디스크 또는 하드 드라이브 등의 적절한 실물의 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다.

캡쳐된 엑스슬릿 이미지(엑스슬릿 카메라(102)로부터 부터의 이미지) 및/또는 처리된 이미지/결과물(이미지 처리 모듈(106)로부터의 결과물)은 디스플레이부(110)에 디스플레이 된다. 디스플레이부(110)는 이미지들/이미지 처리 결과물을 디스플레이 하도록 구성된 어느 적절한 디스플레이 장치를 포함할 수 있다. 사용자 인터페이스(112)는, 예를 들면, 이미지 처리 모듈(106)의 모듈(120-124) 중에서의 선택(예를 들면, 하나 이상의 모듈이 이미지 처리 모듈(106)에 포함될 경우), 이미지 처리 모듈(104)과 연관된 파라미터, 캡쳐된 이미지/처리된 이미지/처리된 결과물에 관해 저장부(108)에서의 저장 선택, 이미지/결과물 및/또는 옵션형 회전 모듈(114)과 연관된 파라미터를 위한 디스플레이 선택에 관한 사용자 입력을 수신할 수 있는 적절한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스(112)는, 예를 들면, 포인팅 장치, 키보드 및/또는 디스플레이 장치를 포함할 수 있다. 사용자 인터페이스(112) 및 디스플레이부(110)는 별도의 장치로 나타나 있지만, 사용자 인터페이스(112)와 디스플레이부(110)의 기능을 단일 장치에 결합할 수도 있음을 알 수 있다.

옵션형 회전 모듈(114)은 슬릿 렌즈(202) 및/또는 카메라(118)를 회전시키도록 구성될 수 있다. 회전 모듈(114)은 회전 스테레오 매칭 모듈(122)과 함께 사용되어 엑스슬릿 카메라(102)로부터 엑스슬릿 이미지 쌍을 캡쳐할 수 있다. 도 6a-6d에 도시한 바와 같이, 서로 다른 슬릿 렌즈(202)의 배열(광축(210)에 대해 상대적인 배열)과 함께 동일 신(scene)을 2번 캡쳐하기 위해, 회전 모듈은 90도 만큼 카메라(118)에 대해 상대적으로 슬릿 렌즈(202-1, 202-2)를 회전시킨다. 일예로서, 제1슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2)는 도 6a 및 도 6b에 도시한 바와 같이 물리적으로 회전된다. 다른 예로서, 카메라(118)는 도 6c 및 도 6d에 도시한 바와 같이 물리적으로 회전하여 각 슬릿 렌즈(202-1, 202-2)를 회전시키는 것과 동일한 효과를 얻을 수도 있다.

숙련된 기술자는 본 명세서로부터 적절한 엑스슬릿 카메라(102), 컨트롤러(104), 이미지 처리 모듈(106), 디스플레이부(110), 사용자 인터페이스(112) 및 옵션형 회전 모듈(114)을 이해할 수 있다.

다음에, 도 2a 및 도 2b를 참조하면, 예시적 엑스슬릿 카메라(102)가 도시되어 있다. 특히, 도 2a는 엑스슬릿 카메라(102)의 분해사시도이고, 도 2b는 엑스슬릿 카메라(102)의 사시도이다. 도 2a는 광축(210)에 대해 상대적인 엑스슬릿 렌즈 모듈(116)과 카메라(108)의 이미지 센서(208)의 배열을 나타낸다. 도 2b는 카메라(118)의 렌즈 튜브(212) 내에서 슬릿 렌즈(202-1, 202-2)의 예시적 배열을 나타낸다. 도 2b에 도시한 배열은 엑스슬릿 카메라(102)의 일실시예이고 다른 카메라(118) 및 렌즈튜브(112)의 배열이 사용될 수 있음을 알 수 있다. 도 2b에는 3개의 렌즈 튜브(212)가 도시되어 있지만, 카메라(118)는 더 적은 개수의 렌즈 튜브(212) 또는 더 많은 개수의 렌즈 튜브(212)를 포함할 수 있다. 일예로서, 슬릿 렌즈(202-1, 202-2)는 어떠한 렌즈 튜브(212) 없이도 카메라(118)에 직접 결합될 수도 있다. 렌즈 튜브(212)는 소정의 각도에 따라서(즉, 직각으로 또는 경사각도로) 슬릿 렌즈(202-1, 202-2)를 정렬하는데 사용될 수 있다.

도 2a에 도시한 바와 같이, 엑스슬릿 모듈(116)은 광축(210)을 따라서 배치된 제1슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2)를 포함한다. 각 슬릿 렌즈(202)는 원통형 렌즈(204)(렌즈를 통해 연장되는 원통축을 가지고 있음) 및 슬릿 어퍼처(206)를 포함한다. 슬릿 어퍼처(206)는 원통형 렌즈(204)에 배치되고, 슬릿 길이가 원통형 렌즈(204)의 원통축 방향을 따라서 연장되도록 배열된다. 제1슬릿 렌즈(202-1)는 제2슬릿 렌즈(202-1)에 대한 상대 각도, 제1원통형 렌즈(204-1) 및 제2원통형 렌즈(204-2)의 원통형 렌즈 축에 대한 상대 각도로 위치결정된다. 제1 슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2) 사이의 각도는 180도 이하이고 90도 이상이 될 수 있다. 제1슬릿 렌즈(202-1)가 제2슬릿 렌즈(202-2)에 대해 일정 각도로 배열되기 때문에, 제1슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2)의 조합이 광축(210)에 대해 크로스(즉, X형상)를 형성한다.

엑스슬릿 카메라(102)는 3D 공간에서 (경사 또는 수직으로) 2개의 슬릿(206-1, 206-2)을 동시에 통과하는 광선을 수집할 수 있다. 원통형 렌즈(204)는 원통의 일부분으로서 자신을 통과하는 광선을 렌즈(204)의 표면과 이 표면의 접평면(예를 들면, 이미지 센서(208))의 교차부분에 대해 평행한 선에 초점을 맞춘다. 원통형 렌즈(204)는 이 선에 대해 수직방향으로 이미지를 압축하고 이 선에 평행한 방향으로는(접평면으로는) 이미지를 변경없이 남겨둔다. 원통형 렌즈(204-1, 204-2)의 2개의 층은 연결되어 엑스슬릿 렌즈모듈(116)을 합성할 수도 있다. 엑스슬릿 카메라(102)의 필드의 깊이를 더욱 증가시키기 위해 각 원통형 렌즈(204)는 슬릿 형상 어퍼처(206)와 결합된다. 일반적으로 슬릿 폭이 좁을수록, 엑스슬릿 카메라(102)에 의해 캡쳐되는 필드의 깊이가 깊어진다.

일예로서, 슬릿 어퍼처(206-1, 206-2)는 1차원(1D) 코드형 어퍼처(206-1', 206-2')로 대체할 수도 있다. 코드형 어퍼처(206')는 코드형 어퍼처 이미징 모듈(124)과 함께 사용되어 코드형 어퍼처 이미징을 통해 신(scene)의 깊이를 재구성할 수 있다. 제1코드형 어퍼처(206-1')는 큰 깊이 하자 코드를 포함하는 반면, 제2코드형 어퍼처(206-2')는 광대역 코드를 포함할 수 있다. 코드형 어퍼처 이미징 모듈에 대해서는 도 12를 참조하여 아래에 추가로 설명한다.

도 2c는 회전 모듈(114)과 함께 배열된 엑스슬릿 카메라(102)의 사시도를 도시하고 있다. 도 2c에 도시한 예를 사용하여 회전 스테레오 매칭을 수행할 수 있다(도 6a-6d 및 도 8을 참조하여 하기에 추가로 설명한다). 도 2c에 도시한 배열은 엑스슬릿 카메라(102) 및 회전 모듈(114)의 일실시예를 나타내며, 다른 카메라(118), 다른 렌즈 튜브(112)의 배열(또는 배제) 및 다른 타입의 회전 모듈(114)을 사용하여 회전 스테레오 매칭을 수행할 수도 있다. 도 2c에 있어서, 회전 모듈(114)은 인덱스 회전 링으로서 표현되어 있다. 신(scene)의 스테레오 이미지 쌍을 캡쳐하기 위해, 인덱스 회전링을 사용하여 동일한 배열로 제1슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2)를 유지하는 한편, 카메라(118)를 90도 회전시킨다(도 6c 및 도 6d에 도시한 바와 같이).

도 1로 돌아가서, 엑스슬릿 카메라(102)는 많은 컴퓨터 비전 어플리케이션에 사용될 수 있다. 컴퓨터 비전 어플리케이션의 여러 가지 예가 MW 재구성 모듈(120), 회전 스테레오 매칭 모듈(122) 및 코드형 어퍼처 이미징 모듈(124)을 포함하는 이미지 처리 모듈(106)에 의해 표현되어 있다. 이들 3개의 컴퓨터 비전 어플리케이션을 다음에 설명한다. 도 1에 나타낸 컴퓨터 비전 어플리케이션은 엑스슬릿 카메라(102)의 예시적 컴퓨터 비전을 나타내고, 엑스슬릿 카메라(102)는 또한 다른 컴퓨터 비전 어플리케이션을 위해 사용될 수도 있다.

MW(Manhattan World) 재구성

맨하튼 월드 신(scene)은 일반적으로 데카르트 좌표에 기초한 현실세계 신(scene)을 설명한다. MW 신(scene)은 3개의 상호 직교 주축과 정렬하는 평면과 평행선으로 구성된다. MW 모델은 평탄한 벽, 축정렬된 윈도우, 예각 코너(예를 들면, 도시의 신(scene))와 같은 강한 기하학적 규칙성을 보여주는 수많은 인공(내적/외적) 환경에 적합하게 잘 들어맞는다. 이전의 노력은 이미지로부터 MW 신(scene)을 재구성하고 카메라 캘리브레이션을 위한 MW 가정을 사용하는데 초점을 두고 있다. MW 재구성을 위한 도전은 MW 신(scene)이 일반적으로 반복적 선 패턴을 나타내지만 이러한 선들 사이를 구별하는 구조가 결여되어 직접 스테레오 매칭에 적용하는 것을 어렵게 하고 있다.

단일 이미지로부터의 MW 재구성에 관한 시도가 있다. 현재의 접근법은 소멸점이나, 근사 신(scene) 기하학적 구조를 위한 소멸점 및 기준면(예를 들면, 지면) 과 같은 단안단서(monocular cues)를 사용한다. 몇몇 접근법은 이미지 속성(색상, 에지 방위, 등)을 사용하여 이미지 영역들을 다른 기하학적 등급(예를 들면, 하늘, 지면, 수직)으로 라벨링하고, 이러한 정보를 사용하여 가시적으로 즐거운 3D 재구성을 생성한다. 몇몇 접근법은 이미지에서 선 구조를 검출하여 소멸점과 카메라 파라미터를 복원한다. 또 다른 접근법은 기계 학습 기법을 적용하여 이미지 특징으로부터 깊이를 추론하고 MRF(Markov Random Field)을 사용하여 평면 영역의 위치와 방위를 결정한다.

이미징 시스템의 MW 재구성 모듈(120)은 (엑스슬릿 카메라(102)로부터)엑스슬릿 이미지를 사용하여 단일-이미지 MW 재구성을 수행한다. 핀홀 기반 MW 재구성의 어려움은 공면 모호성(coplanar ambiguity)에 있다. 일 그룹의 평행 3D선의 소멸점이 핀홀 이미징에 의해 검출될 수 있다 하여도, 선들이 동일 평면에 속하는 부분에서 일부 모호성이 존재한다. 공면 모호성은 엑스슬릿 카메라(102)를 사용하여 신(scene)을 획득함으로써 해소될 수 있다. 개념적으로, 3D 평행선은 엑스슬릿 카메라(102)에서 2차원(2D) 곡선으로 맵핑된다. 이러한 2D 곡선은 단일 소멸점 대신 다중 점에서 교차한다(도 3b). 핀홀 카메라에서와 유사하게, 엑스슬릿 이미지에서의 평행선의 이미지는 곡선임에도 불구하고 소멸점(여기서는, 엑스슬릿 소멸점(XVP: XSlit Vanishing Point)이라고 칭함)에서 여전히 수렴한다. 그러나, 핀홀 카메라와 대조적으로, 공면 3D 선의 엑스슬릿 이미지는 일반적으로 제2공면점(여기서는, 공면 공통점(CCP:Coplanar Common Point)이라고 칭함)에서 교차한다. CCP는 핀홀 카메라에는 존재하지 않는 엑스슬릿 카메라(102)의 특징이다. MW 재구성 모듈(102)에 따른 MW 재구성은 식별된 XVP 및 CCP로부터 3D선의 기하학적 구조를 직접 복원하여 MW 신(scene)을 재구성함으로써 이루어진다.

도 3a를 참조하여 엑스슬릿 카메라(102)의 광선 기하학적 구조를 설명한다. 도 3a에서, 슬릿1 및 슬릿2는 각각 슬릿 어퍼처(206-1, 206-2)에 관한 것이고, 이미지 평면은 도 2a에서의 이미징 센서(208)에 관한 것이다. 종래 접근법은 3D 점으로부터 2D 픽셀로의 투영을 사용하여 카메라에서 이미징 프로세스를 모델화한다. 하기에 설명하는 바와 같이, 투영 프로세스는 2개의 성분으로 분해되며, 그 중 하나는 3D점으로부터엑스슬릿 카메라(102)로부터 수집된 광선으로 맵핑하는 것이고, 다른 하나는 광선으로부터 픽셀로 맵핑하는 것이다. 광선을 매개변수화 하기 위한 2평면 매개변수화(2PP: Two-Plane Parameterization)가 사용된다. 2PP에서 각 광선 (r)은 [u, v, s, t]로서 매개변수화되며, 여기서 [u, v] 및 [s, t] 는 z=0 및 z=1에 각각 놓여있는 2개의 평행 이미지 평면 ∏_uv 및 ∏_st과의 교차부분이다. 광선 [u, v, s, t]은 선의 2점 표현의 형태로 관찰될 수 있다. 분석을 보다 단순화하기 위해, [u, v, σ, τ] 매개변수화가 사용되며, 여기서 σ = s - u 이고, τ = t - v이다. 이미지 평면 ∏_uv 이 디폴트 이미지(센서) 평면으로 선택되어 [σ, t, 1] 이 광선의 방향으로서 관찰될 수 있다.

엑스슬릿 카메라는 3D 공간에서 2개 슬릿을 동시에 통과(경사지게(즉, 평행도 아니고 공면도 아님) 또는 직각으로)하는 광선을 수집한다. 2개 슬릿 l ₁ 및 l ₂ 이 주어졌다면, 2PP는 다음과 같이 구성될 수 있다: 도 3a에 도시한 바와 같이, ∏_uv 및 ∏_st는 양쪽 슬릿에 대해 평행하지만 이 슬릿을 포함하지는 않는다. 다음에, 양쪽 슬릿은 직각으로 ∏_uv에 투영되고, 그 교차점은 좌표계의 원점으로 사용된다. l ₁ 및 l ₂는 z = Z₁ 및 z = Z₂ 에서 방향 [

] 및 [

]을 가지고 놓여있고, 여기서 Z₁ ≠ Z₂ 이고

이다.

본 출원의 발명자는 엑스슬릿 카메라(102)에서 광선을 위한 광선 기하학적 구조 구속(constraint)("XSRC"로도 칭함)을 다음과 같이 발견하였다:

[수학식 1]

식중

본 출원 발명자는 3D선(l)(즉, 3D 신(scene)에 관한 3D선)을 통과하는 광선과, 이미징 센서 평면 ∏_uv에 평행하고 이미징 센서 평면 ∏_uv에 평행하지 않은 3D선에 관한 구속을 발견하였다. 평행 선형 구속은 다음과 같다:

[수학식 2]

3D선을 위한 비평행선 구속은 다음과 같다:

[수학식 3]

XSRC (수학식 1) 및 3D선 구속 (수학식 2 및 수학식 3)을 사용하여 3D선(l) 의 엑스슬릿 이미지를 검사할 수 있다. 특히, 본 출원 발명자는 3D선을 2D 원뿔로 맵핑하고(도 3b에 도시함), 그 원뿔은 다음 형상의 쌍곡선임을 발견하였다:

[수학식 4]

단,

식중

,

,및

는 쌍곡선 계수를 나타내고, 계수a-F는 수학식 1에서 표현되고,

,

,및

는 엑스슬릿 고유속성이다(즉, 이들 파라미터는 모든 3D선에서 동일하다). 3D선은 쌍곡선 이미지로부터 직접 재구성될 수 없다. 그 이유는 3D선이 4개의 미지수 (u,v,σ,τ)를 가지고 있는 한편 상기 분석을 사용하여 u 및 v 계수, 그리고 수학식 3에서의 상수항을 결정하기 때문이다. 유사 모호성은 핀홀 카메라에 존재한다.

도 3b를 참조하면, 엑스슬릿 카메라(102)를 위해, (평면 ∏ 상에서) 공면 라인 L의 이미지는 2개 공통점, 즉 엑스슬릿 소멸점(XVP) 및 공면 소멸점(CCP)에서 이미지 평면 ∏_uv 상에 교차한다. 따라서, 팽행선 L 이 이미지 평면 ∏_uv에 평행하지 않으면, 이미지 평면 상에서의 이미지는 소멸점(XVP)을 가진다. 양쪽 슬릿(슬릿1 및 슬릿2)에 평행하지 않는 평면 ∏ 상에 놓인 일조의 선 L 의 경우, 엑스슬릿 카메라(102)에서의 이미지는 제2공통점(CCP)에서 교차한다. CCP는 핀홀 카메라에는 존재하지 않는 엑스슬릿 카메라(102)에서의 고유 이미지 특징이다. 본 출원 발명자는 일조의 공면 평행선 L이 주어지고, 이들 선이 CCP를 가지면, 이 CCP는 선 L의 XVP와 일치하지 않는다는 것을 발견하였다.

평면 ∏를 복원하기 위해, ∏의 평균을 결정한다. XVP [u_v, v_v] 및 엑스슬릿 고유 파라미터(A, B, C, D, 및 E)가 주어지면, L (

)의 방향은 다음과 같이 결정된다:

[수학식 5]

CCP [u_c, v_c] 또한 평면 ∏에 놓여있는 광선에 대응한다. CCP (

)의 방향은 수학식 1로부터 다음과 같이 결정될 수 있다:

[수학식 6]

XVP 및 CCP가 일치하지 않기 때문에, L 및 CCP의 방향 (즉,

) 은 공직선이 아니다. 따라서, ∏의 평균은

이다. 마지막으로, CCP는 ∏ 상에 놓이고, ∏의 옵셋 d는 다음과 같이 결정된다:

[수학식 7]

식중 평균은

이다.

도 3c를 참조하면, MW 신(scene)의 경우, 신(scene)에서의 사물은 3개의 상호 수직 주축에 정렬된 평면과 선으로 구성된다. 엑스슬릿 카메라(102)에 의해 캡쳐될 때의 MW 신(scene)에서, 모든 CCP(302) 및 XVP(304)는 삼각형 상에 놓여지며, 이 삼각형에서 XVP(304)는 삼각형의 꼭지점에 대응하고, CCP(302-1, 302-2, 302-3)는 삼각형의 변(또는 변의 연장부분)에 놓여진다. 도 3c는 또한 3D선을 표현하는 원뿔(300)을 나타낸다.

다음에, 도 4는 MW 재구성의 예시적 방법을 도시한다. 도 4에 나타낸 스텝은 엑스슬릿 카메라(102)에 의해 캡쳐된 엑스슬릿 이미지로부터 MW 재구성 모듈(120)(도 1)에 의해 수행될 수 있다. 도 4의 스텝은 본 발명의 일실시예를 나타낸다. 특정 스텝은 도시된 것과는 다른 순서로 수행될 수 있음을 알 수 있다.

400에서, MW 신(scene)의 엑스슬릿 이미지가 캡쳐된다. MW 신(scene)을 재구성하기 위해, 엑스슬릿 카메라(102)를 경사지게 함으로써 슬릿 어퍼처(206-1, 206-2) (도 2a)는 신(scene)에서 평면(예를 들면, 빌딩)의 주축과는 평행이 되지 않도록 한다(다른 평면(예를 들면, 다른 빌딩 면)의 XVP 및 CCP를 얻기 위해). 슬릿 어퍼처(206)가 주축에 평행하면, CCP는 존재하지 않고, 선 이미지는 만곡되지 않는다. 일예로서, 캡쳐된 이미지는 저장부(108)(도 1)에 저장될 수 있다.

스텝402에서,원뿔이 얻어진 엑스슬릿 이미지에서의 선 이미지(예를 들면, 도 3c에서 선 이미지(300))에 피팅된다. 스텝404에서, 원뿔의 쌍별 교차부분이 결정된다. 앞에 설명한 바와 같이, 선의 이미지는 수학식 4에 나타낸 바와 같이 쌍곡선이고, 여기서 계수 A-F는 엑스슬릿 카메라 고유속성(이것은 미리 정해지고 모든 쌍곡선에 대해 동일하다)에 의해 고유하게 결정된다. 곡선 상의 샘플 점을 사용하여 원뿔 계수의 과결정 선형 시스템을 형성함으로써 곡선 피팅 스킴을 적용한다. 특이값 분해(SVD:Singular Value Decomposition)을 적용하여 원뿔 파라미터

-

를 해결한다. 예시적 곡선 피팅 스킴은 딩(Ding) 등에 의해 설명되어 있다("곡선 이미지를 사용한 경면 복원(Recovering Specular Surfaces Using Curved Line Images)", CVPR 2009). 이 방법을 요약하기 위해, 원뿔 파라미터가 이차 원뿔 함수에 적용되고 2개의 원뿔 함수에 의해 형성된 이차방정식으로부터 식별되는 교차점을 식별할 수도 있다.

스텝406에서, XVP 및 CCP가 쌍별 교차점으로부터 식별된다. XVP 및 CCP 외에도, 비평행(즉, 평행하지 않은) 2개의 3D선에 대응하는 모든 2개의 원뿔은 또한 교차할 수 있다. 이들 교차점은 다른 원뿔에 의해 공유되지 않기 때문에 한 번만 나타나는 교차부분을 제거하여 이상치(outlier)를 제거할 수 있다.

모든 CCP는 3개의 XVP에 의해 결정된 삼각형 변에 위치한다. 따라서, 교차부분의 나머지를 사용하여 3선을 피팅하고 결과물로서의 삼각형 꼭지점(예를 들면, 도 3c에서 점(304)으로부터) 및 변(점302)을 사용하여 CCP(점302)로부터 XVP(점304)를 분리한다. 도 3c는 6평면에 18선(300)으로 구성된 단순한 신(scene)을 위한 프로세스를 나타낸다. 각 평면에는 3개의 평행선이 놓여지고, 모든 선들의 방향은 3개의 주축과 정렬된다.

스텝408에서, 수학식 5-7을 기초로 하여, 스텝406에서 결정된 XVP 및 CCP로부터 평면을 재구성한다. 단일 엑스슬릿 이미지로부터 MW 신(scene)을 재구성하기 위해, 각 CCP를 평면에 다시 맵핑한다(여기서 모든 CCP는 신(scene)에서의 고유 3D 평면에 대응한다). 구체적으로 설명하면, 각 검출된 CCP의 경우, CCP는 수학식 5 및 수학식 6에서 평면 수학식을 연산하기 위해 XVP(304)(삼각형 꼭지점) 중 하나와 조합한다.

스텝410에서, 엑스슬릿 이미지에서의 곡선 세그먼트는 3D선 세그먼트에 맵핑되고 이 곡선 세그먼트를 사용하여 스텝408에서 복원된 평면을 다듬는다. 원뿔로부터 기원하는 엑스슬릿 광선을 재구성된 평면과 교차시킴으로써 각 곡선 세그먼트는 3D선 세그먼트에 다시 맵핑할 수 있다. 복원된 평면을 다듬기 위해 선 세그먼트의 종단점을 사용할 수도 있다. 평면 수학식은 무한 평면을 규정한다. 3D선은 재구성된 평면 상에 놓여지기 때문에, 선의 길이가 평면의 범위를 결정한다. 3D선의 범위(또는 선의 세그먼트의 종단점)을 사용하여 평면은 실질 치수로 다듬어질 수 있다.

스텝412에서, 복원된 모델이 제공되어 신(scene)의 이미지를 생성할 수 있다. 복원된 모델은 다관점 이미지 및/또는 일관점 이미지로 제공될 수 있다.

402-412의 기계적 실행을 위해 비일시적 컴퓨터 판독가능 매체가 컴퓨터 판독가능 명령을 저장하는 것을 고려할 수 있다.

다음에, 도 5a-5d를 참조하면, 엑스슬릿 카메라(102) 및 MW 재구성 모듈(120)(도 1)을 사용하여 예시적 실제MW 신(scene)을 재구성한다. 도 5a-5d에 도시한 일예에서는, 렌즈 카메라(Sony NEX-5N)가 사용되고, 여기서 렌즈는 한 쌍의 원통형 렌즈로 대체되며, 각 렌즈는 도 2a에 도시한 바와 같이 2개의 슬릿 어퍼처를 사용한다. 이 예에서는, 단일 렌즈 리플렉스(SLR: Single Lens Reflex) 카메라가 아니라 교환가능 렌즈 카메라가 변형되어 있으며, 그 이유는 렌즈 카메라가 보다 짧은 플랜지 초점 거리(FFD:Flange Focal Distance), 즉 센서와 렌즈 마운트 사이의 거리를 가지고 있기 때문이다. 3D선이 충분이 만곡 되도록 나타내기 위해, 선은 이미지 평면에 대해 큰 깊이 범위로 간격을 가져야 한다. 따라서, 카메라를 사물에 보다 근접 배치하는 것과 큰 시야와 작은 초점 길이를 가진 렌즈를 사용하는 것이 바람직하다. 예시적 엑스슬릿 카메라는 2개의 원통형 렌즈를 사용하며, 한 렌즈는(센서에 근접한 것) 초점 길이 25mm이고 다른 렌즈는 초점 길이 75mm이다. 엑스슬릿 카메라의 캘리브레이션 수행을 위해, 5선 패턴과 보조 관점 카메라가 사용되어 선위치와 방위를 결정한다. 이 경우 곡선 피팅은 엑스슬릿 고유성을 복원하도록 수행된다.

도 5a는 예시적 MW 신(scene)을 나타낸다. 신(scene)은 2개의 다른 평면에 놓여진 평행선으로 구성되고, 2평면 사이에 작은 그림이 위치한다. 엑스슬릿 카메라는 그 2개의 슬릿이 신(scene)에서의 선과 평행하지 않도록 경사져 있다.

도 5b는 일관점 카메라에 의해 캡쳐될 때 도 5a에 도시한 MW 신(scene)의 이미지이다. 일관점 카메라에 의해 관찰할 때, 선들은 거의 동일하게 나타난다. 선들이 공통 소멸점에서 교차하고 있지만, 선들이 다른 평면에 속하는 것인지를 구별하기는 어렵다.

도 5c는 예시적 엑스슬릿 카메라에 의해 캡쳐될 때, 도 5a에 도시한 MW 신(scene)의 이미지이다. 도 5b와 대조적으로, 2평면에 대한 선들은 엑스슬릿 카메라 이미지에서는 다르게 나타난다. 도 5c에 도시한 바와 같이, 선들은 다른 만곡을 나타내고, 관찰자는 선들이 동일 평면에 속하지 않는 것임을 직접 식별할 수 있다.

도 5d는 (도 5c에 도시한) 엑스슬릿 이미지를 사용하여 MW 재구성을 나타내는 이미지이다. 원뿔 피팅 및 CCP/CVP 검출방법을 엑스슬릿 이미지 상의 선 이미지에 적용한다(도 4를 참조하여 위에서 설명함). 이 예에서는 1개의 XVP 및 2개의CCP가 식별되고 사용되어 2개의 복원된 평면을 다시 획득된 엑스슬릿 이미지에 맵핑한다.

요약하면, MW 재구성 처리 (예를 들면, MW 재구성 모듈(120)에 의한 처리)로 엑스슬릿 이미징(즉, 비 핀홀 이미징)을 통해 MW 신(scene) 재구성을 제공한다. 엑스슬릿 이미지에서 엑스슬릿 소멸점(XVP) 및 공면 공통점(CCP)을 사용하여 공면 평행선을 그룹화할 수도 있다. 공면 평행선의 각 그룹은 자신들의 엑스슬릿 이미지에서의 XVP 및 CCP에서 교차하며, 그 기하학적 구조는 XVP 및 CCP로부터 직접 복원될 수 있다.

회전 스테레오 매칭

스테레오 매칭은 컴퓨터 비전에서 광범위하게 연구되는 과제이다. 스테레오 매칭은 생물학적 입체 프로세스와 유사하게 2개의 관점으로부터 상대위치를 검사하여 3D 정보를 추출하는 것에 목표를 두고 있다. 현재의 접근법은 병진운동 하에서 관점 카메라를 사용하고 있다. 시차를 생성하는데 충분한 카메라 기초선을 갖기 위해 제2카메라는 제1카메라로부터 멀어지면서 병진한다. 입력 이미지는 공통 이미지 평면에 투영되어 더욱 정류됨으로써 순수하게 수평 시차를 가질 수 있다.

도 1a, 도 2c, 도 6a 및 도 6b을 참조하면, 엑스슬릿 카메라(102)는 회전 모듈(114)에 결합되고, 회전 엑스슬릿 스테레오 이미지 쌍을 캡쳐하는데 사용된다. 회전 스테레오 매칭 모듈(122)은 캡쳐된 이미지 쌍을 사용하여 신(scene)의 깊이 맵을 재구성할 수 있다. 따라서, 엑스슬릿 카메라(102)는 이미징 센서(208), 제1 슬릿 렌즈(202-1) 및 제2슬릿 렌즈(202-2)의 각각의 위치를 고정하여(광축(210)에 대해 상대적으로) 스테레오 이미지 쌍을 형성하는 한편, 각 슬릿 렌즈(202-1, 202-2)의 방향을 전환한다(도 6a 및 도 6b 참조). 슬릿 렌즈(202-1, 202-2)의 방향은 슬릿 렌즈(202-1, 202-2) 각각을 회전시키거나(도 6a 및 도 6b에 나타낸 바와 같이), 카메라(118)를 90도 회전시켜(이미징 센서(208)를 효과적으로 90도 회전시켜) 전환할 수 있다. 예를 들면, 회전 모듈(114)을 사용하여 엑스슬릿 렌즈 모듈(116)을 고정시키고 렌즈 모듈(116)에 대해 상대적으로 카메라(118)를 회전시킬 수 있다(도 6c 및 도 6d에 도시함). 아래 설명에서, 엑스슬릿1은 슬릿 렌즈(202-1, 202-2)의 제1방향(즉, 회전하기 이전 방향)에 관련되고, 엑스슬릿2는 렌즈(202-1, 202-2)의 회전 이후 슬릿 렌즈(202-1, 202-2)의 제2방향(반대방향)(직접적으로 렌즈(202)의 회전을 통하거나, 카메라(118)의 회전을 통해 이루어지는 방향)에 관련된다.

따라서, 엑스슬릿 카메라(102)는, 카메라 병진 대신에, 센서/슬릿 렌즈 위치를 고정시킴으로써(한편으로는 슬릿 방향을 전환하면서) 스테레오 이미지 쌍을 캡쳐할 수 있다. 일예로서, R-엑스슬릿 쌍을 캡쳐하기 위해, 엑스슬릿 렌즈 모듈(116)은 실물 카메라에 장착되고 슬릿 방향은 회전 모듈(114)을 통해 변경될 수도 있다.

회전 엑스슬릿 카메라(102)는 슬릿만을 회전시킴으로써 다른 공간 로케이션에 2개의 카메라를 배치(관점 스테레오 이미징에서 사용되는 바와 같이)할 필요가 없기 때문에 "고정 로케이션" 스테레오를 얻을 수 있다는 점에서 장점이 있다. 회전 엑스슬릿 스테레오 이미지는, 예를 들면, 수술 시나리오에서 유용할 수 있다. 예를 들면, 단일 회전 엑스슬릿 카메라는 전통적인 병진형 스테레오 카메라를 수용하기에(이들 카메라가 적절히 기능하기에) 충분히 크지 않은 공간인 3D에서 장기(organ)를 영상화하기 위한 관입장치로 사용될 수 있다.

도 7a를 참조하여, 회전 엑스슬릿 이미지 쌍의 등극선 기하학적 구조를 설명한다. 회전 스테레오 모델을 위해, 양쪽 슬릿에 대해 평행하지만 슬릿이 포함되지 않는 2개의 이미지 평면 ∏_uv 및 ∏_st을 선택한다. 양쪽 슬릿은 ∏_uv 상에 수직으로 투영되고, 교차점이 좌표계의 원점으로 사용된다. [u, v, σ, τ] 매개변수화가 사용되며, 여기서 σ = s-u이고 τ = t-v이다. 이미지 평면 ∏_uv은 디폴트 이미지 평면(센서 평면)으로 선택되어 (u, v)가 직접적으로 픽셀 좌표로 사용될 수 있고, (σ, t, 1)가 광선의 방향으로서 관찰될 수 있다. 2개의 슬릿 l ₁ 및 l ₂ 가 z = Z₁ 및 z = Z₂ 에 놓여지고, x축에 대해 각도 θ₁ 및 θ₂ 를 가지며, 여기서, Z₂ > Z₁ > 0 이고, θ₁ ≠ θ₂ 이다. 따라서, 각 엑스슬릿 카메라(102) (즉, 회전 이전 및 이후의 엑스슬릿 카메라)는 C(Z₁, Z₂, θ₁, θ₂)으로 표현될 수 있다. C 에서 각 픽셀 (u, v)은 다음의 같은 방향 (σ,τ, 1)을 가지고 광선에 맵핑된다(참조: 부록 A):

[수학식 8]

식중 각 파라미터는 다음과 같이 나타낸다.

회전 엑스슬릿 카메라 쌍은 2개의 엑스슬릿 카메라로서 표현될 수 있으며, 여기서 엑스슬릿1: C(Z₁, Z₂, θ₁, θ₂)이고 엑스슬릿2: C'(Z₁, Z₂, θ₂, θ₁)이다. 즉, 다시 말하면, 슬릿쌍은 그 방향을 도 7a에 도시한 바와 같이 전환한다.

등극선 기하학적 구조는 스테레오 비전의 기하학적 구조에 관련된다. 일반적으로, 2개의 카메라가 2개의 특정 위치로부터 3D 신(scene)을 관찰할 때, 3D점과, 이 3D점의 2D 이미지로의 투영 사이에는 많은 기하학적 관계가 존재하며, 여기서의 투영은 이미지 점들 간의 구속이 된다. 일반적으로, 등극선 기하학적 구조의 3개의 양상이 존재한다: 평면, 쌍곡면, 및 쌍곡포물면. 등극선 기하학적 구조가 존재하면, C'((Z₁, Z₂, θ₂, 0)에 곡선이 존재하며, 여기서, 곡선으로부터 기원하는 모든 광선은

와 교차한다.

본 출원 발명자는 회전 엑스슬릿 카메라 쌍이 타당한 등극선 기하학적 구조를 형성하는 것을 발견하였으며, 다음 식:

[수학식 9]

의 등극곡선이 양쪽 엑스슬릿 카메라에 존재하며(즉, 엑스슬릿 카메라(102)의 회전의 전후), 식중 K 는 상수이다.

수학식 9는 관점 스테레오와는 달리, 회전 엑스슬릿 카메라 쌍에서의 등극선이 쌍곡선 형상인 것을 나타낸다. 그러나, 스테레오 이미지 쌍에서 각 이미지 간의 대응 탐색공간은 매우 유효하게 일차원(1D)으로 환원된다.

도 7b는 부엌 신(scene) 부분의 스테레오 이미지 쌍을 도시한다. 이미지(700-1)는 슬릿 렌즈(202-1, 202-2)가 제1위치에 있는 상태에서 신(scene)의 제1이미지이다. 이미지(700-2)는 (슬릿 렌즈(202-1, 202-2)를 회전시키거나 카메라(118)를 회전시켜) 슬릿 렌즈(202-1, 202-2)가 반대위치(즉, 제2위치)로 전환된 상태에서 신(scene)의 제2이미지이다. 등극곡선(702)은 각 이미지(700) 상에 위치하여 플롯팅된다. 각 등극곡선(702-1, 702-2)을 따라 위치하는 특징점들 간의 대응(704)이 또한 도시되어 있다.

스테레오 비전에서 디스패리티(disparity)를 사용하여 사물 깊이를 결정한다. 일반적으로, 이미지들이 비교된다. 2개의 이미지가 상호간에 함께 시프트되어 일치하는 부분을 찾아낸다. 시프트된 양을 디스패리티라고 칭한다. 일반적으로, 디스패리티는 사물 깊이에 종속하고 사물 깊이에서는 단조함수이며, 제2시점에 대응 픽셀을 위치시키는데 사용된다.

현재의 관점 스테레오 매칭 스킴에서, 디스패리티는 수평시차로서 정의된다. 그러나, 회전 엑스슬릿 이미지 쌍에서, 등곡곡선은 쌍곡선이기 때문에, 대응 픽셀은 수직시차와 수평시차 모두를 나타낸다. 회전 엑스슬릿 이미지 쌍 디스패리티(d^xs)는 다음과 같이 정의된다:

[수학식 10]

따라서, C에서 픽셀(u_p,v_p), C'에 대한 그 디스패리티

, C'에서 대응픽셀 p' 를 결정할 수 있다. 구체적으로 설명하면,

로 결정될 수 있으며, 이 경우 등극곡선을 사용하여

를 결정할 수 있으며, 식중

이다.

관점 카메라에서, 신(scene) 점들이 2개의 CoP(Center of Projection)를 연결하는 선에 놓여질 때, 즉, 2개의 카메라로부터의 광선이 동일할 때, 디스패리티의 특이점이 발생한다. 수학식 10으로부터 회전 엑스슬릿 이미지 쌍은 v = 0에서 특이점을 가지며, 여기서 디스패리티는 더 이상 연산될 수 없다. 실제로, v = 0 은 등극선 기하학적 구조가 여전히 존재하고, y = 0 평면에 대응한다는 것을 암시한다. 이 경우, 디스패리티는 d^xs = u/u'으로 재정의되며, 이 식은 y = 0 일 때 v'/v과 일치한다. 실질 특이점은 x = y = 0일 때, 즉, 광선이 z축과 정렬할 때이며, 이때 광선은 양쪽 엑스슬릿 카메라에 의해 공유되는 유일한 광선이다.

회전 엑스슬릿 이미지 쌍으로부터 깊이를 복원시키기 위해, 엑스슬릿 디스패리티 라벨링으로서 스테레오 매칭을 모델링 함으로써 그래프 절단 알고리즘을 사용할 수 있다. 구체적으로 설명하면, 디스패리티 d^xs(수학식 10)를 M 라벨로 이산화할 수 있다(여기서 M은 정수). C에서 픽셀 P에 라벨

, i ∈ [1,M] 이 주어지면, C'에서 그 대응 픽셀 p' =

(p) 은 상기와 같이 결정될 수 있다. C 에서 픽셀P에 라벨

을 할당하는 에너지 함수 E는 관점 스테레오 매칭에 사용되는 것과 동일하며 다음과 같이 표현될 수 있다:

식중 P는 C에서 일조의 모든 픽셀이고, N은 픽셀 인근을 나타내며, 양의 계수 α는 데이터항

및 평활항 E_s를 평형화한다. 항 I(p) 및 I'( p) 는 회전 엑스슬릿 이미지 쌍에 관한 것이다.

일단 디스패리티 맵이 복원되면, 사물 깊이 z은 수학식 10을 역함수화하여 다음과 같이 결정된다:

[수학식 11]

수학식 11은 v축 상과 v축을 벗어난 양쪽 모두의 픽셀에 적용된다.

데이터 항의 픽셀 기반 비교는 카메라 정렬과 이미지 노이즈에 민감할 수 있다. 경직성(픽셀 기반 비교에 반대됨)을 개선하기 위해 패치 유사점을 비교하는 것이 바람직하다. 관점 스테레오와는 달리, 엑스슬릿 이미지에서의 이미지 패치는 왜곡되며(예를 들면, 공유 및/또는 신장된다), 여기서, 왜곡은 슬릿 위치/방향 및 사물 깊이에 의해 결정된다. 스테레오 매칭을 수행하기 위해, 엑스슬릿 이미지쌍에서의 왜곡이 먼저 보정되고 나서 패치 유사점을 측정한다.

다음에, 도 8은 회전 스테레오 매칭의 예시적 방법을 나타낸다. 도 8에 나타낸 스텝은 엑스슬릿 카메라(102)에 의해 캡쳐된 엑스슬릿 이미지 쌍을 기초로 회전 모듈(114)과 조합하는 회전 스테레오 매칭 모듈(122)(도 1)에 의해 수행된다. 도 8에 나타낸 스텝은 본 발명의 일실시예다. 특정 스텝은 도시된 순서와는 다르게 수행될 수 있음을 알 수 있다. 다음에, 도 8에는 회전 스테레오 매칭을 위한 예시적 방법을 나타낸다. 도 8에 나타낸 스텝은 회전 모듈(114)과 조합한 회전 스테레오 매칭 모듈(도 1)에 의해 엑스슬릿 카메라(102)에 의해 캡쳐된 엑스슬릿 이미지 쌍으로부터 수행될 수 있다. 도 8에 나타낸 스텝은 일실시예를 나타낸다. 특정 스텝은 도시된 순서와는 다르게 수행될 수 있음을 알 수 있다.

스텝800에서, 신(scene)의 제1엑스슬릿 이미지는 엑스슬릿 카메라(102)에 의해 갭쳐되며, 이 때 슬릿 렌즈(202-1, 202-2)는 제1방향에 위치결정된다(도 6a 및 도 6c에 도시한 바와 같음). 제1엑스슬릿 이미지는 저장부(108)에 저장될 수 있다. 스텝802에서, 카메라(118) (도 1) 및/또는 슬릿 렌즈(202-1,202-2)는 회전 모듈(114)을 통해 90도 회전하며(도 6b 및 6d에 도시한 바와 같음), 그 결과 슬릿 렌즈(202-1,202-2)가 제1방향과는 반대인 제2방향으로 위치결정된다. 스텝804에서, 신(scene)의 제2엑스슬릿 이미지는 제2방향에 있는 렌즈(202)와 함께 엑스슬릿 카메라(102)에 의해 캡쳐된다(스텝802에 대한 반응으로). 제2엑스슬릿 이미지 또한 저장부(108)에 저장될 수 있다. 제1엑스슬릿 이미지 및 제2엑스슬릿 이미지는 회전 엑스슬릿 이미지 쌍을 나타낸다.

스텝806에서, 등극곡선은 예를 들면 수학식 9를 기초로 제1엑스슬릿 이미지 및 제2엑스슬릿 이미지 각각에 위치할 수 있다. 등극곡선을 위치시키기 위해, 수학식 9를 사용할 수 있다. κ값을 선택하기 위해 (예를 들면, κ= 2), 제1엑스슬릿 이미지 및 제2엑스슬릿 이미지에 대응하는 일조의 등극곡선을 얻는다.

스텝808에서, 제1이미지 및 제2이미지 각각을 m × n 픽셀로 분할한다. 일예로서, 각 패치 치수는 5 × 5 픽셀이다. 깊이 값이 실질적으로 각 패치 내에서 일정하도록 충분히 작게 패치 치수를 선택한다.

스텝810, 제1이미지 및 제2이미지의 각 패치에서 왜곡을 보정한다. 엑스슬릿 이미지에서 왜곡이 공유와 신장을 포함할 수 있기 때문에, 왜곡 보정은 패치를 비공유하고 패치들이 동일한 어스펙트비를 가지도록 재치수화하는 것을 포함한다.

카메라 C 에서 픽셀에 디스패리티 라벨

을 할당할 때, 공유 매트릭스

를 가지고 각 엑스슬릿 시점에서 패치를 먼저 공유하며, 식중 s는 공유인수이다. C 의 경우

이고, C'의 경우

이며, 식중 z _i 는

에 대응하는 신(scene) 깊이가 된다.

다음에, 어스펙트비 왜곡을 보정한다. 깊이 z _i 에서의 신(scene ) 점의 경우, C 에서의 그 어스펙트비는

로 결정되고, C' 에서 그 어스펙트비는

로 결정된다. 수학식 10에 의해, 어스펙트비는 z _i 에 대응하는 디스패리티

와 동일하다. 따라서,

를 직접 축척 인수로 사용할 수도 있다. C에서 원래의 이미지 해상도를 m × n으로 그리고 C' 에서 n × m으로 가정하면, (이미지 쌍의) 제1이미지는

m × n으로 재치수화 되고, (이미지 쌍의)의 제2이미지는 n ×

m으로 재치수화된다.

스텝812에서, 패치 유사점(스텝810에서의 왜곡 보정 이후)을 등극곡선(스텝806)을 따라서 측정한다. 따라서, 패치 유사점을 결정하기 위해 재치수화 결과(스텝810)로부터 동일 치수의 패치를 질의할 수 있다. 프로세스를 가속화하기 위해, 입력 이미지 쌍을 다른 디스패리티 라벨로 예비 축척화 한다(그리고 저장부(108)(도 1)에 저장한다). 특정 디스패리티 라벨을 가진 예비 축척화된 패치는 이후 저장부(108)로부터 검색되고 패치 유사점을 결정하는데 사용된다. 패치 유사점은 평균강도로 측정될 수도 있다. 유사점 값은 각 패치에 깊이 라벨을 할당할 때 페널티 항을 제공한다. 예를 들면, 2개의 패치가 주어질 때, 이들 유사점은 전체 대응 픽셀에 대해 평균 강도차이/색상차이의 관점에서 결정될 수 있다. 이 차이는 L₁ 평균(norm) 또는 L₂ 평균(norm)을 사용하여 측정될 수도 있다.

스텝814에서, 깊이 맵은 유사점 측정을 임의의 적절한 스테레오 매칭 알고리즘에 병합하여 재구성하며, 여기서의 알고리즘으로는, 예를 들면, 제한은 두는 것은 아니지만, 그래프 절단(graph-cut) 기법, 에지 기반(edge-based) 기법, 코스-투-파인(coarse-to-fine) 기법, 적응적 윈도우(adaptive window) 기법, 동적 프로그래밍 기법, 마르코프 랜덤 필드(Markov random field) 기법, 멀티 베이스라인(multi-baseline) 기법 등을 사용할 수 있다.

806 -814에서의 기계적 실행을 위해 비일시적 컴퓨터 판독가능 매체가 컴퓨터 판독가능 명령을 저장하는 것을 고려할 수 있다.

도 9a-9E는 신(scene)에 관한 예시적 회전 스테레오 매칭 결과를 나타낸다. R-엑스슬릿 쌍은 P(1.0, 1.5, 105°)이고, 여기서 1.0은 이미징 센서(208)에 대한 슬릿 렌즈(202-2)의 거리를 나타내고, 1.5는 이미징 센서(208)에 대한 슬릿 렌즈(202-1)의 거리를 나타내며, 105°는 슬릿 렌즈(202-1,202-2) 간의 각도를 나타낸다. 특히, 도 9a 및 9b는 지상 실측 맵을 포함하는 입력 엑스슬릿 이미지 쌍이다(도 9a에 도시함). 도 9c는 그래프 절단을 사용하는 픽셀 기반 매칭에 관한 복원된 디스패리티 맵이고, 도 9d는 왜곡 보정이 있는 패치 기반 매칭에 관한 복원된 디스패리티 맵이고, 도 9E는 왜곡 보정이 없는 패치 기반 매칭에 관한 복원된 디스패리티 맵이다.

일반 엑스슬릿 카메라 모델과 함께 POV-Ray 광선 트레이서(www.povray.org)를 사용하여 이미지들을 합성한다. 신(scene)은 [6, 35]의 깊이 범위를 가진다. 제공된 엑스슬릿 이미지에 σ = 0.05의 가우스 노이즈가 부가된다. 픽셀 기반 결과물(도 9c)은 평활성이 결여되어 있고 이미지 노이즈를 포함한다. 대조적으로, 왜곡 보정이 없는 패치 기반 결과물(도 9E)은 큰 오차를 생성한다.

일예로서, 슬릿 렌즈(202-1,202-2) (도 6a)는 직교하면서 축 정렬되도록 위치 결정될 수 있다. 이러한 카메라를 평행 직교 엑스슬릿(팍스슬릿(POXSlit)) 카메라로도 칭한다. 슬릿 렌즈(202-1,202-2)가 팍스슬릿 카메라를 형성하도록 배열될 때, 등극곡선은 uv = k가 된다. 팍스슬릿 카메라의 이미지는 왜곡이 거의 없는 관점 카메라의 이미지와 유사하게 나타난다.

도 10a-10G를 참조하면, 회전 스테레오 매칭 접근법이 (도 8) 회전 팍스슬릿 카메라(102)로 획득한 신(scene)에 사용된다. 특히, 도 10a는 약 5개의 깊이층으로 구성된 실내 신(scene)에 관한 실험적 셋업을 나타낸다. 신(scene)은 2번 캡쳐되어(먼저 엑스슬릿1로서, 그리고 이후 회전 링(114) 상에서 90도 만큼 카메라(102)를 회전시켜 엑스슬릿2로서), 회전 팍스슬릿 이미지 쌍을 생성한다. 2개의 엑스슬릿 이미지가 2448 × 1376의 해상도로 캡쳐되고 최초 해상도의 절반으로 다운 샘플링 된다. 이미징 센서(208)에 대한 2개의 슬릿 렌즈의 위치는 Z₁ = 38mm이고 Z₂ = 66mm이다. 슬릿 어퍼처(206-1, 206-2)는 각각 2mm의 폭을 가진다. 도 10b 및 도 10c는 캡쳐된 제1 및 제2 회전 XPO슬릿 이미지를 나타낸다.

링의 회전은 광축(210)(즉, 중심 광선)이 완전히 정렬되는 것을 보장하지 않는다. 그러나, 왜곡 보정된 패치 기반 그래프 절단 알고리즘을 적용하여 팍스슬릿 이미지 쌍으로부터 디스패리티 맵을 복원할 수 있다. 이 기법은 다소 오정렬된 관점 이미지 쌍에 대해 스테레오 매칭을 수행하는 것과 유사하다. 복원된 디스패리티 맵이 여전히 의미있는 신(scene) 구조를 나타낼 수 있다 하여도 오정렬은 부정확한 깊이 맵을 초래할 수 있다.

도 10d 및 도 10F는 작은 기초선(1.7) 및 큰 기초선(2)을 위한 팍스슬릿 이미지 쌍(도 10b 및 도 10c)이 주어질 경우 스테레오 매칭 결과를 나타내는 팍스슬릿 이미지이며, 여기서, 기초선은 Z₂/Z₁로 정의된다. 도 10E 및 도 10G는 복원된 디스패리티 맵으로서 도 10d 및 도 10F에 대응한다.

일예로서, 디스패리티 라벨은 [1.8, 2.3]의 범위에서 20 레벨로 이산화되고, 패치 기반 스테레오 매칭이 적용된다. 도 10d 및 도 10E에서, 상대적으로 작은 엑스슬릿 기초선 (1.7)이 사용된다. 그 결과, 최대 해상가능 깊이는 상대적으로 작고, 깊이 오차는 상대적으로 크다. 이 프로세스는 깊이 층(1002, 1004, 1006)을 구별할 수 있다. 그러나, 컴퓨터 그래픽 북과 패턴화된 배경을 구별할 수는 없다.

도 10F 및 도 10G를 참조하면, Z₂를 76mm로 조절하고 Z₁ 은 동일하게 고정하여 엑스슬릿 기초선을 2로 증가시키고 있다. 기초선을 증가시켜, 최대 분해 깊이를 증가시키고, 깊이 오차를 감소시킬 수 있다. 도 10G는 배경과 책이 2개의 층으로서(각 층(1008, 1010)으로서) 현재 별도로 검출되는 것을 도시한다. 그러나, 새로운 R-팍스슬릿 이미지는 보다 좁은 시야를 가진다. 또한, 이미지는 보다 강한 왜곡을 나타내며, 예를 들면, 도 10F는 도 10d보다는 더욱 수평으로 신장되어 있다.

코드형 어퍼처 이미징

연산 이미징과 사진촬영술에서의 최근의 진전으로 인해 전통적으로 도전적인 컴퓨터 비전 과제에 대처하는 많은 새로운 해법이 가능하게 되었다. 뛰어난 등급의 해법은 코드형 연산 사진촬영술이다. 전략적으로 시간, 공간, 파장 등에 걸쳐 광을 차단함으로써, 코드형 연산 사진촬영술이 신(scene) 재구성을 용이하게 하고 이미지 퀄러티를 보존할 수 있다. 예를 들면, 초기에 천문학과 X-레이 이미징에서 개발된 코드형 어퍼처 기술은 실물 카메라로 확장되고 있다. 현재의 카메라에 있어서, 디포커스 불러(defocus blur: 초점 흐림에 따른 흐린 영상)의 주파수 특성을 신(scene) 깊이에 상호 연관시켜서 신뢰성 있는 디콘볼루션(deconvolution) 및 깊이 추정을 가능하게 한다.

현재 코드형 어퍼처 시스템은 구면형 얇은 렌즈와 원형 어퍼처를 구비한 실물 카메라에 형성된다. 어퍼처가 작을 때 구면형 렌즈는 효과적으로 핀홀 투영을 에뮬레이트 한다. 이 모델은 또한 어퍼처 치수와 사물 거리의 관점에서 필드 깊이의 용이한 분석을 도모한다. 코드형 어퍼처를 구현하기 위해, 원형 어퍼처를 원하는 코드형 패턴으로 교체하는 것이 일반적 관례이다.

도 1을 참조하면, 이미징 시스템(100)은 엑스슬릿 카메라(102)로부터의 엑스슬릿 이미지를 사용하여 코드형 어퍼처 이미징 모듈(124)을 통해 코드형 어퍼처 이미징을 수행할 수 있다. 앞에 설명한 바와 같이, 기하학적으로, 엑스슬릿 렌즈 카메라(102)는 엑스슬릿 렌즈 모듈(116) (3D 공간에서 2개의 경사진 또는 직교하는 슬릿을 포함한다)을 동시에 통과하는 광선을 수집한다. 엑스슬릿 렌즈 모듈(116)은 구면형 렌즈 보다 여러 다른 잠재적 장점을 가진 DoF(depth-of-field)를 생성한다. 구체적으로 설명하면, 2타입의 렌즈가 유사한 산출량을 가질 경우, 엑스슬릿 렌즈 모듈(116)은 보다 좋은 DoF를 나타낸다.

도 13a는 엑스슬릿 카메라(102)의 일부를 나타내는 사시도이다. 도 13a는 이미징 센서(208)에 대한 제1 및 제2렌즈(204-1, 204-2)의 위치를 나타낸다. 도 13a는 또한 렌즈(204-1, 204-2)를 통과하는 광선(r_i)의 변형의 일예를 나타낸다. 도 13a가 또한 제2원통형 렌즈(204-2)에 직교하는 제1원통형 렌즈(204-1)를 나타내고 있지만, 렌즈(204-1, 204-2)는 또한 경사각도로 배열될 수도 있다. 따라서, 원통형 렌즈(204)의 직교 배열에 대하여 하기에 설명하는 코드형 어퍼처 이미징 프로세스는 또한 경사 각도로 배열된 원통형 렌즈(204)와 함께 수행될 수도 있다.

도 13a에 있어서, 제1원통형 렌즈(204-1)는 이미징 센서(208)로부터 거리 z=l ₁ 에서 위치 결정되어있다. 제2원통형 렌즈(204-2)는 이미징 센서(208)로부터 거리 z=l ₂ 에서 위치 결정되어있으며, 여기서 l ₁> l ₂이다. 제1원통형 렌즈(204-1) 및 제2원통형 렌즈(204-2)는 각각 f ₁ 및 f ₂의 초점 길이를 가지고 있다. 제1원통형 렌즈(204-1) 및 제2원통형 렌즈(204-2)는 또한 각각 w ₁ 및 w ₂의 폭을 가진 직각형 어퍼처(예를 들면 도 2a에 도시된 바와 같이)를 가지고 있다.

렌즈의 어퍼처가 디포커스 블러(defocus blur)를 유도하여 DoF를 감소시킬 수 있다. 디포커스 블러는 점상강도 분포함수(PSF:Point Spread Function)로부터 결정될 수 있으며, 블러 커널(blur kernel)로도 불리운다. 본 출원 발명자는 엑스슬릿 카메라(102)의 PSF(블러 커널)(또한, 엑스슬릿 PSF로도 불리운다)를 다음과 같이 표현할 수 있음을 발견하였다:

[수학식 12]

도 11 및 도 11a-11d에 예시적 PSF를 도시하고 있다. 도 11은 다른 깊이로 캡쳐된 엑스슬릿 PSF를 나타낸다. 도 11a-11d는 도 11의 좌측에서 우측 방향으로부터 취한 것으로서 도 11에 도시한 하일라이트 부분을 나타낸다. 초점길이 50mm 및 50mm를 가진 엑스슬릿 카메라(102)를 사용하여 경사 스크린(카메라에 대해 15cm로부터 36cm 범위)에 투영되는 32 × 24 도트 어레이를 캡쳐하였다. 도 11a-11d에 도시한 바와 같이, 엑스슬릿 PSF는 깊이에 대해 형상과 축척 모두에서 변화한다. 따라서, 엑스슬릿 PSF는 비등방성이고, 그 형상은 깊이에 대해 종속적이다.

엑스슬릿 카메라(102)의 DoF 분석에 기초하여, 코드형 패턴 이미징을 위한 코드형 어퍼처 패턴을 결정할 수 있다. 코드형 패턴을 개발하는 것은 어려운 도전과제이다. 이상적 패턴은 2개의 모순적 속성, 즉, 신뢰성 있는 디콘볼루션과 큰 깊이 하자를 가질 수 있다. 어퍼처 코드 패턴은 강력한 디콘볼루션을 확보하기 위해 광대역인 것이 바람직하다. 또한, 다른 깊이 층을 구별하기 위해 어퍼처 코드 패턴은 주파수 영역에서 많은 제로 크로싱을 포함하는 것이 바람직하다. 엑스슬릿 렌즈 모듈(116)은 슬릿 어퍼처(206-2')를 사용하여 보다 작은 차원을 가진 슬릿 렌즈(202)(도 2a) 중 하나(즉, 슬릿 렌즈 (202-2))를 광대역 코드로 엔코드하고, 슬릿 어퍼처(206-1')를 사용하여 다른 슬릿 렌즈(즉, 슬릿 렌즈(202-1))를 큰 깊이 하자 코드로 엔코드 한다.

다음에, 도 12는 코드형 어퍼처 이미징을 위한 예시적 방법을 나타낸다. 도 12에 나타낸 스텝은 코드형 어퍼처(206-1', 206-2')(도 2a)를 사용하여 엑스슬릿 카메라(102)에 의해 캡쳐된 엑스슬릿 이미지로부터 코드형 어퍼처 이미징 모듈(124)(도 1)에 의해 수행될 수 있다. 도 12에 나타낸 스텝은 본 발명의 일실시예이다. 특정 스텝은 도시한 것과는 다른 순서로 수행될 수 있음을 알 수 있다.

스텝1200에서, 큰 깊이 하자 코드를 가진 1D 코드형 어퍼처(206-1')가 먼저 제1 원통형 렌즈(lens 204-1) (FIG. 2a)에 적용된다. 스텝1202에서, 광대역 코드를 가진 1D 코드형 어퍼처(206-2')가 제2원통형 렌즈(204-2)에 적용된다.

다음에, 도 12는 코드형 어퍼처 이미징을 위한 예시적 방법을 나타낸다. 도 12에 나타낸 스텝은 코드형 어퍼처(206-1', 206-2')(도 2a)를 사용하여 엑스슬릿 카메라(102)에 의해 캡쳐된 엑스슬릿 이미지를 기초로 코드형 어퍼처 이미징 모듈(124)(도 1)에 의해 수행된다. 도 12에 나타낸 스텝은 본 발명의 일실시예이다. 특정 스텝은 도시된 순서와는 다르게 수행될 수 있음을 알 수 있다. 스텝1200에서, 큰 깊이 하자 코드를 가진 1D 코드형 어퍼처(206-1')가 먼저 제1 원통형 렌즈(lens 204-1) (FIG. 2a)에 적용된다. 스텝1202에서, 광대역 코드를 가진 1D 코드형 어퍼처(206-2')가 제2원통형 렌즈(204-2)에 적용된다.

구면형 렌즈에 대해 코드형 어퍼처를 사용하는 깊이 복원을 모색하여 왔다. 기본적인 이상은 코드형 패턴과 디포커스 이미지를 분석하여 신(scene) 깊이를 복원하고 전체-포커스 이미지를 생성하는 것이다. 그러나, 코드를 설계하는 것에 어려움이 있다. 깊이를 분별하기 위해, 바람직하게는 어퍼처 패턴이 주파수 영역에서 제로 크로싱을 포함하여 의도적으로 깊이의 관점에서 블러(blur) 이미지들 중에서 변형을 유도하는 것이다. 그러나, 강력한 디콘볼루션을 확보하기 위해, 어퍼처 패턴은 광대역인 것이 바람직하며, 다시 말하면, 그 주파수 프로파일은 제로 크로싱을 거의 갖지 않아야 한다.

엑스슬릿 카메라(102)의 DoF 분석으로부터, 엑스슬릿 렌즈 모듈(116)은 출력등가 구면형 렌즈(TESL:Throughput Eequivalent Spherical Lens)와 동일한 광출력 하에서 적은 수평 블러(blur)와, 근사하게 동일한 수직 블러(blur)를 나타낸다. 따라서, 제1원통형 렌즈(204-1)(즉, 수평 렌즈)는 큰 하자 커널을 사용하여 엔코드되고, 수직 원통형 렌즈(204-2)는 광대역 커널로 엔코드 된다. 선택된 코드형 어퍼처에 기초하여, 엑스슬릿 렌즈 모듈(116)은 그 TESL과 동일한 깊이 하자를 제공하며(이들이 동일한 수직 블러 축척을 가지고 있기 때문에), 반면 다른 차원은 보다 적게 흐려지고(blurred) 보다 강력한 디콘볼루션을 제공한다. 코딩 스킴이 전환될 때(즉, 광대역 패턴을 제1원통형 렌즈(204-1)에 적용하는 것에 의해, 그리고 큰 깊이 하자 패턴을 제2원통형 렌즈(204-2)에 적용하는 것에 의해), 전체-포커스 이미지가 보다 용이하게 복원된다 하여도, 깊이 분별 능력이 감소된다.

다음에, 각 원통형 렌즈(204-1, 204-2)를 위해 적절한 코드형 패턴을 선택하는 일예를 설명한다. 수직 패턴은 K _v (x) 이고, 수평 패턴은 K _h (y)라고 가정한다. 전체 블러 커널은 K(x, y) = K _v (x) · K _v (y) 이며, 여기서 x 및 y 는 폐쇄-폼 PSF(수학식 12)에 의해 더욱 구속된다. 각 1D 패턴의 경우, 임의로 샘플링된 일련의 13 비트 코드들 중 한 코드를 선택한다. 수직 코드K _v 는 광대역 코드이기 때문에, 주파수 영역에서 최소 진폭 값이 최대가 되는 코드가 선택된다.

그러면, K _v 는 고정되고, 최적 K _h 가 결정된다. 깊이i 에서의 블러 커널은

이다. 깊이 하자를 개선하기 위해, 서로 다른 깊이, 즉, K ⁱ 및 K ^j (i ≠ j)에서 커널에 의해 야기되는 블러 이미지 분포들 간의 거리를 최대화하는 것이 바람직하다. 공통적으로 사용되는 KL(Kullback-Leibler) 발산을 사용하여 2개의 블러 이미지 분포 간의 거리를 다음과 같이 측정한다:

[수학식 13]

식중, P ⁱ 및 P ^j 는 K ⁱ 및 K ^j 에 관한 블러 이미지 분포를 각각 나타내고, 자연 이미지의 하이퍼-라플라시안 분포는 P ⁱ 및 P ^j 를 연산하는데 사용된다.

일예로서, "1010010011111" 가 수직 코드로 선택되고, "110011110011"이 수평 코드로서 선택된다. 이들 2개의 선택된 코드의 파워 스펙트럼을 도 13b에 도시하고 있다. 도 13b에서, 곡선 1302는 큰 깊이 하자 코드의 파워 스펙트럼이고, 곡선1304는 광대역 코드의 파워 스펙트럼이다.스텝1204에서, 신(scene)의 엑스슬릿 이미지는 스텝1200 및 스텝1202에서 적용된 코드형 어퍼처(206-1', 206-2')를 사용하여 엑스슬릿 카메라(102)에 의해 캡쳐된다. 일예로서, 캡쳐된 이미지는 저장부(108)(도 1)에 저장될 수 있다.

1206에서, 복수의 깊이 층 각각에 대응하여 복수의 PSF가 생성된다. 깊이를 추산하기 위해, 코드형 패턴과 폐쇄-폼 PSF(수학식 12)를 사용하여 각 깊이 층에 대한 대응 PSF를 예비 산출할 수도 있다.

1208에서, 최적 형상 이미지(최소 링잉(ringing)을 가진 것)를 산출하는 복수의 PSF 중에서부터 예비산출된 PSF를 하나 선택한다. 구체적으로 설명하면, 캡쳐된 엑스슬릿 이미지와 서로 다른 깊이 층들의 예비산출된 PSF 사이에서 디콘벌루션을 수행한다. PSF 축척이 실질 축척보다 큰 경우, 그 결과는 강한 링잉 인공물을 나타낸다. 축척이 실질 축척보다 작은 경우, 이미지는 덜 섬세하게 나타나지만 링잉을 보여주지는 않는다.

가보르 필터(Gabor filter)를 사용하여 디콘볼루션된 이미지에서 링잉을 검출할 수도 있으며, 여기서 상승 응답은 더욱 심한 링잉에 해당한다. 가보르 필터는 사인 평면파에 의해 변조된 가우시안 커널 함수이며, 다음과 같이 표현될 수 있다:

[수학식 14]

식중,

, λ는 파장이고(공간 주파수의 역수), θ는 필터의 방위이고, γ는 어스펙트비이고, σ는 가우시안 분포의 표준편차이다.

일예로서, 링잉 검출을 위해 θ = 0° 및 90°를 갖는 가보르 필터를 사용한다. 가보르 필터 G_θ 의 응답 R_θ 은 다음과 같이 정의된다:

[수학식 15]

식중 I( x,y ) 는 엑스슬릿 이미지를 나타낸다.

각 디콘볼루션된 이미지에 대한 수평 및 수직 가보르 응답이 합산되고, 최소값을 가진 응답이 최적 깊이에 대응한다. 신(scene)은 N 깊이 층으로 이산화되고, 할당된 깊이 라벨을 위해 그래프-절단 알고리즘이 재사용될 수 있다. 가보르 응답은 그래프를 형성하기 위한 페널티 항으로서 사용된다. 따라서, 깊이 라벨d _i 을 픽셀p 에 할당하는 에너지 함수E는 다음 식과 같다:

[수학식 16]

식중, P는 이미지에서의 모든 픽셀을 나타내고; N 은 픽셀 인근을 나타내고; E _d (p,d _i (p))는 데이터 항으로서의 가보르 응답이고; E _s 는 평활항이고; 양의 계수 α는 데이터 항 E _d 및 평활항 E _s 을 평형화한다스텝1210에서, 신(scene)의 깊이는 선택된 PSF(스텝1208)에 기초하여 재구성될 수 있다. 일예로서, 전체-포커스 이미지를 복원하기 위해서, 블러 커널은 1D 신(scene) 정보만을 포함하므로, 수정된 위너(modified Wiener) 디콘볼루션이 자연 이미지 선험과 함께 사용된다. 이 기술은 많은 제로 크로싱을 가진 커널을 다룰 수 있는 반복재가중 최소제곱(IRLS:Iteratively Reweighted Least Squares) 디콘볼루션보다 빠를 수 있다. 블러 커널(PSF)이 공지되어 있기 때문에(그리고 깊이의 함수이기 때문에), 커널 치수가 결정되면, 깊이는 블러 커널 치수로부터 결정될 수 있다.

1206-1210에서의 기계적 실행을 위해 비일시적 컴퓨터 판독가능 매체가 컴퓨터 판독가능 명령을 저장하는 것을 고려할 수 있다.

다음에, 도 14a - 도 140를 참조하여, 엑스슬릿 카메라(102)와 함께 신(scene) 재구성을 위한 코드형 어퍼처 이미징의 일예를 설명한다. 특히, 도 14d 는 합성 신(scene)의 지상 실측 이미지이고, 도 14a - 도 14c는 TESL 및 엑스슬릿 코드형 어퍼처 이미지이고, 도 14E - 도 14H는 도 14a - 도 14d 에 각각 도시된 코드형 어퍼처 및 지상 실측 이미지에 관한 예시적 깊이 맵 이미지이고, 도 14I - 도 14K는 도 14a - 도 14c 각각에 도시된 각 TESL 및 엑스슬릿 코드형 어퍼처 이미지에 기초하는 예시적 결과인 블러 제거 이미지이고, 도 14L - 도 14O는 도 14d, 도 14I, 도 14J 및 도 14K 각각에 도시한 이미지 부분을 나타낸다.

도 14d는 20cm, 40cm, 및 80cm에서 3개의 깊이 층을 가진 간단한 신(scene)을 나타낸다. 엑스슬릿 렌즈 모듈(116)은 16cm 및 24cm에서 초점을 맞추도록 구성된다. TESL의 초점면은 엑스슬릿의 전방 초점면과 일치한다. TESL의 경우, 큰 깊이 하자를 갖는 것으로 예상되는 코드 패턴이 사용된다. 엑스슬릿 렌즈 모듈(116)의 경우, 큰 깊이 하자 및 광대역 코드가 사용된다.

도 14a - 도 14O는 2개의 렌즈를 사용하는 복원된 깊이 맵과 전체-포커스 이미지를 도시한다. 이미지 디콘볼루션의 경우, IRLS (제1칼럼) 및 위너 필터(다른 2개의 칼럼)이 적용된다. 복원된 전체-포커스 이미지가 주파수 영역에서의 제로 크로싱으로 인해 교합 경계 부근에서 링 인공물을 나타내더라도, 선택된 코드를 사용하는 TESL에서의 코드형 어퍼처는 높은 퀄러티의 깊이 맵을 생성한다. 코드형 어퍼처를 가진 엑스슬릿 렌즈 모듈(116)은 작은 수평 PSF 때문에 링잉 인공물을 감소시킬 수 있다. 엑스슬릿 코딩 스킴 및 그 복원된 깊이 맵은 TESL의 맵에 필적할 수 있다.

이미지를 캡쳐하고 처리하기 위한 방법 및 시스템이라는 관점에서 본 발명을 설명하였지만, 마이크로프로세서/범용 컴퓨터(미도시)와 함께 사용하기 위해 하나 이상의 스텝 및/또는 구성요소를 소프트웨어로 구현할 수도 있다. 본 실시예에서, 상기 설명한 여러 구성요소 및/또는 스텝의 기능 중 하나 이상을 컴퓨터를 제어하는 소프트웨어로 구현할 수도 있다. 소프트웨어는, 컴퓨터에 의한 실행을 위해, 비일시적, 실체적 컴퓨터 판독가능 매체(예를 들면, 제한적인 예는 아니지만, 마그네틱 디스크, 광 디스크, 하드 드라이브 등)로 실시할 수 있다. 본 명세서에서 설명하는 바와 같이, 도 1에 도시한 구성요소 104, 106, 110, 112는 전용회로 및/또는 컨트롤러(104)에 연결된 컴퓨터 판독가능 매체(108)에 포함된 소프트웨어를 사용하여 특정 동작을 수행할 수 있다. 이와는 달리, 본 명세서에서 설명하는 프로세스를 구현하기 위해, 소프트웨어 명령 대신 또는 소프트웨어 명령과 조합하여 하드와이어드(hardwired) 회로를 사용할 수도 있다. 따라서, 본 명세서에서 설명하는 구현방법은 하드웨어 회로 및 소프트웨어의 어느 특정 조합에 한정되지 않는다.

특정 실시예를 참조로 본 발명을 예시하고 설명하였지만, 본 발명은 도시한 상세내용에만 한정되지 않으며, 청구범위의 범위 또는 그 등가물 내에서 본 발명을 일탈하지 않고도 상기 상세 내용에 대한 여러 가지 변형이 이루어질 수 있다.

Claims

신(scene)을 재구성하는 방법으로서,
상기 방법은:
이미징 센서에 결합된 렌즈 모듈을 통해 상기 신(scene)을 나타내는 광을 지향시키는 단계(상기 렌즈 모듈은 상기 이미징 센서의 광축을 따라서 위치 결정되는 제1원통형 렌즈 및 제2원통형 렌즈와, 상기 제1원통형 렌즈 및 제2원통형 렌즈에 각각 배치되는 제1 슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함하고, 상기 제2원통형 렌즈의 원통축은 상기 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열됨);
적어도 하나의 다관점 이미지를 형성하도록 상기 렌즈 모듈을 통해 지향된 광을 상기 이미징 센서에 의해 캡쳐하는 단계; 및
상기 신(scene)의 재구성 특성을 결정하도록 상기 적어도 하나의 다관점 이미지를 프로세서에 의해 처리하는 단계를 포함하고,
상기 제1슬릿 형상 어퍼처는 깊이 하자 코드를 포함하고, 상기 제2슬릿 형상 어퍼처는 광대역 코드를 포함하고, 상기 적어도 하나의 다관점 이미지는 코드형 이미지를 형성하고, 상기 적어도 하나의 다관점 이미지를 처리하는 단계는 상기 렌즈 모듈의 점상강도 분포 함수(PSF:Point Spread Function)에 기초하여 상기 코드형 이미지로부터 상기 신(scene)의 깊이를 재구성하는 단계를 포함하는 것을 특징으로 하는, 신 재구성 방법.
제1항에 있어서,
상기 적어도 하나의 다관점 이지미를 처리하는 단계는:
상기 적어도 하나의 다관점 이미지 내에서 공면 공통점 및 소멸점에 기초하여 상기 적어도 하나의 다관점 이미지로부터 상기 신(scene)에서의 적어도 하나의 평면을 식별하는 단계를 포함하는 신 재구성 방법.
제2항에 있어서,
상기 방법은:
상기 적어도 하나의 다관점 이미지에서 하나 이상의 선 이미지에 원뿔을 피팅하는 단계;
상기 공면 공통점 및 상기 소멸점을 식별하도록 상기 원뿔의 쌍별 교차를 결정하는 단계; 및
상기 공면 공통점 및 소멸점을 기초로 상기 적어도 하나의 평면을 재구성하는 단계를
더 포함하는 신 재구성 방법.
제1항에 있어서,
상기 적어도 하나의 다관점 이미지는 제1다관점 이미지 및 제2 다관점 이미지를 포함하고, 상기 적어도 하나의 다관점 이미지를 형성하도록 광을 캡쳐하는 단계는:
상기 제1원통형 렌즈 및 상기 제2원통형 렌즈가 상기 이미징 센서에 대해 상대적인 제1방향으로 배열될 때 상기 제1 다관점 이미지를 캡쳐하는 단계;
상기 제1원통형 렌즈 및 상기 제2원통형 렌즈가 상기 이미징 센서에 대해 상대적인 제1방향에 대해 반대되는 제2방향으로 배열되도록 상기 이미징 센서에 대해 상대적으로 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈를 회전시키는 단계; 및
상기 제1원통형 렌즈 및 상기 제2원통형 렌즈가 상기 제2방향으로 배열될 때 상기 제2 다관점 이미지를 캡쳐하는 단계(상기 제1다관점 이미지 및 상기 제2다관점 이미지는 스테레오 이미지 쌍을 형성한다)를
포함하는 신 재구성 방법.
제4항에 있어서,
상기 적어도 하나의 다관점 이미지를 처리하는 단계는:
상기 스테레오 이미지 쌍의 각 이미지에서 적어도 하나의 등극곡선을 기초로 상기 스테레오 이미지 쌍으로부터 깊이 맵을 재구성하는 단계를 포함하는 신 재구성 방법.
제5항에 있어서,
상기 방법은:
상기 제1다관점 이미지 및 상기 제2다관점 이미지 각각에 상기 적어도 하나의 등극곡선을 위치시키는 단계;
상기 제1다관점 이미지 및 상기 제2다관점 이미지 각각을 복수의 패치로 분할하는 단계;
상기 적어도 하나의 등극곡선 각각을 따라서 상기 제1다관점 이미지와 상기 제2다관점 이미지 사이의 패치 유사점을 측정하는 단계; 및
상기 패치 유사점에 기초하여 상기 깊이 맵을 재구성하는 단계를
포함하는 신 재구성 방법.
제6항에 있어서,
상기 방법은 각 패치를 비공유화하는 것과 각 패치를 재치수화하는 것 중 적어도 하나에 의해 상기 제1다관점 이미지 및 상기 제2다관점 이미지의 각 패치에 왜곡을 보정하는 단계를 더 포함하는 신 재구성 방법.
삭제
제7항에 있어서,
상기 방법은:
다른 깊이 층을 나타내는 복수의 특정 PSF 각각으로 코드형 이미지를 디콘볼루션하는 단계;
최적의 디콘볼루션된 이미지에 대응하는 복수의 PSF 중 하나를 선택하는 단계; 및
선택된 PSF에 기초하여 신(scene)의 깊이를 재구성하는 단계를 더 포함하는 신 재구성 방법.
신(scene)의 적어도 하나의 다관점 이미지를 캡쳐하도록 구성된 카메라를 포함하는 시스템으로서,
상기 카메라는 렌즈 모듈 및 이미지 처리 모듈을 포함하고:
상기 렌즈 모듈은 이미징 센서에 결합되고, 또한, 상기 렌즈 모듈은 상기 이미징 센서의 광축을 따라서 위치결정되는 제1원통형 렌즈 및 제2원통형 렌즈와, 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈에 각각 배치되는 제1슬릿형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함하고, 상기 제2원통형 렌즈의 원통축은 상기 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열되고;
상기 이미지 처리 모듈은 상기 신(scene)의 적어도 하나의 다관점 이미지를 수신하고 상기 신(scene)의 재구성 특성을 결정하도록 구성되고,
상기 제1슬릿 형상 어퍼처는 깊이 하자 코드를 포함하고, 상기 제2슬릿 형상 어퍼처는 광대역 코드를 포함하고, 캡쳐된 상기 적어도 하나의 다관점 이미지는 코드형 이미지를 포함하고, 상기 이미지 처리 모듈은 상기 렌즈 모듈의 PSF(Point Spread Function)에 기초하여 코드형 이미지로부터 신(scene)의 깊이를 재구성하도록 구성되는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 각도는 90도 이상이고 180도 미만인, 시스템.
제10항에 있어서,
상기 이미지 처리 모듈은 상기 적어도 하나의 다관점 이미지 내에서 공면 공통점 및 소멸점에 기초하여 상기 적어도 하나의 다관점 이미지로부터 상기 신(scene)에서의 적어도 하나의 평면을 식별하도록 구성되는, 시스템.
제10항에 있어서,
상기 카메라에 결합된 회전 모듈을 더 포함하며, 상기 회전 모듈은 상기 이미징 센서에 대해 상대적으로 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈의 회전을 수행하도록 구성됨으로써 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈가 상기 이미징 센서에 대해 상대적인 제1방향으로 배열되도록 하거나 상기 이미징 센서에 대해 상대적인 제1방향에 대해 반대되는 제2방향으로 배열되도록 하는, 시스템.
제13항에 있어서,
상기 적어도 하나의 다관점 이미지는 상기 제1방향 및 상기 제2방향에서 각각 캡쳐되는 제1다관점 이미지 및 제2 다관점 이미지를 포함하여 스테레오 이미지 쌍을 형성하고, 상기 이미지 처리 모듈은 상기 스테레오 이미지 쌍의 각 이미지에서 적어도 하나의 등극곡선에 기초하여 상기 스테레오 이미지 쌍으로부터 깊이 맵을 재구성하도록 구성된, 시스템.
삭제
제14항에 있어서,
상기 제2원통형 렌즈는 상기 제1원통형 렌즈와 상기 이미징 센서 사이에 배치되는, 시스템.
이미징 센서; 및
상기 이미징 센서에 결합된 렌즈 모듈을
포함하는 다관점 카메라로서, 상기 렌즈 모듈은:
상기 이미징 센서의 광축을 따라서 위치결정되는 제1원통형 렌즈 및 제2원통형 렌즈(상기 제2원통형 렌즈의 원통축은 상기 제1원통형 렌즈의 원통축에 대해 평행으로 떨어져 일정 각도로 배열된다); 및
상기 제1원통형 렌즈 및 상기 제2원통형 렌즈에 각각 배치되는 제1슬릿 형상 어퍼처 및 제2슬릿 형상 어퍼처를 포함하고,
상기 이미징 센서는 신(scene)의 다관점 이미지를 캡쳐하도록 구성되고,
상기 제1슬릿 형상 어퍼처는 깊이 하자 코드를 포함하고, 상기 제2슬릿 형상 어퍼처는 광대역 코드를 포함하는 것을 특징으로 하는, 다관점 카메라.
제17항에 있어서,
상기 각도는 90도 이상이고 180도 미만인, 다관점 카메라.
삭제
제18항에 있어서,
상기 이미징 센서, 상기 제1원통형 렌즈, 상기 제2원통형 렌즈 중 적어도 하나는 상기 광축에 대해 회전하도록 구성됨으로써, 상기 제1원통형 렌즈 및 상기 제2원통형 렌즈는 상기 이미징 센서에 대해 상대적인 제1방향으로 배열되는 제1구성과 상기 이미징 센서에 대해 상대적인 제1방향과는 반대인 제2방향으로 배열되는 제2구성을 가지는, 다관점 카메라.