KR101871034B1 - 플렌옵틱 이미징 장치 - Google Patents

Abstract

본 발명에 따른 광계 이미징 장치는 물체 또는 장면의 복수의 광학 이미지를 얻기 위한 이미지 멀티플라이어(130), 어퍼쳐를 가지며, 센서의 같은 노출 동안 공통 이미지 센서(170)에 복수의 이미지들의 적어도 일부를 이미지화하기 위한 픽업 시스템(140)을 포함한다.

Description

플렌옵틱 이미징 장치{PLENOPTIC IMAGING DEVICE}

본 발명은 높은 동적 범위, 다중 스펙트럼, 편광, 및 플렌옵틱 이미징용의 비-영구적인 인식가능한 카메라 부가 장치(Add-on)에 대한 것이다.

플렌옵틱(plenoptic) 기능의 이미징 수치화는 오랜 동안의 목표이었다(아델슨 앤 베르겐 1991]. 센서 상의 입사광의, 예컨대, 방향 스펙트럼, 시간 변화(temporal variation), 편광화 및 다른 특성들과 같은 모든 특성에 대한 접근은 과학적 이미징, 산업상 품질 제어, 원격 감지, 컴퓨터 비젼(vision), 및 컴퓨터 그래픽에서 많은 적용 예들을 가진다.

지구 궤도를 도는 이미저들에서 현미경 카메라에 걸친 수많은 특수 장치들이 고전적인 다중 스펙트럼 편광 이미징에 존재한다. 보다 최근의 높은 동적 범위의 이미징과 광계(light-field) 캡쳐는 컴퓨터 그래픽 분야에서 주요한 문제로 되었다. 이미지의 이러한 물리적인 디멘션(dimension)에 대해 접근하도록, 광 통합이 적응되어야 한다.

일시적인 다중화 방안에서, 이미지 스택(stack)이 기록되고 다른 노출 필터들이 광 경로에 배치된다. 이러한 방안은 단지 고정 장면 또는 반-고정 장면에 적용될 수 있다. 후자는 그 자체 어려운 문제인 개별 이미지들의 저장을 필요로 한다. 하드웨어 병렬 획득 방안에서, 광학 이미지는 비임-스플리터 장치에 의하여 배가되고 공간상으로 이동된 다른 센서 유닛 위로 투영된다. 다른 광학 예비-필터들은 다른 광학적인 광 경로에 삽입될 수 있다. 이 장치에 의하여 역동적으로 장면들이 이미지화될 수 있다. 그러나, 종래 구축되는 크고 고가이며, 대용량의 설정 대신에, 이 장치가 사용될 수 있다. 또한, 서로에 대한 다른 센서들의 동기화 및 복사 측정은 또 다른 문제적인 측면이다. 최종적으로, 공간 다중화 방안에서, 단일 센서 유닛은 매 화소가 다른 광학 예비-필터와 결합된 부위에서 사용된다. 이러한 디자인에 의하여 단일-노출(스냅샷)이 회복될 수 있다. 그의 가장 친숙한 적용이 칼라 필터 어레이를 통한 칼라 이미징이다. 현재, 이것은 종래 센서 디자인을 필요로 하거나 또는 표준 센서들의 영구적인 변형을 필요로 한다.

일반적인 광계 이미지 획득이 웨쯔슈타인(wetzstein) 등[2011] 및 죠우(Zhou) 등[2011]에 기재된다. 스냅샷 이미징은 단일 노출에서 달리 여파된 이미지들을 포착한다. 각각 다른 예비-필터, 또는 변형된 기록 파라미터들을 가진, 간단한 하드웨어-병렬 설정은 여러 카메라들을 서로 근접시켜 배치한다(예컨대, [윌번 등의 2005]. 그럼에도 불구하고, 방향 외의 대부분의 광계 디멘션(dimensions)에서 광계 이미징이 의도되지 않았으면, 카메라들의 다른 시점들이 보충되는 것이 필요하다. 광학 흐름[호른 및 션크 1981]이 적용될 수 있으나, 실제로 다른 광학 예비-필터들이 사용될 때 어긋날 수 있는 휘도 항상성 가정(brightness constancy assumption)에 기초하므로 한정된 실용성을 가진다.

단안(monocular) 스냅샷의 경우, 장면(scene)이 공통 주 렌즈를 통해 관찰되므로 달리-여파된 이미지들 사이의 시차를 피할 수 있다. 하드웨어-병렬 솔루션은 광학적인 분할 트리(splitting tree)[맥과이어 등 2007]을 이용하는 것이다. 광 경로는 비임 스플리터 시스템에 의하여 다른 분지(branch)들로 분리된다. 각각의 광 경로의 단부에서, 표준 센서가 장착되고 별개의 광학 필터가 각각의 센서에 도입될 수 있다. 이러한 이미징 모드는 HDR 이미징 [토치 등 2011], 편광 이미징 [페짜니티 등 2008], 및 다중 스펙트럼 이미징 [스피어링 1999; 맥과이어 등 2007]을 위한 많은 실제 시스템에 채용된다. 단일-센서 설정은 가끔 다중화를 이용하고, 이는 광학적으로 사전-여파된 이미지들이 센서에서 재분배되고 직접 이미지화되는 직접 다중화와, 중첩된 광계 양들이 관찰되는 컴퓨터 다중화의 두가지 방식으로 이루어진다. 후자의 경우, 컴퓨터 버전은 광계 이익의 양을 회복한다. 가끔, 이러한 역의 단계는 부적절하게 정립되고 신호에 대한 사전 정보를 이용하여 조정되어야 한다.

다른 원색들을 포착하는 것은 컴퓨터 그래픽과 비젼의 많은 용도, 예컨대, 백색점 조정을 넘는 재조명, 또는 향상된 추적 및 분할 정확성 [박 등 2007; 카오 등 2011] 및 일반적인 과학적 이미징, 예컨대, 위성-기반 원격 감지, 현미경, 광학 품질 제어에 적용할 수 있다. 통상적으로, 직접 다중화 방안에서 광학 경로에 삽입된 분산 요소를 이용하고, 광은 다른 파장 정보를 기록한 인접 센서 화소들에 도달하는 것이 방지되거나 또는 동시에 다시 지향된다. 칼라 사진의 경우, 베이어(Bayer) 필터가 가끔 사용되고, 이는 센서들 전방에 직접 배치된다.

원칙상, 이와 같이 여러 원색들이나 다른 광계 디멘션 [나라시만 및 나야르 2005]이 포착될 수 있다. 다른 예들은 미러 어레이, 소위 이미지 스플라이서(splicer) [보넷 등 2004], 또는 차단 마스크 [두 등 2009; 카오 등 2011]의 사용을 포함한다. 얻어지는 출력은 통상적으로 낮은 공간 해상도를 가진다. 최근의 추세는 저-해상도 다중 스펙트럼 이미지와 결합하여 고-해상도의 RGB 이미지를 포착하고 고-해상도 RGB 이미지에 스펙트럼 정보를 전송하는 것이다 [럼프와 클라인 2010; 카오 등 2011].

높은 동적 범위의 HDR 이미징은 표준 이미징 센서의 높은 동적 범위 제한을 피한다. 실제로 노출 시퀀스가 대개 사용된다. 스냅샷들은 화소 노출을 변화시키면서 가능하나[나야르 및 미츠나가 2000], 이 방안은 이전에 설명한 결점들을 가진다.

장면의 물체를 반사하는 계의 편광은 재료 형태, 조도, 표면 정위, 조사의 편광 상태, 및 주위 매체의 분산 특성에 의하여 영향을 받는다. 따라서, 편광은 재료와 장면 특성에 대한 중요한 정보를 가지여, 예컨대, 탈연무(dehazing) [슈체너 등 2001], 또는 반사율[뉴만 등 2008]의 제거 및 편집을 가능하게 한다. 다중 스펙트럼 이미징에 대해 분산 또는 회절을 통한 비교적 간단한 물리적 파장의 분할 메카니즘이 가능하다[복굴절은 단지 비교적 작은 효과이다]. 따라서, 필터 휠들 또는 비임 분할에 의한 급속 시간 다중화 [페짜니티 등 2008]가 적용된다. 대신해서, 슈체너 및 나야르의 일반화된 모자이크 [슈체너 및 나야르 2005]가 사용될 수 있는 데, 이는 또한 다른 광계 디멘션에 적용되었다.

광계(light field)는 매 센서 요소에서의 입사광의 각도상 변화를 나타낸다. 원리는 일 세기 전에 착상되었지만 [입스 1903; 리프만 1908], 디지털 카메라 기술의 도래에 의하여 현실화되었다. 주 카메라 렌즈 한계 내의 상 초점 재조정 및 시점(view point) 변화 [이작센 등 2000; Ng 2005], 및 깊이 평가 [와너 및 골드 뤼케 2012a; 와너 및 골드 뤼케 2012b]는 가능한 용도들이다.

단안(monocular), 즉, 카메라 내의 광계를 기록하기 위한 주요 수단은 렌즈릿 어레이를 사용하는 것이며[아델슨 및 왕 1992; Ng 등 2005], 광 처리양이 열악하므로 후자의 경우는 낮은 SNR을 유발하지만, 감쇠 마스크 [센서에 근접 설치되나 입사하는 것이 아닌)가 사용될 수 있다[비어라그 하반 등 2007; 란만 등 2008]. 광계를 초과하는 카메라 어퍼쳐는 복합 어퍼쳐 이미징 및 투사에 미러 이미지를 사용하는 것[레보이 등 2004]에 의하여 달성되었다. 본 발명에 가장 관련되는 것은 만화경 미러를 통한 평평한 물체의 반구 이미징을 얻는 한 등[2003]이다. 양방향 텍스쳐 기능을 측정하기 위한 이러한 장치는 리셰토스키 등(Reshetouski et al)[2001]에 의하여 3차원 물체에 확장되었다.

아델슨, 이. 에이치(ADELSON, E. H.) 앤 베르겐 , 주니어(BERGEN, J. R.) 1991.광각 기능 및 조기 시각의 요소(The Plenoptic Function and the Elements of Early Vision) 시각 처리의 컴퓨터 모델에서(In Computational Models of Visual Processing), MIT Press), 3?20. 아델슨, 이. 앤 왕, 제이.(ADELSON, E., AND WANG, J.) 1992. 광각 카메라를 구비한 단일 렌즈 스테레오(Single Lens Stereo with a Plenoptic Camera) EEE Trans. PAMI 14, 2, 99?106. 베이어 비.이(BAYER, B. E.), 1976. 칼라 이미징 어레이(Color Imaging Array) US Patent 3,971,065. 바닛, 에이치., 애버터, 알., 베이커, 에이. 등(BONNET, H., ABUTER, R., BAKER, A., ET AL.) 2004. 브엘티에서의 신포니의 제1 광(First Light of SINFONI at the VLT). ESO Messenger 117, 17, 17-24. 카오, 엑스(CAO, X.), 통, 엑스(TONG, X.), 대, 큐(DAI, Q.), 및 린, 에스(LIN, S.) 2011. 하이브리드 카메라 시스템을 갖춘 고-행상도 다중-스펙트럼 비디오 캡쳐(High-Resolution Multi-Spectral Video Capture with a Hybrid Camera System). In Proc. CVPR, 297 - 304. 쿡, 알.엘(COOK, R. L.), 및 디로즈 티(DEROSE, T.) 2005. 여파 소음(Wavelet Noise). ACM TOG 24, 3, 735-744. 디비벡, 피.이.(DEBEVEC, P. E.), 그리고 맬릭, 제이(MALIK, J.) 1997. 사진으로부터 고출력 범위 라디안 맵의 회복(Recovering High Dynamic Range Radiance Maps from Photographs). In Proc. SIGGRAPH, 369?378. 디스카워, 엠(DESCOUR, M.), 그리고 데렌이악, 이.(DERENIAK, E.) 1995. 컴퓨터-토모그라피 이미징 분광계; 실험 측정 및 재구성 결과(Computed-tomography Imaging Spectrometer: Experimental Calibration and Reconstruction Results). Appl. Optics 34, 22, 4817?4826. 두, 에이치(DU, H.), 통, 엑스(TONG, X.), 카오, 엑스.(CAO, X.), 및 린, 에스.(LIN, S). 2009. 다중 스펙트럼 비디오 획득용 프리즘-기반 시스템(A Prism-Based System for Multispectral Video Acquisition). In Proc. ICCV, 175-182. 겜. 엠. 이.(GEHM, M. E.), 존, 알.(JOHN, R.), 브래디, 디.제이.(BRADY, D. J.), 윌렛, 알. 엠(WILLETT, R. M.), 및 슐즈, 티. 제이(SCHULZ, T. J). 2007. 이중-디스퍼서 구조를 가진 단일-샷 압축 스펙트럼 이미징(Single-Shot Compressive Spectral Imaging with a Dual-Disperser Architecture). Optics Exp. 15, 21, 14013-14027. 골드슈타인, 디.에이치(GOLDSTEIN, D. H). 2003. 편광된 광(Polarized Light), 2판. CRC Press, New York, US. 고틀러, 에스(GORTLER, S.), 그레슉, 알(GRZESZCZUK, R.), 제린스키, 알(SZELINSKI, R.), 및 코헨, 엠(COHEN, M.) 1996. 루미그라프(The Lumigraph). In Proc. SIGGRAPH, 43-54. 하벨, 알(HABEL, R.), 쿠데노프, 엠(KUDENOV, M.), 및 위머, 엠(WIMMER, M.) 2012. 실제 스펙트럼 사진(Practical Spectral Photography). CGF 31, 2 (May), 449-458. 한, 제이. 와이(HAN, J. Y.), 및 퍼린, 케이(PERLIN, K). 2003. 만화경에 의한 양방향성 텍스쳐반사율의 측정(Measuring Bidirectional Texture Reflectance with a Kaleidoscope). In Proc. SIGGRAPH, 741-748. 한게더스, 알(HEGEDUS, R.), 젤, 지(SZEL, G.), 및 노바쓰, 지(HORVATH, G) 2006. 사카라브 딱정벌레의 큐티클의 순환 편광의 이미징 편광 측정(Imaging polarimetry of the circularly polarizing cuticle of scarab beetles) (콜레옵테라: 루텔리대, 세토니대(Coleoptera: Rutelidae, Cetoniidae)). 비젼 리서치(Vision Research) 46, 2786-2797. 혼, 비.케이.피(HORN, B. K. P.), 및 션크, 비.지(SCHUNCK, B. G). 1981. 과학적인 흐름의 결정(Determining Optical Flow). Artif. Intell. 17, (1-3), 185-203. 호르스트마이어, 알(HORSTMEYER, R.), 율리시스, 지(EULISS, G.), 아달레, 알(ATHALE, R.), 및 레보이, 엠(LEVOY, M). 2009. 광계 구조를 이용한 신축성 다중 모드의 카메라(Flexible Multimodal Camera Using a Light Field Architecture). In Proc. ICCP, 1-8. 어키, 아이(IHRKE, I.), 웨트슈타인, 지(WETZSTEIN, G.), 및 하이드리히, 더블유. 2010. 광계 멀티플렉싱 이론(A Theory of Plenoptic Multiplexing). In Proc. CVPR, 1-8. 어키 아이. 2012. MATLAB v2.0 용 칼라 측정 툴박스. http://giana.mmci.uni-saarland.de/software.html. 이작센, 에이(ISAKSEN, A.), 맥밀런, 엘(MCMILLAN, L.), 및 고틀러, 에스. 제이(GORTLER, S. J). 2000. 역동적으로 다시 파라미터설정된 광계(Dynamically Reparameterized Light Fields). In Proc. SIGGRAPH, 297-306. 입스, 에이치(IVES, H.), 1903. 시차 스테레옥램 및 그 제조 프로세스(Parallax Stereogram and Process of Making Same). 미국 특허 제725,567. 쿠데노프, 엠(KUDENOV, M.), 및 데레니악, 이(DERENIAK, E). 2011. 컴팩 스냅-샷 실시간 이미징 분광기(Compact Snapshot Real-Time Imaging Spectrometer). In SPIE Conf. on Elec.-Opt. Rem. Sens., Phot. Tech., and Appl. V, 81860W-1-81860W-12. 랜먼, 디(LANMAN, D.), 라스카, 알(RASKAR, R.), 아그라왈, 에이(AGRAWAL, A.), 및 토빈, 지(TAUBIN, G). 2008. 실드 필드(Shield Fields): 3D 차폐렌즈의 모델링 및 캡쳐링(Modeling and Capturing 3D Occluders). ACM TOG 27, 5, 131. 레보이, 엠(LEVOY, M.), 및 한라한, 피(HANRAHAN, P). 1996. 광계 연출(Light Field Rendering). In Proc. SIGGRAPH, 31-42. 레보이, 엠., 첸, 비., 배시, 브이., 호로비츠, 엠., 맥도월, 아이., 및 볼루스, 엠. 2004. 합성 어퍼쳐 공초점 이미징(Synthetic Aperture Confocal Imaging). ACM TOG 23, 3, 825-834. 리프맨, 지., 1908. 라 포토그라피 인터그랄(La Photographie Inte?grale). Academie des Sciences 146, 446-451. 럼스데인, 에이., 및 죠지브, 티. 2009. 초점 일치 광계 카메라 In Proc. ICCP, 1?8. 만, 에스., 및 피카드, 알. 더블유. 1995. 디지털 카메라의 "비디지털?: 달리노출된 사진들을 결합하여 동적 범위를 확장. In Proc. IS&T, 442-448. 맥과이어, 엠. 매튜식, 더블유., 파이스터,에이치., 첸, 비., 휴즈, 제이., 에프., 및 나야르, 에스.,케이 2007. 고정밀도 단안 이미징용 광학적인 분할 트리 IEEE CG&A 27, 2, 32-42. 미츠나가, 티., 및 나야르, 에스. 케이. 1999. 복사 자체 측정 In Proc. CVPR, 374?380. 나라시만, 에스., 및 나야르, 에스 2005. 구분 화소를 이용한 다중 이미징 디멘션에 따른 해상도 향상 IEEE Trans. PAMI 27, 4, 518-530. 나야르, 에스., 및 미츠나가, 티. 2000. 높은 동력 범위의 이미징: 공간 가변 화소 노출. In Proc. CVPR, vol. 1, 472-479. 뉴만, 엔., 헤지더스, 알., 호어바쓰, 지., 및 가르시아, 알 2008. 고정밀도 이미징 편광기의 용도. In Proc. Computational Aesthetics in Graphics, Visualization and Imaging, 89-97. 엔지, 알., 레보이, 엠., 브레디프, 엠.,듀발, 지., 호로비츠, 엠., 및 한래헌, 피. 2005. 휴대 광계 카메라에 의한 라이트 필드 사진 Tech. Rep. Computer Science CSTR 2005-02, Stanford University. 엔지, 알. 2005. 포리어 슬라이스 사진. ACM TOG 24, 3, 735-744. 오카모토, 티., 및 야마구치, 아이. 1991. 스펙트럼 이미지 정보의 동시 획득. Optics Lett. 16, 16, 1277-1279. 박, 제이.-아이., 리, 엠.-에이치., 그로쓰버그, 엠. 디., 및 나야르, 에스. 케이. 2007. 다중화 조사를 이용한 다중 스펙트럼 이미징 In Proc. ICCV, 1-8 페짜니티, 제이. 엘., 체놀트, 디., 로체, 엠., 라인하르트, 제이., 페짜니티, 제이. 피., 및 슐츠, 에이츠. 2008. 4개 카메라의 완전 스트로크 이미징 편광기(Four Camera Complete Stokes Imaging Polarimeter) In Proc. SPIE 6972, Polarization: Measurement, Analysis, and Remote Sensing VIII, 69720J-1-69720J?12. 리챠드, 이., 워드, 지., 데비빅, 피., 페타나익, 에스., 하이드리히, 더블유., 및 미츠코프스키, 케이. 2010. 높은 동적 범위 이미징: 획득, 디스플레이 및 이를 기초로 한 라이팅. Morgan Kaufmann Publishers. 리셰토스키, 아이., 마나코프, 에이., 사이델, 에이치.-피., 및 어크, 아이. 2011. 3차원 만화경 이미징. In Proc. CVPR, 353-360. 럼프, 엠., 및 클라인, 알. 2010. 스펙트럼화: 희소 데이터로부터 스펙트럼 재구성 In Proc. EGSR, 1347?1354. 슈체너, 와이., 및 나야르, 에스. 2005 입나화 모자익: 편광 파노라마 IEEE Trans. PAMI 27, 4, 631-636. 슈케너, 와이 및 나라심한, 에스.지., 및 나야르, 에스. 케이. 2001. 편광을 이용한 이미지의 순간 탈연무 In Proc. CVPR, 325-332. 스피어링, 피.에이 1999. 다중스펙트럼 이미징 시스템 미국 특허 5,900,942. 토치, 엠.디., 키서, 씨., 토치, 엔., 및 센, 피. 2011. 다용도 HDR 비디오 제조 시스템. ACM TOG 30, 4. 토요카, 에스., 및 하야사카, 엔., 1997. 광대역 필터를 사용한 2차원 스펙트럼 분석(Two-Dimensional Spectral Analysis using Broad-Band Filters). Optical Communications 137 (Apr), 22-26. 비라라하반, 에이(VEERARAGHAVAN, A.), 라스카, 알(RASKAR, R.), 아그라발, 에이(AGRAWAL, A.), 모한, 에이(MOHAN, A.), 및 텀브린, 제이(TUMBLIN, J). 2007. 얼룩 사진: 헤테로다인식 광계 및 부호화된 어퍼쳐 초점재조정용 차단 향상 카메라(Dappled Photography: Mask Enhanced Cameras For Heterodyned Light Fields and Coded Aperture Refocussing). ACM TOG 26, 3, 69. 오너, 에스(WANNER, S.), 및 골드뤼케, 비(GOLDLUECKE, B). 2012. 4D 라이트필드의 전세계적으로 일치하는 깊이 라벨링(Globally Consistent Depth Labeling of 4D Lightfields). In Proc. CVPR, 41 - 48. 와너, 에스(WANNER, S.), 및 골드뤼케, 비(GOLDLUECKE, B). 2012. 4D 라이트필드의 공간 각도상 가변 슈퍼-리솔루션(Spatial and Angular Variational Super-Resolution of 4D Light Fields). In Proc. ECCV, 608 - 621. 웨츠슈타인, 지.(WETZSTEIN, G.), 이어크, 아이(IHRKE, I.), 랜먼, 디(LANMAN, D.), 및 하이드리히, 더블유(HEIDRICH, W). 2011. 컴퓨터 광계 이미징(Computational Plenoptic Imaging). CGF 30, 8, 2397-2426. 윌번, 비(WILBURN, B.), 죠시, 엔(JOSHI, N.), 배시, 브이(VAISH, V.) 등 2005. 대형 카메라 어레이를 이용한 고성능 이미징(High Performance Imaging using Large Camera Arrays). ACM TOG 24, 3, 765-776. 조우, 시(ZHOU, C.), 및 나야, 에스(NAYAR, S). 2011. 컴퓨터 카메라: 광학과 처리의 컨버전스(Computational Cameras: Convergence of Optics and Processing). IEEE Trans. IP 20, 12 (Dec), 3322-3340.

따라서 본 발명의 목적은 종래의 카메라 디자인의 필요성을 피하면서 이미지의 광계 치수의 스냅샷 이미징을 가능하게 하는 것이다. 본 발명의 추가적인 목적은 DLR과 같은 종래의 이미징 장치, 모바일 폰 또는 태블릿 카메라, 산업용 카메라, 시네마 카메라 또는 현미경과 가역적으로 결합할 수 있으나, 통상의 사용을 위하여 용이하게 제거될 수 있으므로, 사용자들에 의하여 광계 이미징을 광범위하게 채택할 수 있도록 하는 광학 요소를 디자인하는 것이다.

이러한 목적은 독립 청구항에 따른 플렌옵틱 이미징 장치에 의하여 달성된다. 유익한 실시예들이 종속 청구항들에 정의된다.

본 발명에 따르면, 파장, 시간, 및 방향과 같은 여러 플렌옵틱(plenoptic) 디멘션들을 신축적으로 획득하기 위하여 표준 카메라 하드웨어의 가역적인 변형이 간단한 광학적인 디자인에 의하여 달성된다. 또한, 본 발명은 사진 및 비디오 카메라에서 모두 높은 동적 범위 및 편광 이미징에 사용될 수 있다.

본 발명의 장치는 시간-결정적인 샷(shots)들에 적합하도록 물리적으로 반복적인 미러 동작에 의하여 광학 이미지를 물리적으로 배가한다. 얻어지는 균등 이미지의 어레이는 물리적인 이미지의 광계 특성을 유지한다. 이들 카피(copies)들은 광학적으로 사전-여파된 그리고 표준 카메라의 센서 위에 1:1 이미징 유닛에 의하여 이미지화되는 평면에 투사된다. 이러한 광학 요소는 제안된 광학 요소의 구조에 따라, 렌즈와 표준 카메라체 사이에 용이하고 가역적으로 삽입될 수 있으며, 높은 동적 범위, 다중 스펙트럼, 편광, 광계 이미징 유닛 또는 그 결합으로 전환시킬 수 있다.

본 발명은 단안용 스냅샷 플렌옵틱 이미징에 대해 직접 공간 다중화(multiplexing) 기술을 이용한 신규의 광학 디자인을 포함한다. 본 발명은 미러 시스템들 내의 상호 반사에 의존하고 어느 표준 카메라에 비영구적으로 추가될 수 있으며 통일된 디자인에서 다른 플렌옵틱 디멘션을 이미지화하도록 재구축될 수 있다. 다른 방안들에 대조적으로, 본 발명에 따른 광계 디자인은 낮은 지향성이나 높은 공간 해상도에서 이미징에 가장 적합하다. 고-정밀도의 초점 재조정 (refocusing) 및 뷰-포인트 변화가 가능하고 높은 공간 해상도에서 이전에 없는 큰 가상 어퍼쳐들이 달성가능하다.

구축된 렌즈릿-기반 디자인에 비교하면, 본 발명의 솔루션은 디자인 공간의 직교 단부를 제공한다. 렌즈릿-기반 광계 카메라들이 높은 각 해상도를 제공하지만, 그들의 공간 해상도는 제한되고 허용가능한 이미지 크기가 가능하도록 보정되어야 한다. 반대로, 본 발명의 디자인은 작은 수의 각도 뷰(view)를 가진 높은 공간 해상도에서의 이미징에 가장 적합하다. 그러나, 각 해상도는 신뢰할만한 초점 재조정 효과가 가능하도록 내삽되어야 한다. 이들 상반관계(trade-off)들은 두 디자인들의 고유 특징들이다. 공간 해상도를 얻기 위해 각 해상도를 감소시키는 것은 소형 렌즈의 크기가 한정 인자를 나타내므로 렌즈릿-기반 디자인의 경우 어렵다. 더욱이, 칼라-필터 어레이를 가진 칼라 이미징은 낮은 각 해상도에 도달할 때 실행할 수 없게 될 것이다. 대조적으로, 본 발명 디자인에서 각 뷰의 수를 증가시키면 장치 크기가 실현가능하지 않게 된다.

본 발명 디자인의 특별한 이점은 개별적인 광계 뷰의 필드 깊이가 픽업 렌즈의 어퍼쳐에 의하여 조정될 수 있는 것이다. 광계 에일리어싱(aliasing)은 따라서 사용자에 의하여 제어될 수 있다. 최대 달성가능한 시차는 모든 경우 주 렌즈의 어퍼쳐 크기에 의하여 제한되고 양측의 디자인에 대해 성능 파라미터들이 같은 것이다.

본 발명의 이들 및 다른 측면들과 이점들은 첨부 도면들과 결합한 본 발명의 여러 실시예들의 이하의 상세한 설명을 고려할 때 보다 명확해질 것이며, 여기서:
도 1은 다른 색채의 광 경로가 동일한 장면 지점의 달리 여파된 카피를 표시하는 본 발명의 제1 실시예에 따른 플렌옵틱 이미징 장치의 개략적인 도면이다.
도 2는 최대각이 대향 측의 픽업-시스템의 어퍼쳐에서 조사되는 광선에 의하여 형성되는, 최외부 반영 카피의 하나의 이미지 경계 지점을 관찰시 입사면에서 최대 관찰각도(α)가 얻어지는 방식을 도시한다.
도 `3은 렌즈렛-기반 광계 카메라의 미소-렌즈 평면에 대응하는 시스템의 입사면에서 다른 색채의 광 경로들이 다른 시각 방향을 표시하는, 본 발명의 제2 실시예에 따른 플렌옵틱 이미징 장치의 개략적인 도면이다.
도 4는 도 1 및 3에 도시된 실시예들에 대해, 주 렌즈의 출사 퓨필(exit pupil)과 이미지 멀티플라이어의 입사 퓨필의 정합 방식을 도시한다.
도 5는 주 렌즈와 이미지 멀티플라이어의 퓨필들을 정합시키면서, 용(dragons)의 대부분이 배제된 퓨필-정합 렌즈(바닥)을 가지며 퓨필-정합 렌즈(상부)가 없는 도 4와 관련되어 설명되는 광계 퓨필-일치 시스템의 효과를 도시한다.
도 6은 상부의 픽업 어퍼쳐가 개방되고, 광계의 깊이 효과는 명확하게 관찰될 수 있으며, 바닥부에서 픽업 어퍼쳐가 닫혀지고 뷰들은 전 깊이 범위에서 선명하게 표시되는, 광계 뷰(중앙 도면에서 도시된, 그러나 다른 도면들이 유사하게 거동)의 필드 깊이를 픽업 시스템의 어퍼쳐가 결정하는 방식을 도시한다.
도 7은 내부 설정이 필터 평면 조립체 위의 클로즈업을 도시하는 본 발명의 실시예의 사진이다.
도 8은 시범형의 높은 동적 범위 설정으로 포착된 3개의 예시적인 장면들의 색조-일치 결과를 도시한다.
도 9는 본 발명의 실시예에 따른 다초점 이미징 파이프라인의 실측자료 평가를 도시한다.
도 10은 시범적인 적용을 이용한 다초점 이미지들의 예를 도시한다.
도 11은 카메라 애드-온 시범형의 예시적인 용도를 도시한다.
도 12는 시범적인 실시를 이용한 편광 이미징의 예를 도시한다.
도 13은 광계 이미징 용도의 예들을 도시한다.

도 1은 본 발명의 제1 실시예에 따른 플렌옵틱 이미징 장치의 개략적인 개관을 도시한다.

표준 카메라 렌즈(110)의 원래 이미지는 보통 카메라 센서에 의하여 점유되는 위치에 배치되는 디퓨저 스크린(120) 위에 투사된다. 이 디퓨저(120)는 이미지 멀티플라이어(130), 예컨대, 지향성 광 변화를 제외하고, 플렌옵틱 기능의 물리적인 정보를 여전히 가진 많은 원래 이미지의 카피(copy)를 생성하는 이미지 멀티플라이어(130), 예컨대, 미러 장치를 통해 관찰된다. 픽업 이미징 시스템(140)은 미러 시스템에서 공급되는 정보를 필터 평면(150)에 투영한다. 이러한 필터 평면(150)에 투영된 이미지는 원래 센서의 크기를 가지나, 원래 이미지의 공간상으로 분리된 카피를 수용한다. 이들 카피들은 개별적으로 필터 평면에 배치된 광학 필터에 의하여 개별적으로 변조될 수 있으므로, 다른 것들 중에서 높은 동적 범위의 다중 스펙트럼, 및 편광 이미징의 스냅샷을 가능하게 한다. 표면에 부착된 필터에 따라 이 평면에 종래 센서를 설치할 수 있을 것이다. 가역성 애드-온(add-on)을 얻기 위하여, 1:1 이미징 시스템(160)을 사용함으로써 원래 카메라 센서(170) 위에 여파된 결과가 투영된다.

주 렌즈(110)는 통상 카메라 센서를 포함한 평면에 장면을 이미지화한다. 본 발명에 따라, 디퓨저(120)가 이 위치에 배치된다. 시계(field of view)와 같은 중요한 이미징 특성이 직접 그에 의존하므로, 디퓨저의 크기는 주요 광학기구가 최적화되는 것에 합치한다. 디퓨저(120)는 후방-투영 스크린으로 작용하며, 즉, 좌로부터 스크린을 관찰하면, 이 위치에서 센서에 의하여 관찰되는 이미지를 보여준다. 명백하게, 본 실시예의 디퓨저가 이등방 투과반사함수(bidirectional transmittance distribution function; BTDF)를 통해 전방향 변화를 제거하므로, 이 이미지는 다른 방향들에서 보여질 때 동일하게 보이나, 그렇지 않으면 광계 함수의 모든 물리적 속성이 유지된다.

이미지 멀티플라이어(130)는 디퓨저로부터 이미지 내용을 광계 함수의 지향성 부품으로 전송하기 위하여 다중화(multiplexing)을 이용한다. 디퓨저 로브가 이미지 카피를 생성하는 다른 뷰 방향을 수용하기에 충분히 넓은 것이 중요하며, 그렇지 않으면 삽화(vignetting)가 발생한다. 그러나, 로브가 너무 넓으면, 시스템으로 미광이 산입된다. 디퓨저 분산 프로파일은 따라서 시스템의 최고 성능과 광 효율을 위하여 최대 관찰각(α)에 일치되어야 하며, 도면을 참조하기 바란다.

또한, 퓨필 매칭 렌즈는 이미지 멀티플라이어의 입사 퓨필을 주 렌즈의 반사 퓨필에 일치시키기 위하여 이용될 수 있다. 본 실시예에서, 이 렌즈는 시스템의 비균일 투과에서 강력하고 방향 가변 조사가 달리 보여줄 약한 디퓨저의 경우, 입사면으로부터 선택된 조사를 이 렌즈를 균일화한다.

디퓨저 스크린(120)에서 일단 이미지가 보여지면, 이미지 멀티플라이어(130)는, 예컨대, 미러 반사에 의하여 그를 복제한다. 평행벽들을 가진 만화경(kaleidoscope)은 이미지 카피의 실제 평면을 생성하는 적절한 멀티플라이어이다.

이미지 멀티플라이어의 폭과 높이는 센서 크기에 의하여 정해지고, 유일 변수는 광축에 따른 길이이다. 이 길이는 픽업 이미징 시스템에 의하여 달성되는 1:N 축소에 의하여 결정된다. 픽업 이미징 시스템의 효과는 디퓨저의 N x N 배율이 표준 센서 이미지 크기로 압축되고 필터 평면에서 실제 이미지로서 접근할 수 있는 것이다. 기하적인(geometrical) 광학에 따르면, 이미지 멀티플라이어 길이, 이미지 카피 수(N), 픽업 시스템의 초점 길이 사이의 관계는 대략 이하의 박(thin) 렌즈 공식(1)에 의하여 주어진다:

[식 1]

실제로, 이는 짧은 초점 길이(f_ps)와 작은 이미지 배율 인자(N)에 의하여 이미지 멀티플라이어의 짧은 길이가 생성되는 것을 의미한다.

본 디자인의 또 다른 측면은 픽업 렌즈의 어퍼쳐(aperture)이다. 디퓨저 로브와 결합하여, 이는 시스템의 광 효율을 결정한다. 따라서, 가능한 크게 선택되어야 한다. 픽업 시스템의 큰 어퍼쳐는 평면형 물체, 즉, 입사 평면의 경우, 이미지 품질의 손실은 없다. 그러나, 일반적으로 부피가 커지고 큰 곡률을 가지면 기하학적인 광학기구 모델로부터 상당한 편차를 발생하므로, 짧은 초점 길이의 렌즈가 큰 어퍼쳐를 얻는 것은 어렵다. 이미지 멀티플라이어 길이를 설정할 때, 픽업 시스템의 초점 길이와 어퍼쳐 사이의 트레이드오프가 있다. 길이 파라미터의 추가적인 효과는 입사면의 다른 카피들이 보이는 관찰 각이다. 길이가 길수록 관찰각이 작아지고 따라서 확산 조건이 약해진다.

예컨대, 픽업 시스템의 시계는 센서 크기와 픽업 시스템의 초점 길이에 따라, 보이는 것이 필요한 카피들의 수에 따라 결정될 수 있다. 이어서, 잔류 밀도는 그에 따라 설정될 수 있다.

도 2는 하나의 최외측 미러 카피의 이미지 경계 지점을 관찰할 때 입사면에서의 최대 관찰각(α)이 얻어질 수 있는 방식을 도시한다.

보다 구체적으로, 최대 관찰각(α)은 이하의 공식에 의하여 주어진다:

[식]

여기서, (l_f)은 원 센서(따라서 디퓨저)의 크기이며, N은 이미지 카피의 목표 수이며, (α_ps)는 픽업 렌즈의 어퍼쳐, 및 (l_mt)이미지 멀티플라이어의 길이이다. 각도(α)는 더 긴 이미지 멀티플라이어, 더 작은 수의 이미지 카피, 더 작은 센서 크기에 의하여 픽업 시스템의 어퍼쳐를 축소시킴으로써 작은 효과로 감소될 수 있다.

최고의 광학 효과와 기하학적 정확성을 위하여, 멀티플라이어는 미러 이미지를 생성하기 위하여 전체 내부 반사 효과를 이용하여 유리로부터 제조될 수 있다. 이 경우, 그 길이는 대략 유리의 반사율에 의하여 배가되고, 이는 두 가지 평면상 공기/유리 및 유리/공기의 계면들을 고려하여 도출될 수 있다. 최대 관찰각에 대한 조건은 확산 로브가 이미지 멀티플라이어로 반사하고, 로브는 최대 관찰각과 같은 양만큼 좁아지므로 변하지 않는다.

시스템은 표준 카메라가 포착하였을 물리적 이미지의 N x N 카피들의 실제 이미지를 생성하며 이는 광학 필터 어레이에 의하여 다른 플렌옵틱 크기들로의 접근을 얻을 수 있는 필터 평면에서 이들 카피들에 접근할 수 있다.

필터 평면의 이미지가 센서 방향으로 분산하는 것을 방지하여 삽화를 생성하기 위하여, 이미지 멀티플라이어 시스템의 반사 퓨필은 1:1 이미징 시스템의 입사 퓨필에 합치될 수 있다. 본 실시예에서, 한 쌍의 픽업 시스템의 어퍼쳐 평면과 1:1 이미징 시스템의 어퍼쳐 평면 사이의 추가적인 광학 릴레이 시스템을 같이 형성하는 필터 펑면에 한 쌍의 평면-곡률 렌즈들이 삽입된다.

1:1 이미징 시스템(160)은 디퓨저-평면의 이미지의 N x N개의 광학상으로 사전-여파된 카피들을 입사광을 통합시키는 센서(170) 위로 투영한다. 1:1 이미징이 두 개의 초점 길이에서 발생하므로, 시스템은 1:1 이미징 렌즈의 초점 길이(f)에 대해 구성된다. 필터 평면으로부터 2f의 거리에 픽업 시스템(140)을 설치하도록 선택하는 것은, 원래 센서 디멘션에 크기가 같은 시스템의 모든 이미징 평면을 유지함으로써 결정된다. 따라서 시스템의 모든 길이는 그리고 개별 렌즈 부품들은 쌍을 이루는 평면-볼록 렌즈들과 픽업 렌즈에 대해 2f의 초점 길이를 가진다.

도 3은 광계 이미징에 사용될 수 있는 본 발명의 실시예에 따른 이미징 장치용 구성을 도시한다. 여기서, 필터 평면과 필터-기반 디자인의 1:1 이미징 시스템은 생략되고 픽업 시스템의 출력은 센서 위에 직접 이미지화된다. 광계 이미징 효과는 주 렌즈 어퍼쳐의 보조 선택에 기초한다[Ng 등 2005].

디퓨저 부품을 생략함으로써, 입사면 상의 플렌옵틱 함수의 방향성을 보존하며 보조-이미지에 이를 샘플화할 수 있다. 어려운 점은 주 렌즈에 의하여 입사면으로 투사된 이미지의 분산 특성인 데, 도 4(a)를 참조하기 바란다. 명확성을 위하여, 각각 세 방향으로부터 이미지화된 두 장면 지점들을 포함하는, 픽업 시스템의 핀홀-형태의 어퍼쳐가 도시된다. 삽화가 발생함이 보여지며; 청색 도면은 상부 장면 지점에 대해 완전히 차단되고 녹색 도면은 하부 장면 지점에 대해 상실된다. 주 렌즈의 방출 퓨필과 픽업 시스템의 입사 퓨필 사이의 불일치로부터 문제가 발생한다. 주 렌즈 어퍼쳐의 픽업 시스템 이미지 영역은 물리적인 한계 외측으로 멀리 있다(도 5, 상부).

이러한 문제는 주 렌즈의 어퍼쳐 평면을 픽업 시스템의 어퍼쳐 평면으로 이미지화하는 퓨필-매칭 시스템을 도입함으로써 피해진다. 이미지 멀티플라이어에 의하여 도입된 미러 동작은 주 렌즈 어퍼쳐의 안정 영역으로 이미지화되는 반사된 픽업 어퍼쳐들을 통한 실제 시점들을 생성한다. 도 4(b) 도시와 같이, 이는 주 렌즈의 반사 퓨필을 픽업 시스템의 입사 퓨필에 일치시킨다. 이제 비삽화 이미징의 조건은 단지 최대 관찰 각도(α)의 선택에 기초한다. 주 렌즈의 반사 퓨필의 최대 각도를 일치시키도록 구성되어야 한다. 도 5에 시각적인 예가 도시된다(아래).

추가적인 변형은 픽업 시스템이 어퍼쳐를 구비하는 것이다. 이와 같이, 개별적인 광계 뷰의 계의 깊이가 광 효율 대신에 조정될 수 있다. 이러한 방안은 기존의 통합 광계 카메라 디자인; 예컨대, 렌즈렛-기반의 광계 카메라에는 사용할 수 없으며[Ng 등, 2005], 이러한 효과는 각각의 마이크로-렌즈에는 동기식으로 모든 어퍼쳐들이 제거되어야 하는 개별적인 어퍼쳐들이 구비되어야 하므로 제어될 수 없다.

도 6(하부)은 이 어퍼쳐를 폐색시킴으로써 얻어질 수 있는 광 효율을 희생함으로써 계의 깊이의 향상을 도시한다.

도 7은 본 발명에 따른 장치의 시범 적용을 도시한다. 실험적인 제한과 적절한 구성 부품의 제한된 유용성에 기인하여, 실제 실시는 도 1과 3에 관련하여 설명된 실시예들로부터 다소 다르다. 보다 구체적으로, 제안된 디자인의 광학적인 테이블의 설정이 유효성을 평가하기 위하여 수립된다. 카메라는 전체-프레임의 센서를 특징으로 갖는 22M 화소 해상도를 가지는 캐논 EOS 5D 마크Ⅱ 이다. 이 시스템은 필터-기반 디자인에 대해 3x3 카피의 장면을 생성하고 광-계 이미징 케이스에 대해 장면 위에 3x3의 다른 비젼들을 생성한다. 이러한 선택에 의하여 9개의 필터들이 각각 3개의 칼라 채널들에 의하여 이미지화되고, 9개의 채널들은 편광 측정을 위하여 또는 광-계 이미징 케이스에 대해 3x3개의 다른 비젼으로 이미지화되므로 HDR 이미징을 위한 9개의 다른 노출의 설정 또는 다중 초점의 이미징 케이스에 대한 27개의 다른 스펙트럼 측정이 발생된다.

시험용 디퓨저는 3D 후방-투영 스크린(ScreenTech GmbH, 재료형 ST-professional-DCF)을 기초로 하는 편광을 위하여 구성되었으므로 1mm 두께와 편광 유지 특성을 가진다. 디퓨저 분산 프로파일은 시스템의 최대 관찰각도(15mm 픽업 렌즈 어퍼쳐에 대해 12.95" 429) 보다 휠씬 큰 약 20" 428 오프-축에서 50%의 투과율로 저하한다. 지향성 광 변화의 제거 조건은 이로써 충족된다.

이미지화된 장면의 카피들을 생성하기 위하여, 크기가 36mm x 24mm x 300mm인 직사각형 만화경이 사용되었다. 이는 광학적인 전면 미러들로 제조되고 전문 만화경 제조업자(Kaleidoscope GmbH)에 의하여 제조된다. 개별 화소가 약 18개의 디퓨저 표면을 포함하므로, 완전히 평행인 미러 장치가 필요하다. 불일치에 기인하여, 만화경은, 만화경의 코너 도면에서 가장 현저하게 나타나는 일부 이미징 결점들을 가진다. 대체적인 예에서, 전 내부 반사를 이용하는 직사각형 프리즘이 정확한 이미지 멀티플라이어로서 이용될 수 있다.

두 개의 평면-볼록 렌즈의 이상적인 디자인 특성으로는 필터 어레이가 유효 양면-볼록 렌즈의 어퍼쳐에 설치되나, 실제로 이 장치는 필터 어레이에 대한 작은 거리에 설치된 단일 양면-볼록 렌즈에 의하여 보다 용이하게 실시된다.

어퍼쳐로부터 필터 어레이를 이동시키면, 광 섬유 자체의 불완전성을 차단하는 추가적인 이점을 가지며; 필터 어레이를 수동으로 구성하면 무한 폭의 완전히 평면인 광학 필터로부터 스크래치와 다른 작은 편차들을 피할 수 없다. 필터-평면 퓨필에 합치하는 장치의 구멍에 직접 필터 어레이가 설치되면, 이들 결점들은 기록된 이미지들에서 용이하게 명확해질 것이며, 이제 이들 결점들은 흐릿해지고 더욱 주의할 수 없게 된다.

시험용 1:1 이미징 시스템은 캐논 100mm, f/2.8 매크로 렌즈를 이용함으로써 실시된다. 이로써 렌즈와 필터 평면 사이에 약 300mm의 거리가 발생한다. 더욱이, 픽업 시스템과 필터 평면 사이의 거리는 이 길이로 조정되어 1:1 이미징을 보장하고, 이미징 시스템의 전체 폭과 높이를 전 프레임 센서, 즉, 36mm x 24mm에 일치시킨다. 결국, 이로써 시험 시스템의 주 렌즈와 카메라를 포함하여 약 100mm의 전체 시스템 길이에 도달한다.

예비-처리 공정은 센서에 의하여 저장된 3x3 보조 이미지들을 서로 결합시키는 것이다. 이미지들은 입사면에 위치되고 일치하므로, 이하 제시된 모든 용도들에 대해 단일 기하학적 측정이 가능하다. 보조-이미지들은 센서 위의 오결합으로부터 주로, 수작업 제조에 기인한 미러 평면의 불완전한 장치 및 시험적인 광학 설정에 기인한 기하학적/색채학적 수차의 두 가지 이유들로서 손상된다.

이들 불완전성은 두 단계로 진행된다. 디퓨저를 제 위치에 유지하고 주 렌즈를 제거하면서, 디퓨저에 근접 거리에 설치된 점검판 패턴을 가진 투명 슬라이드가 사용된다. 이어서 슬라이드는 먼 점광원에 의하여 조사되고, 이로써 디퓨저에 패턴을 투영한다. 미러들의 오정렬에 의하여 왜곡들이 도입될 것으로 생각된다. 3 x 3 매트릭스의 비젼을 가진 코너 이미지들은 두 수준의 반사를 만난다. 이들 이미지들은 대각선들을 따라 현저한 불일치를 보인다. 따라서, 이들 이미지들의 각각의 절반은 별도로 보상된다.

이러한 제1 보상은 외측과 중심 뷰들 사이의 상동관계를 평가하고 중심 뷰에 모든 이미지들을 일치시킴으로써 수행된다.

잔류 저장 불완전성은 검증기구로서 투명 슬라이드를 이용하여 여파 (wavelet) 소음 패턴으로 표현된 기하학적이고 색채적인 이탈에 의하여 유발된다[Cook and DeRose 2005]. 왜곡은 강력한 유연성을 가진 광학 흐름[Horn and Schunck 1981]을 통해 평가된다. 중심 이미지에 외측 뷰(views)를 결합하기 위하여, 모든 변위의 합성, 예컨대, 호모그래피-기반 워핑(warping) 및 잔류 광학 흐름 보상이 사용된다. 필터-기반 시스템에서, 이러한 과정은 이미지에 합치한다. 광-계 이미징의 경우, 뷰들은 기하학적 구조에 의하여 예측된 대로 합치되고; 수평으로-인접하는 뷰들은 단지 수평 및 수직으로 인접하는 뷰들만을 보여주고, 단지 수직으로 평행인 대각선으로 이동된 뷰들만이 그 결합을 보여준다.

시스템은 또한 복사(radiometric) 왜곡을 보여주며, 즉, 삽화가 기하학적으로-결합된 이미지들을 관통하여 관찰가능하다. 효과를 측정하기 위하여, 주 렌즈는 다시 시스템으로부터 먼 확산 광원으로부터 조사된 강력한 추가적인 디퓨저로 도입된다. 발생된 이미지는 광학 시스템에 의하여 생성된 삽화 효과를 구분해내기 위하여 사용된다.

이러한 예비-처리 단계들의 결과, 시간-연속식으로 취해진 바와 같이, 광학적으로 사전-여파된 이미지(Ii) 층들이 이하 식(2)과 같이 얻어진다:

[식 2]

식은 편광 파라미터들을 포함한다. 플렌옵틱 함수(l_λ)는 4부분으로 구성되고; 이하의 식(3)에 의하여 네 개의 스토크(Stokes) 파라미터(sj)들이 정해진다:

[식 ]

여기서, Ex와 Ey는 전기장(E)의 두 개의 직교 평면 파동 성분들이며 (*)은 복합 접합을 의미한다. 광학 필터는 표준 광학 필터(fi)와 뮬러(Mueller) 매트릭스(Mi)로 구성되는 세트{Mi, fi}에 의하여 표시된다. 플렌옵틱 디멘션들에 대해, 파장은 (λ)으로, 방향은 (ω)으로, 그리고 시간은 (t)로 표시된다. [1000] 벡터에 의한 곱셈에 의하여 센서에 의하여 감지된 라디안 측정치가 감해진다. 클램핑 동작{·}¹ ₀ 이 실제 센서에 의하여 제공되는 포화 한계를 모델화한다. 필터 디멘션(파장, 편광, 및 방향)들은 이하에서 모두 동시에 사용되지는 않는다. 오히려, 설명된 적용 분야들은 각각 한 번에 하나의 디멘션을 이용한다.

도 8은 높은 동적 범위로 설정되어 포착된 3 개의 예시적인 장면들의 색조-일치된 결과물을 도시한다.

HDR 이미징에 대해, 3 x 3 중성 밀도(ND) 필터들과 식 2의 광학 필터들로 구성되는 필터 어레이는 {1, Ci},i = 1, 2, 3, ... 9이며 단일 뮬러 매트릭스와 정수 스펙트럼 필터[f_i(λ) = ci]들을 구비한다. {1.0, 0.5, 0.25, 0.126, 0.063, 0.032, 0.016, 0.008, 0.004}의 투과율 값을 가지는 세트가 선택되고, 센서 출력 범위의 투과율 값보다 약 8f- 스탑(stops)의 출력 범위의 향상을 발생한다. 이들 이미지들은 입증된 선형 응답을 가지며 표준 메카니즘에 의하여 통합될 수 있다[데비벅 및말릭 1997]. 비디오 작동에 대해, 카메라는 적응성 응답 곡선을 적용한다. 복사 응답은 미츠나가와 나랴르[Mitsunaga and Nayars (1999)]의 최종 곡선에 대한 곡률 제한을 강제하면서 맥베스(MacBeth) 칼라 체커의 일련의 사진들로부터의 응답을 평가하는 다항 기술[Ihrke 2012]의 변형에 의하여 평가된다.

다중스펙트럼 이미징의 경우, 시스템에는 로스코 랩(Rosco Labs)(Roscolux swatchbook)에 의하여 제조된 3 x 3 개의 광대역 스펙트럼 필터들이 구비된다. 식 2의 필터들은 {1, Ci}로 되고, i = 1, 2, 3, ... 9 이다.

이미징 시스템은 칼라 필터 어레이를 특징으로 하므로 광대역 스펙트럼 필터들이 사용된다. 3개의 다른 베이어 필터들을 통해 9개의 스펙트럼 필터를 이미징하면 각각 27개의 광대역 여파 이미지들을 모두 측정한다. 좁은 대역의 필터들을 사용하면 베이어(Bayer) 필터들이 대체로 직교되므로 단지 9개의 다른 측정을 발생할 것이다. 어레이의 필터들은 다음과 같다:{Cyan #4360, Yellow #4590, Red #26, Orange #23, Green #89, Blue-Green #93, Lavender #4960, Blue #80, Magenta #4760}. 그들의 스펙트럼 응답은 분광계를 이용하여 측정되었다(Thorlabs CCS 200).

베이어 필터들의 스펙트럼 측정을 위하여, 맥베쓰 칼라 체커를 포함하는 장면이 사전 획득 스펙트럼을 가진 고압 수은 증기 램프에 의하여 조사된다. 다중 스펙트럼(S_mv) 이미징의 경우, 식 2는 다음 식(3)으로 단순화될 수 있다:

[식 3]

여기서 [

]는 R, G, B 채널에 대해 카메라의 스펙트럼 민감성을 표시하고, (f_i(λ))은 로스코럭스 필터의 공지의 스펙트럼들이며, (s)은 광원의 스펙트럼이다. 이 경우, 플렌옵틱 함수[

]는 단지 [http://www.babelcolor.com/main_level/ColorChecker. htm].로부터 획득된 수집 측정값들을 통해 스펙트럼[

]이 알려진 스펙트럼 장면 반사율에 기초한다. 광원의 스펙트럼은 (S_mv)이다. 그러므로, 베이어 필터 응답[

]을 제외한 식 3의 적분의 모든 성분은 공지이고 토요오카와 하야사카(Toyooka and Hayasaka) [Toyooka and Hayasaka 1997]에 유사한 기초 함수로의 확장에 의하여 평가될 수 있다. 기초로서 400과 700nm 사이의 범위에 분포된 50개의 중복 가우시안 값의 세트가 선택된다. 최적화 문제는 모두 116개의 로스코럭스 필터를 통해 이미지들을 이용하고 쿼드래틱 프로그래밍(quadratic programming)에 의하여 음이 아닌(non-negativity) 한정을 가한다.

일단 센서의 스펙트럼 응답이 알려지면, 임의 장면들이 이미지화된다. 광원[s(λ)]의 스펙트럼이 알려지면, 중성 반사 스펙트럼이 회복되고, 아니면, 제품[

]만이 접근가능하다. 센서의 스펙트럼 민감성[

]이 이제 알려지고 장면 스펙트럼 [

] 또는 조사 스펙트럼[

]을 가진 그의 제품이 평가되는 경우를 제외하고, 장면 스펙트럼은 센서의 스펙트럼 측정과 유사하게 회복된다. 이 경우, RGB 화이트 밸런싱과 유사하게, 스펙트럼 화이트 밸런싱이 공지의 백색 장면 패치 스펙트럼에 의하여 모든 스펙트럼을 분할함으로써 수행된다.

스펙트럼 측정 단계와 대조적으로, 이미지 스펙트럼들이 각 화소에 대해 평가되어야 하고 쿼드래틱 프로그래밍은 너무 고가이다. 대신에, 음이 아닌 제한이 생략될 수 있으며 화소마다 최소 제곱 문제가 해결되고 음의 값이 제로로 고정된다. 개선된 조정을 위하여, [토요오카 및 하야사카1997]에 기초한 바와 같이 PCA 기초가 이용된다. 시험용 다중 스펙트럼 이미징 파이프라인의 성능이 공지의 조사 아래 그레그탁 맥베쓰(Gretag Macbeth) 칼라 체커를 이미지화함으로써 확인된다. 재구축된 스펙트럼 반사율은 수집된 데이터(바벨칼라)와 양호하게 합치한다(도 9 참조).

도 10은 상술한 견본을 이용하는 예로서의 다중 스펙트럼 이미징 용도를 도시한다. 다른 온도의 이상적인 플랭키안 흑체 광원을 가진 스펙트럼 재조명, 및 자연광에 의한 재조명 및 고압 나트륨 가로 광(상부 열)에 의한 재조명이 비교된다. 가로광에 의하면, 익숙한 녹색 손실을 초래한다. 장면은 저 색채 온도에 대해 메타메트릭이나, 일광 조사 하에서 플라스틱과 두 개의 실제 화초는 명확하게 식별가능하다. 칼라 체커와 자연 장면(바닥 열)에 대한 색채 결함 시각의 모사가 이루어졌다. 적색약(protanomalous) 시각은 적색 응답 원추를 녹색을 향해 10nm 이동시키며, 녹색약(deutanomalous)은 녹색 응답 원추를 적색을 향하여 10nm 정도 이동시킨다.

도 11은 카메라-애드온 샘플형의 예시적인 적용을 도시한다. 상부 열은 다중 스펙트럼 이미징; 처리되지 않은 출력(좌측), 처리 후의 이미지 스펙트럼 적층(중간), 평평 스펙트럼을 가진 중성 이미지 레리트(relit)(우측)을 도시한다. 중간 열은 높은 동적 범위(HDR) 이미징: 비처리 출력(좌), 콘트라스트 비율 100:1의 모사된 노출 스윕(sweep)(중간), HDR 이미지의 색조=일치 버전(우측)의 예를 도시한다. 바닥 열은 광계 이미징: 처리되지 않은 출력(좌), 전경의 가상 초점 재조정(중간) 및 후경 가상 초점 재조정(우)을 도시한다.

도 12는 본 발명의 시험 실시를 이용한 편광 이미징의 예를 도시한다. 상부 열에서, 좌측 로고는 스크린에 도시되고, 우측 로고는 종이 위에 인쇄된 편광 필터를 구비한다. 종이는 디퓨저로 작용하고 LCD 광의 편광을 파괴한다. 도시된 것은 눈(좌)에 의해 지각된 이미지이며, LCD 광을 제거한 선형 편광기 모사(중간) 및 편광 정도(우, 백색은 비편광 상태 표시)를 도시한다. 모형 예는 가상 편광 필터에 의한 반사 제거를 도시한다. 편광 응력 분석(바닥 열): 투명 아크릴 유리창은 편광된 광의 소스로서 작용하는 LCD 스크린에 부착된다. 창은 재료의 응력을 유발하는 로고의 외관 형태의 천공 홀들을 포함한다. 이미지는 시스템 출력과 다른 모사들을 도시하며, 칼라 가장자리 형태의 응력 패턴이 나타나게 한다. 상부 좌측 이미지는 나안에 의하여 지각된 바와 같은 LCD 스크린 위에 표시된 로고를 도시한다.

따라서, 카메라는 광의 편광 상태에 민감하도록 제조되고 화소-대-화소 편광 상태 분석기로 작용한다. 이를 위하여, 적어도 3개의 독립 측정들이 수행되어야 하고 또한 원형 편광 성분을 포함하는 전 편광 상태가 회수되려면 4개의 측정이 수행되어야 한다[골드슈타인 2003].

시험형의 범위는 예컨대 원형 이색성(dichroism) 및 원형-편광 루미네센스 (luminescence)의 일부 특수한 경우로부터 떨어져서, 상당한 수준의 원형 편광이 자연에서 드물게 발견되므로, 선형 편광 이미징으로 제한된다[Hegedus. 2006].

이를 위하여, 다른 정위의 투과 축(0°, 36°, 72°, 108°, 144°)을 가진 5개의 선형 시트 편광기들이 시스템의 필터 어레이에 설치된다. 식 2에서, 필터들은 {M_i, 1}, i = 1, 2, 3, .5이다. 여기서, 1은 광학 필터의 fi = 1이다. 어레이의 네 코너들은 비워지고 대응하는 보조 이미지는 무시되었다. 이들 설정은 여전히 필요한 것보다 많은 화소당 측정을 제공한다. 2차 반사에 의하여 제조된 이미지들은 피해지고, 이는 더욱 광학적인 시차와 복잡한 편향 변조에 노출되기 쉽다.

단지 하나의 편광이 측정될 때, 제1의 3개의 스토크(Stokes) 성분[s^j, j = 0..2]은 회수될 수 있으며 제4 원형 성분[s³]은, 있으면, 광의 비편향 성분[s⁰]으로 생각된다. 대응하게, 선형 편광기의 공통 과정인 3 x 3 뮐러 매트릭스가 사용된다[노이만 등. 2008]. 스토크 벡터를 결정하기 위하여, 연속된 열들이 각각의 뮐러 매트릭스[M = i, i = 1, 2, .. 4]의 상부 열과 같은 3 x 5 매트릭스(W)가 구축된다.

각 화소에 대해, 5개의 편광 필터를 통해 측정된 세기는 벡터(p)에 저장되고, 스토크 벡터[s = s⁰, s¹, s²]는 이하와 같은 식(4)으로 표시되는 최소-제곱 회귀법에 의하여 얻어진다:

[식 4]

필터 어레이가 반사 및 분산이 광의 편광 상태에 영향을 미치는 광학 시스템 내에 설치되므로 일부 추가적인 주의가 필요하다. 편광 필터의 필터 어레이를 포함하는 시스템의 전체 영향은 공간적으로 의존하는 효과적인 뮐러 매트릭스[M_sys(x,y)]를 특징으로 한다. 가장 현저한 효과는 이미지 멀티플라이어의 미러들에 의하여 유발된다. 이러한 화소식의 뮐러 매트릭스는 동종(즉, 공간적으로 비의존적인) 편광 상태를 가진 6개의 장면들과 이들 값들을 시스템에 의하여 관찰된 벡터들에 연관지우는 스토크 벡터를 얻기 위하여 지상 실측 편광기를 사용하는 측정 절차에 의하여 결정된다. 이어서 선형 관계 [

]는 M sys에 대한 최소 제곱법으로 해결된다. 여기서, [S_sys ⁽ⁱ⁾]는 시스템에 의하여 측정된 스토크 파라미터들이며, [s(i)gt]는 지상 실측 편광기에 의하여 측정된 스토크 파라미터들이다. 실제로, 30개의 다른 편광기/분석기 쌍의 이미지들이 편광 측정을 수행하기 위하여 이용된다.

3 x 3 광계의 낮은 각 해상도가 시스템의 초점 평면 외측의 합리적인 거리에서 신뢰할만한 초점 재조정과 시점 변화를 수행하기 위하여 각도상의 상향 샘플링 방식을 가속시킨다. 실제로, 시스템의 관찰된 시차는 100화소를 초과할 수 있다. 그러나, 시스템에 의하여 복귀된 이미지들의 공간 해상도는 각각의 보조-뷰에 대해 대략 1800 x 1200 화소들의 해상도를 가진 정도로 크다. 각도상 내삽(interpolation)의 문제는 우선 깊이 평가, 그리고 시차 기반 모핑(morphing) 동작을 실행함으로써 제기된다. 이러한 모핑은 또한 뷰 내삽을 가능하게 하며, 이는 주 렌즈의 한계를 지나 어퍼쳐 합성을 가능하게 한다.

광학적인 흐름 기술과 호른-션크(Horn-Schunck)의 적응성[Horn and Schunck 1981]은 평가 깊이에 적용된다.

변형은 다른 뷰들의 흐름 변수들 사이의 결합의 도입에 있다. 광학적인 흐름은 소위 어퍼쳐 문제를 야기하며, 즉, 두 개의 변수들이 매 이미지 위치에서 검색되고, 그러나 단일 제한이 유용하다. 광계 이미징의 경우, 흐름은 뷰들 사이의 에피폴라(epipolar) 라인들의 방향들로 제한되는 것으로 알려진다.

더구나, 이들 에피폴라 라인들의 구조는 가상 뷰들 사이의 고정된 간격에 기인하여 매우 규칙적이다. 광학적인-흐름 벡터는 따라서 깊이-유발 시차[d(x, y)][u_i, v_i]를 통해 모든 주위의 광계 뷰들에서의 흐름 평가를 결합시키는 깊이 평가[d(x, y)]에 의하여 교체되고, 벡터[u_i, v_i]는 매번의 뷰[Ii]들에 대해 일정하고 에피폴라 라인의 경사를 기술한다. 시험 설정의 제한에 기인하여, 매번의 보조-뷰들에서 에피폴라 라인들은 평행한 것으로 확실히 가정할 수 있다.

이러한 깊이 평가는 광학적인 흐름 밝기의 항상성 가정에 기초하며, 따라서 실 장면 깊이를 평가하지 않는다. 그러나, 명백한 깊이의 평가를 계산한다. 시간당 깊이에 대해 누구도 관심이 없으며, 그의 뷰 내삽 특성에 관심이 있으므로, 이러한 방안은 각도 광계 업샘플링(up-sampling)에 대해 합리적이다.

뷰의 내삽 (interpolation) 및 외삽(extrapolation), 깊이 맵이 각각의 보조 뷰들에 대해 평가되고, 이는 시차 이동[d·[u_i, v_i]^T]에 따라 보조-뷰(Ii]들의 모핑에 의하여 새로운 뷰를 생성할 수 있다. 고 품질 내삽의 주요 문제들은 폐색 경계의 적절한 취급이며, 동일한 목표 화소에 합치하는 입력 뷰의 다중 화소의 취급이며, 전방 워핑에 의한 내삽 홀들의 회피이다. 제안된 모핑은 전방 및 후방 워핑(warping) 단계에 이어서 혼합 공정을 이용한다.

9개의 보조-뷰들은 각각 다른 보조-뷰들에서는 사용할 수 없으나 내삽 뷰에서 유용한 예외적인 정보를 포함할 수 있다. 그러나, 모든 뷰들을 워핑하는 것은 깊이 평가가 단지 개략적이므로 흐림을 유발할 수 있다. 주 렌즈 어퍼쳐에서 내삽 위치의 네 개의 인접 뷰들의 사용은 양호한 방안이다. 유사한 계획이 둘(u 또는 v에서의 외삽에 대해) 또는 하나의 최근접 뷰(u 또는 v에서의 외삽에 대해)를 사용하여 외삽에 대해 사용될 수 있다.

도 13은 광계 용도의 예들을 도시한다. 최상부 열은 실제 캐논 EF 50mm f/1.4 USM 렌즈에 합치하는 가상 어퍼쳐에 의한 확실한 초점 재조정을 보여주며, 이는 장면을 기록하기 위하여 사용되었다. 올인 집중 뷰는 내삽 광계 뷰의 예이다. 제2 및 제3 열들은 반사, 미러링, 및 굴절 물체를 포함하는 필요 설정에서의 초점 재조정을 보여준다. 제2 열은 실제 어퍼쳐의 물리적인 한계 내의 초점 재조정을 보여주고, 제3 열은 각 측면으로 하나의 전체 크기만큼 어퍼쳐를 실제로 확장하기 위하여 외삽을 이용하여, 가상 f/0.7에 이른다. 이러한 모드에 의하여 표준 렌즈 및 넓은 시계에 대해 대형-사진촬영 효과를 가능하게 한다. 초점 내부 영역의 품질을 비교할 때; 선명도의 상당한 상실은 확장된 어퍼쳐의 경우 관찰되지 않았으며, 본 발명에 따른 뷰-모핑 공정 및 깊이-평가의 적절성을 유효화한다. 제4열은 3개의 광계 장면의 적응가능한 베이스 라인을 가진 입체 사진 형태로 가상 스테레오 이미지를 보여준다. 제5열은 깊이-기반 스타일화의 예; 좌에서 우로, 화가 특유의/실제 형식의, 블룸+ 콘트라스트+ 컬러링/실제, 및 선명/흐름의 예를 보여준다.

도면은 본 발명의 외삽 솔루션에 의하여 증가된 시차와 극히 얕은 필드-깊이 효과를 발생하기 위하여 주 렌즈의 어퍼쳐를 가상으로 확장할 수 있음을 보여준다.

전체 시스템의 크기는 광학적 디자인의 제1 이미징 요소와 센서 사이의 거리에 의하여 결정된다. SLR 유형의 시스템에서, 이 거리는 이들 카메라들의 이동성 미러들에 의하여 아래로부터 한정되고 전-프레임 센서의 경우 대략 50mm인 것으로 상정될 수 있다. 필터-기반 디자인의 경우, 이러한 조건은 1:1 이미징 시스템의 초점 길이(f)를 결정하고 이로써 N x N 카피가 이미지화되면, 광학 시스템의 전체 길이를 [(6 +2N)f]로서 결정한다.

따라서 초점 길이(f)는 25mm로 고정된다. N = 3(9개의 보조-이미지들)의 경우, 300mm 길이가 필요하다. 1:1 이미징 렌즈와 픽업 렌즈의 직경들이 최대 픽업 어퍼쳐를 결정하고 따라서 중요하지 않다. 그러나, 필터 평면과 입사면에서 퓨필 매칭 렌즈는 전체 센서 크기를 포괄하여야 한다. 다행스럽게, 전체 프레임 센서와, 센서와 광학 시스템 사이의 50mm 거리를 고려하면, 이들 렌즈들은 각각 50mm의 초점 길이를 가진다. 그러므로 모든 필요한 렌즈들은 합리적인 광학 성능을 가진 스톡 부품으로서 유용할 것이다.

광계 디자인에 대해, 1:1 이미징과 필터 평면 광학기구가 생략될 수 있다. 시스템의 최소 거리는 이제 픽업 렌즈가 상정할 수 있는 최근 위치에 의하여 결정될 수 있다.

이들을 모두 고려하면, 식 1의 z는 50mm이며 모든 시스템 길이는 3 x 3 ㅋ카vl피에 대해 4z = 200mm이다.

결국, 시스템은 크기가 더 큰 수로 선형으로 증가하는 소수의 카피들을 이미지화하기에 적합하다. 시스템 크기는 또한 사용되는 카메라의 센서 크기에 비례하여 변한다. 따라서 더욱 작은 센서들에 대해 더욱 작은 유닛들이 디자인될 수 있다.

광학적인 뷰 파인더가 컴퓨터 카메라에서 반드시 필요하지 않으므로 SLR 카메라에서 미러를 제거할 수 있으며, 따라서 디자인을 더욱 소형화할 수 있다.

110: 카메라 렌즈
120: 디퓨져 스크린

Claims (19)

1. 이미지 센서를 포함하는 카메라 몸체와 렌즈 사이에 삽입가능한 이미징 장치로서,
   상기 이미징 장치는,
   물체 또는 장면의 복수의 광학 이미지를 얻기 위하여, 반사 물질이 코팅된 만화경 또는 프리즘; 및
   상기 이미지 센서의 동일한 노출 동안, 상기 이미지 센서에 상기 복수의 이미지들의 적어도 일부를 이미지화하기 위하여, 이미징 장치가 카메라에 삽입될 때, 상기 만화경 또는 상기 프리즘, 및 상기 이미지 센서 사이에 배치된 픽업 시스템;을 포함하며,
   상기 픽업 시스템은 개별적인 상기 광학 이미지들의 필드 깊이를 조정하기 위한 조르기가 가능한 어퍼쳐(stoppable aperture)가 구비된 것을 특징으로 하는 이미징 장치.
2. 삭제
3. 삭제
4. 삭제
5. 제 1항에 있어서, 외부 광학 장치의 특성을 조정하도록, 상기 만화경 또는 프리즘과 상기 렌즈 사이에 배치된 퓨필-매칭 시스템을 추가로 포함하는 이미징 장치.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 청구항 1항에 따른 이미징 장치를 포함하는 카메라.
14. 청구항 1에 따른 이미징 장치를 포함하는 카메라 부가장치 (add-on).
15. 청구항 1에 따른 이미징 장치 및 대물 렌즈를 포함하는 시스템.
16. 컴퓨터-실행 방법으로서:
    - 청구항 1에 따른 이미징 장치를 이용하여 얻어진 적어도 일부의 이미지들 또는 이미지 시퀀스를 포함하는 디지탈 이미지 또는 비디오를 수신하고;
    상기 적어도 일부의 이미지들 또는 이미지 시퀀스를 기초로 디지탈 이미지 또는 비디오를 재구성하고; 및
    상기 디지탈 이미지 또는 상기 비디오를 출력하는 단계를 포함하는 컴퓨터-실행 방법.
    
    
17. 삭제
18. 삭제
19. 삭제

Images