KR101289330B1 - 부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및비디오를 캡처링 하기 위한 장치 및 방법 - Google Patents

부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및비디오를 캡처링 하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101289330B1
KR101289330B1 KR1020077018857A KR20077018857A KR101289330B1 KR 101289330 B1 KR101289330 B1 KR 101289330B1 KR 1020077018857 A KR1020077018857 A KR 1020077018857A KR 20077018857 A KR20077018857 A KR 20077018857A KR 101289330 B1 KR101289330 B1 KR 101289330B1
Authority
KR
South Korea
Prior art keywords
image
lens
sensitive sensor
pattern
array
Prior art date
Application number
KR1020077018857A
Other languages
English (en)
Other versions
KR20070106613A (ko
Inventor
스티븐 지. 필맨
아셀 부스붐
파멜라 그리네
팀 에스. 코터
존 스펙
로저 반 데르 란
Original Assignee
리어덴 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/039,029 external-priority patent/US7767949B2/en
Application filed by 리어덴 엘엘씨 filed Critical 리어덴 엘엘씨
Publication of KR20070106613A publication Critical patent/KR20070106613A/ko
Application granted granted Critical
Publication of KR101289330B1 publication Critical patent/KR101289330B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 이미지들을 캡처하는 장치에 관한 것이다. 일 실시예에서, 부호화 패턴으로 배열된 다수의 렌즈를 포함하고, 렌즈를 포함하지 않는 어레이 엘리먼트들을 차단하는 불투명 물질을 포함하는 부호화 렌즈 어레이; 및 부호화 렌즈 어레이에 연결되고 부호화 렌즈 어레이 뒤로 일정한 거리에 위치된 광-감응 반도체 센서를 포함하는 장치로서, 광-감응 센서는 부호화 렌즈 어레이 내의 렌즈들을 통과해 전달된 빛을 감지하도록 구성된다.

Description

부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및 비디오를 캡처링 하기 위한 장치 및 방법{APPARATUS AND METHOD FOR CAPTURING STILL IMAGES AND VIDEO USING CODED LENS IMAGING TECHNIQUES}
본원은 "부호화 애퍼처(aperture) 기술을 사용하여 스틸 이미지들 및 비디오를 캡처링 하기 위한 장치 및 방법"이란 제목으로 2005년 1월 18일에 출원된 동시계속 미국 특허 출원 제11/039,029호의 일부계속출원이며, "부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및 비디오를 캡처링 하기 위한 장치 및 방법"이란 제목으로 2005년 7월 20일에 출원된 미국 가출원 제60/701,435호의 우선권을 주장한다. 이 출원의 전체 내용은 참조로서 본원에 통합된다.
일반적으로 본 발명은 이미지 캡처 및 이미지 처리 분야에 관한 것이다. 보다 구체적으로, 본 발명은 부호화 렌즈 기술을 사용하여 스틸 이미지들 및 비디오를 캡처링 하기 위한 장치 및 방법에 관한 것이다.
일반적으로 사진 필름 또는 CCD 및 CMOS 센서를 포함한 반도체 센서와 같은 광 감응 검출기의 앞에 놓인 하나의 유리 렌즈를 이용하여 장면(scene)으로부터 들어오는 빛을 초점 맞추어 사진 영상화(photographic imaging)가 수행된다.
x선 또는 감마선과 같은 고-에너지 방사선을 영상화하기 위해서, 상기 방사 선은 유리 렌즈들을 이용해서는 회절시킬 수가 없기 때문에 다른 기술들이 사용되어야만 한다. 다수의 기술들이 단일 핀홀(pinhole) 카메라 및 멀티-홀 시준기(collimator) 시스템을 포함하여 제안되었다. 특히 유용한 기술은 "부호화 애퍼처 영상화"이며, 여기서 적절하게 선택된 투명 엘리먼트와 불투명 엘리먼트들의 패턴을 포함하는, 구조가 있는(structured) 애퍼처는 방사선에 감응하는 검출기 앞에 위치하여 영상화된다. 애퍼처 패턴이 적절히 선택되면, 영상화된 장면은 검출기 신호로부터 디지털로 복원될 수 있다. 부호화 애퍼처 영상화(coded aperture imaging)는 높은 공간 해상도(resolution)와 높은 광 효율을 결함한 장점을 갖는다. 직사각형 또는 6각형 엘리먼트들의 구조가 있는 어레이들을 사용하여 x선 또는 감마선 방사선을 부호화 애퍼처 영상화하는 것은 R. H. DICKE(이후 "딕(Dicke)"이라 한다)에 의해 SCATTER-HOLE CAMERA FOR X-RAYS AND GAMMA RAYS. ASTROHYS. J., 153:L101-L106, 1968에서 공지되었으며, 천문학적인 영상화 및 원자핵 의학에서 광범위하게 적용되고 있다.
특히 유용한 종류의 부호화 영상화 시스템은 E. E. FENIMORE 및 T. M. CANNON(이후 "페니모어(Fenimore)"라 한다)에 의해 CODED APERTURE IMAGING WITH UNIFORMLY REDUNDANT ARRAYS. APPL. OPT., 17:337-347, 1978에서 공지되었다. 이러한 종류의 시스템에서, 기본 애퍼처 패턴은 애퍼처 패턴이 기본 패턴의 2 x 2 모자이크이도록 주기적으로 반복된다. 검출기는 기본 애퍼처 패턴과 적어도 동일한 크기를 갖는다. 이러한 시스템에서, "전체 부호화 FOV(fully coded FOV)" - 여기서 "FOV"는 "시야 범위(field-of-view)"를 언급하는 것으로 사용될 것임 - 는 FOV 내의 영역으로 정의되며, 이 안의 점 소스(point source)는 애퍼처 상으로 주기적으로 이동된 버전을 갖는 기본 애퍼처 패턴의 전체 그림자를 드리울 것이다. 유사하게, "부분 부호화 FOV(partially coded FOV)"는 FOV 내의 영역으로 정의되며, 이 안의 점 소스는 애퍼처 상으로 기본 애퍼처 패턴의 부분 그림자만을 드리울 것이다. 딕에 따라서, FOV를 전체 부호화 FOV로 한정하는 시준기를 검출기 앞에 배치하여, 검출기 신호로부터 장면의 명확한 복원을 가능하게 한다.
J. GUNSON 및 B. POLYCHRONOPULOS(이후 "건슨(Gunson)"이라 한다)의 OPTIMUM DESIGN OF A CODED MASK X-RAY TELESCOPE FOR ROCKET APPLICATIONS. MON. NOT. R. ASTRON. Soα, 177:485-497, 1976에서, 애퍼처 그 자체로 시준기로서 동작하고, FOV를 전체 부호화 FOV로 제한하도록, 애퍼처의 불투명 엘리먼트들이 유한한 두께를 갖도록 하는 것도 또한 공지되었다. 상기 "셀프-시준 애퍼처(self-collimating aperture)"는 검출기 앞의 개별 시준기를 생략하도록 한다.
FOV를 제한하는 것 외에, 시준기는 감쇠 없이 광축에 정확히 평행한 빛만을 전파한다는 바람직하지 못한 특성을 가진다는 점에 주의해야 한다. 시준기를 통과하는 임의의 축 외의 빛은 감쇠되며, 감쇠는 FOV의 한계를 향할수록 증가한다. FOV의 한계에서, 감쇠는 100%, 즉, 어떠한 빛도 얼마의 각도에서는 시준기를 통과하여 지나갈 수 없다. 이러한 효과을 본 문서에서 "시준기 감쇠"라고 할 것이다. x-방향과 y-방향 모두에서, 시준기 감쇠는 빛과 광축 사이의 각도의 탄젠트에 비례한다.
부호화 애퍼처 영상화 시스템에서 센서 신호로부터 이미지를 복원한 후에, 시준기 감쇠 효과는 광계측상(photometrically) 올바른 이미지를 얻기 위해 반전되어야만 한다. 이는 각각의 개별 픽셀 값에 계수(factor) - 계수만큼 픽셀이 속한 방향으로부터 들어오는 빛이 감쇠되었음 - 의 역을 곱하는 것을 의미한다. FOV의 한계에 가까워지면, 감쇠, 특히 시준기 감쇠는 매우 크며, 즉, 상기 계수는 0에 접근한다는 것에 주의해야만 한다. 이 경우 시준기 감쇠를 반전하는 것은 픽셀 값에, FOV의 한계에서는 무한대로 접근하는, 매우 큰 계수로 증폭하는 것을 의미한다. 복원하는데 임의의 노이즈도 또한 이 계수에 의해서 증폭될 것이기 때문에, FOV의 한계에 가까운 픽셀들은 매운 노이즈가 많거나 또는 심지어 사용 불가능할 수도 있다.
페니모어 또는 건슨에 따른 부호화 애퍼처 시스템에 있어서, 기본 애퍼처 패턴은 0과 1로 구성된 "애퍼처 어레이"를 통해서 특성을 나타낼 수 있으며, 여기서 1은 투명 애퍼처 엘리먼트를 의미하고, 0은 불투명 애퍼처 엘리먼트를 의미한다. 게다가, FOV 내의 장면은 2차원 어레이로서 특성을 나타낼 수 있으며, 여기서 각각의 어레이 엘리먼트는 FOV 내의 하나의 픽셀로부터 방출되는 광도(light intensity)를 포함한다. 장면이 애퍼처로부터 무한히 먼 거리에 있다면, 센서 신호는 FOV 어레이와 애퍼처 어레이 간의 2차원 주기적인 상호 상관(cross-correlation) 함수로서 특성을 나타낼 수 있다. 상기와 같은 센서 신호는 영상화되는 장면과 유사성이 없음에 주의해야만 한다. 그러나 "복원 필터"는 애퍼처 어레이에 속한 2차원 주기적인 반전 필터를 계산함으로써 설계될 수 있다. 2차원 주기적인 반전 필터는 2차원 어레이이며, 이는 애퍼처 어레이와 반전 필터의 2차원 주기적인 상호 상관 함수의 모든 사이드로브(sidelobe)를 0으로 하는 방법으로 구성된다. 센서 신호와 복원 필터의 2차원 주기적인 상호 상관 함수를 계산함으로써, 원 장면의 이미지는 센서 신호로부터 복원될 수 있다.
애퍼처 어레이들로서 소위 "균등 리던던트 어레이(Uniformly Redundant Arrays)" (URAs)를 사용하는 것은 페니모어에 의해 공지되었다. URAs는 2차원 주기적인 상호 상관 함수를 가지며, 이의 사이드로브 값들은 모두 똑같다. URAs는 일정한 오프셋과 일정한 스케일 계수를 제외하고는 URA 자신과 동일한 구조를 갖는 반전 필터를 갖는다. 상기 복원 필터는 센서 신호의 임의의 노이즈는 복원 필터링 중에 가능한 가장 낮은 배율(amplification)이 가해질 것이라는 점에서 최적이다. 그러나 URAs는 수학적으로 매우 작은 크기에 대해서만 구성될 수 있다.
S. R. GOTTESMAN 및 E. E. FENIMORE(이후 "고츠먼(Gottesman)"이라 한다)에 의해 NEW FAMILY OF BINARY ARRAYS FOR CODED APERTURE IMAGING. APPL. OPT., 28:4344-4352, 1989에서, 모든 p x p 크기 - 여기서, p는 홀수인 소수 - 에 대해서 존재하는, "수정된 균등 리던던트 어레이" (MURAs)라고 불리는 수정된 종류의 애퍼처 어레이들을 사용하는 것도 또한 공지되어있다. 따라서 MURAs는 URAs 보다 많은 크기에 대해서 존재한다. 이들의 상관 특성과 노이즈 배율 특성은 거의 최적이며, 대체로 URAs의 특성만큼 좋다. MURAs는 하나의 행과 하나의 열을 제외하여, 이들은 두 개의 1차원 시퀀스들의 곱(product)으로써 표현될 수 있으며, 여기서 하나는 어레이에 대한 오직 열 인덱스만의 함수이며, 다른 하나는 어레이에 대한 오직 행 인덱스만의 함수라는 추가적인 이점을 가진다. 유사하게, 하나의 행과 하나의 열 을 제외하여, 이들의 반전 필터도 역시 두 개의 1차원 시퀀스들의 곱으로써 표현될 수 있다. 이러한 성질은 2차원 반전 필터링을 두 개의 1차원 필터링 동작의 시퀀스로 대체하는 것을 허용하며, 복원 프로세스를 계산하기에 보다 효율적으로 한다.
또한 모든 3s 2r x 3s 2r의 크기 및 모든 3s 2r-1 x 3s 2r+1의 크기 - 여기서, s = 0, 1 , 2... 이고 r = 1 , 2, 3... - 에 대해서 존재하는 소위 "완전 이진 어레이(Perfect Binary Arrays)" (PBAs)를 사용하는 것이 A. BUSBOOM(이하 "버스붐(Busboom)이라 한다)에 의해 ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR. VDI VERLAG, DUESSELDORF, 1999, ISBN 3-18-357210-9에서 공지되었다. 따라서, PBAs는 많은 크기, 특히 행과 열이 짝수로 된 많은 정사각 크기에 대해서 존재한다. 이들의 상관 특성과 노이즈 배율 특성은 URAs의 특성만큼 좋다.
만약 장면이 애퍼처로부터 유한한 거리에 위치한다면, 센서 이미지의 기하학적인 확대가 발생한다. 장면 내의 점 소스는 센서 위로 애퍼처 패턴의 그림자를 드리울 것이며, 이는 실제 애퍼처 크기와 비교하여 f = (o + a ) / o 인 계수만큼 확대되며, 여기서 o는 장면과 애퍼처 사이의 거리이며, a는 애퍼처와 센서 사이의 거리이다. 그러므로, 장면이 유한한 거리에 있다면, 센서 이미지는 복원 필터의 적당하게 확대된 버전으로 필터링 되는 것이 필요하다.
만약 장면이 애퍼처에 매우 가깝다면, 소위 근접-장 효과(near-field effect)가 발생한다. "근접 장"은 센서 크기, 애퍼처 크기 또는 애퍼처와 센서 사이의 거리의 10 배보다 적은 범위로 정의되며, 이러한 양들 모두는 최대이다. 만약 물체가 근접 장에 있다면, 센서 이미지는 더 이상 장면과 애퍼처 어레이 사이의 2차원 상호 관련으로서 기술될 수 없다. 이는 반전 필터링을 사용하여 장면을 복원하고자 할 때 아티팩트(artifact)를 야기한다. 란자(Lanza) 등의 미국 특허 출원 제6,737,652호에서, 이러한 근접 장 아티팩트를 감소시키기 위한 방법들이 개시된다. 이러한 방법들은 두 개의 개별 부호화 애퍼처를 사용하여 장면을 영상화하는 것을 필요로 하며, 여기서 제 2 애퍼처 어레이는 제 1 애퍼처 어레이의 반전이다(즉, 투명 엘리먼트들은 불투명 엘리먼트로 대체되고, 이의 역도 또한 같다.) 그리고 두 개의 센서 이미지를 조합하는 과정에서 근접 장 아티팩트를 감소시키는 상기와 같은 방법으로, 복원은 두 개의 상이한 애퍼처를 통해 얻어진 두 개의 센서 신호로부터 계산된다.
오늘까지의 부호화 애퍼처 영상화는, 주로 x선 또는 감마선 방사선을 수반한, 산업용, 의학용, 및 과학용 애플리케이션에 한정되었으며, 오늘날까지 개발되었던 시스템들은 각각 특수하고 제한된 환경 내에서 동작하도록 설계된다. 첫째로, 기존의 부호화 애퍼처 영상화 시스템 각각은 특정 시야 깊이(view depth)를 갖도록 설계된다.(예를 들면 효율적으로는 천문학에 대하여는 무한하도록, 또는 원자핵 또는 x선 이미징에 대하여는 특정 거리 범위로) 둘째로, 현재까지, 부호화 애퍼처 영상화는 조절된 방사선 소스(예를 들면, 원자핵, x선, 또는 산업상 이미징) 또는 상대적으로 안정적이며 무한에서 효율적인 천문학적인 방사선 소스 중 하나를 가지고 사용되었다. 결과적으로, 현존하는 부호화 애퍼처 시스템들은 예를 들어 렌즈를 사용하는 전형적인 사진 카메라와는 상당히 다르게, 제한된 환경 내에서의 동작이라는 이익을 가지고 있었다. 하나의 렌즈(즉, 센서 또는 필름 프레임 당 하나의 렌즈; 입체 카메라(stereoscopic camera)는 두 개의 렌즈를 가지지만, 렌즈 당 개별 센서 또는 필름 프레임을 사용함)를 사용하는 전형적인 사진 카메라는, 가까운 거리에서 유효하게 무한한 거리까지의 다양한 거리를 가진 3차원 물체를 포함한 장면들의 영상화를 동시에 처리하도록 설계되고; 알려지지 않은 시점(origin), 각도, 및 매우 변하는 강도를 가진 다수의 주변 방사선 소스들을 반사, 발산, 흡수, 굴절 또는 역-반사(retro-reflecting)하는 물체들을 영상화하도록 설계된다. 무수한 하나의 렌즈를 가진 사진 카메라가 매일 취급하는, 이러한 형태의 제한되지 않는 이미징 환경을 취급할 수 있는 부호화 애퍼처 시스템은 지금껏 설계된 적이 없다.
하나의 렌즈를 사용하는 광 스펙트럼에서의 사진 영상화는 많은 불리함과 한계를 갖는다. 단일 렌즈 사진의 주된 한계는, 특히 큰 애퍼처 세팅에서, 이의 유한한 피사계심도(depth-of-field) (DOF)이다. 제한된 DOF에 있는 장면만이 단일 렌즈 이미지에서 초점이 맞춰질 수 있으며, 이 때 DOF보다 카메라에서 더 가깝거나 멀리 있는 다른 물체들은 이미지에서 흐릿하게 나타날 것이다.
게다가, 단일 렌즈 카메라는 이미지가 찍혀질 수 있기 전에 수동으로 또는 자동으로 초점 맞추어져야만 한다. 이는, 특히 짧은 DOF와 큰 애퍼처를 가진 경우에, 스포츠 사진 또는 아이들 또는 동물들의 사진과 같은, 빠르게 또는 예상할 수 없도록 움직이는 물체들을 영상화하는데 불리하다. 위와 같은 상황에서, 초점을 맞추는데 충분한 시간이 부족하거나 또는 이미지를 찍으려는 순간 예상치 못하게 움직이기 때문에, 이미지는 초점이 맞지 않을 수 있다. 일단 이미지가 얻어지게 되면, 단일 렌즈 사진은 사진기사로 하여금 소급하여 초점을 변경하도록 허락하지 않는다.
더 나아가, 단일 렌즈 카메라를 초점 맞추는 것은 하나 이상의 렌즈들과 센서 사이의 거리를 조정하는 것을 의미한다. 이는 단일 렌즈 카메라가 부품들을 기계적으로 이동하는 것을 포함하는 것이 필수적이게 하며, 이는 기계적인 결함이 생기기 쉽다. 액체 렌즈와 같은 유리 렌즈의 다양한 대체물(예를 들어, B. HENDRIKS 및 STEIN KUIPER의 THROUGH A LENS SHARPLY. IEEE SPECTRUM, DECEMBER, 2004를 보라)은, 유리 렌즈의 기계적 한계를 경감시키려는 노력의 일환으로 제안되었으나, 상기 대체물들의 설계 복잡도와 잠재적 한계(예를 들어, 동작 온도 범위 및 애퍼처 크기)가 추가되었음에도 불구하고, 여전히 제한된 초점 범위의 한계로부터 고통 받고 있다.
또한, 단일 렌즈 카메라들은 제한된 동적 범위(dynamic range)를 갖기 때문에 제한된 동적 범위를 갖는다. 이는 매우 밝은 영역과 매우 어두운 영역을 모두 포함하는 장면을 영상화 할 때, 심각한 제한이 된다. 전형적으로, 어두운 영역이 충분한 콘트라스트(contrast)를 가질 때에는 밝은 영역은 과도 노출로 나타날 것이며, 또는 밝은 영역이 충분한 콘트라스트랄 가질 때에는 어두운 영역은 과소 노출로 나타날 것이다. 이러한 문제를 해결하기 위해, 전문적인 반도체 이미지 센서들(예를 들어, 캘리포니아 Mountain View에 위치하는 Pixim, Inc.의 D1000)이 개발되었으며, 이는 이미지에서 상이한 휘도 영역들을 조정(accommodate)하기 위해서 이미지 센서의 각각의 픽셀들이 각각을 전용 이득(unique gain)으로 샘플링 되도록 한다. 그러나 상기 이미지 센서들은 종래의 CCD 또는 CMOS 이미지 센서에 비해 매우 비싸며, 이것만으로는 대량 판매용의 일반 사진을 포함한 많은 애플리케이션에 대해 가격 경쟁력을 갖지 못한다.
초점을 맞추기 위한 필요조건으로 인해, 단일 렌즈들은 렌즈와 주된 물체 사이의 거리를 대략 측정한 값을 제공할 수 있다. 그러나 대부분의 사진 애플리케이션들은 렌즈가 동일점에서 교차하는 초점의 가능한 넓은 범위를 가지도록 설계될 것을 요구하기 때문에, 거리 어림치(estimate)에 대해 초점을 사용하는 것은 극도로 부정확하다. 단일 렌즈는 한 번에 오직 하나의 거리 범위로 초점될 수 있을 뿐이므로, 기껏해야, 렌즈는 주어진 시간에 하나의 물체 범위에게 거리의 어림치를 제공할 것이다.
("부호화 애퍼처 기술을 사용하여 스틸 이미지들 및 비디오를 캡처링하기 위한 장치 및 방법"이라는 제목으로 2005년 1월 18일에 출원된 제11/039,029호인 동시 출원에서 개시된 것과 같이) 부호화 애퍼처 영상화(CAI) (이후 "CAI 애플리케이션"이라 한다)는, 단일 렌즈 카메라의 한계에 대한 많은 것들에 초점을 맞춘다. 단일 렌즈 카메라에 관해서, CAI는 더 얇은 카메라, 더 가벼운 카메라, 더 큰 동적 범위를 가진 카메라, 및 장면 내의 넓은 범위의 깊이(depth)에 걸쳐 초점이 맞춰진 이미지를 복원할 수 있는 카메라를 만드는 것을 가능하게 한다.
CAI 애플리케이션에 개시된 일 실시예에 따른 가시광 부호화 애퍼처 카메라는 도 1에 도시된다. 도시된 실시예는 광 감응 그레이스케일(grayscale) 또는 컬러 반도체 센서(104)의 앞에 배치된 부호화 애퍼처(101)를 포함한다. 부호화 애퍼처(101)는 원형, 정사각형, 직사각형, 또는 다른 타일로 된(tiled) 엘리먼트들의 패턴이며, 이의 일부는 (엘리먼트(102)와 같이)가시광에 대해 투명이며, 이의 일부는 (엘리먼트(103)와 같이) 불투명하다. 명료하게 도시하기 위한 목적으로, 부호화 애퍼처(101)는 매우 적은 투명 엘리먼트를 가지고 있음에 주의하여야 한다. 전형적인 코드화 애퍼처는 상당히 많은 투명 엘리먼트(예를 들어, 50%)를 가질 수 있다. 2차원 또는 3차원 장면(100)(이는 환경조명(ambient lighting) 또는 인공조명에 의해 비춰질 수 있다)으로부터의 가시광은 부호화 애퍼처(101)를 통과하여 이미지 센서(104) 위에 투사된다. 카메라는 FOV를 센서 상에 투사된 전체 부호화 FOV로 제한할 수 있다. 일 실시예에서, 이는 (하기에 설명될 것과 같이, 시준을 위한 배플(baffle)을 사용하여) 셀프-시준 부호화 애퍼처(101)를 사용함으로써 구현된다. 부호화 애퍼처와 센서 사이의 공간은 광-차단 하우징(105)(이의 윤곽만이 도 1에서 도시됨)에 의해 차폐되며, 부호화 애퍼처의 개방 엘리먼트를 통과하지 않는 빛이 센서에 도달하는 것을 방지한다.
카메라는 이미지 센서(104)(이는 종래의 부호화 애퍼처 시스템에서 사용된 것과 유사할 수 있다)와의 인터페이스(109)를 갖는 이미지 센서 리드아웃(readout) 서브시스템(110)을 더 포함한다. 리드아웃 서브시스템은 이미지 센서(104)로부터의 아날로그 이미지 신호를 기록하고, 특정 이미지 센서에 의해 요구되는 것에 따라서 아날로그 버퍼링, 증폭 및/또는 필터링을 가한다. A/D(120)도 또한 포함하는 상기 리드아웃 서브시스템(100)의 예는, 캘리포니아 Sunnyvale에 위치한 NuCore Technology, Inc.의 NDX-1260 CleanCapture Image Processor이다. (예를 들어, 적어도 하나의 연산 증폭기(op amp)를 사용하여)리드아웃 서브시스템(110)에 의해 판독된 아날로그 픽셀 값들에 대해 제로 오프셋(112) 및 이득(111)을 조절하는 능력은, 캡처된 이미지의 동적 범위를 증가시킬 것이지만, 이미지 센서가 제로 오프셋 및 이득 조절 없이도 희망하는 이미지 품질을 위한 충분한 동적 범위를 갖는다면 필수적인 것은 아니다.
일 실시예에서, 리드아웃 서브시스템(110)의 출력은 아날로그 출력을 디지털화하는 적어도 하나의 아날로그-디지털 컨버터(A/D) (120)와의 인터페이스(113)에 의해 연결된다. A/D의 출력은 인터페이스(121)를 통해서 이미지 복원 프로세서(130)와 연결되며, 프로세서(130)는 일 실시예에서 디지털 신호 프로세서(DSP) (132)와 랜덤 액세스 메모리(RAM) (131)를 포함한다. 인터페이스(121)로부터의 디지털화된 이미지는 RAM(131)에 저장되며, DSP(132)는 그레이스케일 또는 컬러 이미지로 원 장면(101)을 복원하기 위해서 이미지를 후-처리(post-process)한다. 다른 실시예에 따라서, 이미지 복원 프로세서(130)는 Intel Corporation Pentium 4®와 같은 범용 CPU 또는 유사한 범용 프로세서를 포함한다. 또 다른 실시예에서, 이미지 복원 프로세서(130)는 전용 디지털 구조에서 복원 프로세싱의 일부 또는 전부를 구현하는 주문형반도체("ASIC")를 포함한다. 복원 프로세서(130)에 의해 복원된 이러한 그레이스케일 또는 컬러 이미지는 인터페이스(133)를 통하여 출력되고, 디스플레이 장치(140) 상에 디스플레이 된다.
그러나 CAI의 하나의 한계는 복원 이미지의 해상도이다. CAI 카메라의 해상도는 (a) 애퍼처 어레이의 배열(order) 및 (b) 회절에 의한 투사된 이미지에서의 왜곡과 같은 두 주요 요인들 중 더 큰 것에 의해 제한된다. 이는 다음 단락에서 더 설명된다.
도 2는 101, 61 및 31 "배열(order)"의 MURA들에 대한 몇 가지 대표적인 부호화 애퍼처 어레이 패턴들을 도시한다(CAI 애플리케이션에서 보다 상세히 기술됨). 또한 도 2는 8 및 24 배열의 PBA들에 대한 부호화 애퍼처 어레이 패턴들을 도시한다(PBA 8 및 24는 이들의 패턴을 더 잘 도시하기 위해서 MURA들에 비해서 확대하여 도시된다). 부호화 애퍼처 어레이 패턴들은 수평으로 두 번, 수직으로 두 번 반복되는 (특정 배열을 가진 수평 및 수직 차원을 갖는) 정사각형 어레이에서 형성된다는 점을 주의하여야 한다. 그래서 예를 들어 MURA 101 패턴은 202x202의 총 크기를 갖는다. 또한 애퍼처 엘리먼트들의 각각은 동일한 크기로 이루어졌음을 주의하여야 한다. 애퍼처의 일부가 다른 부분들 보다 더 크게 도시된다고 할 지라도, 이는 단지 인접한 애퍼처들이 결합하여 더 큰 애퍼처로 보이도록 형성되기 때문이다. CAI 카메라는 이의 부호화 애퍼처 어레이의 배열(order)보다 더 높은 해상도로 이미지를 분해할 수 없다. 예를 들면, MURA 101 CAI 카메라는 이미지를 101x101개의 픽셀들 보다 더 큰 해상도로 분해할 수 없다.
설명을 목적으로, 도 3은 도 1에 도시된 가시광 부호화 애퍼처 카메라의 일 실시예를 도시한다. 도 3에 도시된 실시예는 복원된 이미지의 해상도가 오직 3x3 픽셀이기 때문에 많은 애플리케이션에 대해서 유용하지는 않지만, 도 1에 도시된 것과 같은 카메라가 어떻게 동작하는지에 대한 설명을 위함이다. MURA 배열 3 ("MURA 3") 애퍼처 어레이(301)는 개방 애퍼처(302)와 같은 16개의 개방 애퍼처와 폐쇄 애퍼처(303)와 같은 20개의 폐쇄 애퍼처를 포함한다. 컬러 또는 그레이스케일 센서(304)는 MURA 3 애퍼처 어레이(301)의 한 사분면(quadrant)(즉, 애퍼처의 한 3x3 블록)과 동일한 크기이며, 이 실시예에서 MURA 3 애퍼처 어레이(301)에 대해 중앙에 위치한다.
도 3의 정사도(Orthographic View: 320)는 카메라의 구조에 대해 많은 것을 나타낸다. (CAI 애플리케이션에서 "시준기"라고 언급되는) 배플(317)은 개방 애퍼처(302)와 같은 개방 애퍼처를 통과하는 빛을 시준하도록 기능한다. 이는 각각의 애퍼처의 FOV를 컬러 또는 그레이스케일 센서(304) 위로 제한한다. 폐쇄 애퍼처(303)와 같은 폐쇄 애퍼처는 빛이 지나가지 못하도록 불투명 커버로 덮여있다. 센서(304)는 개방 애퍼처들의 각각으로부터 중첩 투사(overlapping projection)를 위한 공간을 허용하기 위해 MURA 3 애퍼처 어레이(301) 및 배플(317)과 이격되어 있다. 전체 유닛은 차광 카메라부(316) 내에 포함되며, 설명을 목적으로 투명하게 도시된다. 이러한 특정 예에서, 만약 센서(304)가 매우 높은 해상도를 가진 센서라고 할지라도, 오직 3x3 픽셀 이미지만이 복원될 수 있다는 점을 주의하여야만 한다.
도 4는 어떻게 빛이 MURA 3 애퍼처 어레이를 통과하여 투사되는지를 도시한다. 도해(400)는 예시적인 개방 애퍼처(402)와 폐쇄 애퍼처(403)를 포함하며, 검은 실선으로 윤곽이 표시된 MURA 3 애퍼처 어레이를 도시한다. 컬러 또는 그레이스케일 센서(404)의 위치는 점선으로 윤곽이 표시된다. 개방 애퍼처(405)는 파선으로 윤곽이 표시된다. 애퍼처(405)를 통과한 빛은 회색 정사각형(406)으로 도시된 센서 평면 상의 정사각 영역 상에 투사된다. 애퍼처 어레이(401)는 도해(400)에서 투사(projection)가 겹쳐져 도시되기 때문에, 투사(406)의 대부분은 폐쇄 애퍼처에 의해 차단된다는 것을 주의하여야 한다. 그럼에도 불구하고, 투사(406)의 경계선은 회색 실선으로 윤곽이 표시되어 도시될 수 있다.
이 실시예에서, 투사(406)는 애퍼처(405)보다 대략 9배 정도 큰 정사각형이며, 애퍼처(405)의 중앙에 위치한다. 센서(404)가 애퍼처 어레이에 대해 얼마나 가깝거나 먼 가에 따라서, 이 투사는 넓은 또는 좁은 FOV에 대응할 수 있다. 애퍼처(405) 둘레의 배플(이 도해에서는 도시되지 않았지만, 도 3에서는 배플(317)과 같이 볼 수 있다)이 투사(406)의 범위를 애퍼처(405) 크기의 약 9배 크기로 제한하기 위해 이 실시예에서 사용된다.
이 실시예에서 투사(406) 영역의 작은 비율만이 센서(404)와 중첩함을 주의하여야 한다. 이러한 중첩의 일부는 개방 애퍼처(409)를 통해 볼 수 있으며, 이의 일부는 폐쇄 애퍼처(408)에 의해 차단된다.
도해(410)는 애퍼처 어레이(401)의 우상단 사분면으로부터의 4번의 투사들의 덧씌움을 도시한다(명료함을 위해, 도해 (410 및 420)에서 MURA 3 애퍼처 어레이(401)의 윤곽만이 도시된다). 우상단 사분면의 4번의 개방 애퍼처(415)는 파선으로 윤곽이 표시된다. 이 4개의 애퍼처로부터의 4번의 투사(416)는 중첩된 회색 영역으로 도시된다. 도해(400)에서 도시된 투사(406)와 같이, 각각의 투사는 이의 애퍼처의 대략 9배의 크기를 갖는 정사각형이며, 이의 애퍼처 중앙에 위치하며, 회색 실선으로 윤곽이 표시된다. 센서 평면의 각각의 영역에서 수많은 중첩 투사들을 나타내기 위해서, 그레이 스케일의 다양한 레벨들이 각각의 영역을 채우는데 사용된다. 가장 밝은 회색은 1번의 투사를 나타내며, 그 다음 어두운 곳은 2번의 투사가 중첩되었음을 나타내며, 그 다음 어두운 곳은 3번의 투사가 중첩되었음을 나타내며, 마지막으로 가장 어두운 곳은 4번의 투사가 중첩되었음을 나타낸다.
도해(420)는 전체 애퍼처 어레이(401)로부터의 모든 16번의 투사들의 덧씌움을 도시한다. 16개의 개방 애퍼처(425)는 파선으로 윤곽이 표시된다. 도해(400)에서 도시된 투사(406)와 같이, 각각의 투사는 이의 애퍼처의 대략 9배의 크기를 갖는 정사각형이며, 이의 애퍼처 중앙에 위치하며, 회색 실선으로 윤곽이 표시된다. 센서 평면의 각각의 영역에서 수많은 중첩 투사들을 나타내기 위해서, 이전 단락에서 서술된 바와 같이 그레이 스케일의 다양한 레벨들이 사용된다. 이 실시예에서 센서(404)의 각각의 영역은 4번의 중첩된 투사들에 의해 덮여져 도시됨을 주의하여야 한다. 실제적으로, 센서 영역의 상당한 대부분 위로 4번의 중첩된 투사가 존재할 것이지만, 공차 변동(tolerance variation), 회절 효과, 및 관측된 장면 내의 물체와의 변화하는 거리로 인해, 투사의 테두리 근처에는 다소 적거나 많은 중첩 투사가 있을 수 있으며, 이는 도해(420)의 회색 실선으로 도시된다.
또한 MURA 3 애퍼처 어레이(401)에 충돌하는 빛의 대부분은 센서(404)의 에지 너머로 투사되며, 결과적으로 이 빛은 복원에 사용되지 않는다. MURA 3 애퍼처 어레이(401)의 가장 오른쪽 열의 영역이 무시된다면(상기 열 내의 모든 애퍼처가 폐쇄되어 있기 때문에, 카메라에 어떠한 빛도 기여할 수 없으며, 이미지 복원에 영향을 주지 않고 시스템에서 제거될 수 있다), MURA 3 애퍼처 어레이(401)의 나머지 영역에 충돌하는 빛의 약 13%가 실제로 센서(404) 위로 투사된다. 종래의 단일 f/2.8 렌즈는 렌즈에 충돌하는 빛의 약 12.7%를 전달하며, 따라서 MURA 3 부호화 애퍼처 어레이 카메라의 13% 빛 전달 성능은 종래의 f/2.8 렌즈에 필적하는 것으로 보일 수 있다.
일반적으로 말하자면, f/2.8은 사진용 렌즈로서 좋은 빛 전달 성능이며, 따라서 마지막 일부 단락에서의 MURA 3 부호화 애퍼처 카메라에 대한 설명은 잠재적으로 바람직한 빛 전달 특성을 가진 카메라의 특성을 기술한다. 불운하게도, 오직 3x3 픽셀 이미지만이 상술된 시스템에 의해 복원될 수 있다.
CAI 카메라 내의 각각의 엘리먼트는 핀홀 카메라의 핀홀과 같이 기하학적으로 기능한다. 각각의 애퍼처를 통과한 빛은 센서 위로의 투사를 생성하며, 이는 핀홀 카메라에서와 같다. 그리고 핀홀 카메라와 같이, CAI 카메라에는 핀홀을 통과한 빛의 회절 효과가 가해진다. 핀홀에서, 이러한 회절 효과는 "에어리 디스크(Airy disk)"로 일반적으로 알려진 점 소스 투사 패턴을 생성한다. 에어리 디스크의 제 1 로브는 주어진 핀홀 카메라 투사로부터 가장 작은 분해 가능한 스폿(spot) 크기를 대략적으로 정의한다. 핀홀로부터 센서까지의 주어진 거리에서, 에어리 디스크의 크기는 핀홀 크기가 줄어듦에 따라 증가한다. 기하학적인 관점에서, 핀홀 카메라가 생성한 이미지들의 해상도(즉 최소 점 소스 투사 스폿 크기)도 핀홀이 작아질수록 증가한다. 그래서, 센서까지의 핀홀의 임의의 주어진 거리에 대해서, 점 소스 투사 스폿 크기가 에어리 디스크의 제 1 로브의 크기와 동일한 최적화된 핀홀 크기가 존재한다. 만약 핀홀이 이 최척화된 크기보다 작게 만들어진다면, 에어리 디스크의 크기가 증가하기 때문에 해상도는 감소한다. 만약 핀홀이 이 최적화 된 크기보다 크게 만들어진다면, 점 소스 투사 스폿 크기가 증가하기 때문에 해상도는 감소한다. 핀홀 카메라의 해상도에 대한 평가가 주관적이기 때문에, 다양한 공식들이 최적화된 핀홀 직경을 계산하는데 제안되었다. 이러한 공식의 하나는 A=SQRT(55F)이며, 여기서 A는 1000분의 1인치로 된 핀홀 직경이며, F는 인치로 된 카메라 초점 거리(focal length)이고, SQRT()는 제곱근 함수이다.
핀홀 카메라에서 달성 가능한 해상도는 카메라의 초점 거리가 증가할수록 증가되는 것을 주의하여야만 한다. 불행히도, 카메라의 물리적 크기는 일반적으로 초점거리에 비례하여 증가하므로, 결과적으로 높은 해상도 핀홀 이미지를 위해서는 매우 큰 카메라가 필요해진다. 예를 들어(공식 A=SQRT(55F)을 사용하면), 1" 초점거리(즉 1" 두께)를 가진 핀홀 카메라에서 최적화된 핀홀 크기는 약 0.007"이다. 약 53˚의 "표준" 시야각(viewing angle)에서, 이는 대각선 방향으로 134.8 픽셀, 또는 약 95x95 픽셀 해상도 이미지를 생성한다. 10" 초점 거리(즉 10" 두께)를 가진 핀홀 카메라에서 최적화된 핀홀 크기는 약 0.023"이다. 53˚의 시야각에서, 이는 대각선 방향으로 약 426.4 또는 약 301x301 해상도 이미지를 생성한다.(다른 사진사는 핀홀 카메라의 분해 가능한 해상도를 평가하는데 있어서 다른 주관적인 기준을 사용할 것임을 주의하여야 한다. 여기서 계산된 해상도는 분해 가능한 해상도에 대한 하나의 해석(interpretation)을 기초로 한다. 다른 해석들은 더 높은 또는 더 낮은 해상도 평가로 이끌 수 있지만, 일반적으로는 여기서 표시된 숫자들 보다 2X 범위 내에서 더 높거나 낮을 것이다.)
핀홀 카메라와 같이, 가시광 CAI 카메라도 역시 해상도/크기의 트레이드-오프를 야기할 수 있는 회적 효과가 가해진다. 회절 패턴은 애퍼처 패턴의 복잡도로 인해 핀홀 회절 패턴보다 더 복잡하며, 결과적으로 이미지 해상도 및/또는 카메라 크기 필요조건(requirement) 상에 끼치는 영향을 결정하는 것은 보다 복잡하다. 그러나 CAI 이미지의 픽셀 해상도가 애퍼처 어레이의 배열보다는 높지 않을 수 있기 때문에, 높은 해상도 이미지를 달성하기 위해서, 높은 배열의 애퍼처 어레이를 사용하는 것이 필수적일 수 있으나, 이는 더 낮은 배열의 애퍼처 어레이보다 더 좋지 않은 회절 효과를 잠재적으로 나타낼 수 있으며, 따라서 선택적으로 이러한 회절 효과를 경감시키기 위해 더 긴 초점 거리를 요구할 수 있다(이는 결과적으로 더 큰 카메라 크기를 야기한다).
디지털 카메라에서의 렌즈 시스템의 성능을 향상시키기 위한 다른 접근방법은 플레노틱(plenoptic) 카메라이다. 플레너틱 카메라의 기본 개념은 미국 특허 제5,076,687호에서 개시된다. "플레노틱"이란 단어가 상기 특허에서 사용되지는 않을지라도, 특허에서 언급된 장치는 이의 발명자로부터 이 카메라를 개시한 웹 페이지 - http://www-bcs.mit.edu/people/jyawang/demos/plenoptic/plenoptic.html - 에서 "플레노틱 카메라"라고 칭해진다. 2005년, 스탠포드 대학의 연구자들은 플레너틱 카메라 구현을 이용한 애플리케이션을 개시하는 논문(Stanford Tech Report CTSR 2005-02)을 출판하였으며, 이는 f/4 렌즈에 의해 얻어질 수 있는 장면으로부터의 동일한 빛을 캡처링 하는데 종래의 f/22 렌즈의 DOF를 달성하였다. 불행하게도, 빛을 수집하는 능력에서의 증가는 이미지 해상도에 대한 이론적으로 선형의 비용을 야기하였다. 팀에 의해 만들어진 프로토타입(prototype)은 이론적인 해상도 손실을 넘어 약 2x만큼을 야기하였으며, 따라서 4000x4000 픽셀 센서를 가지고 이들은 오직 296x296 이미지만을 복원할 수 있었으며, 이는 f/2 광 캡처와 함께 f/22 DOF를 나타내었다(즉, 16메가 픽셀 센서로 90키로 픽셀 이미지를 생성하였다). 상기 시스템이 임의의 특정 애플리케이션에 대해서 유용할 수 있을 지라도, 센서 해상도의 막대한 손실은 범용 사진 애플리케이션에 대해 경쟁력 없는 이러한 시스템을 만들 것이다.
이미지들을 캡처링 하기 위한 장치와 방법이 개시된다. 일 실시예에서, 장치는 렌즈들을 포함하지 않은 어레이 엘리먼트들을 차단하는 불투명 물질과 함께 부호화 패턴으로 배열된 다수의 렌즈들을 포함하는 부호화 렌즈 어레이; 및 부호화 렌즈 어레이에 연결되고 부호화 렌즈 어레이 뒤로 특정 거리에 위치한 광-감응 반도체 센서를 포함하며, 광-감응 센서는 부호화 렌즈 어레이 내의 렌즈들을 통과하여 전달된 빛에 감응하도록 구성된다.
본 발명에 대한 보다 나은 이해는 도면들에 관련한 이후의 상세한 설명으로부터 달성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가시광 부호화 애퍼처 카메라를 도시한 다.
도 2는 본 발명의 기초적인 원리에 따라 채택된 3개의 예시적인 MURA 패턴과 2개의 예시적인 PBA 패턴을 도시한다.
도 3은 본 발명의 일 실시예에 따라서 MURA 배열 3 부호화 애퍼처 어레이, 배플들, 센서, 및 카메라 본체의 구성을 도시한다.
도 4는 본 발명의 일 실시예에 따라서 MURA 3 부호화 애퍼처 어레이에서 투명 애퍼처로부터의 빛 투사를 도시한다.
도 5는 본 발명의 일 실시예에 따른 부호화 렌즈 카메라를 도시한다.
도 6은 본 발명의 일 실시예에 따라서 MURA 배열 3 부호화 렌즈 어레이, 배플들, 및 카메라 본체의 구성을 도시한다.
도 7은 본 발명의 일 실시예에 따라서 MURA 3 부호화 렌즈 어레이에서 투명 애퍼처로부터의 빛 투사를 도시한다.
도 8은 본 발명의 일 실시예에 따라서 MURA 배열 3 부호화 렌즈 카메라의 측면을 도시한다.
도 9는 본 발명의 일 실시예에 따라서 채택된 예시적인 RGB 배이어 패턴(Bayer Pattern)을 도시한다.
도 10은 본 발명의 일 실시예에서 사용되고 다층 구조로서 구현된 이미지 센서들을 도시한다.
도 11a는 디지털 이미지 복원과 후-처리를 하기 위해서 출력 신호가 아날로그-디지털 컨버터(A/D)에 의해 디지털화되는 본 발명의 일 실시예를 도시한다.
도 11b는 본 발명의 일 실시예에 따라서 제로 오프셋과 이득을 선택하기 위한 과정을 도시한다.
도 12는 부호화 렌즈의 이미징 특성(imaging characteristic)과 전형적인 렌즈의 이미징 특성을 도시한다.
도 13은 전형적인 CMOS와 CCD 이미지 센서의 전달 특성(transfer characteristic)을 표시하는 그래프를 도시한다.
도 14는 본 발명의 일 실시예에 따라서 다수-엘리먼트 렌즈를 포함한 MURA 배열 3 부호화 렌즈 카메라의 측면을 도시한다.
도 15는 본 발명의 일 실시예에 따라서 부호화 렌즈 어레이 내의 모든 렌즈를 동시에 초점 맞추기 위한 기어(gearing) 배치를 도시한다.
도 16은 본 발명의 일 실시예에 따라서 부호화 렌즈 어레이 내의 모든 렌즈들을 동시에 초점 맞추기 위한 기어 시스템을 포함한 다수-엘리먼트 부호화 렌즈 시스템의 측면을 도시한다.
도 17a는 본 발명의 일 실시예에 따라서 MURA 3 부호화 렌즈를 사용하여 공지된 범위에서 3개의 평평한 장면들의 투사와 복원에 대한 3가지 예들을 도시한다.
도 17b는 본 발명의 일 실시예에 따라서 PBA 24 부호화 렌즈를 사용하여 공지된 범위에서 3개의 평평한 장면들의 투사와 복원에 대한 3가지 예들을 도시한다.
도 18은 본 발명의 일 실시예에 따라서 올바른 범위를 확인하기 위해서 상이한 범위에서의 이미지 복원을 도시한다.
도 19는 사람 뒤에 산이 멀리 있고, 사람은 카메라에 가까이 서있는 이미지 를 도시한다.
도 20은 어떻게 도 19에서의 사람이 상이한 배경을 가진 장면에서 쉽게 위치될 수 있는지를 도시한다.
도 21은 예시적인 동작 캡처 세션(motion capture session)의 사진을 도시한다.
부호화 렌즈 영상화 기술을 사용하여 스틸 이미지들 및 비디오를 캡처링하기 위한 시스템과 방법이 이하에서 설명된다. 명세서에서, 설명을 위한 목적으로, 많은 특정 세부사항들이 본 발명의 철저한 이해를 제공하기 위해서 설명된다. 그러나 본 발명의 당업자에게는 본 발명이 이러한 특정 세부사항의 일부가 없더라도 실행될 수 있다는 것은 명백할 것이다. 다른 예에서, 잘 알려진 구조 및 장치는 본 발명의 기초적인 원리를 불분명하게 하는 것을 피하기 위해서 블록 다이어그램의 형태로 도시된다.
카메라 시스템 구성(Camera System Architecture)
본 발명의 일 실시예에 따라서, 리드아웃 전자 기기 및 디스플레이를 포함하는, 하나의 샷 이미지들 또는 일련의 이미지들(예를 들어 비디오) 중 하나를 위한 가시광 부호화 렌즈 어레이 카메라가 도 5에서 도시된다. 도시된 실시예는 광 감응 그레이스케일 또는 컬러 반도체 센서(504) 앞에 위치한 부호화 렌즈 어레이(501)를 포함한다. 부호화 렌즈 어레이(501)는 원형, 정사각형, 육각형, 또는 직사각형 애퍼처들의 패턴(또는 평면상에 타일을 붙일 수 있는 임의의 패턴)이며, (엘리먼트(502)와 같은) 이들의 일부는 가시광에 대해 투명(즉 "개방")하며, (엘리먼트(503)와 같은) 이들의 일부는 가시광에 대해 불투명(즉 "폐쇄")하다. 502와 같은 각각의 개방 애퍼처는 508과 같은 렌즈에 의해 덮여있으며(또는 포함하며), 따라서 개방 애퍼처를 통과하는 빛의 실질적으로 모두는 렌즈를 통과하여 지나간다. 전형적인 부호화 렌즈 어레이는 약 50%의 투명 애퍼처를 가지며, 이들 각각은 렌즈를 포함한다. 도시된 부호화 렌즈 어레이 패턴은 불투명 애퍼처들에 대해 투명 애퍼처가 4/5의 비율인 MURA 배열 3이다. 2차원 또는 3 차원 장면(500)으로부터의 가시광(이는 주변 또는 인공 조명에 의해 비춰질 수 있다)은 부호화 애퍼처 어레이(501)의 개방 애퍼처들 및 렌즈들을 통과해서 이미지 센서(504) 위로 투사된다. (카메라는 FOV를 센서 위로 투사된 전체 부호화 FOV로 제한할 수 있다. 전체 부호화 FOV 내에 중첩된 투사들의 광 기여(light contribution)는 도 6의 도해(620)에서 도시된다.) 일 실시예에서, 이는 셀프-시준 부호화 렌즈 어레이(501)의 사용으로 구현된다(셀프-시준은 부호화 렌즈 어레이(501) 뒤의 배플들(517)을 통해 달성되며, 이는 하기에서 설명된다). 부호화 렌즈 어레이와 센서 사이의 공간은 광-차단(light-opaque) 하우징(516)에 의해 차폐되며(이의 윤곽만이 도 5에서 도시됨), 부호화 렌즈 어레이(501)의 개방 애퍼처 및 렌즈를 통과하는 것 이외에는 빛이 센서에 도달하는 것을 방지한다.
카메라는 이미지 센서(504)와의 인터페이스를 포함한 이미지 센서 리드아웃 서브시스템(510)을 더 포함한다. 리드아웃 서브시스템은 이미지 센서(504)로부터의 아날로그 이미지 신호를 시간 기록(clock out)하고, 특정 이미지 센서에 의해 요구되는 것에 따라서 아날로그 버퍼링, 증폭 및/또는 필터링을 가한다. A/D(520)도 또한 통합하는 상기 리드아웃 서브시스템(100)의 예는, 캘리포니아 Sunnyvale에 위치한 NuCore Technology, Inc.의 NDX-1260 CleanCapture Image Processor이다. (예를 들어, 적어도 하나의 연산 증폭기(op amp)를 사용하여)리드아웃 서브시스템(110)에 의해 판독된 아날로그 픽셀 값들에 대해 제로 오프셋(112) 및 이득(111)을 조절하는 능력은, 캡처된 이미지의 동적 범위를 증가시킬 것이지만, 이미지 센서가 제로 오프셋 및 이득 조절 없이도 희망하는 이미지 품질을 위한 충분한 동적 범위를 갖는다면 필수적인 것은 아니다.
일 실시예에서, 리드아웃 서브시스템(110)의 출력은 아날로그 출력을 디지털화하는 적어도 하나의 아날로그-디지털 컨버터(A/D) (520)와의 인터페이스(113)에 의해 연결된다. A/D의 출력은 인터페이스(521)를 통해서 이미지 복원 프로세서(530)와 연결되며, 이는 일 실시예에서 디지털 신호 프로세서(DSP) (532)와 랜덤 액세스 메모리(RAM)(531)를 통합한다. 인터페이스(121)로부터의 디지털화된 이미지는 RAM(531)에 저장되며, DSP(532)는 그레이스케일 또는 컬러 이미지로 원 장면(500)을 복원하기 위해서 이미지를 후-처리(post-process)한다. 다른 실시예에 따라서, 이미지 복원 프로세서(530)는 Intel Corporation Pentium 4?와 같은 범용 CPU 또는 유사한 범용 프로세서를 포함한다. 또 다른 실시예에서, 이미지 복원 프로세서(530)는 전용 디지털 구조에서 복원 프로세싱의 일부 또는 전부를 구현하는 주문형반도체("ASIC")를 포함한다. 복원 프로세서(530)에 의해 복원된 이러한 그레이스케일 또는 컬러 이미지는 인터페이스(533)를 통하여 출력되고, 디스플레이 장치(540) 상에 디스플레이 된다.
도 6은 도 5에 도시된 가시광 부호화 렌즈 카메라의 일 실시예를 도시한다. MURA 배열 3("MURA 3") 렌즈 어레이(601)는 개방 애퍼처(602)와 같은 16개의 개방 애퍼처와 폐쇄 애퍼처(603)과 같은 20개의 폐쇄 애퍼처를 포함한다. 602와 같은 각각의 개방 애퍼처는 하나의 렌즈를 포함한다. 도시된 실시예에서, 렌즈들은 원형이지만, 선택적인 실시예들에서 렌즈는 개방 애퍼처(602) 영역을 보다 완벽히 채울 수 있는 다른 형태(예를 들어, 정사각형 또는 육각형)일 수 있다. 그러나 본 실시예에서 렌즈(608)의 모양과는 상관없이, 렌즈(608)에 의해 채워지지 않은 개방 애퍼처(602)의 모든 잔여 부분은 불투명이거나 거의 불투명이어야만 한다. 컬러 또는 그레이스케일 센서(604)는 MURA 3 애퍼처 어레이(601)의 한 사분면(즉 애퍼처들의 하나의 3x3 블록)과 동일한 크기이며, 이 실시예에서, 도해(610)에서 도시된 것과 같이 MURA 3 애퍼처 어레이(601)에 대해 중앙에 위치한다. (도해(610)는 렌즈들의 모양을 도시한 원들을 관통하여 이를 도시함으로써, MURA 3 렌즈 어레이(601) 뒤의 센서(604)의 위치를 도시한다. 이는 설명을 위해서 간략화 한 것이며, 이는 관측자가 이를 관통하여 바라본다고 할 지라도 렌즈의 회절 효과로 인해서 실제 시스템을 시각적으로 조사할 때 보이는 것이 아닐 수도 있다.)
도 6의 정사도(620)은 카메라 구조의 대부분을 나타낸다. (CAI 애플리케이션에서 "시준기"라고 언급되는) 배플들(617)은 개방 애퍼처(602)와 렌즈(608)와 같은 개방 애퍼처들과 렌즈를 통과하여 지나가는 빛을 시준하는 기능을 한다. 이는 각 애퍼처 투사의 FOV를 컬러 또는 그레이스케일 센서(604) 위로 제한한다. 폐쇄 애퍼처(603)와 같은 폐쇄 애퍼처는 불투명 커버로 덮여있어, 빛들이 통과하지 못하도록 한다. 센서(604)는 개방 애퍼처들의 각각으로부터 중첩 투사를 위한 공간을 허용하기 위해서 MURA 3 애퍼처 어레이(601) 및 배플들(617)과 이격된다. 전체 유닛은 차광(light-tight) 카메라 본체(616) 내에 포함되며, 설명의 목적으로 투명하게 도시된다.
도 7은 어떻게 빛이 MURA 3 부호화 렌즈 어레이(701)를 통과하여 투사되는지를 도시한다. 도해(700)는 예시적인 개방 애퍼처 및 렌즈(702) 및 폐쇄 애퍼처(703)과 함께 MURA 3 부호화 렌즈 어레이(701)를 도시한다. 부호화 렌즈 어레이(701)의 뒤에 위치될 컬러 또는 그레이스케일 센서(704)의 위치는 점선으로 윤곽이 표시된다. 렌즈 705는 점선으로 윤곽이 표시된다. 렌즈(705)를 통과하여 지나간 빛은 회색 정사각형(706)으로 도시된 센서 평면 상의 정사각형 영역 위로 투사된다. 애퍼처 어레이(701)가 도해(700)에서 투사를 덧씌우는 것으로 도시되기 때문에, 투사(706)의 대부분은 폐쇄 애퍼처들에 의해 차단된다. 그럼에도 불구하고, 투사(706)의 직경은 회색 실선으로 윤곽이 표시되어 보일 수 있다.
이 실시예에서, 투사(706)는 렌즈(705) 둘레의 개방 애퍼처의 정사각형 보다 약 9배 더 큰 정사각형이며, 렌즈(705)의 중앙에 위치한다. 센서(704)가 애퍼처 어레이에 대해 얼마나 가깝고 또는 먼가에 따라서, 이 투사는 더 넓거나 또는 더 좁은 FOV에 대응할 수 있다. 개방 애퍼처(705) 둘레의 배플들은(이 도해에서 도시되지 않으나, 도 6의 배플(617)과 같이 눈에 보일 수 있다) 렌즈(705)의 크기보다 약 9배 더 크도록 투사(706)의 범위를 제한하기 위해서 이 실시예에서 사용된다.
이 실시예에서, 투사(706) 영역의 오직 적은 비율만이 센서(704)와 중첩됨을 주의하여야 한다. 이 중첩의 일부는 개방 애퍼처(709)의 렌즈를 통해서 눈에 보이며(물리적으로 필수적인 것은 아닐지라도, 설명적으로), 이의 일부는 폐쇄 애퍼처(708)와 개방 애퍼처(709)의 렌즈 둘레의 영역에 의해 차단된다(설명적으로).
도해(710)는 애퍼처 어레이(701)의 우상단 사분면으로부터의 4번의 투사들의 덧씌움을 도시한다(도해(710 및 720)에서 명확성을 위해서, 오직 MURA 3 부호화 렌즈 어레이(701)의 윤곽만이 도시된다). 우상단 사분면에서의 개방 애퍼처(715)의 4개의 렌즈는 파선으로 윤곽이 표시된다. 이 4개의 렌즈로부터의 4번의 투사(716)는 중첩된 회색 영역으로 도시된다. 도해(700)에서 도시된 투사(706)와 같이, 각각의 투사는 이의 렌즈를 둘러싸는 개방 애퍼처 정사각형 크기의 대략 9배인 정사각형이며, 이의 렌즈 중앙에 위치하며, 회색 실선으로 윤곽이 표시된다. 센서 평면의 각각의 영역에서 수많은 중첩 투사들을 나타내기 위해서, 각각의 영역은 그레이 스케일의 다양한 레벨들로 채워진다. 가장 밝은 회색은 1번의 투사를 나타내며, 그 다음 어두운 곳은 2번의 투사가 중첩되었음을 나타내며, 그 다음 어두운 곳은 3번의 투사가 중첩되었음을 나타내며, 마지막으로 가장 어두운 곳은 4번의 투사가 중첩되었음을 나타낸다.
도해(720)는 전체 애퍼처 어레이(701)로부터의 모든 16번의 투사들의 덧씌움을 도시한다. 모든 개방 애퍼처(725)의 16개의 렌즈는 파선으로 윤곽이 표시된다. 도해(700)에서 도시된 투사(706)와 같이, 각각의 투사는 이의 렌즈를 둘러싸는 개방 애퍼처 정사각형 크기의 대략 9배인 정사각형이며, 이의 렌즈 중앙에 위치하며, 회색 실선으로 윤곽이 표시된다. 센서 평면의 각각의 영역에서 수많은 중첩 투사들을 나타내기 위해서, 이전 단락에서 서술된 바와 같이 그레이 스케일의 다양한 레벨들이 사용된다. 이 실시예에서 센서(704)의 각각의 영역은 4번의 중첩된 투사들에 의해 덮여져 도시됨을 주의하여야 한다. 실제적으로, 센서 영역의 상당한 대부분 위로 4번의 중첩된 투사가 존재할 것이지만, 공차 변동(tolerance variation), 회절 효과, 렌즈 수차 및 관측된 장면 내의 물체와의 변화하는 거리로 인해, 투사의 테두리 근처에는 다소 적거나 많은 중첩 투사가 있을 수 있으며, 이는 도해(720)의 회색 실선으로 도시된다.
MURA 3 부호화 렌즈 어레이(701)에 충돌하는 빛의 대부분은 센서(704)의 에지 너머로 투사되며, 결과적으로 이 빛은 복원을 위해 사용되지 않는다는 것을 주의하여야 한다. MURA 3 부호화 렌즈 어레이(401)의 가장 오른쪽 열의 영역이 무시된다면(상기 열 내의 모든 애퍼처가 폐쇄되어 있기 때문에, 카메라에 어떠한 빛도 기여할 수 없으며, 이미지 복원에 영향을 주지 않고 시스템에서 제거될 수 있다), MURA 3 애퍼처 어레이(401)의 나머지 영역에 충돌하는 빛의 약 10.2%(둥근 렌즈들이 이 실시예에서 사용되었기 때문이며, 만약 정사각형 렌즈가 선택적인 실시예에서 사용된 경우라면, 이 숫자는 대략 13%일 것이다)가 실제로 센서(404) 위로 투사된다. 종래의 단일 f/3.1 렌즈는 렌즈에 충돌하는 빛의 약 10.2%를 전달하며, 따라서 MURA 3 부호화 애퍼처 어레이 카메라의 10.2% 빛 전달 성능은 종래의 f/3.1 렌즈에 필적하는 것으로 보일 수 있다.
일반적으로 말하자면, f/3.1은 사진용 렌즈로서 좋은 빛 전달 성능이며, 따라서 마지막 일부 단락에서의 MURA 3 부호화 렌즈 어레이 카메라에 대한 설명은 잠재적으로 바람직한 특성을 가진 카메라의 특성을 기술한다. 그리고 도 3과 4에서 도시된 것과 같은, 복원에서 3x3 픽셀 해상도로 제한되는 MURA 3 부호화 애퍼처 어레이 카메라와 달리, 도 5, 6 및 7에서 도시된 MURA 3 부호화 렌즈 어레이 카메라는 적어도 MURA 3 부호화 렌즈 어레이 내의 각각의 렌즈들의 회절 한계에 근접하게 이미지를 복원할 수 있다. 예를 들어, 53도 FOV 및 36mm 초점 거리를 갖는 12mm 렌즈의 경우에, 2000x2000 해상도(4메가픽셀) 이상이 회절 한계 내에서 달성될 수 있다.
앞에서 설명한 예시들은 부호화 렌즈 어레이의 크기의 1/4(one quadrant)(즉 각각의 방향으로 절반 크기)의 크기와 대략 동일한 것으로서 센서 크기를 도시한다. 이것이 전형적인 구성일지라도, 일 실시예에서 센서 크기(dimensions)들은 부호화 렌즈 어레이 크기(dimensions)들로부터 독립적이지만, 시스템은 부호화 렌즈 어레이가 센서 위로 패턴을 투사하는 방식으로 구성되며, 이 패턴은 상기 센서가 여기에 기술된 부호화 렌즈 카메라 구성과 같이 적절한 이격 및 초점 거리를 갖고 부호화 렌즈 어레이의 1/4 크기와 동일한 크기인 경우 투사될 패턴과 동일하다. 바꾸어 말하면, 여기서 기술된 기술들을 사용하여 이미지를 복원하는 것은, 센서 위로 투사된 장면 이미지들의 겹쳐진 패턴의 구성에 따른 것이며, 센서에 대한 부호화 렌즈 어레이의 특별한 구성에 따른 것이 아니다. 여기에 기술된 것과는 상이한 부호화 렌즈 어레이 구성이 센서 상에 유사한 겹쳐진 패턴을 달성할 수 있다면, 이미지 복원은 동일할 것이다. 예를 들면, 만약 MURA 3 패턴에서 망원 렌즈들(telephoto lenses)이 센서로부터 멀리 위치되어 있으나, 각각의 광학 경로가 센서 상에 투사된 패턴이 도 7에서 도시된 패턴과 동일하도록 어떤 각도로 맞춰진다면, 이미지는 여전히 올바르게 복원될 수 있다.
도 5에서 개시된 시스템의 일 실시예에 따라서, 복원 프로세서로부터 생성된 출력(533)은 카메라의 FOV 내의 장면을 나타내는 그레이스케일 또는 컬러 픽셀들의 2차원 어레이이다. 일 실시예에서, 픽셀 데이터는 컴퓨터(또는 기타 이미지 프로세싱 장치)와의 디지털 인터페이스를 통해 전송된다. 따라서 부호화 애퍼처 카메라의 출력은 이것이 일반적인 디지털 카메라의 출력인 것처럼 임의의 부착된 장치에 표시될 것이다. 복원된 이미지 데이터를 전송하기 위한 디지털 인터페이스는, 예를 들어 IEEE1394("파이어와이어(FireWire)") 인터페이스 또는 USB 2.0 인터페이스(이는 현재 스틸 및 비디오 카메라 애플리케이션에서 적당할 것임)와 같은, 이의 필수 애플리케이션을 위한 카메라로부터의 대역폭을 조절할 수 있는 임의의 디지털 인터페이스일 수 있다. 물론, 본 발명의 기초적인 원리는 임의의 특정 디지털 인터페이스로 제한되지 않는다. 바람직하게, 카메라는 복원된 이미지들을 사진사에게 나타내기 위한 디스플레이(540)(예를 들어, LCD 또는 OLED 디스플레이)를 포함하지만, 이 실시예에서 디스플레이 장치(540)와 인터페이스(533)는 선택적이다.
일 실시예에 따라서, 카메라는 복원 프로세서(530)을 포함하지 않는다. 대신에, A/D 컨버터(520)에 의해 디지털화 된 이미지 데이터는 출력 버퍼와 인터페이스(521)를 통해 연결되며, 여기서 이미지 데이터는 디지털 인터페이스를 통해 출력되도록 패킷화(packetized) 되고 서식화(formatted) 된다. 디지털 인터페이스는 전형적으로 개인용 컴퓨터와 같은 외부 컴퓨팅 수단과 연결될 것이고, 즉시 처리되어 복원되거나, 후에 처리하고 복원시키기 위해 대량 저장 매체(예를 들어, 자기 또는 광학 디스크, 반도체 메모리 등)에 저장될 것이다. 바람직하게, 외부 컴퓨팅 장치는 복원된 이미지들을 사진사에게 보여주기 위한 디스플레이를 포함한다. 선택적으로 또는 부가적으로, 디지털 인터페이스는 직접 대량 저장 매체(예를 들어, 자기 또는 광학 디스크, 반도체 메모리 등)와 직접 연결된다. 복원된 이미지 데이터를 전송하기 위한 디지털 인터페이스는 이의 필수 애플리케이션(예를 들어, IEEE1394("파이어와이어") 인터페이스 또는 USB 2.0 인터페이스)을 위한 카메라로부터의 대역폭을 조절할 수 있는 임의의 디지털 인터페이스일 수 있다.
부호화 렌즈 어레이 패턴 구성(Coded Lens Array Pattern Construction)
본 발명의 일 실시예를 따르는 부호화 렌즈 어레이(501)는 수정된 균등 리던던트 어레이("MURA") 패턴이다. 본 발명의 다른 실시예에 따르는 부호화 렌즈 어레이(501)는 완전 이진 어레이("PBA") 패턴이다. 본 발명의 또 다른 실시예에 따르는 부호화 렌즈 어레이(501)는 균등 리던던트 어레이("URA") 패턴이다. 그리고 본 발명의 또 다른 실시예에 따르는 부호화 렌즈 어레이(501)는 무작위 패턴(random pattern)이다(시스템의 성능은 전형적으로 MURA, PBA, 또는 URA로 사용하는 것만큼 무작위 패턴으로 사용하는 것이 최적이지는 않겠지만). 전형적으로, 기본 애퍼처 패턴은 센서와 동일한 크기를 가질 것이며, 전체 부호화 렌즈 어레이는 기본 애퍼처 패턴의 2x2 모자이크일 것이다. 어레이 내의 각각의 투명 애퍼처는 렌즈를 포함한다. 3개의 예시적인 MURA 패턴과 하나의 PBA 패턴은 도 2에서 도시된다. MURA 101은 101x101 엘리먼트 패턴이며, MURA 61은 61x61 엘리먼트 패턴이고, MURA 31은 31x31 엘리먼트 패턴이다. PBA 8은 8x8 엘리먼트 패턴이고, PBA 24는 24x24 엘리먼트 패턴이다. PBA 패턴이 MURA 패턴에 비해서 확대되어 도시된다. 각각의 패턴에서, 각각의 검은 영역은 불투명하며, 각각의 흰 영역은 투명(개방)하며, 이는 렌즈를 포함할 것이다.
부호화 렌즈 어레이 제조(Coded Lens Array Fabrication)
일 실시예에서, 부호화 애퍼처는 스위스 Neuchatel에 위치한 Suss Micro-optics에 의해 제조된 것과 같은 마이크로렌즈 어레이로 이루어진다. 마이크로렌즈 어레이는 전형적으로 구면수차가 보정된(rectilinear) 또는 6각형의 그리드(grid) 내에 제조된, 전형적으로 평면-볼록 렌즈들(plano-convex lenses)로 구성된 어레이이다. 일 실시예에서, 마이크로렌즈 어레이는 그리드 상의 각각의 위치에 있는 렌즈들과 함께 부호화 렌즈 어레이를 위해 사용될 것이지만, "폐쇄" 애퍼처 위치에 존재하는 렌즈들은 불투명 페인트로 위에 칠해지거나 또는 불투명 물질이 "폐쇄" 애퍼처 위치에서 리소그래픽으로 코팅될 것이다.
다른 실시예에서, 마이크로렌즈 어레이는 부호화 렌즈 어레이 내의 "개방" 애퍼처의 위치에 있는 렌즈들만으로 제조될 것이다. 부호화 렌즈 어레이 내의 "폐쇄" 애퍼처 위치들은 불투명 페인트로 위에 칠해지거나 또는 불투명 물질이 "폐쇄" 애퍼처 위치에서 리소그래픽으로 코팅될 것이다.
배플들, 카메라 FOV, 및 광 감쇠(Baffles, camera FOV, and light attenuation)
본 발명에 따라서, 부호화 렌즈 어레이와 센서 평면 사이의 거리는 개별 렌즈들의 각각의 투사가 초점이 맞춰지도록 선택된다. 무한한 위치의 물체를 영상화하기 위해서는, 센서 평면은 렌즈들의 초점 평면(focal plane)에 위치되어야 한다. 유한한 거리의 물체를 영상화하기 위해서는, 센서 평면은 희망하는 거리에서 초점을 맞추기 위해서 렌즈들의 초점 평면의 약간 뒤에 위치될 수 있다. 부호화 애퍼처 영상화에서와는 달리, 부호화 렌즈 어레이와 센서 평면 사이의 거리는, 따라서 임의적으로 선택될 수 없을 것이지만, 초점 거리 사이, 센서 평면에 대한 이미지 평면의 거리, 및 영상화 될 물체의 거리 간의 제한(constraint)은 준수되어야만 한다.
카메라의 일 실시예는 FOV(FOV)를 전체 부호화 FOV(FCFOV)로 제한하는 기술을 채택한다. 선택적으로 FOV를 제한하는 기술들은 FOV가 FCFOV보다 약간 더 크도록 하는 방식, 즉, FOV가 FCFOV에 부분 코드화 FOV(PCFOV)의 작은 일부를 더하여 구성되는 방식으로 치수가 정해질 수 있다. 이렇게, 부호화 렌즈 카메라의 FOV는 이미지 품질의 면에서 매우 작은 하락만을 희생하여 증가될 수 있다.
일 실시예에 따라서, FOV 제한은 부호화 렌즈 어레이를 통과하여 센서에 도달할 수 있는 광선들의 최대 각을 제한하기 위해서 렌즈들의 앞에 또는 뒤에 배플들을 위치시킴으로써 달성된다.
배플들의 길이가 FOV의 크기를 결정한다 - 배플이 길수록 부호화 렌즈 카메라의 FOV는 더 좁아짐 - 는 것을 주의하여야 한다.
도 8은 MURA 3 부호화 렌즈 카메라 내의 각각의 렌즈들의 투사된 FOV의 측면 을 도시한다. 이 예시에서, 배플(801)들은 렌즈 뒤, 즉 렌즈의 센서(804)를 바라보는 쪽에 위치된다. 그러나 배플이 렌즈들의 앞, 즉 렌즈의 장면을 바라보는 쪽에 위치될 수도 있다는 것을 주의하여야만 한다.
그러나 렌즈들의 뒤에 배플을 위치하는 것이 렌즈 시스템의 사출동공(exit pupil)(803)이 센서 평면을 향해 더 가까이 이동될 수 있다는 점에서 유리함을 갖는다. 이렇게, 각각의 렌즈에 의해 생성된 회절 패턴들의 크기는 감쇠되며, 따라서 전체 이미징 시스템의 달성 가능한 해상도는 증가한다.
도 8은 어떻게 각각의 렌즈의 FOV가 렌즈의 에지를 통과하고, 반대 쪽의 배플의 에지를 정확히 지나가는 주변광선(marginal rays)(805)에 의해 결정되는 지를 더 도시한다. l이 배플들의 길이(도 8에서 l=18mm)를 나타낸다고 하고, 또한 d는 단일 렌즈의 직경을 나타낸다고 하자. 그러면, 도 8에서 볼 수 있듯이, 시야각(angular field of view) α는 tan α/2 = d / l 또는 α = 2 atan (d / l )로써 주어진다.
d = 12mm이고 l = 18mm인 도 8에서 도시된 예시에서, 시야각은 α = 67.38˚가 된다.
도 8의 우측 도해(810)은 어떻게 개별 렌즈들에 의해 생성된 투사들이 센서 평면에 중첩되는 지를 도시한다. 각각의 렌즈는 동일한 시야각을 갖는다. 그러나 서로에 대한 렌즈들의 위치에 의해, 한정된 거리에 있는 물체들에 대한 시차(parallax)가 존재한다. 그러므로 전체 이미징 시스템의 시야 범위는 개별 렌즈의 시야 범위와 거의 동일하지만, 이 시차 효과에 의해 한정된 거리에 있는 물체들 에 대해서는 약간 더 클 수 있다.
도 8은 렌즈들의 전체 행(complete row)을 도시한다는 것을 주의하여야만 한다. 그러나 부호화 렌즈 이미징 시스템에서, 각각의 행 내의 일부의 위치들은 어떠한 렌즈도 포함하지 않고 차단될 것이다. 도면은 오직 설명을 목적으로만 렌즈들의 전체 행을 도시한다. 부호화 렌즈 어레이 내의 렌즈들의 다른 행들은 상이한 위치에 렌즈들을 포함할 것이다. 전형적으로 각각의 위치는 적어도 한 행 내에 렌즈를 포함할 것이므로, 전체 시야 범위는 도 8에서 도시한 것과 같이 산출될 수 있다.
배플들을 사용할 때, 광축에 평행하게 부호화 렌즈 어레이를 통과하여 지나가는 빛은 감쇠되지 않을 것이다. 그러나 광축에 대해 어떤 각도로 부호화 렌즈 어레이를 통과하여 지나가는 빛은 배플들에 의해 부분적으로 차단될 것이다.
결과적으로, 부호화 렌즈 카메라에서 장면을 영상화 및 복원한 후에, 카메라의 민감도(sensitivity)는 배플 감쇠에 의해서 (광축에 대해 더 큰 각을 가진) FOV의 에지 쪽 보다는 (광축에 평행한 빛인) FOV의 중앙에서 더 높다. 따라서 균일-강도 표면을 영상화하는 경우, 복원은 중앙에서 밝을 것이며, 이미지의 에지로 향할수록 점점 더 어두워질 것이다. 그러므로 본 발명의 일 실시예에서, 배플 감쇠는 픽셀에 가해졌던 배플 감쇠의 역으로 복원된 이미지의 각각의 픽셀을 곱함으로써 보상된다. 배플 감쇠는 렌즈들과 배플들의 구조(geometry)로부터 알려진다. 이렇게, 어떠한 노이즈도 없는 경우, 균일-강도 표면은 균일-강도 이미지로 복원된다.
그러나 배플 감쇠를 반전하는 것은 임의의 노이즈 또한 복원에서 신호와 동일한 계수로 증폭되도록 한다는 것을 주의하여야만 한다. 그러므로 복원 이미지의 신호-노이즈 비율(SNR)은 이미지의 중앙에서 가장 높고, 이미지의 에지로 향할수록 감소해서 FOV의 에지에서는 0의 값에 도달한다.
본 발명의 일 실시예에 따라서, 이 문제는 복원된 이미지의 테두리(periphery)를 무시하면서 복원된 이미지의 중앙 영역만을 사용함으로써 감소된다. 다른 실시예에 따라서, 이 문제는 복원된 이미지의 테두리에서의 이미지 데이터에 노이즈-감쇠 스무딩(smoothing) 필터를 가함으로써 더 감소된다.
논문에 의해서, 위너 필터에 들어오는 입력 신호의 신호-노이즈 비율이 알려진 경우에, 위너 필터(Wiener filter)는 최적화된 노이즈-감쇠 스무딩 필터로 알려져 있다. 부호화 렌즈 카메라의 복원된 이미지에서, 신호-노이즈 비율은 이미지 전체에 걸쳐 변한다. SNR은 복원된 이미지의 각각의 픽셀 또는 각각의 영역에 대해 알려진다. 일 실시예에 따라서, 노이즈-감소는 알려진 SNR 편차에 따라서 복원된 이미지의 각 픽셀 또는 각 영역에 대해 변하는 필터 특성을 갖는 로컬 위너 필터링 동작을 가함으로써 달성된다.
부호화 렌즈 어레이 DOF(Coded Lens Array DOF)
모든 장면 물체 거리에서 초점이 맞춰진 이미지를 투사하는, 부호화 애퍼처 카메라와는 달리, 부호화 렌즈 카메라는 이의 부호화 렌즈 어레이 내의 렌즈들의 초점 제한이 가해진다. 전형적으로, 일반적인 단일 렌즈 카메라에서, 카메라의 피사계심도(Depth of Field)(DOF) (즉 가까운 초점에서 먼 초점까지의 범위)는 카메라의 빛 수집 능력에 반비례한다. 이는 DOF가 전형적으로 렌즈의 애퍼처를 좁게 함으로써 - 애퍼처를 좁게 할수록 센서에 도달하는 장면으로부터의 빛이 감소함 - 증가되기 때문이다.
부호화 렌즈 카메라가 초점 제한을 갖는다고 할지라도, 일반 단일 렌즈 카메라보다 나은 부호화 렌즈 카메라의 기본적인 이점은, DOF를 증가시키기 위해 효과적으로 렌즈 애퍼처를 좁게 함에 따라 센서에 도달하는 장면으로부터의 빛의 양은 실질적으로 감소하지 않는다는 것이다.
부호화 렌즈 어레이는 전형적으로 렌즈가 달린 약 50%의 투명 애퍼처와 50%의 불투명 애퍼처를 가지기 때문에, 장면으로부터의 빛은 일반적으로 50%만큼 부호화 렌즈 어레이를 통과하여 지나간다고 생각하자. 전형적으로 부호화 렌즈 어레이의 겹쳐진 투사들은 센서 영역의 4배의 영역 상으로 투사되므로, 투사된 빛의 약 25%가 센서에 충돌한다. 따라서 전체적으로 장면으로부터 부호화 렌즈 어레이에 입사된 빛의 25% x 50% = 12.5%가 센서에 도달한다. (물론, 정사각형 렌즈 대신에 원형 렌즈의 사용, 배플, 렌즈 결점, 및 수차(aberration) 등으로 생긴 감소로 인하여 더 적은 빛이 전달될 수 있으며, 폐쇄 애퍼처보다 많은 개방 애퍼처를 가질 수 있는 주어진 애퍼처 패턴으로 인해 더 많은 빛이 전달될 수도 있으나, 기하학적으로 12.5%는 50%의 개방 애퍼처를 가진 정사각형 애퍼처의 평균 빛 전송률을 나타내며, 이는 부호화 렌즈 시스템에 대해 합리적인 근사치이다) 12.5%의 빛 전송률은 단일 렌즈(이는 12.7%의 빛 전송률을 갖는다) 상의 f/2.8 애퍼처와 거의 동일하다.
전형적인 단일 렌즈 시스템에서, f/2.8 애퍼처는 매우 큰 애퍼처 세팅이다. 50mm 렌즈에서, f/2.8은 17.9mm 애퍼처에 상응한다. 50mm 렌즈를 갖는 Nikon D100 6메가픽셀 카메라를 고려하자. 만약 렌즈가 25'(25피트) 거리에 있는 피사체(subject)에 초점이 맞는다면, 가까운 초점 한계는 약 21.3'이며, 먼 초점 한계는 약 30.2'이다(총 DOF는 30.2' - 21.3' = 8.82'). (주의 : 초점 한계는 주관적이며 사진사에 따라서 변할 것이지만, 이 섹션에서 고려되는 상이한 조건에 대해서는 동일한 기준이 사용되며, 따라서 그 결과들은 서로에 대해 상대적으로 생각될 수 있다. 이 계산들은 http://www.dofmaster.com/dofjs.html에서 피사계심도 온라인 계산기를 사용하여 이루어졌다.) 가까운 초점보다 가깝거나 먼 초점보다 먼 장면의 임의의 물체는 선명함에 있어서의 감소가 가해질 것이다. 8.82'는 짧은 DOF일지라도, f/2.8 세팅은 장면으로부터의 빛 중 약 12.7%가 통과한다.
이제 50mm 렌즈를 갖는 동일한 Nikon D100에 대한 f/16 세팅을 고려하자. 이제 애퍼처 직경은 오직 3.1mm이며, 장면으로부터의 빛 중 오직 0.4% 만이 센서에 도달한다. 만약 렌즈가 25' 거리에 있는 피사체에 초점이 맞춰지면, 가까운 초점 한계는 약 13'이며, 먼 초점 한계는 805'이다. 따라서 13'에서 805'까지의 장면 내의 모든 것들이 792' DOF에 대해 초점이 맞는다. 분명하게, 이는 f/2.8에서의 8.82' DOF에 비해 DOF면에서 극적인 향상이다. 그러나 이는 빛 전송률에 있어서 극적인 비용을 치른다. f/16은 f/2.8에 의해 전달된 빛에 비해 0.4%/12.7% = 3%만을 전송하므로, 이는 매우 높은 조명 아래의 장면과 함께 사용될 수밖에 없다.
동일한 Nikon D100을 고려하며, 단일 전통적인 50mm 렌즈를 사용하는 대신에, 50mm 정사각형 PBA 8 부호화 렌즈 어레이가 사용되고, 25' 거리에 있는 물체에 다시 초점이 맞춰진다. 도 2에서 도시된 PBA 8 패턴이 PBA 8의 각각의 투명(즉 하얗게 도시된) 애퍼처에 배치된 렌즈와 함께 사용될 것이다. PBA 8은 16x16 애퍼처 어레이이고, 이 실시예에서 각각의 측면의 길이는 50mm이기 때문에, 각각의 렌즈 직경은 약 3.1mm일 것이며, 이는 통상적인 단일 50mm 렌즈가 f/16으로 졸려진(stopped down) 것과 대략 동일한 직경이다. 결과적으로, PBA 8 부호화 렌즈 어레이의 DOF는 f/16으로 졸려진 통상적인 단일 50mm 렌즈의 DOF의 대략적으로 동일할 것이다. 그러나 부호화 렌즈 어레이는 장면으로부터의 빛 중 대략 12.5%를 전송하기 때문에 이의 빛 전송률은 f/2.8의 경우와 비슷하다. 따라서 이 실시예의 부호화 렌즈 어레이는 f/2.8 통상적인 렌즈의 빛 전송 특성을 가진 f/16 통상적인 렌즈에 상응하는 DOF를 갖는다.
다른 실시예에서, 이전 단락에서 설명된 동일한 부호화 렌즈 어레이는 Nikon D100 카메라와 함께 사용되지만, 부호화 렌즈 어레이는 25' 대신에 26' 거리에 떨어진 물체에 초점이 맞춰진다. 이 경우 가까운 초점 한계는 12.9'이며 먼 초점 한계는 무한이다. 모든 것이 일정한 거리에서 무한까지의 초점 내에 있기 때문에, 부호화 렌즈 어레이는 "하이퍼포컬(hyperfocal) 거리"로 설정된 이의 초점 거리를 가진, "하이퍼포컬 렌즈"로서 기능한다. 이 구성은 장면 내의 모든 물체들이 적어도 12.9' 떨어져 있는 몇몇 애플리케이션에 대해 유용하며, 그리고 부호화 렌즈 어레이 내의 렌즈들은 고정된 초점으로 설정될 수 있으며, 조정될 필요가 없다. 만약 장면 내의 물체가 12.9'보다 약간 가까이 있다면, 이 역시 유용하게 영상화될 수 있다는 것에 주의해야 한다. 이는 가장 높은 해상도로 간단히 캡처되지 않을 것이지만, 물체가 12.9'보다 지속적으로 가까워진다면, 이들은 더 불명확함이 증가하게 될 것이다(즉 낮은 해상도). 그래서 12.9' 보다 가까운 물체에 대해 높은 해상도를 요구하는 애플리케이션에 대해서는, 부호화 렌즈 어레이 내에 렌즈들을 위한 초점을 맞출 수단이 필요할 것이다.
부호화 렌즈 어레이 수차 교정 및 초점 맞춤(Coded Lens Array Aberration Correction and Focusing)
설명의 명확성을 위해서, 도면들의 대부분에서 도시된 부호화 렌즈 어레이들은 각각의 투명 애퍼처 내에 오직 하나의 렌즈 엘리먼트만을 가진다. 이것이 일부 애플리케이션에 대해서는 충분할 수 있을지라도, 다른 애플리케이션에서는, 기하학적인 왜곡, 코마(coma), 및 색수차(chromatic aberration)와 같은 이미지 수차들을 수정하기 위해서 다수의 렌즈 엘리먼트들을 사용하는 것이 바람직하다. 한 세기 이상 동안, 전체 렌즈 산업은 렌즈 수차 문제를 해결하기 위해서 다수-엘리먼트 렌즈들을 디자인하기 위해서 전념을 다했으며, 종래 기술 작업에 대한 이러한 광대한 집대성은 여기서 되풀이되지는 않을 것이다. 정밀한 품질의 영상화를 위해서는 3개의 엘리먼트 또는 그 이상이 필요하며, 또한 카메라가 고정된 초점을 가지지 않 는 경우 초점을 맞추기 위한 광축 상에서 앞뒤로 이동시키기 위해서는 이러한 엘리먼트들이 하나 이상이 필요하는 것만 말해둔다. 빈번히, 상기 앞뒤로의 움직임은 렌즈의 일부 또는 전부 주변에서 칼라(collar)를 돌리는 회전 메커니즘에 의해 달성되며, 차례로 광축을 따라 하나 이상의 렌즈 엘리먼트들을 이동시키는 스레드(thread)를 관여시킨다.
도 14는 3개의 엘리먼트 렌즈들을 가진 부호화 렌즈 어레이의 측면을 도시한다. 도시된 렌즈 모양들은 설명의 목적으로 간단히 되어 있으며, 실제 렌즈 모양들은 매우 많은 종래 기술의 사진 렌즈 디자인의 일부를 사용하여 희망하는 광학적 특성에 따라서 변할 수 있다. 각각의 애퍼처는 하나 이상의 동심 실린더 내에 스택으로 쌓인 위와 같이 3개의 렌즈들을 가질 것이다. 배플들은 투사의 FOV를 제한하기 위해서 마지막 렌즈 뒤로 센서를 향하여 연장할 것이다. 각각의 애퍼처 위치는 이 도해에서 렌즈들의 스택을 포함하는 것으로 도시된다는 것을 주의하여야 한다. 실제로는, 불투명 애퍼처들은 렌즈들을 포함하지 않을 것이며, 또는 이들은 빛이 이들을 통과하여 지나가는 것을 허용하지 않기 위해서 차단되어 있을 것이다.
도 15는 부호화 렌즈 어레이 내의 속이 빈 중앙(hollow center)들을 가진 기어들의 배치를 도시하며, 각각의 기어는 (위치가 투명 애퍼처이라면)렌즈 둘레에 회전하거나 또는 렌즈가 없는 불투명 애퍼처 위로 회전한다. (설명을 목적으로, 인접한 기어들의 톱니들은 서로 접촉되지 않았으나, 실제로는 이들은 전형적으로 안락하게 서로 딱 맞을 것이다) 기어(1501)는 전기 모터의 샤프트(shaft)와 연결되며, 이는 수동으로 제어되거나 또는 자동-초점 메커니즘에 의해 제어된다. 전기 모터가 회전할수록, 이는 기어(1501)를 돌리며, 이는 차례로 회전 운동을 부호화 렌즈 어레이 내의 모든 기어에 전달한다. 예시에 따라서, 만약 기어(1501)가 시계 방향으로 돈다면, 이는 기어(1502)를 반 시계 방향으로 돌릴 것이며, 다시 이는 기어(1503 및 1504) 모두를 시계 방향으로 돌릴 것이고, 기어(1503 및 1504)는 모두 기어(1505)를 반 시계 방향으로 돌린다. 이 예시를 확장하면, 기어(1501)의 움직임은 부호화 렌즈 어레이 내의 모든 기어들을 돌릴 것이라는 것을 알 수 있으며, 수직 방향으로 또는 수평 방향으로 연속된 각각의 기어들은 반대 방향으로 돌게 된다.
도 16은 도 15에서 도시된 기어 시스템을 사용하는 3-엘리먼트 부호화 렌즈 어레이의 측면을 도시한다. 설명을 목적으로, 모든 렌즈 어레이 위치는 렌즈들을 가진 것으로 도시된다. 실제로는, 불투명 렌즈 어레이 위치는 렌즈들을 가지고 있지 않을 것이며, 이들이 빛을 차단하도록 폐쇄된 애퍼처들을 가질 것이다. 이 실시예에서, 각각의 렌즈 어레이 위치는 두 개의 고정된 렌즈(1601 및 1602), 및 광축을 따라 앞뒤로 이동하는 하나의 렌즈(1603)를 포함한다.
전기 모터(1620)는 수동 또는 자동-초점 수단 중 하나에 의해 구동되며, 이는 기어(1621)를 돌리며, 이는 도 15에서 이미 설명된 것과 같이 도 16의 기어(1604)를 포함하여 차례로 부호화 렌즈 어레이 내의 다른 기어들을 구동한다. 기어(1604)는 공동 실린더(hollow cylinder)(1605)를 돌리며, 이는 차례로 공동 실린더(1606)를 구동시키며, 이는 렌즈(1603)를 고정시킨다. 공동 실린더(1606)는 광축을 따라 앞뒤로(도 16에서 도시된 것과 같이 좌우로) 이동 시킬 수 있는 방식으로 공동 실린더(1605)와 연결된다. 공동 실린더(1606)는 이의 외면에 스크류 스레드(screw thread)(1607)를 가지며, 이는 구조(1609)에 고정된 핀(1608)과 같은 핀들에 새김눈을 넣는다(notch) 공동 실린더(1606)가 회전함에 따라, 스크류 스레드(1607)는 이를 광축을 따라 앞뒤로 이동하게 한다.
도 15에서 볼 수 있는 것과 같이, 부호화 렌즈 어레이 내의 각각의 순차적인 기어는 반대 방향으로 회전한다. 결과적으로 렌즈를 고정하는 각각의 순차적인 공동 실린더는 스크류 스레드(1610)가 스크류 스레드(1607)의 반대 피치(pitch)를 가지듯이 반대 피치로 스레드(thread)된다. 이러한 방식으로, 전기 모터(1602)가 기어(1621)를 동작시키면, 서로 다른 기어 위치들이 반대 방향으로 회전하는 사실에도 불구하고, 렌즈 어레이의 가운데 렌즈들 모두는 동일한 방향으로 움직인다.
이 실시예에서, 렌즈 어레이 메커니즘을 고정하는 동일한 구조(1609)는 배플을 형성하도록 렌즈 뒤로 계속된다. 상기 구조(1609)는 알루미늄, 플라스틱, 또는 기타 충분히 단단하지만 빛에 불투명한 물질로 만들어질 수 있다. 도 16은 측면을 도시하지만, 실제적으로 배플은 각각의 투명 애퍼처의 테두리 주변의 박스를 형성하며, 센서(1630) 위로 투사하는 각각의 렌즈 스택으로부터의 투사의 FOV를 제한하는 기능을 한다.
센서 픽셀 크기 및 렌즈 크기(Sensor Pixel Size and Lens Size)
센서 픽셀 크기와 애퍼처 앨리먼트 크기가 전형적으로 동일한 정도의 크기가 되도록 선택되는 부호화 애퍼처 영상화에서와는 달리, 부호화 렌즈 영상화에서 개별 렌즈들은 센서 픽셀 크기보다 매우 클 수 있다.
일 실시예에서, 센서 픽셀 크기는 부호화 렌즈 어레이의 해상도와 동일한 정도의 크기가 되도록 선택된다. 이 해상도는 개별 렌즈들의 회절 패턴에 의해 결정된다는 것을 주의하여야만 한다. 센서 픽셀 크기가 회절 패턴의 크기보다 현저하게 크게 선택된다면, 영상화 시스템의 해상도는 쓸모없다. 다른 한편으로, 만약 센서 픽셀 크기가 회절 패턴의 크기보다 현저하게 작게 선택된다면, 어떠한 추가적인 유용한 정보가 얻어질 수 없다.
렌즈 크기의 선택에 대해, 회절 패턴의 크기와 달성 가능한 DOF 사이에 트레이드오프가 존재한다는 것을 주의하여야만 한다. 더 작은 렌즈가 선택되면, 이의 회절 패턴은 커지고, 이의 DOF도 좋아진다. 그러나 해상도와 특정 애플리케이션의 DOF 사이의 최상의 타협점을 달성하기 위해서는 렌즈 크기의 선택에 있어서 자유도가 존재한다는 것을 아는 것은 중요하다. 그러나 부호화 애퍼처 영상화에서 이 자유도는 존재하지 않는다. 차라리 부호화 애퍼처 영상화에서는 센서 픽셀 크기와 애퍼처 엘리먼트 크기가 다소 동일하도록 제한된다.
카메라 센서 및 센서 출력 조정(Camera Sensor and Sensor Output Adjustments)
일 실시예에 따라서, 도 5의 센서(504)는 CCD 센서이다. 보다 구체적으로, 컬러 필터 어레이("CFA")를 사용하고 베이어 패턴으로도 알려진, 컬러 CCD 센서가 컬러 영상화를 위해 사용된다. CFA는 각각의 센서 픽셀의 앞에 위치한 레드, 그린, 및 블루 색 필터들의 모자이크 패턴이며, 이들이 3가지 컬러 평면을 독출하도록 한다(단색 CCD 센서에 비해 감소된 공간 해상도로). 도 9는 예시적인 RGB 베이어 패턴을 도시한다. 각각의 픽셀 클러스터(900)는 그린(G), 레드(R), 또는 블루(B) 색으로 각각의 픽셀 위에 컬러 필터를 갖으며, 4개의 픽셀들(901-904)로 구성된다. 베이어 패턴 내의 각각의 픽셀 클러스터는 2개의 그린 픽셀들(901 및 904), 1개의 레드(902) 및 1개의 블루(903)를 포함한다는 것을 주의하여야 한다. 픽셀 클러스터들은 전형적으로 전체 CFA를 구성하는 어레이(905)에서 함께 싸여진다. 그러나 본 발명의 기초적인 원리는 베이어 패턴으로 제한되지 않는다는 것을 주의하여야만 한다.
선택적인 실시예에서, 다층 컬러 이미지 센서가 사용된다. 컬러 센서들은 컬러 필터 없이 이미지 센서의 반도체 물질 내의 다음 층들이 상이한 주파수에서 빛을 흡수하고, 이때 다른 주파수로 빛을 전송한다는 사실을 이용하여 구현될 수 있다. 예를 들면, 캘리포니아 산타 클라라에 위치한 Foveon, Inc.은 이러한 다층 구조를 가진 "Foveon X3" 이미지 센서를 제공한다. 이는 도 10에 도시되며, 여기서 반도체 층(1001)은 블루-감응 픽셀들의 어레이이며, 층(1002)은 그린-감응 픽셀들의 어레이이고, 층(1003)은 레드-감응 픽셀들의 어레이이다. 신호는 각각 세 층으로부터 독출될 수 있으며, 따라서 상이한 컬러 평면을 캡처링 한다. 이 방법은 컬러 평면들 사이에 어떠한 공간적인 전치(displacement)를 갖지 않는다는 이점을 가진다. 예를 들면, 픽셀들(1011-1013)은 직접 서로의 위에 놓이며, 레드, 그린, 및 블루 값은 수평으로 또는 수직으로 이들 사이에 공간적인 전치를 갖지 않는다.
본 발명의 일 실시예에 따라서, 3개의 RGB 컬러 평면의 각각은 컬러 이미징 센서(CFA 또는 다층)로부터 독출되며, 각각 복원된다. 일 실시예에서, 하기에 상세히 기술된 복원 알고리즘은 3개의 컬러 평면의 각각에 개별적으로 적용되며, 복원된 이미지의 3개의 분리된 컬러 평면들을 생성한다. 그리고 이는 하나의 RGB 컬러 이미지로 결합될 수 있다.
도 11a에서 도시된 것과 같이, 이미징 센서(1101)의 아날로그 출력 신호는 디지털 이미지 복원과 후-처리를 하기 위해서 아날로그-디지털 컨버터(A/D)(1104)에 의해 디지털화된다. A/D(1104)의 전체 동적 범위를 이용하기 위해서, 센서 출력은 A/D안으로 제공되기 전에 연산 증폭기(op amp)(1100)에 의해 우선 증폭된다. 연산 증폭기(1100)은 일정한 제로 오프셋(z)(1102)과 이득(g)(1103)을 이미지 센서(1101) 출력 신호에 인가한다. A/D(1104)로의 입력 신호는 s' = g ( s - z )이며, 여기서 s는 이미지 센서(1101) 출력 신호이다. 일 실시예에서, A/D(1104)의 전체 동적 범위가 이용되도록, 즉 가능한 가장 낮은 센서 신호값(smin)은 0에 대응하고, 가능한 가장 높은 센서 신호값(smax)은 A/D(1104)가 포화되지 않고 A/D(1104)의 입력 신호로 허용되는 최대값에 대응하도록, 오프셋(1102)과 이득(1103)이 선택된다.
도 12는 결과적인 시스템의 특성을 나타낸다. 상술된 것과 같이, 장면의 동적 범위는 부호화 렌즈 이미징에 의해 압축되며, 따라서 제로 오프셋과 이득은 단일 렌즈를 수반한 통상적인 이미징에서보다 더 높을 수 있다. 일 실시예에서 제로 오프셋과 이득은 도 11b의 흐름도에서 도시된 다음의 동작 세트에 따라서 부호화 렌즈 카메라에 의해 최적화 방법으로 자동적으로 선택된다.
1110에서, 초기 제로 오프셋은 가능한 최대 제로 오프셋으로 선택되며, 상대적으로 큰 초기 스텝 크기가 제로 오프셋을 위해 선택된다. 1111에서 초기 이득이 가능한 최대 이득으로 선택되며, 상대적으로 큰 초기 스텝 크기가 이득을 위해 선택된다.
1112에서, 이미지는 현재 세팅들을 사용하여 얻어지고, 0 값을 갖는 A/D 출력 내의 픽셀이 존재하는지에 대해 1113에서 결정이 이뤄진다. 만약 0 값을 갖는 픽셀이 존재하면, 현재 제로 오프셋 스텝 크기는 1114에서 현재 제로 오프셋에서 감해지고, 프로세스는 1112로 돌아간다.
그렇지 않으면, 즉 0 값을 갖는 픽셀이 존재하지 않으면, 현재 제로 오프셋 스텝 크기가 가능한 최소의 스텝 크기인지에 대해 1115에서 체크가 이뤄진다. 만약 그 경우가 아니라면, 1116a에서 가능한 최대 제로 오프셋이 초과되지 않도록 확인하면서 현재 제로 오프셋 스텝 크기는 현재 제로 오프셋에 더해진다. 그리고 현재 제로 오프셋 스텝 크기는 1116b에서 감소되고(예를 들어, 이를 10으로 나눔으로써), 프로세스는 1112로 돌아간다.
그렇지 않으면, 스텝(1117)에서, 이미지는 현재 세팅을 사용하여 얻어진다. 1118에서, 최대 출력 값(예를 들어 8비트 A/D에서 255)을 갖는 A/D 출력에서의 픽셀이 존재하는지에 대해 결정이 이뤄진다. 만약 최대 값을 갖는 픽셀이 존재하면, 현재 이득 스텝 크기는 1119에서 현재 이득에서 감해지며, 프로세스는 1117로 돌아간다.
그렇지 않으면, 1120에서, 현재 이득 스텝 크기가 가능한 최소 스텝 크기인지에 대해 결정이 이뤄진다. 만약 그 경우가 아니라면, 가능한 최대 이득이 초과되지 않도록 확인하면서 현재 이득 스텝 크기는 현재 이득에 더해진다. 그리고 현재 이득 스텝 크기는 1121b에서 감소되고(예를 들어 이를 10으로 나눔으로써), 프로세스는 1117로 돌아간다. 그렇지 않으면, 프로세스는 현재 제로 오프셋과 이득 세팅으로 종료된다.
복원 알고리즘을 적용하기 전에, 제로 오프셋과 이득의 효과들은 제거되어야만 한다. 일 실시예에서, 이는 A/D 출력 신호(s")로부터 보정된 센서 신호(s*)를 디지털적으로 계산함으로써 이뤄지는데, 여기서 s"는 A/D 입력 신호(s')에 관한 A/D의 출력이며, s* = s" / g + z의 관계를 갖는다. 연산 증폭기(1100)에 노이즈가 없고, 양자화 에러가 없는 경우라면, s*는 원래 아날로그 센서 출력 신호(s)와 동일할 것이라는 것을 주의하여야 한다.
부호화 렌즈 영상화에서, 각각의 센서 픽셀은 장면의 상이한 픽셀들에 의해 방출되고, 부호화 렌즈 어레이 내의 각각의 렌즈들을 통과하여 센서 픽셀에 도달하는 빛에 노출된다. 부호화 렌즈 영상화에서 사용되는 복원 알고리즘이 센서 이미지는 각각의 개별 렌즈가 센서 위로 투사하는 모든 센서 이미지들의 선형 합이라고 가정한다. 그러므로 일 실시예에서, 센서 출력 신호(s)는 노출 시간 동안 각각의 센서 픽셀에 충돌하는 포톤의 수(p)에 정확히 비례하는 함수이다. 각각의 센서 픽셀의 실제 포톤의 수로부터 센서 출력 신호의 종속성을 나타내는 함수는 센서의 "전달 특성(transfer characteristic)"이라 불린다. CCD 이미징 센서는 상당한 범위의 강도에 대한 선형 전달 특성을 가지는 한편, CMOS 이미징 센서는 로그적인 전달 특성을 갖는다. 전형적인 CMOS와 CCD 이미지 센서 전달 특성을 나타내는 그래프가 도 13에서 도시된다. 센서의 전달 특성 s = f(p)를 알면, 룩업(lookup) 테이블을 통해서 보상될 수 있다. 즉, 복원을 위해 값(s*)을 사용하는 대신에, 값 LUT(s*) = LUT(s"/g + z)가 사용되며, 여기서 LUT는 센서 전달 특성에서의 임의의 비-선형 효과를 보상하는 사용되는 룩업 테이블이다. 일단 상기 동작들이 완료되면, 조정된 센서 이미지는 이미지 복원에 대비하여 DSP, ASIC 또는 다른 형태의 카메라 이미지 복원 프로세서(530)의 메모리에 저장된다.
부호화 렌즈 사진에서 센서 신호의 동적 범위는 영상화된 장면의 동적 범위와 상이할 수 있다는 것을 주의하여야만 한다. 각각의 센서 픽셀이 전체 FOV에 걸쳐 다수의 장면 픽셀들에 노출되기 때문에, 부호화 렌즈 어레이는 강도들의 범위에 대해 평균 효과(averaging effect)를 갖는다. 심지어 넓은 동적 범위를 갖는 장면들도(예를 들면 어두운 전경 물체와 밝은 배경 물체) 낮은 동적 범위를 갖는 센서 신호들을 생성한다. 이미지 복원의 프로세스에서, 원 장면의 동적 범위는 이미징 센서의 동적 범위와 독립적으로 복원된다. 차라리, 이미징 센서의 제한된 동적 범위는(양자화를 위한 한정된 수의 비트들) 양자화 에러를 야기하며, 이는 센서 이미지에서 노이즈로 모델링될 수 있다. 또한 양자화 노이즈는 복원에서도 노이즈를 야기한다. 노이즈는 상술하였듯이 복원된 이미지의 테두리에 가까울수록 보다 현저하게 나타나며, 이는 이러한 영역에서 배플 감쇠에 대한 보상을 위해 높은 배율기(multiplier)가 적용되어야만 하기 때문이다. 결과적으로, 낮은 동적 범위를 갖는 이미징 센서로 높은 동작 강도 범위를 갖는 장면을 영상화하는 것은 복원된 이미지가 보다 많은 노이즈를 갖게 하지만 낮은 동적 범위를 갖게 하는 것은 아니다. 이는 이미징 센서의 동적 범위는 영상화 될 수 있는 장면의 최대 동적 범위를 직접 제한하는, 통상의 단일 렌즈 사진과 대조적이다.
장면 복원(Scene Reconstruction)
다음의 동작들의 세트는 본 발명의 일 실시예에서 사용되며, 상술된 바와 같이 캡처되고 조정된 센서 이미지들로부터 장면을 복원한다. 고츠먼에 따라서, MURA 렌즈 어레이는 다음의 방법으로 구성된다. 우선 길이(p)의 르장드르 시퀀스(Legendre sequence)를 고려하며, 여기서 p는 홀수 소수이다. 르장드르 시퀀스 l ( i ) 는
l ( 0 ) = 0,
임의의 k = 1, 2, ..., p-1에 대해 k2 mod p = l 이란 관계가 만족되면, l ( i ) = +1,
그렇지 않으면, l ( i ) = -1 와 같이 정의되며, 여기서 i = 0, 1 , ..., p-1이다.
그리고 p x p 크기인 MURA a ( i, j ) 는
a ( 0, j ) = 0, 여기서 j = 0, 1, ..., p-1,
a ( i, 0 ) = 1, 여기서 i = 1, 2, ..., p-1,
a ( i, j ) = ( l ( i ) * l ( j ) + 1 ) / 2, 여기서 i = 1, 2, ..., p-1 이고, j = 0, 1, ..., p-1 와 같이 주어진다.
이 MURA 어레이에서, a 1 은 부호화 렌즈 어레이 내의 렌즈를 나타내고, a 0 은 부호화 렌즈 어레이 내의 불투명 엘리먼트를 나타낸다. 이 MURA의 한 주기 내의 렌즈들의 수는 K = ( p2 - 1 ) / 2 이다. 이 MURA와 관계된 주기적인 반전 필터 g ( i, j )는
g ( 0, 0 ) = +1 / K,
i > 0 이거나 j > 0 이면, g ( i, j ) = ( 2 a ( i, j ) - 1 ) / K 과 같이 주어진다.
a ( i, j ) 와 g ( i, j ) 사이의 주기적인 상호 상관 함수 phi ( n, m )는, n = 0 이고 m = 0인 경우에는 1, 그렇지 않으면 0으로 표현될 수 있다. MURA에 관계된 주기적인 반전 필터는 따라서, 일정한 오프셋 및 일정한 스케일링 계수, 그리고 원 MURA에 대해 반전된 단일 엘리먼트를 제외하고는, MURA 자신과 동일한 구조를 가진다. 도 2는 다양한 크기의 MURA 렌즈 어레이 패턴들을 도시한다.
유사한 방법으로, 버스붐에 따른 PBA는 렌즈 어레이로서 사용될 수 있다. 이의 주기적인 반전 필터는 일정한 오프셋 및 일정한 스케일링 계수를 제외하고는, PBA 자신과 정확하게 동일한 구조를 갖는다. PBA들을 생성하기 위한 공식과 알고리즘은 A. BUSBOOM의 ARRAYS UND REKONSTRUKTIONSALGORΠ??MEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR. VDI VERLAG, DUESSELDORF, 1999, ISBN 3-18-357210-9, PAGES 52-56에서 찾을 수 있다. 8 및 24 배열의 PBA들은 도 2에 도시된다. 이들은 MURA 패턴에 비해 확대되어 있다.
일정한 거리에 있는 물체를 부호화 렌즈 어레이를 통해 영상화할 때, 센서 이미지는 부호화 렌즈 어레이와 함께 목적 함수(object function)의 주기적인 상호-상관 함수에 의해 주어지며, 상술된 바와 같이 기하학적인 배율 계수(magnification factor)(f)에 의해 확대된다. 원 물체를 복원하기 위해서, 주기적인 반전 필터의 적절하게 확대된 버전과 측정된 센서 이미지의 주기적인 상호-상관 함수가 계산된다. 측정된 센서 이미지의 노이즈와 부정확성이 없는 경우, 결과 는 원 목적 함수와 동일하다.
그리고 반전 필터링을 수행하는 것은 다음 동작들의 세트를 포함한다.
1. 부호화 렌즈 어레이 패턴에 관계된 주기적인 반전 필터를 계산한다.
2. 반전 필터의 두개의 인접한 엘리먼트 사이의 거리가 센서 평면 내에 장면의 두개의 인접한 렌즈 투사들의 간격과 동일하도록, 이 반전 필터의 기하학적으로 확대된 버전을 계산한다. 두 필터 엘리먼트들 사이의 모든 값들이 0으로 채워지고, 필터 엘리먼트들이 0이 아닌 피크들로 표현되고, 각각은 단일 픽셀의 크기를 갖는 방식으로, 반전 필터의 확대된 버전이 센서 해상도에 따라서 재샘플링된다. 본 발명의 일 실시예에 따라서, 두 인접한 렌즈 투사들 사이의 거리가 픽셀 크기의 정수배가 아니라면, 신호 처리 분야에 알려진 표준 삽입 기술(interpolation technique)이 반전 필터의 확대된 버전을 계산하도록 사용된다. 이 경우, 각각의 필터 엘리먼트는 둘 이상 픽셀에 걸쳐 펼쳐질 수 있다. 두 인접 렌즈 투사들 사이의 간격은 부호화 렌즈 카메라로부터 물체까지의 거리에 따라 변한다는 것을 주의하여야만 한다. 그러므로 상이한 반전 필터들이 상이한 위치에 있는 물체들을 복원하는데 사용될 수 있다.
3. 단계(2)에 따라서 센서 해상도로 재샘플링된, 센서 이미지와 반전 필터 사이의 2차원 주기적인 상호-상관 함수를 계산한다.
4. 3.의 결과의 각각의 픽셀을 K, 즉 MURA 또는 PBA 또는 다른 렌즈 어레이 패턴의 단일 주기 내의 렌즈들의 수로 나눈다.
알려진 범위에 있는 한 물체를 포함한 장면의 복원(Reconstruction of a Scene with One Object at a Known Range)
상술된 것과 같이, 일 실시예에서, 센서 신호로부터 장면을 복원하는 것은 카메라 내에 내장된 디지털 신호 프로세서("DSP") (예를 들어, DSP 132) 또는 카메라 외부의 컴퓨팅 장치에서 수행된다. 일 실시예에서, 장면 복원은 다음 순서의 동작들을 포함한다.
1. 각각의 센서 픽셀의 선형화된 출력 신호가 센서 픽셀에 의해 계산된 포톤의 개수에 비례하도록, 센서의 출력 신호의 전달 특성을 선형화 한다.
2. 센서 신호와 부호화 렌즈 어레이에 관계된 적절하게 확대된 주기적 반전 필터를 주기적으로 상호-상관 시킨다.
3. 결과를 음이 아닌 픽셀 값으로 고정(clip)한다.
4. 적절한 증폭 계수를 각 픽셀에 곱함으로서 배플 감쇠를 보상한다.
5. 결과의 중앙 부분보다 (4) 동안의 노이즈 증폭에 종속적인 결과의 축에서 벗어난 부분들을 선택적으로 부드럽게 한다.
만약 애퍼처 어레이가 MURA인 경우, 동작(2)의 반전 필터링은 두 개의 일차원 필터 동작의 시퀀스로 분해될 수 있으며, 이 중 하나는 이미지 행에 대해 적용되며, 이 중 다른 하나는 이미지 열에 대해 적용된다는 것을 주의하여야만 한다. 이러한 분해는 큰 어레이 배열의 경우에 (2)의 계산 복잡도를 감소시킬 수 있다.
도 17a는 앞 단락에서 설명된 과정을 사용하여 알려진 범위에 있는 3개의 평면 장면들의 투사와 복원에 대한 3가지 예를 도시한다. 이 예에서, 3x3 MURA 패턴이 렌즈 어레이(1700)에 대해 사용되었다. 어레이 내의 두 인접한 렌즈 사이의 거리(피치)는 3mm이었다. 각 렌즈는 5mm의 초점 거리를 가졌으며, 이는 렌즈 어레이와 센서 사이의 거리이다. 센서는 30x30 um 정사각형 픽셀들을 포함한 10x10 mm 센서였다. 장면(1701)은 307x307 픽셀들로 이루어진 평면(2차원적인) 테스트 패턴이다. 이는 3x3 엘리먼트 MURA 렌즈 어레이(1700)를 통과하여 이미지 센서 상으로 투사되며, 센서 이미지(1711)가 생성된다. 센서 이미지(1711)는 상술된 과정을 이용하여 조정되고 복원되어, 복원(1721)을 생성한다. 복원(1721)의 극단 모서리(1730)들은 정확하게 복원되지 않음을 주의하여야 한다. 이는 이미지의 극단 에지들의 배플들을 거쳐 투사하는 동안 빛의 감쇄에 의한 것이다. 동일한 방법으로, 평면 307x307 픽셀 이미지(1702)는 렌즈 어레이(1700)를 통과하여 투사되며, 센서 이미지(1712)를 생성하고, 복원(1722)을 생성하기 위해서 처리된다. 동일한 방법으로, 평면 307x307 픽셀 이미지(1703)는 렌즈 어레이(1700)를 통과하여 투사되며, 센서 이미지(1713)를 생성하고, 복원(1723)을 생성하기 위해서 처리된다.
도 17b는 도 17a와 유사한 3가지 예들을 도시한다. 그러나 도 17b에서 24x24 PBA 패턴이 렌즈 어레이 패턴(1750)으로서 사용되었다. 렌즈 어레이의 총 크기가 도 17a에서와 유사하도록 렌즈들은 0.39mm의 피치를 가졌다(도 17b에서는 18.72 x 18.72 mm이고, 도 17a에서는 18 x 18 mm). 도 17a의 예와 동일한 센서가 사용되었다. 렌즈는 다시 5mm의 초점 거리를 가졌다. 장면(1701)은 24x24 엘리먼트 PBA 렌즈 어레이(1750)를 통과하여 이미지 센서 상으로 투사되어, 센서 이미지(1731)를 생성한다. 센서 이미지(1731)는 상술된 과정에 의해 조정되고 복원되며, 복원(1741)을 생성한다. 동일한 방법으로, 평면 307x307 픽셀 이미지(1702)는 렌즈 어레이(1750)를 통과하여 투사되며, 센서 이미지(1732)를 생성하고, 복원(1742)을 생성하기 위해서 처리된다. 동일한 방법으로, 평면 307x307 픽셀 이미지(1703)는 렌즈 어레이(1750)를 통과하여 투사되며, 센서 이미지(1733)를 생성하고, 복원(1743)을 생성하기 위해서 처리된다. 렌즈 어레이의 배열을 증가시킬수록 센서 이미지의 콘트라스트가 평평해진다는 것이 두 예의 센서 이미지들(1711-1713 및 1731-1733)로부터 관측될 수 있다. 도 17b의 센서 이미지들(1731-1733)에서, 원 장면의 자세한 세부사항들은 인식될 수 없다. 그러나 복원(1741-1743)으로부터 알 수 있듯이, 센서 이미지들은 여전히 원 장면을 복원하는데 필요한 모든 정보를 포함한다.
상술된 바와 같이, 센서 이미지들(1711-1713 및 1731-1733)은 픽셀 당 주어진 비트 수(예를 들어, 8)로 양자화 될 수 있지만, 복원된 이미지들(1721-1723 및 1741-1743)에서 픽셀 당 더 높은 비트 수(예를 들어 10)에 필적하는 유용한 동적 범위를 가진 이미지를 생성할 수 있다는 것을 주의하여야 한다.
알려지지 않은 범위에 있는 한 물체를 포함한 장면의 복원(Reconstruction of a Scene with One Object at an Unknown Range)
일 실시예에서, "알려진 범위에 있는 한 물체를 포함한 장면의 복원" 섹션에서 상술된 동작 시퀀스 중 동작(2)은, 실제 물체 범위가 불확실하거나 알려지지 않은 경우, 상이한 예상되는 물체 범위(o)에 대해서 되풀이된다. 이 기술을 이용하여, 다수의 복원 세트들이 동일한 센서 신호로부터 얻어진다. 이러한 복원들의 세트에서, 예상된 물체 범위가 실제 물체 범위와 동일하거나 또는 가장 근접한 하나가 실제 장면의 가장 정확한 복원이 될 것이며, 한편 예상된 범위와 실제 범위 사이의 불일치를 갖는 다른 복원들은 아티팩트(artifact)들을 포함할 것이다. 이러한 아티팩트들은, 수평 또는 수직 라인의 패턴 또는 복원 내의 모서리 근처에 나타나는 링잉(ringing) 아티팩트와 같은, 고주파수 아티팩트들로서 복원에서 볼 수 있을 것이다.
본 발명의 일 실시예에 따라서, 이러한 복원 세트들 중에서, 가장 적은 아티팩트를 갖는 하나가 수동적으로 또는 자동적으로 선택된다. 이는 카메라를 사전 초점 맞출 필요 없이, 구체적으로는, 통상적인 단일 렌즈 카메라에서 요구되듯이 카메라의 일부를 기계적으로 움직이거나, 또는 예상된 물체 범위를 사전-선택할 필요 없이, 복원 범위 내의 변경을 허용한다. 게다가, 이는 사용자가 이미지 획득 후에(즉 소급하여) 바람직한 복원 범위에 대해 결정하는 것을 허용한다. 복원 범위는 가장 작은 양의 고주파수 아티팩트 및 가장 부드러운 강도 프로파일을 가진 복원을 식별함으로써 복원들의 세트로부터 자동적으로 선택되는 것이 바람직하다.
부호화 렌즈 카메라의 "초점 맞춤"을 위한, 즉 복원들의 세트로부터 올바른 범위를 결정하기 위한, 간단하지만 매우 효과적인 기준은, 각각의 복원의 모든 그레이 레벨 값들의 평균(m)과 표준 편차(σ)를 계산하는 것이다. 더 나아가, 비율(m/σ)이 각 복원에 대해 계산된다. 이 비율이 최대인 복원이 최적화된, 즉 "초점이 맞춰진" 복원으로써 선택된다. 이 기술은 장면 내의 물체들이 각각의 개별 투사들에서 초점이 맞춰진다면 최상의 결과를 생성한다.
도 18은 어떻게 장면이 상이한 범위의 세트에서 복원되는지를 도시한다. 도 17b와 유사한 시스템 구성이 도 18을 생성하는데 사용되었으며, 다시 말하면 24x24 PBA 패턴이 투사에 사용되었다. 원 장면은 도 17b의 테스트 이미지(1701)이었으며, 이는 1,000mm의 범위에서 영상화되었다. 복원은 500mm (1801), 800mm (1802), 1,000mm (1803) 및 5,000mm (1804)로 가정된 범위에서 생성된 센서 이미지로부터 계산되었다. 도면에서, 1,000mm의 올바른 범위에서 좌하단의 복원이 "깨끗해" 보이는 반면, 다른 범위에서의 복원은 상당한 고주파수 아티팩트들을 포함하고 있다는 것을 명확히 볼 수 있다. 또한 도 18은 4개의 복원의 각각에서 그레이 값의 표준 편차("stddev")를 도시한다. 더 나아가 도 18은 4개의 복원 각각에 대해서 그레이 값 평균을 그레이 값 표준 편차로 나눈 비율(m/s)을 도시한다. 이 값은 500mm로 가정된 범위에서 0.0977로 시작해서, 1,000mm로 가정된 범위에서 최대 2.0으로 지속적으로 증가하며, 다시 5,000mm로 가정된 범위에서 0.1075 값에 도달할 때까지 지속적으로 감소한다. 이 예는 어떻게 장면의 실제 범위가 비율(m/s)이 최대인 복원을 선택함으로써 복원들의 세트들로부터 쉽게 계산될 수 있는지를 보여준다.
알려지지 않은 범위에 있는 한 물체를 포함한 장면의 복원 최적화(Optimization of Reconstruction of a Scene With One Object at an Unknown Range)
일 실시예에 따라서, 이미지 일부의 부분적인 복원만을 상이한 예상 물체 범위(o)를 사용하여 계산한다. 부분적인 복원은 복원된 이미지의 모든 픽셀들의 서브셋에 대해서 "알려진 범위에 있는 한 물체를 포함한 장면의 복원" 섹션에서 상술된 동작(2)의 주기적인 상호-상관 함수를 구함으로써 계산되며, 따라서 복원의 계산 복잡도를 감소시킨다. 이러한 픽셀들의 서브셋은 이미지의 서브-샘플링된 버전, 이미지의 근접한 영역, 또는 픽셀들의 다른 적절한 서브셋일 수 있다. 그리고 두 개의 일차원 주기적 필터링 동작은 복원된 이미지의 행들 및/또는 열들의 서브셋에서 대해서만 평가될 필요가 있다. 부분적인 복원들의 세트로부터, 가장 작은 양의 고주파수 아티팩트 및 가장 부드러운 강도 프로파일을 가진 하나가 실제 물체 범위(o)를 결정하기 위해 식별된다. 그 다음, 식별된 실제 물체 범위(o)에 대해, 전체 복원이 수행된다. 이 방법으로, 실제 물체 범위(o)를 자동적으로 결정하면서 장면을 복원하는 계산 복잡도는 감소될 수 있다.
알려지지 않은 범위에 있는 다수의 물체를 포함한 장면의 복원(Reconstruction of a Scene with Multiple Objects at Unknown Ranges)
일 실시예에 따라서, 상이한 물체 범위(o)에서의 전체 이미지 복원들의 세트가 계산된다. 장면의 상이한 부분들에 있는 물체들은 상이한 범위에 있을 수 있기 때문에, 복원은 몇 개의 영역들로 분해된다. 각각의 영역에 대해서, 가장 작은 양의 고주파수 아티팩트 및 가장 부드러운 강도 프로파일을 생성하는 물체 범위(o)가 식별된다. 그리고 최종 복원은 영역들끼리 조립되며, 여기서 각각의 영역에 대해서 최적의 물체 범위(o)를 가진 복원이 선택된다. 이 방법으로, 무한한 FOV 깊이(클로즈업에서부터 무한까지)를 가진 이미지들이 단일 센서 신호로부터 복원될 수 있다.
결합된 복원은 평면 장면, 즉 단일 범위에 있는 하나의 물체만을 포함하는 장면의 평면 복원보다 낮은 품질을 가질 수도 있다. "초점이 맞지 않는" 장면 내의 다른 영역들이 존재하면, 초점이 맞지 않은 영역이 복원에서 조악한 품질이 되도록 할 뿐만 아니라 초점이 맞는 영역도 복원에서 아티팩트를 포함하도록 한다. 바꿔 말하면, 초점이 맞는 영역과 초점이 맞지 않는 영역들 사이에 "혼선(crosstalk)"이 존재한다. 이 혼선과 이를 제거하는 기술이 다음에 다뤄진다.
알려지지 않은 범위에 있는 다수의 물체를 포함한 장면의 복원에서 발생하는 "혼선"의 감소(Reduction of "Crosstalk" in Reconstructing a Scene with Multiple Objects at Unknown Ranges)
이전에 설명되었듯이, 범위(o1)에서의 영역(r1)의 "평면" 복원은 모든 장면이 일정한 거리(o1)에 있는 경우에만 정확할 것이다. 그러나 다른 영역들이 다른 범위에 있다면, 영역(r1)의 복원에 영향을 주는 "혼선"이 존재할 것이다. 따라서 일 실시예에 따라서, 반복하는 복원 과정이 사용되며, 이는 상이한 범위에 있는 장면들의 상이한 영역들 간에 존재하는 이러한 혼선을 경감시킨다. 본 발명의 일 실시예에 따른 반복하는 복원 과정은 다음의 동작들의 세트들을 포함한다.
1. 범위들(o1, o2, ..., on)의 세트에서, "평면" 복원, 즉, 전체 장면에 걸쳐 균일한 범위라고 가정한 복원을 계산한다.
2. 다수의 근접 영역들(r1, r2, ..., rm)과 대응하는 범위들(o1, o2, ..., on)로 장면을 분해하기 위해 이런 식으로 획득한 평면 복원들을 사용한다. 분해는 각각의 영역에 대해 범위(oi)에서의 이의 복원(ri)이 "우수"하도록, 즉 다른 범위에서의 동일한 영역의 복원들에 비해 적은 고주파수 아티팩트들을 포함하고 더 부드러운 강도 프로파일을 가지도록, 수행된다.
3. 복원된 각각의 영역들(ri (i = 1 , 2, ..., m))에 대해서, 센서 이미지에 대한 이의 기여도(contribution)(si)를 계산한다. 이는 렌즈 어레이 패턴으로 ri에 대한 2차원 주기적인 상호-상관 함수를 계산함으로써 이뤄진다. 만약 모든 영역들의 복원들이 완벽했다면, 모든 센서 이미지 기여도의 합은 측정된 센서 이미지(s)와 같을 것임을 주의하여야 한다.
4. 복원된 각각의 영역들(ri (i = 1 , 2, ..., m))에 대해서, 측정된 센서 이미지에서 모든 다른 영역들의 센서 이미지 기여도들을 감산한다. 즉,
Figure 112007059465886-pct00001
이제 각각의 Δsi (i = 1 , 2, ..., m)는 오직 영역(ri)에만 관계된 센서 이미지를 포함하며, 모든 다른 영역들(ri, j≠i)의 기여도는 대부분 차단된다는 것을 주의하여야 한다. 다른 영역들의 복원은 완전하지 않으며, 복원 에러들을 포함한다는 사실로 인해, 일부 잔여 혼선이 존재할 것이며, 다시 말하면 Δsi는 다른 영역들로부터의 일부 잔류하는 기여도들을 포함할 것이다. 그러나 이 혼선은 상이한 센서 이미지를 계산하지 않은 혼선보다는 매우 적다.
5. 범위(oi)에서의 각각의 영역에 대한 정제된(refined) 복원(r'i)을 계산하기 위해 Δsi (i = 1 , 2, ..., m)를 이용한다. 선택적으로, 이 단계는 범위 추정(oi)을 정제하기 위해서 초기 범위(oj) 주변의 다수의 상이한 범위들로 되풀이 될 수 있다. 이 경우에서, 각각의 영역에 대해 가장 작은 고주파수 아티팩트와 가장 부드러운 강도 프로파일을 갖는 복원과 범위가 선택된다.
6. 선택적으로, 각각의 영역에 대한 추가적인 정제를 위해 동작(3)으로 되돌아간다.
복원된 장면 내의 물체들의 범위를 결정(Determination of Range of Objects Within a Reconstructed Scene)
일 실시예에 따라서, 부호화 렌즈 카메라의 출력 신호는 (2차원 이미지 정보 외에도) 각각의 이미지 픽셀 또는 몇 가지 이미지 영역에 대한 범위 정보도 포함하며, 이는 가장 적은 양의 고주파수 아티팩트와 가장 부드러운 강도 프로파일을 갖는, 각각의 영역에 대한 물체 범위(o)를 찾음으로써 결정된다. 따라서 이미지 내에 복원된 모든 픽셀에 대해, 하나의 강도 값(그레이스케일 가시광, 적외선, 자외선 또는 다른 단일 주파수 방사에 대해서) 또는 가시 레드, 그린, 블루 컬러 광에 대한 3가지 강도 값들을 유도하는 복원 이외에, 복원은 이미지의 이러한 픽셀 위치에서 카메라로부터 물체까지의 거리를 나타내는 z 값을 할당한다. 이 방법으로, 3차원 이미지 데이터는 단일 2차원 센서 신호로부터 얻을 수 있다. 또한 범위 데이터가 카메라, 외부 이미징 조작 시스템, 또는 사용자에게 허락되어, 이미지 조작 애플리케이션 또는 시스템을 이용하여 장면의 배경으로부터 장면의 전경에 있는 물체를 분리하는 것과 같이, 장면의 상이한 부분들에 관계된 상이한 영역들로 2차원 이미지를 쉽게 분할한다.
블루/그린 스크린에 대한 필요를 경감시키기 위한 범위 정보의 이용(Using Range Information to Eliminate the Need for Blue/Green Screens)
크로마키(Chroma-keying)는 솔리드 배경 색으로부터 전경 이미지를 분리하기 위해서 비디오 및 사진 제조에서 일반적으로 사용되는 기술이다. 전형적으로 "블루 스크린" 또는 "그린 스크린"이 사용되며, 이는 매우 주의 깊게 색채되고 조명된 스크린이며, 이는 장면이 비디오 또는 필름 상에 사진 찍히거나 캡처될 때, 연기자(performer) 또는 물체 뒤에 놓인다. 실시간으로 또는 후-처리를 통해서, 하드웨어 또는 소프트웨어 시스템은 아마도 구별되게 채색된 전경 이미지를 상당히 균일하게 채색된 배경 이미지로부터 분리시켜, 전경 이미지가 다른 장면 내로 통합될 수 있다. 예를 들면, 전형적으로 TV 뉴스의 일기예보자는 블루 또는 그린 스크린을 배경으로 크로마키 되고, 기상 지도 위에 합성된다.
상기 블루 또는 그린 스크린은 제조에 있어서 상당히 불편하다. 이들은 매우 크며, 세심한 조명이 요구되며, 매우 깨끗하게 유지해야만 하고, 전경 물체의 테두리로 블루 또는 그린 광의 "역류(backwash)"를 생성하지 않도록 전경 물체 뒤로 충분히 멀리 위치되어야만 한다. 이전 단락의 실시예 원리를 이용하여, 이미지는 블루 또는 그린 스크린 없이 캡처될 수 있으며, 각각의 픽셀이 가지고 있는 z 값은 이의 배경으로부터 전경 물체를 분리하기에 충분한 정보를 합성 시스템에 제공할 것이다(즉, 보다 가까운 물체들의 이미지를 포함하고 최종 이미지에서 보존되어야만 하는 장면 내의 픽셀들, 및 더 떨어진 물체들의 이미지를 포함하고 최종 이미지에서 제거되어야만 하는 장면 내의 픽셀들을 식별함으로써). 이는 사진, 비디오 및 모션 사진 제품뿐만 아니라 소비자 애플리케이션(예를 들어 각 사진의 배경으로부터 다양한 사진에서 가족 구성원들을 분리하여, 일부의 가족 구성원들의 그룹 사진 안에 합성될 수 있다)에서 실질적인 이점을 가질 것이다.
도 20은 어떻게 도 19의 사람(1901)이 사진에서 제거된 배경 산(1902)을 포함하는 성(2002)과 같이, 다른 배경을 가진 장면 내에 쉽게 위치될 수 있는지를 도시한다. 이는 도 19로부터 복원된 이미지의, 사람(1901)의 z 값보다 더 큰 z 값을 갖는 모든 픽셀을 성(2002)의 이미지로부터의 픽셀들로 대체함으로써 간단히 달성된다. 다시 한 번, z 값의 프로세싱은 예를 들어 DSP, ASIC 또는 범용 프로세서를 포함하는 어떠한 형태의 이미지 프로세서를 실질적으로 사용하여 구현될 수 있다.
광학 모션 캡처 시스템을 향상시키기 위한 범위 정보의 이용(Using Range Information to Improve Optical Motion Capture Systems)
또한 일 실시예의 픽셀 당 거리 랭잉(ranging) 능력은 광학적 퍼포먼스 모션 캡처("모캡(mocap)")의 애플리케이션을 포함한다. 모캡은 (예를 들어 캘리포니아 Redwood City에 위치한 Electronic Arts의 NBA Live 2005와 같은) 비디오 게임, 및 (예를 들어 뉴욕에 위치한 Time Warner, Inc의 디비전인 Castle Rock Entertainment에서 출시한 "폴라 익스프레스(The Polar Express)"와 같은) 모션 사진들을 포함하는, 컴퓨터가 생성한 애니메이션을 위해 인간, 동물 및 프롭(props)의 움직임을 캡처하는데 현재 사용된다. (예컨대, 영국 옥스퍼드에 위치한 Vicon Motion Systems, Ltd.이 제조한 것들과 같은) 이러한 모캡 시스템들은 전형적으로 퍼포먼스 무대를 둘러싼 다수의 단일 렌즈 비디오 카메라를 이용한다. 역반사 표식들(또는 기타 구별 마킹들)은 연기자들의 몸 구석구석에 그리고 프롭 상에 배치된다. 비디오 카메라들은 표식들의 이미지를 동시에 캡처하고, 각각은 차단되지 않는 이의 FOV 내에서 표식들을 캡처한다. 마지막으로, 소프트웨어는 모든 비디오 프레임을 분석하고 삼각 측량법에 의해 3D 공간 내에 각각의 표식의 위치를 식별하려고 시도한다.
도 21은 예시적인 모션 캡처 세션의 사진이다. 빛의 3개의 밝은 링은 비디오 카메라(2101-2103)의 단일 렌즈 둘레의 LED 링이다. 연기자들은 꼭 끼는 검은 옷을 입고 있다. 옷의 회색 점들은 역반사 표식들이며, 이는 적색 LED 빛을 카메라 렌즈에 반사하여 표식들이 주위 환경에 비해 밝게 구분되도록 한다. 왼쪽 연기자의 무릎에 있는 이러한 역반사 표식들은 2111-2114로 식별된다.
모든 표식들이 카메라 이미지에서 동일하게 보이기 때문에, 모캡 시스템이 마주하는 과제들 중 하나는 장면 내의 어떤 표식(또는 표식들)이 어떤 마커 이미지에 대응하는지를 결정하여, 연기자 또는 프롭이 이동함에 따라 프레임마다 이들을 추적하는 것이다. 전형적으로, 연기자는 알려진 위치에 대충 서 있으며, 연기자의 몸에(또는 프롭에) 대충 알려진 위치에 배치된 표식들을 포함하고 있다. 카메라들은 모두 최초 프레임을 캡처하며, 소프트웨어는 연기자 및 연기자에 붙어 있는 표식들의 대략 알려진 위치로 인해 각각의 표식들을 식별할 수 있다. 연기자가 이동함에 따라, 표식들은 카메라의 시야 범위에서 안으로 또는 바깥으로 이동하며, 종종 연기자가 주위를 이동함에 따라 하나, 일부 또는 심지어 모든 카메라로부터 보이지 않게 된다. 이는 표식들을 식별해서 추적을 지속해야 하는 모캡 시스템의 능력을 애매하게 한다.
예를 들면, 주어진 비디오 카메라의 프레임이 주어진 (x, y)의 픽셀 위치에 중심이 위치한 표식을 표시한다면, 이미지가 실제로 하나가 다른 것의 뒤에 일렬로 배치되도록(하나가 완전히 차단되도록 남겨두게 됨) 두 개의 표식을 표시하는 것이 상당히 가능하다. 다음 프레임에서, 연기자의 모션은 표식들을 상이한 (x, y) 위치들로 분리시킬 수 있으나, 어떤 표식이 이전 프레임에서 앞에 있었던 것인지, 어떤 표식이 뒤에 있었던 것인지를 결정하는 것은 난해할 수 있다(예를 들면, 더 멀리 떨어진 표식이 약간은 더 작게 보일 것이지만, 카메라가 분해할 수 있는 해상도보다 크기 차가 더 적을 수도 있다). 다른 예시로서, 연기자가 한쪽의 모든 표식들을 차단시키면서 바닥을 구를 수도 있다. 연기자가 일어서면, 많은 표식들이 갑자기 카메라 이미지에 나타나며, 어떤 표식이 어떤 표식인지를 식별하는 것은 난해할 수 있다. 이러한 표식 식별 프로세스를 향상시키기 위해 많은 알고리즘들이 개발되었으나, 전형적인 모션 캡처 세션에서, 운용자는 프레임마다 잘못된 표식 식별을 수동으로 수정함으로써 캡처된 데이터를 "마무리(clean up)"해야만 한다. 이런 작업은 지루하고, 많은 시간이 드는 일이며, 모캡 제작 비용에 추가된다.
본 발명의 일 실시예에서, 단일 렌즈 비디오 카메라들은 본원에 개시된 부호화 렌즈 기술을 사용하는 비디오 카메라들로 대체된다. 부호화 렌즈 카메라들은 표식들의 이미지를 캡처할 뿐만 아니라, 이들은 각 표식의 대략의 심도를 캡처한다. 이는 모캡 시스템이 연속적인 캡처 프레임들 속에서 표식들을 식별하는 능력을 향상시킨다. 단일 렌즈 카메라가 표식의 유용한 (x,y) 위치 정보를 제공하는 반면에, 부호화 렌즈 카메라는 (상술된 것과 같이) 표식의 (x, y, z) 위치 정보를 제공한다. 예를 들어, 하나의 표식이 처음에 다른 표식의 앞에 위치했다가 다음 프레임에서 표식들이 분리되더라도, 부호화 렌즈 카메라는 어떤 표식이 근접하고 어떤 표식이 멀리 떨어져 있는지를 (z 값을 사용하여) 식별하는 것이 용이하다. 그리고 이 정보는 하나의 표식이 다른 표식의 뒤에서 차단되기 전 이전 프레임에서의 표식들 위치와 관련될 수 있으며, 이는 양자의 표식들이 시야에 나왔을 때 어떤 표식이 어떤 표식인지를 식별할 수 있다.
추가적으로, 때때로 하나의 표식이 오직 하나의 모캡 카메라에 의해서만 보이고, 나머지 모캡 카메라에서는 차단될 수 있다(연기자의 몸체에 의해서). 단일 렌즈 모캡 카메라에서는, 오직 하나의 카메라로 삼각측량하는 것이 불가능하며, 따라서 표식 (x, y, z) 위치는 계산될 수 없다. 그러나 부호화 렌즈 카메라에서는 표식까지의 거리를 알 수 있고, 따라서 이의 (x, y, z) 위치는 쉽게 계산될 수 있다.
로봇 시각 시스템을 향상시키기 위한 범위 정보의 이용(Using Range Information to Improve Robot Vision Systems)
다른 실시예에서, 부호화 렌즈 카메라들은 로봇 시각 시스템에서 사용된다. 예를 들어 애플리케이션들의 제조에서, 통상적인 렌즈 카메라는 집어 들거나 조립체에 삽입될 필요가 있는 부분의 (x, y, z) 위치를 결정하는데 로봇의 전기자(armature)에 거리 정보를 제공할 수 없으나, 부호화 렌즈 카메라는 할 수 있다.
보안 카메라 시스템을 향상시키기 위한 증가된 동적 범위 및 (거리) 범위 정보의 이용(Using Increased Dynamic Range and (Distance) Range Information to Improve Security Camera Systems)
일 실시예에서, 부호화 렌즈 카메라들은 보안 시스템에서 사용된다. 이들은 높은 동적 범위의 장면들을 캡처하는데 낮은 동적 범위를 사용할 수 있는 능력을 가지고 있기 때문에, 이들은 통상적인 단일 렌즈 카메라에서 일반적으로 이미지를 손상시킬 역광(backlighting)이 존재하는 상황에서도 유용한 이미지를 제공할 수 있다. 예를 들어, 침입자가 출입구에 들어오고 있고, 출입구 바깥은 밝은 대낮인 경우, 통상적인 단일 렌즈 카메라는 출입구 바깥과 출입구 안쪽 양자 모두에서 유용한 이미지를 분해 할 수 없을 것이지만, 부호화 렌즈 카메라는 이를 할 수 있다.
본 발명의 실시예들은 앞에서 설명된 것과 같은 다양한 단계들을 포함할 수 있다. 이 단계들은 기계-실행 가능 명령어(machine-executable instruction)로 구체화 될 수 있으며, 이는 범용 또는 전용 프로세서가 일정 단계들을 수행하도록 한다. 예를 들어, 상술된 다양한 동작들은 개인용 컴퓨터 또는 개임용 컴퓨터에 내장된 PCI 카드에 의해 실행되는 소프트웨어일 수 있다. 선택적으로 또는 부가적으로 동작들은 DSP 또는 ASIC에 의해 구현될 수 있다. 더구나, 컴퓨터 메모리, 하드 드라이브, 입력 장치 등과 같은, 본 발명의 기초 원리에 관련되지 않은 다양한 컴포넌트들은 본 발명의 적절한 양태를 불명확하게 하는 것을 피하기 위해서 도면 및 설명에서 제외되었다.
또한, 본 발명의 엘리먼트들은 기계-실행 가능 명령어들을 저장하는 기계-판독 가능 매체로서 제공될 수도 있다. 기계-판독 가능 매체는 전자 명령어를 저장하는데 적합한 플래시 메모리, 광 디스크, CD-ROM, DVD ROM, RAM, EPROM, EEPROM, 자기 또는 광학 카드, 전달 미디어(propagation media) 또는 다른 형태의 기계-판독 가능 미디어를 포함할 수 있으나 이로 제한되지는 않는다. 예를 들어, 본 발명은 캐리어 웨이브에 포함된 데이터 신호 또는 통신 링크(예를 들어 모뎀 또는 네트워크 연결)를 통한 기타 전달 수단을 이용하여, 원격 컴퓨터(예를 들어, 서버)에서 요청 컴퓨터(예를 들어, 클라이언트)로 전송될 수 있는 컴퓨터 프로그램과 같이 다운로드 될 수 있다.
상술된 설명의 전체에 걸쳐, 설명을 목적으로, 본 시스템과 방법의 완벽한 이해를 제공하도록 매우 특정한 세부사항들이 설명되었다. 그러나 본 발명의 당업자는 이 시스템과 방법들이 이러한 특정 세부사항들의 일부 없이도 실행될 수 있다는 것은 명백할 것이다. 예를 들어, 본 발명의 실시예들은 "카메라"라는 맥락으로 상술되었지만, 본 발명의 기본 원리는 PDA, 휴대폰, 및 노트북 컴퓨터를 포함하는 사실상 어떠한 형태의 장치로도 구현될 수 있으며, 이로 제한되지 않는다. 추가로, 본 발명의 범위와 사상은 다음의 청구범위의 관점에서 판단되어야만 한다.

Claims (27)

  1. 이미지들을 부호화하기 위한 장치로서,
    장면을 나타내는 가시광을 검출하도록 구성되는 광-감응 센서;
    2 차원의 부호화 패턴을 형성하기 위해서 제 1 차원 및 제 2 차원으로 배열되고 함께 연결되는 다수의 렌즈들을 포함하는 부호화 렌즈 어레이 ― 상기 2 차원의 부호화 패턴은 상기 광-감응 센서 상에 렌즈들로부터 투사된 이미지들의 중첩을 야기하도록 배열되고, 상기 장면의 가시광이 상기 부호화 렌즈 어레이를 통과하여 상기 광-감응 센서에 도달할 수 있는 최대 각들이 설정되어 상기 광-감응 센서의 상이한 영역들에서 상기 가시광의 상이한 레벨의 강도를 야기함 ―;
    상기 광-감응 센서에 전기적으로 연결되는 아날로그-디지털(A/D) 컨버터 ― 상기 아날로그-디지털 컨버터는 상기 광-감응 센서에 의해 검출되는 가시광을 나타내는 아날로그 신호를 디지털 신호로 변환시킴 ―; 및
    상기 디지털 신호를 처리하고, 상기 장면의 복원된 이미지를 생성하는 이미지 복원 프로세서 ― 상기 복원 프로세서는 상기 복원된 이미지의 상이한 영역들에서 강도를 조정함으로써 상기 상이한 레벨들의 강도를 보상하는 프로그램 코드 및 회로 중 적어도 하나를 포함함 ―;
    를 포함하는, 이미지 부호화 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 다수의 렌즈들을 통과하는 가시광의 시야 범위(field of view; FOV)를 상기 광-감응 센서로 제한하도록 구성되고 상기 다수의 렌즈들을 둘러싸는 다수의 배플들을 더 포함하는, 이미지 부호화 장치.
  4. 제1항에 있어서,
    상기 부호화 패턴은 균등 리던던트 어레이(Uniformly Redundant Array (URA)) 패턴인, 이미지 부호화 장치.
  5. 제1항에 있어서,
    상기 부호화 패턴은 수정된 균등 리던던트 어레이(Modified Uniformly Redundant Array (MURA)) 패턴 또는 완전 이진 어레이(Perfect Binary Array) 패턴인, 이미지 부호화 장치.
  6. 제1항에 있어서,
    상기 부호화 패턴은 무작위 패턴인, 이미지 부호화 장치.
  7. 제1항에 있어서,
    렌즈들을 포함하지 않는 어레이 엘리먼트들을 차단하는 불투명 물질이 존재하는, 이미지 부호화 장치.
  8. 제1항에 있어서,
    상기 광-감응 센서로부터 이미지 데이터를 수신하고 상기 이미지 데이터의 픽셀 값들의 제로 오프셋 및 이득 중 적어도 하나를 조정하도록 통신상으로 연결된 이미지 센서 리드아웃(readout) 서브시스템을 더 포함하는, 이미지 부호화 장치.
  9. 제1항에 있어서,
    상기 부호화 렌즈 어레이와 상기 광-감응 센서 사이에 지나가는 빛을 시준하기 위해서, 상기 부호화 렌즈 어레이와 상기 광-감응 센서 사이에 구성된 다수의 배플들을 더 포함하는, 이미지 부호화 장치.
  10. 이미지들을 부호화하기 위한 방법으로서,
    장면을 나타내는 가시광을 검출하도록 구성되는 광-감응 센서를 제공하는 단계;
    2 차원의 부호화 패턴으로 다수의 렌즈들을 배열하는(arranging) 단계 ― 상기 배열하는 단계에 의해, 상기 광-감응 센서 상에 렌즈들로부터 투사된 이미지들의 중첩을 야기시키고, 상기 장면의 가시광이 상기 배열하는 단계에 의해 배열된 부호화 렌즈 어레이(array)를 통과하여 상기 광-감응 센서에 도달할 수 있는 최대 각들이 설정되어 상기 광-감응 센서의 상이한 영역들에서 상기 가시광의 상이한 레벨의 강도를 야기함 ―;
    상기 광-감응 센서에 아날로그-디지털(A/D) 컨버터를 전기적으로 연결하는 단계 ― 상기 아날로그-디지털 컨버터는 상기 광-감응 센서에 의해 검출되는 가시광을 나타내는 아날로그 신호를 디지털 신호로 변환시킴 ―; 및
    복원 프로세서를 이용하여, 상기 디지털 신호를 처리하고, 상기 장면의 복원된 이미지를 생성하는 단계 ― 상기 복원 프로세서는 상기 복원된 이미지의 상이한 영역들에서 강도를 조정함으로써 상기 상이한 레벨들의 강도를 보상하는 프로그램 코드 및 회로 중 적어도 하나를 포함함 ―;
    를 포함하는, 이미지 부호화 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 다수의 렌즈들을 통과하는 가시광의 시야 범위(field of view; FOV)를 상기 광-감응 센서로 제한하도록 구성되고 상기 다수의 렌즈들을 둘러싸는 다수의 배플들을 제공하는 단계를 더 포함하는, 이미지 부호화 방법.
  13. 제10항에 있어서,
    상기 부호화 패턴은 균등 리던던트 어레이(Uniformly Redundant Array (URA)) 패턴인, 이미지 부호화 방법.
  14. 제10항에 있어서,
    상기 부호화 패턴은 수정된 균등 리던던트 어레이(Modified Uniformly Redundant Array (MURA)) 패턴 또는 완전 이진 어레이(Perfect Binary Array) 패턴인, 이미지 부호화 방법.
  15. 제10항에 있어서,
    상기 부호화 패턴은 무작위 패턴인, 이미지 부호화 방법.
  16. 제10항에 있어서,
    렌즈들을 포함하지 않는 어레이 엘리먼트들을 차단하는 불투명 물질을 더 포함하는, 이미지 부호화 방법.
  17. 제10항에 있어서,
    상기 광-감응 센서로부터 이미지 데이터를 수신하는 단계, 및 상기 이미지 데이터의 픽셀 값들의 제로 오프셋 및 이득 중 적어도 하나를 조정하는 단계를 더 포함하는, 이미지 부호화 방법.
  18. 제10항에 있어서,
    상기 부호화 렌즈 어레이와 상기 광-감응 센서 사이에 지나가는 빛을 시준하는 단계를 더 포함하는, 이미지 부호화 방법.
  19. 장면을 나타내는 가시광을 검출하도록 구성되는 광-감응 센서 수단;
    2 차원의 부호화 패턴을 형성하기 위해서 제 1 차원 및 제 2 차원의 부호화 패턴으로 배열되고 함께 연결되는 다수의 렌즈들을 포함하는 부호화 렌즈 어레이 수단 ― 상기 2 차원의 부호화 패턴은 상기 광-감응 센서 수단 상에 렌즈들로부터 투사된 이미지들의 중첩을 야기하도록 배열되고, 상기 장면의 가시광이 상기 부호화 렌즈 어레이 수단을 통과하여 상기 광-감응 센서 수단에 도달할 수 있는 최대 각들이 설정되어 상기 광-감응 센서 수단의 상이한 영역들에서 상기 가시광의 상이한 레벨의 강도를 야기함 ―;
    상기 광-감응 센서 수단에 전기적으로 연결되는 아날로그-디지털(A/D) 컨버터 수단 ― 상기 아날로그-디지털 컨버터 수단은 상기 광-감응 센서 수단에 의해 검출되는 가시광을 나타내는 아날로그 신호를 디지털 신호로 변환시킴 ―; 및
    상기 디지털 신호를 처리하고, 상기 장면의 복원된 이미지를 생성하는 이미지 복원 수단 ― 상기 복원 수단은 상기 복원된 이미지의 상이한 영역들에서 강도를 조정함으로써 상기 상이한 레벨들의 강도를 보상하는 프로그램 코드 및 회로 중 적어도 하나를 포함함 ―;
    을 포함하는, 장치.
  20. 삭제
  21. 제19항에 있어서,
    상기 다수의 렌즈들을 통과하는 가시광의 시야 범위(field of view; FOV)를 상기 광-감응 센서 수단으로 제한하도록 구성되고 상기 다수의 렌즈들을 둘러싸는 배플 수단을 더 포함하는, 장치.
  22. 제19항에 있어서,
    상기 부호화 패턴은 균등 리던던트 어레이(Uniformly Redundant Array (URA)) 패턴인, 장치.
  23. 제19항에 있어서,
    상기 부호화 패턴은 수정된 균등 리던던트 어레이(Modified Uniformly Redundant Array (MURA)) 패턴 또는 완전 이진 어레이(Perfect Binary Array) 패턴인, 장치.
  24. 제19항에 있어서,
    상기 부호화 패턴은 무작위 패턴인, 장치.
  25. 제19항에 있어서,
    렌즈들을 포함하지 않는 어레이 엘리먼트들을 차단하는 불투명 물질을 더 포함하는, 장치.
  26. 제19항에 있어서,
    상기 광-감응 센서 수단으로부터 이미지 데이터를 수신하고 상기 이미지 데이터의 픽셀 값들의 제로 오프셋 및 이득 중 적어도 하나를 조정하도록 통신상으로 연결된 이미지 센서 리드아웃 수단을 더 포함하는, 장치.
  27. 제19항에 있어서,
    상기 부호화 렌즈 어레이 수단과 상기 광-감응 센서 수단 사이에 지나가는 빛을 시준하기 위해서, 상기 부호화 렌즈 어레이 수단과 상기 광-감응 센서 수단 사이에 구성된 배플 수단을 더 포함하는, 장치.
KR1020077018857A 2005-01-18 2006-01-13 부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및비디오를 캡처링 하기 위한 장치 및 방법 KR101289330B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US11/039,029 2005-01-18
US11/039,029 US7767949B2 (en) 2005-01-18 2005-01-18 Apparatus and method for capturing still images and video using coded aperture techniques
US70143505P 2005-07-20 2005-07-20
US60/701,435 2005-07-20
US11/210,098 2005-08-22
US11/210,098 US7671321B2 (en) 2005-01-18 2005-08-22 Apparatus and method for capturing still images and video using coded lens imaging techniques
PCT/US2006/001111 WO2006078537A2 (en) 2005-01-18 2006-01-13 Apparatus and method for capturing still images and video using coded lens imaging techniques

Publications (2)

Publication Number Publication Date
KR20070106613A KR20070106613A (ko) 2007-11-02
KR101289330B1 true KR101289330B1 (ko) 2013-07-31

Family

ID=36692736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077018857A KR101289330B1 (ko) 2005-01-18 2006-01-13 부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및비디오를 캡처링 하기 위한 장치 및 방법

Country Status (5)

Country Link
US (3) US7671321B2 (ko)
EP (1) EP1856710B1 (ko)
JP (1) JP4828549B2 (ko)
KR (1) KR101289330B1 (ko)
WO (1) WO2006078537A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11399134B2 (en) 2018-03-14 2022-07-26 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717456B2 (en) 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US10148897B2 (en) 2005-07-20 2018-12-04 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
GB2434936A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Imaging system having plural distinct coded aperture arrays at different mask locations
GB0602380D0 (en) * 2006-02-06 2006-03-15 Qinetiq Ltd Imaging system
GB2434934A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Processing coded aperture image data by applying weightings to aperture functions and data frames
GB2434937A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imaging apparatus performing image enhancement
GB2434877A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd MOEMS optical modulator
GB2434935A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imager using reference object to form decoding pattern
EP2008242B1 (en) * 2006-04-03 2011-06-08 OmniVision CDM Optics, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP4650367B2 (ja) * 2006-07-26 2011-03-16 船井電機株式会社 動き検出用撮像装置
GB0615040D0 (en) * 2006-07-28 2006-09-06 Qinetiq Ltd Processing method for coded apperture sensor
US20080089567A1 (en) * 2006-10-11 2008-04-17 Eliasson Tracy K Artifact reduction in an x-ray imaging system
TWI336810B (en) * 2006-12-21 2011-02-01 Altek Corp Method of generating image data having parallax using a digital image-capturing device and digital image-capturing device
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
US8019215B2 (en) * 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8159682B2 (en) * 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20100039500A1 (en) * 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8243353B1 (en) 2008-04-07 2012-08-14 Applied Science Innovations, Inc. Holography-based device, system and method for coded aperture imaging
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
KR101483714B1 (ko) * 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
US20100098323A1 (en) * 2008-07-18 2010-04-22 Agrawal Amit K Method and Apparatus for Determining 3D Shapes of Objects
JP5256933B2 (ja) * 2008-08-25 2013-08-07 株式会社ニコン 焦点情報検出装置
EP2175632A1 (en) 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
AU2008246243B2 (en) * 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
GB0822281D0 (en) * 2008-12-06 2009-01-14 Qinetiq Ltd Optically diverse coded aperture imaging
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
CN101907700B (zh) * 2009-06-08 2013-02-13 英华达股份有限公司 一种辅助导航的转向判断方法
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8577539B1 (en) * 2010-01-27 2013-11-05 The United States Of America As Represented By The Secretary Of The Air Force Coded aperture aided navigation and geolocation systems
JP5688540B2 (ja) * 2010-02-26 2015-03-25 パナソニックＩｐマネジメント株式会社 固体撮像装置およびカメラ
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
US20110267485A1 (en) * 2010-04-30 2011-11-03 Kane Paul J Range measurement using a coded aperture
US8436912B2 (en) * 2010-04-30 2013-05-07 Intellectual Ventures Fund 83 Llc Range measurement using multiple coded apertures
US8330852B2 (en) * 2010-04-30 2012-12-11 Eastman Kodak Company Range measurement using symmetric coded apertures
US8432479B2 (en) * 2010-04-30 2013-04-30 Apple Inc. Range measurement using a zoom camera
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
DE102010023344A1 (de) * 2010-06-10 2012-01-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Kameraobjektiv und Kamerasystem
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8582820B2 (en) 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing
JP5591090B2 (ja) * 2010-12-13 2014-09-17 キヤノン株式会社 画像処理装置およびその方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5751826B2 (ja) * 2010-12-22 2015-07-22 キヤノン株式会社 画像形成装置及び画像処理装置
KR20120080845A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
US20120200829A1 (en) * 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
US9551914B2 (en) * 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US8531581B2 (en) 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
KR101795600B1 (ko) * 2011-07-07 2017-11-08 삼성전자주식회사 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
JP2013026332A (ja) * 2011-07-19 2013-02-04 Sony Corp 固体撮像素子および製造方法、並びに電子機器
JP5982751B2 (ja) 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
WO2013114888A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 撮像装置
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
JP6119193B2 (ja) * 2012-02-24 2017-04-26 株式会社リコー 距離測定装置及び距離測定方法
WO2013155429A1 (en) * 2012-04-12 2013-10-17 Schlage Lock Company, Llc Methods and systems for a security surveillance system with an imaging device
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
BE1019941A3 (nl) * 2012-06-05 2013-02-05 Tait Technologies Bvba Inrichting voor de weergave van driedimensionale beelden, systeem voor de creatie van driedimensionale beelden, en werkwijze voor de creatie van driedimensionale beelden.
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9207759B1 (en) 2012-10-08 2015-12-08 Edge3 Technologies, Inc. Method and apparatus for generating depth map from monochrome microlens and imager arrays
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
KR101905528B1 (ko) * 2012-12-28 2018-10-08 삼성전자주식회사 깊이 정보를 획득하는 방법 및 디스플레이 장치
US10257506B2 (en) * 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US10996542B2 (en) * 2012-12-31 2021-05-04 Flir Systems, Inc. Infrared imaging system shutter assembly with integrated thermister
JP5820831B2 (ja) 2013-02-14 2015-11-24 オリンパス株式会社 撮像装置
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US10488535B2 (en) * 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
FR3010603A1 (fr) 2013-09-10 2015-03-13 Commissariat Energie Atomique Dispositif d'acquisition compressive d'une image
FR3010602B1 (fr) 2013-09-10 2015-10-02 Commissariat Energie Atomique Dispositif et procede d'acquisition compressive d'images
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
TWI508526B (zh) * 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9716841B2 (en) * 2014-06-20 2017-07-25 Analog Devices, Inc. Adaptive gain adjustment in an imaging system
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
EP3251338A1 (en) 2015-01-29 2017-12-06 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9696439B2 (en) 2015-08-10 2017-07-04 Shanghai United Imaging Healthcare Co., Ltd. Apparatus and method for PET detector
US10284825B2 (en) 2015-09-08 2019-05-07 Rambus Inc. Systems with integrated refractive and diffractive optics
FR3040798B1 (fr) * 2015-09-08 2018-02-09 Safran Camera plenoptique
US20190107688A1 (en) * 2016-03-30 2019-04-11 Nikon Corporation Optical device
CN105847635A (zh) * 2016-06-20 2016-08-10 联想(北京)有限公司 成像实现方法、摄像装置及电子设备
US10249027B2 (en) * 2016-09-22 2019-04-02 Sony Corporation Device and method for P-phase data compression
US10987071B2 (en) * 2017-06-29 2021-04-27 University Of Delaware Pixelated K-edge coded aperture system for compressive spectral X-ray imaging
CN107452006A (zh) * 2017-08-11 2017-12-08 哈尔滨工业大学 基于编码镜头的芯片元件定位方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102403015B1 (ko) 2017-09-29 2022-05-27 삼성전자주식회사 지문 인식 센서를 포함하는 전자 장치
KR102102291B1 (ko) * 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
CN107966991B (zh) * 2017-12-27 2024-02-27 广州番禺职业技术学院 一种上下料机器人的可寻址装置及方法
US10297697B1 (en) * 2018-11-01 2019-05-21 H3D, Inc. Coded aperture system of imaging with a plurality of detectors in a spaced-apart configuration
KR20200104102A (ko) 2019-02-26 2020-09-03 삼성전자주식회사 다중핀홀을 이용한 3차원 홀로그래픽 디스플레이 및 그 동작방법
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CN112584133B (zh) * 2019-09-27 2024-08-02 苹果公司 用于处理图像的系统和方法
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US12028625B2 (en) 2019-12-03 2024-07-02 Sony Group Corporation Imaging device manufacturing apparatus, method for manufacturing imaging device, and imaging device
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
CN113255636B (zh) * 2020-02-13 2023-08-04 宁波吉利汽车研究开发有限公司 一种基于圆环编码的定位方法、装置、设备和存储介质
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
GB202013472D0 (en) * 2020-08-27 2020-10-14 Ams Sensors Singapore Pte Ltd A sensing system and method
WO2022080121A1 (ja) * 2020-10-16 2022-04-21 ソニーグループ株式会社 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法
GB202101997D0 (en) * 2021-02-12 2021-03-31 Ams Sensors Singapore Pte Ltd Coded aperture imaging system and method
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209780A (en) 1978-05-02 1980-06-24 The United States Of America As Represented By The United States Department Of Energy Coded aperture imaging with uniformly redundant arrays
JPH05333398A (ja) * 1992-05-27 1993-12-17 Sharp Corp 画像符号化復元システム及び空間光変調器の記録パターン成形方法
US5479026A (en) * 1994-05-16 1995-12-26 United Technologies Corporation System having optically encoded information
US6643386B1 (en) 2000-08-10 2003-11-04 Omnivision Technologies, Inc. Method and apparatus for adding watermarks to images and/or video data streams

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4855061A (en) * 1988-04-26 1989-08-08 Cpc Engineering Corporation Method and apparatus for controlling the coagulant dosage for water treatment
US5076687A (en) 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5606165A (en) * 1993-11-19 1997-02-25 Ail Systems Inc. Square anti-symmetric uniformly redundant array coded aperture imaging system
JPH07152056A (ja) * 1993-11-26 1995-06-16 Sharp Corp 光信号補正方法
JP3112800B2 (ja) * 1994-05-30 2000-11-27 シャープ株式会社 光演算装置
US5424533A (en) * 1994-06-21 1995-06-13 United Technologies Corporation Self illuminating touch activated optical switch
US6710797B1 (en) 1995-09-20 2004-03-23 Videotronic Systems Adaptable teleconferencing eye contact terminal
US5756026A (en) 1996-01-05 1998-05-26 Fiberco, Inc. Method for control of post molding fabric curl and distortion
FR2746243B1 (fr) * 1996-03-15 1998-06-05 Procede pour fournir une representation d'une scene optique par transformation de walsh-hadamard et capteur d'image mettant en oeuvre ce procede
WO1997045755A1 (en) * 1996-05-31 1997-12-04 Massachusetts Institute Of Technology Coded aperture imaging
US5757005A (en) * 1996-10-04 1998-05-26 California Institute Of Technology Advanced x-ray imaging spectrometer
US6141104A (en) 1997-09-09 2000-10-31 Image Guided Technologies, Inc. System for determination of a location in three dimensional space
TW510131B (en) 2000-05-24 2002-11-11 Chi Mei Electronic Corp Image input/output device
US6737652B2 (en) 2000-09-29 2004-05-18 Massachusetts Institute Of Technology Coded aperture imaging
US7339521B2 (en) * 2002-02-20 2008-03-04 Univ Washington Analytical instruments using a pseudorandom array of sources, such as a micro-machined mass spectrometer or monochromator
US7196728B2 (en) 2002-03-27 2007-03-27 Ericsson, Inc. Method and apparatus for displaying images in combination with taking images
JP4067456B2 (ja) 2003-06-09 2008-03-26 富士通テン株式会社 レーダ装置及びその信号処理制御方法
EP1494046B1 (en) * 2003-07-02 2006-05-03 Berner Fachhochschule Hochschule für Technik und Architektur Biel Method and apparatus for coded-aperture imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209780A (en) 1978-05-02 1980-06-24 The United States Of America As Represented By The United States Department Of Energy Coded aperture imaging with uniformly redundant arrays
JPH05333398A (ja) * 1992-05-27 1993-12-17 Sharp Corp 画像符号化復元システム及び空間光変調器の記録パターン成形方法
US5479026A (en) * 1994-05-16 1995-12-26 United Technologies Corporation System having optically encoded information
US6643386B1 (en) 2000-08-10 2003-11-04 Omnivision Technologies, Inc. Method and apparatus for adding watermarks to images and/or video data streams

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11399134B2 (en) 2018-03-14 2022-07-26 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method

Also Published As

Publication number Publication date
US7671321B2 (en) 2010-03-02
WO2006078537A3 (en) 2006-09-28
KR20070106613A (ko) 2007-11-02
EP1856710B1 (en) 2019-06-12
US20110315855A1 (en) 2011-12-29
US20090167922A1 (en) 2009-07-02
EP1856710A4 (en) 2015-02-25
EP1856710A2 (en) 2007-11-21
US8288704B2 (en) 2012-10-16
JP2008527944A (ja) 2008-07-24
WO2006078537A2 (en) 2006-07-27
US8013285B2 (en) 2011-09-06
US20100220212A1 (en) 2010-09-02
JP4828549B2 (ja) 2011-11-30

Similar Documents

Publication Publication Date Title
KR101289330B1 (ko) 부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및비디오를 캡처링 하기 위한 장치 및 방법
US20190116326A1 (en) Apparatus and method for capturing still images and video using coded lens imaging techniques
US11681061B2 (en) Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US7767949B2 (en) Apparatus and method for capturing still images and video using coded aperture techniques
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
US9756228B2 (en) Low profile camera and vision sensor
JP5490309B2 (ja) 撮像装置および測距装置
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP5618943B2 (ja) 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
WO2010048618A1 (en) Systems and methods for high resolution imaging
US8805103B2 (en) Device and method for processing digital images captured by a binary image sensor
JPWO2019171691A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
RU2589750C2 (ru) Мобильное устройство с оптическими элементами

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160706

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180710

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190709

Year of fee payment: 7