KR102613608B1 - 고속 이미징을 위한 마이크로 어레이 렌즈 카메라 - Google Patents

고속 이미징을 위한 마이크로 어레이 렌즈 카메라 Download PDF

Info

Publication number
KR102613608B1
KR102613608B1 KR1020210178748A KR20210178748A KR102613608B1 KR 102613608 B1 KR102613608 B1 KR 102613608B1 KR 1020210178748 A KR1020210178748 A KR 1020210178748A KR 20210178748 A KR20210178748 A KR 20210178748A KR 102613608 B1 KR102613608 B1 KR 102613608B1
Authority
KR
South Korea
Prior art keywords
along
row
pixels
image sensor
horizontal direction
Prior art date
Application number
KR1020210178748A
Other languages
English (en)
Other versions
KR20230089947A (ko
Inventor
정기훈
김현경
배상인
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020210178748A priority Critical patent/KR102613608B1/ko
Publication of KR20230089947A publication Critical patent/KR20230089947A/ko
Application granted granted Critical
Publication of KR102613608B1 publication Critical patent/KR102613608B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Abstract

일 실시 예에 따른 마이크로 어레이 렌즈 카메라는, 수직 방향의 높이와 수평 방향의 폭을 갖고, 상기 수직 방향 및 상기 수평 방향을 따라서 이격되는 2차원 행렬로 배열되는 복수개의 픽셀을 구비하고, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 스캔을 수행하는 이미지 센서부; 및 상기 이미지 센서부 상에 배치되고 상기 복수개의 픽셀의 배열과 평행한 평면 상에서 서로 이격되어 배열되는 복수개의 마이크로 렌즈를 구비하는 어레이 렌즈부;를 포함하고, 상기 복수개의 마이크로 렌즈 각각은, 상기 수평 방향을 기준으로 인접하게 놓인 마이크로 렌즈와 서로 다른 상기 수직 방향의 높이를 갖고, 동일한 대상을 상기 수평 방향을 따라서 상이한 위치에 있는 픽셀에 투영할 수 있다.

Description

고속 이미징을 위한 마이크로 어레이 렌즈 카메라{MICROARRAY LENS CAMERAS FOR HIGH SPEED IMAGING}
이하의 설명은 고속 이미징을 위한 마이크로 어레이 렌즈 카메라에 관한 것이다.
최근 이미지 센서를 개발하거나 외부 광학 장치를 이용하여 고속 카메라를 개발하는 연구가 수행되고 있다.
하지만 종래의 고속 카메라의 경우 높은 수준의 회로를 요구하기 때문에 구조가 복잡하고 상용 이미지 센서에 비해 제작 비용이 높다는 단점이 존재하였다.
또한 글로벌 셔터가 적용된 고속 카메라의 경우, 이미지 센서의 픽셀 필 팩터가 낮으며 픽셀 수광부의 크기가 작아 신호대잡음비(SNR)가 낮다는 단점이 있으며, 글로벌 셔터 대비 픽셀 필 팩터가 높은 롤링 셔터가 적용된 고속 카메라는 각 행을 순차적으로 획득하므로 고속 이미징에서 롤링 셔터 왜곡 효과가 두드러진다는 단점이 존재하였다.
또한, 외부 광학 장치를 사용하는 고속 카메라는 부피가 상당히 증가함에 따라 적용할 수 있는 어플리케이션에 한계가 존재하였다.
전술한 배경기술은 발명자가 본 발명의 도출과정에서 보유하거나 습득한 것으로서, 반드시 본 발명의 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
일 실시 예의 목적은 고속 이미징을 위한 마이크로 어레이 렌즈 카메라를 제공하는 것이다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라는, 수직 방향의 높이와 수평 방향의 폭을 갖고, 상기 수직 방향 및 상기 수평 방향을 따라서 이격되는 2차원 행렬로 배열되는 복수개의 픽셀을 구비하고, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 스캔을 수행하는 이미지 센서부; 및 상기 이미지 센서부 상에 배치되고 상기 복수개의 픽셀의 배열과 평행한 평면 상에서 서로 이격되어 배열되는 복수개의 마이크로 렌즈를 구비하는 어레이 렌즈부;를 포함하고, 상기 복수개의 마이크로 렌즈 각각은, 상기 수평 방향을 기준으로 인접하게 놓인 마이크로 렌즈와 서로 다른 상기 수직 방향의 높이를 갖고, 동일한 대상을 상기 수평 방향을 따라서 상이한 위치에 있는 픽셀에 투영할 수 있다.
상기 복수개의 마이크로 렌즈는, 상기 수직 방향 및 상기 수평 방향을 따라서 이격되어 배치되는 2차원 행렬 형태로 배열되되, 상기 수평 방향을 따라서 하나의 행을 이루는 서로 인접한 한 쌍의 마이크로 렌즈는 상기 수직 방향을 따라서 서로 설정된 오프셋 거리만큼 이격될 수 있다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라는, 상기 이미지 센서부 중, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 노출시키는 제어부를 더 포함할 수 있고, 상기 제어부는, 상기 수평 방향을 따라서 적어도 하나의 행을 이루는 복수개의 픽셀을 따라서 투영된 상기 대상의 서로 다른 위상의 이미지를 병합하여 하나의 서브 프레임으로 복원할 수 있다.
상기 어레이 렌즈부 중 서로 상기 수직 방향으로 오프셋되어 이격된 상태로 하나의 행을 형성하는 복수개의 마이크로 렌즈 모두는, 상기 수평 방향을 따라서 적어도 하나의 행을 형성하는 복수개의 픽셀들과 오버랩되도록 배치될 수 있다.
상기 복수개의 마이크로 렌즈는, 사각형 격자 패턴 또는 육각형 격자 패턴의 2 차원 배열을 갖도록 형성될 수 있다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라를 이용한 고속 이미징 방법은, 상기 제어부가 상기 이미지 센서부 중, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 노출시키는 롤링 셔터 방식으로 대상을 스캔하는 단계; 및 상기 제어부가, 상기 수평 방향을 따라서 적어도 하나의 행을 이루는 복수개의 픽셀을 따라서 투영된 상기 대상의 서로 다른 위상의 이미지를 병합하여 하나의 서브 프레임으로 복원하는 단계;를 포함할 수 있다.
일 실시 예에 따른 고속 이미징 방법은, 상기 오프셋 거리의 크기가 상기 순차적으로 노출되는 적어도 하나의 행을 형성하는 픽셀의 높이보다 클 경우 수행되고, 상기 제어부가 상기 서브 프레임 중 상기 대상의 누락된 위상의 부분을 이미지 보간법을 통해 누락된 스캐닝 부분을 복원하는 단계를 더 포함할 수 있다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법에 의하면, 오프셋 배열되는 마이크로 렌즈를 적어도 하나의 행 단위로 수직 방향을 따라서 순차적으로 스캔을 수행하는 이미지 센서에 결합하여, 상기 이미지 센서 대비 더 빠른 속도로 이미지를 촬영하는 것이 가능하다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법에 의하면, 단일 이미지 센서 플레인을 공유하는 마이크로 렌즈 어레이를 이용함에 따라 작은 크기의 초박형의 고속 카메라를 제작하는 것이 가능하다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법은 저렴한 이미지센서와 대면적 공정이 가능한 마이크로 렌즈를 활용할 수 있으므로 저렴한 고속 카메라를 제작하는 것이 가능하다.
도 1은 일 실시 예에 따른 마이크로 어레이 렌즈 카메라의 분해 사시도이다.
도 2는 일 실시 예에 따른 어레이 렌즈부의 정면도이다.
도 3은 일 실시 예에 따른 마이크로 어레이 렌즈 카메라를 통해 촬영된 대상이 오프셋된 마이크로 렌즈들을 통과하여 이미지 센서부 상에 투영된 모습을 개략적으로 도시하는 도면이다.
도 4는 일 실시 예에 따른 고속 이미징 방법의 순서도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 이하의 설명은 실시예들의 여러 태양(aspects) 중 하나이며, 하기의 기술(description)은 실시예에 대한 상세한 기술(detailed description)의 일부를 이룬다.
다만, 일 실시예를 설명함에 있어서, 공지된 기능 혹은 구성에 관한 구체적인 설명은 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.
또한, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 일 실시예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 일 실시예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법의 가장 바람직한 일 실시예에 불과할 뿐이고, 일 실시예에 따른 체결 장치의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 일 실시 예에 따른 마이크로 어레이 렌즈 카메라의 분해 사시도이고, 도 2는 일 실시 예에 따른 어레이 렌즈부의 정면도이고, 도 3은 일 실시 예에 따른 마이크로 어레이 렌즈 카메라를 통해 촬영된 대상이 오프셋 배열된 마이크로 렌즈들을 통과하여 이미지 센서부 상에 투영된 모습을 개략적으로 도시하는 도면이다.
도 1 내지 도 3을 참조하면, 일 실시 예에 따른 마이크로 어레이 렌즈 카메라(1)는 일 실시 예에 따른 마이크로 어레이 렌즈 카메라(1)는 롤링 셔터 방식의 단일 이미지 센서부(12)와, 오프셋된 마이크로 렌즈(111)들의 배열을 구비하는 어레이 렌즈부(11)와, 이미지 센서부(12)에 행 단위로 획득한 이미지를 하나의 서브 프레임으로 합성하여 고속 이미징을 수행하는 제어부(13)를 포함할 수 있고, 어레이 렌즈부(11)가 이미지 센서부(12) 상에 적층되어 설치되는 초박형의 구조를 가질 수 있다.
이미지 센서부(12)는, 수직 방향의 높이(H)와 수평 방향의 폭(W)을 갖고, 수직 방향 및 수평 방향을 따라서 이격되는 2차원 행렬로 배열되는 복수개의 픽셀(121)을 포함할 수 있다.
이미지 센서부(12)는, 수평 방향을 따라서 배열되는 복수개의 픽셀(121)의 적어도 하나의 행(r, 도 3참조) 단위로 수직 방향을 따라서 순차적으로 스캔을 수행할 수 있다. 예를 들어, 이미지 센서부(12)는 각각의 행을 순차적으로 노출 및 리드아웃(readout)하는 롤링 셔터(rolling shutter) 방식의 이미지 센서일 수 있다.
도 1 및 도 2를 참조하면, 수평 방향은 복수개의 픽셀(121) 배열에서 행(row)의 방향과 동일하고, 수직 방향은 열(column)의 방향과 동일할 수 있으며, 또한 수직 방향은 각각의 복수개의 픽셀(121)의 적어도 하나의 행 단위로 순차적으로 스캔을 수행하는 방향과 동일할 수 있다.
어레이 렌즈부(11)는, 이미지 센서부 상에 배치되고 복수개의 픽셀(121)의 배열과 평행한 평면 상에서 서로 이격되어 배열되는 복수개의 마이크로 렌즈(111)를 포함할 수 있다.
복수개의 마이크로 렌즈들(111) 각각은, 수평 방향, 즉 이미지 센서부(12)의 행 방향을 기준으로, 인접하게 배치되는 마이크로 렌즈(111)와 서로 다른 수직 방향의 높이를 갖고, 각각 동일한 대상(3)을 수평 방향을 따라서 상이한 위치에 있는 픽셀(121)에 투사할 수 있다.
예를 들어, 복수개의 마이크로 렌즈(111)는, 수직 방향 및 수평 방향을 따라서 이격되어 배치되는 2차원의 행렬 형태로 배열되되, 수평 방향을 따라서 하나의 행(R, 도 2참조)을 이루는 서로 인접한 한 쌍의 마이크로 렌즈(111)는 수직 방향을 따라서 서로 설정된 오프셋 거리(O)만큼 이격되어 있을 수 있다.
예를 들어, 복수개의 마이크로 렌즈(111)는 도 2에 도시되는 바와 같이 수평 방향(도 2의 우측 방향)으로 갈수록 오프셋 거리(O) 만큼 수직 위치가 오프셋되어 배열되는 2차원 사각형 격자 패턴 구조를 가질 수 있다. 예를 들어, 도 2 및 도 3에 도시되는 바와 같이 복수개의 마이크로 렌즈(111)는 각각 수평 방향을 따라서 일정한 피치 거리(P)만큼 이격되어 배치될 수 있다.
한편, 복수개의 마이크로 렌즈(111)의 배열은 도 2에 도시된 오프셋된 사각형 격자 패턴 뿐만 아니라, 육각형 격자 패턴 또는 마름모형 격자 패턴 등 수평 방향으로 인접한 한 쌍의 마이크로 렌즈(111)의 수직 방향의 높이가 상이한 패턴의 배열을 갖는 배열 구조를 포함할 수도 있으며, 나아가 인접한 마이크로 렌즈(111)들 간의 거리가 일정하지 않은 무작위의 배열 구조를 포함할 수도 있다는 점을 밝혀둔다.
제어부(13)는, 이미지 센서부(12) 중, 수평 방향을 따라서 배열되는 복수개의 픽셀(121)의 적어도 하나의 행 단위로 수직 방향을 따라서 순차적으로 스캔을 수행할 수 있다. 제어부(13)는 수평 방향을 따라서 적어도 하나의 행을 형성하는 복수개의 픽셀(121)을 따라서 투영된 대상(3)의 서로 다른 위상의 이미지를 병합하여 하나의 서브 프레임으로 복원할 수 있다.
제어부(13)는 적어도 하나의 행을 형성하는 복수개의 픽셀(121)에 전사된 각기 다른 시점의 대상의 상을 이미지 복원 과정을 통해 하나의 서브 프레임으로 복원할 수 있다.
도 3을 참조하면, 복수개의 마이크로 렌즈(111) 중 하나의 행을 형성하는 오프셋된 마이크로 렌즈들(111)을 통해 대상(3)의 서로 다른 위상의 부분이 이미지 센서부(12)의 동일한 행의 픽셀들(121)에 전사될 수 있다. 예를 들어, 오프셋된 복수개의 마이크로 렌즈(111)의 하나의 행은 최소 두 시점 이상의 대상의 상을 투영할 수 있다.
예를 들어, 제어부(13)가 복수개의 픽셀들(121)을 통한 스캔을 수행하는 복수개의 픽셀(121)의 행은 하나일 수 있거나 도 3에 도시되는 바와 같이 복수의 행을 단위로 동일한 시점(time window)에서 노출 및 리드아웃할 수 있으며, 이 경우 시점별로 스캔을 수행하는 복수개의 픽셀들(121)의 행이 형성하는 수직 방향의 행 개수를 "단위 스캔 픽셀 행 개수(T)"라 할 수 있다.
예를 들어, 프레임률이 f인 이미지 센서부(12)를 사용할 경우, 이미지 센서부의 프레임률(f)에 기초하여 고속으로 캡쳐되는 서브 프레임의 프레임률(F)은 하기 수학식 1과 같이 계산될 수 있다.
(여기서, F: 서브 프레임의 프레임률, f: 이미지 센서부의 프레임률, H: 이미지 센서부의 수직 방향에 존재하는 유효 픽셀 행 개수, T: 단위 스캔 픽셀 행 개수)
예를 들어, 어레이 렌즈부(11) 중 서로 수직 방향으로 오프셋되어 이격된 상태로 하나의 행을 형성하는 복수개의 마이크로 렌즈(111) 모두는, 수평 방향을 따라서 적어도 하나의 행을 형성하는 복수개의 픽셀들(121)과 오버랩되도록 배치될 수 있다.
다시 말하면, 하나의 행을 형성하는 오프셋된 복수개의 마이크로 렌즈(111)를 통해 복수개의 픽셀(121)투영되는 이미지는, 스캔을 수행하는 적어도 하나 이상의 행의 복수개의 픽셀(121)의 영역과 전체 수평 방향에 걸쳐 오버랩될 수 있다.
더불어, 도 3에 도시되는 바와 같이 복수개의 마이크로 렌즈(111)의 오프셋 거리(O)와 단위 스캔 픽셀 행 개수(T)가 동일하게 설정되고, 이미지 센서부(12)의 폭(W)/피치 거리(P) (W/P)개의 마이크로 렌즈(111)들이 하나의 행을 형성할 경우, 단위 스캔 행 높이(T)로 행 단위 스캐닝을 수행함으로써, 대상(3)의 모든 위상의 지점을 샘플링할 수 있다.
다른 한편으로, 오프셋 거리(O)가, 순차적으로 노출되는 적어도 하나의 행을 형성하는 픽셀들(121)의 높이, 즉 단위 스캔 픽셀 행 개수(T)보다 클 경우, 대상(3)의 부분 중 일부 누락된 스캐닝 부분이 존재할 수 있다.
이 경우, 제어부(13)가 별도로 이미지 보간법을 이용하여 샘플링 되지 않은 이미지 정보를 복원할 수 있으며, 이 경우 고속 이미징을 위한 서브 프레임의 프레임률(F)을 보다 증가시킬 수 있다.
도 4는 일 실시 예에 따른 마이크로 어레이 렌즈를 이용한 고속 이미징 방법의 순서도이다.
도 4를 참조하면, 일 실시 예에 따른 고속 이미징 방법은, 도 1 내지 도 3에 도시된 롤링 셔터 방식의 이미지 센서부(12)와, 오프셋된 마이크로 렌즈(111) 배열을 구비하는 어레이 렌즈부(11)가 적층된 초박형 필름형 구조를 포함하는 마이크로 어레이 렌즈 카메라(1)를 통해 고속 이미징을 수행하는 방법일 수 있다.
예를 들어, 고속 이미징 방법은, 이미지 센서부(12)의 각 행이 노출되는 시간 동안 오프셋된 마이크로 렌즈들(111)을 이용해 서로 다른 지점의 이미지를 획득함으로써 롤링 셔터 효과에 의한 이미지 왜곡이 최소화되고 단일 롤링 셔터 방식의 이미지 센서보다 매우 빠른 순간의 영상을 획득할 수 있는 이점이 존재한다.
일 실시 예에 따른 롤링 셔터 방식으로 대상을 스캔하는 단계(21)와, 서브 프레임으로 복원하는 단계(22)와, 누락된 스캐닝 부분을 복원하는 단계(23)를 포함할 수 있다.
롤링 셔터 방식으로 대상을 스캔하는 단계(21)에서, 제어부(13)는 이미지 센서부(12) 중, 수평 방향을 따라서 배열되는 복수개의 픽셀(121)의 적어도 하나의 행 단위로 수직 방향을 따라서 순차적으로 노출 및 리드아웃하여 대상을 스캔할 수 있다.
서브 프레임으로 복원하는 단계(22)에서, 제어부(13)는 수평 방향을 따라서 적어도 하나의 행을 이루는 복수개의 픽셀(121)을 따라서 투사된 대상(3)의 서로 다른 위상의 이미지를 병합하여, 하나의 서브 프레임으로 복원할 수 있다.
누락된 스캐닝 부분을 복원하는 단계(23)는, 오프셋 거리(O)가, 순차적으로 노출되는 적어도 하나의 행을 형성하는 픽셀들(121)의 높이, 즉 단위 스캔 픽셀 행 개수(T)보다 클 경우 수행될 수 있다.
누락된 스캐닝 부분을 복원하는 단계(23)에서, 제어부(13)는 서브 프레임의 부분 중 대상(3)의 누락된 위상의 부분을 이미지 보간법을 통해 누락된 스캐닝 부분을 복원할 수 있다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법에 의하면, 이미지 센서부의 전 영역을 고속 이미징에 활용하며 동일한 렌즈 크기 대비 더 빠른 속도로 이미지를 촬영하는 것이 가능하다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법에 의하면, 단일 이미지 센서 플레인을 공유하는 마이크로 렌즈 어레이를 이용함에 따라 작은 크기의 초박형의 고속 카메라를 제작하는 것이 가능하다.
일 실시 예에 따른 마이크로 어레이 렌즈 카메라 및 고속 이미징 방법에 의하면, 오프셋 배열되는 마이크로 렌즈를 적어도 하나의 행 단위로 수직 방향을 따라서 순차적으로 스캔을 수행하는 이미지 센서에 결합하여, 상기 이미지 센서 대비 더 빠른 속도로 이미지를 촬영하는 것이 가능하다.
이상과 같이 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 실시예가 설명되었으나 이는 전반적인 이해를 돕기 위해서 제공된 것이다. 또한, 본 발명이 상술한 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 사상은 상술한 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐 아니라 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
1: 마이크로 어레이 렌즈 카메라
11: 어레이 렌즈부
12: 이미지 센서부
13: 제어부
3: 대상
111: 복수개의 마이크로 렌즈
121: 복수개의 픽셀
R: 마이크로 렌즈들의 행
r: 픽셀들의 행
f: 이미지 센서부의 프레임률
F: 서브 프레임의 프레임률
O: 오프셋 거리
T: 단위 스캔 픽셀 행 개수

Claims (7)

  1. 수직 방향의 높이와 수평 방향의 폭을 갖고, 상기 수직 방향 및 상기 수평 방향을 따라서 이격되는 2차원 행렬로 배열되는 복수개의 픽셀을 구비하고, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 스캔을 수행하는 이미지 센서부;
    상기 이미지 센서부 상에 배치되고 상기 복수개의 픽셀의 배열과 평행한 평면 상에서 서로 이격되어 배열되는 복수개의 마이크로 렌즈를 구비하는 어레이 렌즈부; 및
    상기 이미지 센서부 중, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 노출시키는 제어부;를 포함하고,
    상기 복수개의 마이크로 렌즈는,
    상기 수직 방향 및 상기 수평 방향을 따라서 이격되어 배치되는 2차원 행렬 형태로 배열되되, 상기 수평 방향을 따라서 하나의 행을 이루는 서로 인접한 한 쌍의 마이크로 렌즈는 상기 수직 방향을 따라서 설정된 오프셋 거리만큼 이격되고, 각각 동일한 대상을 상기 수직 방향을 따라서 설정된 오프셋 거리만큼 이격된 위치에 있는 픽셀에 투영하고,
    상기 제어부는,
    상기 수평 방향을 따라서 적어도 하나의 행을 이루는 복수개의 픽셀을 따라서 투영된 상기 대상의 서로 다른 부분의 이미지를 병합하여 하나의 서브 프레임으로 복원하는 것을 특징으로 하는 마이크로 어레이 렌즈 카메라.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 어레이 렌즈부 중 서로 상기 수직 방향으로 오프셋되어 이격된 상태로 하나의 행을 형성하는 복수개의 마이크로 렌즈 모두는, 상기 수평 방향을 따라서 적어도 하나의 행을 형성하는 복수개의 픽셀들과 오버랩되도록 배치되는 것을 특징으로 하는 마이크로 어레이 렌즈 카메라.
  5. 제 1 항에 있어서,
    상기 복수개의 마이크로 렌즈는,
    사각형 격자 패턴 또는 육각형 격자 패턴의 2 차원 배열을 갖도록 형성되는 마이크로 어레이 렌즈 카메라.
  6. 수직 방향의 높이와 수평 방향의 폭을 갖고 상기 수직 방향 및 상기 수평 방향을 따라서 이격되는 2차원 행렬로 배열되는 복수개의 픽셀을 구비하고 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 스캔을 수행하는 이미지 센서부와, 상기 이미지 센서부 상에 배치되고 상기 복수개의 픽셀의 배열과 평행한 평면 상에서 상기 수직 방향 및 상기 수평 방향을 따라서 이격되어 배치되는 2차원 행렬 형태로 배열되되 상기 수평 방향을 따라서 하나의 행을 이루는 서로 인접한 한 쌍의 마이크로 렌즈는 상기 수직 방향을 따라서 설정된 오프셋 거리만큼 이격되어 각각 동일한 대상을 상기 수직 방향을 따라서 설정된 오프셋 거리만큼 이격된 위치에 있는 픽셀에 투영하는 복수개의 마이크로 렌즈를 구비하는 어레이 렌즈부와, 상기 이미지 센서부 중, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 노출시키는 제어부를 포함하는 마이크로 어레이 렌즈 카메라를 이용한 고속 이미징 방법에 있어서,
    상기 제어부가 상기 이미지 센서부 중, 상기 수평 방향을 따라서 배열되는 상기 복수개의 픽셀의 적어도 하나의 행 단위로 상기 수직 방향을 따라서 순차적으로 노출시키는 롤링 셔터 방식으로 대상을 스캔하는 단계; 및
    상기 제어부가, 상기 수평 방향을 따라서 적어도 하나의 행을 이루는 복수개의 픽셀을 따라서 투영된 상기 대상의 서로 다른 부분의 이미지를 병합하여 하나의 서브 프레임으로 복원하는 단계;를 포함하는 고속 이미징 방법.
  7. 제 6 항에 있어서,
    상기 오프셋 거리의 크기가 상기 순차적으로 노출되는 적어도 하나의 행을 형성하는 픽셀의 높이보다 클 경우 수행되고, 상기 제어부가 상기 서브 프레임 중 상기 대상의 누락된 위상의 부분을 이미지 보간법을 통해 누락된 스캐닝 부분을 복원하는 단계를 더 포함하는 고속 이미징 방법.
KR1020210178748A 2021-12-14 2021-12-14 고속 이미징을 위한 마이크로 어레이 렌즈 카메라 KR102613608B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210178748A KR102613608B1 (ko) 2021-12-14 2021-12-14 고속 이미징을 위한 마이크로 어레이 렌즈 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210178748A KR102613608B1 (ko) 2021-12-14 2021-12-14 고속 이미징을 위한 마이크로 어레이 렌즈 카메라

Publications (2)

Publication Number Publication Date
KR20230089947A KR20230089947A (ko) 2023-06-21
KR102613608B1 true KR102613608B1 (ko) 2023-12-15

Family

ID=86989798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210178748A KR102613608B1 (ko) 2021-12-14 2021-12-14 고속 이미징을 위한 마이크로 어레이 렌즈 카메라

Country Status (1)

Country Link
KR (1) KR102613608B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554067B2 (en) * 2001-05-07 2009-06-30 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels
EP3876510A1 (en) * 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR102194237B1 (ko) * 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Also Published As

Publication number Publication date
KR20230089947A (ko) 2023-06-21

Similar Documents

Publication Publication Date Title
JP5224124B2 (ja) 撮像装置
JP5205448B2 (ja) 画像取込装置および方法
JP5515396B2 (ja) 撮像装置
JP6701194B2 (ja) 画像センサユニット及び撮像装置
JP2013546249A (ja) 複数開口のカメラを用いる撮像システムおよび撮像方法
US9535193B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009177727A (ja) 撮像装置
JP2009224982A (ja) 画像処理装置、画像処理プログラムおよび表示装置
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP6071333B2 (ja) 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
KR20140097465A (ko) 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치
JP2017525188A (ja) ハイブリッドプレノプティックカメラ
JP2000032354A (ja) 撮像装置
JP2017216745A (ja) 電子回路用ギャップを伴う新規イメージングセンサを持つスキャンイメージングシステム
WO2019026287A1 (ja) 撮像装置および情報処理方法
JP6118058B2 (ja) 固体撮像素子、撮像装置、及び制御方法
JP2003283907A (ja) 撮像装置
US11451715B2 (en) Imaging apparatus, exposure controlling method, and imaging device
US7705910B2 (en) Photographic device for obtaining a plurality of images at a time by rolling shutter method
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
KR102613608B1 (ko) 고속 이미징을 위한 마이크로 어레이 렌즈 카메라
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
JP2015148676A (ja) 撮像装置及び撮像装置の制御方法
US20200396380A1 (en) Signal processing device and imaging device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant