KR101575964B1 - 듀얼 애퍼처 카메라의 센서 어레이 - Google Patents

듀얼 애퍼처 카메라의 센서 어레이 Download PDF

Info

Publication number
KR101575964B1
KR101575964B1 KR1020140081893A KR20140081893A KR101575964B1 KR 101575964 B1 KR101575964 B1 KR 101575964B1 KR 1020140081893 A KR1020140081893 A KR 1020140081893A KR 20140081893 A KR20140081893 A KR 20140081893A KR 101575964 B1 KR101575964 B1 KR 101575964B1
Authority
KR
South Korea
Prior art keywords
signal
sensor array
cell
aperture camera
white
Prior art date
Application number
KR1020140081893A
Other languages
English (en)
Inventor
박종호
최상길
경종민
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020140081893A priority Critical patent/KR101575964B1/ko
Priority to PCT/KR2015/006421 priority patent/WO2016003106A2/ko
Application granted granted Critical
Publication of KR101575964B1 publication Critical patent/KR101575964B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

듀얼 애퍼처 카메라(dual aperture camera)의 센서 어레이(sensor array)는 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및 IR(infrared) 신호를 처리하는 적어도 하나의 IR 셀을 포함한다.

Description

듀얼 애퍼처 카메라의 센서 어레이{SENSOR ARRAY INCLUDED IN DUAL APERTURE CAMERA}
본 발명은 듀얼 애퍼처 카메라(dual aperture camera)의 센서 어레이(sensor array)에 관한 것으로, 보다 구체적으로, 적어도 하나의 화이트 셀 및 적어도 하나의 IR(infrared) 셀을 포함하도록 센서 어레이를 구성함으로써, 센서 어레이에서 처리하는 신호들의 신호대잡음비(signal to noise ratio; SNR)를 개선하는 기술이다.
기존의 듀얼 애퍼처 카메라의 센서 어레이는 RGB 셀 및 IR 셀을 포함함으로써, R 셀, G 셀, B 셀 및 IR 셀(네 개의 셀들)이 세트를 이루어 형성된다. 예를 들어, 기존의 듀얼 애퍼처 카메라의 센서 어레이의 화소 구조를 나타낸 도 1을 살펴보면, 기존의 센서 어레이는 세트(110) 내에서 IR 셀(120) 및 RGB 셀(130)을 포함하도록 형성된다.
기존의 센서 어레이에서 RGB 신호는 컬러 필터에 의해 특정 파장 대역만을 선택적으로 투과하기 때문에, 입사광의 광 파워가 제한되어 RGB 셀(130)에서 처리하는 RGB 신호의 신호대잡음비는 작은 값을 가질 수 있다. 또한, 기존의 센서 어레이에서 IR 신호는 세트(110) 내에서 하나의 IR 셀(120)에서 처리되므로, IR 신호가 센싱되는 수광부 면적이 작기 때문에, IR 신호의 신호대잡음비는 작은 값을 가질 수 있다.
따라서, 기존의 센서 어레이는 작은 신호대잡음비 값을 갖는 RGB 신호로 구성되는 이미지 및 작은 신호대잡음비 값을 갖는 IR 신호로 구성되는 이미지를 이용하여 각각의 이미지에 포함되는 영상의 선명도로부터 피사체와 센서 어레이 사이의 거리를 결정하는 과정에서, 깊이 정확도(depth accuracy)가 떨어지는 단점이 있다.
이에, 본 명세서에서는 듀얼 애퍼처 카메라의 센서 어레이를 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀을 포함하도록 구성함으로써, 센서 어레이에서 처리하는 신호들의 신호대잡음비를 개선하는 기술을 제안한다.
본 발명의 실시예들은 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀을 포함함으로써, 유입되는 신호의 광 파장 및 수광부 면적을 넓히는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
또한, 본 발명의 실시예들은 유입되는 신호의 광 파장 및 수광부 면적을 넓힘으로써, 센서로부터의 출력 신호들의 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
또한, 본 발명의 실시예들은 센서로부터의 출력 신호들의 신호대잡음비를 개선함으로써, 피사체와 센서 어레이 사이의 거리를 결정하는 과정에서, 거리 정확도를 향상시키는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
또한, 본 발명의 실시예들은 적어도 하나의 화이트 셀 또는 적어도 하나의 IR 셀 각각이 복수 개가 포함되는 경우, 동일한 종류의 화소별로 적어도 두 개 이상의 화소의 전하를 합하는 빈닝(binning) 기술을 적용하여 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
본 발명의 일실시예에 따른 듀얼 애퍼처 카메라(dual aperture camera)의 센서 어레이(sensor array)는 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및 IR(infrared) 신호를 처리하는 적어도 하나의 IR 셀을 포함한다.
상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다.
상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 화이트 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 IR 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
본 발명의 일실시예에 따른 듀얼 애퍼처 카메라(dual aperture camera)는 렌즈; 흑백 신호 또는 IR(infrared) 신호 중 적어도 하나의 유입량을 조절하는 렌즈 조리개; 상기 IR 신호의 유입 파장을 조절하는 IR 컷 오프 필터; 및 상기 흑백 신호 및 상기 IR 신호를 처리하는 센서 어레이(sensor array)를 포함하고, 상기 센서 어레이는 상기 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및 상기 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다.
상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다.
상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 화이트 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 IR 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
본 발명의 일실시예에 따른 듀얼 애퍼처 카메라(dual aperture camera)에서 센서 어레이(sensor array)를 이용한 피사체 인식 방법은 상기 센서 어레이에 포함되는 적어도 하나의 화이트 셀에서 흑백 신호로 구성되는 이미지를 획득하기 위하여 상기 흑백 신호를 처리하는 단계; 상기 센서 어레이에 포함되는 적어도 하나의 IR(infrared) 셀에서 IR 신호로 구성되는 이미지를 획득하기 위하여 상기 IR 신호를 처리하는 단계; 상기 흑백 신호로 구성되는 이미지 및 상기 IR 신호로 구성되는 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur) 변화에 기초하여 상기 센서 어레이와 상기 피사체 사이의 거리를 결정하는 단계; 및 상기 흑백 신호로 구성되는 이미지 또는 상기 IR 신호로 구성되는 이미지 중 적어도 하나를 기초로, 상기 센서 어레이와 상기 피사체 사이의 거리를 이용하여 상기 피사체를 인식하는 단계를 포함한다.
상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다.
본 발명의 실시예들은 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀을 포함함으로써, 유입되는 신호의 광 파장 및 수광부 면적을 넓히는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
또한, 본 발명의 실시예들은 유입되는 신호의 광 파장 및 수광부 면적을 넓힘으로써, 센서로부터의 출력 신호들의 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
또한, 본 발명의 실시예들은 센서로부터의 출력 신호들의 신호대잡음비를 개선함으로써, 피사체와 센서 어레이 사이의 거리를 결정하는 과정에서, 거리 정확도를 향상시키는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
또한, 본 발명의 실시예들은 적어도 하나의 화이트 셀 또는 적어도 하나의 IR 셀 각각이 복수 개가 포함되는 경우, 동일한 종류의 화소별로 적어도 두 개 이상의 화소의 전하를 합하는 빈닝 기술을 적용하여 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
도 1은 기존의 듀얼 애퍼처 카메라의 센서 어레이의 화소 구조를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라의 구조를 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 4는 본 발명의 제2 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 5는 본 발명의 제3 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 센서 어레이를 이용한 피사체 인식 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라의 구조를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라는 렌즈(210), 렌즈 조리개(220), IR 컷 오프 필터(230) 및 센서 어레이(240)를 포함한다. 이하, ISP(Image Signal Processor)의 기능을 센서 어레이(240)에서 수행함으로써, ISP를 포함하지 않는 경우의 듀얼 애퍼처 카메라에 대해 상술하지만, 이에 제한되거나 한정되지 않고, 상술되는 듀얼 애퍼처 카메라는 ISP를 포함하는 경우에도 마찬가지로 적용될 수 있다.
여기서, 렌즈 조리개(220)는 렌즈(210)를 통하여 입사되는 광 신호(예컨대, 흑백 신호 및 IR 신호를 포함하는 광 신호)의 유입량을 조절한다.
렌즈 조리개(220)를 통하여 유입되는 광 신호 중 IR 신호는 IR 컷 오프 필터(230)에 의해 유입 파장이 조절된다. 구체적으로, IR 컷 오프 필터(230)는 IR 신호를 필터링하고, 포함되는 핀 홀(231)을 통하여 IR 신호를 센서 어레이(240)로 유입시킬 수 있다. 이 때, 핀 홀(231)의 크기는 렌즈 조리개(220)보다 작기 때문에, 핀 홀(231)을 통하여 유입되는 IR 신호의 광량은 렌즈 조리개(220)를 통하여 유입되는 나머지 광 신호에 비해 1/10 내지 1/6 수준으로 적을 수 있다.
본 발명의 일실시예에 따른 센서 어레이(240)는 유입되는 IR 신호를 센싱하는 화소수를 늘리고, 더 나아가 빈닝 기술을 적용함으로써, 적은 광량의 IR 신호를 보다 효율적으로 센싱할 수 있다. 따라서, 센서 어레이(240)에서 처리하는 IR 신호의 신호대잡음비가 기존에 비해 개선될 수 있다.
또한, 본 발명의 일실시예에 따른 센서 어레이(240)는 RGB 셀 대신에 적어도 하나의 화이트 셀을 포함하도록 구성됨으로써, 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 넓은 광 파장을 갖는 흑백 신호를 처리할 수 있다. 예를 들어, 센서 어레이(240)는 두 개 이상의 화이트 셀을 포함하도록 구성될 수 있다. 따라서, 센서 어레이(240)는 기존의 센서 어레이 보다 넓은 광 파장의 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 기존에 비해 개선할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 3은 본 발명의 제1 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 제1 실시예에 따른 센서 어레이는 흑백 신호를 처리하는 적어도 하나의 화이트 셀 및 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다(예컨대, 센서 어레이는 두 개 이상의 화이트 셀을 포함할 수 있음). 구체적으로, 센서 어레이는 세 개의 화이트 셀들(310) 및 한 개의 IR 셀(320)로 세트(330)를 이루고, 세트(330)를 복수 개 구비함으로써, 형성될 수 있다. 여기서, 세 개의 화이트 셀들(310) 및 한 개의 IR 셀(320)은 단일 평면에 배치될 수 있다. 마찬가지로, 복수 개의 세트(330) 역시 단일 평면에 배치될 수 있다.
따라서, 본 발명의 제1 실시예에 따른 센서 어레이는 RGB 셀을 포함하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 세트(330) 내에서 세 개의 화이트 셀들(310)을 포함하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
이 때, 세 개의 화이트 셀들(310)은 단일 평면에서 서로 연결되도록 배치될 수 있다. 예를 들어, 세 개의 화이트 셀들(310) 각각은 좌우 및 상하로 서로 연결되도록 배치될 수 있다. 따라서, 세 개의 화이트 셀들(310)에서 흑백 신호를 처리하는 과정에 흑백 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 흑백 신호의 신호대잡음비가 효율적으로 개선될 수 있다. 빈닝 기술에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
이와 같이, 본 발명의 제1 실시예에 따른 센서 어레이는 세트(330) 내에서 넓은 광 파장을 갖는 흑백 신호를 처리하는 세 개의 화이트 셀들(310)을 포함하기 때문에, 처리하는 흑백 신호의 신호대잡음비 값을 최대화할 수 있는 이점이 있다.
도 4는 본 발명의 제2 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 제2 실시예에 따른 센서 어레이는 흑백 신호를 처리하는 적어도 하나의 화이트 셀 및 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다(예컨대, 센서 어레이는 두 개 이상의 화이트 셀을 포함할 수 있음). 구체적으로, 센서 어레이는 두 개의 화이트 셀들(410) 및 두 개의 IR 셀들(420)로 세트(430)를 이루고, 세트(430)를 복수 개 구비함으로써, 형성될 수 있다. 여기서, 두 개의 화이트 셀들(410) 및 두 개의 IR 셀들(420)은 단일 평면에 배치될 수 있다. 마찬가지로, 복수 개의 세트(430) 역시 단일 평면에 배치될 수 있다.
따라서, 본 발명의 제2 실시예에 따른 센서 어레이는 RGB 셀을 포함하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 세트(430) 내에서 두 개의 화이트 셀들(410)을 포함하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
또한, 본 발명의 제2 실시예에 따른 센서 어레이는 세트(430) 내에서 두 개의 IR 셀들(420)을 포함하여 구성되기 때문에, 기존의 센서 어레이에 비해 IR 신호를 센싱하는 화소수를 늘릴 수 있다. 따라서, 처리하는 IR 신호의 신호대잡음비를 개선할 수 있다.
이 때, 두 개의 화이트 셀들(410)은 단일 평면에서 좌우 또는 상하로 서로 연결되도록 배치될 수 있고, 두 개의 IR 셀들(420) 역시 단일 평면에서 좌우 또는 상하로 서로 연결되도록 배치될 수 있다. 따라서, 두 개의 화이트 셀들(410)에서 흑백 신호를 처리하는 과정에 흑백 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 흑백 신호의 신호대잡음비가 효율적으로 개선될 수 있다. 또한, 두 개의 IR 셀들(420)에서 IR 신호를 처리하는 과정에 IR 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 IR 신호의 신호대잡음비가 효율적으로 개선될 수 있다.
도면에는 두 개의 화이트 셀들(410) 각각이 좌우로 서로 연결되도록 배치되고, 두 개의 IR 셀들(420) 각각이 좌우로 서로 연결되도록 배치된 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 두 개의 화이트 셀들(410) 각각이 상하 또는 대각선으로 서로 연결되도록 배치될 수 있고, 두 개의 IR 셀들(420) 각각이 상하 또는 대각선으로 서로 연결되도록 배치될 수도 있다.
이와 같이, 본 발명의 제2 실시예에 따른 센서 어레이는 세트(430) 내에서 두 개의 화이트 셀들(410) 및 두 개의 IR 셀들(420)을 포함하기 때문에, 흑백 신호를 처리하는 과정 및 IR 신호를 처리하는 과정 모두에서 빈닝 기술을 적용할 수 있는 이점이 있다.
도 5는 본 발명의 제3 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 제3 실시예에 따른 센서 어레이는 흑백 신호를 처리하는 적어도 하나의 화이트 셀 및 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다. 구체적으로, 센서 어레이는 한 개의 화이트 셀(510) 및 세 개의 IR 셀들(520)로 세트(530)를 이루고, 세트(530)를 복수 개 구비함으로써, 형성될 수 있다. 여기서, 한 개의 화이트 셀(510) 및 세 개의 IR 셀들(520)은 단일 평면에 배치될 수 있다. 마찬가지로, 복수 개의 세트(530) 역시 단일 평면에 배치될 수 있다.
따라서, 본 발명의 제3 실시예에 따른 센서 어레이는 RGB 셀을 포함하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 세트(530) 내에서 한 개의 화이트 셀 (510)을 포함하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
또한, 본 발명의 제3 실시예에 따른 센서 어레이는 세트(530) 내에서 세 개의 IR 셀들(520)을 포함하여 구성되기 때문에, 기존의 센서 어레이에 비해 IR 신호를 센싱하는 화소수를 늘릴 수 있다. 따라서, 처리하는 IR 신호의 신호대잡음비를 개선할 수 있다.
이 때, 세 개의 IR 셀들(520)은 단일 평면에서 좌우 또는 상하로 서로 연결되도록 배치될 수 있다. 따라서, 세 개의 IR 셀들(520)에서 IR 신호를 처리하는 과정에 IR 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 IR 신호의 신호대잡음비가 효율적으로 개선될 수 있다.
이와 같이, 본 발명의 제3 실시예에 따른 센서 어레이는 세트(530) 내에서 세 개의 IR 셀들(520)을 포함하기 때문에, IR 신호를 센싱하는 화소수를 증가시켜, 처리하는 IR 신호의 신호대잡음비 값을 최대화할 수 있는 이점이 있다. 이러한 센서 어레이는 IR 신호가 부족한 실내환경에서 최적화되어 사용될 수 있다.
도 6은 본 발명의 일실시예에 따른 센서 어레이를 이용한 피사체 인식 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라는 센서 어레이에 포함되는 적어도 하나의 화이트 셀에서 흑백 신호로 구성되는 이미지를 획득하기 위하여 흑백 신호를 처리한다(610). 이 때, 듀얼 애퍼처 카메라는 RGB 셀을 이용하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 적어도 하나의 화이트 셀을 이용하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
이어서, 듀얼 애퍼처 카메라는 센서 어레이에 포함되는 적어도 하나의 IR(infrared) 셀에서 IR 신호로 구성되는 이미지를 획득하기 위하여 IR 신호를 처리한다(620). 이 때, 듀얼 애퍼처 카메라는 센서 어레이에 포함되는 적어도 하나의 IR 셀의 개수를 증가시킴으로써, IR 신호를 센싱하는 수광부 면적을 넓힐 수 있다. 따라서, 듀얼 애퍼처 카메라는 처리하는 IR 신호의 신호대잡음비를 개선할 수 있다.
여기서, 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다. 또한, 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 적어도 하나의 화이트 셀은 서로 연결되도록 배치될 수 있고, 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 적어도 하나의 IR 셀은 서로 연결되도록 배치될 수 있다. 따라서, 듀얼 애퍼처 카메라는 흑백 신호를 처리하는 과정 또는 IR 신호를 처리하는 과정에 IR 신호를 전하레벨에서 더하는 빈닝 기술을 적용할 수 있다.
그 다음, 듀얼 애퍼처 카메라는 흑백 신호로 구성되는 이미지 및 IR 신호로 구성되는 이미지 각각에 포함되는 피사체에 대한 블러(blur) 변화에 기초하여 센서 어레이와 피사체 사이의 거리를 결정한다(630).
이 때, 듀얼 애퍼처 카메라는 센서 어레이와 피사체 사이의 거리를 결정하는 알고리즘으로 기존의 다양한 알고리즘을 이용할 수 있다. 예를 들어, 듀얼 애퍼처 카메라는 IR 신호로 구성되는 이미지에 대해 미리 정해진 처리를 통하여 복수의 블러 패치(blured patch)들을 획득하고, 획득된 복수의 블러 패치들 각각에 대해 흑백 신호로 구성되는 이미지와의 차이값을 계산함으로써, 복수의 차이값들 중 가장 에러가 작은 값을 센서 어레이와 피사체 사이의 거리로 결정할 수 있다.
그 후, 듀얼 애퍼처 카메라는 흑백 신호로 구성되는 이미지 또는 IR 신호로 구성되는 이미지 중 적어도 하나를 기초로, 센서 어레이와 피사체 사이의 거리를 이용하여 상기 피사체를 인식한다(640).
이와 같이 피사체를 인식하는 듀얼 애퍼처 카메라는 흑백 신호를 구성되는 이미지를 이용하기 때문에, RGB 이미지가 필요하지 않은 제스처 인식과 같은 용도로 이용될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor array)에 있어서,
    상기 멀티 애퍼처 카메라는 동일한 렌즈를 통하여 얻어지는 피사체에 대한 적어도 두 개의 이미지들 각각의 블러(blur) 변화에 기초하여 상기 피사체와 상기 센서 어레이 사이의 거리를 추정하며,
    상기 적어도 두 개의 이미지들은 흑백 신호에 대응하는 제1 이미지 및 IR(infrared) 신호에 대응하는 제2 이미지를 포함하고,
    상기 제1 이미지를 얻기 위하여 상기 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및
    상기 제2 이미지를 얻기 위하여 상기 IR 신호를 처리하는 적어도 하나의 IR 셀
    을 포함하는 센서 어레이.
  2. 제1항에 있어서,
    상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은
    단일 평면에 배치되고, 상기 적어도 하나의 화이트 셀은 복수 개인 센서 어레이.
  3. 제1항에 있어서,
    상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 화이트 셀은
    단일 평면에서 서로 연결되도록 배치되는 센서 어레이.
  4. 제1항에 있어서,
    상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 IR 셀은
    단일 평면에서 서로 연결되도록 배치되는 센서 어레이.
  5. 멀티 애퍼처 카메라(multi aperture camera)에 있어서,
    상기 멀티 애퍼처 카메라는 동일한 렌즈를 통하여 얻어지는 피사체에 대한 적어도 두 개의 이미지들 각각의 블러(blur) 변화에 기초하여 상기 피사체와 상기 멀티 애퍼처 카메라에 포함되는 센서 어레이(sensor array) 사이의 거리를 추정하며,
    상기 적어도 두 개의 이미지들은 흑백 신호에 대응하는 제1 이미지 및 IR(infrared) 신호에 대응하는 제2 이미지를 포함하고,
    상기 멀티 애퍼쳐 카메라는
    렌즈;
    상기 흑백 신호 또는 상기 IR 신호 중 적어도 하나의 유입량을 조절하는 렌즈 조리개;
    상기 IR 신호의 유입 파장을 조절하는 IR 컷 오프 필터; 및
    상기 흑백 신호 및 상기 IR 신호를 처리하는 센서 어레이
    를 포함하고,
    상기 센서 어레이는
    상기 제1 이미지를 얻기 위하여 상기 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및
    상기 제2 이미지를 얻기 위하여 상기 IR 신호를 처리하는 적어도 하나의 IR 셀
    을 포함하는 멀티 애퍼처 카메라.
  6. 제5항에 있어서,
    상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은
    단일 평면에 배치되는 멀티 애퍼처 카메라.
  7. 제5항에 있어서,
    상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 화이트 셀은
    단일 평면에서 서로 연결되도록 배치되는 멀티 애퍼처 카메라.
  8. 제5항에 있어서,
    상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 IR 셀은
    단일 평면에서 서로 연결되도록 배치되는 멀티 애퍼처 카메라.
  9. 멀티 애퍼처 카메라(multi aperture camera)에서 센서 어레이(sensor array)를 이용한 피사체 인식 방법에 있어서,
    상기 센서 어레이에 포함되는 적어도 하나의 화이트 셀에서 흑백 신호로 구성되는 이미지를 획득하기 위하여 상기 흑백 신호를 처리하는 단계;
    상기 센서 어레이에 포함되는 적어도 하나의 IR(infrared) 셀에서 IR 신호로 구성되는 이미지를 획득하기 위하여 상기 IR 신호를 처리하는 단계;
    상기 흑백 신호로 구성되는 이미지 및 상기 IR 신호로 구성되는 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur) 변화에 기초하여 상기 센서 어레이와 상기 피사체 사이의 거리를 결정하는 단계; 및
    상기 흑백 신호로 구성되는 이미지 또는 상기 IR 신호로 구성되는 이미지 중 적어도 하나를 기초로, 상기 센서 어레이와 상기 피사체 사이의 거리를 이용하여 상기 피사체를 인식하는 단계
    를 포함하는 피사체 인식 방법.
  10. 제9항에 있어서,
    상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은
    단일 평면에 배치되는 피사체 인식 방법.
KR1020140081893A 2014-07-01 2014-07-01 듀얼 애퍼처 카메라의 센서 어레이 KR101575964B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140081893A KR101575964B1 (ko) 2014-07-01 2014-07-01 듀얼 애퍼처 카메라의 센서 어레이
PCT/KR2015/006421 WO2016003106A2 (ko) 2014-07-01 2015-06-24 멀티 애퍼처 카메라의 센서 어레이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140081893A KR101575964B1 (ko) 2014-07-01 2014-07-01 듀얼 애퍼처 카메라의 센서 어레이

Publications (1)

Publication Number Publication Date
KR101575964B1 true KR101575964B1 (ko) 2015-12-11

Family

ID=55020059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140081893A KR101575964B1 (ko) 2014-07-01 2014-07-01 듀얼 애퍼처 카메라의 센서 어레이

Country Status (2)

Country Link
KR (1) KR101575964B1 (ko)
WO (1) WO2016003106A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684194B1 (ko) * 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
KR101764504B1 (ko) * 2015-12-15 2017-08-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 블러 채널을 적응적으로 선택하는 멀티 애퍼처 카메라 및 그 동작 방법
CN113366821A (zh) * 2018-12-21 2021-09-07 弗劳恩霍夫应用研究促进协会 具有用于产生深度图的多孔径成像设备的设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858034B1 (ko) * 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
JP2013503527A (ja) * 2009-08-25 2013-01-31 アイピーリンク・リミテッド カラー画像のノイズを低減すること

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858034B1 (ko) * 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
JP2013503527A (ja) * 2009-08-25 2013-01-31 アイピーリンク・リミテッド カラー画像のノイズを低減すること

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101764504B1 (ko) * 2015-12-15 2017-08-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 블러 채널을 적응적으로 선택하는 멀티 애퍼처 카메라 및 그 동작 방법
KR101684194B1 (ko) * 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
CN113366821A (zh) * 2018-12-21 2021-09-07 弗劳恩霍夫应用研究促进协会 具有用于产生深度图的多孔径成像设备的设备
CN113366821B (zh) * 2018-12-21 2024-03-08 弗劳恩霍夫应用研究促进协会 具有用于产生深度图的多孔径成像设备的设备

Also Published As

Publication number Publication date
WO2016003106A3 (ko) 2017-05-26
WO2016003106A2 (ko) 2016-01-07

Similar Documents

Publication Publication Date Title
US10043290B2 (en) Image processing to enhance distance calculation accuracy
CN108141571B (zh) 无掩模相位检测自动聚焦
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US9083877B2 (en) Image processing apparatus, focus detection apparatus, and non-transitory computer-readable storage medium
US20170374306A1 (en) Image sensor system with an automatic focus function
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US9633441B2 (en) Systems and methods for obtaining image depth information
CN110959285B (zh) 成像系统、成像方法和非瞬时性机器可读存储介质
TWI797514B (zh) 具有共享微透鏡及極化像素之影像感測器
KR20130038388A (ko) 이미지를 기록하기 위한 이미지 기록 장치 및 방법
US9787889B2 (en) Dynamic auto focus zones for auto focus pixel systems
CN103842877A (zh) 成像装置和合焦参数值计算方法
KR101575964B1 (ko) 듀얼 애퍼처 카메라의 센서 어레이
JP2012070215A (ja) ３次元撮像装置
US20150268392A1 (en) Filter-array-equipped microlens and solid-state imaging device
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
US9791599B2 (en) Image processing method and imaging device
KR20190051371A (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
US10580807B2 (en) Color pixel and range pixel combination unit
TWI792128B (zh) 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法
US10613417B2 (en) Multi-aperture camera system having auto focusing function and/or depth estimation function
KR101860646B1 (ko) 서브 픽셀 구조의 이미지 센서
KR102354298B1 (ko) Qbc 패턴에 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 4