KR20160085254A - 어레이 센서들을 이용하여 센서의 풀 해상도로 여러 유형들의 데이터를 측정하는 방법 - Google Patents
어레이 센서들을 이용하여 센서의 풀 해상도로 여러 유형들의 데이터를 측정하는 방법 Download PDFInfo
- Publication number
- KR20160085254A KR20160085254A KR1020167011617A KR20167011617A KR20160085254A KR 20160085254 A KR20160085254 A KR 20160085254A KR 1020167011617 A KR1020167011617 A KR 1020167011617A KR 20167011617 A KR20167011617 A KR 20167011617A KR 20160085254 A KR20160085254 A KR 20160085254A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- type
- light
- sensor array
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 72
- 230000033001 locomotion Effects 0.000 claims abstract description 28
- 239000002131 composite material Substances 0.000 claims description 52
- 238000003491 array Methods 0.000 claims description 50
- 230000015654 memory Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000011664 signaling Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 55
- 238000005259 measurement Methods 0.000 description 38
- 238000013459 approach Methods 0.000 description 36
- 238000003860 storage Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 11
- 238000004566 IR spectroscopy Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000005055 memory storage Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005428 wave function Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H04N5/2259—
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14607—Geometry of the photosensitive area
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14632—Wafer-level processed structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H04N5/332—
-
- H04N9/045—
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
액추에이터는 센서 어레이의 풀 해상도로 칼라 이미지 데이터 및 다른 데이터를 제공하기 위해 센서 어레이를 제1 위치와 제2 위치 간에 이동시키도록 구성된다. 많은 실시예들에서, 각각의 유형의 데이터에 대한 센서 어레이의 출력 해상도는 이동이 없는 센서 어레이의 해상도의 두 배를 포함한다. 제1 위치와 제2 위치 간의 센서 어레이의 교호적인 이동은, 만약 센서 어레이의 이러한 교호적인 이동이 없었다면 존재했었을 인공물(artifact)이 감소된 출력 이미지들을 제공한다.
Description
본 출원은 2014년 6월 17일에 출원된 미국 출원 제14/306,844호; 2013년 10월 4일에 출원된 미국 출원 제61/961,031호; 2013년 10월 25일에 출원된 미국 출원 제61/961,821호; 및 2014년 1월 9일에 출원된 미국 출원 제61/925,339호의 우선권의 이익을 청구하며, 이 특허 출원들의 전체 개시내용들은 참조로서 본 명세서 내에 병합된다.
센서들은 데이터의 값들을 측정하는 디바이스들이다. 데이터는 속도 벡터를 측정하는 것과 같이, 단일 센서를 통해 단일값으로서 측정될 수 있거나, 또는 일정한 장면에서 일정한 대역 또는 스펙트럼 내에 속하거나 또는 자기 공명 이미징(magnetic resonance imaging; MRI)과 같은 객체에 대한 일정한 자극(stimulus)의 결과로서 방출되는 광의 세기를 측정하는 것과 같이, 복수의 데이터 측정치들의 형태로 측정될 수 있다.
센서들은 단일 차원 또는 이차원 어레이의 형태로 있을 수 있다. 이차원 어레이 센서들은 복수의 "소형" 측정 영역들, 또는 "마이크로센서들"을 갖는다. 종래에, 이차원 마이크로센서 어레이는 일정한 유형의 측정에 민감하도록 제조되는데, 즉 이 어레이는 단일 유형의 데이터를 측정하도록 제조된다. 복수의 마이크로센서들로부터 형성된 센서 어레이들의 예시는 일상적인 카메라이다. 카메라들은 가시광에 민감한, 픽셀들이라고 불리우는 마이크로센서들을 포함하는데, 즉, 각각의 마이크로센서는 자신의 표면 상에 낙하하는 광의 세기를 측정한다. 각각의 마이크로센서(또는 픽셀)는 입사광을 수집하고 이 입사광을 해당 광의 세기의 함수인 전기 신호로 변환시키는 것을 담당하는 광전 영역을 갖는다. 그러므로, 광이 마이크로센서들 각각에 낙하할 때, 광은 아날로그 값으로서 판독되는 전기 신호로 변환된다. 값이 판독될 마이크로센서의 선택은 마이크로센서들에 연결된 행과 열을 선택하는 디코딩 회로를 이용함으로써 행해진다. 값은 증폭되어, 디지털 값으로 변환되고, 상이한 애플리케이션들에서 활용될 수 있도록, 디지털 컴퓨팅 및 프로세싱 시스템에서의 후속 사용을 위해 메모리 내에 저장된다.
픽셀들의 어레이는 매 픽셀마다 하나씩, 상이한 광 통과 필터들을 배치함으로써 상이한 색상들에 민감해질 수 있다. 예를 들어, 하나의 필터는 녹색 스펙트럼의 광을 통과시키고, 다른 필터는 적색 스펙트럼의 광을 통과시키며, 세번째 것은 청색 스펙트럼의 광을 통과시킨다. (가시 스펙트럼) 카메라들에서 이용되는 이차원 센서 어레이를 위한 통상적으로 이용되는 마이크로센서(픽셀) 레이아웃은 베이어 패턴(Bayer pattern)이다.
두가지의 상이한 유형의 데이터를 측정하는 것은 두가지의 철학체계들로 명확히 분류될 수 있는데, 그 첫번째는, 매 측정마다 개별적인 센서를 사용하는 단순 접근법으로서, 하나의 센서는 가시 이미지들을 포획하는 것이며, 다른 하나의 센서는 (깊이 연산을 위해 이용될) 적외선 데이터를 포획하는 것이다. 두번째 접근법은 가시광을 측정하는 픽셀들과 적외선을 측정하는 픽셀들간의 혼합을 이용하는 것이다. 첫번째 접근법은 개별적인 센서를 활용한다는 단점을 갖는다. 두번째 접근법은 두가지 주요 결함들을 갖는다. 첫번째로, 픽셀 어레이는 상이한 유형들의 마이크로센서들에 의해 공유되는 공간을 갖기 때문에 이 양자의 측정들의 해상도의 손실을 갖는다. 두번째로, 깊이의 마이크로센서가 가시광의 마이크로센서들 "아래에" 배치되는 경우, 가시 이미지의 이미지 퀄리티의 상당한 저하가 발생할 수 있다.
이러한 요구들 및 다른 요구들은 본 개시내용의 다양한 양태들, 실시예들, 및/또는 구성들에 의해 해결된다.
본 개시내용은 여러 유형들의 데이터를 캡처할 수 있는 이미지 프로세싱 시스템에 관한 것이다. 본 개시내용의 교시는 광감지 디바이스들을 위해 활용된 전하 결합 디바이스(charge coupled device; CCD) 및 상보적 금속 산화물 반도체(complementary metal-oxide-semiconductor; CMOS) 기술들에 적용된다. 많은 실시예들에서, 액추에이터는 센서 어레이의 풀 해상도로 칼라 이미지 데이터 및 다른 데이터를 제공하기 위해 센서 어레이를 제1 위치와 제2 위치 간에 이동시키도록 구성된다. 많은 실시예들에서, 각각의 유형의 데이터에 대한 센서 어레이의 출력 해상도는 이동이 없는 센서 어레이의 해상도의 두 배를 포함한다. 제1 위치와 제2 위치 간의 센서 어레이의 교호적인 이동은, 만약 센서 어레이의 이러한 교호적인 이동이 없었다면 존재했었을 인공물(artifact)이 감소된 출력 이미지들을 제공한다.
하나의 양태에서, (a) 베이어 패턴 데이터를 감지하기 위한 제1 복수의 인접한 선형 어레이들의 쌍들, 및 상이한 유형의 데이터를 감지하기 위해 제1 복수의 인접한 선형 어레이들의 쌍들 사이에 위치한, 상이한 패턴들을 갖는 제2 복수의 인접한 선형 어레이들의 쌍들 상에 배치된 복수의 베이어 패턴들을 포함한 센서 어레이; (b) 제1 위치로부터 제2 위치로 센서 어레이를 이동시키기 위한 액추에이터 - 제1 복수의 인접한 선형 어레이들의 쌍들의 물리적 위치들은 제2 복수의 인접한 선형 어레이들의 쌍들의 물리적 위치들과 교호함 -; 및 (c) 제1 위치와 제2 위치 각각으로부터 베이어 패턴 데이터 및 상이한 유형의 데이터를 출력하기 위해 액추에이터와 센서 어레이에 결합된 회로를 포함한 장치가 개시된다. 몇몇의 실시예들에서, 베이어 패턴 데이터의 각각의 픽셀은 제1 위치 또는 제2 위치와 연관되어 출력되며, 상이한 유형의 데이터의 각각의 픽셀은 제1 위치 또는 제2 위치와 연관되어 출력된다.
몇몇의 실시예들에서, 상이한 패턴은 적외선 필터 패턴, 자외선 필터 패턴, 넌 베이어(non-Bayer) 가시광 필터 패턴, 또는 필터를 포함하지 않는 패턴 중 하나 이상을 포함한다.
몇몇의 실시예들에서, 제1 복수의 인접한 선형 어레이들의 쌍들의 각각의 쌍들은 두 개의 인접한 쌍들을 포함하고, 제2 복수의 인접한 선형 어레이들의 쌍들 각각은 두 개의 인접한 선형 어레이들의 쌍들을 포함한다.
몇몇의 실시예들에서, 제1 복수의 인접한 선형 어레이들의 쌍들 각각은 세 개 이상의 인접한 선형 어레이들의 쌍들을 포함하고, 제2 복수의 인접한 선형 어레이들의 쌍들 각각은 세 개 이상의 인접한 선형 어레이들의 쌍들을 포함한다.
몇몇의 실시예들에서, 본 장치는 센서 어레이가 제1 위치에 위치해 있을 때를 시그널링하기 위한 제1 제한 스위치와 센서 어레이가 제2 위치에 위치해 있을 때를 시그널링하기 위한 제2 제한 스위치를 더 포함하고, 상기 회로는 센서 어레이가 제1 위치로 이동 중에 있다는 것을 제1 제한 스위치가 감지한 것에 응답하여 제1 위치에서 센서 어레이의 제1 복합 데이터를 통합시키고, 센서 어레이가 제2 위치로 이동 중에 있다는 것을 제2 제한 스위치가 감지한 것에 응답하여 센서 어레이의 제2 복합 데이터를 통합시키도록 구성된다.
몇몇의 실시예들에서, 본 장치 내의 회로는 제1 복합 데이터와 제2 복합 데이터로부터 베이어 패턴 데이터를 생성하고, 제1 복합 데이터와 제2 복합 데이터로부터 상이한 유형의 데이터를 생성하도록 구성된다.
몇몇의 응용예들에서, 본 회로는 센서 어레이를 제1 위치로 이동시켜서 제1 위치에서 센서 어레이의 제1 데이터를 측정하며, 센서 어레이를 제2 위치로 이동시켜서 제2 위치에서 센서 어레이의 제2 데이터를 측정하기 위한 명령어들을 포함하고, 프로세서는 베이어 패턴을 갖는 제1 복수의 인접한 선형 어레이들의 쌍들로부터 제1 풀 프레임 이미지를 제공하며, 상이한 패턴을 갖는 제2 복수의 인접한 선형 어레이들의 쌍들로부터 제2 풀 프레임 이미지를 출력하기 위한 명령어들을 더 포함하고, 센서는 복수의 픽셀들을 포함하며, 제1 풀 프레임 이미지와 제2 풀 프레임 이미지 각각은 센서 어레이의 복수의 픽셀들을 포함한다.
어떤 실시예들에서, 본 장치 내의 액추에이터는 마이크로 전기 기계 시스템(micro-electrical mechanical system)을 포함한다.
몇몇의 응용예들에서, 복수의 베이어 패턴들 각각은 적색광을 감지하기 위한 적색 픽셀, 청색광을 감지하기 위한 청색 픽셀, 및 녹색광을 감지하기 위한 대각 녹색 픽셀들의 쌍을 포함한다. 추가적으로, 제4 센서는 적외선 전기자기파를 감지하고/감지하거나, 회로는 게이트의 이동을 제어하도록 이동가능 게이트에 결합된다.
몇몇의 실시예들에서, 본 장치는 센서 어레이들로부터 생성된 출력을 저장하기 위한 디지털 데이터 저장장치를 더 포함한다.
어떤 실시예들에서, 본 장치는, 출력을 디지털 데이터 저장장치에 전송시키는 것, 이미지 취득의 타이밍, 어레이들의 이동, 회로를 구성하는 것, 이미지 정보를 구성하는 것, 및 이미지들을 생성하는 것 중 하나 이상을 제어하기 위한 디지털 신호 프로세서를 더 포함한다.
본 발명의 신규한 특징들은 첨부된 특허청구범위에서 구체적으로 진술된다. 본 발명의 특징들 및 이점들의 더 나은 이해는, 본 발명의 원리들이 활용되는 예시적인 실시예들을 진술하는 아래의 상세한 설명, 및 첨부 도면들을 참조함으로써 얻어질 것이다.
도 1은 실시예들에 따른, 마이크로센서 어레이를 도시하며, 이 경우, 마이크로센서들의 어레이는, 기하학적 레이아웃, 즉 두 개의 유형들의 마이크로센서들의 동등한 인터레이싱(interlacing)을 갖는 직사각형 이차원 어레이로 배열된다.
도 2는 실시예들에 따른, 마이크로센서 어레이의 일부분을 도시하며, 이 경우, 마이크로센서들의 어레이의 일부분은 감광성 영역을 갖는다.
도 3은 실시예들에 따른, CMOS 마이크로센서 어레이의 예시적인 구현을 도시한다.
도 4는 실시예들에 따른, 마이크로센서 어레이를 도시한다.
도 5는 실시예들에 따른, 마이크로렌즈 단면을 도시한다.
도 6은 실시예들에 따른, 칼라 필터 및 적외선 배척 및 통과를 도시하는 파장(nm)(수평축) 대비 투과도(수직축)의 그래프이다.
도 7은 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 8은 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 9는 실시예들에 따른, 네 개의 픽셀 배열을 도시한다.
도 10은 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 11은 실시예들에 따른, 칼라 필터들의 레이아웃을 도시한다.
도 12는 실시예들에 따른, 가시광 민감 픽셀 및 적외선 민감 픽셀의 인터레이싱된 행을 도시한다.
도 13은 실시예들에 따라, MEMS에 의한 이동 전후의, 본 개시내용에 따른 가시광 민감 픽셀 및 적외선 민감 픽셀의 인터레이싱된 행을 도시한다.
도 14는 실시예들에 따른, 메모리 내에 센서 어레이 데이터를 기록하는 방법을 도시한다.
도 15는 실시예들에 따른, 메모리 내에 센서 어레이 데이터를 기록하는 방법을 도시한다.
도 16은 실시예들에 따른, 메모리 내에 센서 어레이 데이터를 기록하는 방법을 도시한다.
도 17은 실시예들에 따른, 광 필터링 게이트를 도시한다.
도 18은 실시예들에 따른, 광 필터링 게이트들을 도시한다.
도 19는 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 1은 실시예들에 따른, 마이크로센서 어레이를 도시하며, 이 경우, 마이크로센서들의 어레이는, 기하학적 레이아웃, 즉 두 개의 유형들의 마이크로센서들의 동등한 인터레이싱(interlacing)을 갖는 직사각형 이차원 어레이로 배열된다.
도 2는 실시예들에 따른, 마이크로센서 어레이의 일부분을 도시하며, 이 경우, 마이크로센서들의 어레이의 일부분은 감광성 영역을 갖는다.
도 3은 실시예들에 따른, CMOS 마이크로센서 어레이의 예시적인 구현을 도시한다.
도 4는 실시예들에 따른, 마이크로센서 어레이를 도시한다.
도 5는 실시예들에 따른, 마이크로렌즈 단면을 도시한다.
도 6은 실시예들에 따른, 칼라 필터 및 적외선 배척 및 통과를 도시하는 파장(nm)(수평축) 대비 투과도(수직축)의 그래프이다.
도 7은 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 8은 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 9는 실시예들에 따른, 네 개의 픽셀 배열을 도시한다.
도 10은 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
도 11은 실시예들에 따른, 칼라 필터들의 레이아웃을 도시한다.
도 12는 실시예들에 따른, 가시광 민감 픽셀 및 적외선 민감 픽셀의 인터레이싱된 행을 도시한다.
도 13은 실시예들에 따라, MEMS에 의한 이동 전후의, 본 개시내용에 따른 가시광 민감 픽셀 및 적외선 민감 픽셀의 인터레이싱된 행을 도시한다.
도 14는 실시예들에 따른, 메모리 내에 센서 어레이 데이터를 기록하는 방법을 도시한다.
도 15는 실시예들에 따른, 메모리 내에 센서 어레이 데이터를 기록하는 방법을 도시한다.
도 16은 실시예들에 따른, 메모리 내에 센서 어레이 데이터를 기록하는 방법을 도시한다.
도 17은 실시예들에 따른, 광 필터링 게이트를 도시한다.
도 18은 실시예들에 따른, 광 필터링 게이트들을 도시한다.
도 19는 실시예들에 따른, 이미지 프로세싱 시스템을 도시한다.
몇몇의 실시예들에서, 여기서 설명되는 장치들, 디바이스들, 및 시스템들은, (a) 제1 유형의 데이터와 제2 유형의 데이터를 감지하도록 동작가능한 센서 어레이(제1 및 제2 유형들의 데이터는 상이함); 및 (b) (i) 공통 위치에서, 센서 어레이의 상이한 센서들이 제1 및 제2 유형의 데이터의 상이한 데이터들을 캡처하도록 하기 위한 센서 어레이와, (ii) 필터의 위치에 따라 제1 유형 또는 제2 유형의 데이터를 선택된 센서가 캡처할 수 있도록 센서 어레이의 센서들 중 적어도 하나의 센서 위에 위치한 필터 중 적어도 하나를 이동시키기 위한 마이크로 전기기계 시스템(micro-electrical mechanical system; MEMS)을 포함한다. 몇몇의 실시예들에서, 제1 동작 모드에서, 제1 복합 프레임이 센서 어레이에 의해 캡처되며, 제2 동작 모드에서, 제2 복합 프레임이 센서 어레이에 의해 캡처될 수 있다. 제1 및 제2 복합 프레임들 각각은 제1 및 제2 유형의 데이터를 포함한다. 몇몇의 실시예들에서, 제1 및 제2 복합 프레임들은 제1 유형의 데이터만을 포함하는 제1 프레임과 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할될 수 있다. 추가적인 실시예들에서, 제1 및 제2 프레임들은 상이한 개별적인 컴퓨터 판독가능 매체 내에 저장된다. 대안적으로, 제1 및 제2 프레임들은 상이한 비중첩 메모리 위치들에 저장된다.
몇몇의 실시예들에서, 제1 유형의 데이터는 가시광이며(예컨대, 적색광, 청색광, 및 녹색광 중 하나 이상), 제2 유형의 데이터는 적외선광일 수 있다. 센서 어레이는 제1 유형의 데이터를 감지하기 위한 제1 세트의 센서들과 제2 유형의 데이터를 감지하기 위한 제2 세트의 센서들을 포함한다. 바람직하게, 제1 세트의 센서들은 제2 세트의 센서들과는 상이한 멤버쉽을 갖는다. 몇몇의 실시예들에서, MEMS는, 제1 및 제2 프레임들을 각각 수집하기 위해, 센서 어레이를 제1 위치에서 제2 위치로 이동시킨다. 제1 세트의 센서들과 제2 세트의 센서들은 행(row) 단위로 및/또는 열(column) 단위로 서로 인터레이싱될 수 있다. MEMS에 의한 센서 어레이의 이동의 거리 및 방향은 일반적으로, 활용된 인터레이싱의 유형의 함수이다.
몇몇의 실시예들에서, 선택된 센서가 필터의 위치에 의존하여 제1 유형의 데이터 또는 제2 유형의 데이터를 캡처할 수 있도록 MEMS는 센서들 중 적어도 하나의 센서 위에 위치한 필터를 이동시킨다. 제1 유형의 데이터는 일반적으로, 적색광, 청색광, 및 녹색광 중 하나 이상이며, 제2 유형의 데이터는 일반적으로, 적외선광이다. 몇몇의 실시예들에서, 필터는 실질적으로, (i) 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하거나, 또는 (ii) 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단한다. 제1 동작 모드에서, MEMS는 광이 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 필터를 상기 선택된 센서 위에 위치시키고, 제2 동작 모드에서, MEMS는 필터링되지 않은 광이 선택된 센서와 접촉하도록 필터를 상기 선택된 센서로부터 제거시킨다.
몇몇의 실시예들에서, 다중 필터들이 이용된다. 제1 필터는 실질적으로, 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하고, 제2 필터는 실질적으로, 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단할 수 있다. 제1 동작 모드에서, MEMS는 광이 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 제2 필터가 아닌, 제1 필터를 상기 선택된 센서 위에 위치시키고, 제2 동작 모드에서, MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 제1 필터가 아닌, 제2 필터를 상기 선택된 센서 위에 위치시킨다.
몇몇의 실시예들에서, 마이크로센서 어레이는 후속 프로세싱을 위해 데이터를 판독하고 이것을 디지털 저장장치(메모리) 내에 저장하는 전형적인 디지털 시스템에 인터페이싱되며, 전반적인 동작은 마이크로프로세서(CPU)의 제어하에 있다.
본 개시내용은 특정 양태, 실시예, 및/또는 구성에 의존하여 여러 장점들을 제공할 수 있다. 이미지 프로세싱 시스템은 센서 어레이가 마이크로센서의 풀 해상도로 하나보다 많은 유형의 데이터에 민감해지도록 하는 데에 적용될 수 있다. 풀 해상도란 매 픽셀이 착신 데이터의 측정에서 이용되는 것을 의미한다.
일정한 정의들
"적어도 하나", "하나 이상", 및 "및/또는"의 어구들은 연산시 접속적이고 이접적인 개방형 표현들이다. 예를 들어, "A, B 및 C 중 적어도 하나", "A, B, 또는 C 중 적어도 하나", "A, B, 및 C 중 하나 이상", "A, B, 또는 C 중 하나 이상", 및 "A, B, 및/또는 C"의 표현들 각각은 A 단독, B 단독, C 단독, A와 B 둘 다, A와 C 둘 다, B와 C 둘 다, 또는 A, B 및 C 모두를 의미한다.
단수 형태의 개체 용어는 해당 개체의 하나 이상을 가리킨다. 때문에, 단수 형태, "하나 이상", 및 "적어도 하나"의 용어들은 여기서 상호교환적으로 이용될 수 있다. 또한, "포함하다", "구비하다" 및 "갖는다"의 용어들이 상호교환적으로 이용될 수 있다는 것을 유념한다.
여기서 이용되는 "자동적"의 용어와 그 변형체들은 프로세스 또는 동작이 수행될 때 물질적인 휴먼 입력 없이 임의의 프로세스 또는 동작이 행해지는 것을 가리킨다. 하지만, 입력이 프로세스 또는 동작의 수행 전에 수신되면, 프로세스 또는 동작의 수행이 물질적 또는 비물질적 휴먼 입력을 이용한다 하더라도, 프로세스 또는 동작은 자동적일 수 있다. 휴먼 입력이 프로세스 또는 동작이 수행될 방법에 영향을 미치는 경우에는 이러한 입력은 물질적인 것으로 간주된다. 프로세스 또는 동작의 수행에 동의하는 휴먼 입력은 "물질적"인 것으로 간주되지 않는다.
여기서 이용되는 "컴퓨터 판독가능 매체"의 용어는 실행용 프로세서에게 명령어들을 제공하는 것에 관여하는 임의의 저장 및/또는 전송 매체를 가리킨다. 이러한 매체는 통상적으로 유형적이고 비일시적이며, 비제한적인 예로서, 비휘발성 매체, 휘발성 매체, 및 전송 매체를 비롯하여 많은 형태들을 취할 수 있으며, 비제한적인 예시로서, 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM") 등을 포함한다. 비휘발 매체는, 예컨대, NVRAM 또는 자기 디스크 또는 광학 디스크를 포함한다. 휘발성 매체는 주 메모리와 같은 동적 메모리를 포함한다. 컴퓨터 판독가능 매체의 통상적인 형태들은, 예컨대 플로피 디스크(비제한적인 예시로서, 베르누이 카트리지, ZIP 드라이브, 및 JAZ 드라이브를 포함함), 가요성 디스크, 하드 디스크, 자기 테이프 또는 카세트, 또는 임의의 다른 자기 매체, 광자기 매체, (CD-ROM과 같은) 디지털 비디오 디스크, 임의의 다른 광학 매체, 천공 카드, 종이 테이프, 구멍 패턴을 지닌 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 메모리 카드와 같은 고체 상태 매체, 임의의 다른 메모리 칩 또는 카트리지, 후술하는 반송파, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다. 이메일로의 디지털 파일 첨부 또는 다른 자체 함유 정보 아카이브 또는 아카이브들의 세트는 유형적 저장 매체에 등가적인 분배 매체로서 간주된다. 컴퓨터 판독가능 매체가 데이터베이스로서 구성되면, 데이터베이스는 관계형, 계층형, 객체 지향형 등과 같은 임의의 유형의 데이터베이스일 수 있다. 이에 따라, 본 개시내용은, 본 개시내용의 소프트웨어 구현체들이 저장되는, 유형적 저장 매체 또는 분배 매체 및 기존에 알려진 등가물들 및 후속 매체를 포함하는 것으로 간주된다. 컴퓨터 판독가능 저장 매체는 통상적으로 일시적 저장 매체, 특히, 전기적, 자기적, 전자기적, 광학적, 광자기적 신호들을 포함한다.
여기서 이용되는 "결정하다", "산출하다" 및 "계산하다"의 용어들과 이들의 변형체들은 상호교환적으로 이용되며, 임의의 유형의 방법론, 프로세스, 수학적 연산 또는 기술을 포함한다.
여기서 이용되는 "수단"의 용어는 35 U.S.C., 섹션 112, 단락 6에 따라 가능한 최광의 해석이 주어져야 한다. 이에 따라, "수단"의 용어를 포함한 청구범위는 여기서 진술된 모든 구조물들, 물질들, 또는 작용들, 및 이들의 모든 등가물들을 커버한다. 더 나아가, 구조물들, 물질들, 또는 작용들, 및 이들의 등가물들은 본 발명의 요약, 도면의 간략한 설명, 상세한 설명, 및 요약서, 및 청구범위들에 기술된 것들 모두를 포함한다.
여기서 이용된 "모듈"의 용어는 임의의 알려져 있거나 또는 나중에 개발될 하드웨어, 소프트웨어, 펌웨어, 인공지능, 퍼지 논리, 또는 해당 엘리먼트와 연관된 기능을 수행할 수 있는 소프트웨어와 하드웨어의 조합을 가리킨다.
진술된 것은 본 개시내용의 몇몇의 양태들의 이해를 제공하기 위한 본 개시내용의 간략화된 요약이다. 이 요약은 본 개시내용 및 그 다양한 양태들, 실시예들, 및/또는 구성들의 포괄적 개관도 아니고 망라적 개관도 아니다. 이 요약은 본 개시내용의 핵심적이거나 중요한 엘리먼트들을 식별시키기 위한 것도 아니고 본 개시내용의 범위의 윤곽을 그리기 위한 것도 아니며, 단지 아래에 제공되는 보다 상세한 설명에 대한 소개로서의 단순화된 형태로 본 개시내용의 선택된 개념들을 제공하도록 의도된 것이다. 이해할 바와 같이, 위에서 진술되거나 또는 아래에서 자세하게 설명되는 하나 이상의 특징들을 단독으로 또는 조합으로 활용함으로써 본 개시내용의 다른 양태들, 실시예들, 및/또는 구성들이 가능하다. 또한, 본 개시내용은 예시적인 실시예들로 제공되지만, 본 개시내용의 개별적인 양태들은 별개로 청구될 수 있다는 것을 이해해야 한다.
이미지 프로세싱 시스템
몇몇의 실시예들에서, 여기서 설명되는 장치들, 디바이스들, 및 시스템들은 이미지 프로세싱 시스템, 또는 그 이용을 포함한다. 이미지 프로세싱 시스템은 하나보다 많은 유형의 측정치를 측정할 수 있는 센서 어레이를 포함한다. 이러한 능력은 많은 상이한 기술들에 의해 실현된다. 다양한 실시예들에서, 센서 어레이는 마이크로 전기 기계 시스템(micro-electromechanical system; MEMS)과 결합된 하나보다 많은 유형의 마이크로센서를 포함하며, 이 MEMS는 이 센서가 마치 단일 유형의 마이크로센서들로 형성된 것 처럼 데이터를 취득하도록 해준다. 몇몇의 실시예들에서, MEMS는 센서 어레이 전체를 이동시키며, 다른 실시예들에서, MEMS는 센서 어레이의 하나 이상의 엘리먼트들을 이동시킨다. 엘리먼트들은 하나 이상의 선택된 센서들 및/또는 하나 이상의 선택된 센서들 위(또는 어레이 전체 위)에 위치한 하나 이상의 광 필터들을 포함한다. 이러한 이미지 프로세싱 시스템의 기계적 부분들의 이동은 일반적으로 센서 어레이에서의 상이한 유형들의 마이크로센서들의 레이아웃의 함수이다. 여기서 이용되는 센서와 마이크로센서는 상호교환적으로 이용된다.
도 1을 참조하면, 복수의 마이크로센서들 또는 마이크로센서들의 어레이는 직사각형 레이아웃의 형태로 어레이되지만, 임의의 기하학적 패턴이 이용될 수 있다. 제1 세트의 마이크로센서들(1과 2로 라벨표시됨)은 일정한 유형의 데이터에 민감한데, 예컨대, 데이터가 광학적이면, 일정한 파장의 광에 민감한 반면, 다른 제2 세트의 마이크로센서들은 다른 유형의 데이터, 또는 다른 대역의 광에 민감하다. 이 실시예는 어떤 유형의 데이터를 복수의 마이크로센서들이 측정하는지에 의존하지 않는다. 본 개념은 통상적으로 하나의 유형의 데이터를 측정하였던 임의의 마이크로센서들의 어레이에 적용될 수 있다. 이 어레이에 다른 유형의 마이크로센서들을 추가함으로써, 마이크로센서 어레이는 다른 유형의 데이터를 측정할 수 있다. 이해될 바와 같이, 두 개 보다 많은 상이한 유형들의 데이터를 측정하기 위해 두 개보다 많은 유형들의 마이크로센서들이 임의의 어레이에 추가될 수 있다.
도 1을 계속해서 참조하면, 어레이는 어레이의 폭을 따라 일정 수의 마이크로센서들, 즉 W개의 마이크로센서들과, 어레이의 높이를 따라 일정 수의 마이크로센서들, 즉 H개의 마이크로센서들을 갖고, 마이크로센서들은 수평 및 수직 방향들 모두에서 두 개의 마이크로센서들의 피치(도 1에서 도시된 바와 같이, "수평 피치"와 "수직 피치"로 라벨표시됨)로 인터레이싱되어 있다. 이러한 W 및 H 치수들과 피치는 마이크로센서 어레이가 어느 쪽의 측정의 해상도도 희생시키지 않고서 양쪽 유형들의 측정치들을 측정할 수 있도록 하기 위해 마이크로 전기기계 시스템이 행사해야 하는 이동의 방향과 크기를 정의한다. 달리 말하면, 각각의 유형의 데이터를 측정하는 마이크로센서들의 개수는 마이크로센서들의 전체 개수(WxH)이다.
마이크로센서들의 어레이
도 2에서는 어레이의 일반적인 설명이 도시된다. 도 2는 마이크로센서들의 개념과, 이차원 어레이의 형태의 마이크로센서들의 배열을 보여준다. 도 2는 제1, 제2, 제3, 및 제4 마이크로센서들로 형성된 해당 어레이의 일부분을 보여준다. 제1, 제2, 제3, 및 제4 마이크로센서들 각각은 그리드 라인들에 의해 정의된 특정 높이와 폭을 갖는다. 이 영역의 일부분은 광을 전기로 변환시키는 특정 부분이며, 이 영역은 4a와 4b로 라벨표시된다. 이 영역과 마이크로센서의 영역(폭 곱하기 높이) 사이의 비를 마이크로센서의 필 팩터(fill factor)(픽셀 필 팩터)라고 부른다. 그러므로, 광이 이러한 마이크로센서들 각각에 낙하할 때, 광은 아날로그 값으로서 독출되는 전기 신호로 변환된다. 값이 독출될 마이크로센서의 선택은 이 마이크로센서의 회로가 연결되어 있는 행(5로 라벨표시됨)과 열(6으로 라벨표시됨)을 선택함으로써 행해진다. 이 값은 증폭기를 통해 증폭되어, 디지털 값으로 변환되고, 디지털 컴퓨팅 및 프로세싱 시스템(미도시됨)에서의 후속 사용을 위해 메모리 내에 저장된다.
본 개시내용의 교시는 CCD 또는 CMOS로서 구성된 센서 어레이에 똑같이 적용되며, 이에 따라, 이 회로의 설계는 본 개시내용에서 설명된 실시예들에 아무런 영향도 끼치지 않는다. 이해될 바와 같이, 감광성 센서 어레이들을 제조하기 위한 두 개의 주요 접근법들은 전하 결합 디바이스(Charged-Coupled Device; CCD) 또는 상보형 금속 산화물 실리콘(Complementary Metal Oxide Silicon; CMOS)이다. 픽셀에 대한 액세스는 양자의 경우 상이하다. CCD의 경우, 전하가 마이크로센서의 회로 엘리먼트들 내에 저장되어 이웃 픽셀에 완전히 "결합"되고, 그 후 이 전하는 그 이웃 픽셀로 이동하며, 이러한 것을 전체 행이 독출될 때 까지 계속함으로써 결과적인 전압이 초래되는데, 이렇기 때문에 전하 결합 디바이스(CCD)의 이름이 붙여진 것이다. CCD에서, 픽셀들은 순차적으로 독출되며 무작의적인 순서로 판독될 수는 없다. 이와는 대조적으로, CMOS에서는, 픽셀의 행과 열을 선택하고 해당 픽셀의 전압값을 판독함으로써 임의의 픽셀이 무작의적으로 액세스될 수 있다.
CMOS 센서의 경우, 이러한 마이크로센서들 각각을 구성하는 회로의 실시예가 도 3에 도시되어 있다. 광이 감광성 엘리먼트 상에 낙하하는 경우, 감광성 엘리먼트는 마이크로센서 상에 낙하하는 광 신호를 전기 전압으로 변환시키는 것을 담당하며, 본 회로에서 펼쳐져 있는 이 감광성 엘리먼트의 크기는 픽셀의 필 팩터를 정의하는 것이다. 이 특정 마이크로센서(픽셀)의 ROW와 COLUMN(COL)이 선택되면, 이 전압의 값이 독출된다. ROW와 COL은 행 디코더와 열 디코더(이것들은 전체적인 어레이 센서의 블록들을 구축한다)라고 불리우는 외부 회로를 통해 선택된다. 전기 전하의 값의 독출 메카니즘은 센서가 CCD인지 또는 CMOS인지에 의존한다. 독출 메카니즘은 본 개시내용의 실시예들에 대해 어떠한 암시나 제한도 갖지 않는다.
CMOS 센서들은 이미징 분야에서 CCD의 센서들을 대체하고 있기 때문에, 이제부터는 CMOS 센서들에 대한 독출을 설명할 것이다. ROW 라인(10)과 COL 라인(11)이 어레이를 작동시키는 외부 디지털 회로에 의해 활성화된 때 이 특정 유형의 마이크로센서의 전기 전하가 독출된다. 외부 디지털 회로는 행 디코더와 열 디코더라고 불리운다. 마이크로센서의 특정 ROW와 COL의 활성화는 다이오드에 의해 수집된 전하가 엘리먼트(Msel)(9)를 통해 독출되도록 해준다. 마이크로센서는 다음 측정을 위한 준비를 위해 RST 신호(12)를 통해 리셋된다.
마이크로센서들, 특히 광학 장치들이 광학(광) 데이터를 수집하는 것을 지원해주는 지원 툴들이 있다. 이러한 지원 툴들의 예시들에는, 렌즈 어셈블리, 마이크로렌즈들, 및 일정 유형들의 파장들을 차단시키고 일정 유형들의 파장들을 통과시키는 광학 필터들이 포함된다. 이러한 필터들은 마이크로센서가 하나의 유형의 데이터 또는 다른 데이터를 측정할 수 있도록 해주는 데에 중요한 역할을 할 수 있다.
렌즈 어셈블리의 예시
최대 광결합을 위해, 즉 최대 광학 데이터 량을 수집하기 위해, 픽셀 어레이는 도 4에서 도시된 렌즈 어셈블리로 커버될 수 있다. 렌즈 어셈블리의 기계적 컴포넌트들은 광학 렌즈를 포함한다. 렌즈는 보통 (사진을 포커싱하는 데에 이용되도록) 배럴 내로 끼워맞춰져서 하우징되고, 배럴은 픽셀 어레이를 커버한다. 픽셀 어레이 상에 낙하하는 광은 일반적으로 렌즈를 통해서만 들어온다. 렌즈의 중심은 픽셀 어레이의 중심에 있을 수 있다. 이해할 바와 같이, 이것은 완벽성을 보장받지 못할 수 있는데, 그 이유는 렌즈의 중심은 컴퓨터 비젼 분야에서 잘 알려져 있는 카메라 칼리브레이션 프로세스의 파라미터들 중 하나이기 때문이다.
마이크로렌즈들
마이크로렌즈는 그 이름이 암시하는 바와 같이, 매 마이크로센서(픽셀) 상에 배치되어진 구조물이다. 렌즈는 일반적으로 하나의 픽셀만을 커버한다. 마이크로렌즈는 각각의 픽셀 자체 상에 수집된 광의 양을 증가시킬 수 있고, 이에 따라 대응하는 센서들이 보다 많은 광을 수집하고 이로써 낮은 광 환경에서 작업할 수 있게 하는 능력을 증가시킬 수 있다. 따라서, 마이크로렌즈들은 각각의 픽셀의 신호 대 노이즈비를 증가시킬 수 있다. 도 5는 마이크로렌즈의 단면을 보여준다. 광은 마이크로렌즈의 볼록면 상에 낙하한다. 볼록면은 광을 시준하여 마이크로센서(픽셀)의 감광 영역(이것은 전기적으로, 상술한 광다이오드이다) 상에 낙하시킨다. 광으로부터 초래된 전기 신호를 수집하기 위한 지원 전자장치들이 또한 도시된다. 전체 픽셀의 폭에 대한 광에 민감한 영역의 폭으로서 필 팩터가 또한 도시된다. 추가적으로, 광이 하나의 픽셀로부터 다른 픽셀로 누설되지 않도록 하기 위해, 고체 측부들이 픽셀 주변에 구축된 것이 도시된다.
마이크로센서들 및 상이한 유형들의 데이터 수집
마이크로센서(픽셀)가 일 유형의 데이터에 민감해지되 다른 유형의 데이터를 차단하도록 하기 위해, 필요하거나 요망되는 데이터는 통과시키되 필요하지 않거나 요망되지 않은 데이터를 차단하는 광학 필터들이 활용된다. 예로서, 필요하거나 요망되는 데이터가 (유형 1 데이터로서) 가시 이미지 데이터이고, 요망되지 않은 데이터가 (유형 2 데이터로서) 적외선(IR) 데이터이면, 응답들이 도 6에 도시되어 있는 필터들이 이용된다. 도 6은 유형 1 데이터를 수신하고 감지하되 유형 2 데이터를 배척(또는 감지하지 못)하도록, 또는 그 반대로 유형 2 데이터를 수신하고 감지하되 유형 1 데이터를 배척(또는 감지하지 못)하도록 하는, 선택된 픽셀에 적용되는 필터들의 투과도 응답들을 보여준다.
유형 1 데이터를 수신하고 유형 2 데이터를 배척하기 위해, 마이크로센서가 청색, 녹색, 또는 적색 파장 범위의 광을 수신하되 적외선 범위의 광을 배척할 수 있도록 하는 데에 이용되는 필터들은 (필터들의 세트가 청색, 녹색, 및 적색을 각각 통과시키는) 통과도 응답들을 갖는다. 적외선광을 배척하는 데에 필요한 필터는 곡선처럼 보이는 통과도 응답을 갖는다. IR 필터는 마이크로렌즈들 자체 상에 "코팅"될 수 있다는 것을 염두해둘 가치가 있다.
유형 2 데이터를 수신하고 유형 1 데이터를 배척하는 것과는 대조적으로, 마이크로센서가 적외선광만을 수신하되 가시광 파장들을 배척할 수 있도록 하는 데에 이용되는 필터들은 적외선광을 통과시키며, 개념적으로는 통과도 응답을 갖는 필터처럼 보인다.
이미징
및 컴퓨터
비젼의
분야를 이용한
실시예들
이미징 및 컴퓨터 비젼의 실시예들에서, 측정될 필요가 있는 측정치들에는 일반적으로 두 개의 상이한 유형들이 존재하며, 이에 따라, 이러한 유형들의 데이터를 측정하는 데에 필요한 마이크로센서들(픽셀들)에는 보통 두 개의 유형들이 있다. 한 유형의 마이크로센서는 가시광에 민감하며, 다른 유형의 마이크로센서는 적외선(IR) 파장에 민감하다. 이것은 이미지들뿐만이 아니라 깊이 데이터를 취득하는 카메라들에서 이용될 센서 어레이를 개발하는 환경에서 특히 이롭다. 하지만, 여기서 설명된 방법론은 센서 어레이가 마이크로센서의 풀 해상도로 하나보다 많은 유형의 데이터에 민감해지도록 하는 데에 적용될 수 있다. 풀 해상도란 매 픽셀이 착신 데이터의 측정에서 이용되는 것을 의미한다. 이미징 및 컴퓨터 비젼의 분야와 관련지어 측정되도록 두 개의 상이한 유형들의 데이터가 선택된다. 그리고, 이러한 두 개의 유형들의 데이터는 가시광 세기와 적외선광 세기이며, 또는 짧게 말해서, 비디오 데이터와 적외선 데이터이다.
이미징은 통상적으로 이미지들을 취득하고, 이 이미지들을 최고의 퀄리티로 사용자들에게 제공한다. 여러가지 이유들, 주로는, 사용의 용이성, 이미징 전 이미지 보기, 이미지의 제거 및 리스내핑의 용이성, 및 무엇보다도, 이러한 이미지들에 값을 추가로 부가하는 상이한 소프트웨어 프로그램들에서 이미지들 및/또는 비디오 클립들을 활용하는 컴퓨터 시스템에 의해 직접 이용될 디지털 포맷의 이미지를 갖는 것으로 인해, 디지털 카메라는 필름을 대체하였다.
컴퓨터 비젼은 일상생활에서 이용되는 여러가지 디바이스들 상에서 구동되는 상이한 이미징 애플리케이션들에 필요불가결한 분야가 되었다. 컴퓨터 비젼은 이미징 후, 사용자에 의해 정의된 상이한 태스크들을 달성하기 위해 이미지 내 정보를 이용하는 다음 단계로 간다. 예를 들어, 컴퓨터 비젼 애플리케이션들은 이미지들 내에서 얼굴을 찾고(예컨대, 안면 인식), (증강 현실에서와 같이) 수정되거나 증강될 태스크 관련 객체들을 찾는다. 이러한 시스템들의 주요 예시는 휴먼 내추럴 유저 인터페이스(Human Natural User Interface; HNUI)이다. 이러한 인터페이스들은 사용자들에 의해 더욱 더 채용되고 있는 많은 디바이스들에서 이용된다.
깊이 측정(Depth measurement)은 컴퓨터 비젼 시스템들에게는 종종 치명적이며, 사실상 컴퓨터 비젼 연구의 성배가 되어 왔다. 컴퓨터 비젼의 많은 태스크들은 카메라가 조준하고 있는 장면의 깊이 정보를 요구했다. 복수의 카메라 시스템들, 주로는 스테레오 비젼(스테레오 비젼은 두 개의 카메라들이 이용 중에 있는 경우를 말함)은 이러한 연구의 가장 큰 몫을 차지하지만, 몇가지 애로사항들, 즉 두 개의 카메라들을 구비함에 따른 시스템 복잡성을 갖는데, 보다 곤란한 애로사항들은 일치 문제와 폐색 문제이다. 그 첫번째 애로사항은 하나의 카메라 이미지 내의 영역 또는 지점을 다른 카메라 이미지 내의 동일한 지점과 일치시키는 문제이다. 이러한 문제는 두 개보다 많은 카메라들을 갖게 됨에 따라 점점 더 복잡해지고 있다. 폐색은 다른 카메라 내에서 시작할 다른 지점을 갖지 못하는 문제인데, 그 이유는 다른 카메라의 각도로부터 이 다른 지점은 장면 내 또다른 객체에 의해 가로막혀있기 때문이다.
깊이를 찾기 위해 스테레오 컴퓨터 비젼 알고리즘들에 의존하는 데 있어서의 이러한 장애물들에 직면하여, 장면의 모든 지점의 깊이에 관한 정보를 추출하기 위해, 선험적으로 알려진 (휴먼 시각계에 가시적이거나 또는 비가시적인) 광 패턴들을 장면 상에 투사하는 것, 및 장면의 이미지들을 이미징하여, 카메라들에 의해 이미징되는 이러한 패턴들의 다른 특성들 중에서, 변형 및 크기를 분석하는 것을 활용하는 다른 방법들이 부각되었다. 깊이를 계산하기 위해서는, 패턴들이 통상적인 이미지들 내에서 나타나지 않도록, 비가시적 패턴들을 이용하는 것이 바람직하다. 시스템이 산업 응용예에서 이용되는 경우, 패턴이 가시적이거나 가시적이지 않은 것은 문제가 안될 것인데, 그 이유는 이러한 시스템들은 생산된 제품들의 퀄리티 제어에 주로 관심을 두기 때문이다. 시스템이 통상적인 사진 또는 비디오를 취득하는 시스템들에서 이용되는 경우, 장면 상에서 광 패턴들을 보는 것은 일반적으로 허용가능하지 않다. 이러한 시스템들에서 가장 널리 이용되는 파장 스펙트럼은 적외선 파장 스펙트럼이다. 보통의 비디오를 포획하는 카메라를 비디오 카메라, 또는 비디오 센서, 또는 비디오 이미저라고 부를 것인 반면에, 적외선 스펙트럼을 포획하는 카메라를 적외선 카메라, 또는 적외선 센서, 또는 적외선 이미저라고 부를 것이다.
데이터 감지를 위한 이미지 프로세싱 시스템
하나보다 많은 유형의 측정치를 측정하는 이미지 프로세싱 시스템을 생성하기 위해, 매 유형의 측정에 대해 별개의 센서가 활용된다. 예를 들어, 가시광을 캡처하는 경우(디지털 카메라가 주요 예시들임), (보통으로, 적색, 녹색, 및 청색 칼라 대역에 있는) 가시광만을 캡처하는 데에 적절한 필터들을 갖추도록 개조된 단일 센서 어레이가 있다.
도 7은 가시광을 캡처하고 이것을 이차원 어레이에서 제공하는 시스템을 보여준다. 이러한 시스템의 기본적인 아이디어는 마이크로프로세서, 또는 중앙 프로세싱 유닛(CPU)의 제어 하에서 마이크로센서들의 이차원 어레이를 이용하여 환경을 "감지"하는 것이다. CPU는 일반적으로, 센서가 데이터를 감지하는 데에 더 적합해지도록 센서 상에 상이한 파라미터들을 프로그래밍하고, 또한 타이밍 회로를 구동시키는데, 이 타이밍 회로는 마이크로센서들의 어레이를 이용하여 이차원 데이터 어레이를 스내핑하도록 이차원 어레이를 트리거시킨다. 그런 후, CPU는 센서 어레이가 "감지"했던 이차원 데이터의 독출 모드에 센서 어레이가 놓여있도록 타이밍 회로를 구동시킨다. 이 데이터는 감지된 데이터를 활용할 임의의 애플리케이션에 의한 나중의 사용을 위해 저장 메모리 내에 저장된다. 제1 센서 데이터는 카메라의 마이크로센서(픽셀들)에 의해 수집된 가시 데이터이다. 저장 메모리는 또한 비디오 프레임 저장장치로서 언급된다. 디지털 데이터는 신호 컨덕터들(이것은 디지털 시스템에서 데이터 버스라고도 불리운다)을 거쳐 상이한 시스템 컴포넌트들, 즉 센서 어레이, 마이크로프로세서, 및 데이터 저장 엘리먼트들(메모리)을 가로질러 전송된다. 데이터는 신호 캐리어를 거쳐 데이터 버스 상에서 센서 어레이로부터 독출되며, 이 신호 캐리어는 센서 어레이로부터 나온 디지털 데이터를 실어나르는 배선이다. 이것은 단일 유형의 데이터를 감지하도록 설계된 디지털 시스템의 기본적인 기능이다. 분명히도, 디지털 카메라들은 센서 그 자체에 비해 훨씬 더 많은 특징들과 많은 제어들을 갖지만, 디지털 카메라들은 여기서 개시된 실시예들에서 보다 손쉽게 구현될 수 있다.
다른 유형의 데이터를 측정하도록 디지털 시스템을 확장시키기 위해, 다른 센서 어레이가 활용된다. 이것은 도 8을 이용하여 도시된다. 예시를 위해, 다른 유형의 데이터는 장면의 깊이 정보를 계산하는 데에 이용될 적외선 데이터이다. 도 8은, CPU가 신호 컨덕터를 거쳐 타이밍 회로(이것은 칩 제어 로직으로서 식별된다)에 커맨드들을 보낸다는 점을 제외하고, 도 7에서 도시된 것과 유사하게 동작하는 디지털 시스템을 포함한다. 타이밍 회로는 제1 센서 어레이를 감지하는 것 이외에 제2 센서 어레이를 이용하여 제2 유형의 정보의 감지를 트리거하고, (비디오 프레임 저장장치로서 도시된) 메모리 저장장치 내에 저장되어 있는 제1 유형을 겹쳐쓰기하지 않도록 (깊이 프레임 저장장치로서 도시된) 상이한 메모리 저장장치 내에 이 제2 유형의 정보를 저장한다. 제1 데이터는 신호 캐리어를 거쳐 제1 센서 어레이로부터 독출되며, 제2 데이터는 신호 캐리어를 거쳐 제2 센서 어레이로부터 독출된다. 제1 및 제2 데이터는 신호 캐리어를 거쳐 적절한 메모리에 전송된다. 제2 데이터의 예시는 이차원 센서 어레이가 찾고 있는 장면의 적외선 데이터이다. 적외선 데이터를 감지하도록 추가된 이차원 마이크로센서(픽셀) 어레이(또는 제2 어레이) 상에 적외선광 신호들을 포커싱하도록, 적외선광 신호들과 함께 추가적인 광학 렌즈가 활용될 수 있다. 본질적으로, 개별적인 어레이들은 하나의 어셈블리 내에서 두 개의 렌즈를 갖는 두 개의 카메라를 정의한다(이것은 디지털 시스템의 조밀도를 매우 감소시킨다).
삼차원 이미지 센서들 및 그 제조 방법들
몇몇의 실시예들에서, 도 9에서 도시된 바와 같이, 해당 픽셀 자체에 의해 형성된 정방형의 4분의 1의 깊이 픽셀과, 적색, 녹색, 및 청색에 각각 민감한 다른 3개의 픽셀들이 있다. 본 도면은 적색, 녹색, 및 청색의 대응 색상들에 각각 민감한 R, G, B로 라벨표시된 세 개의 픽셀들을 보여주는 반면에, D로 라벨표시된 픽셀은 적외선 신호를 측정하는 픽셀이며, 이 적외선 신호로부터 깊이 데이터가 나중에 수학적으로 계산될 것이다.
이 접근법은 다음의 애로사항들을 겪을 것인데, 즉 깊이 측정 픽셀들이 가시광 민감 픽셀, R, G, B 중 일부를 제거할 것이기 때문에 이러한 양쪽의 측정들의 해상도는 해상도를 손실할 것이다. 개시된 실시예는 베이어 패턴 레이아웃의 수정예이기 때문에, 적색 픽셀은 청색 픽셀 아래에 위치하며, 녹색 픽셀은 제2 라인으로부터 제거된다. 녹색 픽셀들은 그 대부분이 세기 Y(YCrCb 영역에서, 각각 세기, 적색 크로마, 청색 크로마)를 계산하는 데에 기여하며, 또한 세기는 (크로마와는 대조적으로) 사진의 해상도를 정의하는 것이기 때문에, 이러한 유형의 접근법은 자신의 해상도(이것은 이미징의 가장 중요한 양태, 즉 이미지의 선명도(sharpness)이다)에서 굉장한 감소를 겪을 것이다. 이것은 손상을 입히는 애로사항이며, 또한 깊이 해상도는 (도 9에서 도시된 바와 같이) 네 개 당 한 개 픽셀, 즉 센서 해상도의 사분의 일일 것이기 때문에, 이러한 깊이 해상도는 시작하기에는 불량할 것이다. 이러한 애로사항들에 더하여, 다른 애로사항은 이 레이아웃은 베이어 패턴 레이아웃을 손상시킬 것이라는 점이다. 이것은 센서 어레이로부터 비디오 이미지를 재구축하기 위해 완전히 새로운 루틴들의 개발을 필요로 한다. 베이어 패턴은 R, G, B 픽셀 어레이들로부터의 비디오 프로세싱을 위한 표준이 되어 왔다. 이에 따라, 베이어 패턴 유지는 센서가 거의 임의의 이용가능한 이미지 프로세싱 시스템에서 손쉽게 이용되도록 해준다. 이와 대조적으로, 본 개시내용의 센서 어셈블리는 R, G, B 신호들뿐만이 아니라, 깊이 모두를 측정하기 위해 센서 어레이 및 각각의 센서의 풀 해상도를 실질적으로 이용할 수 있다. 본 개시내용의 센서 어레이 및 디지털 시스템은 또한 베이어 패턴 레이아웃을 유지할 수 있는데, 이것은 센서 어레이를 시판 중에 있는 이미지 프로세싱 시스템과 호환가능하게 한다. 픽셀 프로세싱 하드웨어 대부분은 CCD 또는 CMOS 베이어 패턴 이미저들로부터 나온 이미지들을 프로세싱한다.
깊이 센서만을 제공하는 시스템들
깊이 센서만을 이용는 시스템들은, 언급한 바와 같이, 결함을 갖는다. 이 시스템들은 비디오 데이터를 제공하지 못하며, 단순히 "범위" 카메라들일 뿐이다. 이 시스템들은 일반적으로 광원, 검출기, 및 신호 프로세서를 포함한다. 광원은 기준 시간 포인트들을 갖는 전송 제어 신호에 따라 소스 신호를 타겟으로 전송한다. 검출기는 타겟으로부터 반사된, 소스 신호로부터의 반사 신호를 수신한다. 신호 프로세서는 기준 시간 포인트들로부터 상이한 시간 지연들을 갖는 각각의 시구간들 동안에 반사 신호의 각각의 부분들을 측정함으로써 복수의 감지 값들을 생성한다. 신호 프로세서는 타겟의 거리를 결정하기 위해 감지 값들의 최대/최소에 대한 각각의 지연 시간을 결정한다. 본 개시내용의 시스템은 범위 카메라로서 이용될 수 있지만, 비디오 데이터를 제공하는 것을 비롯하여, 광범위한 이미징 동작들을 수행할 수 있다.
삼차원 이미지 센서
몇몇의 실시예들에서, 여기서 개시된 주제인, 본 개시내용의 센서 어레이 및 이미징 프로세싱 시스템은 가시광과 적외선 각각이 측정될 때의 해상도를 희생시키지 않고서 단일 어레이를 이용하여 가시광 및 적외선 측정을 달성할 수 있다. 이것은 어레이가 단일 칩 또는 공통 칩 상에 위치되도록 해줄 수 있으며, 다음의 주요 장점들을 제공할 수 있다:
1. 조밀화, 이에 따라 이들이 활용되는 시스템의 소형화가 수월해진다.
2. 다른 대형 시스템 내로의 시스템 통합의 용이화.
3. 두 개의 상이한 센서들로 측정할 때 발생하는 일치 및 폐색 문제들의 해결.
4. 픽셀들 간의 물리적 최대 근접성으로 인한 정확한 깊이 및 비디오 데이터 매칭(실시예 1), 및 동일한 위치에 있는 두 개 유형들의 픽셀들에 의한 데이터의 측정으로 인한 이미지와 깊이 둘 다에 대한 동일 픽셀들의 이용(실시예 2)(실시예 1에서는, 센서 픽셀 어레이를 이동시키고, 실시예 2에서는 픽셀들을 커버하는 필터들을 이동시킴). 이에 따라, 이미지와 깊이 감지 데이터의 국지화 사이에는 사실상 차이가 없다.
5. 하나의 어레이 및 하나의 렌즈의 이용으로 인한 하나의 세트의 고유 카메라 파라미터들.
몇몇의 실시예들에서, 여기서 개시된 주제는 두 개의 상이한 센서들로 측정할 때 발생하는 일치 및 폐색 문제들을 해결한다. 일치 문제는 센서들 중의 하나의 센서의 이미지 평면 상의 3D 지점의 투사에 의해 생성된 x, y 위치와, 다른 센서의 이미지 평면 상의 동일한 3D 지점의 투사에 의해 생성된 x, y 위치의 매칭의 태스크이다. 스테레오 이미징에서, 이것은 좌측 이미지 상의 3D 지점의 투사의 x, y 위치의 투사와 우측 이미지 상의 x, y 대응부들의 매칭이다. 스테레오 이미징을 이용한 3D 위치의 복구에서 이러한 일치는 픽셀들의 R, G, B 값들인, 동일 유형의 데이터에 대해 행해진다.
하나의 센서에서 R, G, B를 측정하고, 다른 센서에서 IR 또는 TOF(Time of Flight)를 측정하는 시스템들과 같이, 감지 중인 데이터가 상이한 유형들인 시스템들에서, 이러한 매칭을 행하는 것은 쉬운 일이 아니다. 그 이유는, 데이터가 본질적으로 상이하여, 데이터가 비교될 수 없기 때문이다. 또한, 센서들의 해상도는 상이하며, 이에 따라 R, G, B 센서에 투사될 때의 3D 지점은 단일 픽셀이며, (R, G, B 센서보다 낮은 해상도로 인해) 깊이 센서는 3D 지점 주변의 "영역"의 깊이를 감지중에 있을 수 있다. 이러한 경우들에서, 3D 센서(TOF 또는 구조광) 측정으로 시작함으로써; 그리고, 두 개의 센서들을 관련시키고, 이 3D 위치를 이미지 R, G, B 센서에 관련시키며, 그런 후 이 3D 위치를 R, G, B 이미지 평면에 투사하는 회전 및 병진이동 매트릭스들을 이용한 기하학적 변환을 이용함으로써 일치가 행해질 수 있다. 이 동작은 픽셀 당 최소 12개의 곱셈들과 3개의 가산들을 필요로 할 것이다. 이것은 연산집약적 제안이지만, 이것은, 데이터가 본질적으로 상이한 유형들이기 때문에 깊이 픽셀들과 R, G, B 픽셀들 간의 이러한 일치를 생성하는 유일한 방법이다.
또한, 깊이 센서가 R, G, B 센서보다 낮은 해상도를 갖는 경우, 깊이 픽셀은 공간 내 "영역"에 대응할 것이며, 이 영역은 R, G, B 이미지 공간에서 애매모호하게 결정될 것이다. 이것은 장면 내에서 "가장자리" 영역들이 불량한 결과들인 것을 초래시킬 것이다.
여기서 개시된 센서들은 본질적으로 양쪽 측정들의 동일한 해상도로 동일한 위치에서 (상이한 유형들의 데이터에 대응하는) 픽셀들을 감지한다. 그러므로, 여기서 개시된 기술은 일치 문제를 해결하며, (센서들 중 하나의 센서의 해상도가 손상된 경우) 영역 대 점 매칭보다는 점 대 점 매칭을 생성시킨다.
본 개시내용의 이미지 프로세싱 시스템의 설명
본 설명은 두 개의 주요 부분들로 분할될 수 있다:
A. 마이크로센서 어레이 설계 및 이용되는 상이한 접근법들
B. 디지털 회로.
마이크로센서(픽셀) 어레이 및 이 어레이의 레이아웃
설계에 대한 상이한 접근법들
마이크로센서 또는 픽셀 어레이는, 마이크로 전자기계 시스템(MEMS)과 결합되어, 복수의 데이터 유형들을 측정하는 센서의 심장부이다. 본 시스템을 단 두 개의 데이터 유형들만을 참조하여 설명하지만, 본 시스템은 더 많은 데이터 유형들을 측정하도록 손쉽게 확장될 수 있다. 본 논의에서 이용되는 예시적인 두 개의 데이터 유형들은 비디오 데이터뿐만이 아니라, IR 데이터이다. 후자 유형의 데이터는, 수학적 알고리즘들을 이용하여, 깊이 데이터로 변환될 수 있다.
다중 유형 센서 데이터를 전달할 수 있는 주변의 지원 회로를 갖는 시스템 픽셀 어레이를 달성하는 데에 있어서는 두 가지의 주요 철학체계들이 있다.
제1 접근법은 유형 1 마이크로센서들, 즉 이미지 가시광 픽셀들과 유형 2 마이크로센서들(예컨대, 적외선 픽셀들) 간의 기하학적 인터레이싱 배열들을 이용한다. 이것은 이미지 센서 부지가 유형 1 마이크로센서들(가시광에 민감한 이미지 픽셀들)과 유형 2 마이크로센서들(적외선 광 민감 픽셀들) 간에 공유되는 공간 멀티플렉싱으로서 알려져 있다. 이 경우 및 후술하는 바와 같이, 마이크로 전기기계 시스템(MEMS)은 기하학적 인터레이싱 패턴의 함수인 크기를 갖고 전체 센서 어레이를 일 방향으로 이동시킬 것이다.
이 접근법에서 출력된 데이터는 유형 1 데이터와 유형 2 데이터의 혼합이다.
제2 접근법은 전체 센서 어레이를 유형 1 데이터(이미지) 센서로서 이용하며, 또한 전체 센서 어레이를 유형 2 데이터(IR/깊이) 센서로서 이용한다. 이것은 프레임 또는 시간 멀티플렉싱이다. 이 접근법에서, 측정에 적절한 필터들로 어레이의 각각의 센서를 커버하기 위해 MEMS가 이용된다. 유형 1 데이터의 경우, MEMS는 마이크로센서 상의 제1 필터 스택을 이동시키는데, 이것은 유형 1 데이터가 측정되도록 해주며 유형 2 데이터가 측정으로부터 차단되도록 해준다. 다른 모드에서, MEMS는 다른 제2 필터 세트가 마이크로센서들의 최상단 상에 있도록 해주는데, 이것은 유형 2 데이터가 측정되도록 해준다. 제2 필터 세트는 가시광 스펙트럼의 일부분 또는 그 전부를 측정으로부터 차단시킬 수 있다. 이러한 접근법을 달성하기 위해서는 두 개의 상이한 실시예들이 있다.
데이터 출력은 모두 유형 1 데이터이거나 모두 유형 2 데이터일 수 있거나, 또는 유형 1 및 유형 2 데이터 둘 다 일 수 있다. 프레임 내 전체 어레이는 적외선 수용체로서 역할을 하며, 다른 프레임에서는 통상적인 가시광 카메라 센서로서 역할을 한다. 따라서, 제1 프레임에서, 적외선 광이 수집되고, 제2 프레임에서는, 가시광이 수집되거나, 또는 그 반대가 가능하다.
이러한 두 개의 설계 철학체계들을 구체화하는 상세사항들은 나중에 설명할 것이다.
아래의 섹션에서, 새로운 픽셀 어레이 시스템이 단일 칩 센서의 컴포넌트들을 포함하는 디지털 시스템의 실시예가 도시된다.
이미지 프로세싱 시스템
센서 어레이에 대한 이전 접근법들은 디지털 시스템에서 구체화되며, 이 디지털 시스템은 또한 접근법들의 구현을 달성하기 위한 다른 지원 회로 컴포넌트들을 갖는 것 뿐만이 아니라, 센서가 비디오와 깊이 데이터를 전달할 수 있도록 하는 데에 필요한 기능을 제공한다. 픽셀 어레이 및 지원 회로의 예시적인 실시예를 도 10을 이용하여 설명한다. 렌즈가 이미지 프로세싱 시스템 위에 위치되어, 광학 신호를 수집하고 이 광학 신호를 전체 어레이에 지향시킨다. 본 시스템은 공통 칩 또는 회로 보드 상에 있을 수 있는 컴포넌트들을 나타낸다.
픽셀 어레이는 하나보다 많은 유형의 데이터의 측정을 달성하도록 복수의 마이크로센서들이 배열된 곳이다. 마이크로센서들의 레이아웃을 설계하기 위한 하나보다 많은 접근법이 있다. 이러한 접근법들을 나중에 설명할 것이다.
CCD와 CMOS 기술들에 대해 상이하게 독출이 수행된다. 센서가 CCD 기술이면, 독출 디코딩 로직은 행 및 열 회로를 구동시켜서, 전체 행이 독출될 때 까지, 각각의 행이 행 자신의 전하를 하나의 픽셀로부터 다음 픽셀로 전송하게 한다. 이에 따라, 이러한 독출 디코딩 로직은 어레이 값들의 순차적인 독출을 관리한다. 센서가 CMOS 기술인 경우와는 대조적으로, 독출 로직보다는 행 및 열 디코더들이 데이터가 독출될 픽셀(들)을 선택하며, 이러한 독출은 순차적 또는 무작의적일 수 있다. 메모리 내의 데이터의 독출 시퀀스 및 저장은 상술한 설계 접근법들의 구현과 관련하여 나중에 설명될 데이터의 순서를 유지하는 방식으로 행해진다. CMOS 센서들에서 데이터를 독출하는 데에는 통상적으로 상관 이중 샘플링(correlated double sampling; CDS) 접근법이 이용된다.
각각의 픽셀의 아날로그 값이 독출될 때 아날로그 이득 회로는 값들을 증폭시킨다.
아날로그-디지털 컨버터는 픽셀 아날로그 데이터를 디지털 값으로 변환시키며, 디지털 이득 회로는 곱셈 계수를 독출된 픽셀 데이터에 적용시킨다. 이러한 모듈은 칩 상에 존재할 수 있거나 또는 시스템의 다른 부분들에서 구현될 수 있다. 디지털 데이터는 디지털 버스를 거쳐 시스템의 나머지로 독출되기 전에 레지스터에 저장될 수 있다.
마이크로 전기기계 시스템(MEMS)은 어레이를 이동시키기 위해 액추에이터들과 신호 통신하는 MEMS 제어기/회로를 포함한다. MEMS는 칩의 중요한 컴포넌트일 수 있다. MEMS는 이미지 프로세싱 시스템의 목표를 달성하기 위해 칩의 상이한 부분들을 이동시키는데, 이러한 목표는 센서의 풀 공간 해상도로, 단일 센서를 이용하여 하나보다 많은 유형의 데이터를 모두 측정하는 것이다. 설계 접근법이 센서 어레이에서 구현되는 것에 따라, MEMS는 상이한 부분들의 세트들을 이동시킬 것이다. MEMS 제어기/회로는 전자기계 액추에이터들에 대한 제어를 제공한다. 액추에이터들은 물리적으로 칩 상에서 하나의 블록일 수 있기 때문에, 이들은 통상적으로 두 개의 블록들로 논리적으로 분할된다.
칩 제어 로직은 CPU(미도시됨)로부터, 이미지 프로세싱 시스템 전체와 그 컴포넌트 부분들(MEMS 및 센서 어레이를 포함함)이 동작하는 방법을 프로그래밍하기 위한 데이터를 모듈 어레이 연산 로직을 거쳐서 수신한다. 이러한 파라미터들의 예시들은, 선택된 유형의 데이터를 수집하기 위한 센서 어레이의 노출 시간(수집될 데이터의 유형에 의해 달라질 수 있음), 수집된 센서 데이터를 증폭하기 위해 아날로그 및/또는 디지털 이득 회로에 의해 적용된 이득들, 센서 어레이를 클로킹하는 속도(수집될 데이터의 유형에 의해 달라질 수 있음) 등이다. 다른 중요한 정보는 데이터를 포획하거나 또는 수집하는 것과 동기화하여 액추에이터들을 이동시키기 위해 MEMS를 구동시키는 타이밍, 및 장면 상에 투사하기 위한 IR 광 패턴의 유형 및 타이밍을 포함할 수 있다. 센서의 MEMS 이동은 센서 어레이 또는 이미지 프로세싱 시스템을 설계하는 상이한 접근법들과 관련하여 아래에서 설명된다. 또한, 깊이 정보를 복구하기 위해 IR 광 패턴들을 이용하는 개념이 아래에서 설명될 것이다.
디지털 저장장치 및 그 액세스는 칩 상에 위치해 있거나 또는 칩으로부터 분리되어 있는 임의의 유형의 컴퓨터 판독가능 매체일 수 있다. 이것은 시스템 설계 문제이며, 센서 어레이로부터의 데이터의 독출 속도를 주로 고려하여 설계가 행해졌다면 센서 어레이의 기능에 영향을 미치지 않는다. 메모리 내의 데이터의 저장은 매 픽셀마다의 매 디지털 데이터를 독출하여, 이것을 디지털 저장장치 내에 저장하는 마이크로프로세서(미도시됨)에 의해 행해질 수 있거나, 또는 수집된 디지털 데이터를 레지스터로부터 오프로딩하는 "직접적 메모리 액세스(Direct Memory Access; DMA)" 디지털 블록을 구비함으로써 행해질 수 있다.
칩 내에서 또는 밖에서 감지 정보 또는 데이터를 실어나르는 배선(버스)는, 이미지 프로세싱 시스템의 상이한 동작들을 제어하는 데이터를 CPU(미도시됨)로부터 이미지 프로세싱 시스템의 내부 디지털 블록들(미도시됨)로 전송시킨다. 배선은 또한 센서 어레이로부터 독출된 데이터를, 라벨표시된 디지털 출력 라인들을 거쳐서, 적절한 디지털 저장 블록(디지털 메모리들)으로 실어나른다.
다른 컴포넌트들은 센서 어레이로부터, 장면 또는 이미지의 깊이 데이터를 계산하는 데에 이용되는, 깊이 관련 데이터를 수신하는 역할을 한다. 이러한 컴포넌트들은 이러한 패턴들을 장면 또는 이미지 상으로 외향 투사시킬 적외선(감지불가능) 광 패턴 방출기들이다. 최대 시스템 통합을 달성하기 위해, 광 패턴 방출기(들)은 동일한 칩 상에 통합될 수 있다.
아래에서는 두 개의 접근법들의 제안된 실시예들을 보다 자세하게 설명한다.
제1 구현 접근법(제1
실시예
)
이미지 프로세싱 시스템은 유형 1 및 유형 2 마이크로센서들간의 혼합, 예컨대, (적색, 녹색, 및 청색에 민감한) 통상적인 가시 색상 선택적 픽셀들뿐만이 아니라, 적외선 민감 픽셀들 간의 혼합이 있는 (마이크로)센서 어레이를 포함한다. 픽셀들은 공통 기판 상에, 바람직하게는 인터레이싱 패턴으로 위치한다. 인터레이싱 패턴은 행들로, 또는 열들로, 또는 이 둘 다의 형태로 있을 수 있다.
이러한 배열의 실시예가 도 11과 도 12를 이용하여 도시된다. 먼저, 도 11에서, 유형 1 데이터, 즉 가시광에만 민감한 마이크로센서들(픽셀들)의 레이아웃이 도시되며, 마이크로센서들은 픽셀 각각이 하나의 유형의 색상에만 민감해지도록 하는 칼라 필터들로 커버된다. 센서들은 공통 칩 또는 기판 상에 위치한다. 어레이의 선택된 부분에서, 제1 및 제2 센서들은 GREEN 광에 민감하고, 제3 센서는 BLUE 광에 민감하며, 제4 센서는 RED 광에 민감하다. 도시된 패턴은 칼라 이미징 센서들에서 가장 폭넓게 사용되는 패턴인 베이어 패턴으로서 알려져 있다.
도 12는 도 11에서 도시된 센서 어레이가 어떻게 가시광 이상의 것을 감지하도록 변환되는지를 보여준다. 이것은 유형 1 데이터(가시광 BLUE, RED, 및 GREEN 민감 픽셀들)에 민감한 마이크로센서들의 패턴을 유형 2 데이터, 즉 적외선 광(IR)에 민감한 마이크로센서들과 인터레이싱함으로써 행해지며, 이러한 인터레이싱은 행(row)들로 행해진다. 따라서, 행들은 베이어 패턴을 나타내며 개입된 행들은 유형 2 데이터에 민감한 센서들이다. 따라서, 두 개 유형들의 인터레이싱이 있는데, 첫번째는 BLUE, GREEN 및 RED 광 민감 픽셀들간의 인터레이싱이며, 두번째는 한 쪽의 BLUE, GREEN 및 RED 광 민감 픽셀들과 다른 한 쪽의 유형 2 데이터, 또는 적외선 민감 픽셀들간의 인터레이싱이다.
센서 어레이의 제조는 통상적인 CMOS 카메라 제조 방식을 따르며, 이에 따라 오늘날의 CMOS 제조자들이 이러한 센서를 생산하는 것은 수월할 것이다. 이러한 제조 프로세스는 다음의 단계들을 포함한다:
(1) 모든 마이크로센서들(픽셀들)이 유사한 레이아웃으로 제조된다.
(2) A - 칼라 필터들(도 6에서 도시된 가시광 필터 통과 응답을 가짐, B, G, 및 R로 라벨표시됨)이, RED, GREEN, 및 BLUE의 가시광 민감용으로 이용될 도 11에서의 픽셀들에 적용된다. 본 실시예에서, 픽셀들은 행 0 상의 녹색과 적색 인터레이싱 픽셀들로서, 그리고 행 1 상의 청색과 녹색 인터레이싱 픽셀들로서 행 0과 행 1에 적용되고, 그런 후 행 2와 행 3을 건너뛰고, 그런 후 행 0과 행 1에 각각 유사하게 행 4와 행 5에 적용되며, 이러한 방식으로 어레이의 끝까지 계속된다.
(3) B - IR 차단 필터가 가시광에 민감하게 될 행들, 즉 본 실시예에서, 도 12에서 도시된 바와 같이, 행 0, 행 1과, 행 4, 행 5...에 적용된다.
(4) 나머지 다른 행들, 즉 행 2와 행 3, 및 그런 후, 행 6과 행 7 ... 등등은 IR 차단 필터와 칼라 필터들이 적용되지 않는 IR 민감 픽셀들일 것이다.
(5) 마이크로렌즈들은 각각의 픽셀 자체 상에 수집된 광의 양을 증가시킨다. 마이크로렌즈들은 각각의 픽셀의 광 수집 효율성을 증가시키기 위해 전체 픽셀 어레이의 각각의 픽셀 상에 적용된다.
센서는 유형 1 데이터와 유형 2 데이터 둘 다를 수집하는 수직 해상도의 절반을 희생시켜서, 이러한 방식으로 이용될 수 있다. 본 개시내용은 MEMS를 이용하여 동일한 방향을 따라, 두 개의 픽셀들의 길이 치수와 동일한 거리(도 12에서 도시된 경우에서, (본 도면의 페이지의 평면에 대해) 픽셀의 수직 치수의 거리는 "h"로 라벨표시됨)만큼 센서를 상방향(임의의 해상도가 손실되는 방향, 이 경우에서는, 수직 방향이지만, 응용예에 따라서는 다른 방향일 수 있음)으로 이동시킴으로써 이러한 문제를 극복한다. 거리 "h"는 두 개의 픽셀들의 길이 치수로 제한되지 않지만, 응용예에 따라 하나의 픽셀 또는 두 개보다 많은 픽셀들일 수 있다는 점을 이해바란다. MEMS 설계는 단지 한 치수로의 어레이의 이동만을 야기시킬 수 있기 때문에 간단하다. 이해할 바와 같이, 센서 어레이의 이동의 거리 및 방향은 상이한 유형들의 데이터를 수집하는 상이한 유형들의 픽셀들의 인터레이싱 패턴의 함수이다. 본 실시예는 (본 도면의 페이지의 평면에서) 수직 방향으로만 인터레이싱하는 것을 보여주지만, 본 개시내용은 (본 도면의 페이지의 평면에서) 수평하게 인터레이싱하는 것으로 손쉽게 확장될 수 있다. 이 경우, 센서 어레이는 (본 도면의 페이지의 평면에서) 수평하게 이동된다. 또한, (본 도면의 페이지의 평면에 대해) 수직 방향과 수평 방향 둘 다로의 인터레이싱을 이용할 수 있으며, 이 경우, 센서 어레이는 (본 도면의 페이지의 평면에 대해) 수직 방향과 수평 방향 둘 다로 이동된다.
달리 말하면, 제1 시간에서, 그리고 제1 동작 모드에서, 픽셀 어레이 모두 또는 그 일부가 제1 위치에 있다. 이 위치에서, 픽셀 어레이는 마이크로센서들의 공간 레이아웃에 의해 도시된 일정한 공간 위치에 있는 유형 1 데이터와 유형 2 데이터 둘 다를 판독한다. 상이한 제2 시간에서, 그리고 제2 동작 모드에서, 픽셀 어레이 모두 또는 그 일부는 MEMS에 의해 제1 위치와는 상이한 제2 위치로 이동된다. 이 위치에서, 픽셀 어레이는 양쪽 유형들의 데이터, 즉 유형 1과 유형 2 둘 다를 여전히 판독한다. 따라서, 유형 1 및 유형 2 데이터를 수집하는 위치들을 반전시키기 위해 센서 어레이 모두 또는 그 일부가 위치 2로 상방향 이동될 때에는, 유형 1과 유형 2 데이터 측정 둘 다의 공간 해상도의 손실은 없다.
다른 구성에서, 제1 시간에서, 그리고 제1 동작 모드에서, 픽셀 어레이 모두 또는 그 일부가 제1 위치에 있다. 제1 위치에서, 유형 1 데이터 민감 픽셀들은 유형 1 데이터를 수집하도록 위치하는 반면에, 유형 2 데이터 민감 픽셀들은 유형 2 데이터를 수집하지 않도록 위치한다. 이 위치에서, 유형 1 데이터는 유형 1 데이터 민감 픽셀들로부터 독출된 것이다. 다른 실시예에서, 유형 2 데이터 민감 픽셀들은 제1 동작 모드에서 유형 2 데이터를 수집할 수 있다.
상이한 제2 시간에서, 그리고 제2 동작 모드에서, 픽셀 어레이 모두 또는 그 일부는 MEMS에 의해 제1 위치와는 상이한 제2 위치로 이동된다. 제2 위치에서, 유형 2 데이터 민감 픽셀들은 유형 2 데이터를 수집하도록 위치하는 반면에, 유형 1 데이터 민감 픽셀들은 유형 1 데이터를 수집하지 않도록 위치한다. 이 위치에서, 유형 2 데이터는 유형 2 데이터 민감 픽셀들로부터 독출된 것이다. 다른 실시예에서, 유형 1 데이터 민감 픽셀들은 제2 동작 모드에서 유형 1 데이터를 수집할 수 있다.
이것은 어떻게 측정들의 공간 해상도의 손실이 없는지를 또한 보여주는 도 13에 의해 증명된다. 도 13은 이동 전의 전체 어레이(좌측 어레이)(또는, 어레이가 제1 동작 모드 및 제1 위치에 있는 경우)와, 픽셀 어레이가 제2 동작 모드 및 제2 위치에 있도록 두 개의 픽셀들의 수직 높이와 동일한 거리에 의한 인터레이싱 양(이것은 두 개의 행들임)과 동일한 거리만큼 상방향 이동된 후의 전체 어레이를 갖는 도 12에서 도시된 픽셀 어레이를 보여준다.
센서의 인터레이싱 패턴과 그 이동으로부터, 센서의 두 개의 위치들로부터 취해진 데이터는 서로를 보완하여 풀 해상도의 유형 1 데이터의 비디오 데이터뿐만이 아니라 풀 해상도의 유형 2 데이터의 적외선 데이터를 생성할 것이라는 것을 이해할 수 있다. 이러한 데이터 취득 시퀀스는 아래에서 심화적으로 설명될 수 있다.
이 접근법에서의 픽셀 어레이의 동작의
시퀀스
본 실시예에서의 이미지 취득 동작은 인터레이싱이 (본 도면의 페이지의 평면에서) 수직 방향으로 행해지는 도 12에서 도시된 픽셀 레이아웃의 경우에서만 설명되지만, (본 도면의 페이지의 평면에서) 수평 방향에 대해서도 동작은 동일하다. 동작은 임의의 다른 패턴의 인터레이싱으로 논리적으로 확장될 수 있다.
이미지 픽셀들과 적외선 민감형의 인터레이싱이 (본 도면의 페이지의 평면에서) 수직 방향을 따라 행해지는 본 구현예에서, 센서의 이미지 취득 동작의 시퀀스는 아래에서 약술된다.
1. 프레임(또는 프레임 A)이 캡처되어, 독출되며, 메모리 내에 저장된다(저장 동작은 도 10에서 도시된 이전 섹션에서 설명된다).
2. 센서 어레이는 (본 도면의 페이지의 평면에서) 상방향으로 이동된다.
3. 다른 프레임(또는 프레임 B)이 캡처되어, 독출되며, 메모리 내에 저장된다(저장 동작은 도 10에서 도시된 이전 섹션에서 설명된다).
4. 양쪽 프레임들로부터의 데이터는 풀 프레임의 유형 1 데이터(비디오 프로세싱에서 이용될 가시 이미지 프레임)와, 풀 프레임의 유형 2 데이터(깊이 산출에서 이용될 적외선 프레임)을 생성하는 데에 이용된다.
5. 이러한 두 개 유형들의 데이터를 수집하기 위해 이미지 프로세싱 시스템이 동작되는 한, 단계 1 ~ 단계 4는 계속해서 반복된다.
아래의 섹션에서, 센서로부터 출력될 혼합 유형들의 데이터의 디지털 저장의 메커니즘이 설명된다.
혼합 데이터의 판독 및 저장
데이터가 이러한 방식으로 인터레이싱되면, 유형 1 및 유형 2 데이터는 상이한 방법들로 메모리 내에 저장되어야 하며, 이로써 종국에는, 유형 1 데이터와 유형 2 데이터는 마치 이 두 개의 유형들의 데이터가 행들의 올바른 순서로 두 개의 상이한 센서들로부터 나온 것처럼 함께 인접하여 순차적으로 저장된다. 먼저, 통상적인 마이크로센서들의 어레이의 경우, 즉 단일 유형의 데이터를 측정하는 어레이의 경우 어떻게 데이터가 순차적으로 독출되고 저장되는지를 이해하는 것이 중요하다. 도 14는 각각의 행을 따라 단일 유형의 마이크로센서의 어레이로부터 순차적으로 나오는 단일 유형의 데이터의 저장을 보여준다. 데이터는 하나의 행에서 다른 행으로 차례대로 디지털 저장장치 내에 디지털방식으로 저장된다(하나의 행에서 다른 행으로 차례대로 각각의 행이 보통 어레이의 좌측에서부터 우측으로 하나의 픽셀로서 저장된다). 행 0에 이어서 행 1이 뒤따르며, 그 뒤를 행 2가 뒤따르며, 이러한 방식으로, 어레이로부터 독출될 최종 행인 행 n까지 계속된다. 이에 따라 동일한 유형의 데이터가 인접하여 저장된다. 본 개시내용에서, 하나보다 많은 유형의 감지 데이터의 저장으로 동일한 출력을 달성하는 것이 바람직하다. 유형 1의 데이터(비디오 데이터)는 모두 함께 저장되고, 유형 2의 데이터(IR 데이터)가 또한 모두 함께 인접하여 저장된다. 이제부터 이것을 달성하기 위한 방법을 도 15와 도 16을 이용하여 설명할 것이다.
도 15를 참조하면, 마이크로센서 어레이로부터 나온 데이터는 순차적인데, 즉 데이터는 하나의 행에서 픽셀별로 센서로부터 독출되고, 그런 후 다음 행에서 픽셀별로 독출되고, 그런 후 그 다음 행에서 독출되며, 이런 식으로 어레이의 끝까지 계속된다. 따라서, 어레이로부터 독출된 데이터는 유형 1 데이터와 유형 2 데이터 둘 다의 혼합이다. 즉, 독출된 데이터는 두 개의 행들의 비디오 데이터와, 두 개의 행들의 IR 데이터이다. 단순한 디지털 로직 회로를 이용하여, 데이터는 상이하고/상이하거나 개별적인 저장장치들(하나는 유형 1 데이터용이고, 나머지 다른 하나는 유형 2 데이터용임) 내에 저장되도록 지시되는데, 예컨대, 유형 1 데이터는 비디오 데이터 저장 영역 내에 저장되며, 나머지 다른 것은 IR 데이터 저장 영역 내에 저장된다. 이것은 각각의 유형의 데이터의 순서를 보존하면서 일어나야 한다. 이것은 도 15에서 도시된 바와 같이 달성되는데, 행 0과 행 1의 유형 1 데이터는 유형 1 저장 메모리(도 15에서 트랜잭션들에 의해 도시된 비디오 메모리) 내에 저장된다. 행 0과 행 1을 저장한 후, 충분한 메모리 공간 내에 동일한 유형의 데이터(예컨대, 비디오 데이터)의 행 2와 행 3을 저장하는 것을 건너뛰는데, 그 이유는 이 데이터가 아직 존재하지 않기 때문이다(이 데이터는 MEMS가 센서 어레이를 제2 위치로 이동시켜서 다른 측정 프레임을 포획한 후에 이용가능할 것이다). 그런 후, 행 4와 행 5가 (트랜잭션들에 의해 도시된 바와 같이) 유형 1 메모리 저장장치 내에 저장된다. 하지만, 행 2와 행 3는 유형 2 데이터이며, 이에 따라, 유형 2 데이터는, 충분한 메모리 공간 내에 동일한 유형의 데이터(예컨대, IR 데이터)의 행 1과 행 2를 저장하는 것을 건너뛴 후에, 나머지 다른 저장 메모리(IR 메모리) 내에 저장되는데, 그 이유는 이 데이터가 아직 존재하지 않기 때문이다(이 데이터는 MEMS가 센서 어레이를 제1 위치로 이동시켜서 다른 측정 프레임을 포획한 후에 이용가능할 것이다). (트랜잭션들에 의해 도시된 바와 같이) 행 2과 행 3을 저장한 후, 충분한 메모리 공간 내에 동일한 유형의 데이터(예컨대, IR 데이터)의 행 4와 행 5를 저장하는 것을 건너뛰는데, 그 이유는 이 데이터가 아직 존재하지 않기 때문이다(이 데이터는 MEMS가 센서 어레이를 제1 위치로 이동시켜서 다른 측정 프레임을 포획한 후에 이용가능할 것이다). 그런 후, 현재 프레임으로부터의 행 6과 행 7이 유형 2 메모리 저장장치 내에 저장되는 식으로 진행된다.
센서가 도 17에서 도시된 바와 같이 제2 위치로 이동되고 다른 데이터 세트가 수집되면, 트랜잭션들에 의해 도시된 바와 같이, 행 2와 행 3의 누락된 비디오 데이터를 저장하기 위해, 행 2와 행3의 위치에서 두 개의 행들만큼 상방향 이동된 후 물리적으로 위치되는 행 4와 행 5가 이제 각각 이용된다. 이 경우, 행 0, 행 1, 행 4 및 행 5는 유형 2의 데이터이며, 이것들은 도시된 바와 같이, 도 16에서의 트랜잭션들에 의해, 행 0과 행 1의 유형 2 데이터에 대한 각자의 적절한 위치에 저장된다. 동일한 개념이 전체 센서 어레이에 수직적으로 적용된다.
이 프로세스의 결론으로, 센서의 풀 해상도로, 모든 유형 1 데이터는 하나의 메모리(예컨대, 칼라 이미지 행 저장장치) 내에 인접하게 저장되는 반면에, 모든 유형 2 데이터는, 메모리(예컨대, IR 이미지 행들 저장장치) 내에 저장된다.
픽셀 레이아웃은 응용예들에 따라 변경될 수 있다. 예를 들어, 인터레이싱은 수평 방향을 따라 행해질 수 있는데, 달리 말하면, 하나의 열(column)의 칼라 필터 커버 픽셀들이 있으며, 다음 열은 적외선 민감 픽셀들이다. 이 경우, 센서 픽셀 어레이는 픽셀의 수평 길이와 동일한 양만큼 수평 방향을 따라 이동한다.
동일한 아이디어를 따라, 하나의 유형의 측정 해상도에 비해 다른 유형의 측정 해상도를 희생시켜서(예컨대 깊이 데이터 대비 높은 비디오 데이터의 해상도를 가짐) 상이한 픽셀 패턴들이 또한 구현될 수 있다. 예를 들어, 센서가 비디오 데이터에 대해서는 보다 높은 해상도를 갖는 반면에, 깊이 데이터의 해상도는 희생되는 것이 바람직한 경우, 칼라 필터 커버 픽셀들의 매 네 개의 행들마다 두 개의 행들의 적외선 민감 픽셀들이 이용될 수 있다. 이 경우, 픽셀 어레이는 두 개의 픽셀들 만큼 수직 방향을 따라 이동하며, 이에 따라, 적외선 데이터의 수직 해상도의 두 개의 행들을 손실시키면서 풀 베이어 패턴이 재구축된다. 수평 방향으로 인터레이싱이 행해지는 경우에 있어서 동일한 접근법이 적용될 수 있다. 이해할 바와 같이, 센서와 시스템 아키텍처가 구현될 수 있는 조합들은 여러 개 있다. 하지만, 본 개시내용의 교시내용은 동일하기 유지되는데, 즉, 본 교시내용은 마이크로센서들을 인터레이싱하고 센서를 이동시켜서 인터레이싱된 영역을 커버하는 것이다("인터레이싱 및 이동").
많은 실시예들에서, 어레이의 이동 및 멈춤은 도 10에서 400과 401로 라벨표시된 제한 스위치들에 의해 안내된다. 이 스위치들은 이미지 어레이가 이동될 때, 이러한 제한 스위치들이 각자의 상태를 변경시키게 할 때, 예컨대, OFF로부터 ON(또는 그 반대)으로 변경되게 할 때, 해당 어레이가 자신의 최종 목적지에 도달하였다는 것을 시그널링하기 위해, 이미지 어레이의 여정의 종착지가 감지된다. 이것은 어레이를 이동시키는 액추에이팅 회로가 자신의 동작을 중단시키게 해준다. 이 때 어레이는 자신의 새로운 위치에 머무르게 된다. 센서 어레이의 구성에 따라 센서 어레이의 데이터를 저장하기 위한 신호들을 제한 스위치로부터 대응 회로에 전송하기 위해 제한 스위치들 각각은 대응 회로에 결합된다.
제한 스위치들 각각은 제한 스위치의 상태의 변경을 표시하기 위한 신호를 대응 회로에 전송하도록 구성된다. 센서 어레이가 제1 위치에 도달하면, 제한 스위치는 센서 어레이가 제1 구성을 포함한다는 것을 표시하기 위한 제1 신호를 대응 회로에 전송한다. 센서 어레이가 제2 위치에 도달하면, 제한 스위치는 센서 어레이가 제2 구성을 포함한다는 것을 표시하기 위한 제2 신호를 대응 회로에 전송한다.
도 15와 도 16의 실시예들에 따르면, 센서 어레이가 하단부 제한 스위치(도 15에서 700으로 라벨표시됨)과 접촉할 때, 하단부 위치에 있는 센서 어레이는 센서 어레이의 제1 구성을 포함한다. 센서 어레이가 상단부 위치로 이동할 때, 센서 어레이는 제2 구성을 포함하며, 여기서 센서 어레이의 이동은 상단부 제한 스위치(도 16에서 701로 라벨표시됨)와 접촉하여 이 상단부 제한 스위치를 액추에이팅시킬 때 제한된다. 많은 실시예들에서, 센서 어레이가 희망 위치에 도달할 때 제한 스위치들은 신호를 대응 회로에 제공하며, 이것은 스위치의 위치에 의해 마킹된다. 많은 실시예들에 따르면, 예컨대, 센서 어레이가 두 개보다 많은 위치들에서 멈추는 실시예들에서, 제한 스위치는 두 개보다 많은 제한 스위치들을 포함할 수 있다.
제2 구현 접근법(제2
실시예와
제3
실시예
)
제1 접근법과는 달리, 제2 접근법은 동일한 마이크로센서를 이용하여 상이한 유형들의 데이터를 측정하며, 즉 동일한 픽셀이 가시 데이터와 IR 데이터 둘 다를 측정한다. 이것은 단지 일정 유형의 데이터를 통과시키고 다른 유형(들)은 차단시키며, 그런 후 이 다른 유형을 통과시키고 첫번째 것을 차단시키는 적절한 필터들로 픽셀을 준비하는 것에 의해서 달성될 수 있다.
이것은 MEMS를 이용하여, 적외선 민감 픽셀과 가시광 픽셀로 왔다갔다 변환하는 필터들로 각각의 픽셀을 커버하여 달성된다.
이 접근법에서, 각각의 픽셀 그 자체는 마이크로렌즈로 커버되지만, 칼라 필터들, IR 투과, 또는 IR 차단 필터로 커버되지는 않는다.
적외선 또는 제2 동작 모드에서, 픽셀은 (명백하게는 카메라 렌즈를 제외하고) 임의의 필터의 도중의 경로 간섭 없이 입사광에 노출된다. 가시광 또는 제1 동작 모드에서, MEMS는 매 픽셀(적색, 녹색, 또는 청색)에 대한 적절한 칼라 필터와 IR 필터를 갖는 게이트를 작동시킨다. 도 15에서, 이미지 센서 어레이의 이러한 개념이 하나의 픽셀의 단면을 이용하여 도시된다.
각각의 픽셀은 입사광을 수집하고 이 광을 해당 광의 세기의 함수인 전기 신호로 변환시키는 것을 담당하는 광전 영역을 갖는다. 도 17에서는 이러한 영역의 측면도 또는 단면도가 도시된다. (픽셀에 따라 적색, 녹색, 또는 청색 중 하나를 위한) 가시광 투과 필터 및 IR 차단 필터를 지니는 광 필터 어셈블리 또는 "게이트"(직사각형 또는 장방형 구조물)의 단면은 픽셀이 입사광을 받도록 하는 게이트 개방 위치 또는 픽셀에 부딪치는 광으로부터 IR 및 일정 가시광 스펙트럼을 제거하도록 하는 게이트 폐쇄 위치로 회전될 수 있다. (좌측 아래에 도시된) 게이트 개방 위치에서, 픽셀은 적외선 광에 민감할 것인 반면에, (우측 아래에 도시된) 게이트 폐쇄 위치에서, 픽셀은 이 특정 픽셀용으로 이용된 칼라 필터에 따라, 청색, 적색, 또는 녹색 중 하나인, 가시광의 희망 파장 스펙트럼에 민감한 이미지 픽셀로서 역할을 할 것이다. IR 및 칼라 필터들을 배치하기 전에 도어의 최상단 상에 투명 물질층(유리일 수 있음)이 덮혀진다. 광 필터 어셈블리가 (우측 아래에 도시된) 폐쇄 위치에 있을 때 광을 통과시키도록 광 필터 어셈블리가 중앙으로부터 개방된다는 사실로 인해 이 층은 IR 및 칼라 필터 둘 다를 지원하기 위해 배치된 것이다.
도 18은 게이트 접근법의 보다 복잡한 변형인 제2 실시예를 도시하는데, 여기서는 IR 통과 필터가 적외선 광 취득 모드에 있을 때 IR 통과 필터가 픽셀에 적용되도록 두 개의 게이트들이 이용된다. 도 18에서, 도 18의 가운데 중앙에 두 개의 게이트들이 있다. 카메라가 비디오 이미지를 취득하고 있을 때(도 18의 우측 아래), 적외선 통과 필터가 "경로 밖"에 있고, 픽셀에 부딪치는 광의 경로에 칼라 필터들과 적외선 차단 필터가 있도록 게이트는 폐쇄되고 다른 게이트는 개방된다. 카메라가 적외선 이미지 취득 모드에 놓여지면, 그 반대가 행해지는데, 즉, 도 18의 좌측 아래에서 도시된 바와 같이, 픽셀에 부딪치는 광의 경로에 IR 통과 필터가 있도록 게이트가 회전되거나 또는 폐쇄되면서 게이트는 경로 밖으로 회전된다.
이 실시예의 다른 제3 변형은 픽셀 단위와는 반대로 전체 픽셀 어레이를 커버하도록 게이트들을 충분히 크게 하는 것이다. 유리로 된 게이트들과 동일한 개념의 두 개의 게이트들이 있을 수 있거나, 또는 이 게이트들은 (제조 용이성에 따라) 유리 평면으로 커버된 직사각형 프레임들일 수 있고, 이 게이트들은 전체 픽셀 어레이 상에서 폐쇄되거나 또는 개방될 수 있다. 매 픽셀 상에 있는 게이트와 비교하여, 이러한 해결책은 보다 단순하지만, 게이트들을 개방시키고 폐쇄시키는 데 필요한 관성을 보다 많이 갖게 되는 고충을 가질 수 있고, 어느 쪽을 따라 개방되고 폐쇄되는 지에 따라, 이제, 픽셀 어레이만큼 높고 전체 픽셀 어레이만큼 긴(또는 폭이 넓은), 게이트의 개방을 수용하기 위해 픽셀 어레이 위에 수직 공간을 필요로 할 것이다.
양자의 접근법들은 R, G, B 픽셀 어레이의 풀 해상도 베이어 패턴뿐만이 아니라, 풀 해상도 적외선 민감 픽셀 어레이를 제공할 수 있다. 그러므로,
1. 칼라 필터 패턴은 여전히 베이어 패턴으로서 보존되며, 이에 따라, 기존에 이용가능한 모든 픽셀 프로세서 소프트웨어 및 하드웨어가 이 이미지/깊이 센서와 호환가능할 것이다. 이것은 주요 장점인데, 그 이유는 베이어 패턴 프로세싱은 극도로 완성된 것이며 (CCD뿐만이 아니라) CMOS 카메라들을 위한 이미지 프로세싱 시스템들에 있어서 거의 표준이기 때문이다. 하지만, 본 실시예들은 임의의 패턴에 적용될 수 있으며, 또한 R, G, B 광 통과 필터들은 이들의 조합이 백색을 비롯하여, 모든 색상을 제공할 수 있는 한, (시안, 마젠타, 및 옐로우 또는 다른 것들과 같은) 칼라 필터들의 임의의 다른 삼원색일 수 있다는 점은 주목할 만한 가치가 있다.
2. 전체 센서가 이동되는 제1 접근법에서, 일반적인 CMOS 비디오 센서들의 일반적인 제조로부터의 일탈은 제한된다. 따라서, 이 제1 실시예를 손쉽게 구현하도록 본 기술은 손쉬운 완성체이다. 또한, MEMS로부터 필요한 이동은 간단하다.
적외선 측정으로부터의 깊이 계산
본 개시내용이 적외선 측정을 의미하는 바는 그 파장이 적외선 광 스펙트럼에 속하는 광, 또는 이보다는 구조광 패턴들의 이용이다. 그리고, 그 이유는 이러한 광 패턴들과, 이미지 취득과 같은, 다른 "인지가능한" 또는 "시각적" 이미징 기능간의 간섭을 회피하여 이러한 광들이 취득된 이미지 내에서 "나타나지" 않도록 하기 위한 것이다. 구조광은 픽셀들의 알려진 패턴을 장면 내에 투사하는 프로세스이다. 이러한 광 패턴들은 라인, 그리드, 및/또는 원형의 형태들로 존재할 수 있다. 이 광 패턴들이 표면들에 부딪칠 때 변형되는 방식은 비젼 시스템들이 장면 내의 객체들의 깊이 및 표면 정보를 산출할 수 있도록 해준다. 또는, 이러한 형상들은 상이한 주파수들을 갖는, 사인파 함수 또는 구형파 함수의 형태로 등급화된 광 세기와 같은, 함수들의 형태로 있을 수 있다. 투사광으로부터 센서에 의해 검출된 "위상"의 변화는 장면 내의 해당 지점의 깊이의 함수이다. 이러한 알고리즘들과 그 여러 강화책들을 다루는 공개문헌들이 다수 있다. 본 실시예에서는, 이러한 알고리즘들 중에서 임의의 것이 활용될 수 있다. 육안으로 볼 수 없는(또는 인지가능하지 않는) 구조광은 간섭을 일으키지 않을 파장들을 갖는 광을 이용한다.
B. 픽셀 어레이를 갖는 디지털 회로의 실시예
본 개시내용은 동일한 어레이로 하나보다 많은 유형의 데이터의 측정을 달성하기 위해 단일 픽셀 어레이 시스템 온 칩을 설계하는 상이한 접근법들을 다룬다. 이제, 이러한 "칩"의 예시적인 실시예를 보여줄 것이다. 본 개시내용은 데이터가 두 개 유형들의 감지 데이터의 혼합인 경우 센서로부터 나온 데이터를 메모리 내에 저장하는 방법론을 심화적으로 설명한다. 상기 사항을 구현하는 디지털 시스템의 실시예를 아래에서 설명한다.
픽셀 어레이는 동시적으로 하나보다 많은 유형의 데이터(비디오 이미지를 형성하기 위해 이용되는 가시광, 및 깊이 측정을 계산하기 위해 이용되는 적외선 광)를 측정한다. 픽셀 어레이는 상술한 상이한 실시예들 중 임의의 실시예에서 구현될 수 있다. MEMS를 갖춘 픽셀 어레이가 단일 칩 상에 함께 인캡슐레이트된다. 이미지 프로세싱 시스템 동작은 이미지 프로세싱 유닛이라고 불리우는 프로세싱 유닛에 의해 제어된다. 이미지 프로세싱 유닛은 (어레이를 이동시킴으로써) 이미지 프로세싱 시스템이, 복합적인 유형 1 데이터(예컨대, 가시 데이터 모드) 및 유형 2 데이터(예컨대, IR 모드) 감지의 제1 동작 모드, 또는 복합적인 유형 1 데이터와 유형 2 데이터 감지의 제2 동작 모드에 놓여 있게 한다. 또는, 다른 실시예에서, 일정 모드에서는 유형 1 데이터를 감지하고, 다른 모드에서는 유형 2 데이터를 감지한다. 이미지 프로세싱 시스템 모드는 도 7에서의 중앙 프로세싱 유닛(CPU)에 의해 제어된다. CPU는 또한 (도 7에서의 배선 버스를 거쳐서) 도 10에서의 타이밍 회로를 구동시키는데, 이 타이밍 회로는 이차원 어레이 이미지 센서가 장면을 "감지"(이미지를 스내핑)하도록 하는 타이밍을 트리거시킨다. 그 후, 이 타이밍 회로는 센서 어레이를 구동시켜서 센서 어레이로부터 독출 버스를 통해 마이크로센서들(픽셀들) 내에 수집된 데이터를 독출하게 한다. 데이터는 (센서 설계를 위해 이용된 접근법에 따라) 유형 1과 유형 2일 수 있거나 또는 이 둘 다일 수 있다. 그런 후, 이 두 개의 유형들의 데이터(픽셀 데이터)는 CPU와 메모리에 의해 프로세싱되고 수집되어 유형 1 데이터 (메모리)와 유형 2 데이터 (메모리)의 각자의 적절한 대응 저장장치 내에 저장된다.
데이터는 혼합된 방식으로 저장되지 않지만, 여기서 논의된 실시예들 중 하나에서는 데이터가 혼합된 방식으로 수집된다. 유형 1 데이터(예컨대, 비디오 데이터)는 비디오 프레임 저장 영역 내에 저장되는 반면에, 유형 2 데이터(예컨대, IR 데이터)는 깊이 프레임 저장 영역 내에 저장된다. 이제, 이미지 프로세싱 시스템은 (픽셀 어레이가 당면해 있는 동작 모드에 따라) 유형 1 데이터, 즉 비디오 이미지, 또는 유형 2 데이터, 즉 IR 이미지를 생성할 수 있고, 이미지는 대응 영역(비디오 모드의 경우에는 비디오 메모리, 그리고 깊이 모드의 경우에는 깊이 메모리) 내에 저장되며, 이 둘 다는 나중에 애플리케이션들에서 이용될 것이다. CPU는 또한 비디오 및 IR의 모든 프로세싱을 달성하는 픽셀 프로세서일 수 있다. 베이어 패턴의 비디오 프로세싱의 경우, CPU가 각각의 픽셀에 대한 칼라 성분들 RGB를 계산하기 위해 픽셀 보간이 이용된다. 다른 동작들은, 비제한적인 예시로서, 디지털 이득, 화이트 밸런스, (RGB로부터 YCrCb로의) 칼라 공간 변환, 및 감마 보정을 포함한다. 적외선 데이터 프로세싱의 경우, CPU는, 비제한적인 예시로서, 데이터 노이즈 제거 및 패턴 변형 인식, 및 깊이 데이터 및/또는 객체 형상 복구를 수행한다. CPU는 IR 이미지를 (대중에게 잘 알려진 이용가능한 알고리즘들을 이용하여) 깊이 데이터를 산출하기 위해 IR 이미지를 이용하고, 이 깊이 데이터를 깊이 프레임 저장장치 내에 저장하거나 또는, 이 깊이 데이터는 여기서의 실시예들을 포함할 시스템들 상에서 구동될 다른 애플리케이션들로 넘겨질 수 있다. 모듈들 간의 데이터 전송이 디지털 버스(들)을 이용하여 수행된다. 버스는 센서와 버스로부터 나온 데이터를 판독하고, 이 데이터를 센서에 기록하기 위해 이용된다. 디지털 로직 용어에 있어서, 버스는 획득된 디지털 데이터가 디지털 시스템에서 하나의 디지털 회로로부터 다른 디지털 회로로 이 시스템 내에서 전송되도록 해주는 복수의 배선들이다.
깊이를 계산하기 위해 이용될 유용한 IR 데이터를 수집하기 위해, 이미지 프로세싱 시스템은 장면 상에 하나 이상의 광 패턴들을 투사시킨다. 이에 따라, 이미지 프로세싱 시스템은 하나 이상의 적외선 광 방출기들을 가질 수 있다. IR 방출기들은 픽셀 어레이의 주변 모든 곳에 배치될 수 있다. 또한, 각각의 방출기는 깊이 측정에서 이용되는 상이한 패턴을 투사시킬 수 있다. 광 패턴이 장면 상에 투사되고, 장면으로부터의 패턴의 반사가 상이한 연산 알고리즘들을 이용하여 픽셀 어레이에 의해 수신되며, 장면의 깊이 데이터가 계산된다. 바람직하게는, 광 패턴은 사용자에게 보여질 수 없고, 그렇지 않고, 장면은, 사용자에게 친숙해져 있는 통상적인 이미지 스내핑 및 포획과 매우 간섭을 일으키는, 사용자에게 출현하는 "인공적" 광 패턴들로 채워질 것이다. 그러므로, 장면은 장면과 간섭을 일으키는 그 어떠한 가시적인 것도 없어야 되며, 이에 따라 사용자가 포획중에 있는 이미지 내에 기록될 것이다.
언급한 바와 같이, MEMS는 본 개시내용의 센서 어레이가 동일한 마이크로센서 (픽셀) 어레이를 이용하여 상이한 유형들의 데이터를 수집하게 해줄 수 있다. 이미지 프로세싱 시스템은 본 센서 어레이 시스템의 일정 부분들을 이동시킴으로써 이러한 상이한 유형들의 데이터의 측정을 달성한다. 상이한 실시예들에서, MEMS는 하나 이상의 컴포넌트들을 이동시키는데, 이것은 이미지 프로세싱 시스템의 구성에 따라 달라질 수 있다. 하지만, MEMS는 동일한 센서 어레이가 두 개의 상이한 유형들의 데이터(이것은 비디오 이미지와 IR 이미지로서 설명되어 왔음)를 전달할 수 있는 목표를 달성하도록 모든 실시예들에서 구현된다.
칩 상의 다른 센서 컴포넌트들은, 비제한적인 예시로서,
A. 상이한 패턴들을 갖춘 적외선 방출기들 - 이것들은 도 10에서의 센서 어레이의 최상단 상에서 세 개의 원들로서 도시되어 있다(그리고 도 17에서도 도시되어 있다) 적외선 방출기들이 적외선 마이크로센서들에 의해 가시적이고 일반적인 가시광 마이크로센서들(칼라 이미지 픽셀들)에 대해서는 비가시적인 한, 적외선 방출기들이 작동할 때의 파장 대역과 분배 및 방출기들의 개수에 대해서는 사실상 제한이 없다.
B. 칩 상의 MEMS 마이크로폰 어레이
C. X-Y-Z 가속도계들 및 X-Y-Z 자이로들
D. 이미지 취득 동안에 퀄리티를 개선시키는 것을 지원하기 위한 스트로브 광, 즉 (도 19에서의) 플래시
응용예들
이미징 및 깊이 캡처에 대한 단일 칩 해결책을 갖는 장점들과 그 높은 집적도로 인해, 제안된 칩 상 이미지 프로세싱 시스템은 다음의 비제한적인 예시에서 이용될 수 있다.
1. 게이밍. 깊이 센서와 비디오 센서 둘 다로서 역할을 하는, 광을 방출하는 단일 칩을 구비함에 의한 높은 집적도는 시스템 내의 어떠한 비디오 카메라도 본 발명으로 대체될 수 있도록 해준다. 이것은 사실상 모든 컴퓨팅 및 통신 디바이스들 상의 3D 이미징 응용예들의 통합을 촉진시킨다.
2. 컴퓨팅 및 통신 디바이스들을 위한 휴먼 사용자 인터페이스들. 여기서는 랩탑과 모바일 디바이스 및 표면 상호작용 컴퓨팅 패드 상의 모든 카메라들을 대체시킬 수 있다. 이것은 본 디바이스가 이미지 센서, 또는 깊이 센서, 또는 이 둘 다로서 이용될 수 있는 신규한 응용예들을 불러일으킬 것이다.
3. 디바이스 상의 3D 카메라의 존재로 인해 모바일 디바이스, 태블릿, 및 랩탑 상에 코딩될 증강 현실 응용예들이 매우 촉진될 것이다. 그 이유는 3D 데이터, 비디오 데이터가 단일 센서로 통합되기 때문이다. 증강 현실 응용예들에서, 이러한 데이터(장면의 비디오 및 삼차원 데이터, 이것들은 동일한 센서로부터 나오고 있기 때문에 이것들은 이미 함께 공간적으로 조화를 이룬다)는 상이한 응용예들, 즉 비디오 게이밍, 교육, 트레이닝, 및 마케팅에 적합한 삼차원 그래픽과 통합된다.
4. 범행자의 3D 추적이 달성되는 보안/감시(이것은 신규한 알고리즘들을 생성할 수 있다).
5. 3D 프린팅. 본 센서는 센서에 의해 취득되고 측정들로부터 3D 데이터를 복구하도록 프로세싱되는 3D 데이터를 프린팅하여 이 3D 데이터를 프린터에 보내기 위한 하드웨어와 소프트웨어를 포함하는 디지털 시스템을 거쳐 인터페이싱될 수 있다.
본 개시내용의 예시적인 시스템들과 방법들을 마이크로센서 어레이들과 관련하여 설명하여 왔다. 하지만, 본 개시내용을 불필요하게 모호하게 하는 것을 회피하기 위해, 전술된 설명은 이미 알려져 있는 복수의 구조물들과 디바이스들을 생략한다. 이러한 생략은 청구범위들의 범위들의 제한으로서 간주되어서는 안된다. 본 개시내용의 이해를 제공하기 위해 특정 상세사항들이 진술된다. 하지만, 본 개시내용은 여기서 진술된 특정 상세사항들을 넘어 다양한 방법들로 실시될 수 있다는 것을 이해해야 한다.
또한, 여기서 논의된 예시적인 양태들, 실시예들, 및/또는 구성들은 시스템의 공동위치된 다양한 컴포넌트들을 보여주지만, 시스템의 어떤 컴포넌트들은 LAN 및/또는 인터넷과 같은 분배 네트워크의 원거리 부분들에서, 원격적으로 위치되거나 또는 전용 시스템 내에 위치될 수 있다. 따라서, 시스템의 컴포넌트들은 카메라 또는 다른 이미징 디바이스와 같은 하나 이상의 디바이스들 내로 결합될 수 있거나, 또는 아날로그 및/또는 디지털 원격통신 네트워크, 패킷 스위치 네트워크, 또는 회로 스위치 네트워크와 같은 분배 네트워크의 특정 노드 상에 공동위치될 수 있다는 것을 이해해야 한다. 연산 효율성의 이유로 이전 설명으로부터 이해될 바와 같이, 시스템의 컴포넌트들은 시스템의 동작에 영향을 미치지 않고서 컴포넌트들의 분배 네트워크 내의 임의의 위치에서 배열될 수 있다. 예를 들어, 다양한 컴포넌트들이 서버 내, 하나 이상의 연산 디바이스들 내, 하나 이상의 사용자의 부지 내, 또는 이들의 몇몇의 조합으로 위치될 수 있다. 마찬가지로, 시스템의 하나 이상의 기능 부분들은 관련된 컴퓨팅 디바이스와 원격통신 디바이스(들) 사이에 분포될 수 있다.
또한, 엘리먼트들을 연결시키는 다양한 링크들은 유선 또는 무선 링크들이거나, 또는 이들의 조합이거나, 또는 연결된 엘리먼트들에게/로부터 데이터를 공급하고/공급하거나 전달할 수 있는 임의의 다른 공지되거나 또는 나중에 개발될 엘리먼트(들)일 수 있다는 것을 이해해야 한다. 이러한 유선 또는 무선 링크들은 또한 보안 링크들일 수 있으며, 암호 정보를 전달할 수 있을 수 있다. 예를 들어, 링크들로서 이용된 전송 매체는 동축 케이블, 구리선 및 광섬유를 비롯하여, 전기 신호들을 위한 임의의 적절한 캐리어일 수 있고, 무선파 및 적외선 데이터 통신 동안에 생성되는 것과 같은, 음파 또는 광파의 형태를 취할 수 있다.
또한, 흐름도들이 특정 이벤트들의 시퀀스와 연결시켜서 논의되고 예시되었지만, 이 시퀀스에 대한 변경, 추가, 및 생략이 여기서 개시된 실시예들, 구성, 및 양태들의 동작에 실질적으로 영향을 미치지 않고서 발생할 수 있다는 것을 이해해야 한다.
본 개시내용의 복수의 변형들과 수정들이 이용될 수 있다. 본 개시내용의 몇몇 특징들을 다른 특징을 제공하지 않으면서 제공하는 것이 가능할 것이다.
예를 들어, 하나의 대안적인 실시예에서, 본 개시내용의 센서 어레이는 베이어 패턴 이외의 다른 패턴들을 위해 이용될 수 있다.
다른 대안적인 실시예에서, 희망하는 유형의 데이터의 수집을 일으키기 위해 센서 어레이는 정지 상태로 남는 반면에, 하나 이상의 광학 필터들은 센서 어레이 위를 이동한다. 예를 들어, 제1 모드에서, 유형 2 데이터를 제거하기 위한 광 필터의 존재 또는 부존재 하에서 유형 1 데이터가 픽셀들로부터 수집되며, 제2 모드에서, 유형 2 데이터를 수집하기 위해 유형 1 데이터를 제거하되 유형 2 데이터를 통과시키기 위한 필터가 MEMS에 의해 센서 어레이 위를 이동한다.
또다른 실시예에서, 센서 어레이가 이동하고, 센서 어레이는 동작 모드에 따라 센서 어레이 내의 하나 이상의 픽셀들 위에 위치한 상이한 광 필터들을 갖는다. 이 실시예는 결국 도 13, 도 17 및 도 18의 실시예들의 조합이다.
또다른 실시예에서, 본 개시내용의 시스템과 방법은 특수 목적 컴퓨터, 프로그래밍된 마이크로프로세서 또는 마이크로제어기 및 주변 집적 회로 엘리먼트(들), ASIC 또는 다른 집적 회로, 디지털 신호 프로세서, 개별 엘리먼트 회로와 같은 하드 와이어드 전자 또는 로직 회로, 프로그래밍가능한 로직 디바이스 또는 PLD, PLA, FPGA, PAL과 같은 게이트 어레이, 특수 목적 컴퓨터, 임의의 이에 필적가능한 수단 등과 결합되어 구현될 수 있다. 일반적으로, 여기서 예시된 방법을 구현할 수 있는 임의의 디바이스(들) 또는 수단이 본 개시내용의 다양한 양태들을 구현하는 데에 이용될 수 있다. 개시된 실시예들, 구성들 및 양태들을 위해 이용될 수 있는 예시적인 하드웨어는 컴퓨터, 핸드헬드 디바이스, 전화기(예컨대, 셀룰러, 인터넷 가능 디지털, 아날로그, 하이브리드, 및 기타 등등), 및 본 업계에서 알려져 있는 다른 하드웨어를 포함한다. 이러한 디바이스들 중 몇몇은 프로세서들(예컨대, 단일 또는 다중 마이크로프로세서들), 메모리, 비휘발성 저장장치, 입력 디바이스들, 및 출력 디바이스들을 포함한다. 또한, 비제한적인 예시로서, 분배 프로세싱 또는 컴포넌트/객체 분배 프로세싱, 병렬 프로세싱, 또는 가상 머신 프로세싱을 비롯한, 대안적인 소프트웨어 구현들이 또한 여기서 설명된 방법을 구현하기 위해 구축될 수 있다.
또다른 실시예에서, 개시된 방법은 다양한 컴퓨터 또는 워크스테이션 플랫폼 상에서 이용될 수 있는 휴대형 소스 코드를 제공하는 객체 또는 객체지향 소프트웨어 개발 환경들을 이용한 소프트웨어와 함께 손쉽게 구현될 수 있다. 대안적으로, 개시된 시스템은 표준 로직 회로들 또는 VLSI 설계를 이용하여 부분적으로 또는 완전히 하드웨어로 구현될 수 있다. 본 개시내용에 따른 시스템을 구현하기 위해 소프트웨어가 이용되는지 또는 하드웨어가 이용되는지는 시스템의 속도 및/또는 효율성 요건들, 특정 기능, 및 활용되는 특정 소프트웨어 또는 하드웨어 시스템들 또는 마이크로프로세서 또느 마이크로컴퓨터 시스템들에 의존한다.
또다른 실시예에서, 개시된 방법은 저장 매체 상에 저장되고, 제어기와 메모리, 특수 목적 컴퓨터, 마이크로프로세서 등의 협력으로 일반 목적 컴퓨터 상에 프로그래밍되어 실행될 수 있는 소프트웨어로 부분적으로 구현될 수 있다. 이 경우들에서, 본 개시내용의 시스템과 방법은 애플릿, JAVA® 또는 CGI 스크립트 또는 C++과 같은 컴파일된 언어 소프트웨어와 같이 개인 컴퓨터 상에 임베딩된 프로그램으로서, 그리고 전용 측정 시스템, 시스템 컴포넌트 등 내에 임베딩된 루틴으로서 구현될 수 있다. 시스템은 또한 시스템 및/또는 방법을 소프트웨어 및/또는 하드웨어 시스템 내에 물리적으로 병합시킴으로써 구현될 수 있다.
본 개시내용은 양태들, 실시예들, 및/또는 구성들에서 구현되는 컴포넌트들 및 기능들을 특정 표준안들과 프로토콜들을 참조하여 설명하였지만, 이러한 양태들, 실시예들, 및/또는 구성들은 이러한 표준안들과 프로토콜들로 제한되지 않는다. 여기서 언급되지 않은 다른 유사한 표준안들과 프로토콜들이 현존하며, 이것들은 본 개시내용 내에 포함되는 것으로 간주된다. 또한, 여기서 언급된 표준안들과 프로토콜들 및 여기서 언급되지 않은 이와 유사한 다른 표준안들과 프로토콜들은 본질적으로 동일한 기능들을 갖는 보다 빠르거나 보다 효율적인 등가물들에 의해 주기적으로 대체된다. 동일한 기능들을 갖는 이러한 대체 표준안들과 프로토콜들은 본 개시내용 내에 포함되는 등가물들로서 간주된다.
본 개시내용은, 다양한 양태들, 실시예들, 구성 실시예들, 이들의 서브조합들 및/또는 이들의 서브세트들을 비롯하여, 다양한 양태들, 실시예들, 및/또는 구성들에서, 여기서 실질적으로 도시되고 설명된 컴포넌트들, 방법들, 프로세스들, 시스템들, 및/또는 장치를 포함한다. 본 업계의 당업자는 본 개시내용을 이해한 후, 개시된 양태들, 실시예들, 및/또는 구성들을 실시하고 이용하는 방법을 이해할 것이다. 본 개시내용은, 다양한 양태들, 실시예들, 및/또는 구성들에서, 여기서 도시되고/도시되거나 설명되지 않은 아이템들의 부재하에, 또는 예컨대, 성능을 개선시키고, 수월성을 달성하고/달성하거나 구현 비용을 감소시키기 위해, 이전 디바이스들 또는 프로세스들에서 이용될 수 있는 이러한 아이템들의 부재를 비롯하여, 이들의 양태들, 실시예들, 및/또는 구성들에서, 디바이스들과 프로세스들을 제공하는 것을 포함한다.
전술한 논의는 예시와 설명을 목적으로 제공되었다. 전술된 내용은 본 개시내용을 여기서 개시된 형태 또는 형태들로 제한시키려는 의도가 없다. 예컨대, 전술한 상세한 설명에서, 본 개시내용의 다양한 특징들은 본 개시내용의 간소화를 위해 하나 이상의 양태들, 실시예들, 및/또는 구성들에서 함께 그룹화된다. 본 개시내용의 양태들, 실시예들, 및/또는 구성들의 특징들은 위에서 논의된 것 이외의 다른 대안적인 양태들, 실시예들, 및/또는 구성들에서 결합될 수 있다. 본 개시내용의 방법은 본 발명을 반영시킨 것으로서 간주되어서는 안되며, 청구범위들은 각각의 청구범위에서 명시적으로 언급한 것 이외의 다른 보다 많은 특징들을 필요로 한다. 이보다는, 아래의 청구범위들에서 반영된 바와 같이, 본 발명 양태들은 전술한 단일의 개시된 양태, 실시예, 및/또는 구성의 모든 특징들보다 적은 수의 특징들에 놓여 있다. 따라서, 아래의 청구범위들은 이러한 상세한 설명 내로 병합되며, 각각의 청구범위는 본 개시내용의 개별적인 선호 실시예로서 자립한다.
또한, 본 상세한 설명은 하나 이상의 양태들, 실시예들, 및/또는 구성들 및 일정한 변형들과 수정들의 설명을 포함하지만, 예컨대, 본 개시내용의 이해 후, 본 업계의 당업자의 기술과 지식 내에 있을 수 있는, 다른 변형들, 조합들, 및 수정들이 본 개시내용의 범위 내에 있다. 대안체, 상호교환가능 및/또는 등가적인 구조물들, 기능들, 범위들 또는 단계들이 여기서 개시되어 있는지에 상관없이, 그리고 임의의 특허가능한 주제를 공개적으로 진술하려는 의도 없이, 이러한 청구범위에 대한 대안체, 상호교환가능 및/또는 등가적인 구조물들, 기능들, 범위들 또는 단계들을 비롯하여, 허용되는 정도의 대안적인 양태들, 실시예들 및/또는 구성들을 포함하는 권리를 획득하고자 의도하는 바이다.
본 발명의 바람직한 실시예들이 여기서 도시되고 설명되었지만, 이러한 실시예들이 단지 예시로서 제공되었을 뿐이라는 것은 본 업계의 당업자에게는 자명할 것이다. 수많은 변형들, 변경들, 및 치환들이 본 발명으로부터 벗어나지 않고서 이제 본 업계의 당업자에게 떠오를 것이다. 여기서 설명된 본 발명의 실시예들에 대한 다양한 대안들이 본 발명을 실시에서 활용될 수 있다는 것을 이해해야 한다. 아래의 청구범위들은 본 발명의 범위를 정의한다는 것과, 이들 청구범위들의 범위 및 그 등가물들의 방법들 및 구조물들이 그에 따라 커버된다는 것을 유념해둔다.
Claims (36)
- 장치에 있어서,
(a) 베이어 패턴(Bayer pattern) 데이터를 감지하기 위한 제1 복수의 인접한 선형 어레이들의 쌍들, 및 상이한 유형의 데이터를 감지하기 위해 상기 제1 복수의 인접한 선형 어레이들의 쌍들 사이에 위치한, 상이한 패턴들을 갖는 제2 복수의 인접한 선형 어레이들의 쌍들 상에 배치된 복수의 베이어 패턴들을 포함한 센서 어레이;
(b) 제1 위치로부터 제2 위치로 상기 센서 어레이를 이동시키기 위한 액추에이터 - 상기 제1 복수의 인접한 선형 어레이들의 쌍들의 물리적 위치들은 상기 제2 복수의 인접한 선형 어레이들의 쌍들의 물리적 위치들과 교호함 -; 및
(c) 상기 제1 위치와 상기 제2 위치 각각으로부터 상기 베이어 패턴 데이터 및 상기 상이한 유형의 데이터를 출력하기 위해 상기 액추에이터와 상기 센서 어레이에 결합된 회로
를 포함하는 장치. - 제1항에 있어서,
상기 베이어 패턴 데이터의 각각의 픽셀은 상기 제1 위치 또는 상기 제2 위치와 연관되어 출력되며,
상기 상이한 유형의 데이터의 각각의 픽셀은 상기 제1 위치 또는 상기 제2 위치와 연관되어 출력되는 것인 장치. - 제1항에 있어서,
상기 상이한 패턴은 적외선 필터 패턴, 자외선 필터 패턴, 넌 베이어(non-Bayer) 가시광 필터 패턴, 또는 필터를 포함하지 않는 패턴 중 하나 이상을 포함하는 것인 장치. - 제1항에 있어서,
상기 제1 복수의 인접한 선형 어레이들의 쌍들의 각각의 쌍들은 두 개의 인접한 쌍들을 포함하고,
상기 제2 복수의 인접한 선형 어레이들의 쌍들 각각은 두 개의 인접한 선형 어레이들의 쌍들을 포함하는 것인 장치. - 제1항에 있어서,
상기 제1 복수의 인접한 선형 어레이들의 쌍들 각각은 세 개 이상의 인접한 선형 어레이들의 쌍들을 포함하고,
상기 제2 복수의 인접한 선형 어레이들의 쌍들 각각은 세 개 이상의 인접한 선형 어레이들의 쌍들을 포함하는 것인 장치. - 제1항에 있어서,
상기 센서 어레이가 상기 제1 위치에 위치해 있을 때를 시그널링하기 위한 제1 제한 스위치와, 상기 센서 어레이가 상기 제2 위치에 위치해 있을 때를 시그널링하기 위한 제2 제한 스위치
를 더 포함하고,
상기 회로는, 상기 센서 어레이가 제1 위치로 이동 중에 있다는 것을 제1 제한 스위치가 감지한 것에 응답하여 제1 위치에서 상기 센서 어레이의 제1 복합 데이터를 통합시키고, 상기 센서 어레이가 제2 위치로 이동 중에 있다는 것을 제2 제한 스위치가 감지한 것에 응답하여 상기 센서 어레이의 제2 복합 데이터를 통합시키도록 구성된 것인 장치. - 제1항에 있어서,
상기 회로는, 상기 제1 복합 데이터와 상기 제2 복합 데이터로부터 상기 베이어 패턴 데이터를 생성하고, 상기 제1 복합 데이터와 상기 제2 복합 데이터로부터 상이한 유형의 데이터를 생성하도록 구성된 것인 장치. - 제1항에 있어서,
상기 회로는, 상기 센서 어레이를 상기 제1 위치로 이동시켜서 상기 제1 위치에서 상기 센서 어레이의 제1 데이터를 측정하며 상기 센서 어레이를 상기 제2 위치로 이동시켜서 상기 제2 위치에서 상기 센서 어레이의 제2 데이터를 측정하기 위한 명령어들을 포함하고,
상기 프로세서는, 베이어 패턴을 갖는 상기 제1 복수의 인접한 선형 어레이들의 쌍들로부터 제1 풀 프레임 이미지를 제공하며 상이한 패턴을 갖는 상기 제2 복수의 인접한 선형 어레이들의 쌍들로부터 제2 풀 프레임 이미지를 출력하기 위한 명령어들을 더 포함하고,
상기 센서 어레이는 복수의 픽셀들을 포함하며,
상기 제1 풀 프레임 이미지와 상기 제2 풀 프레임 이미지 각각은 상기 센서 어레이의 복수의 픽셀들을 포함한 것인 장치. - 제1항에 있어서,
상기 액추에이터는 마이크로 전기기계 시스템(micro-electrical mechanical system)을 포함한 것인 장치. - 제1항에 있어서,
복수의 베이어 패턴들 각각은 적색광을 감지하기 위한 적색 픽셀, 청색광을 감지하기 위한 청색 픽셀, 및 녹색광을 감지하기 위한 대각 녹색 픽셀들의 쌍을 포함한 것인 장치. - 제1항에 있어서,
상기 센서 어레이들로부터 생성된 출력을 저장하기 위한 디지털 데이터 저장장치
를 더 포함하는 장치. - 제1항에 있어서,
출력을 디지털 데이터 저장장치에 전송시키는 것, 이미지 취득의 타이밍, 어레이들의 이동, 회로를 구성하는 것, 이미지 정보를 구성하는 것, 및 이미지들을 생성하는 것 중 하나 이상을 제어하기 위한 디지털 신호 프로세서를 더 포함하는 장치. - 시스템에 있어서,
(a) 제1 유형의 데이터와 제2 유형의 데이터를 감지하도록 동작가능한 센서 어레이 - 상기 제1 유형의 데이터와 상기 제2 유형의 데이터는 상이함 -; 및
(b) (1) 공통 위치에서, 상기 센서 어레이의 상이한 센서들이 상기 제1 유형의 데이터와 상기 제2 유형의 데이터의 상이한 데이터들을 캡처하도록 하기 위한 상기 센서 어레이와, (2) 필터의 위치에 따라 상기 제1 유형의 데이터 또는 상기 제2 유형의 데이터를 선택된 센서가 캡처할 수 있도록 상기 센서 어레이의 센서들 중 적어도 하나의 센서 위에 위치한 상기 필터, 중 적어도 하나를 이동시키기 위한 마이크로 전기기계 시스템(micro-electrical mechanical system; MEMS)
을 포함하는 시스템. - 제13항에 있어서,
제1 동작 모드에서, 제1 복합 프레임이 상기 센서 어레이에 의해 캡처되며,
제2 동작 모드에서, 제2 복합 프레임이 상기 센서 어레이에 의해 캡처되고,
상기 제1 복합 프레임과 상기 제2 복합 프레임 각각은 제1 유형의 데이터와 제2 유형의 데이터를 포함하고,
상기 제1 복합 프레임과 상기 제2 복합 프레임은 상기 제1 유형의 데이터만을 포함하는 제1 프레임과 상기 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할되고,
상기 제1 프레임과 상기 제2 프레임은 상이한 개별적인 컴퓨터 판독가능 매체 내에 저장되며,
상기 제1 유형의 데이터는 가시광이며,
상기 제2 유형의 데이터는 적외선광인 것인 시스템. - 제13항에 있어서,
제1 동작 모드에서, 제1 복합 프레임이 상기 상기 센서 어레이에 의해 캡처되며,
제2 동작 모드에서, 제2 복합 프레임이 상기 센서 어레이에 의해 캡처되고,
상기 제1 복합 프레임과 상기 제2 복합 프레임 각각은 제1 유형의 데이터와 제2 유형의 데이터를 포함하고,
상기 제1 복합 프레임과 상기 제2 복합 프레임은 상기 제1 유형의 데이터만을 포함하는 제1 프레임과 상기 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할되고,
상기 제1 프레임과 상기 제2 프레임은 상이한 비중첩 메모리 위치들 내에 저장되며,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이며,
상기 제2 유형의 데이터는 적외선광인 것인 시스템. - 제13항에 있어서,
상기 센서 어레이는 상기 제1 유형의 데이터를 감지하기 위한 제1 세트의 센서들과 상기 제2 유형의 데이터를 감지하기 위한 제2 세트의 센서들을 포함하고,
상기 제1 세트의 센서들은 상기 제2 세트의 센서들과는 상이한 멤버쉽을 가지며,
상기 MEMS는, 상기 제1 프레임과 상기 제2 프레임을 각각 수집하기 위해, 상기 센서 어레이를 제1 위치에서 제2 위치로 이동시키는 것인 시스템. - 제16항에 있어서,
상기 제1 세트의 센서들과 상기 제2 세트의 센서들은 서로 인터레이싱(interlace)되고,
상기 인터레이싱은 행(row) 단위로 및/또는 열(column) 단위로 행해지며,
상기 MEMS에 의한 상기 센서 어레이의 이동의 거리 및 방향은 활용된 인터레이싱의 유형의 함수인 것인 시스템. - 제13항에 있어서,
선택된 센서가 상기 필터의 위치에 의존하여 상기 제1 유형의 데이터 또는 상기 제2 유형의 데이터를 캡처할 수 있도록, 상기 MEMS는 상기 센서들 중 적어도 하나의 센서 위에 위치한 필터를 이동시키는 것인 시스템. - 제18항에 있어서,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이고,
상기 제2 유형의 데이터는 적외선광이며,
상기 필터는, 실질적으로, (a) 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하거나, 또는 (b) 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단하며,
제1 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 필터를 상기 선택된 센서 위에 위치시키고,
제2 동작 모드에서, 상기 MEMS는 필터링되지 않은 광이 상기 선택된 센서와 접촉하도록 상기 필터를 상기 선택된 센서로부터 제거시키는 것인 시스템. - 제18항에 있어서,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이고,
상기 제2 유형의 데이터는 적외선광이며,
제1 필터는 실질적으로, 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하고,
제2 필터는 실질적으로, 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단하며,
제1 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 제2 필터가 아닌, 상기 제1 필터를 상기 선택된 센서 위에 위치시키고,
제2 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 제1 필터가 아닌, 상기 제2 필터를 상기 선택된 센서 위에 위치시키는 것인 시스템. - 방법에 있어서,
(a) 제1 시구간 동안, 센서 어레이에 의해, 제1 유형의 데이터 및/또는 제2 유형의 데이터를 수집하는 단계 - 상기 제1 유형의 데이터와 상기 제2 유형의 데이터는 상이함 -;
(b) (1) 공통 위치에서, 상기 센서 어레이의 상이한 센서들이 상기 제1 유형의 데이터와 상기 제2 유형의 데이터의 상이한 데이터들을 캡처하도록 하기 위한 상기 센서 어레이와, (2) 필터의 위치에 따라 상기 제1 유형의 데이터 또는 상기 제2 유형의 데이터를 선택된 센서가 캡처할 수 있도록 상기 센서들 중 적어도 하나의 센서 위에 위치한 상기 필터 중, 적어도 하나를, 마이크로 전기기계 시스템(MEMS)에 의해 이동시키는 단계; 및
(c) 제2 시구간 동안, 상기 MEMS에 의한 이동 후, 상기 센서 어레이에 의해, 상기 제1 유형의 데이터 및/또는 상기 제2 유형의 데이터를 수집하는 단계
를 포함하는 방법. - 제21항에 있어서,
제1 동작 모드에서, 제1 복합 프레임이 상기 센서 어레이에 의해 캡처되며,
제2 동작 모드에서, 제2 복합 프레임이 상기 센서 어레이에 의해 캡처되고,
상기 제1 복합 프레임과 상기 제2 복합 프레임 각각은 제1 유형의 데이터와 제2 유형의 데이터를 포함하고,
상기 제1 복합 프레임과 상기 제2 복합 프레임은 상기 제1 유형의 데이터만을 포함하는 제1 프레임과 상기 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할되고,
상기 제1 프레임과 상기 제2 프레임은 상이한 개별적인 컴퓨터 판독가능 매체 내에 저장되며,
상기 제1 유형의 데이터는 가시광이며,
상기 제2 유형의 데이터는 적외선광인 것인 방법. - 제21항에 있어서,
제1 동작 모드에서, 제1 복합 프레임이 상기 센서 어레이에 의해 캡처되며,
제2 동작 모드에서, 제2 복합 프레임이 상기 센서 어레이에 의해 캡처되고,
상기 제1 복합 프레임과 상기 제2 복합 프레임 각각은 제1 유형의 데이터와 제2 유형의 데이터를 포함하고,
상기 제1 복합 프레임과 상기 제2 복합 프레임은 상기 제1 유형의 데이터만을 포함하는 제1 프레임과 상기 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할되고,
상기 제1 프레임과 상기 제2 프레임은 상이한 비중첩 메모리 위치들 내에 저장되며,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이며,
상기 제2 유형의 데이터는 적외선광인 것인 방법. - 제21항에 있어서,
상기 센서 어레이는 상기 제1 유형의 데이터를 감지하기 위한 제1 세트의 센서들과 상기 제2 유형의 데이터를 감지하기 위한 제2 세트의 센서들을 포함하고,
상기 제1 세트의 센서들은 상기 제2 세트의 센서들과는 상이한 멤버쉽을 가지며,
상기 MEMS는, 상기 제1 프레임과 상기 제2 프레임을 각각 수집하기 위해, 상기 센서 어레이를 제1 위치에서 제2 위치로 이동시키는 것인 방법. - 제24항에 있어서,
상기 제1 세트의 센서들과 상기 제2 세트의 센서들은 서로 인터레이싱(interlace)되고,
상기 인터레이싱은 행(row) 단위로 및/또는 열(column) 단위로 행해지며,
상기 MEMS에 의한 상기 센서 어레이의 이동의 거리 및 방향은 활용된 인터레이싱의 유형의 함수인 것인 방법. - 제21항에 있어서,
선택된 센서가 상기 필터의 위치에 의존하여 제1 유형의 데이터 또는 제2 유형의 데이터를 캡처할 수 있도록, 상기 MEMS는 상기 센서들 중 적어도 하나의 센서 위에 위치한 상기 필터를 이동시키는 것인 방법. - 제26항에 있어서,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이고,
상기 제2 유형의 데이터는 적외선광이며,
상기 필터는, 실질적으로, (a) 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하거나, 또는 (b) 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단하며,
제1 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 필터를 상기 선택된 센서 위에 위치시키고,
제2 동작 모드에서, 상기 MEMS는 필터링되지 않은 광이 상기 선택된 센서와 접촉하도록 상기 필터를 상기 선택된 센서로부터 제거시키는 것인 방법. - 제26항에 있어서,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이고,
상기 제2 유형의 데이터는 적외선광이며,
제1 필터는 실질적으로, 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하고,
제2 필터는 실질적으로, 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단하며,
제1 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 제2 필터가 아닌, 상기 제1 필터를 상기 선택된 센서 위에 위치시키고,
제2 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 제1 필터가 아닌, 상기 제2 필터를 상기 선택된 센서 위에 위치시키는 것인 방법. - 마이크로프로세서로 실행가능한 명령어들을 포함한 비일시적인 유형적 컴퓨터 판독가능 매체에 있어서, 상기 명령어들은, 상기 마이크로프로세서에 의해 실행될 때, 적어도 다음의 단계들, 즉,
(a) 제1 시구간 동안, 센서 어레이에 의해, 제1 유형의 데이터 및/또는 제2 유형의 데이터를 수집하는 단계 - 상기 제1 유형의 데이터와 상기 제2 유형의 데이터는 상이함 -;
(b) (1) 공통 위치에서, 상기 센서 어레이의 상이한 센서들이 상기 제1 유형의 데이터와 상기 제2 유형의 데이터의 상이한 데이터들을 캡처하도록 하기 위한 상기 센서 어레이와, (2) 필터의 위치에 따라 상기 제1 유형의 데이터 또는 상기 제2 유형의 데이터를 선택된 센서가 캡처할 수 있도록 상기 센서들 중 적어도 하나의 센서 위에 위치한 상기 필터, 중 적어도 하나를, 마이크로 전기기계 시스템(MEMS)에 의해 이동시키는 단계; 및
(c) 제2 시구간 동안, 상기 MEMS에 의한 이동 후, 상기 센서 어레이에 의해, 상기 제1 유형의 데이터 및/또는 상기 제2 유형의 데이터를 수집하는 단계
를 수행하도록 동작가능한 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제29항에 있어서,
제1 동작 모드에서, 제1 복합 프레임이 상기 센서 어레이에 의해 캡처되며,
제2 동작 모드에서, 제2 복합 프레임이 상기 센서 어레이에 의해 캡처되고,
상기 제1 복합 프레임과 상기 제2 복합 프레임 각각은 제1 유형의 데이터와 제2 유형의 데이터를 포함하고,
상기 제1 복합 프레임과 상기 제2 복합 프레임은 상기 제1 유형의 데이터만을 포함하는 제1 프레임과 상기 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할되고,
상기 제1 프레임과 상기 제2 프레임은 상이한 개별적인 컴퓨터 판독가능 매체 내에 저장되며,
상기 제1 유형의 데이터는 가시광이며,
상기 제2 유형의 데이터는 적외선광인 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제29항에 있어서,
제1 동작 모드에서, 제1 복합 프레임이 상기 센서 어레이에 의해 캡처되며,
제2 동작 모드에서, 제2 복합 프레임이 상기 센서 어레이에 의해 캡처되고,
상기 제1 복합 프레임과 상기 제2 복합 프레임 각각은 제1 유형의 데이터와 제2 유형의 데이터를 포함하고,
상기 제1 복합 프레임과 상기 제2 복합 프레임은 상기 제1 유형의 데이터만을 포함하는 제1 프레임과 상기 제2 유형의 데이터만을 포함하는 제2 프레임으로 분할되고,
상기 제1 프레임과 상기 제2 프레임은 상이한 비중첩 메모리 위치들 내에 저장되며,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이며,
상기 제2 유형의 데이터는 적외선광인 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제29항에 있어서,
상기 센서 어레이는 상기 제1 유형의 데이터를 감지하기 위한 제1 세트의 센서들과 상기 제2 유형의 데이터를 감지하기 위한 제2 세트의 센서들을 포함하고,
상기 제1 세트의 센서들은 상기 제2 세트의 센서들과는 상이한 멤버쉽을 가지며,
상기 MEMS는, 상기 제1 프레임과 상기 제2 프레임을 각각 수집하기 위해, 상기 센서 어레이를 제1 위치에서 제2 위치로 이동시키는 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제32항에 있어서,
상기 제1 세트의 센서들과 상기 제2 세트의 센서들은 서로 인터레이싱(interlace)되고,
상기 인터레이싱은 행(row) 단위로 및/또는 열(column) 단위로 행해지며,
상기 MEMS에 의한 상기 센서 어레이의 이동의 거리 및 방향은 활용된 인터레이싱의 유형의 함수인 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제29항에 있어서,
선택된 센서가 상기 필터의 위치에 의존하여 제1 유형의 데이터 또는 제2 유형의 데이터를 캡처할 수 있도록, 상기 MEMS는 상기 센서들 중 적어도 하나의 센서 위에 위치한 상기 필터를 이동시키는 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제34항에 있어서,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이고,
상기 제2 유형의 데이터는 적외선광이며,
상기 필터는, 실질적으로, (a) 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하거나, 또는 (b) 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단하며,
제1 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 필터를 상기 선택된 센서 위에 위치시키고,
제2 동작 모드에서, 상기 MEMS는 필터링되지 않은 광이 상기 선택된 센서와 접촉하도록 상기 필터를 상기 선택된 센서로부터 제거시키는 것인 비일시적인 유형적 컴퓨터 판독가능 매체. - 제34항에 있어서,
상기 제1 유형의 데이터는 적색광, 청색광, 및 녹색광 중 하나 이상이고,
상기 제2 유형의 데이터는 적외선광이며,
제1 필터는 실질적으로, 적외선광을 통과시키되 적색광, 청색광, 및 녹색광 중 하나 이상을 차단하고,
제2 필터는 실질적으로, 적색광, 청색광, 및 녹색광 중 하나 이상을 통과시키되 적외선광을 차단하며,
제1 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 제2 필터가 아닌, 상기 제1 필터를 상기 선택된 센서 위에 위치시키고,
제2 동작 모드에서, 상기 MEMS는 광이 상기 선택된 센서와 접촉하기 전에 광을 필터링하기 위해 상기 제1 필터가 아닌, 상기 제2 필터를 상기 선택된 센서 위에 위치시키는 것인 비일시적인 유형적 컴퓨터 판독가능 매체.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361961031P | 2013-10-04 | 2013-10-04 | |
| US61/961,031 | 2013-10-04 | ||
| US201361961821P | 2013-10-25 | 2013-10-25 | |
| US61/961,821 | 2013-10-25 | ||
| US201461925339P | 2014-01-09 | 2014-01-09 | |
| US61/925,339 | 2014-01-09 | ||
| US14/306,844 | 2014-06-17 | ||
| US14/306,844 US8917327B1 (en) | 2013-10-04 | 2014-06-17 | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
| PCT/US2014/059101 WO2015051274A1 (en) | 2013-10-04 | 2014-10-03 | A method to use array sensors to measure multiple types of data at full resolution of the sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160085254A true KR20160085254A (ko) | 2016-07-15 |
Family
ID=52101857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167011617A KR20160085254A (ko) | 2013-10-04 | 2014-10-03 | 어레이 센서들을 이용하여 센서의 풀 해상도로 여러 유형들의 데이터를 측정하는 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US8917327B1 (ko) |
| EP (1) | EP3053096A4 (ko) |
| JP (2) | JP2016533695A (ko) |
| KR (1) | KR20160085254A (ko) |
| CN (1) | CN105830090A (ko) |
| WO (1) | WO2015051274A1 (ko) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015178509A1 (ko) * | 2014-05-19 | 2015-11-26 | 삼성전자 주식회사 | 이종 화소 구조를 갖는 이미지 센서 |
| US20160205378A1 (en) * | 2015-01-08 | 2016-07-14 | Amir Nevet | Multimode depth imaging |
| US9911023B2 (en) * | 2015-08-17 | 2018-03-06 | Hand Held Products, Inc. | Indicia reader having a filtered multifunction image sensor |
| KR102147361B1 (ko) * | 2015-09-18 | 2020-08-24 | 삼성전자주식회사 | 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법 |
| KR102100228B1 (ko) | 2015-10-05 | 2020-04-13 | 하이만 센서 게엠베하 | 모놀리식 집적된 신호 처리를 갖는 고분해능 서모파일 적외선 센서 어레이 |
| US9936151B2 (en) | 2015-10-16 | 2018-04-03 | Capsovision Inc | Single image sensor for capturing mixed structured-light images and regular images |
| US10785428B2 (en) | 2015-10-16 | 2020-09-22 | Capsovision Inc. | Single image sensor for capturing mixed structured-light images and regular images |
| WO2017068652A1 (ja) * | 2015-10-20 | 2017-04-27 | オリンパス株式会社 | 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 |
| KR20180118189A (ko) | 2016-03-01 | 2018-10-30 | 매직 립, 인코포레이티드 | 깊이 감지 시스템들 및 방법들 |
| US10048413B2 (en) * | 2016-06-07 | 2018-08-14 | Goodrich Corporation | Imaging systems and methods |
| CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454288B (zh) * | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
| CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| US10484623B2 (en) * | 2016-12-20 | 2019-11-19 | Microsoft Technology Licensing, Llc | Sensor with alternating visible and infrared sensitive pixels |
| EP3343246A1 (en) * | 2016-12-30 | 2018-07-04 | Xenomatix NV | System for characterizing surroundings of a vehicle |
| US10339631B2 (en) | 2017-01-11 | 2019-07-02 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
| US10275855B2 (en) | 2017-01-11 | 2019-04-30 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
| CN109756713B (zh) * | 2017-11-08 | 2021-12-21 | 超威半导体公司 | 图像捕获装置、执行处理的方法以及计算机可读介质 |
| WO2019164578A2 (en) * | 2018-01-03 | 2019-08-29 | Flir Systems Ab | Dynamic determination of radiometric values using multiple band sensor array systems and methods |
| KR101960018B1 (ko) * | 2018-01-16 | 2019-03-19 | 국방과학연구소 | 전방 센서기하 결정 방법 및 장치 |
| WO2020015821A1 (en) * | 2018-07-17 | 2020-01-23 | Vestel Elektronik Sanayi Ve Ticaret A.S. | A device having exactly two cameras and a method of generating two images using the device |
| US12092513B2 (en) | 2018-12-03 | 2024-09-17 | Sonelite Inc. | Multi-wavefield flow sensing devices and related methods |
| RU2694742C1 (ru) * | 2019-02-05 | 2019-07-16 | Вячеслав Михайлович Смелков | Способ формирования цифрового видеосигнала на кристалле сенсора, изготовленном по технологии КМОП |
| CN114208153B (zh) * | 2019-08-20 | 2023-03-10 | 华为技术有限公司 | 不使用防抖的多重拍摄图像捕获 |
| US11595625B2 (en) * | 2020-01-02 | 2023-02-28 | Qualcomm Incorporated | Mechanical infrared light filter |
| CN112616007B (zh) * | 2020-12-31 | 2022-06-17 | 维沃移动通信有限公司 | 电子设备及其摄像模组 |
| KR20220132301A (ko) * | 2021-03-23 | 2022-09-30 | 삼성전자주식회사 | 신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법 |
| WO2024008305A1 (en) * | 2022-07-08 | 2024-01-11 | Telefonaktiebolaget Lm Ericsson (Publ) | An image sensor system, a camera module, an electronic device and a method for operating a camera module for detecting events using infrared |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3617887B2 (ja) * | 1996-10-14 | 2005-02-09 | シャープ株式会社 | 撮像装置 |
| JP4536170B2 (ja) * | 1996-12-27 | 2010-09-01 | シャープ株式会社 | 撮像装置 |
| US6046772A (en) * | 1997-07-24 | 2000-04-04 | Howell; Paul | Digital photography device and method |
| US6657663B2 (en) * | 1998-05-06 | 2003-12-02 | Intel Corporation | Pre-subtracting architecture for enabling multiple spectrum image sensing |
| US6747690B2 (en) * | 2000-07-11 | 2004-06-08 | Phase One A/S | Digital camera with integrated accelerometers |
| WO2003032627A1 (en) * | 2001-09-11 | 2003-04-17 | Deltapix Aps | A method and apparatus for producing a high resolution image |
| JP2004266709A (ja) * | 2003-03-04 | 2004-09-24 | Victor Co Of Japan Ltd | 撮像装置 |
| JP3906202B2 (ja) * | 2003-12-15 | 2007-04-18 | 株式会社東芝 | 固体撮像装置およびそれを利用した撮像システム |
| US7746396B2 (en) * | 2003-12-17 | 2010-06-29 | Nokia Corporation | Imaging device and method of creating image file |
| JP2005260383A (ja) * | 2004-03-10 | 2005-09-22 | Nec Corp | 画像入力装置及びそれに用いる画像入力方法 |
| US7420592B2 (en) * | 2004-06-17 | 2008-09-02 | The Boeing Company | Image shifting apparatus for enhanced image resolution |
| JP4627640B2 (ja) * | 2004-07-09 | 2011-02-09 | Ｈｏｙａ株式会社 | ステージ装置及びこのステージ装置を利用したカメラの手振れ補正装置 |
| KR100615277B1 (ko) * | 2004-08-18 | 2006-08-25 | 엠텍비젼 주식회사 | 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치 |
| CN101427372B (zh) * | 2004-08-25 | 2012-12-12 | 普罗塔里斯菲洛有限责任公司 | 用于多个相机装置的设备和操作该设备的方法 |
| JP2006165975A (ja) * | 2004-12-07 | 2006-06-22 | Konica Minolta Photo Imaging Inc | 撮像素子、撮像装置、画像処理方法 |
| US7568628B2 (en) * | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
| US7697049B1 (en) * | 2005-05-04 | 2010-04-13 | Samsung Electrics Co., Ltd. | Better SNR ratio for downsized images using interlaced mode |
| US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
| JP2007189376A (ja) * | 2006-01-12 | 2007-07-26 | Matsushita Electric Ind Co Ltd | 固体撮像装置及びカメラモジュール |
| US7916362B2 (en) * | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| JP2008079172A (ja) * | 2006-09-25 | 2008-04-03 | Mitsubishi Electric Corp | ２波長イメージセンサおよび２波長イメージセンサを用いた撮像方法 |
| US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
| JP2011523538A (ja) * | 2008-05-20 | 2011-08-11 | ペリカン イメージング コーポレイション | 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理 |
| KR101499540B1 (ko) * | 2008-10-24 | 2015-03-06 | 삼성전자주식회사 | 이미지 촬상 장치와 이를 이용한 이미지 처리 방법 |
| KR101668869B1 (ko) | 2009-05-29 | 2016-10-28 | 삼성전자주식회사 | 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법 |
| KR101648201B1 (ko) | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
| JP5220777B2 (ja) * | 2010-01-21 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
| CN102203800B (zh) * | 2010-01-21 | 2015-09-23 | 计量仪器公司 | 包含光学滤波器的标记阅读终端 |
| US8345117B2 (en) * | 2010-06-30 | 2013-01-01 | Hand Held Products, Inc. | Terminal outputting monochrome image data and color image data |
| KR101710514B1 (ko) | 2010-09-03 | 2017-02-27 | 삼성전자주식회사 | 깊이 센서 및 이를 이용한 거리 추정 방법 |
| GB2485609B (en) | 2010-11-22 | 2018-02-14 | Daqri Holographics Ltd | Holographic systems |
| KR101861765B1 (ko) | 2011-03-03 | 2018-05-29 | 삼성전자주식회사 | 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서 |
| KR20120119279A (ko) * | 2011-04-21 | 2012-10-31 | 삼성전자주식회사 | 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서 |
| KR101802243B1 (ko) | 2011-05-06 | 2017-11-29 | 삼성전자주식회사 | 비행 시간 방식의 거리 측정 센서와 이를 포함하는 반도체 장치 |
| US8657200B2 (en) * | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
| US9270974B2 (en) | 2011-07-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Calibration between depth and color sensors for depth cameras |
| CN103168272B (zh) | 2011-10-13 | 2017-06-09 | 松下知识产权经营株式会社 | 进深推定摄像装置以及摄像元件 |
-
2014
- 2014-06-17 US US14/306,844 patent/US8917327B1/en not_active Expired - Fee Related
- 2014-10-03 US US15/026,750 patent/US20160255288A1/en not_active Abandoned
- 2014-10-03 JP JP2016546890A patent/JP2016533695A/ja active Pending
- 2014-10-03 CN CN201480066621.8A patent/CN105830090A/zh active Pending
- 2014-10-03 EP EP14850551.4A patent/EP3053096A4/en not_active Withdrawn
- 2014-10-03 KR KR1020167011617A patent/KR20160085254A/ko not_active Application Discontinuation
- 2014-10-03 WO PCT/US2014/059101 patent/WO2015051274A1/en active Application Filing
- 2014-11-12 US US14/538,948 patent/US9076703B2/en active Active
-
2019
- 2019-02-13 JP JP2019023963A patent/JP2019110564A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN105830090A (zh) | 2016-08-03 |
| US9076703B2 (en) | 2015-07-07 |
| US20160255288A1 (en) | 2016-09-01 |
| WO2015051274A1 (en) | 2015-04-09 |
| US20150097108A1 (en) | 2015-04-09 |
| JP2016533695A (ja) | 2016-10-27 |
| EP3053096A1 (en) | 2016-08-10 |
| EP3053096A4 (en) | 2017-04-12 |
| JP2019110564A (ja) | 2019-07-04 |
| US8917327B1 (en) | 2014-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160085254A (ko) | 어레이 센서들을 이용하여 센서의 풀 해상도로 여러 유형들의 데이터를 측정하는 방법 | |
| US9749521B2 (en) | Image sensor with in-pixel depth sensing | |
| EP3605606B1 (en) | Imaging system comprising an infrared light source and an image sensor | |
| CN108462844B (zh) | 用于像素合并和读出的方法和装置 | |
| US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
| US7274393B2 (en) | Four-color mosaic pattern for depth and image capture | |
| US9319611B2 (en) | Image sensor with flexible pixel summing | |
| US8767047B2 (en) | Angle sensitive pixel (ASP)-based image processing system, method, and applications | |
| CN106161890B (zh) | 成像装置、成像系统以及信号处理方法 | |
| CN204697179U (zh) | 具有像素阵列的图像传感器 | |
| US20140198240A1 (en) | Next generation imaging methods and systems | |
| KR20180059478A (ko) | 마스크리스 위상 검출 오토포커스 | |
| US20040174446A1 (en) | Four-color mosaic pattern for depth and image capture | |
| CN207573459U (zh) | 成像系统 | |
| TWI567963B (zh) | 在彩色濾波器陣列上之光學隔離柵格 | |
| US20040169748A1 (en) | Sub-sampled infrared sensor for use in a digital image capture device | |
| JP2017005644A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| US20170070687A1 (en) | Systems with Integrated Refractive and Diffractive Optics | |
| US11988849B2 (en) | Imaging device and method | |
| US20240107186A1 (en) | Rgbir camera module | |
| TW202413899A (zh) | 多光譜光學感測器、攝影機系統及視差補償方法 | |
| EP4248649A1 (en) | Colour filter array for image sensor and image capture apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |