KR20220159829A - 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치 - Google Patents
넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치 Download PDFInfo
- Publication number
- KR20220159829A KR20220159829A KR1020210067898A KR20210067898A KR20220159829A KR 20220159829 A KR20220159829 A KR 20220159829A KR 1020210067898 A KR1020210067898 A KR 1020210067898A KR 20210067898 A KR20210067898 A KR 20210067898A KR 20220159829 A KR20220159829 A KR 20220159829A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sensor
- processor
- color gamut
- electronic device
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000004075 alteration Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 239000003381 stabilizer Substances 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101000583150 Homo sapiens Membrane-associated phosphatidylinositol transfer protein 3 Proteins 0.000 description 2
- 102100030351 Membrane-associated phosphatidylinositol transfer protein 3 Human genes 0.000 description 2
- DZSYJVXGONVNKA-UHFFFAOYSA-L NIR-1 dye Chemical compound [K+].[K+].C1=CC2=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C=C2C(C2(C)C)=C1[N+](CC)=C2C=CC=CC=CC=C1C(C)(C)C2=CC(C(O)=O)=CC=C2N1CCCCS([O-])(=O)=O DZSYJVXGONVNKA-UHFFFAOYSA-L 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101000583145 Homo sapiens Membrane-associated phosphatidylinositol transfer protein 1 Proteins 0.000 description 1
- 102100030353 Membrane-associated phosphatidylinositol transfer protein 1 Human genes 0.000 description 1
- AUQMGYLQQPSCNH-UHFFFAOYSA-L NIR-2 dye Chemical compound [K+].[K+].C1=CC2=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C=C2C(C2(C)C)=C1[N+](CC)=C2C=CC=CC=C1C(C)(C)C2=CC(C(O)=O)=CC=C2N1CCCCS([O-])(=O)=O AUQMGYLQQPSCNH-UHFFFAOYSA-L 0.000 description 1
- QPGIGKMACFTHAH-UHFFFAOYSA-L NIR-4 dye Chemical compound [K+].[K+].[O-]S(=O)(=O)CCCCN1C2=CC=C(C(O)=O)C=C2C(C)(C)C1=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(S([O-])(=O)=O)C=C2C1(C)C QPGIGKMACFTHAH-UHFFFAOYSA-L 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H04N9/04557—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/841—Camera processing pipelines; Components thereof for processing colour signals to modify gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H04N5/2258—
-
- H04N5/3765—
-
- H04N9/04517—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
실시예에 따른 영상 획득 장치는 제 1 파장 대역 기반의 제 1 영상을 획득하는 제 1 이미지 센서; 상기 제 1 파장 대역보다 넓은 제 2 파장 대역 기반의 제 2 영상을 획득하는 제 2 이미지 센서; 및 상기 제 1 영상 및 상기 제 2 영상으로부터, 상기 제 1 영상에 대응하는 공간 해상도와 상기 제 2 영상에 대응하는 색역을 가지는 제 3 영상을 형성하는 프로세서;를 포함한다. 영상 획득 장치는 높은 공간 해상도와 넓은 색역의 영상을 제공할 수 있다.
Description
개시된 실시예들은 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.
영상 센서는 피사체로부터 입사되는 빛을 수광하고, 수광된 빛을 광전 변환하여 전기적 신호를 생성하는 장치이다.
영상 센서는 컬러 표현을 위해, 통상, 적색광, 녹색광, 청색광을 선택적으로 투과시키는 필터 요소들의 어레이로 이루어진 컬러 필터를 사용하며, 각 필터 요소를 투과한 빛의 양을 센싱한 후, 영상 처리를 통해 피사체에 대한 컬러 영상을 형성한다.
이러한 영상 획득에 있어, 컬러 필터에 구비되는 필터 요소들이 투과시키는 파장 대역이 한정되므로, 피사체를 표현하는 색역이 제한된다.
넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.
실시예에 따르면, 제 1 파장 대역 기반의 제 1 영상을 획득하는 제 1 이미지 센서; 상기 제 1 파장 대역보다 넓은 제 2 파장 대역 기반의 제 2 영상을 획득하는 제 2 이미지 센서; 및 상기 제 1 영상 및 상기 제 2 영상으로부터, 상기 제 1 영상에 대응하는 공간 해상도와 상기 제 2 영상에 대응하는 색역을 가지는 제 3 영상을 형성하는 프로세서;를 포함하는, 영상 획득 장치가 제공된다.
상기 프로세서는 상기 제 1 영상의 화소값을 상기 제 2 영상의 화소값을 참조하여 보정하여 상기 제 3 영상을 형성할 수 있다.
상기 프로세서는 상기 제 1 영상과 상기 제 2 영상을 이차원 평면 상에서 정합하고, 상기 제 1 영상의 화소들과 상기 제 2 영상의 화소들의 대응관계를 파악한 후, 상기 제 1 영상의 화소값을 보정할 수 있다.
상기 프로세서는 상기 제 1 영상과 상기 제 2 영상에 대해 수차 보정을 수행한 후 상기 정합을 수행할 수 있다.
상기 영상 획득 장치는 상기 제 3 영상 또는 상기 제 1 영상을 출력하는 영상 출력부를 더 포함할 수 있다.
상기 영상 출력부는 상기 제 1 영상과, 상기 제 3 영상과 상기 제 1 영상의 차 영상을 출력할 수 있다.
상기 제 1 영상은 제 1 색역을 나타내고, 상기 제 3 영상은 상기 제 1 색역보다 넓은 제 2 색역을 나타낼 수 있다.
상기 제 1 이미지 센서는 복수의 제 1 센싱 요소가 어레이된 제 1 센서층과 상기 제 1 센서층 상에 배치되며, 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함하는 컬러 필터를 구비하는, 제 1 화소 어레이를 포함할 수 있다.
상기 제 2 이미지 센서는 복수의 제 2 센싱 요소가 어레이된 제 2 센서층과 상기 제 2 센서층 상에 배치되며, 투과 파장 대역이 다른 복수의 유닛 필터로 이루어진 필터 그룹이 반복 배열된 분광 필터를 구비하는, 제 2 화소 어레이를 포함할 수 있다.
상기 복수의 유닛 필터 각각의 투과 파장 대역은 가시광선을 포함하며 가시광선 대역 보다 넓은 파장 대역에 포함될수 있다.
상기 필터 그룹은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들을 포함할 수 있다.
상기 제 1 화소 어레이와 상기 제 2 화소 어레이는 같은 회로 기판 상에 수평적으로 이격되게 배치될 수 있다.
상기 제 1 센서층으로부터의 신호를 처리하는 제 1 회로 요소들과, 상기 제 2 센서층으로부터의 신호를 처리하는 제 2 회로 요소들이 상기 회로 기판에 구비될 수 있다.
상기 영상 획득 장치는 상기 제 1 회로 요소들, 상기 제 2 회로 요소들의 동작을 동기시키는 타이밍 컨트롤러를 더 포함할 수 있다.
상기 영상 획득 장치는 상기 제 1 영상에 관한 데이터, 상기 제 2 영상에 관한 데이터가 저장되는 메모리를 더 포함할 수 있다.
상기 메모리는 상기 회로 기판 내에 구비될 수 있다.
상기 영상 획득 장치는 피사체의 광학 상을 상기 제 1 이미지 센서에 형성하는 것으로 하나 이상의 렌즈를 포함하는, 제 1 이미징 광학계; 상기 피사체의 광학 상을 상기 제 2 이미지 센서에 형성하는 것으로, 하나 이상의 렌즈를 포함하는, 제 2 이미징 광학계;를 더 포함할 수 있다.
상기 제 1 이미징 광학계와 상기 제 2 이미징 광학계는 같은 초점거리와 같은 화각을 갖도록 설정될 수 있다.
실시예에 따르면, 전술한 어느 하나의 영상 획득 장치;를 포함하는 전자 장치가 제공된다.
상기 전자 장치는 모바일 폰, 스마트 폰, 태블릿, 스마트 태블릿, 디지털 카메라, 캠코더, 노트북 검퓨터, 텔레비전, 스마트 텔레비전, 스마트 냉장고, 보안 카메라, 로봇 또는 의료용 카메라를 포함할 수 있다.
상술한 영상 획득 장치는 서로 다른 종류의 두 이미지 센서를 활용하여, 고해상도를 가지며 넓은 색역을 표현하는 영상을 제공할 수 있다.
상술한 영상 획득 장치는 다양한 전자 장치에 채용될 수 있다.
도 1은 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이다.
도 2는 실시예에 따른 영상 획득 장치에서 획득한 영상이 나타내는 색역을 설명하는 색좌표이다.
도 3은 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 개념도이다.
도 4는 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서, 제 2 이미지 센서의 회로 구성을 보인다.
도 5는 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서에 의한 파장 스펙트럼을 보인다.
도 6 내지 도 8은 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서의 예시적인 화소 배열들을 보인다.
도 9는 실시예에 따른 영상 획득 장치에 구비되는 제 2 이미지 센서에 의한 파장 스펙트럼을 보인다.
도 10 내지 도 12는 실시예에 다른 영상 획득 장치에 구비되는 제 2 이미지 센서의 예시적인 화소 배열을 보인다.
도 13은 실시예에 따른 영상 획득 장치의 영상 처리 과정을 개략적으로 설명하는 흐름도이다.
도 14는 실시예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다.
도 15는 도 14의 전자 장치에 구비되는 카메라 모듈을 개략적으로 도시한 블록도이다.
도 16 내지 도 25는 실시예에 따른 영상 획득 장치가 적용된 전자장치의 다양한 예를 보인다.
도 2는 실시예에 따른 영상 획득 장치에서 획득한 영상이 나타내는 색역을 설명하는 색좌표이다.
도 3은 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 개념도이다.
도 4는 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서, 제 2 이미지 센서의 회로 구성을 보인다.
도 5는 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서에 의한 파장 스펙트럼을 보인다.
도 6 내지 도 8은 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서의 예시적인 화소 배열들을 보인다.
도 9는 실시예에 따른 영상 획득 장치에 구비되는 제 2 이미지 센서에 의한 파장 스펙트럼을 보인다.
도 10 내지 도 12는 실시예에 다른 영상 획득 장치에 구비되는 제 2 이미지 센서의 예시적인 화소 배열을 보인다.
도 13은 실시예에 따른 영상 획득 장치의 영상 처리 과정을 개략적으로 설명하는 흐름도이다.
도 14는 실시예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다.
도 15는 도 14의 전자 장치에 구비되는 카메라 모듈을 개략적으로 도시한 블록도이다.
도 16 내지 도 25는 실시예에 따른 영상 획득 장치가 적용된 전자장치의 다양한 예를 보인다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하기로 한다. 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이러한 용어들은 구성 요소들의 물질 또는 구조가 다름을 한정하는 것이 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.
방법을 구성하는 단계들은 설명된 순서대로 행하여야 한다는 명백한 언급이 없다면, 적당한 순서로 행해질 수 있다. 또한, 모든 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구항에 의해 한정되지 않는 이상 이러한 용어로 인해 권리 범위가 한정되는 것은 아니다.
도 1은 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 블록도이고, 도 2는 실시예에 따른 영상 획득 장치에서 획득한 영상이 나타내는 색역을 설명하는 색좌표이다.
영상 획득 장치(1000)는 제 1 파장 대역 기반의 제 1 영상(IM1)을 획득하는 제 1 이미지 센서(100), 상기 제 1 파장 대역보다 넓은 제 2 파장 대역 기반의 제 2 영상(IM2)을 획득하는 제 2 이미지 센서(200) 및 제 1 영상(IM1)과 제 2 영상(IM2)을 신호 처리하여, 제 3 영상(IM3)을 형성하는 프로세서(500)를 포함한다.
제 1 이미지 센서(100)는 일반적인 RGB 카메라에 채용되는 센서로서, 베이어 컬러 필터 어레이를 사용하는 CMOS image sensor일 수 있다. 제 1 이미지 센서(100)가 획득하는 제 1 영상(IM1)은 적색, 녹색, 청색 기반의 RGB 영상일 수 있고, 일반적인 RGB 카메라에 의해 획득되는 색역(color gamut) 범위를 가질 수 있다. 예를 들어, s-RGB(standard RGB) 색역, BT.709 색역, DCI-P3 색역, 또는 Adobe RGB 색역을 가질 수 있다. 도 2에는 BT.709의 색역, DCI-P3 색역이 예시적으로 도시되어 있다. .
제 2 이미지 센서(200)는 제 1 이미지 센서(100)보다 더 많은 종류의 파장의 광을 센싱하는 센서이다. 제 2 이미지 센서(200)는 예를 들어, 16개의 채널을 사용할 수 있고, 또는 31개의 채널, 또는 기타, 다른 개수의 채널을 사용할 수 있다. 각 채널의 대역 폭은 R, G, B 대역보다 더 좁게 설정되며, 모든 채널의 대역폭을 합한 전체 대역폭은 RGB 대역폭, 즉, 가시광선 대역폭을 포함하며 이보다 넓을 수 있다. 예를 들어, 약 350nm 내지 1000nm의 대역폭을 가질 수 있다. 제 2 이미지 센서(200)가 획득하는 제 2 영상(IM2)은 초분광(hyperspectral) 영상일 수 있으며, RGB 파장 대역보다 넓은 파장 대역, 예를 들어, 가시광선 대역을 포함하며 이보다 넓은 파장 대역인 자외선 내지 적외선 파장 대역을 16개 이상의 채널로 분할한 파장 기반의 영상일 수 있다. 제 2 영상(IM2)은 제 2 이미지 센서(200)의 가용한 모든 수의 채널을 활용하여 취득한 영상일 수 있고, 또는, 특정 채널을 선별하여 취득한 영상일 수도 있다. 제 2 영상(IM2)의 공간 해상도는 제 1 영상(IM1)의 공간 해상도보다 낮을 수 있으며, 다만, 이에 한정되지는 않는다.
제 1 이미지 센서(100)와 제 2 이미지 센서(200)는 각각 별개의 칩으로 구성될 수 있고 또는 단일 칩으로 구성될 수도 있다.
제 3 영상(IM3)은 제 1 이미지 센서(100)에 의한 제 1 영상(IM1)에 대응하는 공간 해상도와 제 2 이미지 센서(200)에 의한 제 2 영상(IM2)에 대응하는 색역을 가지는 영상이다. 제 3 영상(IM3)은 제 1 영상(IM1)과 동일한 공간 해상도를 가지며, 동시에 색역은 확대된 영상이며, 예를 들어, 도 2의 DCI-P3 이상의 색역 범위를 가질 수 있다. 이와 같이 형성된 제 3 영상(IM3)의 품질은 제 1 영상(IM1)과의 색차(color difference)를 계산하여 평가될 수 있다.
제 3 영상(IM3)은 제 1 영상(IM1)의 화소값을 제 2 영상(IM2)의 화소값을 참조하여 보정하는 방식으로 획득될 수 있다. 이를 위해, 제 1 영상(IM1)과 제 2 영상(IM2)을 이차원 평면 상에서 정합(image registration)하고, 제 1 영상(IM1)의 화소들과 제 2 영상(IM2)의 화소들의 대응 관계를 파악할 수 있다. 다음, 대응하는 화소 별로 색상 변환이 필요하지 여하를 판단하고, 이에 따라 제 1 영상(IM1)의 화소값이 보정될 수 있다.
제 1 영상(IM1)과 제 2 영상(IM2)의 영상 정합 전에, 제 1 영상(IM1)과 제 2 영상(IM2)에 대한 수차 보정이 수행될 수도 있다. 제 1 이미지 센서(100), 제 2 이미지 센서(200)에 광학 상을 형성하는 이미징 렌즈들에 의한 왜곡, 기하 수차, 색 수차 등의 수차가 발생할 수 있고, 이를 보정한 후 영상 정합이 수행될 수 있다.
영상 획득 장치(1000)는 영상 출력부(700)를 더 포함할 수 있다. 영상 출력부(700)는 제 3 영상(IM3)을 출력할 수 있고, 또는, 선택적으로, 제 3 영상(IM3)과 제 1 영상(IM1) 중 어느 하나를 출력할 수 있다. 또한, 출력되는 영상이 일반 RGB 영상(제 1 영상)인지, 색역이 확대된 영상(제 3 영상)인지에 대한 부가 정보가 함께 출력될 수 있다. 영상 출력부(700)는 또한, 제 3 영상(IM3)과 상기 제 1 영상(IM1)의 차이에 대한 차 영상을 출력할 수 있고, 또는 제 1 영상(IM1)과 상기 차 영상을 함께 출력할 수도 있다. 이 때 영역 별로 색상 변환이 수행되었는 지를 판단하고 색상 변환이 이루어진 영역에 대해서만 차 영상을 출력할 수 있다. 이러한 선택적 출력은 사용자의 입력에 의하여 정해질 수 있다.
프로세서(500)의 영상 처리 과정을 보다 상세히 기술하면 다음과 같다.
영상 정합부(520)는 제 1 이미지 센서(100)와 제 2 이미지 센서(200) 간의 상대적 위치 정보를 활용하여 제 1 영상(IM1)과 제 2 영상(IM2)을 정합(image registration)할 수 있다. 영상 정합부(520)는 제 1 이미지 센서(100), 제 2 이미지 센서(200)에서 획득한 영상의 공간 해상도(spatial resolution), 영상 획득에 사용된 광학계의 화각(field of view), 초점 거리(focal length) 등을 고려하여 영상의 각 화소 간 위치 관계를 파악한다. 이 때 한 센서의 영상을 기준으로 하여 다른 센서의 영상을 그 위에 overlay할 수 있다. 예를 들어 제 1 이미지 센서(100)가 획득한 제 1 영상(IM1)을 기준으로 하여 상기 제 1 영상(IM1)의 각 화소에 대해 그에 대응하는 제 2 영상(IM2)의 화소들을 찾을 수 있다. 이를 위해 제 2 영상(IM2)의 화소에 대해 scaling, translation, rotation, affine transform, perspective transform 등을 수행할 수 있다. 제 1 영상(IM1)의 화소에 해당하는 제 2 영상(IM2)의 화소는 하나 이상일 수 있고, 복수의 제 2 영상(IM2)의 화소들을 위치에 따라 일정 비율로 혼합하여 제 1 영상의 화소에 해당하는 제 2 영상(IM2)의 화소 값을 생성할 수 있다. 제 2 영상(IM2)의 각 채널 별 영상을 사용하여 각각 영상 정합을 수행할 수도 있다. 정합의 정밀도를 높이기 위해 서브 화소(sub-pixel) 단위로 정합을 수행할 수 있다. Sub-pixel 단위의 정합에서는 화소의 위치가 정수가 아니라 실수로 표현될 수 있다.
영상 정합부(520)는 또한 focus control을 통하여 제 1 이미지 센서(100)와 제 2 이미지 센서(200)가 같은 위치의 피사체에 초점을 맞추도록 하여 정합의 효율을 높일 수 있다. 그리고, 두 센서가 같은 화각(field of view)를 갖도록 하여 영상 정합 수행을 빠르고 정확하게 하도록 할 수 있다. 예를 들어 제 1 이미지 센서(100)와 제 2 이미지 센서(200)에 광학 상을 형성하기 위한 이미징 광학계가 같은 초점 거리와 같은 화각을 갖는 경우, 제 1 영상(IM1)과 제 2 영상(IM2) 간에는 translation만 존재하며, 관련된 변수(parameter)는 제 1 이미지 센서(100)와 제 2 이미지 센서(200)간 상대적 위치 및 각 광학계의 초점 거리들을 사용하여 계산될 수 있다.
제 2 영상(IM2)의 공간 해상도가 제 1 영상(IM1)의 공간 해상도보다 높은 경우, 제 2 영상(IM2)을 downsampling하여 영상 정합을 수행할 수 있다. 이 때 bi-lateral filtering, guided filtering과 같이 edge 정보를 고려한 filtering을 사용하여 downsampling하여 영상 정합을 보다 정확히 수행할 수 있다.
제 2 영상(IM2)의 공간 해상도보다 낮은 경우, interpolation을 통해 제 1 영상의 각 화소 위치에 해당하는 제 2 영상 샘플을 각 채널 별로 생성할 수 있다. 마찬가지로 bi-lateral filtering, guided filtering 등과 같이 edge 정보를 고려하여 interpolation을 할 수 있다.
또는, 제 2 영상(IM2)의 공간 해상도를 같아지게 한 후 영상 정합을 수행할 수 있다. 두 영상의 해상도가 동일하도록 demosaicing을 수행할 수 있다. 이 경우 두 이미지 센서에 광학 상을 각각 형성하는 두 광학계가 같은 초점 거리와 화각을 가지면, 별도의 interpolation 없이 translation만 고려하여 영상 정합을 수행할 수 있다.
정합을 수행하기 전에 제 1 영상(IM1), 제 2 영상(IM2)에 포함된 수차를 보정할 수 있다. 즉, 제 1 영상(IM1), 제 2 영상(IM2)을 획득할 때 사용되는 이미징 광학계에 포함된 렌즈에 의한, 왜곡, 기하 수차, 색 수차 등의 영향을 보정(correction) 한 후에 정합을 수행할 수 있다.
영상 정합부(520)는 영상 내 모서리 특징(edge feature) 정보를 추출하고 두 영상 간 feature를 매칭(matching)할 수 있다. 피사체의 경계 영역에서 영상 정합이 어긋나는 경우 컬러 왜곡(color distortion)이 발생할 수 있기 때문에, edge 정보를 추출하여 두 영상 간 edge가 정렬(align)되도록 정합을 수행하여 경계 영역에서 왜곡이 발생하지 않도록 처리할 수 있다. 모서리(edge) 외에 corner points 등과 같은 다른 영상 특징점들(image features)를 사용하여 영상 정합을 수행할 수 있다.
색상 변환부(540)에서는 제 2 영상(IM2)에 포함된 화소값을 사용하여 제 1 영상(IM1)을 사용한 선형 변환(linear transformation)이 사용될 수 있다. 제 2 이미지 센서(200)의 채널 수가 n개인 경우, 3xn 매트릭스(matrix)를 사용하여 선형 변환할 수 있다. 즉,
v' = Lv,
여기서, v는 제 2 영상의 화소 값으로 이루어진 n차원 벡터, L은 3xn 매트릭스, 그리고 v’은 R, G, B 값을 나타내는 3차원 벡터이다.
또는, v를 XYZ 좌표 공간으로 변환한 후, 다시 RGB 색 공간으로 변환하는 과정을 거쳐서 컬러 맵핑을 수행할 수 있다. 또는, 상술한 선형 변환 대신, 보다 복잡한, 크로스 채널(cross-channel)을 고려하거나 2차항을 고려하는 등의 변환을 사용할 수 있다. 또는, 비선형 변환(non-linear transform) 방법이 사용될 수도 있다.
컬러 맵핑 시, 영역 별로 컬러 맵핑이 필요한 영역인지 판단하고, 필요한 영역에 대해서만 색역을 확대하는 컬러 맵핑을 수행할 수도 있다. 예를 들어 영상의 영역을 사각형의 복수의 블록으로 구분한 후에 각 블록 별로, 제 2 영상이 나타내는 색역이 제 1 영상이 나타내는 색역 내에 있다면 그 영역에 대해 컬러 맵핑을 수행하지 않을 수 있다. 대응하는 영역에서 제 2 영상(IM2)이 제 1 영상(IM1)이 나타내는 색역 밖에 있다면 해당 영역에 대해 컬러 맵핑을 수행한다. 색역이 확대된 WCG(wide color gamut) 영상(제 3 영상)을 나타내기 위해서 일반 RGB 영상보다 더 큰 bit-depth를 사용하여 영상을 저장할 수 있다.
도 3은 실시예에 따른 영상 획득 장치의 개략적인 구조를 보이는 개념도이고, 도 4는 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서, 제 2 이미지 센서의 회로 구성을 보인다.
영상 획득 장치(1000)는 제 1 파장 대역 기반의 제 1 영상(IM1)을 획득하는 제 1 이미지 센서(100), 상기 제 1 파장 대역보다 넓은 제 2 파장 대역 기반의 제 2 영상(IM2)을 획득하는 제 2 이미지 센서(200) 및 제 1 영상(IM1) 및 제 2 영상(IM2)을 신호 처리하여, 제 3 영상을 형성하는 프로세서(500)를 포함한다. 영상 획득 장치(1000)는 또한, 제 1 영상(IM1), 제 2 영상(IM2)에 관한 데이터가 저장되는 메모리(300)를 더 포함할 수 있고, 영상을 출력하는 영상 출력부(700)를 더 포함할 수 있다.
영상 획득 장치(1000)는 또한, 제 1 이미지 센서(100)에 피사체(OBJ)의 광학 상(optical image)을 형성하는 제 1 이미징 광학계(190), 제 2 이미지 센서(200)에 피사체(OBJ)의 광학 상을 형성하는 제 2 이미징 광학계(290)를 포함할 수 있다. 제 1 이미징 광학계(190)과 제 2 이미징 광학계(290)는 각각 하나의 렌즈를 포함하는 것으로 도시되어 있으나, 이는 예시적인 것이며 이에 한정되지 않는다. 제 1 이미징 광학계(190)와 제 2 이미징 광학계(290)는 같은 초점 거리와 같은 화각을 가지도록 구성될 수 있고 이 경우, 제 3 영상(IM3)을 형성하기 위해 제 1 영상(IM1)과 제 2 영상(IM2)을 정합하는 과정이 보다 용이할 수 있다. 다만, 이에 한정되는 것은 아니다.
제 1 이미지 센서(100)는 제 1 화소 어레이(PA1)를 포함하며, 제 1 화소 어레이(PA1)는 복수의 제 1 센싱 요소가 어레이된 제 1 센서층(110)과, 제 1 센서층(110) 상에 배치된 컬러 필터(120)를 포함한다. 컬러 필터(120)는 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함할 수 있다. 제 1 화소 어레이(PA1) 상에는 제 1 마이크로 렌즈 어레이(130)가 배치될 수 있다. 제 1 화소 어레이(PA1)에 적용되는 화소 배열의 다양한 예시는 도 5-8에서 설명할 것이다.
제 2 이미지 센서는 제 2 화소 어레이(PA2)를 포함하며, 제 2 화소 어레이(PA2)는 복수의 제 2 센싱 요소가 어레이된 제 2 센서층(210)과, 제 2 센서층(210) 상에 배치된 분광 필터(220)를 포함한다. 분광 필터(220)는 복수의 필터 그룹을 포함하며, 복수의 필터 그룹 각각은 투과 파장 대역이 다른 복수의 유닛 필터로 이루어질 수 있다. 분광 필터(220)는 컬러 필터(120)보다 넓은 파장 대역, 예를 들어, 자외선 내지 적외선 파장 범위의 파장 대역을 컬러 필터(120)보다 세분하여 필터링하도록 구성될 수 있다. 제 2 화소 어레이(PA2) 상에는 제 2 마이크로 렌즈 어레이(230)가 배치될 수 있다. 제 2 화소 어레이(PA2)에 적용되는 화소 배열의 예시는 도 10-12에서 설명할 것이다.
제 1 센서층(110), 제 2 센서층(210)은 CCD(charge coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 포함할 수 있으며, 이에 한정되지는 않는다.
제 1 화소 어레이(PA1)와 제 2 화소 어레이(PA2)는 같은 회로 기판(SU) 상에 수평적으로, 예를 들어, X 방향으로 이격되게 배치될 수 있다.
회로 기판(SU)에는 제 1 센서층(110)으로부터의 신호를 처리하는 제 1 회로 요소들과, 제 2 센서층(210)으로부터의 신호를 처리하는 제 2 회로 요소들이 구비될 수 있다. 다만, 이에 한정되지 않으며, 제 1 회로 요소들과 제 2 회로 요소들은 각각 별도의 기판에 구비되는 것도 가능하다.
제 1 영상(IM1)과 제 2 영상(IM2)에 대한 데이터가 저장되는 메모리(300)는 회로 기판(SU)과 별개로 도시되었으나, 이는 예시적이며, 회로 기판(SU) 내에, 회로 요소들과 같은 층으로, 또는 별도의 층으로 구분되어 배치될 수도 있다. 메모리(300)는 영상을 라인 단위로 저장하는 라인 메모리일 수 있고, 영상 전체를 저장하는 프레임 버퍼일수도 있다. 메모리(300)에는 SRAM(static random access memory), 또는 DRAM(dynamic random access memory)가 사용될 수 있다.
회로 기판(SU)에 영상 획득 장치(1000)에 필요한 다양한 회로 요소들이 집적 배치될 수 있다. 예를 들어, 다양한 아날로그 회로, 디지털 회로 들을 포함하는 로직 레이어가 구비될 수 있고, 데이터가 저장되는 메모리 레이어가 구비될 수 있다. 로직 레이어와 메모리 레이어는 다른 층으로 구성되거나 또는 같은 층으로 구성될 수 있다.
도 4를 참조하면, 제 1 화소 어레이(PA1)에 로우 디코더(102), 출력 회로(103), 타이밍 컨트롤러(TC)(101)가 연결된다. 로우 디코더(102)는 타이밍 컨트롤러(101)로부터 출력된 로우 어드레스 신호에 응답하여 제 1 화소 어레이(PA1)의 로우들 하나를 선택한다. 출력 회로(103)는 선택된 로우를 따라 배열된 복수의 화소로부터 컬럼 단위로 광감지 신호를 출력한다. 이를 위하여, 출력 회로(103)는 컬럼 디코더와 아날로그-디지털 변환기(ADC; analog to digital converter)를 포함할 수 있다. 예를 들어, 출력 회로(103)는 컬럼 디코더와 제 1 화소 어레이(PA1) 사이에서 컬럼 별로 각각 배치된 복수의 ADC, 또는, 컬럼 디코더의 출력단에 배치된 하나의 ADC를 포함할 수 있다. 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)는 하나의 칩 또는 각각 별개의 칩으로 구현될 수 있다. 예시된 회로 요소들의 적어도 일부가 도 3의 회로 기판(SU)에 구비될 수 있다. 출력 회로(103)를 통해 출력된 제 1 영상(IM1)을 처리하기 위한 프로세서가 타이밍 컨트롤러(101), 로우 디코더(102), 및 출력 회로(103)와 함께 하나의 칩으로 구현될 수도 있다.
제 2 화소 어레이(PA2)에도 로우 디코더(202), 출력 회로(203), 타이밍 컨트롤러(TC)(201)가 연결되고, 상술한 바와 유사하게, 제 2 화소 어레이(PA2)로부터의 신호가 처리될 수 있다. 또한, 출력 회로(203)를 통해 출력된 제 2 영상(IM2)을 처리하기 위한 프로세서가 타이밍 컨트롤러(201), 로우 디코더(202), 및 출력 회로(203)와 함께 하나의 칩으로 구현될 수도 있다.
제 1 화소 어레이(PA1)와 제 2 화소 어레이(PA2)는 화소 크기, 개수가 같게 도시되었으나, 이는 편의상의 예시이며 이에 한정되는 것은 아니다.
서로 다른 종류의 두 센서를 동작시킴에 있어서, 서로 다른 해상도 및 출력 속도, 그리고 영상 정합에 필요한 영역의 크기에 따라 타이밍 제어(timing control)가 필요할 수 있다. 예를 들어, 제 1 이미지 센서(100)를 기준으로 하나의 영상 열을 읽어 들일 때 그 영역에 해당하는 제 2 이미지 센서(200)의 영상 열은 이미 버퍼에 저장되어 있을 수도 있고 새로 읽어 들여야 할 수도 있다. 이러한 타이밍을 올바르게 계산하여 readout하는 것이 필요하다. 혹은, 제 1 이미지 센서(100), 제 2 이미지 센서(200)의 동작은 같은 동기(synchronization) 신호를 사용하여 동기화될 수 있다. 예를 들어, 타이밍 컨트롤러(400)가 더 구비되어, 제 1 이미지 센서(100), 제 2 이미지 센서(200)에 동기 신호(sync.)를 전송할 수도 있다.
도 5는 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 6 내지 도 8은 실시예에 따른 영상 획득 장치에 구비되는 제 1 이미지 센서의 예시적인 화소 배열들을 보인다.
도 6을 참조하면, 제 1 화소 어레이(PA1)에 구비되는 컬러 필터(120)에는 적색(R), 녹색(G), 청색(B) 파장 대역을 필터링 하는 필터들이 베이어 패턴(Bayer pattern)으로 배열되어 있다. 즉, 하나의 단위 화소는 2×2 어레이로 배열된 서브 화소를 포함하며, 복수의 단위 화소가 2차원적으로 반복 배열된다. 단위 화소의 1행에 적색 필터, 녹색 필터가 배치되고, 2행에 녹색 필터, 청색 필터가 배치된다. 화소 배열은 베이어 패턴 외에 다른 방식으로도 가능하다.
예를 들어, 도 7을 참조하면, 마젠타(Magenta) 화소(M), 사이안(Cyan) 화소(C), 옐로우(Yellow) 화소(Y), 및 녹색 화소(G)가 하나의 단위 화소를 구성하는 CYGM 방식의 배열도 가능하다. 또한, 도 8을 참조하면, 녹색 화소(G), 적색 화소(R), 청색 화소(B), 및 백색 화소(W)가 하나의 단위 화소를 구성하는 RGBW 방식의 배열도 가능하다. 또한, 도시되지는 않았지만 단위 화소가 3×2 어레이 형태를 가질 수도 있다. 그 밖에도 제 1 화소 어레이(PA1)의 화소들은 제 1 이미지 센서(100)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.
도 9는 실시예에 따른 영상 획득 장치에 구비되는 제 2 이미지 센서에 의한 파장 스펙트럼을 보이며, 도 10 내지 도 12는 실시예에 다른 영상 획득 장치의 제 2 이미지 센서의 예시적인 화소 배열을 보인다.
도 10을 참조하면, 제 2 화소 어레이(PA2)에 구비되는 분광 필터(220)는 2차원 형태로 배열되는 복수의 필터 그룹(221)을 포함할 수 있다. 여기서, 각 필터 그룹(221)은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들(F1~F16)을 포함할 수 있다.
제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제3 내지 제5 유닛 필터(F3~F5)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제6 내지 제11 유닛 필터(F6~F11)는 녹색광 영역의 중심 파장들(G1~G6)을 가질 수 있으며, 제12 내지 제14 유닛 필터(F12~F14)는 적색광 영역의 중심 파장들(R1~R3)을 가질 수 있다. 그리고, 제15 및 제16 유닛 필터(F15, F16)는 근적외선 영역의 중심 파장들(NIR1, NIR2)을 가질 수 있다.
도 11은 분광 필터(220)에 구비되는 다른 예의 필터 그룹(222) 하나에 대한 평면도를 도시하고 있다. 도 11을 참조하면, 필터 그룹(222)은 3×3 어레이 형태로 배열되는 9개의 유닛 필터들(F1~F9)을 포함할 수 있다. 여기서, 제1 및 제2 유닛 필터(F1, F2)는 자외선 영역의 중심 파장들(UV1, UV2)을 가질 수 있으며, 제4, 제5 및 제7 유닛 필터(F4, F5, F7)는 청색광 영역의 중심 파장들(B1~B3)을 가질 수 있다. 제3 및 제6 유닛 필터(F3, F6)는 녹색광 영역의 중심 파장들(G1, G2)을 가질 수 있으며, 제8 및 제9 유닛 필터(F8, F9)는 적색광 영역의 중심 파장들(R1, R2)을 가질 수 있다.
도 12는 분광 필터(220)에 구비되는 다른 예의 필터 그룹(223) 하나에 대한 평면도를 도시하고 있다. 도 12를 참조하면, 필터 그룹(223)은 5×5 어레이 형태로 배열되는 25개의 유닛 필터들(F1~F25)을 포함할 수 있다. 여기서, 제1 내지 제3 유닛 필터(F1~F3)는 자외선 영역의 중심 파장들(UV1~UV3)을 가질 수 있으며, 제6, 제7, 제8, 제11 및 제12 유닛 필터(F6, F7, F8, F11, F12)는 청색광 영역의 중심 파장들(B1~B5)을 가질 수 있다. 제4, 제5 및 제9 유닛 필터(F4, F5, F9)는 녹색광 영역의 중심 파장들(G1~G3)을 가질 수 있으며, 제10, 제13, 제14, 제15, 제18 및 제19 유닛 필터(F10, F13, F14, F15, F18, F19)는 적색광 영역의 중심 파장들(R1~R6)을 가질 수 있다. 그리고, 제20, 제23, 제24 및 제25 유닛 필터(F20, F23, F24, F25)는 근적외선 영역의 중심 파장들(NIR1~NIR4)을 가질 수 있다.
분광 필터(220)에 구비되는 상술한 유닛 필터들은 두 개의 반사판을 가지는 공진 구조를 가질 수 있으며 공진 구조의 특성에 따라 투과되는 파장 대역이 결정될 수 있다. 반사판의 재질 및 캐비티 내 유전 물질의 재질, 캐비티 두께에 따라 투과 파장 대역이 조절될 수 있다. 이 외에도, 그레이팅을 활용한 구조, DBR(distributed bragg reflector)을 활용한 구조 등이 유닛 필터에 적용될 수 있다.
이 외에도 제 2 화소 어레이(PA2)의 화소들은 제 2 이미지 센서(200)의 색 특성에 따라 다양한 방식으로 배열될 수 있다.
도 13은 실시예에 따른 영상 획득 장치의 영상 처리 과정을 개략적으로 설명하는 흐름도이다.
제 1 이미지 센서(100)로부터 제 1 영상이 획득되고(S810), 제 2 이미지 센서(200)로부터 제 2 영상이 획득된다(S820).
제 1 영상 및/또는 제 2 영상에 대해, 필요에 따라, 수차 보정이 행해질 수 있다(S830). 예를 들어, 제 1 영상(IM1), 제 2 영상(IM2)을 획득할 때 사용되는 이미징 광학계에 포함된 렌즈에 의한, 왜곡, 기하 수차, 색 수차 등의 영향을 보정(correction) 한 후에 정합을 수행할 수 있다.
제 1 영상과 제 2 영상이 정합된다(S840). 영상 정합시, 제 1 영상과 제 2 영상의 해상도를 고려할 수 있다(S842). 예를 들어, 제 2 영상(IM2)의 공간 해상도가 제 1 영상(IM1)의 공간 해상도보다 높은 경우, 제 2 영상(IM2)을 downsampling하여 영상 정합을 수행할 수 있다. 제 2 영상(IM2)의 공간 해상도보다 낮은 경우, interpolation을 통해 제 1 영상의 각 화소 위치에 해당하는 제 2 영상 샘플을 각 채널 별로 생성할 수 있다. 영상 정합시, bi-lateral filtering, guided filtering 등과 같이 edge 정보를 고려할 수 있다.
또는, 제 1 영상과 제 2 영상을 동일한 해상도로 조절한 후 영상 정합이 행해질 수 있다(S846). 제 1 영상과 제 2 영상의 해상도가 동일해지도록 demosaicing을 수행할 수 있다. 이 경우 두 이미지 센서에 광학 상을 각각 형성하는 두 광학계가 같은 초점 거리와 화각을 가지면, 별도의 interpolation 없이 translation만 고려하여 영상 정합을 수행할 수 있다.
색상 변환 단계(S860)에서 제 2 영상의 화소 값을 참조하여 제 1 영상의 화소 값이 보정되며, 제 3 영상이 형성된다. 이 때, 영역별로, 색상 변환이 필요하지 여하를 판단할 수 있고, 필요한 영역에 대해서만 색역을 확대하는 색상 변환이 수행될 수도 있다. 예를 들어 영상의 영역을 복수의 블록으로 구분한 후에 각 블록 별로, 제 2 영상이 나타내는 색역이 제 1 영상이 나타내는 색역 내에 있는 지 여하를 판단한다. 대응하는 영역에서 제 2 영상(IM2)이 제 1 영상(IM1)이 나타내는 색역 밖에 있는 경우에만 해당 영역에 대해 색상 변환을 수행할 수 있다.
영상 출력(S860)시, 제 1 영상, 제 3 영상, 제 1 영상과 제 3 영상의 차영상 들 중 어느 하나 이상이 선택적으로 출력될 수 있다. 영상에 대한 부가 정보가 함께 출력될 수 있다.
상술한 영상 획득 장치(1000)는 다양한 고성능 광학 장치 또는 고성능 전자 장치에 채용될 수 있다. 이러한 전자 장치는, 예컨대, 스마트 폰(smart phone), 휴대폰, 핸드폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 휴대용 기기, 가전 제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT;Internet of Things) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.
전자 장치는 영상 획득 장치(1000)외에도, 이에 구비된 이미지 센서들을 제어하는 프로세서, 예를 들면, 어플리케이션 프로세서(AP: Application Processor)를 더 포함할 수 있으며, 프로세서를 통해 운영 체제 또는 응용 프로그램을 구동하여 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(Image Signal Processor)를 더 포함할 수 있다. 프로세서에 이미지 신호 프로세서가 포함되는 경우, 이미지센서에 의해 획득된 이미지(또는 영상)를 프로세서를 이용하여 저장 및/또는 출력할 수 있다.
도 14는 실시예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다. 도 14를 참조하면, 네트워크 환경(ED00)에서 전자 장치(ED01)는 제1 네트워크(ED98)(근거리 무선 통신 네트워크 등)를 통하여 다른 전자 장치(ED02)와 통신하거나, 또는 제2 네트워크(ED99)(원거리 무선 통신 네트워크 등)를 통하여 또 다른 전자 장치(ED04) 및/또는 서버(ED08)와 통신할 수 있다. 전자 장치(ED01)는 서버(ED08)를 통하여 전자 장치(ED04)와 통신할 수 있다. 전자 장치(ED01)는 프로세서(ED20), 메모리(ED30), 입력 장치(ED50), 음향 출력 장치(ED55), 표시 장치(ED60), 오디오 모듈(ED70), 센서 모듈(ED76), 인터페이스(ED77), 햅틱 모듈(ED79), 카메라 모듈(ED80), 전력 관리 모듈(ED88), 배터리(ED89), 통신 모듈(ED90), 가입자 식별 모듈(ED96), 및/또는 안테나 모듈(ED97)을 포함할 수 있다. 전자 장치(ED01)에는, 이 구성요소들 중 일부(표시 장치(ED60) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 이 구성요소들 중 일부는 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(ED76)(지문 센서, 홍채 센서, 조도 센서 등)은 표시 장치(ED60)(디스플레이 등)에 임베디드되어 구현될 수 있다. 또한, 이미지센서(1000)에 분광 기능이 포함될 경우, 센서 모듈의 일부 기능(컬러 센서, 조도 센서)이 별도의 센서 모듈이 아닌 이미지센서(1000) 자체에서 구현될 수 있다.
프로세서(ED20)는, 소프트웨어(프로그램(ED40) 등)를 실행하여 프로세서(ED20)에 연결된 전자 장치(ED01) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(ED20)는 다른 구성요소(센서 모듈(ED76), 통신 모듈(ED90) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(ED32)에 로드하고, 휘발성 메모리(ED32)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(ED34)에 저장할 수 있다. 프로세서(ED20)는 메인 프로세서(ED21)(중앙 처리 장치, 어플리케이션 프로세서 등) 및 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서(ED23)(그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등)를 포함할 수 있다. 보조 프로세서(ED23)는 메인 프로세서(ED21)보다 전력을 작게 사용하고, 특화된 기능을 수행할 수 있다.
보조 프로세서(ED23)는, 메인 프로세서(ED21)가 인액티브 상태(슬립 상태)에 있는 동안 메인 프로세서(ED21)를 대신하여, 또는 메인 프로세서(ED21)가 액티브 상태(어플리케이션 실행 상태)에 있는 동안 메인 프로세서(ED21)와 함께, 전자 장치(ED01)의 구성요소들 중 일부 구성요소(표시 장치(ED60), 센서 모듈(ED76), 통신 모듈(ED90) 등)와 관련된 기능 및/또는 상태를 제어할 수 있다. 보조 프로세서(ED23)(이미지 시그널 프로세서, 커뮤니케이션 프로세서 등)는 기능적으로 관련 있는 다른 구성 요소(카메라 모듈(ED80), 통신 모듈(ED90) 등)의 일부로서 구현될 수도 있다.
메모리(ED30)는, 전자 장치(ED01)의 구성요소(프로세서(ED20), 센서모듈(ED76) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(ED40) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(ED30)는, 휘발성 메모리(ED32) 및/또는 비휘발성 메모리(ED34)를 포함할 수 있다. 비휘발성 메모리(ED32)는 전자 장치(ED01) 내에 고정 장착된 내장 메모리(ED36)과 탈착 가능한 외장 메모리(ED38)를 포함할 수 있다.
프로그램(ED40)은 메모리(ED30)에 소프트웨어로 저장될 수 있으며, 운영 체제(ED42), 미들 웨어(ED44) 및/또는 어플리케이션(ED46)을 포함할 수 있다.
입력 장치(ED50)는, 전자 장치(ED01)의 구성요소(프로세서(ED20) 등)에 사용될 명령 및/또는 데이터를 전자 장치(ED01)의 외부(사용자 등)로부터 수신할 수 있다. 입력 장치(ED50)는, 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.
음향 출력 장치(ED55)는 음향 신호를 전자 장치(ED01)의 외부로 출력할 수 있다. 음향 출력 장치(ED55)는, 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.
표시 장치(ED60)는 전자 장치(ED01)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치(ED60)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치(ED60)는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.
오디오 모듈(ED70)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈(ED70)은, 입력 장치(ED50)를 통해 소리를 획득하거나, 음향 출력 장치(ED55), 및/또는 전자 장치(ED01)와 직접 또는 무선으로 연결된 다른 전자 장치(전자 장치(ED02) 등)의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.
센서 모듈(ED76)은 전자 장치(ED01)의 작동 상태(전력, 온도 등), 또는 외부의 환경 상태(사용자 상태 등)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 센서 모듈(ED76)은, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(Infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다.
인터페이스(ED77)는 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 또는 복수의 지정된 프로토콜들을 지원할 수 있다. 인터페이스(ED77)는, HDMI(High Definition Multimedia Interface), USB(Universal Serial Bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(ED78)는, 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 연결 단자(ED78)는, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 및/또는 오디오 커넥터(헤드폰 커넥터 등)를 포함할 수 있
햅틱 모듈(ED79)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(ED79)은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(ED80)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(ED80)은 상술한 영상 획득 장치(1000)를 포함할 수 있고, 추가적인 렌즈 어렘블리 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(ED80)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.
전력 관리 모듈(ED88)은 전자 장치(ED01)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(ED88)은, PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다.
배터리(ED89)는 전자 장치(ED01)의 구성 요소에 전력을 공급할 수 있다. 배터리(ED89)는, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.
통신 모듈(ED90)은 전자 장치(ED01)와 다른 전자 장치(전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)간의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(ED90)은 프로세서(ED20)(어플리케이션 프로세서 등)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 또는 복수의 커뮤니케이션 프로세서들을 포함할 수 있다. 통신 모듈(ED90)은 무선 통신 모듈(ED92)(셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈) 및/또는 유선 통신 모듈(ED94)(LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(ED98)(블루투스, WiFi Direct 또는 IrDA(Infrared Data Association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(ED99)(셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(LAN, WAN 등)와 같은 원거리 통신 네트워크)를 통하여 다른 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(단일 칩 등)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(복수 칩들)로 구현될 수 있다. 무선 통신 모듈(ED92)은 가입자 식별 모듈(ED96)에 저장된 가입자 정보(국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크 내에서 전자 장치(ED01)를 확인 및 인증할 수 있다.
안테나 모듈(ED97)은 신호 및/또는 전력을 외부(다른 전자 장치 등)로 송신하거나 외부로부터 수신할 수 있다. 안테나는 기판(PCB 등) 위에 형성된 도전성 패턴으로 이루어진 방사체를 포함할 수 있다. 안테나 모듈(ED97)은 하나 또는 복수의 안테나들을 포함할 수 있다. 복수의 안테나가 포함된 경우, 통신 모듈(ED90)에 의해 복수의 안테나들 중에서 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 안테나가 선택될 수 있다. 선택된 안테나를 통하여 통신 모듈(ED90)과 다른 전자 장치 간에 신호 및/또는 전력이 송신되거나 수신될 수 있다. 안테나 외에 다른 부품(RFIC 등)이 안테나 모듈(ED97)의 일부로 포함될 수 있다.
구성요소들 중 일부는 주변 기기들간 통신 방식(버스, GPIO(General Purpose Input and Output), SPI(Serial Peripheral Interface), MIPI(Mobile Industry Processor Interface) 등)을 통해 서로 연결되고 신호(명령, 데이터 등)를 상호 교환할 수 있다.
명령 또는 데이터는 제2 네트워크(ED99)에 연결된 서버(ED08)를 통해서 전자 장치(ED01)와 외부의 전자 장치(ED04)간에 송신 또는 수신될 수 있다. 다른 전자 장치들(ED02, ED04)은 전자 장치(ED01)와 동일한 또는 다른 종류의 장치일 수 있다. 전자 장치(ED01)에서 실행되는 동작들의 전부 또는 일부는 다른 전자 장치들(ED02, ED04, ED08) 중 하나 또는 복수의 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(ED01)가 어떤 기능이나 서비스를 수행해야 할 때, 기능 또는 서비스를 자체적으로 실행시키는 대신에 하나 또는 복수의 다른 전자 장치들에게 그 기능 또는 그 서비스의 일부 또는 전체를 수행하라고 요청할 수 있다. 요청을 수신한 하나 또는 복수의 다른 전자 장치들은 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(ED01)로 전달할 수 있다. 이를 위하여, 클라우드 컴퓨팅, 분산 컴퓨팅, 및/또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 15는 도 14의 전자 장치에 구비되는 카메라 모듈(ED80)을 개략적으로 예시한 블록도이다. 카메라 모듈(ED80)은 전술한 영상 획득 장치(1000)를 포함할 수 있고, 또는 이로부터 변형된 구조를 가질 수 있다. 도 15을 참조하면, 카메라 모듈(ED80)은 렌즈 어셈블리(CM10), 플래시(CM20), 이미지 센서(CM30), 이미지 스태빌라이저(CM40), 메모리(CM50)(버퍼 메모리 등), 및/또는 이미지 시그널 프로세서(CM60)를 포함할 수 있다.
이미지 센서(CM30)은 전술한 영상 획득 장치(1000)에 구비되는 제 1 이미지 센서(100), 제 2 이미지 센서(200)을 포함할 수 있다. 제 1 이미지 센서(100), 제 2 이미지 센서(200)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(CM10)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 피사체에 대응하는 이미지를 획득할 수 있다. 제 1 이미지 센서(100)는 RGB 영상을 획득하고, 제 2 이미지 센서(200)는 자외선 내지 적외선 파장 범위의 초분광(hyperspectral) 영상을 획득할 수 있다.
이미지 센서(CM30)는 전술한 제 1 이미지 센서(100), 제 2 이미지 센서(200) 외에도, 다른 RGB 센서, BW(Black and White) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나 또는 복수의 센서들을 더 포함할 수도 있다. 이미지 센서(CM30)에 포함된 각각의 센서들은, CCD(Charged Coupled Device) 센서 및/또는 CMOS(Complementary Metal Oxide Semiconductor) 센서로 구현될 수 있다.
렌즈 어셈블리(CM10)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 카메라 모듈(ED80)은 복수의 렌즈 어셈블리(CM10)들을 포함할 수도 있으며, 이런 경우, 카메라 모듈(ED80)은, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(Spherical Camera)가 될 수 있다. 복수의 렌즈 어셈블리(CM10)들 중 일부는 동일한 렌즈 속성(화각, 초점 거리, 자동 초점, F 넘버(F Number), 광학 줌 등)을 갖거나, 또는 다른 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(CM10)는, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
렌즈 어셈블리(CM10)는 이미지 센서(CM30)에 구비되는 두 이미지 센서가 같은 위치의 피사체의 광학 상을 형성할 수 있도록 구성될 수 있고 및/또는 포커스 제어될 수 있다.
플래시(CM20)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 플래시(CM20)는 하나 또는 복수의 발광 다이오드들(RGB(Red-Green-Blue) LED, White LED, Infrared LED, Ultraviolet LED 등), 및/또는 Xenon Lamp를 포함할 수 있다.
이미지 스태빌라이저(CM40)는 카메라 모듈(ED80) 또는 이를 포함하는 전자 장치(CM01)의 움직임에 반응하여, 렌즈 어셈블리(CM10)에 포함된 하나 또는 복수개의 렌즈 또는 이미지센서(1000)를 특정한 방향으로 움직이거나 이미지센서(1000)의 동작 특성을 제어(리드 아웃(Read-Out) 타이밍의 조정 등)하여 움직임에 의한 부정적인 영향이 보상되도록 할 수 있다. 이미지 스태빌라이저(CM40)는 카메라 모듈(ED80)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(ED80) 또는 전자 장치(ED01)의 움직임을 감지할 수 있다. 이미지 스태빌라이저(CM40)는, 광학식으로 구현될 수도 있다.
메모리(CM50)는 이미지센서(1000)를 통하여 획득된 이미지의 일부 또는 전체 데이터가 다음 이미지 처리 작업을 위하여 저장할 수 있다. 예를 들어, 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 데이터(Bayer-Patterned 데이터, 고해상도 데이터 등)는 메모리(CM50)에 저장하고, 저해상도 이미지만을 디스플레이 해준 후, 선택된(사용자 선택 등) 이미지의 원본 데이터가 이미지 시그널 프로세서(CM60)로 전달되도록 하는데 사용될 수 있다. 메모리(CM50)는 전자 장치(ED01)의 메모리(ED30)로 통합되어 있거나, 또는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(CM60)는 이미지 센서(CM30)을 통하여 획득된 이미지 또는 메모리(CM50)에 저장된 이미지 데이터에 대하여 이미지 처리들을 수행할 수 있다. 도 1 내지 도 13에서 설명한 바와 같이, 이미지 센서(CM30)에 포함되는 두 이미지 센서가 획득한 제 1 영상(예를 들어, RGB 영상), 제 2 영상(예를 들어, 초분광 영상)을 처리하여, 색역이 확대된 제 3 영상을 형성할 수 있다. 이를 위한 프로세서(500)의 구성이 이미지 시그널 프로세서(CM60)에 포함될 수 있다.
이미지 처리들은, 이외에도, 깊이 지도(Depth Map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 및/또는 이미지 보상(노이즈 감소, 해상도 조정, 밝기 조정, 블러링(Blurring), 샤프닝(Sharpening), 소프트닝(Softening) 등)을 포함할 수 있다. 이미지 시그널 프로세서(CM60)는 카메라 모듈(ED80)에 포함된 구성 요소들(이미지 센서(CM30) 등)에 대한 제어(노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(CM50)에 다시 저장 되거나 카메라 모듈(ED80)의 외부 구성 요소(메모리(ED30), 표시 장치(ED60), 전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)로 제공될 수 있다. 이미지 시그널 프로세서(CM60)는 프로세서(ED20)에 통합되거나, 프로세서(ED20)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(CM60)가 프로세서(ED20)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 프로세서(ED20)에 의하여 추가의 이미지 처리를 거친 후 표시 장치(ED60)를 통해 표시될 수 있다.
전자 장치(ED01)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(ED80)들을 포함할 수 있다. 이런 경우, 복수의 카메라 모듈(ED80)들 중 하나는 광각 카메라이고, 다른 하나는 망원 카메라일 수 있다. 유사하게, 복수의 카메라 모듈(ED80)들 중 하나는 전면 카메라이고, 다른 하나는 후면 카메라일 수 있다.
도 16 내지 도 25는 실시예에 따른 영상 획득 장치가 적용된 전자 장치의 다양한 예를 보인다.
실시예들에 따른 영상 획득 장치는 도 16에 도시된 모바일 폰 또는 스마트 폰(5100m), 도 17에 도시된 태블릿 또는 스마트 태블릿(5200), 도 18에 도시된 디지털 카메라 또는 캠코더(5300), 도 19에 도시된 노트북 컴퓨터(5400)에 또는 도 20에 도시된 텔레비전 또는 스마트 텔레비전(5500) 등에 적용될 수 있다. 예를 들어, 스마트폰(5100m) 또는 스마트 태블릿(5200)은 고해상 이미지센서가 각각 탑재된 복수의 고해상 카메라를 포함할 수 있다. 고해상 카메라들을 이용하여 영상 내 피사체들의 깊이 정보를 추출하거나, 영상의 아웃포커싱을 조절하거나, 영상 내 피사체들을 자동으로 식별할 수 있다.
또한, 영상 획득 장치(1000)는 도 21에 도시된 스마트 냉장고(5600), 도 22에 도시된 보안 카메라(5700), 도 23에 도시된 로봇(5800), 도 24에 도시된 의료용 카메라(5900) 등에 적용될 수 있다. 예를 들어, 스마트 냉장고(5600)는 영상 획득 장치(1000)를 이용하여 냉장고 내에 있는 음식을 자동으로 인식하고, 특정 음식의 존재 여부, 입고 또는 출고된 음식의 종류 등을 스마트폰을 통해 사용자에게 알려줄 수 있다. 보안 카메라(5700)는 초고해상도 영상을 제공할 수 있으며 높은 감도를 이용하여 어두운 환경에서도 영상 내의 사물 또는 사람을 인식 가능하게 할 수 있다. 로봇(5800)은 사람이 직접 접근할 수 없는 재해 또는 산업 현장에서 투입되어 고해상도 영상을 제공할 수 있다. 의료용 카메라(5900)는 진단 또는 수술을 위한 고해상도 영상을 제공할 수 있으며 시야를 동적으로 조절할 수 있다.
또한, 영상 획득 장치(1000)는 도 25에 도시된 바와 같이 차량(6000)에 적용될 수 있다. 차량(6000)은 다양한 위치에 배치된 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 포함할 수 있으며. 각각의 차량용 카메라(6010, 6020, 6030, 6040)는 실시예에 따른 영상 획득 장치를 포함할 수 있다. 차량(6000)은 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 이용하여 차량(6000) 내부 또는 주변에 대한 다양한 정보를 운전자에게 제공할 수 있으며, 영상 내의 사물 또는 사람을 자동으로 인식하여 자율 주행에 필요한 정보를 제공할 수 있다.
상술한 영상 획득 장치 및 이를 포함하는 전자 장치가 비록 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.
1000: 영상 획득 장치
100: 제 1 이미지 센서
110: 제 1 센서층
120: 컬러 필터
130: 제 1 마이크로 렌즈 어레이
190: 제 1 이미징 광학계
200: 제 2 이미지 센서
210: 제 2 센서층
220: 분광 필터
230; 제 2마이크로 렌즈 어레이
290: 제 2 이미징 광학계
100: 제 1 이미지 센서
110: 제 1 센서층
120: 컬러 필터
130: 제 1 마이크로 렌즈 어레이
190: 제 1 이미징 광학계
200: 제 2 이미지 센서
210: 제 2 센서층
220: 분광 필터
230; 제 2마이크로 렌즈 어레이
290: 제 2 이미징 광학계
Claims (20)
- 제 1 파장 대역 기반의 제 1 영상을 획득하는 제 1 이미지 센서;
상기 제 1 파장 대역보다 넓은 제 2 파장 대역 기반의 제 2 영상을 획득하는 제 2 이미지 센서; 및
상기 제 1 영상 및 상기 제 2 영상으로부터, 상기 제 1 영상에 대응하는 공간 해상도와 상기 제 2 영상에 대응하는 색역을 가지는 제 3 영상을 형성하는 프로세서;를 포함하는, 영상 획득 장치. - 제1항에 있어서,
상기 프로세서는
상기 제 1 영상의 화소값을 상기 제 2 영상의 화소값을 참조하여 보정하여 상기 제 3 영상을 형성하는, 영상 획득 장치. - 제2항에 있어서,
상기 프로세서는
상기 제 1 영상과 상기 제 2 영상을 이차원 평면 상에서 정합하고, 상기 제 1 영상의 화소들과 상기 제 2 영상의 화소들의 대응관계를 파악한 후, 상기 제 1 영상의 화소값을 보정하는, 영상 획득 장치. - 제3항에 있어서,
상기 프로세서는
상기 제 1 영상과 상기 제 2 영상에 대해 수차 보정을 수행한 후 상기 정합을 수행하는, 영상 획득 장치. - 제1항에 있어서,
상기 제 3 영상 또는 상기 제 1 영상을 출력하는 영상 출력부를 더 포함하는, 영상 획득 장치. - 제5항에 있어서,
상기 영상 출력부는 상기 제 1 영상과,
상기 제 3 영상과 상기 제 1 영상의 차 영상을 출력하는, 영상 획득 장치. - 제1항에 있어서,
상기 제 1 영상은 제 1 색역을 나타내고,
상기 제 3 영상은 상기 제 1 색역보다 넓은 제 2 색역을 나타내는, 영상 획득 장치. - 제1항에 있어서,
상기 제 1 이미지 센서는
복수의 제 1 센싱 요소가 어레이된 제 1 센서층과
상기 제 1 센서층 상에 배치되며, 교번 배열된 적색 필터들, 녹색 필터들, 청색 필터들을 포함하는 컬러 필터를 구비하는, 제 1 화소 어레이를 포함하는, 영상 획득 장치. - 제8항에 있어서,
상기 제 2 이미지 센서는
복수의 제 2 센싱 요소가 어레이된 제 2 센서층과
상기 제 2 센서층 상에 배치되며, 투과 파장 대역이 다른 복수의 유닛 필터로 이루어진 필터 그룹이 반복 배열된 분광 필터를 구비하는, 제 2 화소 어레이를 포함하는, 영상 획득 장치. - 제9항에 있어서,
상기 복수의 유닛 필터 각각의 투과 파장 대역은,
가시광선을 포함하며 가시광선 보다 넓은 범위의 파장 대역에 포함되는, 영상 획득 장치. - 제10항에 있어서,
상기 필터 그룹은 4×4 어레이 형태로 배열되는 16개의 유닛 필터들을 포함하는, 영상 획득 장치. - 제9항에 있어서,
상기 제 1 화소 어레이와 상기 제 2 화소 어레이는 같은 회로 기판 상에 수평적으로 이격되게 배치되는, 영상 획득 장치. - 제12항에 있어서,
상기 제 1 센서층으로부터의 신호를 처리하는 제 1 회로 요소들과, 상기 제 2 센서층으로부터의 신호를 처리하는 제 2 회로 요소들이 상기 회로 기판에 구비되는, 영상 획득 장치. - 제13항에 있어서,
상기 제 1 회로 요소들, 상기 제 2 회로 요소들의 동작을 동기시키는 타이밍 컨트롤러를 더 포함하는, 영상 획득 장치. - 제12항에 있어서,
상기 제 1 영상에 관한 데이터, 상기 제 2 영상에 관한 데이터가 저장되는 메모리를 더 포함하는, 영상 획득 장치. - 제15항에 있어서,
상기 메모리가 상기 회로 기판 내에 구비되는, 영상 획득 장치. - 제1항에 있어서,
피사체의 광학 상을 상기 제 1 이미지 센서에 형성하는 것으로 하나 이상의 렌즈를 포함하는, 제 1 이미징 광학계;
상기 피사체의 광학 상을 상기 제 2 이미지 센서에 형성하는 것으로, 하나 이상의 렌즈를 포함하는, 제 2 이미징 광학계;를 더 포함하는, 영상 획득 장치. - 제17항에 있어서,
상기 제 1 이미징 광학계와 상기 제 2 이미징 광학계는 같은 초점거리와 같은 화각을 갖도록 설정되는, 영상 획득 장치. - 제1항 내지 제18항 중 어느 하나의 영상 획득 장치;를 포함하는 전자 장치.
- 제19항에 있어서,
상기 전자 장치는 모바일 폰, 스마트 폰, 태블릿, 스마트 태블릿, 디지털 카메라, 캠코더, 노트북 검퓨터, 텔레비전, 스마트 텔레비전, 스마트 냉장고, 보안 카메라, 로봇 또는 의료용 카메라를 포함하는 전자 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067898A KR20220159829A (ko) | 2021-05-26 | 2021-05-26 | 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치 |
| US17/517,228 US11924528B2 (en) | 2021-05-26 | 2021-11-02 | Image acquisition apparatus providing wide color gamut image and electronic apparatus including the same |
| CN202111635867.0A CN115412708A (zh) | 2021-05-26 | 2021-12-28 | 图像获取装置和包括该图像获取装置的电子装置 |
| EP22162460.4A EP4096213A1 (en) | 2021-05-26 | 2022-03-16 | Image acquisition apparatus providing wide color gamut image and electronic apparatus including the same |
| JP2022085042A JP7482170B2 (ja) | 2021-05-26 | 2022-05-25 | 映像獲得装置及び電子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067898A KR20220159829A (ko) | 2021-05-26 | 2021-05-26 | 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220159829A true KR20220159829A (ko) | 2022-12-05 |
Family
ID=81344255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210067898A KR20220159829A (ko) | 2021-05-26 | 2021-05-26 | 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11924528B2 (ko) |
| EP (1) | EP4096213A1 (ko) |
| JP (1) | JP7482170B2 (ko) |
| KR (1) | KR20220159829A (ko) |
| CN (1) | CN115412708A (ko) |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08116490A (ja) | 1994-10-14 | 1996-05-07 | Olympus Optical Co Ltd | 画像処理装置 |
| US7339699B1 (en) * | 1999-02-03 | 2008-03-04 | Minolta Co., Ltd. | Image processing apparatus |
| JP3829238B2 (ja) | 2001-11-02 | 2006-10-04 | 独立行政法人情報通信研究機構 | 色再現システム |
| JP2004248061A (ja) | 2003-02-14 | 2004-09-02 | Fuji Photo Film Co Ltd | 画像処理装置、方法及びプログラム |
| JP4400644B2 (ja) * | 2007-04-18 | 2010-01-20 | セイコーエプソン株式会社 | 画像処理装置、色補正テーブル生成装置、表示装置、画像処理方法 |
| JP2009194721A (ja) * | 2008-02-15 | 2009-08-27 | Fujitsu Microelectronics Ltd | 画像信号処理装置、画像信号処理方法、及び撮像装置 |
| JP2009260411A (ja) * | 2008-04-11 | 2009-11-05 | Olympus Corp | 撮像装置 |
| JP5802364B2 (ja) * | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
| US8357899B2 (en) * | 2010-07-30 | 2013-01-22 | Aptina Imaging Corporation | Color correction circuitry and methods for dual-band imaging systems |
| JP5687676B2 (ja) * | 2012-10-23 | 2015-03-18 | オリンパス株式会社 | 撮像装置及び画像生成方法 |
| WO2014109334A1 (ja) * | 2013-01-10 | 2014-07-17 | オリンパスイメージング株式会社 | 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法 |
| US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
| CN106664394B (zh) | 2014-06-24 | 2018-10-02 | 麦克赛尔株式会社 | 摄像处理装置以及摄像处理方法 |
| US10264196B2 (en) * | 2016-02-12 | 2019-04-16 | Contrast, Inc. | Systems and methods for HDR video capture with a mobile device |
| US10715771B1 (en) * | 2016-09-15 | 2020-07-14 | Gerlach Consulting Group, Inc. | Wide-gamut-color image formation and projection |
| JP7030442B2 (ja) * | 2017-08-07 | 2022-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR102371009B1 (ko) * | 2017-08-22 | 2022-03-07 | 삼성전자 주식회사 | 복수의 이미지 센서가 배치된 기판을 지지하기 위한 보강 부재를 포함하는 카메라 모듈, 및 카메라 모듈을 포함하는 전자 장치 |
| WO2019059632A1 (ko) | 2017-09-25 | 2019-03-28 | 한국과학기술원 | 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 |
| WO2019084825A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及无人机 |
| JP7352411B2 (ja) | 2019-08-22 | 2023-09-28 | キヤノン株式会社 | 撮像装置 |
| EP3933461A3 (en) | 2020-07-02 | 2022-03-16 | Samsung Electronics Co., Ltd. | Spectral filter, and image sensor and electronic device including the spectral filter |
| KR20220003955A (ko) | 2020-07-02 | 2022-01-11 | 삼성전자주식회사 | 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치 |
| US11711594B2 (en) * | 2021-03-01 | 2023-07-25 | Qualcomm Incorporated | Dual image sensor package |
-
2021
- 2021-05-26 KR KR1020210067898A patent/KR20220159829A/ko not_active Application Discontinuation
- 2021-11-02 US US17/517,228 patent/US11924528B2/en active Active
- 2021-12-28 CN CN202111635867.0A patent/CN115412708A/zh active Pending
-
2022
- 2022-03-16 EP EP22162460.4A patent/EP4096213A1/en active Pending
- 2022-05-25 JP JP2022085042A patent/JP7482170B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20220385864A1 (en) | 2022-12-01 |
| JP2022183083A (ja) | 2022-12-08 |
| US11924528B2 (en) | 2024-03-05 |
| EP4096213A1 (en) | 2022-11-30 |
| CN115412708A (zh) | 2022-11-29 |
| JP7482170B2 (ja) | 2024-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11039056B2 (en) | Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor | |
| KR20210080875A (ko) | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 | |
| US11558587B2 (en) | Camera module comprising complementary color filter array and electronic device comprising same | |
| EP4156675A1 (en) | Image acquisition apparatus providing white balance function and electronic apparatus including the same | |
| EP4207099A1 (en) | Image acquisition apparatus and electronic apparatus including the same | |
| US20230084394A1 (en) | Image sensor and electronic apparatus including the image sensor | |
| US11895401B2 (en) | Camera module for high resolution auto focusing and electronic device including same | |
| EP4095574B1 (en) | Spectral filter, and image sensor and electronic device including spectral filter | |
| JP7482170B2 (ja) | 映像獲得装置及び電子装置 | |
| KR20230053417A (ko) | 이미지 획득 장치 및 방법, 이를 포함하는 전자 장치 | |
| JP7504170B2 (ja) | ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法 | |
| KR20210130972A (ko) | 전자 장치의 컬러 필터, 및 그 전자 장치 | |
| JP7503104B2 (ja) | 複数のイメージセンサを含む映像獲得装置、それを含む電子装置、及び映像獲得装置の制御方法 | |
| US11070751B2 (en) | Electronic device and image up-sampling method for electronic device | |
| EP4142300A1 (en) | Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus | |
| KR20210158201A (ko) | 이미지 센서를 포함하는 전자 장치 및 이에 대한 제어 방법 | |
| US20230139533A1 (en) | Optical sensor including nanophotonic microlens array and electronic device including the same | |
| US20240178248A1 (en) | Image sensor including multi-spectral filter and electronic device including the image sensor | |
| KR102667267B1 (ko) | 영상 획득 장치 및 이를 포함하는 전자 장치 | |
| US20230325995A1 (en) | Method and apparatus for acquiring image using multispectral sensor | |
| US20230093853A1 (en) | Spectral filter, and image sensor and electronic device including the spectral filter | |
| EP4333445A1 (en) | Electronic device and control method therefor | |
| KR20240079081A (ko) | 다중 분광 필터를 포함하는 이미지 센서 및 이를 포함하는 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |