KR20100119712A - 광 검출 소자 및 촬상 장치 - Google Patents

광 검출 소자 및 촬상 장치 Download PDF

Info

Publication number
KR20100119712A
KR20100119712A KR1020100004475A KR20100004475A KR20100119712A KR 20100119712 A KR20100119712 A KR 20100119712A KR 1020100004475 A KR1020100004475 A KR 1020100004475A KR 20100004475 A KR20100004475 A KR 20100004475A KR 20100119712 A KR20100119712 A KR 20100119712A
Authority
KR
South Korea
Prior art keywords
image
pixel
color
lens array
lens
Prior art date
Application number
KR1020100004475A
Other languages
English (en)
Other versions
KR101679293B1 (ko
Inventor
토시유키 다나카
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/772,285 priority Critical patent/US8358365B2/en
Publication of KR20100119712A publication Critical patent/KR20100119712A/ko
Application granted granted Critical
Publication of KR101679293B1 publication Critical patent/KR101679293B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

마이크로 렌즈군으로 이루어지는 렌즈 어레이를 구비하는 광학계라도 해당 렌즈 어레이를 구비함에 따른 효과를 손상시키지 않고 컬러 화상을 얻을 수 있는 광 검출 소자를 제공한다.
단일 평면상에 설치되는 복수의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 렌즈 어레이의 각각의 렌즈의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 복수의 화소로 이루어지는 광전 변환 영역을 복수 구비하는 광전 변환부를 구비하고, 각각의 광전 변환 소자는 렌즈의 광축을 중심으로 한 제1 영역과, 제1 영역의 주변의 제2 영역에 다른 분광 감도 특성을 갖는 것을 특징으로 하는 광 검출 소자가 제공된다.

Description

광 검출 소자 및 촬상 장치{Photo detecting device and image pickup device}
본 발명은 광 검출 소자 및 촬상 장치에 관한 것이다.
종래의 일반적인 디지털 스틸 카메라는 초점 렌즈에 집광한 광을 CCD 이미지 센서나 CMOS 이미지 센서 외의 촬상 소자에 조사함으로써 컬러 화상 신호를 생성하고 있다. 그러나 최근에는 렌즈와 촬상 소자 사이에 단일 평면상에 배열된 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계를 갖는 촬상 장치가 제안되고 있다. 이러한 촬상 장치를 플레놉틱(Plenoptic) 타입의 촬상 장치라 한다.
종래의 플레놉틱 타입의 촬상 장치는 렌즈 어레이를 구비하는 광학계에 의해 얻어진 화상을 재구성함으로써 피사계 심도를 가능하게 결정하거나, 시차를 이용한 거리측정이나, 3D 화상에 대한 응용, 해상도 향상이 개시되어 있다.
이러한 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계를 구비하는 디지털 스틸 카메라는 마이크로 렌즈마다 분리된 복수의 광속 정보를 입수할 수 있으므로, 피사계 심도의 콘트롤, 해상도의 향상, 시차를 이용한 거리 측정 등에 이용할 수 있을 것으로 기대되고 있다. 한편, 디지털 스틸 카메라에 이러한 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계를 구비한 경우에는 화상 데이터의 색채화가 필수이다.
일반적인 촬상 장치는 단판의 2차원 촬상 소자로부터 컬러 화상을 생성하는 경우에는, 베이어 배열로 대표되도록, 위치마다 다른 분광특성을 줌으로써 색정보를 입수한 후, 보간 처리에 의해 화소마다 색을 결정함으로써 풀 컬러 화상 데이터를 생성하고 있다.
그러나 플레놉틱형 촬상 장치에서는 마이크로 렌즈마다 분리된 복수의 광속 정보에 대하여 베이어화 하면, 광속 정보의 누락으로 연결된다는 문제가 있었다. 또한, 베이어 배열에 의해 분리된 광속 정보를 늘리려고 하면, 마이크로 렌즈의 미세화가 요구되고, 마이크로 렌즈의 미세화 요구에 따라 마이크로 렌즈 가공의 미세화나 촬상 소자의 미세화가 필요하게 되어 기술적 곤란성이나 제조 비용의 증가가 수반되는 문제도 있었다.
본 발명은 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적은 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계라도, 해당 렌즈 어레이를 구비함에 따른 효과를 손상하지 않고서 컬러 화상을 얻을 수 있는 광 검출 소자 및 촬상 장치를 제공함에 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 광 검출 소자는 단일 평면상에 설치되는 복수의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 상기 렌즈 어레이의 각 렌즈의 투과 광의 조사 범위에 대응하여 단일 평면상에 설치되는 복수의 광전 변환 소자를 구비하는 광전 변환부를 구비하고, 상기 복수의 광전 변환 소자 각각은 상기 렌즈의 광축을 중심으로 설치되는 제1 영역과, 상기 제1 영역의 주변에 설치되는 제2 영역에서 다른 분광 감도 특성을 갖는 것을 특징으로 하는 광 검출 소자가 제공된다. 따라서, 화상의 재구성 처리에서 이용하는 제1 영역에 주신호 성분을 수광시켜 분리 광속의 결손분이 원화상으로부터 제거되는 것을 미연에 방지함과 동시에 나머지 제2 영역에 종신호 성분을 수광시켜 다채널화를 실현할 수 있다.
상기 제1 영역은 휘도 신호에 해당하는 분광 감도 특성을 가지며, 상기 제2 영역은 색 신호에 해당하는 분광 감도 특성을 가지는 것을 특징으로 한다. 따라서, 화상의 재구성 처리에 이용하는 제1 영역에 휘도 성분을 수광시켜 분리 광속의 결손분이 원화상으로부터 제거되는 것을 미연에 방지함과 동시에 나머지 제2 영역에 색 성분을 수광시켜 색채화를 실현할 수 있다.
상기 광전 변환 영역 각각은 상기 화소의 분광 특성의 배열 패턴이 모두 동일한 것을 특징으로 한다. 따라서, 마이크로 렌즈의 미세화시 설계 및 가공, 배열 패턴이 불규칙적인 경우와 비교하여 현격하게 용이하게 할 수 있다.
상기 제2 영역은 상기 렌즈 어레이의 각 렌즈로부터의 투과 광의 조사 범위에 포함되도록 설치되는 것을 특징으로 한다. 따라서, 각각의 렌즈마다 분리된 광속 정보에 누락이 생기는 것을 회피할 수 있다.
이상 설명한 바와 같이 본 발명의 일 실시 예에 의하면, 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계라도, 해당 렌즈 어레이를 구비함에 따른 효과를 손상시키지 않고 컬러 화상을 얻을 수 있다.
도 1은 마이크로 렌즈군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하는 설명도이다.
도 2는 마이크로 렌즈군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하는 설명도이다.
도 3은 렌즈 어레이를 구비하는 광학계에 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다.
도 4는 렌즈 어레이를 구비하는 광학계에 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다.
도 5는 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 나타내는 설명도이다.
도 6은 본 발명의 일 실시 예에 따른 촬상 장치(100)에 사용되는 촬상 센서(106)의 구성에 대해 나타내는 설명도이다.
도 7은 도 6에 나타낸 촬상 센서(106)를 확대한 것을 나타내는 설명도이다.
도 8은 색의 삼원색인 R, G, B 각색의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이다.
도 9는 시안, 마젠타, 옐로우 각색의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이다.
도 10은 휘도 신호의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이다.
도 11은 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법에 대해 나타내는 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 촬상 장치(100)에서의 컬러 화상의 생성 방법에 대해 나타내는 흐름도이다.
도 13은 촬상 센서(106)의 구성 변형 예를 나타내는 설명도이다.
도 14는 마이크로 렌즈 어레이(104)의 구성을 나타내는 설명도이다.
도 15는 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서의 구성예에 대해 나타내는 설명도이다.
도 16은 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서의 구성예에 대해 나타내는 설명도이다.
도 17은 마이크로 렌즈 어레이(104)의 구성을 나타내는 설명도이다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.
또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
우선, 본 발명의 일 실시 예에 대해 설명하기 전에, 종래의 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하고, 이어, 이러한 광학계를 이용한 경우의 색채 화의 문제점에 대해 설명하기로 한다.
도 1 및 도 2는 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하는 설명도이다. 도 1은 피사체로부터의 광을 집광하는 렌즈와 촬상 소자 사이에 렌즈 어레이를 구비한 것을 측면 방향에서 본 경우에 대해 나타내는 설명도이고, 도 2는 렌즈 어레이의 배치 상태를 개념적으로 나타내는 설명도이다.
도 1에 나타낸 바와 같이, 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 있어서는, 주 렌즈(11)를 통과한 피사체로부터의 광이 렌즈 어레이(12)의 각 마이크로 렌즈(12a)에 포커싱되도록 투영된다. 그리고 촬상 센서(13)에는 마이크로 렌즈(12a)를 투과한 광이 조사된다.
촬상 센서(13)에는 인접하는 마이크로 렌즈(12a)로부터의 광이 중첩되지 않도록 주 렌즈(11)의 조리개(14)를 설정한다. 도 1에 나타낸 바와 같은 광학계에서 얻어진 화상을 재구성함으로써, 피사계 심도를 자유롭게 결정한다. 따라서, 이러한 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계는 시차를 이용한 거리측정이나 삼차원 화상에 대한 응용, 해상도의 향상 처리가 가능하다.
이러한 광학계를 범용적인 디지털 스틸 카메라에 이용하는 경우에는, 촬영 화상의 색채화를 어떻게 행할지가 문제가 된다. 다이크로익 미러(dichroic mirror) 등을 이용하여 분광하고, 복수의 촬상 센서를 이용하여 색채화하는 수법을 생각할 수 있는데, 이는 촬상 센서의 설치 공간이나 제조 비용면에서 불리하기 때문에, 단판의 촬상 센서를 이용하여 색채화하는 방법이 일반적이다. 그리고 단판의 촬상 센서를 이용하여 색채화할 때에는 분광 필터를 수광 소자의 전면에 특정 패턴 배열로 첨부하여 촬상하고, 이어서 보간 처리에 의해 모든 화소마다 색정보를 구비하는 방법이 알려져 있다. 그러나 해당 수법을 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비하는 광학계에 그대로 적용하면 문제가 발생한다.
도 3은 디지털 스틸 카메라에 널리 이용되고 있는 베이어 배열을 갖는 분광 필터에 의해 렌즈 어레이를 구비하는 광학계로 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다. 도 3에서는 8×8화소의 블록을 하나의 마이크로 렌즈에 대응시킨 경우에 대해 나타내고 있고, 도 3에 나타낸 각각의 원은 하나의 마이크로 렌즈의 투영 범위를 나타내고 있다.
소정의 광학 경로를 통해 촬상되는 데이터는 특정의 색정보로서 얻게 되므로, 재구성 처리시에 동색끼리 행하는 것이 적당하다. 그러나 도 3에 나타낸 분광 필터의 패턴은 가장 많은 녹색(G) 성분이라도 바둑판 모양의 패턴으로 밖에 정보를 가질 수 없기 때문에 결손 상태가 된다.
정보를 늘리기 위해, 마이크로 렌즈 단위로 분광 특성을 바꾸어 화상의 색채화를 시험해 보는 방법도 생각할 수 있다. 도 4는 마이크로 렌즈 단위로 특성이 다른 분광 필터에 의해 렌즈 어레이를 구비하는 광학계로 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다. 도 4에서는, 도 3과 같이, 8×8화소의 블록을 하나의 마이크로 렌즈에 대응시킨 경우에 대해 나타내고 있고, 도 4에 나타낸 각각의 원은 하나의 마이크로 렌즈의 투영 범위를 나타내고 있다.
도 4에 나타낸 바와 같은 마이크로 렌즈 단위로 분광 특성이 다른 분광 필터를 사용한 경우에는, 주목하는 마이크로 렌즈 단위로 생각하면, 촬영 화상에 대한 재구성 처리는, 도 3에 나타낸 바와 같은 베이어 배열을 갖는 분광 필터를 사용한 경우보다 유리하다. 그러나 렌즈 어레이를 구비한 광학계는 1화소의 정보를 더 분할하여 촬상하기 때문에, 재구성 후의 화소 수는 마이크로 렌즈의 수로 감소한다. 또한, 이 감소한 화소로부터 보간 처리를 실행하게 되기 때문에, 렌즈 어레이를 구비하는 디지털 스틸 카메라는 동일한 촬상 센서를 이용한 통상의 광학계를 갖는 디지털 스틸 카메라에 비해 적은 화소 수가 되게 된다. 도 4에 나타낸 바와 같은 분광 필터를 이용하는 경우에는, 하나의 마이크로 렌즈당 64개의 화소가 할당되어 있다. 따라서, 기록 화소 수는 촬상 센서의 화소 수의 1/64가 된다. 보간 처리는 기록되지 않은 고주파 성분을 예측한 작성이나, 색정보의 위상 변이로 인한 경계부의 착색 등의 과제도 있어 적은 화소 수로 실시하는 경우 화질의 열화가 두드러지게 된다.
따라서, 이하에 설명하는 본 발명의 일 실시 예에서는 각 마이크로 렌즈가 조사하는 범위에서, 화상의 재구성에서 이용하는 영역에서 촬상되는 화소는 휘도 신호를 수광하고, 그 이외의 영역에서는 보색 필터를 부착하여 컬러 신호를 얻는 촬상 센서를 구성한다. 여기서, 화상의 재구성에 이용하는 영역은 각 마이크로 렌즈의 광축을 중심으로 한 소정의 영역임을 특징으로 하고 있다.
도 5는 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 나타내는 설명도이다. 이하, 도 5를 이용하여 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 설명하기로 한다.
도 5에 나타낸 바와 같이, 본 발명의 일 실시 예에 따른 촬상 장치(100)는 주 렌즈(102), 마이크로 렌즈 어레이(104), 촬상 센서(106), CPU(108), 메모리(110), 아날로그 프론트 엔드(AFE)부 및 A/D 변환부(112), 화상 입력부(114), 컬러 화소 생성부(116), 화상 재구성부(118), 디지털 백 엔드(DBE)부(120), 화상 압축부(122), 메모리 카드 드라이버(124), 표시 화상 생성부(126), 표시 드라이버(128), 타이밍 발생부(TG)(130), 모터 드라이버(132), 및 초점 렌즈 모터(134)를 포함하여 구성된다.
주 렌즈(102)는 피사체에 초점을 맞추기 위한 렌즈인 초점 렌즈, 초점거리를 변화시키는 줌렌즈 등을 포함하여 구성된다. 초점 렌즈 모터(134)의 구동에 의해 주 렌즈(102)에 포함되는 초점 렌즈의 위치를 이동시킴으로써 촬상 장치(100)는 피사체에 초점을 맞출 수 있다.
마이크로 렌즈 어레이(104)는 복수의 마이크로 렌즈 군으로 구성되는 렌즈 어레이다. 마이크로 렌즈 어레이(104)는 마이크로 렌즈(104a)가 단일 평면상에 규칙적으로 배열됨으로써 구성된다. 주 렌즈(102)를 통과한 광은 마이크로 렌즈 어레이(104)의 각 마이크로 렌즈를 통과하여 촬상 센서(106)에 조사된다.
촬상 센서(106)는 마이크로 렌즈 어레이(104)를 구성하는 각 마이크로 렌즈(104a)를 통과한 광으로부터 화상 신호를 생성하는 것이다. 촬상 센서(106)는 각 마이크로 렌즈(104a)에 대응된 소정의 수광 패턴을 가지고 있고, 상술한 바와 같이, 각 마이크로 렌즈(104a)가 조사하는 범위에서, 화상의 재구성에 이용하는 영역에서 촬상되는 화소는 휘도 신호를 수광하고, 그 이외의 영역에서는 보색 필터가 첨부되어 있고, 컬러 신호를 얻도록 구성되어 있다. 촬상 센서(106)의 구성에 대해서는 후술하기로 한다.
CPU(108)는 촬상 장치(100)의 각 부의 동작을 제어하는 것이다. CPU(108)는 촬상 장치(100)의 내부에 저장된 컴퓨터 프로그램을 순차적으로 실행함으로써, 촬상 장치(100)의 각 부의 동작을 제어할 수 있다. 또 메모리(110)에는 촬상 장치(100)의 동작시에 필요한 정보나 데이터가 저장된다.
아날로그 프론트 엔드부 및 A/D 변환부(112)는 촬상 센서(106)에서 광전 변환된 아날로그 신호를 받아 디지털 신호로 변환 출력하는 것이다. 아날로그 프론트 엔드부 및 A/D 변환부(112)에서 디지털 신호로 변환된 신호는 화상 입력부(114)로 보내진다.
화상 입력부(114)는 아날로그 프론트 엔드부 및 A/D 변환부(112)에서 생성된 디지털 신호를 받아 메모리(110)에 저장한다. 아날로그 프론트 엔드부 및 A/D 변환부(112)에서 생성된 디지털 신호가 메모리(110)에 저장됨으로써 촬상 장치(100)는 디지털 신호에 대한 각종 신호 처리를 실행할 수 있다.
컬러 화소 생성부(116)는 촬상 센서(106)가 수광한 광으로부터 생성된 화상 신호에 대해 색 데이터를 생성하는 신호 처리를 실행한다. 구체적으로는, 컬러 화소 생성부(116)는 촬상 센서(106)에서 생성된 화상 신호 중 색 정보가 존재하지 않는 화소에 대해 색 데이터를 생성한다. 컬러 화소 생성부(116)에서의 색 데이터 생성 처리에 대해서는 후술하기로 한다.
화상 재구성부(118)는 마이크로 렌즈 어레이(104)를 통해 촬상된 화상을 재구성하는 것이다. 예를 들면 마이크로 렌즈 어레이(104)를 통해 촬상된 화상의 재구성에 의해 피사계 심도를 변경하여 포커싱하는 피사체를 변화시킬 수 있다. 또한, 화상 재구성부(118)는 노이즈의 제거나 색의 보정 등에 의한 해상도 향상 처리를 실행할 수 있다.
디지털 백 엔드부(120)는 마이크로 렌즈 어레이(104)를 통해 촬상되고 컬러 화소 생성부(116)에서 색채화된 화상에 대한 화상 처리를 실행하는 것으로, 예를 들면 채도를 강조하는 처리를 실행하거나, 화상 사이즈를 변환하는 처리를 실행한다.
화상 압축부(122)는 화상 데이터를 적절한 형식으로 압축한다. 화상의 압축 형식은 가역 형식이어도 되고 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photo graphic Experts Group)형식이나 JPEG 2000형식으로 변환해도 된다. 메모리 카드 드라이버(124)는 화상 압축부(122)에서 압축된 후의 화상 데이터의 메모리 카드(미도시)에 대한 기록, 및 메모리 카드에 기록된 화상 데이터의 메모리 카드로부터의 독출을 실행한다.
표시 화상 생성부(126)는 촬영 화상이나, 촬상 장치(100)의 각종 설정 화면을 표시하는 표시부(미도시)에 표시하는 화상(표시 화상)을 생성하는 것이다. 예를 들면, 촬영 화상을 표시부에 표시하는 경우에 표시 화상 생성부(126)는 표시부의 해상도나 화면 사이즈에 맞추어 화상 데이터를 압축하고, 표시 화상을 생성한다. 표시 드라이버(128)는 표시 화상 생성부(126)가 생성한 표시 화상을 표시부(미도시)에 표시하는 처리를 실행한다.
타이밍 발생부(130)는 촬상 센서(106)에 타이밍 신호를 입력한다. 타이밍 발생부(130)로부터의 타이밍 신호에 의해 셔터 속도가 결정된다. 즉, 타이밍 발생부(130)로부터의 타이밍 신호에 의해 촬상 센서(106)의 구동이 제어되고, 촬상 센서(106)가 구동하는 시간 내에 피사체로부터의 영상 광을 입사함으로써 화상 데이터의 기초가 되는 전기 신호가 생성된다.
모터 드라이버(132)는 CPU(108)의 제어에 따라 초점 렌즈 모터(134)를 구동시키는 것이다. 초점 렌즈 모터(134)는 모터에 의해 주 렌즈(102)의 위치를 제어하는 것이다. 모 터 드라이버(132) 및 초점 렌즈 모터(134)를 통해 주 렌즈(102)의 위치를 제어함으로써 피사체의 핀트를 조절할 수 있다.
도 5에는 도시하지 않았지만, 촬상 장치(100)에는 조리개, 그 조리개를 조절하기 위한 모터 및 그 모터를 구동시키기 위한 모터 드라이버를 구비할 수 있다. 또한, 촬상 장치(100)에는 촬영 동작을 개시하기 위한 셔터 버튼, 조리개나 셔터 속도, 감도 등의 촬영 정보를 설정하기 위한 조작 버튼 등을 더 구비할 수 있다.
이상, 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 설명하였다. 이어, 본 발명의 일 실시 예에 따른 촬상 장치(100)에 사용되는 촬상 센서(106)의 구성에 대해서 설명한다.
도 6은 본 발명의 일 실시 예에 따른 촬상 장치(100)에 사용되는 촬상 센서(106)의 구성에 대해 나타내는 설명도이고, 도 7은 도 6에 나타낸 촬상 센서(106)를 확대한 것을 나타내는 설명도이다.
도 6에 나타낸 원은 도 3에 나타낸 원과 같이 마이크로 렌즈 어레이(104)를 구성하는 하나의 마이크로 렌즈(104a)를 투과하는 광이 조사되는 범위를 나타낸 것이다. 도 6에 나타낸 바와 같이, 촬상 센서(106)에는 하나의 마이크로 렌즈(104a)를 투과하는 광이 조사되는 범위에 대응하여 복수의 화소가 할당되어 있다. 도 6 및 도 7에 나타낸 예에서는 하나의 마이크로 렌즈(104a)에 대해 세로 8화소, 가로 8화소의 합계 64화소가 할당되어 있고, 하나의 마이크로 렌즈(104a)를 투과한 광은 해당 64개의 화소에 의해 광전 변환이 행해진다.
도 6 및 도 7에 나타낸 촬상 센서(106)에 있어서, 하나의 마이크로 렌즈(104a)에 대해 할당되는 64개의 화소는 휘도 신호를 얻는 화소가 포함되는 영역과, 보색 신호를 얻는 화소가 포함되는 영역으로 나뉜다. 그리고 화상 재구성부(118)에서의 재구성 처리에 이용하는 영역, 즉 각 마이크로 렌즈의 광축 부근에서 촬상되는 화소가 포함되는 영역은 휘도 신호를 얻는 영역으로 하고, 그 주위의 화소가 포함되는 영역은 보색 신호를 얻는 영역으로 한다. 도 6에 나타낸 촬상 센서(106)에서는, Y에 나타낸 화소로 이루어지는 영역이 휘도 신호를 얻는 영역이고, Cy, Mg, Ye에 나타낸 화소로 이루어지는 영역이 보색 신호를 얻는 영역이 된다. Cy, Mg, Ye에 나타낸 화소는 각각 시안, 마젠타, 옐로우의 정보를 얻는 화소이다.
도 7은 하나의 마이크로 렌즈(104a)에 대해 할당되어 있는 64개의 화소에 대해 확대하여 나타낸 설명도이다. 도 7을 이용하여 보다 상세하게 촬상 센서(106)의 구성을 설명하기로 한다.
화상의 재구성에 이용되는 영역은 도 7에 나타낸 화소 중 Y0~Y51로 나타낸 화소로 이루어지는 영역에 해당된다. 기타 영역의 화소에는 각각 보색 필터가 첨부되고, 시안, 마젠타, 옐로우의 정보가 얻어지도록 구성되어 있다. 시안의 정보를 얻는 화소는, 도 7의 Cy0∼Cy3으로 나타낸 화소이고, 마젠타의 정보를 얻는 화소는 도 7의 Mg0∼Mg3으로 나타낸 화소이며, 옐로우의 정보를 얻는 화소는 도 7의 Ye0∼Ye3으로 나타낸 화소이다. Y0~Y51의 화소에 광을 조사하여 얻는 휘도 신호로부터는 시안, 마젠타, 옐로우의 정보를 참조함으로써 RGB 신호를 얻을 수 있다.
보색 신호를 수광한 화소에서는 휘도 신호를 수광하는 영역과는 다른 광속의 정보가 되는데, 보색 신호는 휘도 신호에 비해 사람의 감도가 낮은 것으로 알려져 있다. 따라서 본 실시 예에서는, 촬상 센서(106)의 휘도 신호가 수광한 위치와, 복수의 보색 신호의 각 수광 위치와의 거리 차에 따라 가중하여 산출함으로써 휘도 신호를 수광한 위치에서의 RGB 신호를 생성한다.
도 8은 색의 삼원색인 R, G, B 각색의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이고, 도 9는 시안, 마젠타, 옐로우의 각색의 파장과 스펙트럼 강도와의 관계를 나타내는 설명도이며, 도 10은 휘도 신호의 파장과 스펙트럼 강도와의 관계를 나타내는 설명도이다. 도 8 내지 도 10에 나타낸 바와 같이, 휘도 신호의 파장과 스펙트럼 강도와의 관계는, 도 9에 나타낸 시안, 마젠타, 옐로우의 각색의 파장과 스펙트럼 강도와의 관계를 포함하는 특성을 가지고 있다. 따라서, 복수의 보색 신호의 각 수광 위치와의 거리 차에 따라 가중하여 산출함으로써 휘도 신호를 수광한 위치에서의 RGB 신호를 생성할 수 있다.
이상, 촬상 장치(100)에 이용되는 촬상 센서(106)의 구성에 대해 설명하였다. 이어, 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법 및 컬러 화상의 생성 방법에 대해 설명하기로 한다.
도 11은 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법에 대해 나타내는 흐름도이고, 도 12는 본 발명의 일 실시 예에 따른 촬상 장치(100)에서의 컬러 화상의 생성 방법에 대해 나타내는 흐름도이다. 이하, 도 11 및 도 12를 사용하여 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법 및 컬러 화상의 생성 방법에 대해서 설명하기로 한다.
본 발명의 일 실시 예에 따른 촬상 장치(100)를 사용하여 피사체를 촬영할 때는, 우선 피사체의 측광 결과를 이용하여 자동으로, 또는 촬영자의 손에 의해 최적의 조리개값이 설정되며(S101), 계속해서, 피사체의 측광 결과를 이용하여 자동으로, 또는 촬영자의 손에 의해 피사체의 촬영으로 최적의 셔터 속도가 설정되고, 또한 화상 촬영시의 게인이 결정된다(S102). 그리고 모터 드라이버(132) 및 초점 렌즈 모터(134)가 초점 렌즈의 위치를 이동시킴으로써 마이크로 렌즈 어레이(104)에 주피사체가 포커싱된다(S103).
마이크로 렌즈 어레이(104)에 주피사체가 포커싱되면, 셔터 버튼을 누름으로써 촬상 장치(100)에서의 촬영 처리가 실행된다(S104). 촬상 장치(100)에서의 촬영 처리는 피사체로부터의 영상 광을 촬상 센서(106)에 조사함으로써 실행된다. 그리고 촬상 센서(106)에 대한 광의 조사는 상기 S102에서 설정한 셔터 속도의 기간 동안만 조사되도록 타이밍 발생부(130)에 의해 제어된다.
피사체로부터의 영상 광이 주 렌즈(102), 마이크로 렌즈 어레이(104)를 투과하여 촬상 센서(106)에 조사되면, 촬상 센서(106)에서 광전 변환되어 전기 신호가 생성된다. 촬상 센서(106)에서 생성된 전기 신호는 아날로그 프론트 엔드부 및 A/D 변환부(112)에 의해 디지털 신호로 변환되고, 변환된 디지털 신호는 화상 입력부(114)에 의해 화상 데이터로서 메모리(110)에 저장된다(S105).
화상 데이터가 메모리(110)에 저장되면, 컬러 화소 생성부(116)는 메모리(110)에 저장된 화상 데이터를 독출하고, 마이크로 렌즈(104a)에서 구분된 영역마다 RGB 화상을 생성한다(S106). 이 스텝 S106에서의 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해서는 후술하기로 한다.
상기 S106에서의 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리가 완료되면, 계속해서 화상 재구성부(118)가 화상의 재구성 처리에 이용하는 재구성용 파라미터를 취득한다(S107). 화상의 재구성 처리에 이용하는 재구성용 파라미터에는, 예를 들면 촬상 장치(100)에서 피사체까지의 거리 정보, 마이크로 렌즈 어레이(104)를 구성하는 마이크로 렌즈(104a)의 렌즈 간의 피치 등의 정보가 포함될 수 있다.
상기 S107에서의 화상 재구성부(118)에 의한 재구성용 파라미터의 취득이 완료되면, 계속해서 그 취득한 파라미터를 사용하여 화상 재구성부(118)에 화상 데이터의 재구성 처리를 실행한다(S108). 화상 재구성부(118)에서 화상 데이터를 재구성함으로써 촬영시와는 다른 피사체에 포커싱된 화상을 생성할 수 있다. 또한, 화상 데이터의 재구성 처리에 대해서는, 공지된 기술이므로 상세한 설명은 생략하기로 한다.
상기 S108에서의, 화상 재구성부(118)에 의한 화상 데이터의 재구성 처리가 완료되면, 계속해서 재구성 후의 화상 데이터에 대해, 디지털 백 엔드부(120)가 각종 화상 처리를 실행한다(S109). 여기서 각종 화상 처리란, 예를 들면 노이즈 제거 처리, 채도 강조 처리, 화상 사이즈 변환 처리 등이 포함될 수 있다. 화상 처리가 행해진 화상 데이터는 메모리(110)에 저장된다.
상기 S109에서의 디지털 백 엔드부(120)에 의한 각종 화상 처리가 완료되면, 계속해서 화상 처리가 행해진 화상 데이터에 대한 압축 처리를 화상 압축부(122)가 실행한다(S110). 화상 데이터에 대한 압축 처리가 완료되면, 메모리 카드 드라이버(124)는 압축 후의 화상 데이터를 기록 매체에 보존한다(S111).
이상, 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법에 대해 설명하였다. 이어, 도 11의 S106에서 나타낸 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해 상세히 설명하기로 한다.
도 12는 도 11의 스텝 S106에서 나타낸 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해 설명하는 흐름도이다. 여기서는 도 6 및 도 7에 나타낸 바와 같이, 하나의 마이크로 렌즈(104a)에 대응하는 것이 8×8화소의 합계 64화소의 영역인 경우를 예로 설명한다.
우선, 컬러 화소 생성부(116)는 마이크로 렌즈 어레이(104)를 구성하는 마이크로 렌즈(104a)의 수를 나타내는 작업용 변수 k를 0으로 설정한다(S121). S121에서 변수 k를 0으로 설정하면, 계속해서 컬러 화소 생성부(116)는 상술한 8×8 화소의 합계 64화소의 영역을 8×8의 행렬로 치환한 경우의 행의 요소를 표현하는 변수 n을 0으로 설정하고(S122), 계속해서 해당 행렬의 열의 요소를 표현하는 변수 m을 0으로 설정한다(S123).
각 변수를 0으로 설정하면, 계속해서 컬러 화소 생성부(116)는 상술한 64화소의 영역에서 구분된 영역 내의 시안(Cy[n][m]), 마젠타(Mg[n][m]), 옐로우(Ye[n][m])의 값을 산출한다(S124). 여기서, Cy[n][m], Mg[n][m], Ye[n][m]은, 각각 64화소의 영역의 네 귀퉁이의 화소로부터의 거리에 따른 가중 평균으로 산출된다. 우선 산출 대상의 화소와, 네 귀퉁이의 각각의 화소의 거리를 산출한다. 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)는 각각 하기의 수식 1 내지 수식 4로 표현할 수 있다. 또한, 도 7에 나타낸 바와 같이, 네 귀퉁이의 Cy, Mg, Ye의 각 화소의 위치는 다르므로, 네 귀퉁이의 시안, 마젠타, 옐로우의 각 화소의 위치에서 산출 대상의 화소까지의 거리(d0, d1, d2, d3)는 시안, 마젠타, 옐로우에서 각각 달라진다. 따라서, 하기의 수식 1 내지 수식 4는 시안, 마젠타, 옐로우에서 각각 다른 식으로 나타내는 것이 적절하지만, 여기서는 개념을 나타내는 데 그치며, 이하에서는 설명의 간략화를 위해 시안, 마젠타, 옐로우의 각 화소에 대한 d0, d1, d2, d3의 구별은 생략하기로 한다.
Figure pat00001
컬러 화소 생성부(116)가 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)를 산출하면, 계속해서 컬러 화소 생성부(116)는 상기 수식 1 내지 수식 4로 구한 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)의 합(d)을 하기의 수식 5에서 구한다.
Figure pat00002
네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리의 합을 산출하면, 해당 화소에서의 Cy[n][m], Mg[n][m], Ye[n][m]을 구할 수 있다. 여기서 Cy[n][m], Mg[n][m], Ye[n][m]은 상기 수식 5에서 구한 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)의 합(d)을 이용하여 하기의 수식 6내지 수식 8로 구할 수 있다. 또한, 하기의 수식 6 내지 8에서 Cy0, Cy1, Cy2, Cy3은 도 7에 나타낸 Cy0, Cy1, Cy2, Cy3의 화소에서의 시안의 값이고, Mg0, Mg1, Mg2, Mg3은 도 7에 나타낸 Mg0, Mg1, Mg2, Mg3의 화소에서의 마젠타의 값이고, Ye0, Ye1, Ye2, Ye3은 도 7에 나타낸 Ye0, Ye1, Ye2, Ye3의 화소에서의 옐로우의 값이다.
Figure pat00003
이와 같이 시안(Cy[n][m]), 마젠타(Mg[n][m]), 옐로우(Ye[n][m])를 산출하면, 계속해서 컬러 화소 생성부(116)는 상술한 64화소의 영역에서 구분된 영역내의 휘도 신호 Y[k][n][m]을 이용하여, 이 구분된 영역의 화소에서의 R[n][m], G[n][m], B[n][m]의 값을 구한다(S125). R, G, B는 Cy, Mg, Ye의 보색 관계이므로, 각 화소의 휘도 신호 Y(Y[n][m])에서 감산함으로써 해당 화소의 R, G, B의 값을 도출할 수 있다. R[n][m], G[n][m], B[n][m]은 하기의 수식 9 내지수식 11로 구할 수 있다.
Figure pat00004
상기 S125에서 R[n][m], G[n][m], B[n][m]을 산출하면, 컬러 화소 생성부(116)는 계속해서 m의 값을 하나 증가시킨다(S126). m의 값을 하나 증가시키면, 컬러 화소 생성부(116)는 계속해서 m의 값이 8미만인지 여부를 판정한다( S127). m의 값이 8미만이면 상기 S124에 되돌아온다. 한편, m의 값이 8이상이면, 컬러 화소 생성부(116)는 계속해서 n의 값을 하나 증가시킨다(S128). n의 값을 하나 증가시키면, 컬러 화소 생성부(116)은 계속해서 n의 값이 8미만인지 여부를 판정한다(S129). n의 값이 8미만이면 상기 S123으로 되돌아와 m의 값을 리셋한다. 한편, n의 값이 8이상이면, 이는 하나의 마이크로 렌즈(104a)에 할당된 64화소의 전부에 대해 R, G, B값의 산출이 완료되었음을 의미하기 때문에, 컬러 화소 생성부(116)는 계속해서 k의 값을 하나 증가시킨다(S130). k의 값을 하나 증가시키면, 컬러 화소 생성부(116)는 계속해서 k의 값이 마이크로 렌즈 어레이(104)를 구성하는 마이크로 렌즈(104a)의 수 미만인지 여부를 판정한다(S131). k의 값이 마이크로 렌즈(104a)의 수 미만이면 상기 스텝 S122로 돌아와 n의 값을 리셋한다. 한편, k의 값이 마이크로 렌즈(104a)의 수 이상이면, 이는 모든 마이크로 렌즈(104a)에 대한 R, G, B값의 산출이 완료되었음을 의미하기 때문에 일련의 처리를 종료한다.
또한, 상기 수식 6 내지 수식 8에서는 Cy[n][m], Mg[n][m], Ye[n][m]은 단순하게 네 귀퉁이에서의 거리에 따른 가중 평균에 의해 산출하였지만, 본 발명은 이러한 예에 한정되지 않는다. 도 6 및 도 7에 나타낸 예에서는, 시안, 마젠타, 옐로우의 정보를 취득하는 보색부는 원의 외측에 위치하고 있으므로, 마이크로 렌즈(104a)를 통과한 광이 이러한 보색부에 충분히 조사되지 않는 경우를 생각할 수 있다. 따라서, 보색부의 광량이 부족할 때는, 상기 수식 6 내지 수식 8에서는 평균화되어 있는 우변 부분을 실광량에 의거하여 변경해도 된다. 예를 들면, 하기의 수식 12 내지 수식 14에 나타낸 바와 같이 소정의 계수α를 이용하여 Cy[n][m], Mg[n][m], Ye[n][m]을 산출해도 된다.
Figure pat00005
또한, 이 수식 12 내지 14에서는 Cy[n][m], Mg[n][m], Ye[n][m]에 대해 전부 동일한 계수α를 사용하고 있는데, 본 발명이 이러한 예에 한정되지 않음은 물론이다. 시안, 마젠타, 옐로우에 각각 계수를 이용해도 되고, 시안, 마젠타, 옐로우 중 어느 2개는 다른 하나와 다른 계수를 사용해도 된다.
또한 보색부의 광량 부족을 보충하기 위하여, 예를 들면 도 13에 나타낸 바와 같이, 마이크로 렌즈(104a)를 투과한 광이 조사되는 영역의 내측에 보색부가 위치 하도록 촬상 센서(106)를 구성해도 된다. 도 13에 나타낸 예에서는, 시안의 정보를 얻는 화소는 Cy0∼Cy3으로 나타낸 화소이고, 마젠타의 정보를 얻는 화소는 Mg0∼Mg3으로 나타낸 화소이며, 옐로우의 정보를 얻는 화소는 Ye0∼Ye3으로 나타낸 화소이다. 또한 도 13의 Y0~Y39의 화소로 이루어지는 영역에 마이크로 렌즈(104a)를 투과한 광이 조사됨으로써 얻어지는 휘도 신호로부터는, 화소Cy0∼Cy3, Mg0∼Mg3, Ye0∼Ye3에 마이크로 렌즈(104a)를 투과한 광이 조사됨으로써 얻어지는 시안, 마젠타, 옐로우의 정보를 참조함으로써 RGB 신호를 얻을 수 있다.
또한 보색부의 광량 부족을 보충하기 위해 마이크로 렌즈 어레이(104)로 바꾸고, 예를 들면 도 14에 나타낸 바와 같은 직사각형의 마이크로 렌즈(104a'가 규칙적으로 배열된 마이크로 렌즈 어레이(104')를 이용해도 된다. 직사각형의 마이크로 렌즈(104a')를 이용함으로써 투과광의 조사 범위가 넓어져 보색부의 광량 부족을 보충할 수 있다.
이상, 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해 설명하였다.
또한, 여기까지는 시안, 마젠타, 옐로우의 정보를 얻기 위한 보색 필터가 첨부된 촬상 센서(106)를 이용한 경우에 대해 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명은 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서를 적용해도 된다. 도 15 및 도 16은, 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서의 구성예에 대해 나타내는 설명도이다. 도 15에 나타낸 예는 도 7에 나타낸 보색 필터가 첨부된 촬상 센서와 같은 구성을 갖는 경우이다. 화상의 재구성에 이용되는 화소는, 도 15에 나타낸 화소 중 Y0~Y51로 나타낸 것에 해당된다. 기타 영역의 화소에는 각각 원색 필터가 첨부되고, 적, 녹, 청의 정보를 얻도록 구성되어 있다. 도 15에서의 각 화소의 R[n][m], G[n][m], B[n][m]의 값은 각각 하기의 수식 15 내지 수식 20으로 산출할 수 있다. 또한, 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리 d0, d1, d2, d3 및 d0, d1, d2, d3의 합(d)의 산출식은 상기 수식 1 내지 수식 5와 동일한 것을 이용한다.
Figure pat00006
한편, 도 16은, 도 13에 나타낸 마이크로 렌즈(104a)를 투과한 광이 조사되는 영역의 내측에 보색부가 위치하도록 구성된 촬상 센서(106)과 같은 구성을 갖는 것이다. 도 16에 나타낸 바와 같이, 마이크로 렌즈(104a)를 투과한 광이 조사되는 영역의 내측에 적, 녹, 청의 정보를 취득하는 원색부가 위치하도록 촬상 센서(106)를 구성해도 된다.
이상 설명한 바와 같이 본 발명의 일 실시 예에 의하면, 마이크로 렌즈 어레이(104)의 투과광으로부터 컬러 화상 신호를 생성하는 경우에 있어서, 하나의 마이크로 렌즈(104a)에 대해 촬상 센서(106)의 복수의 화소가 할당된 영역을 설치한다. 해당 영역은, 마이크로 렌즈(104a)의 광축을 중심으로 한 영역은 휘도 신호를 얻고, 해당 영역의 주변 영역은 보색 신호 또는 원색 신호를 각각 얻는 구성으로 한다. 그리고, 컬러 화상 신호를 생성할 때는 해당 영역의 네 귀퉁이의 화소로부터의 거리에 따른 가중 평균에 의해 영역내의 각 화소의 보색 데이터 또는 원색 데이터를 산출하고, 산출된 각 화소의 보색 데이터 또는 원색 데이터, 및 해당 화소의 휘도 데이터를 사용하여 각 화소의 색정보를 산출한다.
그 결과, 본 발명의 일 실시 예에 의하면, 주변의 화소를 이용하여 휘도 보간 처리를 하지 않으므로, 해상도의 저하나 주변부에 부자연스러운 에러 패턴이 발생하지 않고, 넓은 범위로부터 가중 평균화 처리값을 참조하기 때문에, 종래의 디지털 스틸 카메라에 이용되고 있는 베이어 보간을 이용한 경우에 비해, 위상 변이에 의한 색상 잡음(false color)의 발생을 저감시킬 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 예에 대해 상세히 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 갖는 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범위 내에서 각종 변경예 또는 수정예를 생각해 낼 수 있음은 명백하고, 이에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기 실시 예에서 촬상 센서(106)는 마이크로 렌즈(104a)의 광축을 중심으로 한 영역은 휘도 신호를 얻고, 해당 영역의 주변 영역은 보색 신호 또는 원색 신호를 각각 얻는 구성으로 하였지만, 본 발명은 이러한 예에 한정되지 않는다. 촬상 센서는 상기 실시 예와는 반대로, 예를 들면 마이크로 렌즈(104a)의 광축을 중심으로 한 영역은 보색 신호 또는 원색 신호를 얻고, 해당 영역의 주변 영역은 휘도 신호를 각각 얻는 구성으로 해도 된다.
또한 예를 들면, 상기 실시 예에서 마이크로 렌즈 어레이(104)는 마이크로 렌즈(104a)가 격자 모양으로 배열된 구성을 가지고 있지만, 본 발명은 이러한 예에 한정되지 않는다. 마이크로 렌즈 어레이를 구성하는 마이크로 렌즈는 격자 모양 이외에, 예를 들면 허니콤상으로 배열되어도 된다. 도 17은 마이크로 렌즈(104a")가 허니콤상으로 규칙적으로 배열된 마이크로 렌즈 어레이(104")에 대해 나타내는 설명도이다. 또한, 도 17에서는 허니콤 구조를 갖는 마이크로 렌즈 어레이(104")를 구성하는 하나의 마이크로 렌즈(104a")의 형상은 원형이지만, 본 발명에서 허니콤 구조를 갖는 마이크로 렌즈 어레이를 구성하는 하나의 마이크로 렌즈의 형상은 이러한 예에 한정되지 않는다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100 촬상 장치
102 주렌즈
104, 104', 104" 마이크로 렌즈 어레이
104a, 104a' 104a" 마이크로 렌즈
106 촬상 센서
108 CPU
110 메모리
112 아날로그 프론트 엔드부 및 A/D 변환부
114 화상 입력부
116 컬러 화소 생성부
118 화상 재구성부
120 디지털 백 엔드부
122 화상 압축부
124 메모리 카드 드라이버
126 표시 화상 생성부
128 표시 드라이버
130 타이밍 발생부
132 모터 드라이버
134 초점 렌즈 모터

Claims (4)

  1. 단일 평면상에 설치되는 복수의 렌즈가 규칙적으로 배열된 렌즈 어레이와,
    상기 렌즈 어레이의 각각의 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 복수의 화소로 이루어지는 광전 변환 영역을 복수 구비하는 광전 변환부를 구비하고,
    상기 복수의 광전 변환 영역 각각은 상기 렌즈의 광축을 중심으로 설치되는 제1 영역과, 상기 제1 영역의 주변에 설치되는 제2 영역에서 다른 분광 감도 특성을 갖는 것을 특징으로 하는 광 검출 소자.
  2. 제 1 항에 있어서,
    상기 제1 영역은 휘도 신호에 해당하는 분광 감도 특성을 가지고,
    상기 제2 영역은 색 신호에 해당하는 분광 감도 특성을 갖는 것을 특징으로 하는 광 검출 소자.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 광전 변환 영역 각각은 상기 화소의 분광 특성의 배열 패턴이 모두 동일한 것을 특징으로 하는 광 검출 소자.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제2 영역은 상기 렌즈 어레이의 각각의 렌즈로부터의 투과광의 조사 범위에 포함되도록 설치되는 것을 특징으로 하는 광 검출 소자.
KR1020100004475A 2009-05-01 2010-01-18 광 검출 소자 및 촬상 장치 KR101679293B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/772,285 US8358365B2 (en) 2009-05-01 2010-05-03 Photo detecting device and image pickup device and method thereon

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009111856A JP5394814B2 (ja) 2009-05-01 2009-05-01 光検出素子及び撮像装置
JPJP-P-2009-111856 2009-05-01

Publications (2)

Publication Number Publication Date
KR20100119712A true KR20100119712A (ko) 2010-11-10
KR101679293B1 KR101679293B1 (ko) 2016-11-24

Family

ID=43361101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100004475A KR101679293B1 (ko) 2009-05-01 2010-01-18 광 검출 소자 및 촬상 장치

Country Status (2)

Country Link
JP (1) JP5394814B2 (ko)
KR (1) KR101679293B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083847A (ko) * 2012-01-13 2013-07-23 캐논 가부시끼가이샤 촬상장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205111A (ja) * 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
JP5591851B2 (ja) * 2012-03-15 2014-09-17 株式会社東芝 固体撮像装置および携帯情報端末
JP6046912B2 (ja) * 2012-05-01 2016-12-21 キヤノン株式会社 撮像装置及びその制御方法
JP6074201B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2014095688A (ja) 2012-10-09 2014-05-22 Ricoh Co Ltd 撮像装置及び撮像システム
US9955861B2 (en) 2015-10-16 2018-05-01 Ricoh Company, Ltd. Construction of an individual eye model using a plenoptic camera

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP4659788B2 (ja) 2007-06-22 2011-03-30 富士フイルム株式会社 裏面照射型撮像素子
JP4968527B2 (ja) * 2007-07-10 2012-07-04 ソニー株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083847A (ko) * 2012-01-13 2013-07-23 캐논 가부시끼가이샤 촬상장치
US9191560B2 (en) 2012-01-13 2015-11-17 Canon Kabushiki Kaisha Image capturing apparatus that performs photoelectric conversion on incident light that has passed through an imaging lens and outputs an electric signal

Also Published As

Publication number Publication date
KR101679293B1 (ko) 2016-11-24
JP2010263353A (ja) 2010-11-18
JP5394814B2 (ja) 2014-01-22

Similar Documents

Publication Publication Date Title
US10389959B2 (en) Image-capturing device and image sensor
US20230362507A1 (en) Image sensor and image-capturing device
US8358365B2 (en) Photo detecting device and image pickup device and method thereon
CN212785522U (zh) 图像传感器和电子设备
KR100827238B1 (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
KR101679293B1 (ko) 광 검출 소자 및 촬상 장치
WO2013100036A1 (ja) カラー撮像素子
JP2013546249A5 (ko)
JP5501448B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP5600814B2 (ja) 画像処理装置及び方法並びに撮像装置
US8111298B2 (en) Imaging circuit and image pickup device
WO2012153532A1 (ja) 撮像装置
JP5990008B2 (ja) 撮像装置およびその制御方法
JP2011232615A (ja) 撮像装置
WO2016002274A1 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
WO2015111471A1 (ja) 撮像装置、映像信号処理方法及び映像信号処理プログラム
JP5464008B2 (ja) 画像入力装置
WO2011162041A1 (ja) 撮像装置及び撮像方法
JP2010010958A (ja) マルチバンド画像撮像方法および装置
JP6260512B2 (ja) 撮像装置、撮像方法、撮像プログラム
JP6442824B2 (ja) 焦点検出装置
RU2736780C1 (ru) Устройство для формирования цветного изображения (варианты)
CN104011575B (zh) 摄像装置及摄像装置的控制方法
JP2023084577A (ja) 撮像装置、撮像方法、及びプログラム
JP4681792B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4