KR101591172B1 - 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 - Google Patents
이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 Download PDFInfo
- Publication number
- KR101591172B1 KR101591172B1 KR1020140048590A KR20140048590A KR101591172B1 KR 101591172 B1 KR101591172 B1 KR 101591172B1 KR 1020140048590 A KR1020140048590 A KR 1020140048590A KR 20140048590 A KR20140048590 A KR 20140048590A KR 101591172 B1 KR101591172 B1 KR 101591172B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- image
- image sensor
- cut
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 description 30
- 210000000712 G cell Anatomy 0.000 description 10
- 210000003719 b-lymphocyte Anatomy 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/28—Interference filters
- G02B5/281—Interference filters designed for the infrared light
- G02B5/282—Interference filters designed for the infrared light reflecting for infrared and transparent for visible light, e.g. heat reflectors, laser protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Toxicology (AREA)
- Health & Medical Sciences (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Input (AREA)
Abstract
이미지 센서와 피사체 사이의 거리를 결정하는 방법은 수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 컷 오프 필터를 이용하여, 피사체에 대한 제1 이미지 및 상기 제1 이미지와 구별되는 제2 이미지를 획득하는 단계; 및 상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur)의 변화에 기초하여 상기 이미지 센서와 상기 피사체 사이의 거리를 결정하는 단계를 포함한다.
Description
본 발명은 이미지 센서와 피사체 사이의 거리를 결정하는 장치 및 그 방법에 관한 것으로, 보다 구체적으로 카메라 렌즈의 조리개 외에 이미지 센서에서 수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 조리개를 이용하여 이미지 센서와 피사체 사이의 거리를 화소 별로 결정하는 기술에 관한 것이다.
기존의 이미지 센서와 피사체 사이의 거리를 결정하는 기술은 두 개의 카메라를 이용하여 각각의 카메라의 시각차에 의해 촬영된 이미지의 차이(disparity)를 기반으로 거리를 측정한다. 이러한 경우, 기구적으로 모듈의 구성이 커지기 때문에, 모바일 기기에 장착하기 어렵고 가격이 상승되는 문제점이 있다.
이에 하나의 카메라를 이용하여 거리를 결정하는 기술이 제안되었다. 하나의 카메라를 이용하여 거리를 결정하는 기존 기술에서는 IR(infrared ray) 신호를 컷 오프하는 필터의 핀 홀(pin hole)을 조리개로 이용하여 거리에 관계없이 선명하게 획득된 IR 신호로 구성되는 이미지 및 렌즈 조리개를 이용하여 획득된 R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지의 블러(blur)한 정도에 기초하여 이미지 센서와 피사체 사이의 거리를 결정한다. 이하, 이미지 센서는 CIS(CMOS Image Sensor) 및 ISP(Image Signal Processor)로 구성되는 모듈을 의미한다.
기존의 이미지 센서와 피사체 사이의 거리를 결정하는 기술에서, 이미지 센서는 IR 신호로 구성되는 이미지를 획득하기 위하여 IR 신호를 처리하는 별도의 IR 셀(cell)을 포함해야 한다. 또한, 기존의 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 IR 신호가 없는 실내와 야간의 경우, IR 신호를 발생시키는 IR LED를 구비해야 하는 단점이 있다.
또한, 기존의 이미지 센서와 피사체 사이의 거리를 결정하는 기술에서 R 신호, G 신호 및 B 신호를 처리하는 셀에 IR 컷 오프 필터에 포함되는 핀 홀(pin hole)을 통하여 유입된 IR 신호가 지나치게 많이 수신되는 색재현성이 발생되기 때문에, RGB 이미지의 품질이 저하되어 카메라로서 이용되기 힘든 문제점이 있다. 이러한 색재현성은 복잡한 보상회로를 추가하더라도, 광원에 따른 스펙트럼이 달라져서 원천적으로 해결이 어려운 단점이 있다.
이에, 본 명세서에서는 별도의 IR 셀 및 IR LED를 구비하지 않은 채로 이미지 센서와 피사체 사이의 거리를 결정하고, R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지의 품질을 보장하는 기술을 제안한다.
본 발명의 실시예들은 이미지 센서에 입사되는 신호 중 IR 신호를 컷 오프하는 IR 컷 오프 필터를 이용하여, 이미지 센서에서 IR 신호를 제외한 R 신호, G 신호 및 B 신호를 수신하도록 함으로써, 태양광 아래에서도 이미지의 색감 저하 없이 R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지의 품질을 보장하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예들은 렌즈 조리개 및 IR 컷 오프 필터를 통과한 R 신호, G 신호 또는 B 신호 중 컷 오프 필터에 의해 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 제1 이미지 및 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호로 구성되는 제2 이미지를 이용함으로써, 이미지 센서와 피사체 사이의 거리를 결정하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예들은 R 신호, G 신호 또는 B 신호 중 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호에 대한 밝기 값을 증폭시킴으로써, R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지의 품질을 보장하는 방법, 장치 및 시스템을 제공한다.
본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 방법은 수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 컷 오프 필터를 이용하여, 피사체에 대한 제1 이미지 및 상기 제1 이미지와 구별되는 제2 이미지를 획득하는 단계; 및 상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur)의 변화에 기초하여 이미지 센서와 상기 피사체 사이의 거리를 결정하는 단계를 포함한다.
상기 피사체에 대한 제1 이미지 및 제2 이미지를 획득하는 단계는 상기 컷 오프 필터를 이용하여 상기 R 신호, 상기 G 신호 및 상기 B 신호 중 상기 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 상기 제1 이미지를 획득하는 단계; 및 상기 컷 오프 필터의 핀 홀(pin hole)을 통해 상기 컷 오프된 어느 하나의 신호가 유입됨에 응답하여 상기 컷 오프된 어느 하나의 신호로 구성되는 상기 제2 이미지를 획득하는 단계를 포함할 수 있다.
상기 제2 이미지를 획득하는 단계는 상기 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 단계를 더 포함할 수 있다.
상기 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 단계는 상기 이미지 센서에 포함되는 상기 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 상기 컷 오프된 어느 하나의 신호를 처리하는 경우, 상기 이미지 센서와 연결된 앰프의 게인(gain)을 증가시키는 단계; 및 상기 이미지 센서에 포함되는 상기 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 상기 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 상기 앰프의 게인을 감소시키는 단계를 포함할 수 있다.
상기 이미지 센서와 피사체 사이의 거리를 결정하는 방법은 상기 이미지 센서에 입사되는 신호 중 IR(infrared ray) 신호를 컷 오프하는 IR 컷 오프 필터를 이용하여, 상기 이미지 센서에서 R 신호, 상기 G 신호 및 상기 B 신호를 수신하는 단계를 더 포함할 수 있다.
상기 이미지 센서와 상기 피사체 사이의 거리를 결정하는 단계는 상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러의 변화에 기초하여 상기 이미지 센서의 초점 위치와 상기 피사체 사이의 거리를 결정하는 단계; 및 상기 이미지 센서와 상기 이미지 센서의 초점 위치 사이의 거리를 산출하는 단계를 포함할 수 있다.
상기 이미지 센서와 피사체 사이의 거리를 결정하는 방법은 상기 제1 이미지 및 상기 제2 이미지를 조합하여 상기 R 신호, 상기 G 신호 및 상기 B 신호로 구성되는 RGB 이미지를 생성하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 컷 오프 필터; 상기 컷 오프 필터를 이용하여 피사체에 대한 제1 이미지 및 상기 제1 이미지와 구별되는 제2 이미지를 획득하는 이미지 센서; 및 상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur)의 변화에 기초하여 상기 이미지 센서와 상기 피사체 사이의 거리를 결정하는 거리 결정부를 포함한다.
상기 이미지 센서는 상기 컷 오프 필터를 이용하여 상기 R 신호, 상기 G 신호 및 상기 B 신호 중 상기 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 상기 제1 이미지를 획득하고, 상기 컷 오프 필터의 핀 홀(pin hole)을 통해 상기 컷 오프된 어느 하나의 신호가 유입됨에 응답하여 상기 컷 오프된 어느 하나의 신호로 구성되는 상기 제2 이미지를 획득할 수 있다.
상기 이미지 센서는 상기 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 증폭부를 더 포함할 수 있다.
상기 증폭부는 상기 이미지 센서에 포함되는 상기 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 상기 컷 오프된 어느 하나의 신호를 처리하는 경우, 상기 이미지 센서와 연결된 앰프의 게인(gain)을 증가시키고, 상기 이미지 센서에 포함되는 상기 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 상기 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 상기 앰프의 게인을 감소시킬 수 있다.
상기 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 상기 이미지 센서에 입사되는 신호 중 IR(infrared ray) 신호를 컷 오프하여, 상기 이미지 센서에서 상기 R 신호, 상기 G 신호 및 상기 B 신호를 수신하도록 하는 IR 컷 오프 필터를 더 포함할 수 있다.
상기 거리 결정부는 상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러의 변화에 기초하여 상기 이미지 센서의 초점 위치와 상기 피사체 사이의 거리를 결정하고, 상기 이미지 센서와 상기 이미지 센서의 초점 위치 사이의 거리를 산출할 수 있다.
상기 이미지 센서는 상기 제1 이미지 및 상기 제2 이미지를 조합하여 상기 R 신호, 상기 G 신호 및 상기 B 신호로 구성되는 RGB 이미지를 생성할 수 있다.
본 발명의 실시예들은 카메라 모듈을 이용하여 거리를 결정할 뿐만 아니라, 카메라로서의 역할도 그대로 유지함으로써, 2차원 이미지와 더불어 깊이 데이터를 획득할 수 있기 때문에, 다양한 응용 제품에 적용이 가능하다.
구체적으로, 본 발명의 실시예들은 이미지 센서에 입사되는 신호 중 IR 신호를 컷 오프하는 IR 컷 오프 필터를 이용하여, 이미지 센서에서 IR 신호를 제외한 R 신호, G 신호 및 B 신호를 수신하도록 함으로써, 태양광 아래에서도 이미지의 색감 저하 없이 R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지의 품질을 보장하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 렌즈 조리개 및 IR 컷 오프 필터를 통과한 R 신호, G 신호 또는 B 신호 중 컷 오프 필터에 의해 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 제1 이미지 및 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호로 구성되는 제2 이미지를 이용함으로써, 이미지 센서와 피사체 사이의 거리를 결정하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 R 신호, G 신호 또는 B 신호 중 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호에 대한 밝기 값을 증폭시킴으로써, R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지의 품질을 보장하는 방법, 장치 및 시스템을 제공할 수 있다. 특히, 본 발명의 실시예들은 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호에 대한 앰프의 게인을 증가시키고, 나머지 신호들에 대한 앰프의 게인을 감소시킴으로써, 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다. 이 때, 본 발명의 실시예들은 IR 컷 오프 필터를 통과한 R 신호, G 신호 및 B 신호에 대한 노출을 증가시킨 후, 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다. 따라서, 본 발명의 실시예들은 노이즈의 증가는 없이, 컷 오프 필터의 핀 홀을 통해 유입된 어느 하나의 신호에 대한 밝기 값만을 증폭시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 IR 컷 오프 필터 및 컷 오프 필터의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 방법을 나타낸 플로우 차트이다.
도 5는 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 IR 컷 오프 필터 및 컷 오프 필터의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 방법을 나타낸 플로우 차트이다.
도 5는 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치를 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 이미지 센서(110), 컷 오프 필터(120), IR 컷 오프(130) 및 거리 결정부를 포함할 수 있다. 여기서, 컷 오프 필터(120)의 핀 홀(121)은 조리개 역할을 할 수 있다.
IR 컷 오프 필터(130)는 렌즈 조리개(140)를 통하여 입사되는 신호(예컨대, RGB 신호 및 IR 신호를 포함하는 신호) 중 IR 신호를 컷 오프할 수 있다. 따라서, 제2 영역(131)에는 RGB 신호만이 입사될 수 있다.
이미지 센서(110)는 입사되는 신호 중 IR 컷 오프 필터(130)에 의해 컷 오프된 IR 신호를 제외한, R 신호, G 신호 및 B 신호를 수신할 수 있다. 도면에는 도시하지 않았지만, 이미지 센서(110)는 CIS 및 ISP로 구성된 모듈로서, R 신호를 처리하는 R 셀, G 신호를 처리하는 G 셀 및 B 신호를 처리하는 B 셀을 포함할 수 있다. 이 때, R 셀, G 셀 및 B 셀 각각은 독립적으로 작동할 수 있기 때문에, 이미지 센서(110)는 R 신호, G 신호 및 B 신호 각각만을 처리할 수 있고, R 신호, G 신호 및 B 신호를 모두 한번에 처리할 수 있다.
컷 오프 필터(120)는 이미지 센서(110)에 수신되는 R 신호, G 신호 또는 B 신호 중 어느 하나의 신호를 컷 오프한다. 예를 들어, 컷 오프 필터(120)는 R 신호를 컷 오프하는 R 컷 오프 필터인 경우, G 신호 및 B 신호는 컷 오프 필터(120)를 통과하여 이미지 센서(110)의 G 셀 및 B 셀 각각에 도달할 수 있다. 또한, 컷 오프 필터(120)의 핀 홀(121)이 조리개 역할을 하기 때문에, R 신호는 핀 홀(121)만을 통하여 유입되어 이미지 센서(110)의 R 셀에 도달할 수 있다. 따라서, 제1-1 영역(122) 및 제1-2 영역(123)에는 G 신호 및 B 신호가 입사되어 이미지 센서(110)의 G 셀 및 B 셀 각각에 도달할 수 있다. 반면에, 제1-2 영역(123)에는 핀 홀(121)을 통해 유입되는 R 신호만이 입사될 수 있다. 이하, 핀 홀(121)를 R 신호를 컷 오프하는 R 컷 오프 필터에 포함되는 핀 홀로 설명하나, 이에 제한되거나 한정되지 않고, G 신호를 컷 오프하는 G 컷 오프 필터에 포함되는 핀 홀이거나, B 신호를 컷 오프하는 B 컷 오프 필터에 포함되는 핀 홀 일 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
따라서, 이미지 센서(110)는 R 신호, G 신호 또는 B 신호 중 컷 오프 필터(120)에 의해 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들을 수신하여 처리함으로써, 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 제1 이미지를 획득하고, 컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는, R 신호, G 신호 또는 B 신호 중 컷 오프된 어느 하나의 신호를 수신하여 처리함으로써, 컷 오프된 어느 하나의 신호로 구성되는 제2 이미지를 획득할 수 있다. 예를 들어, 이미지 센서(110)는 컷 오프 필터(120)에 의해 컷 오프된 R 신호를 제외한 나머지 G 신호 및 B 신호로 구성되는 제1 이미지를 획득하고, 컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는 R 신호로 구성되는 제2 이미지를 획득할 수 있다.
이 때, 이미지 센서(110)는 컷 오프 필터(120)에 의해 컷 오프된 어느 하나의 신호가 컷 오프 필터(120)의 핀 홀(121)을 통해 유입될 때, 컷 오프된 어느 하나의 신호에 대한 밝기 값이 감소되어, 핀 홀(121)을 통해 유입되는 컷 오프된 어느 하나의 신호로 구성되는 제2 이미지의 품질이 저하되는 것을 방지하기 위하여, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다. 이와 같은 증폭의 과정은 이미지 센서(110)에 포함되는 증폭부에 의해 수행될 수 있다. 그러나, 증폭부는 이미지 센서(110)에 내장될 뿐만 아니라, 별도의 모듈로서 구비될 수도 있다. 구체적으로, 증폭부는 이미지 센서(110)에 포함되는 컷 오프된 어느 하나의 신호를 처리하는 셀에서 컷 오프된 어느 하나의 신호를 처리하는 경우, 이미지 센서(110)와 연결된 앰프의 게인을 증가시키고, 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들을 처리하는 셀에서 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 앰프의 게인을 감소시킴으로써, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다. 예를 들어, 증폭부는 이미지 센서(110)에 포함되는 R 셀에 있는 라인을 처리하는 경우, 앰프의 게인을 증가시키고, G 셀 및 B 셀에 있는 라인을 처리하는 경우, 앰프의 게인을 감소시킴으로써, R 신호에 대한 밝기 값을 증폭시킬 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
이와 같은 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 이미지 센서(110)의 동작은 IR 컷 오프 필터(130)를 통하여 유입되는 R 신호, G 신호 및 B 신호에 대한 노출을 증가시킨 후 수행될 수도 있다. 따라서, 노이즈의 증가는 없이, 컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다.
거리 결정부는 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러의 변화에 기초하여 이미지 센서(110)와 피사체 사이의 거리를 결정한다. 여기서, 거리 결정부는 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러의 변화에 기초하여, 이미지 센서(110)의 초점 위치와 피사체 사이의 거리를 결정하고, 이미지 센서(110)와 이미지 센서(110)의 초점 위치 사이의 거리를 산출할 수 있다. 따라서, 거리 결정부는 결정된 이미지 센서(110)의 초점 위치와 피사체 사이의 거리 및 산출된 이미지 센서(110)와 이미지 센서(110)의 초점 위치 사이의 거리를 가산하여 이미지 센서(110)와 피사체 사이의 거리를 결정할 수 있다. 도면에는 거리 결정부가 이미지 센서(110)에 내장되는 것으로 도시하였으나, 별도의 모듈로서 구비될 수도 있다.
여기서, 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러의 변화에 기초하여 이미지 센서(110)와 피사체 사이의 거리를 결정하는 알고리즘은 기존의 다양한 알고리즘을 적용할 수 있다.
예를 들어, 거리 결정부는 미리 계산된 2개 사진 매칭 곡선 정보(two picture matching curve information)에 기초하여, 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러의 변화에 기초하여 이미지 센서(110)와 피사체 사이의 거리를 결정할 수 있다. 여기서, 거리 결정부는 제1 이미지 및 제2 이미지 중 어느 하나를 제1 이미지 및 제2 이미지 중 다른 하나의 흐릿함까지 블러링하기 위해 이용되는 컨볼루션들의 수를 결정하고, 결정된 컨볼루션들의 수를 이용하여 이미지 센서(110)와 피사체 사이의 거리를 결정할 수 있다.
2개 사진 매칭 곡선은, CCD(Charge-Coupled Device) 또는 CMOS(Complimentary Metal-Oxide-Semiconductor) 센서를 채택하는 임의의 촬상 장치에 의해 캡처된 데이터로부터 산출되는 물리적인 양이다. 2개 사진 매칭 곡선 상의 특정 포인트는 다음의 방식으로 생성된다. 고정된 카메라 줌(zoom) 및 어퍼처(aperture)에 대해, 검사 대상 또는 피사체의 사진이 특정 카메라 초점 위치에 대해 캡처된다. 그 다음, 카메라 초점 위치가 어떤 소량만큼 변경되고, 제2 사진이 캡처된다. 이어서, 검사 타겟 또는 피사체에 대한 블러의 변화가 산출된다. 그 후, 상이한 카메라 초점 위치들에 대해 프로세스가 반복됨으로써, 2개 사진 매칭 곡선을 생성한다. 이웃하는 카메라 초점 위치들이 M 심도들(M은 논-제로의 유리수의 양임)에 대응하는 어떤 고정량만큼 반복적으로 변경된다면, 가우시안 컨볼루션 커널(Gaussian convolution kernel)을 적용할 경우, 산출되는 2개 사진 매칭 곡선은 이론적으로 선형이다. 그 외에는, 곡선은 단조적으로 증가/감소한다. 카메라 초점 위치가, 각각의 새로운 카메라 초점 위치를 위해 그의 이전의 카메라 초점 위치에 대해 상대적으로 고정된 M 심도만큼 변경되더라도, 카메라 렌즈의 불완전성에 기인하여, 선형성은 고정된 범위에 대해서만 존재한다.
자연적 장면(natural scene)의 경우, 반복은 장면 내의 비-중첩 영역들로 계산되며 그와 연관된다. 이 때, 반복 수는 컨볼루션들을 의미할 수 있다. 그 후, 장면 내의 피사체들의 상대적 순서를(예를 들면, 어느 피사체들이 카메라에 더 가깝고, 어느 피사체들이 더 멀리 있는지를) 결정하거나, 또는 장면 내의 피사체들의 실제 거리를 근사적으로 추정하기 위해, 그 수가 이용된다. 반복 정보를 포함하는 매트릭스가 반복 맵(iteration map)으로서 정의된다.
예를 들면, 문제의 장면은 다음의 기초적인 3×3 반복 맵을 갖는다.
매트릭스의 상부의 좌측 코너가 엔트리 (1, 1)로서 정의되고, 매트릭스의 하부의 우측 코너가 엔트리 (3, 3)으로서 정의된다면, 엔트리 (2, 2)에 위치된 피사체는 반복 맵 넘버 8에 대응한다. 이 피사체가 카메라에 가장 가깝다. 마찬가지로, 반복 맵 넘버 -7에 대응하는 엔트리 (3, 2)에 위치된 피사체는 카메라로부터 가장 멀다. 마찬가지로, 반복 맵 넘버 1에 대응하는 엔트리 (1, 3)에 위치된 피사체는 카메라의 현재 초점 위치에 가장 가깝다.
반복 맵의 디멘전은 
이다. 또한, 반복 맵은 종종 경계 영역들에 대응하는 2개의 별개의 깊이를 포함하는 비-중첩 영역들(전경 피사체와 배경 피사체 등)을 포함한다. 이 위치들에서, 반복 맵 정보는 부정확하다. 일반적으로, 기초적인 필터링 또는 클러스터링 스킴은 비-경계 위치들에 있어서의 반복 맵 추정을 향상시키기 위해 이용될 수 있다. 그 후 반복 맵의 정보는 상대적인 피사체 거리 및 정확한 피사체 거리를 결정하기 위해 이용될 수 있다. 그러나, 문제의 피사체가 반복 맵 내에 몇몇의 비-중첩 영역들/복수의 이웃하는 엔트리들을 포함한다고 가정하면, 간단한 클러스터링 스킴을 채택함으로써, 상대적인 피사체 거리가 결정될 수 있다.
각각의 인접한 카메라 위치가 M 심도의 이동에 대응한다면, 피사체 거리를 산출하기 위해 반복 수가 이용될 수 있다. 여기서, 현재의 초점 위치에 있는 문제의 피사체에 대한 반복 수를 K로 가정한다면, K는 현재의 초점 위치인 N으로부터 [(N+8)-N]=8만큼 떨어져 있는 사진 넘버에 대응한다. 그 후, 피사체의 거리가 8 * M 심도로서 결정될 수 있다.
각각의 연속적인 사진 넘버 위치는 수학식으로부터 산출된다. 한가지 가능성은, 각각의 연속한 사진 넘버 위치를, 어떤 기준 사진 넘버 1[또는 Nmax]로부터, 또는 1과 Nmax 사이의 어떤 다른 사진 넘버로부터 전방(또는 후방)의 심도 위치로서 산출하는 것이다. 현재의 카메라 초점 위치를 이용하여 피사체 위치를 산출하기 위해, 하기에 나타낸 코드(sign(depth_of_fields)==1)가 적용될 수 있다. 각각의 새로운 카메라 초점 위치는 새롭게 산출된 전방 심도 위치의 대체에 의해 산출된다. 하기에 주어진 예에서, 카메라 초점 길이(focal length), fnumber, 및 시작하는 초점 거리(사진 넘버 N=1에 대응함)는 각각 63㎜, 5.2, 및 1㎝이다. 프로세스는 피사체 거리를 결정하기 위해 8회 반복된다.
마찬가지로, 후방 심도 위치들도 산출될 수 있고 이용될 수 있다. 이 경우, distance_focus = H/2[N=Nmax에 대응함]이고 sign(depth_of_fields) 옵션이 -1로서 선택된다.
마찬가지로, "교과서" 심도 정의에 기초하여 새로운 사진 넘버 위치들이 전방 방향으로 산출될 수 있다. 여기서, distance_focus = 1이고, Dno1 및 Dfo1 양방이 전술한 식들을 이용하여 산출된다. 다음의 사진 넘버 위치에 대응하는 다음의 초점 위치를 산출하기 위해, 하기의 방정식을 푼다.
프로세스는 모든 후속의 거리 초점 위치들을 생성하기 위해 반복된다.
마찬가지로, 새로운 사진 넘버 위치들이 "교과서" 심도 정의에 기초하여 역방향으로 산출된다. 여기서, distance_focus = H/2이고 Dno1 및 Dfo1 양방이 상기의 식들을 이용하여 산출된다. 다음의 사진 넘버 위치에 대응하는 다음의 초점 위치를 산출하기 위해, 하기의 방정식을 푼다.
프로세스는 모든 후속의 거리 초점 위치들을 생성하기 위해 반복된다.
식들과 정의들에 대한 다른 변형들도 이용될 수 있다. 사진 넘버 위치들은 사전에 결정된 수학식을 이용하여 산출된다. 따라서, 거리 결정부는 수학식을 반복함으로써, 특정 반복 수에 연관된 피사체 깊이가 결정하여, 이미지 센서(110)와 피사체 사이의 거리를 결정할 수 있다.
또 다른 알고리즘의 예를 들면, 거리 결정부는 제2 이미지에 대해 복수개의 필터들(위에서 상술한, 컷 오프 필터(120) 및 IR 컷 오프 필터(130)와 구별되는 필터로서, 이미지에 대해 미리 정해진 처리를 통하여 값을 획득함)을 이용하여 복수개의 블러 패치(blurred patch)들을 획득하고, 획득된 복수개의 블러 패치들 각각에 대해 제1 이미지와의 차이값을 계산함으로써, 복수개의 차이값들 중 가장 작은 값을 이미지 센서(110)와 피사체 사이의 거리로 결정할 수 있다.
여기서, 이미지 센서(110)와 피사체 사이의 거리는 특정 피사체에만 국한되지 않고, 이미지 센서(110)의 모든 화소에 대하여 실행되기 때문에, 화소 별로 대응하는 이미지의 깊이 값을 획득하여 3차원 이미지가 생성될 수 있다.
이와 같이, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 별도의 IR 셀 및 IR LED를 구비하지 않고, 컷 오프 필터(120) 및 IR 컷 오프 필터(130)만을 포함함으로써, 제1 이미지 및 제2 이미지를 이용하여 이미지 센서(110)와 피사체 사이의 거리를 결정할 수 있다. 이 때, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 위에서 상술한 이미지 센서(110)와 피사체 사이의 거리를 결정하는 알고리즘에 제한되거나 한정되지 않고, 다양한 거리 결정 알고리즘을 이용할 수 있다.
또한, 이미지 센서(110)는 제1 이미지 및 제2 이미지를 조합하여 R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지를 생성할 수 있기 때문에, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 카메라로서 사용이 가능할 수 있다. 이 때, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치가 카메라로서 사용되기 위해서는, 이미지 센서(110)에서 생성되는 RGB 이미지의 품질이 보장되어야 한다. 본 발명의 일실시예에 따른 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 위에서 상술한 듯이, 이미지 센서(110)에 포함되는 R 셀, G 셀 및 B 셀 각각에 IR 신호가 수신되는 것을 방지함으로써, 이미지 센서(110)가 생성하는 RGB 이미지의 품질을 보장할 수 있다. 구체적으로, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 이미지 센서(110)에 입사되는 신호 중 IR 신호를 컷 오프하여 이미지 센서(110)에서 R 신호, G 신호, B 신호를 수신하도록 하는 IR 컷 오프 필터(130)를 포함하고, IR 컷 오프 필터(130)에 의해 IR 신호가 제거된 R 신호, G 신호 또는 B 신호 중 어느 하나의 신호를 컷 오프하는 컷 오프 필터(120)를 포함함으로써, 이미지 센서(110)에 포함되는 R 셀, G 셀 및 B 셀 각각에 IR 신호가 수신되는 것을 방지할 수 있다.
여기서, R 신호, G 신호 또는 B 신호 중 컷 오프 필터(120)에 의해 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 제1 이미지에 비하여, 컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는 어느 하나의 신호로 구성되는 제2 이미지는 밝기가 어둡게 될 수 있다. 따라서, 제1 이미지 및 제2 이미지를 조합하여 RGB 이미지를 생성하는 경우, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는 어느 하나의 신호에 대한 밝기 값을 증폭시킴으로써, 이미지 센서(110)에서 생성되는 RGB 이미지의 품질이 저하되는 것을 방지할 수 있다. 예를 들어, 이미지 센서(110)와 피사체 사이의 거리를 결정하는 장치는 이미지 센서(110)에 포함되는 컷 오프된 어느 하나의 신호를 처리하는 셀(컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는 어느 하나의 신호를 처리하는 셀)에서 컷 오프된 어느 하나의 신호를 처리하는 경우, 이미지 센서(110)에 연결된 앰프의 게인을 증가시키고, 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들을 처리하는 셀에서 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 앰프의 게인을 감소시키는 증폭부를 포함하여, 컷 오프 필터(120)의 핀 홀(121)을 통해 유입되는 어느 하나의 신호의 밝기 값을 증가시킴으로써, RGB 이미지의 품질을 향상시킬 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 2는 본 발명의 일실시예에 따른 컷 오프 필터 및 IR 컷 오프 필터의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 IR 컷 오프 필터는 렌즈를 통하여 입사되는 신호 중 IR 신호를 컷 오프 할 수 있다(210). 따라서, IR 컷 오프 필터를 통과한 신호는 R 신호, G 신호 및 B 신호 파장대의 빛만 존재할 수 있다.
컷 오프 필터는 수신되는 R 신호, G 신호 또는 B 신호 중 어느 하나의 신호를 컷 오프한다(220). 예를 들어, 컷 오프 필터가 R 신호를 컷 오프하는 R 컷 오프 필터인 경우, 컷 오프 필터는 G 신호 및 B 신호만이 통과하도록(220) 설정될 수 있다.
만약, 컷 오프 필터가 R 신호, G 신호 또는 B 신호 중 G 신호를 컷 오프하는 G 컷 오프 필터인 경우에는, 필터 특성을 R 신호 및 B 신호는 통과하고 G 신호만 투과율을 낮게 설정함으로써, G 신호를 컷 오프할 수 있다.
또한, 컷 오프 필터가 R 신호, G 신호 또는 B 신호 중 B 신호를 컷 오프하는 B 컷 오프 필터인 경우에는, 필터 특성을 R 신호 및 G 신호는 통과하고, B 신호만 투과율을 낮게 설정함으로써, B 신호를 컷 오프할 수 있다.
도 3은 본 발명의 일실시예에 따른 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 동작을 설명하기 위한 도면이다. 일반적으로, RG 및 GB로 구성된 셀이 반복적으로 배치되어 있고, 각 셀의 값은 라인 별로 출력을 하고, 출력을 증폭시키는 앰프는 칼럼으로 위치한 모든 셀에 연결될 수 있다.
도 3을 참조하면, 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 R 신호, G 신호 또는 B 신호 중 컷 오프 필터의 핀 홀을 통해 컷 오프된 어느 하나의 신호가 유입됨에 응답하여, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 증폭부를 더 포함할 수 있다.
여기서, 증폭부는 이미지 센서에 포함되는 R 셀(310), G 셀(320, 330) 및 B 셀(340)에 연결된 앰프(350, 360)의 게인을 증가시키거나, 감소시킴으로써, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다. 예를 들어, 동일한 칼럼(column)에 배치된 R 셀(310) 및 G 셀(330)에서 각각 R 신호와 G 신호를 처리하는 과정에서, 증폭부는 라인 1을 출력하는 경우에는, R 셀(310)에서 R 신호를 처리하여 앰프(350)의 게인을 증가시키고, 라인 2를 출력하는 경우에는, G 셀(330)에서 G 신호를 처리하여 앰프(350)의 게인을 감소시킴으로써, R 신호의 밝기 값을 증폭시킬 수 있다.
이러한 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 증폭부의 동작은 IR 컷 오프 필터를 통하여 유입되는 R 신호, G 신호 및 B 신호에 대한 노출을 증가시킨 후에 수행될 수도 있다. 이와 같은 증폭부의 동작으로 인해, 이미지 센서가 노이즈의 증가 없이, 품질이 보장되는 RGB 이미지를 생성할 수 있기 때문에, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 카메라로서 사용이 가능할 수 있다.
도 4는 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 이미지 센서에 입사되는 신호 중 IR(infrared ray) 신호를 컷 오프하는 IR 컷 오프 필터를 이용하여, 이미지 센서에서 R 신호, G 신호 및 B 신호를 수신할 수 있다(410).
이어서, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 컷 오프 필터를 이용하여, 피사체에 대한 제1 이미지 및 제1 이미지와 구별되는 제2 이미지를 획득한다(420).
이 때, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 컷 오프 필터를 이용하여 R 신호, G 신호 및 B 신호 중 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 제1 이미지를 획득하고, 컷 오프 필터의 핀 홀을 통해 컷 오프된 어느 하나의 신호가 유입됨에 응답하여 컷 오프된 어느 하나의 신호로 구성되는 제2 이미지를 획득할 수 있다. 여기서, 제2 이미지를 획득하는 단계는 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 단계를 더 포함할 수 있다. 구체적으로, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 이미지 센서에 포함되는 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 컷 오프된 어느 하나의 신호를 처리하는 경우, 이미지 센서와 연결된 앰프의 게인(gain)을 증가시키고, 이미지 센서에 포함되는 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 앰프의 게인을 감소시킴으로써, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다.
그 후, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러(blur)의 변화에 기초하여 이미지 센서와 피사체 사이의 거리를 결정한다(430).
이 때, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러의 변화에 기초하여 이미지 센서의 초점 위치와 피사체 사이의 거리를 결정하고, 이미지 센서와 이미지 센서의 초점 위치 사이의 거리를 산출함으로써, 이미지 센서와 피사체 사이의 거리를 결정할 수 있다. 구체적으로, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 이미지 센서의 초점 위치와 피사체 사이의 거리 및 이미지 센서와 이미지 센서의 초점 위치 사이의 거리를 가산하여 이미지 센서와 피사체 사이의 거리를 결정할 수 있다.
또한, 도면에는 도시하지 않았지만, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 제1 이미지 및 제2 이미지를 조합하여 R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지를 생성할 수 있다. 이 때, 위에서 상술한 듯이, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킴으로써, 제1 이미지 및 제2 이미지를 조합하여 RGB 이미지를 생성할 수 있다. 구체적으로, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 이미지 센서에 포함되는 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 컷 오프된 어느 하나의 신호를 처리하는 경우, 이미지 센서와 연결된 앰프의 게인(gain)을 증가시키고, 이미지 센서에 포함되는 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 앰프의 게인을 감소시킴으로써, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다.
도 5는 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치를 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 IR 컷 오프 필터(510), 컷 오프 필터(520), 이미지 센서(530) 및 거리 결정부(540)를 포함할 수 있다.
IR 컷 오프 필터(510)는 렌즈 조리개를 통하여 이미지 센서(530)에 입사되는 신호 중 IR(infrared ray) 신호를 컷 오프하여, 이미지 센서(530)에서 R 신호, G 신호 및 B 신호를 수신하도록 할 수 있다. 따라서, 이미지 센서와 피사체 사이의 거리를 결정하는 장치는 IR 컷 오프 필터(510)를 이용함으로써, 컷 오프 필터(520)로 IR 신호를 제외한 R 신호, G 신호 및 B 신호를 입사시킬 수 있다.
컷 오프 필터(520)는 수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)한다.
이미지 센서(530)는 컷 오프 필터를 이용하여 피사체에 대한 제1 이미지 및 제1 이미지와 구별되는 제2 이미지를 획득한다. 이 때, 이미지 센서(530)는 CIS 및 ISP로 구성될 수 있다.
또한, 이미지 센서(530)는 컷 오프 필터(520)를 이용하여 R 신호, G 신호 및 B 신호 중 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 제1 이미지를 획득하고, 컷 오프 필터(520)의 핀 홀을 통해 컷 오프된 어느 하나의 신호가 유입됨에 응답하여 컷 오프된 어느 하나의 신호로 구성되는 제2 이미지를 획득할 수 있다.
또한, 도면에는 도시하지 않았지만, 이미지 센서(530)는 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 증폭부를 더 포함할 수 있다.
여기서, 증폭부는 이미지 센서(530)에 포함되는 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 컷 오프된 어느 하나의 신호를 처리하는 경우, 이미지 센서(530)와 연결된 앰프의 게인(gain)을 증가시키고, 이미지 센서(530)에 포함되는 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 앰프의 게인을 감소시킴으로써, 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시킬 수 있다.
또한, 이미지 센서(530)는 제1 이미지 및 제2 이미지를 조합하여 R 신호, G 신호 및 B 신호로 구성되는 RGB 이미지를 생성할 수 있다. 여기서, 이미지 센서(530)는 증폭부를 이용함으로써, 밝기 값이 증폭된 컷 오프된 어느 하나의 신호로 구성되는 제2 이미지 및 제1 이미지를 조합하여 RGB 이미지를 생성할 수 있다. 이 때, 증폭부에서 수행되는 컷 오프된 어느 하나의 신호를 증폭시키는 과정은 위에서 상술한 증폭부의 동작을 기초로 수행될 수 있다.
거리 결정부(540)는 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러(blur)의 변화에 기초하여 이미지 센서(530)와 피사체 사이의 거리를 결정한다.
또한, 거리 결정부(540)는 제1 이미지 및 제2 이미지 각각에 포함되는 피사체에 대한 블러의 변화에 기초하여 이미지 센서(530)의 초점 위치와 피사체 사이의 거리를 결정하고, 이미지 센서(530)와 이미지 센서(530)의 초점 위치 사이의 거리를 산출함으로써, 이미지 센서(530)와 피사체 사이의 거리를 결정할 수 있다. 구체적으로, 거리 결정부(540)는 이미지 센서(530)의 초점 위치와 피사체 사이의 거리 및 이미지 센서(530)와 이미지 센서(530)의 초점 위치 사이의 거리를 가산하여 이미지 센서(530)와 피사체 사이의 거리를 결정할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (15)
- 이미지 센서와 피사체 사이의 거리를 결정하는 방법에 있어서,
수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 컷 오프 필터를 이용하여, 피사체에 대한 제1 이미지 및 상기 제1 이미지와 구별되는 제2 이미지를 획득하는 단계; 및
상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur)의 변화에 기초하여 이미지 센서와 상기 피사체 사이의 거리를 결정하는 단계
를 포함하고,
상기 피사체에 대한 제1 이미지 및 제2 이미지를 획득하는 단계는
상기 컷 오프 필터를 이용하여 상기 R 신호, 상기 G 신호 및 상기 B 신호 중 상기 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 상기 제1 이미지를 획득하는 단계; 및
상기 컷 오프 필터의 핀 홀(pin hole)을 통해 상기 컷 오프된 어느 하나의 신호가 유입됨에 응답하여 상기 컷 오프된 어느 하나의 신호로 구성되는 상기 제2 이미지를 획득하는 단계
를 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 방법. - 삭제
- 제1항에 있어서,
상기 제2 이미지를 획득하는 단계는
상기 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 단계
를 더 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 방법. - 제3항에 있어서,
상기 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 단계는
상기 이미지 센서에 포함되는 상기 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 상기 컷 오프된 어느 하나의 신호를 처리하는 경우, 상기 이미지 센서와 연결된 앰프의 게인(gain)을 증가시키는 단계; 및
상기 이미지 센서에 포함되는 상기 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 상기 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 상기 앰프의 게인을 감소시키는 단계
를 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 방법. - 제1항에 있어서,
상기 이미지 센서에 입사되는 신호 중 IR(infrared ray) 신호를 컷 오프하는 IR 컷 오프 필터를 이용하여, 상기 이미지 센서에서 R 신호, 상기 G 신호 및 상기 B 신호를 수신하는 단계
를 더 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 방법. - 제1항에 있어서,
상기 이미지 센서와 상기 피사체 사이의 거리를 결정하는 단계는
상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러의 변화에 기초하여 상기 이미지 센서의 초점 위치와 상기 피사체 사이의 거리를 결정하는 단계; 및
상기 이미지 센서와 상기 이미지 센서의 초점 위치 사이의 거리를 산출하는 단계
를 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 방법. - 제1항에 있어서,
상기 제1 이미지 및 상기 제2 이미지를 조합하여 상기 R 신호, 상기 G 신호 및 상기 B 신호로 구성되는 RGB 이미지를 생성하는 단계
를 더 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 방법. - 제1항 또는 제3항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
- 이미지 센서와 피사체 사이의 거리를 결정하는 장치에 있어서,
수신되는 R(red) 신호, G(green) 신호 또는 B(blue) 신호 중 어느 하나의 신호를 컷 오프(cut-off)하는 컷 오프 필터;
상기 컷 오프 필터를 이용하여 피사체에 대한 제1 이미지 및 상기 제1 이미지와 구별되는 제2 이미지를 획득하는 이미지 센서; 및
상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur)의 변화에 기초하여 상기 이미지 센서와 상기 피사체 사이의 거리를 결정하는 거리 결정부
를 포함하고,
상기 이미지 센서는
상기 컷 오프 필터를 이용하여 상기 R 신호, 상기 G 신호 및 상기 B 신호 중 상기 컷 오프된 어느 하나의 신호를 제외한 나머지 신호들로 구성되는 상기 제1 이미지를 획득하고, 상기 컷 오프 필터의 핀 홀(pin hole)을 통해 상기 컷 오프된 어느 하나의 신호가 유입됨에 응답하여 상기 컷 오프된 어느 하나의 신호로 구성되는 상기 제2 이미지를 획득하는 이미지 센서와 피사체 사이의 거리를 결정하는 장치. - 삭제
- 제9항에 있어서,
상기 이미지 센서는
상기 컷 오프된 어느 하나의 신호에 대한 밝기 값을 증폭시키는 증폭부
를 더 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 장치. - 제11항에 있어서,
상기 증폭부는
상기 이미지 센서에 포함되는 상기 컷 오프된 어느 하나의 신호에 대한 셀(cell)에서 상기 컷 오프된 어느 하나의 신호를 처리하는 경우, 상기 이미지 센서와 연결된 앰프의 게인(gain)을 증가시키고, 상기 이미지 센서에 포함되는 상기 나머지 신호들 중 적어도 어느 하나의 신호에 대한 셀에서 상기 나머지 신호들 중 적어도 어느 하나의 신호를 처리하는 경우, 상기 앰프의 게인을 감소시키는 이미지 센서와 피사체 사이의 거리를 결정하는 장치. - 제9항에 있어서,
상기 이미지 센서에 입사되는 신호 중 IR(infrared ray) 신호를 컷 오프하여, 상기 이미지 센서에서 상기 R 신호, 상기 G 신호 및 상기 B 신호를 수신하도록 하는 IR 컷 오프 필터
를 더 포함하는 이미지 센서와 피사체 사이의 거리를 결정하는 장치. - 제9항에 있어서,
상기 거리 결정부는
상기 제1 이미지 및 상기 제2 이미지 각각에 포함되는 상기 피사체에 대한 블러의 변화에 기초하여 상기 이미지 센서의 초점 위치와 상기 피사체 사이의 거리를 결정하고, 상기 이미지 센서와 상기 이미지 센서의 초점 위치 사이의 거리를 산출하는 이미지 센서와 피사체 사이의 거리를 결정하는 장치. - 제9항에 있어서,
상기 이미지 센서는
상기 제1 이미지 및 상기 제2 이미지를 조합하여 상기 R 신호, 상기 G 신호 및 상기 B 신호로 구성되는 RGB 이미지를 생성하는 이미지 센서와 피사체 사이의 거리를 결정하는 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140048590A KR101591172B1 (ko) | 2014-04-23 | 2014-04-23 | 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 |
| US14/521,241 US9736392B2 (en) | 2014-04-23 | 2014-10-22 | Method and apparatus for determining distance between image sensor and object |
| EP15156625.4A EP2942602A1 (en) | 2014-04-23 | 2015-02-25 | Method and apparatus for determining distance between image sensor and object |
| TW104109363A TWI588584B (zh) | 2014-04-23 | 2015-03-24 | 用於確定圖像感測器與被照射體之間的距離的方法及裝置 |
| JP2015081823A JP2015211468A (ja) | 2014-04-23 | 2015-04-13 | イメージセンサと被写体間の距離を判定する方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140048590A KR101591172B1 (ko) | 2014-04-23 | 2014-04-23 | 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150122834A KR20150122834A (ko) | 2015-11-03 |
| KR101591172B1 true KR101591172B1 (ko) | 2016-02-03 |
Family
ID=52705940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140048590A KR101591172B1 (ko) | 2014-04-23 | 2014-04-23 | 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9736392B2 (ko) |
| EP (1) | EP2942602A1 (ko) |
| JP (1) | JP2015211468A (ko) |
| KR (1) | KR101591172B1 (ko) |
| TW (1) | TWI588584B (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI539139B (zh) * | 2015-04-27 | 2016-06-21 | 原相科技股份有限公司 | 物件距離計算方法以及物件距離計算裝置 |
| TWI577971B (zh) * | 2015-10-22 | 2017-04-11 | 原相科技股份有限公司 | 雙孔徑測距系統 |
| KR101672669B1 (ko) * | 2015-11-23 | 2016-11-03 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 시차를 이용하는 멀티 애퍼처 카메라 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001174696A (ja) | 1999-12-15 | 2001-06-29 | Olympus Optical Co Ltd | カラー撮像装置 |
| JP2007288439A (ja) | 2006-04-14 | 2007-11-01 | Fujifilm Corp | 画像処理装置及び方法 |
| JP2013017138A (ja) | 2011-07-06 | 2013-01-24 | Olympus Corp | 撮像装置、画像処理装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3826904B2 (ja) * | 2003-07-08 | 2006-09-27 | ソニー株式会社 | 撮像装置およびフリッカ低減方法 |
| WO2006095110A2 (fr) | 2005-03-07 | 2006-09-14 | Dxo Labs | Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs |
| JP4371108B2 (ja) * | 2005-12-27 | 2009-11-25 | ソニー株式会社 | 撮像装置および方法、記録媒体、並びにプログラム |
| CN100553295C (zh) | 2006-07-07 | 2009-10-21 | 奥林巴斯映像株式会社 | 照相机、照相机的图像处理方法 |
| US8446470B2 (en) * | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
| GB2463480A (en) | 2008-09-12 | 2010-03-17 | Sharp Kk | Camera Having Large Depth of Field |
| KR100927002B1 (ko) | 2008-10-30 | 2009-11-17 | (주)실리콘화일 | 이미지센서 |
| KR101327228B1 (ko) * | 2009-11-11 | 2013-11-11 | 중앙대학교 산학협력단 | 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치 |
| WO2011101036A1 (en) | 2010-02-19 | 2011-08-25 | Iplink Limited | Processing multi-aperture image data |
| JP5075934B2 (ja) | 2010-03-25 | 2012-11-21 | 株式会社東芝 | 固体撮像装置および画像記録装置 |
| JP5283667B2 (ja) * | 2010-07-07 | 2013-09-04 | パナソニック株式会社 | 画像処理装置、画像処理方法およびプログラム |
| FR2969819A1 (fr) * | 2010-12-22 | 2012-06-29 | St Microelectronics Grenoble 2 | Capteur d'image tridimensionnel |
| US8736747B2 (en) | 2012-01-13 | 2014-05-27 | Sony Corporation | Camera autofocus adaptive blur matching model fitting |
| KR20150043312A (ko) | 2012-07-12 | 2015-04-22 | 주식회사 듀얼어퍼처인터네셔널 | 제스처―기반 사용자 인터페이스 |
-
2014
- 2014-04-23 KR KR1020140048590A patent/KR101591172B1/ko active IP Right Grant
- 2014-10-22 US US14/521,241 patent/US9736392B2/en not_active Expired - Fee Related
-
2015
- 2015-02-25 EP EP15156625.4A patent/EP2942602A1/en not_active Withdrawn
- 2015-03-24 TW TW104109363A patent/TWI588584B/zh not_active IP Right Cessation
- 2015-04-13 JP JP2015081823A patent/JP2015211468A/ja not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001174696A (ja) | 1999-12-15 | 2001-06-29 | Olympus Optical Co Ltd | カラー撮像装置 |
| JP2007288439A (ja) | 2006-04-14 | 2007-11-01 | Fujifilm Corp | 画像処理装置及び方法 |
| JP2013017138A (ja) | 2011-07-06 | 2013-01-24 | Olympus Corp | 撮像装置、画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9736392B2 (en) | 2017-08-15 |
| KR20150122834A (ko) | 2015-11-03 |
| EP2942602A1 (en) | 2015-11-11 |
| US20150310605A1 (en) | 2015-10-29 |
| TW201541174A (zh) | 2015-11-01 |
| TWI588584B (zh) | 2017-06-21 |
| JP2015211468A (ja) | 2015-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10477185B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
| US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
| US9253375B2 (en) | Camera obstruction detection | |
| US8340512B2 (en) | Auto focus technique in an image capture device | |
| WO2017045558A1 (zh) | 景深调节方法、装置及终端 | |
| US20180182075A1 (en) | Image processing apparatus, image capturing apparatus, method of image processing, and storage medium | |
| KR101437234B1 (ko) | 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법 | |
| KR101591172B1 (ko) | 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 | |
| US11200647B2 (en) | Image processing | |
| US9262833B2 (en) | Methodology for performing depth estimation with defocused images under extreme lighting conditions | |
| CN112866655B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US10235742B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal | |
| WO2016098348A1 (en) | Image processing apparatus, image processing method, image capturing apparatus and image processing program | |
| US20150271382A1 (en) | Apparatus, method, and medium | |
| KR101737260B1 (ko) | 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법 | |
| CN112866547B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| JP2015041901A (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
| US11044396B2 (en) | Image processing apparatus for calculating a composite ratio of each area based on a contrast value of images, control method of image processing apparatus, and computer-readable storage medium | |
| TW201634999A (zh) | 自動對焦方法及應用該自動對焦方法之裝置 | |
| CN112866554A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN112866552B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| US11206348B2 (en) | Image apparatus to generate a combined image, control method for controlling an apparatus to generate a combined image, and storage medium | |
| JP6036998B2 (ja) | 撮像装置、画像補正方法及び、画像補正プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |