KR102341016B1 - 인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스 - Google Patents

인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스 Download PDF

Info

Publication number
KR102341016B1
KR102341016B1 KR1020207014043A KR20207014043A KR102341016B1 KR 102341016 B1 KR102341016 B1 KR 102341016B1 KR 1020207014043 A KR1020207014043 A KR 1020207014043A KR 20207014043 A KR20207014043 A KR 20207014043A KR 102341016 B1 KR102341016 B1 KR 102341016B1
Authority
KR
South Korea
Prior art keywords
pixel
value
array
crosstalk
brightness value
Prior art date
Application number
KR1020207014043A
Other languages
English (en)
Other versions
KR20200069356A (ko
Inventor
미코 무우키
사무 코스키넨
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20200069356A publication Critical patent/KR20200069356A/ko
Application granted granted Critical
Publication of KR102341016B1 publication Critical patent/KR102341016B1/ko

Links

Images

Classifications

    • H04N5/359—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N5/361—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

픽셀 어레이에 배열된 OB(optically black) 픽셀의 크로스토크 값을 결정하도록 구성되는 감광성 이미징 시스템이 제공되며, 상기 시스템은 적어도 하나의 픽셀 어레이를 포함하는 적어도 하나의 이미지 센서 및 처리 수단을 포함한다. 픽셀 어레이는 복수의 컬러 채널 픽셀(CP1,...,CPn) 및 적어도 하나의 OB 픽셀(OB1,...,OBn)을 포함한다. 처리 수단은, OB 픽셀(OB1)의 컬러 채널의 밝기 값(IVOB1)을 검출하고, 이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1)을 검출하고, 밝기 값(IVOB1; IV1)에 기초하여, OB 픽셀(OB1)에 대한 크로스토크 값(CV1)을 계산하도록 구성된다.

Description

인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스
본 발명은 감광성 이미징 시스템 및 감광성 이미징 디바이스에 관한 것이다.
고품질 디지털 이미지를 얻기 위해서는, 이미지 픽셀 어레이의 블랙 레벨(black level)이 올바르게 추정되어야 한다. 잘못된 블랙 레벨은 종종 잘못된 색상으로 또는 너무 어두운 이미지로 표시된다. 블랙 레벨은 광학적 블랙(optically black, OB) 픽셀을 이용하여 추정될 수 있으며, OB 픽셀은, 해당 픽셀이, 예를 들어, 금속 층으로 덮여 있기 때문에 어떠한 광도 수신하지 않는 픽셀을 말한다.
종래 기술에서, OB 픽셀은 일반적으로, 프레임으로서 픽셀 어레이의 하나 또는 몇몇의 에지를 따라 배열된다. 이러한 프레임 OB 픽셀의 경우, 예를 들어, 이미지의 중심에서, 올바른 블랙 레벨을 정확하게 추정하는 것은 어렵다. 그러나, OB 픽셀은 또한, 소위 인 어레이(in-array) OB 픽셀이라고 하는, 픽셀 어레이의 그리드(grid) 내에 산재될 수 있다. 이것은, 예를 들어, US2014/0014818에 도시된 바와 같이, 프레임 OB 픽셀은 글로벌 암전류(global dark current)를 생성하기 위해 사용되고, 인 어레이 OB 픽셀은 로컬 암전류(local dark current)를 생성하기 위해 사용되며, 이에 따라 로컬 암전류가 보상된다.
그러나, 암전류는 블랙 레벨에 영향을 미칠뿐 아니라, 고정 패턴 노이즈, 랜덤 노이즈 및 픽셀 크로스토크와 같은 인자도 고려될 필요가 있다. 픽셀 크로스토크는, 예를 들어, 하나의 픽셀 상에 떨어지는 빛이 가장 가까운 8 개의 이웃 픽셀로 넘치는(spill over) 현상이다.
본 발명의 목적은, 픽셀 어레이에 배열된 OB 픽셀의 크로스토크 값을 결정하도록 구성되는 개선된 감광성 이미징 시스템을 제공하고, 이러한 크로스토크를 보상하도록 구성되는 개선된 감광성 이미징 디바이스를 제공하는 것이다.
전술한 목적 및 다른 목적은 독립항의 특징에 의해 달성된다. 추가 구현 형태는 종속항, 상세한 설명 및 도면으로부터 명백하다.
제1 측면에 따르면, 픽셀 어레이에 배열된 OB 픽셀의 크로스토크 값을 결정하도록 구성되는 감광성 이미징 시스템이 제공되며, 감광성 이미징 시스템은, 적어도 하나의 픽셀 어레이를 포함하는 적어도 하나의 이미지 센서 - 여기서, 픽셀 어레이는 복수의 컬러 채널 픽셀 및 적어도 하나의 OB 픽셀을 포함함 - 및 OB 픽셀의 컬러 채널의 밝기 값을 검출하고, 이웃 컬러 채널 픽셀의 밝기 값을 검출하고, 밝기 값에 기초하여, OB 픽셀에 대한 크로스토크 값을 계산하도록 구성되는 처리 수단을 포함한다.
이러한 이미징 시스템은, 픽셀 어레이 내에서의 OB 픽셀의 위치에 상관없이, 임의의 OB 픽셀에 대해 올바른, 로컬 크로스토크 값이 추정될 수 있도록 한다. 이들 올바른 로컬 크로스토크 값은, 픽셀 어레이의 블랙 레벨에 대한 보다 정확한 추정, 보다 정확한 블랙 레벨을 제공하기 위해, 결국, 특히 저조도 조건에서, 더 높은 품질의 이미지를 제공하기 위해 사용된다.
제1 측면의 가능한 구현 형태에서, 처리 수단은, OB 픽셀의 컬러 채널의 적어도 하나의 추가 밝기 값을 검출하고, 적어도 하나의 추가 이웃 컬러 채널 픽셀의 적어도 하나의 추가 밝기 값을 검출하고, 추가 밝기 값에 기초하여 OB 픽셀에 대한 적어도 하나의 추가 크로스토크 값을 계산하도록 추가로 구성되어, 상이한 컬러 채널에 대한 로컬 크로스토크 값 또는 하나의 컬러 채널에 대한 몇몇 로컬 크로스토크 값의 추정을 용이하게 한다.
제1 측면의 다른 가능한 구현 형태에서, 처리 수단은, 크로스토크 값(들)을 계산하기 전에, 이웃 컬러 채널 픽셀의 밝기 값을 필터링하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제1 측면의 다른 가능한 구현 형태에서,
처리 수단은, 크로스토크 값들 중 적어도 2 개에 기초하여 OB 픽셀에 대한 총 크로스토크 값을 계산하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제1 측면의 다른 가능한 구현 형태에서,
처리 수단은, 총 크로스토크 값을 계산하기 전에, 크로스토크 값 중 적어도 2 개를 필터링하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제1 측면의 다른 가능한 구현 형태에서,
처리 수단은, 적어도 하나의 추가 OB 픽셀에 대해 상기 단계들을 반복하여, 각각의 추가 OB 픽셀에 대해 크로스토크 값/총 크로스토크 값을 획득하도록 추가로 구성되어, 이미징 시스템의 신뢰성을 향상시킨다.
제1 측면의 다른 가능한 구현 형태에서,
처리 수단은, OB 픽셀들에 대해 계산된 크로스토크 값/총 크로스토크 값을 필터링하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제1 측면의 다른 가능한 구현 형태에서,
크로스토크 값(들), 총 크로스토크 값(들), 필터링된 크로스토크 값(들) 및/또는 필터링된 총 크로스토크 값(들)은 감광성 이미징 시스템에 저장되어, 다수의 상이한 값의 사용 및 재사용을 용이하게 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제2 측면에 따르면, 픽셀 어레이에 배열된 인 어레이 OB 픽셀의 크로스토크를 보상하도록 구성되는 감광성 이미징 디바이스가 제공되며, 감광성 이미징 디바이스는, 적어도 하나의 픽셀 어레이를 포함하는 적어도 하나의 이미지 센서 - 여기서, 픽셀 어레이는 복수의 컬러 채널 픽셀 및 적어도 하나의 인 어레이 OB 픽셀을 포함함 - 및 인 어레이 OB 픽셀을 선택하고, 이웃 컬러 채널 픽셀의 밝기 값을 검출하고, 밝기 값 및 인 어레이 OB 픽셀에 대해 저장된 크로스토크 값에 기초하여, 인 어레이 OB 픽셀에 대한 전류 크로스토크 값을 계산하도록 수성되는 처리 수단을 포함한다.
이러한 이미징 시스템은, 픽셀 어레이 내에서의 OB 픽셀의 위치에 상관없이, 임의의 OB 픽셀에 대해 올바른, 크로스토크에 대한 로컬 보상을 허용한다. 이들 보상된 값은, 픽셀 어레이의 블랙 레벨에 대한 보다 정확한 추정, 보다 정확한 블랙 레벨을 제공하기 위해, 결국, 특히 저조도 조건에서, 더 높은 품질의 이미지를 제공하기 위해 사용된다.
제2 측면의 가능한 구현 형태에서, 처리 수단은, 적어도 하나의 추가 이웃 컬러 채널 픽셀의 적어도 하나의 추가 밝기 값을 검출하고, 추가 밝기 값(들) 및 저장된 크로스토크 값에 기초하여, 인 어레이 OB 픽셀에 대한 적어도 하나의 추가 전류 크로스토크 값을 계산하도록 추가로 구성되어, 상이한 컬러 채널에 대한 로컬 크로스토크 값 또는 하나의 컬러 채널에 대한 몇몇 로컬 크로스토크 값의 추정을 용이하게 한다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, 전류 크로스토크 값을 계산하기 전에, 밝기 값을 필터링하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, 전류 크로스토크 값 중 적어도 2 개에 기초하여 인 어레이 OB 픽셀에 대한 총 전류 크로스토크 값을 계산하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, 총 전류 크로스토크 값을 계산하기 전에, 전류 크로스토크 값 중 적어도 2 개를 필터링하도록 추가로 구성되어, 몇몇 검출된 값이 추가적인 계산을 위해 사용될 수 있도록 하여, 이로 인해 계산의 신뢰성을 향상시킨다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, OB 픽셀에 대한 밝기 값을 검출하고, 인 어레이 OB 픽셀에 대한 전류 크로스토크 값/총 전류 크로스토크 값을 미리 결정된 한계 값 X와 비교하고, 전류 크로스토크 값/총 전류 크로스토크 값 > X인 경우, 다른 인 어레이 OB 픽셀을 선택하고, 상술한 단계들을 반복하고, 전류 크로스토크 값/총 전류 크로스토크 값
Figure 112020049304602-pct00001
X 인 경우, 인 어레이 OB 픽셀에 대해 보정된 밝기 값을 계산하고, 보정된 밝기 값을 인 어레이 OB 픽셀에 할당하여, 이미징 디바이스가 임의의 결함 OB 픽셀을 발견 및 보정할 수 있도록 한다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, 밝기 값 또는 필터링된 밝기 값으로부터 전류 크로스토크 값을 감산함으로써, 보정된 밝기 값을 계산하도록 구성되어, 계산의 신뢰성을 향상시키는 단순하고 직관적인 방법을 제공한다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, 적어도 하나의 추가 인 어레이 OB 픽셀에 대해 상술한 단계들을 반복하고, 적어도 2 개의 인 어레이 OB 픽셀의 밝기 값을 필터링하고, 필터링된 밝기 값을, 적어도 2 개의 인 어레이 OB 픽셀에 대한 밝기 값으로서 할당하도록 추가로 구성되어, 이미징 디바이스의 신뢰성을 향상시킨다.
제2 측면의 다른 가능한 구현 형태에서, 픽셀 어레이는 적어도 하나의 프레임 OB 픽셀을 더 포함하고, 적어도 하나의 프레임 OB 픽셀은 픽셀 어레이의 외부 에지(outer edge)에 배치되어, 이로 인해 계산의 신뢰성을 향상시킨다.
제2 측면의 다른 가능한 구현 형태에서, 프레임 OB 픽셀에 인접하여 위치하는 적어도 하나의 인 어레이 OB 픽셀에 대해, 처리 수단은, 인 어레이 OB 픽셀에 인접하여 위치하는 적어도 하나의 프레임 OB 픽셀의 컬러 채널의 밝기 값을 검출하고, 단 하나의 프레임 OB 픽셀의 프레임 OB 픽셀 밝기 값이 검출되는 경우, 프레임 OB 픽셀의 밝기 값은, 프레임 OB 픽셀에 대한 밝기 값으로서 할당되고, 적어도 2 개의 프레임 OB 픽셀의 프레임 OB 픽셀 값이 검출되는 경우, 프레임 OB 픽셀 밝기 값이 평균화되고, 평균 밝기 값은 프레임 OB 픽셀에 대한 프레임 OB 픽셀 밝기 값으로서 할당되고, 인 어레이 OB 픽셀에 대한 보정된 밝기 값과, 컬러 채널에 대한 프레임 OB 픽셀에 대한 밝기 값을 비교하고, 보정된 밝기 값이 프레임 OB 픽셀 밝기 값과 동일한 경우, 보정된 밝기 값을 인 어레이 OB 픽셀에 대한 밝기 값으로서 할당하고, 보정된 밝기 값이 프레임 OB 픽셀 밝기 값과 상이한 경우, 보정된 밝기 값과 프레임 OB 픽셀 밝기 값을 매칭(match)하고, 매칭된 밝기 값을 보정된 밝기 값으로서 할당하도록 구성되어, 인접한 OB 픽셀의 밝기 값에 차이가 있다는 표시가 존재하는 경우 계산을 향상시킨다.
제2 측면의 다른 가능한 구현 형태에서, 처리 수단은, 프레임 OB 픽셀 밝기 값을 보정된 밝기 값으로 나누어 픽셀 분수 값을 계산하고, 프레임 OB 픽셀 밝기 값을, 인 어레이 OB 픽셀에 대한 밝기 값으로서 할당하고, 분수 값과, 프레임 OB 픽셀 및 인 어레이 OB 픽셀과 정렬된 각각의 인 어레이 OB 픽셀의 밝기 값을 곱하고, 곱해진 밝기 값을, 각각의 인 어레이 OB 픽셀에 대한 밝기 값으로서 할당함으로써, 보정된 밝기 값과 프레임 OB 픽셀 밝기 값을 매칭하도록 구성되어, 계산에서 인접한 OB 픽셀의 서로 다른 밝기 값을 고려하는 단순하고 신뢰할 수 있는 방식을 용이하게 한다.
제3 측면에 따르면, 픽셀 어레이에 배열된 OB 픽셀의 크로스토크 값을 결정하는 방법이 제공되며, 픽셀 어레이는 복수의 컬러 채널 픽셀 및 적어도 하나의 OB 픽셀을 포함하고, 방법은, OB 픽셀의 컬러 채널의 밝기 값을 검출하는 단계, 이웃 컬러 채널 픽셀의 밝기 값을 검출하는 단계, 밝기 값에 기초하여, OB 픽셀에 대한 크로스토크 값을 계산하는 단계를 포함하고, 방법은, 픽셀 어레이 내에서의 OB 픽셀의 위치에 상관없이, 임의의 OB 픽셀에 대해 올바른, 로컬 크로스토크 값이 추정될 수 있도록 한다.
제4 측면에 따르면, 픽셀 어레이에 배열된 인 어레이 OB 픽셀의 크로스토크를 보상하는 방법이 제공되며, 픽셀 어레이는 복수의 컬러 채널 픽셀 및 적어도 하나의 인 어레이 OB 픽셀을 포함하고, 방법은, 인 어레이 OB 픽셀을 선택하는 단계, 이웃 컬러 채널 픽셀의 밝기 값을 검출하는 단계, 밝기 값 및 저장된 크로스토크 값에 기초하여, 인 어레이 OB 픽셀에 대한 전류 크로스토크 값을 계산하는 단계를 포함하고, 방법은, 픽셀 어레이 내에서의 OB 픽셀의 위치에 상관없이, 임의의 OB 픽셀에 대해 올바른, 크로스토크에 대한 로컬 보상을 허용한다.
이들 및 다른 측면은 후술하는 실시 예들로부터 명백 할 것이다.
본 개시의 다음의 상세한 부분에서, 측면들, 실시 예들 및 구현들은, 도면들에 도시된 예시적인 실시 예들을 참조하여 더욱 상세히 설명될 것이다.
도 1a는 컬러 채널 픽셀 및 2 개의 광학적 블랙 픽셀을 포함하는 픽셀 어레이의 일 실시 예를 도시한다.
도 1b는 컬러 채널 픽셀 및 2 개의 광학적 블랙 픽셀을 포함하는 픽셀 어레이의 일 실시 예를 도시하며, 여기서 컬러 채널 픽셀은 적색, 녹색 및 청색 중 하나이다.
도 1c는 컬러 채널 픽셀 및 2 개의 광학적 블랙 픽셀을 포함하는 픽셀 어레이의 일 실시 예를 도시하며, 여기서 컬러 채널 픽셀은 적색, 녹색, 청색 및 적외선 중 하나이다.
도 2a는 인 어레이 OB 픽셀의 어레이에 대한 밝기 값의 예시적인 개략도를 도시한다.
도 2b는 프레임 OB 픽셀의 행과 매칭되는 경우 도 2a의 밝기 값을 도시한다.
도 3은, 도 1a 내지 도 1c 중 어느 하나에 따라 픽셀 어레이에 배열된 광학적 블랙 픽셀의 크로스토크 값을 결정하도록 구성되는 감광성 이미징 시스템의 일 실시 예에서 취해지는 단계들을 개시하는 흐름도의 일 실시 예를 도시한다.
도 4a 내지 도 4b는, 도 3에서 결정된 크로스토크를 보상하도록 구성되는 감광성 이미징 디바이스의 일 실시 예에서 취해지는 단계들을 개시하는 흐름도의 일 실시 예를 도시한다.
도 5는 도 3의 흐름도의 다른 실시 예를 도시한다.
도 6a 내지 도 6b는, 도 4a 내지 도 4b의 흐름도의 다른 실시 예를 도시한다.
도 7은 감광성 이미징 디바이스의 일 실시 예를 포함하는 감광성 이미징 시스템의 개략 실시 예를 도시한다.
종래 기술에서, OB 픽셀은 프레임으로서 픽셀 어레이의 하나 또는 몇몇의 에지를 따라 배열될 수 있거나, 소위 인 어레이 OB 픽셀이라고 하는, 픽셀 어레이의 그리드 내에 산재될 수 있다. 도 1a 내지 도 1c는, 픽셀 어레이의 4 개의 에지를 따라 배열된, 복수의 프레임 OB 픽셀(FOB), 복수의 컬러 채널 픽셀 및 컬러 채널 픽셀 사이에 산재된 2 개의 인 어레이 OB 픽셀을 도시한다.
도 1a는 복수의 컬러 채널 픽셀(CP1-CP79) 및 2 개의 광학적 블랙 픽셀(OB1, OB2)을 포함하는 픽셀 어레이의 일 실시 예를 도시한다. 도 1b는, 소위 베이어(Bayer) 배열에 해당하는, 적색(R), 녹색(G) 및 청색(B) 컬러 채널 픽셀을 포함하는 픽셀 어레이의 다른 실시 예를 도시한다. 도 1c는 적색(R), 녹색(G), 청색(B) 및 적외선(IR) 컬러 채널 픽셀을 포함하는 픽셀 어레이의 또 다른 실시 예를 도시한다.
도 7은, 픽셀 어레이에 배열된 적어도 하나의 OB 픽셀의 크로스토크 값이 결정되는 방법을 적용하도록 구성되는 감광성 이미징 시스템(1)의 일 실시 예를 도시한다. 또한, 도 7은, 픽셀 어레이에 배열된 인 어레이 OB 픽셀에서의 크로스토크가 보상되는 방법을 적용하도록 구성되는 감광성 이미징 디바이스(4)이다. 이미징 시스템에 의해 픽셀 어레이에 배열된 적어도 하나의 OB 픽셀의 크로스토크 값을 결정하는 방법이 도 3에 도시되어 있고, 이미징 디바이스에 의해 크로스토크를 보상하는 방법은 도 4a 내지 도 4b에 도시되어 있다.
이미징 시스템(1)은 적어도 하나의 이미지 센서(2)를 포함하며, 차례로, 적어도 하나의 이러한 픽셀 어레이를 포함한다. 바람직한 실시 예에서, 이미지 센서(2)는 이미징 디바이스(4) 내에 배열된다. 픽셀 어레이는, 도 1a 내지 도 1c에 도시된 바와 같이, 복수의 컬러 채널 픽셀(CP1-CPn) 및 적어도 하나의 OB 픽셀(OB1-OBn)을 포함한다.
이미징 시스템(1)은, OB 픽셀(OB1)의 컬러 채널의 밝기 값(IVOB1)을 검출하도록 구성되는 처리 수단(3a, 3b)을 더 포함한다. 후속적으로 또는 동시에, 처리 수단(3a, 3b)은 이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1), 즉, OB 픽셀(OB1)에 직접 이웃 또는 간접 이웃에 해당하는 컬러 채널 픽셀을 검출한다. 간접 이웃은 바람직하게는 OB 픽셀로부터 2 또는 3 픽셀 거리에 배치된다.
상술한 밝기 값(IVOB1, IV1)을 검출한 후, 처리 수단(3a, 3b)은 이들 밝기 값(IVOB1, IV1)에 기초하여 OB 픽셀(OB1)에 대한 크로스토크 값(CV1)을 계산한다. 크로스토크 값(CV1)을 계산하는 단계는, OB 픽셀(OB1)에 대한 밝기 값(IVOB1)을, 이웃 컬러 채널 픽셀(CP1)에 대한 밝기 값(IV1)으로 나누는 것을 포함할 수 있다.
일 실시 예에서, 이미징 시스템(1)은, 이미지 센서(2)의 특정 유형의 크로스토크 값을 결정하기 위해, 제조 또는 R&D 시설에서 사용된다. 따라서, 처리 수단(3b)은, 도 7에 도시된 바와 같이, 이미지 센서(2)가 제공되는 이미징 디바이스(4)의 내부에 있을 수 있지만, 바람직하게는, 이미징 시스템(1)은, 역시 도 7에 도시된 바와 같이, CPU와 같은 외부 처리 수단(3a) 및 내부 처리 수단(3b) 모두를 포함한다.
또한, 이미징 시스템(1)은, 예를 들어, 계산된 크로스토크 값(CV1)을 저장하도록 구성되는 메모리 수단(5a, 5b)을 포함할 수 있다. 처리 수단(3b)에 대해, 메모리 수단(5b)은, 비 휘발성 메모리(5b)와 같이, 이미지 센서(2)가 제공되는 이미징 디바이스(4) 내부에 있을 수 있거나, 클라우드 메모리와 같이, 외부 메모리 수단(5a) 일 수 있다.
일 실시 예에서, 외부(3b) 또는 내부(3a) 처리 수단에 해당하는, 처리 수단(3)은 OB 픽셀(OB1)의 적어도 하나의 추가 밝기 값(IVOB2-IVOBn)을 검출하도록 구성된다. 추가 밝기 값(IVOB2-IVOBn)은 초기 밝기 값(IV1)과 동일한 컬러 채널, 예를 들어, 적색/적색이거나, 다른 색상 채널, 예를 들어, 적색/녹색일 수 있다. 예를 들어, 2 개의 밝기 값이 동일한 컬러 채널에 해당하는 경우, 검출 단계는 동일한 이웃 컬러 채널 픽셀(CP1)에 대해, 또는 2 개의 상이한 이웃 컬러 채널 픽셀(CP1, CP2)에 대해 2 회 실행될 수 있다. 밝기 값이 상이한 컬러 채널에 대한 경우, 검출 단계는 2 개의 상이한 이웃 컬러 채널 픽셀(CP1, CP2)에 대해 실행되었다.
후속적으로, 또는 동시에, 처리 수단(3a, 3b)은 적어도 하나의 추가 이웃 컬러 채널 픽셀(CP2-CPn)의 적어도 하나의 추가 이웃 밝기 값(IV2-IVn)을 검출한다.
상술한 밝기 값(IVOB2-IVOBn 및 IV2-IVn)을 검출한 후, 처리 수단(3a, 3b)은, 이들 추가 밝기 값(IVOB2-IVOBn, IV2-IVn)에 기초하여, OB 픽셀(OB1)에 대한 적어도 하나의 추가 크로스토크 값(CV2-CVn)을 계산한다. 추가 크로스토크 값(들)(CV2-CVn)을 계산하는 단계는, OB 픽셀(OB1)에 대한 밝기 값(IVOB2-IVOBn)을, 이웃 컬러 채널 픽셀(들)(CP2-CPn)에 대한 밝기 값(들)(IV2-IVn)으로 나누는 것을 포함할 수 있다. 일 실시 예에서, IVOB1을 IV1로 나눔으로써 CV1에 도달하고, IVOB2를 IV2로 나눔으로써 CV2에 도달하는 2 개의 크로스토크 값(CV1, CV2)이 하나의 OB 픽셀(OB1)에 대해 계산된다.
일 실시 예에서, 처리 수단(3a, 3b)은, 크로스토크 값(들)(CV1-CVn)을 계산하기 전에, 이웃 컬러 채널 픽셀(들)(CP1-CPn)에 대해 검출된 밝기 값(들)(IV1-IVn)을 필터링하도록 구성된다. 본 단락과 아래 단락에서 언급되는 모든 필터링은, 가우시안 필터(Gaussian filter), 비 로컬 수단(non-local means), 웨이블릿(wavelet) 또는 bm3d, 또는 심지어, 복수의 이미지가 이미지 센서에 의해 캡처되고, 출력 이미지는 이들 이미지의 평균에 해당하는 멀티프레임 평균화(multiframe averaging)와 같은 여러 가지 방법을 사용함으로써 실행될 수 있다.
그러나, 도 5에 도시된 바람직한 일 실시 예에서, 필터링 단계는, 동일한 컬러 채널을 갖는 적어도 2 개의 이웃 컬러 채널 픽셀(CP1-CPn)에 대해 검출되는 밝기 값(IV1-IVn)을 평균화하고, 평균 밝기 값(IVA)을 적어도 2 개의 이웃 컬러 채널 픽셀에 대한 밝기 값으로서 할당하는 것을 포함한다.
일 실시 예에서, 처리 수단(3a, 3b)은,
크로스토크 값(CV1-CVn) 중 적어도 2 개에 기초하여 OB 픽셀(OB1)에 대한 총 크로스토크 값(TCV1)을 계산하도록 구성된다. 처리 수단(3a, 3b)은, 총 크로스토크 값(TCV1)을 계산하기 전에, 적어도 2 개의 크로스토크 값(CV1-CVn)을 필터링하도록 추가로 구성될 수 있다. 필터링은, 전술한 바와 같이, 다수의 여러 가지 방법에 의해 실행될 수 있다. 도 5에 도시된 일 실시 예에서, 필터링 단계는, 모든 이웃 컬러 채널 픽셀(CP1-CPn)에 대해 계산된 크로스토크 값(CV1-CVn)을 평균화, 예를 들어, 픽셀(CP1-CP8)에 대한 CV1-CV8을 평균화하고, 평균화된 크로스토크 값을, OB 픽셀(OB1)에 대한 총 크로스토크 값(TCV1)으로서 할당하는 것을 포함한다.
OB 픽셀(OB1)에 대한 총 크로스토크 값(TCV1)을 계산하는 단계는, 각각의 이웃 컬러 채널에 대한 하나의 계산된 크로스토크 값(CV1-CVn)을 하나의 총 합에 더하는 것을 포함할 수 있다.
또한, 처리 수단(3a, 3b)은, 각각의 추가 OB 픽셀(OB2-OBn)에 대해, 하나의 크로스토크 값(CV1-CVn) 또는 하나의 총 크로스토크 값(TCV1-TCVn)을 획득하기 위해. 적어도 하나의 추가 OB 픽셀(OB2-OBn)에 대해 상기 단계들을 반복하도록 구성될 수 있다. 이러한 일 실시 예에서, 처리 수단(3a, 3b)은 바람직하게는, 복수의 OB 픽셀(OB1-OBn)에 대해 계산된 크로스토크 값(CV1-CVn) 또는 총 크로스토크 값(TCV1-TCVn)을 필터링하도록 구성된다. 필터링은, 전술한 바와 같이, 다수의 여러 가지 방법에 의해 실행될 수 있다.
도 5에 도시된 일 실시 예에서, 필터링 단계는, OB 픽셀(OB1-OBn)에 대해 계산된 다중 크로스토크 값(CV1-CVn) 또는 총 크로스토크 값(TCV1-TCVn)을 평균화하고, 새로운, 평균화된 크로스토크 값(CVA)을, OB 픽셀(OB1-OBn)에 대한 크로스토크 값으로서 할당하는 것을 포함한다.
앞에서 논의된 크로스토크 값(CV1-CVn), 총 크로스토크 값(TCV1-TCVn), 필터링된 크로스토크 값 및/또는 필터링된 총 크로스토크 값은, 감광성 이미징 시스템에, 바람직하게는 상술한 메모리 수단에 저장될 수 있다.
위에서 언급된 바와 같이, 도 7에 도시된 시스템은 감광성 이미징 디바이스(4)를 포함할 수 있으며, 이는 픽셀 어레이에 배열된 인 어레이 OB 픽셀에서의 크로스토크가 보상되는 방법을 적용하도록 구성된다. 이미징 디바이스(4), 예를 들어, 이동 전화 또는 태블릿은, 적어도 하나의 이미지 어레이(2)를 포함하고, 차례로, 적어도 하나의 이러한 픽셀 어레이를 포함한다. 픽셀 어레이는, 도 1a 내지 도 1c에 도시된 바와 같이, 복수의 컬러 채널 픽셀(CP1-CPn) 및 적어도 하나의 인 어레이 OB 픽셀(OB1-OBn)을 포함한다.
이미징 디바이스(4)는, 인 어레이 OB 픽셀(OB1)을 선택하고, 후속적으로 이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1)을 검출하도록 구성되는 처리 수단(3b)을 더 포함한다. 이웃 컬러 채널 픽셀(CP1)은, 전술한 바와 같이, OB 픽셀(OB1)에 대해 직접 이웃 또는 간접 이웃에 해당하는 컬러 채널 픽셀이다. 간접 이웃은 바람직하게는 OB 픽셀로부터 2 또는 3 픽셀 거리에 배치된다.
상술한 밝기 값(IV1)을 검출한 후, 처리 수단(3b)은, 밝기 값(IV1) 및 인 어레이 OB 픽셀(OB1)에 대해 미리 저장된 크로스토크 값(CV1)에 기초하여 인 어레이 OB 픽셀(OB1)에 대한 전류 크로스토크 값(CCV1)을 계산한다. 전류 크로스토크 값(CCV1)을 계산하는 단계는, 저장된 크로스토크 값(CV1)에 밝기 값(IV1)을 곱하는 것을 포함할 수 있다.
이미징 디바이스(4)는 최종 사용자에 의해 사용되므로, 클라우드 메모리(5a)에서 수행될 수 있는 저장을 제외한 모든 크로스토크 보상 단계들은 이미징 디바이스(4) 내에서 발생한다. 따라서, 처리 수단(3b)은 디바이스 내부에 있다.
일 실시 예에서, 처리 수단(3b)은, 적어도 하나의 추가 이웃 컬러 채널 픽셀(CP2-CPn)의 적어도 하나의 추가 밝기 값(IV2-IVn)을 검출하도록 구성된다. 추가 밝기 값(IVOB2-IVOBn)은 초기 밝기 값(IV1)과 동일한 컬러 채널, 예를 들어 적색/적색이거나, 다른 색상 채널, 예를 들어, 적색/녹색일 수 있다. 예를 들어, 2 개의 밝기 값이 동일한 컬러 채널에 해당하는 경우, 검출 단계는 동일한 이웃 컬러 채널 픽셀(CP1)에 대해, 또는 2 개의 상이한 이웃 컬러 채널 픽셀(CP1, CP2)에 대해 2 회 실행될 수 있다. 밝기 값이 상이한 컬러 채널에 대한 경우, 검출 단계는 2 개의 상이한 이웃 컬러 채널 픽셀(CP1, CP2)에 대해 실행되었다.
상술한 밝기 값(IV2-IVn)을 검출한 후, 처리 수단은, 이전에 저장된 크로스토크 값(CV1)뿐만 아니라 이들 추가 밝기 값(IV2-IVn)에 기초하여 인 어레이 OB 픽셀(OB1)에 대한 적어도 하나의 추가 전류 크로스토크 값(CCV2-CCVn)을 계산한다. 전류 크로스토크 값(CCV2-CCVn)을 계산하는 단계는, 저장된 크로스토크 값(CV1)에 밝기 값(IV2-IVn)을 곱하는 것을 포함할 수 있다. 일 실시 예에서, CV1에 IV1을 곱함으로써 CCV1에 도달하고 CV2에 IV2를 곱함으로써 CCV2에 도달하는 2 개의 전류 크로스토크 값(CCV1, CCV2)은 하나의 인 어레이 OB 픽셀(OB1)에 대해 계산된다.
일 실시 예에서, 처리 수단(3b)은, 전류 크로스토크 값(CCV1)을 계산하기 전에, 밝기 값(들)(IV1-IVn)을 필터링하도록 구성된다. 필터링은, 전술한 바와 같이, 다수의 여러 가지 방법에 의해 실행될 수 있다. 도 6a 내지 도 6b에서 도시된 일 실시 예에서, 필터링 단계는, 동일한 컬러 채널을 갖는 적어도 2 개의 이웃 컬러 채널 픽셀에 대해 검출된 밝기 값(IV1-IVn)을 평균화하고, 평균화된 밝기 값(IVA)을 적어도 2 개의 이웃 컬러 채널에 대한 밝기 값으로서 할당하는 것을 포함한다.
일 실시 예에서, 처리 수단(3b)은
상기 전류 크로스토크 값(CCV1-CCVn) 중 적어도 2 개에 기초하여 인 어레이 OB 픽셀(OB1)에 대한 총 전류 크로스토크 값(TCCV1)을 계산하도록 구성된다. 처리 수단(3b)은, 총 전류 크로스토크 값(TCCV1)을 계산하기 전에, 적어도 2 개의 전류 크로스토크 값(CCV1-CCVn)을 필터링하도록 구성될 수 있다. 필터링은, 전술한 바와 같이, 다수의 여러 가지 방법에 의해 실행될 수 있다. 도 6a 내지 도 6b에 도시된 일 실시 예에서, 필터링 단계는, 전류 크로스토크 값(CCV1-CCVn)을 평균화하고, 평균화된 전류 크로스토크 값(CCVA)을 인 어레이 OB 픽셀(OB1)에 대한 전류 크로스토크 값으로서 할당하는 것을 포함한다.
OB 픽셀(OB1)에 대한 총 크로스토크 값(TCCV1)을 계산하는 단계는, 각각의 이웃 컬러 채널에 대한 하나의 전류 크로스토크 값(CCV1-CCVn)을 하나의 총 합에 더하는 것을 포함할 수 있다.
일 실시 예에서, 처리 수단(3b)은 OB 픽셀(OB1)에 대한 밝기 값(IVOB1)을 검출하도록 구성된다. 밝기 값(IVOB1)을 검출한 후, 처리 수단(3b)은, 인 어레이 OB 픽셀(OB1)에 대한 전류 크로스토크 값(CCV1-CCVn) 또는 총 전류 크로스토크 값(TCCV1)을 미리 결정된 한계 값 X와 비교한다. 한계 값 X는, 예를 들어, 2% 일 수 있으나, 임의의 주어진 이미지 센서 유형에 대해 적절한 값이 개별적으로 결정되어야 한다.
전류 크로스토크 값(CCV1-CCVn) 또는 총 전류 크로스토크 값(TCCV1)이 X 보다 큰 경우, 처리 수단은, 새로운, 상이한 인 어레이 OB 픽셀(OB2-OBn)을 선택하고 상술한 단계들을 반복한다. 전류 크로스토크 값(CCV1-CCVn) 또는 총 전류 크로스토크 값(TCCV1)이 X 이하인 경우, 처리 수단은, 인 어레이 OB 픽셀(OB1)에 대한 보정된 밝기 값(CIV1)을 계산하고, 보정된 밝기 값(CIV1)을 인 어레이 OB 픽셀(OB1)로서 할당한다.
일 실시 예에서, 처리 수단(3b)은, 밝기 값(들)(IV1-IVn) 또는 OB 픽셀(OB1)에 대해 검출된 상술한 필터링된 밝기 값(들)으로부터 전류 크로스토크 값(CCV1) 또는 총 전류 크로스토크 값(TCCV1)을 감산함으로써 보정된 밝기 값(CIV1)을 계산하도록 구성된다.
또한, 처리 수단(3b)은, 적어도 하나의 추가 인 어레이 OB 픽셀(OB2-OBn)에 대해 상기 단계들을 반복하고, 적어도 2 개의 인 어레이 OB 픽셀(OB1-OBn)의 밝기 값(IV1-IVn)을 필터링하고, 필터링된 밝기 값을 적어도 2 개의 인 어레이 OB 픽셀(OB1-OBn)에 대한 밝기 값(IV)으로서 할당하도록 구성될 수 있다. 도 6a 내지 도 6b에 도시된 일 실시 예에서, 필터링 단계는 다중 밝기 값(IV1-IVn)을 평균화하는 것을 포함한다.
또한, 처리 수단(3b)은, 상이한 컬러 채널을 갖는 적어도 하나의 추가 이웃 컬러 채널 픽셀(CP2-CPn)에 대해 상기 단계들을 반복하도록 구성될 수 있다.
일 실시 예에서, 픽셀 어레이는, 픽셀 어레이의 외부 에지에 배열된 적어도 하나의 프레임 OB 픽셀(FOB1-FOBn)을 포함한다. 이어서 처리 수단(3b)은, 이와 같은 프레임 OB 픽셀(FOB1-FOBn)에 인접하여 위치하는 적어도 하나의 인 어레이 OB 픽셀(OB1-OBn)에 대해, 인 어레이 OB 픽셀(OB1-OBn)에 인접하여 위치하는 적어도 하나의 프레임 OB 픽셀(FOB1-FOBn)의 컬러 채널의 밝기 값(FIV1-FIVn)을 검출하도록 구성될 수 있다. 단 하나의 프레임 OB 픽셀(FOB1)의 프레임 OB 픽셀 밝기 값(FIV1)이 검출되는 경우, 프레임 OB 픽셀(FOB1)의 밝기 값(FIV1)은, 프레임 OB 픽셀(FOB1)에 대한 밝기 값(FIV)으로서 할당된다. 적어도 2 개의 프레임 OB 픽셀(FOB1-FOBn)의 프레임 OB 픽셀 밝기 값(FIV1-FIVn)이 검출되는 경우, 프레임 OB 픽셀 밝기 값(FIV1-FIVn)은 평균화되고, 평균 밝기 값은, 프레임 OB 픽셀(FOB1-FOBn)에 대한 프레임 OB 픽셀 밝기 값(FIV)으로서 할당된다.
이어서 처리 수단(3b)은, 인 어레이 OB 픽셀(OB1)에 대해 보정된 밝기 값(CIV1)과, 컬러 채널의 프레임 OB 픽셀(FOB1-FOBn)에 대한 밝기 값(FIV)을 비교한다. 보정된 밝기 값(CIV1)이 프레임 OB 픽셀 밝기 값(FIV)과 동일한 경우, 보정된 밝기 값(CIV1)은 인 어레이 OB 픽셀(OB1)에 대한 밝기 값(IV1)으로서 할당된다. 보정된 밝기 값(CIV1)이 프레임 OB 픽셀 밝기 값(FIV)과 상이한 경우, 보정된 밝기 값(CIV1)과 프레임 OB 픽셀 밝기 값(FIV)이 매칭(match)되고, 매칭된 밝기 값은 보정된 밝기 값(CIV1)으로서 할당된다.
일 실시 예에서, 처리 수단(3b)은, 다음 단계들에 의해, 보정된 밝기 값(CIV1)과 프레임 OB 픽셀 밝기 값(FIV)을 매칭시키도록 구성된다. 나누어 픽셀 분수 값(pixel fraction value)(F)는, 프레임 OB 픽셀 밝기 값(FIV)을, 보정된 밝기 값(CIV1)으로 나누어 계산되고, 프레임 OB 픽셀 밝기 값(FIV)은, 인 어레이 OB 픽셀(OB1)에 대한 밝기 값으로서 할당된다. 분수 값(F)에는, 프레임 OB 픽셀(FOB1) 및 인 어레이 OB 픽셀(OB1)과 정렬된 각각의 인 어레이 OB 픽셀(OB2-OBn)의 밝기 값(IV1-IVn)이 곱해지며, 곱해진 밝기 값은, 각각의 인 어레이 OB 픽셀(OB2-OBn)에 대한 밝기 값으로서 할당된다.
도 2a 내지 도 2b는 11x11 OB 픽셀을 포함하는 픽셀 어레이의 단면을 도시한다. 상단 행(1)은 프레임 OB 픽셀(FOB1-FOB11)을 포함하고, 이들의 밝기 값(FIV1-FIV11)을 도시한다. 나머지 행(2-11)은 인 어레이 픽셀(OB1-OB110)을 포함한다. 도 2a는 이들의 보정된 밝기 값을 나타내고, 도 2b는 열(1-7)의 보정된 밝기 값과, 열(8-11)의 매칭된 밝기 값을 나타낸다.
또한, 다른 실시 예에 대해, 도 2a 내지 도 2b는, 프레임 OB 픽셀의 밝기 값뿐만 아니라, 인 어레이 OB 픽셀의 보정되고 필터링된 밝기 값을 포함하는 단면을 도시한다. 상단 행(1)은 프레임 OB 픽셀(FOB1-FOB11)을 포함하고, 이들의 필터링된 밝기 값(FIV1-FIV11)을 도시한다. 나머지 행(2-11)은 인 어레이 픽셀(OB1-OB110)의 보정되고 필터링된 밝기 값을 포함한다. 도 2a는 이들의 보정되고 필터링된 밝기 값을 나타내고, 도 2b는 열(1-7)의 보정된 밝기 값과 열(8-11)의 매칭된 밝기 값을 나타낸다.
픽셀 크로스토크 값을 결정하는 상술한 방법은, 각각의 모든 개별 픽셀마다 픽셀 크로스토크의 양이 결정될 수 있도록 하여, 이미지 픽셀 어레이의 블랙 레벨에 대한 크로스토크의 영향이 올바르게 결정될 수 있게한다. 또한, 상술한 크로스토크 보상은, 블랙 레벨에 대한 크로스토크의 영향이 보상될 수 있도록 하여, 종래 기술보다 더 올바른 블랙 레벨 추정을 결과하고, 이어서 더 나은 품질을 갖는 이미지를 결과한다.
다양한 측면들 및 구현들이 본 명세서의 다양한 실시 예들과 관련하여 설명되었다. 그러나, 개시된 실시 예들에 대한 다른 변형은, 도면, 개시 및 첨부된 청구 범위에 대한 연구로부터, 청구된 청구 대상을 실시함에 있어서 본 발명이 속하는 기술 분야에서 통상의 지식을 가지진 자에 의해 이해되고 영향을 받을 수 있다. 청구 범위에서, "포함하는"이라는 단어는 다른 요소 또는 단계를 배제하지 않으며, 부정 관사 "a" 또는 "an"은 복수를 배제하지 않는다. 특정 측정은 상호 상이한 종속항에 기재된다는 단순한 사실은, 이들 측정의 조합이 유리하게 사용될 수 없다는 것을 나타내지 않는다.
청구 범위에 사용된 참조 부호는 범위를 제한하는 것으로 해석되지 않아야 한다.

Claims (21)

  1. 픽셀 어레이에 배열된 광학적 블랙(optically black, OB) 픽셀의 크로스토크 값을 결정하도록 구성되는 감광성 이미징 시스템(1)으로서,
    적어도 하나의 픽셀 어레이를 포함하는 적어도 하나의 이미지 센서(2) - 여기서, 상기 픽셀 어레이는 복수의 컬러 채널 픽셀(CP1,...,CPn) 및 적어도 하나의 OB 픽셀(OB1,...,OBn)을 포함함 - 및
    OB 픽셀(OB1)의 컬러 채널의 밝기 값(IVOB1)을 검출하고,
    이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1)을 검출하고,
    상기 밝기 값(IVOB1; IV1)에 기초하여, 상기 OB 픽셀(OB1)에 대한 크로스토크 값(CV1)을 계산하도록 구성되는 처리 수단(3a, 3b)을 포함하는
    감광성 이미징 시스템(1).
  2. 제1항에 있어서,
    상기 처리 수단(3a, 3b)은,
    상기 OB 픽셀(OB1)의 컬러 채널의 적어도 하나의 추가 밝기 값(IVOB2,...,IVOBn)을 검출하고,
    적어도 하나의 추가 이웃 컬러 채널 픽셀(CP2,...,CPn)의 적어도 하나의 추가 밝기 값(IV2,...,IVn)을 검출하고,
    상기 추가 밝기 값(IVOB2,...,IVOBn; IV2,...,IVn)에 기초하여 상기 OB 픽셀(OB1)에 대한 적어도 하나의 추가 크로스토크 값(CV2,...,CVn)을 계산하도록 추가로 구성되는, 감광성 이미징 시스템(1).
  3. 제2항에 있어서,
    상기 처리 수단(3a, 3b)은, 상기 크로스토크 값(CV1,...,CVn)을 계산하기 전에, 상기 이웃 컬러 채널 픽셀(CP1,...,CPn)의 밝기 값(IV1,...,IVn)을 필터링하도록 추가로 구성되는, 감광성 이미징 시스템(1).
  4. 제2항에 있어서,
    상기 처리 수단(3a, 3b)은, 상기 크로스토크 값(CV1,...,CVn) 중 적어도 2 개에 기초하여 상기 OB 픽셀(OB1)에 대한 총 크로스토크 값(TCV1)을 계산하도록 추가로 구성되는, 감광성 이미징 시스템(1).
  5. 제4항에 있어서,
    상기 처리 수단(3a, 3b)은, 상기 총 크로스토크 값(TCV1)을 계산하기 전에, 상기 크로스토크 값(CV1,...,CVn) 중 적어도 2 개를 필터링하도록 추가로 구성되는, 감광성 이미징 시스템(1).
  6. 제1항에 있어서,
    상기 처리 수단(3a, 3b)은, 적어도 하나의 추가 OB 픽셀(OB2,...,OBn)에 대해 제1항 내지 제5항 중 어느 한 항의 단계를 반복하여, 각각의 추가 OB 픽셀(OB2,...,OBn)에 대해 크로스토크 값 또는 총 크로스토크 값(CV1,...,CVn; TCV1,...,TCVn)을 획득하도록 추가로 구성되는, 감광성 이미징 시스템(1).
  7. 제6항에 있어서,
    상기 처리 수단(3a, 3b)은, 상기 OB 픽셀(OB1,...,OBn)에 대해 상기 계산된 크로스토크 값 또는 상기 총 크로스토크 값(CV1,...,CVn; TCV1,...,TCVn)을 필터링하도록 추가로 구성되는, 감광성 이미징 시스템(1).
  8. 제5항에 있어서,
    상기 크로스토크 값(CV1,...,CVn), 상기 총 크로스토크 값(TCV1,...,TCVn), 및/또는 상기 필터링된 크로스토크 값(들)은 상기 감광성 이미징 시스템(1)에 저장되는, 감광성 이미징 시스템(1).
  9. 픽셀 어레이에 배열된 인 어레이(in-array) OB 픽셀의 크로스토크를 보상하도록 구성되는 감광성 이미징 디바이스(4)로서,
    적어도 하나의 픽셀 어레이를 포함하는 적어도 하나의 이미지 센서(2) - 여기서, 상기 픽셀 어레이는 복수의 컬러 채널 픽셀(CP1,...,CPn) 및 적어도 하나의 인 어레이 OB 픽셀(OB1,...,OBn)을 포함함 - 및
    인 어레이 OB 픽셀(OB1)을 선택하고,
    이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1)을 검출하고,
    상기 밝기 값(IV1) 및 상기 인 어레이 OB 픽셀(OB1)에 대해 저장된 크로스토크 값(CV1)에 기초하여, 상기 인 어레이 OB 픽셀(OB1)에 대한 전류 크로스토크 값(CCV1)을 계산하도록 구성되는 처리 수단(3b)을 포함하고,
    상기 처리 수단(3b)은,
    상기 OB 픽셀(OB1)에 대한 밝기 값(IVOB1)을 검출하고,
    상기 인 어레이 OB 픽셀(OB1)에 대한 상기 전류 크로스토크 값 또는 총 전류 크로스토크 값(CCV1,..., CCVn; TCCV1)을 미리 결정된 한계 값 X와 비교하고,
    상기 전류 크로스토크 값 또는 상기 총 전류 크로스토크 값(CCV1; TCCV1) > X인 경우, 다른 인 어레이 OB 픽셀(OB2,...,OBn)을 선택하고,
    상기 전류 크로스토크 값 또는 상기 총 전류 크로스토크 값(CCV1; TCCV1) ≤ X인 경우, 상기 인 어레이 OB 픽셀(OB1)에 대해 보정된 밝기 값(CIV1)을 계산하고,
    상기 보정된 밝기 값(CIV1)을 상기 인 어레이 OB 픽셀(OB1)에 할당하도록 추가로 구성되는,
    감광성 이미징 디바이스(4).
  10. 제9항에 있어서,
    상기 처리 수단(3b)은,
    적어도 하나의 추가 이웃 컬러 채널 픽셀(CP2,...,CPn)의 적어도 하나의 추가 밝기 값(IV2,...,IVn)을 검출하고,
    상기 추가 밝기 값(IV2,...,IVn) 및 저장된 크로스토크 값(CV1)에 기초하여, 상기 인 어레이 OB 픽셀(OB1)에 대한 적어도 하나의 추가 전류 크로스토크 값(CCV2,..., CCVn)을 계산하도록 추가로 구성되는, 감광성 이미징 디바이스(4).
  11. 제10항에 있어서,
    상기 처리 수단(3b)은, 상기 전류 크로스토크 값(CCV1)을 계산하기 전에, 상기 밝기 값(IV1,...,IVn)을 필터링하도록 추가로 구성되는, 감광성 이미징 디바이스(4).
  12. 제10항에 있어서,
    상기 처리 수단(3b)은, 상기 전류 크로스토크 값(CCV1,...,CCVn) 중 적어도 2 개에 기초하여 상기 인 어레이 OB 픽셀(OB1)에 대한 총 전류 크로스토크 값(TCCV1)을 계산하도록 추가로 구성되는, 감광성 이미징 디바이스(4).
  13. 제12항에 있어서,
    상기 처리 수단(3b)은, 상기 총 전류 크로스토크 값(TCCV1)을 계산하기 전에, 상기 전류 크로스토크 값(CCV1,...,CCVn) 중 적어도 2 개를 필터링하도록 추가로 구성되는, 감광성 이미징 디바이스(4).
  14. 삭제
  15. 제11항에 있어서,
    상기 처리 수단(3b)은, 상기 밝기 값(IV1,...,IVn) 또는 상기 필터링된 밝기 값으로부터 상기 전류 크로스토크 값(CCV1, TCCV1)을 감산함으로써, 보정된 밝기 값(CIV1)을 계산하도록 구성되는, 감광성 이미징 디바이스(4).
  16. 제9항에 있어서,
    상기 처리 수단(3b)은,
    적어도 하나의 추가 인 어레이 OB 픽셀(OB2,...,OBn)에 대해 제9항 내지 제13항 중 어느 한 항의 단계를 반복하고,
    상기 적어도 2 개의 인 어레이 OB 픽셀(OB1,...,OBn)의 상기 밝기 값(IV1,...,IVn)을 필터링하고,
    필터링된 밝기 값을, 상기 적어도 2 개의 인 어레이 OB 픽셀(OB1,...,OBn)에 대한 상기 밝기 값(IV)으로서 할당하도록 추가로 구성되는, 감광성 이미징 디바이스(4).
  17. 제9항에 있어서,
    상기 픽셀 어레이는 적어도 하나의 프레임 OB 픽셀(FOB1,...,FOBn)을 더 포함하고, 상기 적어도 하나의 프레임 OB 픽셀은 상기 픽셀 어레이의 외부 에지(outer edge)에 배치되는, 감광성 이미징 디바이스(4).
  18. 제17항에 있어서,
    프레임 OB 픽셀(FOB1,...,FOBn)에 인접하여 위치하는 적어도 하나의 인 어레이 OB 픽셀(OB1,...,OBn)에 대해, 상기 처리 수단(3b)은,
    상기 인 어레이 OB 픽셀(OB1,...,OBn)에 인접하여 위치하는 적어도 하나의 프레임 OB 픽셀(FOB1,...,FOBn)의 컬러 채널의 밝기 값(FIV1,...,FIVn)을 검출하고,
    단 하나의 프레임 OB 픽셀(FOB1)의 프레임 OB 픽셀 밝기 값(FIV1)이 검출되는 경우, 상기 프레임 OB 픽셀(FOB1)의 상기 밝기 값(FIV1)은, 상기 프레임 OB 픽셀(FOB1)에 대한 밝기 값(FIV)으로서 할당되고,
    적어도 2 개의 프레임 OB 픽셀(FOB1,...,FOBn)의 프레임 OB 픽셀 밝기 값(FIV1,...,FIVn)이 검출되는 경우, 상기 프레임 OB 픽셀 밝기 값(FIV1,...,FIVn)은 평균화되고, 평균 밝기 값은 상기 프레임 OB 픽셀(FOB1,...,FOBn)에 대한 상기 프레임 OB 픽셀 밝기 값(FIV)으로서 할당되고,
    상기 인 어레이 OB 픽셀(OB1)에 대한 보정된 밝기 값(CIV1)과, 상기 컬러 채널에 대한 상기 프레임 OB 픽셀(FOB1,...,FOBn)에 대한 밝기 값(FIV)을 비교하고,
    상기 보정된 밝기 값(CIV1)이 상기 프레임 OB 픽셀 밝기 값(FIV)과 동일한 경우, 상기 보정된 밝기 값(CIV1)을 상기 인 어레이 OB 픽셀(OB1)에 대한 밝기 값(IV1)으로서 할당하고,
    상기 보정된 밝기 값(CIV1)이 상기 프레임 OB 픽셀 밝기 값(FIV)과 상이한 경우, 상기 보정된 밝기 값(CIV1)과 상기 프레임 OB 픽셀 밝기 값(FIV)을 매칭(match)시키고, 매칭된 밝기 값을 상기 보정된 밝기 값(CIV1)으로서 할당하도록 구성되는, 감광성 이미징 디바이스(4).
  19. 제18항에 있어서,
    상기 처리 수단(3b)은,
    상기 프레임 OB 픽셀 밝기 값(FIV)을 상기 보정된 밝기 값(CIV1)으로 나누어 픽셀 분수 값(pixel fraction value)(F)을 계산하고,
    상기 프레임 OB 픽셀 밝기 값(FIV)을, 상기 인 어레이 OB 픽셀(OB1)에 대한 상기 밝기 값으로서 할당하고,
    상기 분수 값(F)과, 상기 프레임 OB 픽셀(FOB1) 및 상기 인 어레이 OB 픽셀(OB1)과 정렬된 각각의 인 어레이 OB 픽셀(OB2,...,OBn)의 상기 밝기 값(IV1,...,IVn)을 곱하고,
    곱해진 밝기 값을, 각각의 인 어레이 OB 픽셀(OB2,...,OBn)에 대한 상기 밝기 값으로서 할당함으로써,
    상기 보정된 밝기 값(CIV1)과 상기 프레임 OB 픽셀 밝기 값(FIV)을 매칭하도록 구성되는, 감광성 이미징 디바이스(4).
  20. 픽셀 어레이에 배열된 OB 픽셀의 크로스토크 값을 결정하는 방법으로서,
    상기 픽셀 어레이는 복수의 컬러 채널 픽셀(CP1,...,CPn) 및 적어도 하나의 OB 픽셀(OB1,...,OBn)을 포함하고, 상기 방법은,
    OB 픽셀(OB1)의 컬러 채널의 밝기 값(IVOB1)을 검출하는 단계,
    이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1)을 검출하는 단계,
    상기 밝기 값(IVOB1; IV1)에 기초하여, 상기 OB 픽셀(OB1)에 대한 크로스토크 값(CV1)을 계산하는 단계를 포함하는
    방법.
  21. 픽셀 어레이에 배열된 인 어레이 OB 픽셀의 크로스토크를 보상하는 방법으로서,
    상기 픽셀 어레이는 복수의 컬러 채널 픽셀(CP1,...,CPn) 및 적어도 하나의 인 어레이 OB 픽셀(OB1,...,OBn)을 포함하고, 상기 방법은,
    인 어레이 OB 픽셀(OB1)을 선택하는 단계,
    이웃 컬러 채널 픽셀(CP1)의 밝기 값(IV1)을 검출하는 단계,
    상기 밝기 값(IV1) 및 저장된 크로스토크 값(CV1)에 기초하여, 상기 인 어레이 OB 픽셀(OB1)에 대한 전류 크로스토크 값(CCV1)을 계산하는 단계를 포함하고,
    상기 OB 픽셀(OB1)에 대한 밝기 값(IVOB1)을 검출하는 단계,
    상기 인 어레이 OB 픽셀(OB1)에 대한 상기 전류 크로스토크 값 또는 총 전류 크로스토크 값(CCV1,..., CCVn; TCCV1)을 미리 결정된 한계 값 X와 비교하는 단계,
    상기 전류 크로스토크 값 또는 상기 총 전류 크로스토크 값(CCV1; TCCV1) > X인 경우, 다른 인 어레이 OB 픽셀(OB2,...,OBn)을 선택하는 단계, 및
    상기 전류 크로스토크 값 또는 상기 총 전류 크로스토크 값(CCV1; TCCV1) ≤ X인 경우, 상기 인 어레이 OB 픽셀(OB1)에 대해 보정된 밝기 값(CIV1)을 계산하고, 상기 보정된 밝기 값(CIV1)을 상기 인 어레이 OB 픽셀(OB1)에 할당하는 단계
    를 더 포함하는
    방법.
KR1020207014043A 2017-11-24 2017-11-24 인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스 KR102341016B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/080409 WO2019101337A1 (en) 2017-11-24 2017-11-24 Light sensitive imaging system and device with crosstalk compensation for in-array optical black pixels

Publications (2)

Publication Number Publication Date
KR20200069356A KR20200069356A (ko) 2020-06-16
KR102341016B1 true KR102341016B1 (ko) 2021-12-17

Family

ID=60452660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207014043A KR102341016B1 (ko) 2017-11-24 2017-11-24 인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스

Country Status (4)

Country Link
JP (1) JP7052040B2 (ko)
KR (1) KR102341016B1 (ko)
CN (1) CN111406402B (ko)
WO (1) WO2019101337A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519537A (zh) * 2019-07-30 2019-11-29 北京安酷智芯科技有限公司 一种图像传感器阵列及其温漂补偿方法
US11343435B2 (en) 2019-12-26 2022-05-24 Waymo Llc Microlensing for real-time sensing of stray light
CN112073712B (zh) * 2020-08-26 2023-03-21 中国科学院国家天文台 图像传感器的串扰测试方法、装置、电子设备与存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822679B1 (en) 2000-10-31 2004-11-23 Texas Instruments Incorporated Offset correction to the output of a charge coupled device
WO2006049098A1 (ja) 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP2007318239A (ja) 2006-05-23 2007-12-06 Auto Network Gijutsu Kenkyusho:Kk 撮像装置及び車両周辺視認装置
US20130032694A1 (en) 2011-08-02 2013-02-07 Sony Corporation Image sensor, imaging apparatus, and imaging method
US20140313350A1 (en) * 2013-04-19 2014-10-23 Aptina Imaging Corporation Imaging systems with reference pixels for image flare mitigation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101829A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 信号処理装置
JP4926467B2 (ja) * 2005-12-06 2012-05-09 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP4971834B2 (ja) * 2007-03-01 2012-07-11 キヤノン株式会社 撮像装置及び撮像システム
JP4462299B2 (ja) * 2007-07-17 2010-05-12 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
US8872953B2 (en) * 2009-10-30 2014-10-28 Sony Corporation Solid-state imaging device, manufacturing method thereof, camera, and electronic device
KR20140010553A (ko) 2012-07-13 2014-01-27 삼성전자주식회사 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법
JP6053447B2 (ja) * 2012-10-23 2016-12-27 オリンパス株式会社 撮像装置
US9450005B2 (en) * 2013-03-29 2016-09-20 Sony Corporation Image pickup device and image pickup apparatus
JP2015228641A (ja) * 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
JP6463190B2 (ja) * 2015-03-27 2019-01-30 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822679B1 (en) 2000-10-31 2004-11-23 Texas Instruments Incorporated Offset correction to the output of a charge coupled device
WO2006049098A1 (ja) 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP2007318239A (ja) 2006-05-23 2007-12-06 Auto Network Gijutsu Kenkyusho:Kk 撮像装置及び車両周辺視認装置
US20130032694A1 (en) 2011-08-02 2013-02-07 Sony Corporation Image sensor, imaging apparatus, and imaging method
US20140313350A1 (en) * 2013-04-19 2014-10-23 Aptina Imaging Corporation Imaging systems with reference pixels for image flare mitigation

Also Published As

Publication number Publication date
CN111406402B (zh) 2021-11-30
JP2021505016A (ja) 2021-02-15
JP7052040B2 (ja) 2022-04-11
CN111406402A (zh) 2020-07-10
WO2019101337A1 (en) 2019-05-31
KR20200069356A (ko) 2020-06-16

Similar Documents

Publication Publication Date Title
JP4374488B2 (ja) デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
KR102341016B1 (ko) 인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스
EP2779147B1 (en) Re-interpolation with edge detection for extracting an aging pattern for AMOLED displays
JP4378746B2 (ja) 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法
JP6499188B2 (ja) 飽和画像を非飽和画像に変換する方法
EP2278788B1 (en) Method and apparatus for correcting lens shading
CN110650334B (zh) 坏点检测、校正方法及装置、存储介质、终端
US20040086177A1 (en) Color interpolation for image sensors using a local linear regression method
CN107767390B (zh) 监控视频图像的阴影检测方法及其系统、阴影去除方法
CN104067611A (zh) 图像处理设备、图像处理方法及程序
KR101763436B1 (ko) 상이한 광 감도들을 갖는 포토다이오드들을 갖는 이미징 어레이 및 관련 이미지 복원 방법들
KR101811637B1 (ko) 선택적인 픽셀 비닝 장치 및 방법
CN107341767B (zh) 一种图像校正方法及装置
JP2016127389A (ja) 画像処理装置およびその制御方法
US7916790B2 (en) Pixel compensation method for an image sensor
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
CN111179291A (zh) 一种基于邻域关系的边缘像素点提取方法及装置
US20150139554A1 (en) Consecutive thin edge detection system and method for enhancing a color filter array image
TWI492621B (zh) 適應性影像處理方法及其相關裝置
CN104980718B (zh) 色彩校正装置以及方法
US8054348B2 (en) Noise reduction device and digital camera
JP6889336B2 (ja) 画像デモザイク処理システムおよび方法
KR102315200B1 (ko) 자동 화이트 밸런스를 위한 영상 처리 장치 및 그 처리 방법
JP5846100B2 (ja) 表示装置の欠陥検査方法
JP3856235B2 (ja) 平面画像における傾斜被り補正方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant