KR100981943B1 - 고정 패턴 잡음 제거 장치, 고체 촬상 장치, 전자 기기 - Google Patents

고정 패턴 잡음 제거 장치, 고체 촬상 장치, 전자 기기 Download PDF

Info

Publication number
KR100981943B1
KR100981943B1 KR1020087018874A KR20087018874A KR100981943B1 KR 100981943 B1 KR100981943 B1 KR 100981943B1 KR 1020087018874 A KR1020087018874 A KR 1020087018874A KR 20087018874 A KR20087018874 A KR 20087018874A KR 100981943 B1 KR100981943 B1 KR 100981943B1
Authority
KR
South Korea
Prior art keywords
dark current
solid
pixel
pattern noise
state imaging
Prior art date
Application number
KR1020087018874A
Other languages
English (en)
Other versions
KR20080085193A (ko
Inventor
토시노부 시바노
카즈오 하시구치
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20080085193A publication Critical patent/KR20080085193A/ko
Application granted granted Critical
Publication of KR100981943B1 publication Critical patent/KR100981943B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 발명에 따른 고정 패턴 잡음 제거 장치(4)는 미리 취득한 고체 촬상 소자(2)의 차광 화소의 출력 신호를 바탕으로 산출되어 보정 데이터 기억부(6)에 기억되어 있는 제 1 암전류와, 입사광이 없는 상태에서 미리 취득한 고체 촬상 소자(2)의 유효 화소의 출력 신호를 바탕으로 산출되어 보정 데이터 기억부(6)에 기억되어 있는 제 2 암전류와, 촬상시의 고체 촬상 소자(2)의 차광 화소의 출력 신호를 바탕으로 산출되는 제 3 암전류를 이용하여, 촬상시의 고체 촬상 소자(2)의 유효 화소의 출력 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거한다. 이러한 구성에 의하면, 고체 촬상 소자의 온도에 상관없이 암전류에 기인하는 고정 패턴 잡음 성분을 효과적으로 제거할 수 있다.
고체 패턴 잡음 제거 장치

Description

고정 패턴 잡음 제거 장치, 고체 촬상 장치, 전자 기기, 및 고정 패턴 잡음 제거 프로그램이 기록된 기록 매체{FIXED-PATTERN NOISE ELIMINATING DEVICE, SOLID-STATE IMAGE PICKUP DEVICE, ELECTRONIC APPARATUS, AND RECORDING MEDIUM RECORDED FIXED-PATTERN NOISE ELIMINATING PROGRAM}
본 발명은 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분의 제거를 실시하는 고정 패턴 잡음 제거 장치 및 이것을 구비하는 고체 촬상 장치 및 전자 기기에 관한 것이다. 또한, 본 발명은 컴퓨터를 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분의 제거를 실시하는 고정 패턴 잡음 제거 장치로서 기능시키기 위한 고정 패턴 잡음 제거 프로그램에 관한 것이다.
오늘날 디지털 스틸 카메라나 무비 카메라 등의 촬영 장치가 널리 보급되고 있다. 이들 촬영 장치에는 피사체를 촬상하는 고체 촬상 소자로서 주로, CCD(Charge Coupled Device)가 구비되어 있다. CCD에서는 보통, 촬상 신호로 변환가능한 입사광의 다이나믹 영역이 좁다. 그 때문에 CCD에 의해 촬상된 화상 내에 피사체의 흑백 파쇄가 생길 우려가 있다. 이러한 흑백 파쇄는 화상의 품질을 손상시키는 것이기 때문에 가능한 한 생기지 않도록 하는 것이 바람직하다.
이러한 문제를 해결하기 위해, 대수 변환형 고체 촬상 소자가 이용되고 있다. 대수 변환형 고체 촬상 소자에서는 입사 광량을 대수 변환하여 촬상 신호를 출력하기 때문에, 촬상 신호로 변환 가능한 입사광의 다이나믹 영역이 넓어진다. 대수 변환형 고체 촬상 소자는 일반적으로 M0S 트랜지스터의 약반전 영역의 전류 특성을 이용해 대수 변환을 실시하고 있다.
그러나, 대수 변환형 고체 촬상 소자의 출력에는 대수 변환을 실행하는 MOS트랜지스터, 화소 내 신호 판독 회로, 칼럼 판독 회로 등의 특성이 변동되는 것에 기인하는 고정 패턴 잡음이 포함되어 있기 때문에, 대수 변환형 고체 촬상 소자에 의해 촬상된 화상의 품질이 상기 고정 패턴 잡음에 의해서 크게 손상된다는 문제가 있다.
이러한 문제를 개선하는 방법이 비특허문헌 1에 개시되어 있다. 즉, 비특허문헌 1은 대수 변환형 고체 촬상 소자의 출력의 정식화를 행하고 고정 패턴 잡음의 원인을 오프셋, 게인, 암전류라는 3개의 변동 요소로 분해되어 나타낸 후, 각 변동 요소에 보정 방법을 개시하고 있다. 이 비특허문헌 1에 개시되어 있는 종래의 고정 패턴 잡음 제거 방법에서는 암전류를 무시할 수 있을 정도의 큰 광전류가 포토 다이오드에 발생되는 2 종류의 고조도 조건과, 암전류만이 포토 다이오드에 발생되는 차광 상태의 3 종류의 조건으로 미리 촬상을 행하고 그 결과를 바탕으로 대수 변환형 고체 촬상 소자의 출력에 포함되는 오프셋, 게인, 암전류의 각 변동 요소의 보정을 행한다.
비특허문헌 1에 의하면, 대수 변환형 고체 촬상 소자에 있어서는 화소마다의 포토 다이오드에서 발생되는 광전류(x)와 대수 응답 출력(y)의 관계는 이하의 식(101)로 나타낼 수 있다.
[수1]
Figure 112008055221344-pct00001
...(1O1)
식(1O1)에 있어서 a는 오프셋, b는 게인, c는 암전류를 나타낸다. 대수 변환형 고체 촬상 소자에서는 이러한 오프셋(a), 게인(b), 암전류(c)가 화소마다 변동됨으로써 고정 패턴 잡음이 발생한다. 비특허문헌 1에서 개시된 종래의 고정 패턴 잡음 제거 방법에서는 이러한 오프셋(a), 게인(b), 암전류(c)를 화소마다 산출하고 식(101)에 적용하여 보정함으로써 광전류(x)와 대수 응답 출력(y)의 올바른 관계를 구하고 있다.
비특허문헌 1에서 개시된 종래의 고정 패턴 잡음 제거 방법의 상세에 대하여 도 4를 참조하여 이하에 설명한다. 도 4는 종래의 고정 패턴 잡음 제거 장치의 구성을 나타내는 블록도이다. 종래의 고정 패턴 잡음 제거 방법에서는 실제의 촬상 동작에 앞서 후술하는 일련의 교정 동작을 행한다.
교정 동작에서는 암전류를 무시할 수 있을 정도의 큰 광전류가 포토 다이오드에 발생하는 2 종류의 고조도 조건과, 암전류만이 포토 다이오드에 발생하는 차광 조건의 3 종류의 조건에서 미리 촬상을 행한다.
제 1 조건에서는 고체 촬상 소자(2)의 촬상면에 후술하는 조도(L1)의 균일 광을 조사한다. 이 조건에 있어서의 고체 촬상 소자(2)의 복수개의 프레임에 걸치 는 출력을 화소마다 산술 평균하여 랜덤 잡음 성분을 제거하고, 그 결과를 프레임 메모리(31)에 기록한다.
제 2 조건에서는 고체 촬상 소자(2)의 촬상면에 후술하는 조도(L2)의 균일 광을 조사한다. 이 조건에 있어서의 고체 촬상 소자(2)의 복수개의 프레임에 걸치는 출력을 화소마다 산술 평균하여 랜덤 잡음 성분을 제거하고, 그 결과를 프레임 메모리(32)에 기록한다.
제 3 조건에서는 고체 촬상 소자(2)의 촬상면을 차광 상태로 한다. 이 조건에 있어서의 고체 촬상 소자(2)의 복수개의 프레임에 걸치는 출력을 화소마다 산술 평균하여 랜덤 잡음 성분을 제거하고, 그 결과를 프레임 메모리(33)에 기록한다.
상기의 조도(L1) 및 조도(L2)는 고체 촬상 소자(2)의 촬상면 상에서 이들 조도로 되는 균일 광이 고체 촬상 소자(2)의 촬상면에 입사되었을 때, 고체 촬상 소자(2)의 촬상면 상의 포토 다이오드에 발생하는 광전류가 포토 다이오드의 암전류와 비교하여 충분히 커지는 조도로 한다. 구체적으로는 광전류와 암전류의 비가 적어도 100배가 되는 조도로 한다. 또한, 조도(L1)는 조도(L2)와 비교하여 적어도 10배의 조도가 되도록 균일 광을 조정한다.
다음으로, 파라미터 산출부(34)에 있어서 상기의 프레임 메모리(31 내지 33)에 기록된 촬상 신호에 의해 식(1O1)의 오프셋(a), 게인(b), 암전류(c)를 이하에 서술하는 순서로 화소마다 산출한다. 우선, 프레임 메모리(31)에 기록된 촬상 신호(y1)와 프레임 메모리(32)에 기록된 촬상 신호(y2)로부터 식(102)에 의해 게인(b) 을 화소마다 산출한다. 식(102)의 x1은 고체 촬상 소자(2)의 촬상면에 조도(L1)의 균일 광을 조사했을 때의 광전류로서, 조도(L1)의 값에 의해 정해진다. 또한, 식(102)의 x2는 고체 촬상 소자(2)의 촬상면에 조도(L2)의 균일 광을 조사했을 때의 광전류로서, 조도(L2)의 값에 의해 정해진다. 광전류(x1, x2) 값은 측정 등에 의해 미리 얻어진 촬상 소자마다의 조도와 광전류의 관계를 나타내는 직선으로부터 구할 수 있고, 미리 구해 둔 조도(L1)와 조도(L2)에 대응하는 광전류 값을 파라미터 산출부(34)가 미리 기억하고 있어도 되고, 포토 다이오드에 발생하는 광전류 또는 조사광의 조도를 검출하는 검출부를 고체 촬상 소자(2)에 설치해 해당 검출부의 검출 결과를 바탕으로 파라미터 산출부(34)가 구해도 좋다. 상기의 방법이 곤란한 경우에는 광전류(x1, x2) 대신에 조도(L1), 조도(L2)의 값을 직접 사용해도 좋다. 이 경우, 식(101)에 있어서는 광전류(x)와 대수 응답 출력(y)의 관계가 아니라 광전류(x)를 조도(L)로 치환했을 때의 조도(L)와 대수 응답 출력(y) 관계를 구하게 된다.
[수2]
Figure 112008055221344-pct00002
...(102)
다음으로, 프레임 메모리(31)에 기록된 촬상 신호(y1)로부터 식(103)에 의해 오프셋(a)을 화소마다 산출한다. 게인(b)의 산출에 있어서 광전류 대신에 조도를 사용했을 경우, 식(103)의 광전류(x1)를 조도(L1)로 치환하면 된다.
[수3]
Figure 112008055221344-pct00003
...(103)
결국에, 프레임 메모리(33)에 기록된 촬상 신호(yd)로부터 식(104)에 의해 암전류(c)를 화소마다 산출한다. 게인(b)의 산출에 있어서 광전류 대신에 조도를 사용했을 경우, 식(104)에 있어서 c는 암전류 그 자체가 아니라 암전류 값에 의존하는 한계 조도를 나타낸다. 바꿔 말하면, 한계 조도의 광이 각 화소의 포토 다이오드에 있어서 발생시킬 수 있는 광전류 값은 해당 화소의 암전류 값과 동일해진다. 이후에 있어서 광전류 대신에 조도를 사용한 경우에는 c를 한계 조도로서 취급하면 된다.
[수4]
Figure 112008055221344-pct00004
...(104)
상기의 순서로 산출된 오프셋(a), 게인(b), 암전류(c)를 각각 프레임 메모리(61), 프레임 메모리(62) 및 프레임 메모리(63)에 기록한다.
상술의 교정 동작에 의해 실제 촬상 동작에 앞서 암전류를 무시할 수 있을 만큼의 큰 광전류가 포토 다이오드에 발생하는 2 종류의 고조도 조건과, 암전류만이 포토 다이오드에 발생하는 차광 조건의 3 종류의 조건에서 미리 촬상을 실시한 결과를 이용하여 오프셋(a), 게인(b), 암전류(c)가 화소마다 산출되고 각각 프레임 메모리(61), 프레임 메모리(62) 및 프레임 메모리(63)에 기록된다.
실제의 촬상 동작에서는 프레임 메모리(61), 프레임 메모리(62) 및 프레임 메모리(63)에 화소마다 각각 기록된 오프셋(a), 게인(b), 암전류(c)를 이용하여 촬상 신호의 보정을 행한다. 이하에서는 도 4를 참조하여 실제의 촬상 동작시의 촬상 신호의 보정 순서를 설명한다. 오프셋 보정부(71)는 식(101)에서 나타내어지는 고체 촬상 소자(2)의 출력(y)에 대하여 프레임 메모리(61)에 기록된 오프셋(a)을 이용하여 화소마다 감산 처리를 행한다. 그 결과, 오프셋(a)과 무관계의 촬상 신호(Y1)가 얻어진다[식(105) 참조].
[수5]
Figure 112008055221344-pct00005
...(105)
게인 보정부(72)는 오프셋 보정부(71)의 출력(Y1)에 대하여 프레임 메모리(62)에 기록된 게인(b)을 이용하여 화소마다 제산 처리를 행한다. 그 결과, 게인(b)과 무관계의 촬상 신호(Y2)가 얻어진다[식(106) 참조].
[수6]
Figure 112008055221344-pct00006
...(1O6)
암전류 보정부(73)는 게인 보정부(72)의 출력(Y2)의 지수 변환 신호에 대하여 프레임 메모리(63)에 기록된 암전류(c)를 이용하여 화소마다 감산 처리를 행한다. 여기서, 암전류 보정부(73)의 구성을 도 5에 나타낸다. 도 5의 부호 73A는 선 형화부를, 부호 73B는 감산부를 각각 나타낸다. 선형화부(73A)는 지수 함수를 이용하여 게인 보정부(72)의 출력(Y2)의 선형화를 화소마다 행하고, 게인 보정부(72)의 출력(Y2)의 지수 변환 신호를 출력한다. 감산부(73B)는 선형화부(73A)의 출력에 대하여 프레임 메모리(63)에 기록된 암전류(c)를 이용하여 화소마다 감산 처리를 행한다. 그 결과, 암전류(c)와 무관계의 촬상 신호(Y3)가 얻어진다[식(107) 참조].
[수7]
Figure 112008055221344-pct00007
...(107)
비특허문헌1: 2004년 5월에 출간된 회로 및 시스템에 대한 IEEE 국제 심포지엄 절차인 Bhaskar Choubey, Satoshi Aoyama, Dileepan Joseph, Stephen Otim 및 Steve Collins의 "대수 CMOS 화소용 전자 교정 설계" 제 4권의 856-9 페이지
그러나, 고체 촬상 소자(2)의 포토 다이오드에 발생하는 암전류는 온도의 상승과 함께 지수 함수적으로 증대되기 때문에, 교정 동작시의 고체 촬상 소자(2)의 온도와 실제의 촬상시의 고체 촬상 소자(2)의 온도가 고체 촬상 소자 자체의 내부 발생 열이나 외부로부터의 열의 영향으로 인해 다르면, 프레임 메모리(63)에 기록된 암전류(c)와 실제 촬상시의 포토 다이오드에 발생하는 암전류가 일치하지 않게 된다. 따라서, 비특허문헌 1에 개시된 고정 패턴 잡음 제거 방법을 이용하여 암전류에 기인하는 고정 패턴 잡음 성분의 제거를 행하여도 고정 패턴 잡음은 효과적으로 제거되지 않는다. 특히, 저조도 조건에서 교정 동작시의 고체 촬상 소자(2)의 온도와 실제 촬상시의 고체 촬상 소자(2)의 온도가 크게 다르면, 촬영 화면 상에 암전류에 기인하는 고정 패턴 잡음이 현저하게 나타나고 촬영 화면의 품질이 크게 손상된다는 문제가 있다.
본 발명은 상기의 문제점을 감안하여, 고체 촬상 소자의 온도에 상관없이 암전류에 기인하는 고정 패턴 잡음 성분을 효과적으로 제거하는 고정 패턴 잡음 제거 장치 및 이것을 구비하는 고체 촬상 장치 및 전자 기기를 제공하는 것을 목적으로 한다. 또한 본 발명은 상기의 문제점을 감안하여, 컴퓨터를 고체 촬상 소자의 온도에 상관없이 암전류에 기인하는 고정 패턴 잡음 성분을 효과적으로 제거하는 고정 패턴 잡음 제거 장치로서 기능시키기 위한 고정 패턴 잡음 제거 프로그램을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 고정 패턴 잡음 제거 장치는 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하는 고정 패턴 잡음 제거 장치로서, 미리 취득한 상기 고체 촬상 소자의 차광 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 차광 화소가 갖는 광전 소자의 암전류인 제 1 암전류와, 입사광이 없는 상태에서 미리 취득한 상기 고체 촬상 소자의 유효 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 유효 화소가 갖는 광전 소자의 암전류인 제 2 암전류와, 촬상시의 상기고체 촬상 소자의 차광 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 차광 화소가 갖는 광전 소자의 암전류인 제 3 암전류를 이용하여 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분이 제거되어 있다. 이에 따라, 미리 출력 신호를 취득했을 때의 고체 촬상 소자의 온도와 실제 촬상시의 고체 촬상 소자의 온도가 일치하지 않는 경우에도, 제 1 암전류, 제 2 암전류, 및 제 3 암전류를 사용함으로써 상기 고체 촬상 소자의 유효 화소가 갖는 광전 소자에 실제 촬상시에 발생하는 암전류를 예측할 수 있으므로 상기 고체 촬상 소자의 온도에 상관없이 암전류에 기인하는 고정 패턴 잡음 성분을 효과적으로 제거할 수 있다.
또한, 상기 고체 촬상 소자가 입사광의 광량을 대수 변환하는 대수 변환형 고체 촬상 소자여도 된다. 이 경우, 본 발명의 효과가 보다 현저하게 나타난다.
또한, 상기 각 구성의 고정 패턴 잡음 제거 장치에 있어서, 상기 제 1 암전류와 상기 제 2 암전류를 각각 선형 형식으로 기억하는 기억부를 구비해도 되고, 상기 제 1 암전류와 상기 제 2 암전류를 각각 대수 형식으로 기억하는 기억부를 구비해도 좋다.
전자의 경우, 상기 제 3 암전류가 선형 형식으로서, 상기 제 1 암전류와 상기 제 3 암전류의 비로부터 온도 계수를 산출하고 상기 제 2 암전류와 상기 온도 계수의 곱을 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호에 근거하는 신호를 선형 처리한 신호로부터 감산하여도 된다. 또한, 상기 온도 계수를 산출하는 제 1 기간과, 상기 제 2 암전류와 상기 온도 계수의 곱을 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호에 근거하는 신호를 선형 처리한 신호로부터 감산하는 제 2 기간이 있고, 상기 제 1 기간과 상기 제 2 기간을 교대로 반복하도록 해도 된다.
후자의 경우, 상기 제 3 암전류가 대수 형식으로서, 상기 제 1 암전류와 상기 제 3 암전류의 차로부터 온도 계수를 산출하고, 상기 제 2 암전류와 상기 온도 계수의 합을 선형화한 신호를 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호에 근거하는 신호를 선형 처리한 신호로부터 감산하여도 된다. 또한, 상기 온도 계수를 산출하는 제 1 기간과, 상기 제 2 암전류와 상기 온도 계수의 합을 선형화한 신호를 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호에 근거하는 신호를 선형 처리한 신호로부터 감산하는 제 2 기간이 있고, 상기 제 1 기간과 제 2 기간을 교대로 반복하도록 해도 된다.
또한, 상기 각 구성의 고정 패턴 잡음 제거 장치에 있어서 상기 차광 화소가 화소 어레이에 배치되어도 된다. 이 경우, 상기 차광 화소의 출력 신호는 상기 유효 화소의 출력 신호와 마찬가지로 주사를 행함으로써 순차적으로 이용 가능해진다. 또한, 상기 각 구성의 고정 패턴 잡음 제거 장치에 있어서 상기 차광 화소가 화소 어레이의 외부에 배치되어도 된다. 이 경우, 주사를 행하지 않고 상기 차광 화소의 출력 신호를 독립으로 이용할 수 있다는 이점이 있고, 또한, 상기 차광 화소를 상기 화소 어레이 내의 화소보다 큰 사이즈로 하면 화소 내의 포토 다이오드의 암전류 값이 커지기 때문에 암전류 숏 노이즈의 영향이 감소하고, 상기 차광 화소의 출력 신호를 이용하여 온도 계수를 산출할 때에 산출 정밀도가 향상된다는 이점이 있고, 이에 대하여 상기 차광 화소를 상기 화소 어레이 내의 화소보다 작은 사이즈로 하면 차광 화소의 칩 점유 면적을 작게 할 수 있다는 이점이 있다.
또한, 상기 각 구성의 고정 패턴 잡음 제거 장치에 있어서 광전 소자의 암전류를 광전 소자의 암전류 값에 의존하는 한계 조도로 치환하고, 제 1 암전류를 제1한계 조도로 치환하며, 제 2 암전류를 제 2 한계 조도로 치환하고, 제 3 암전류를 제 3 한계 조도로 치환해도 된다. 또한, 상기 목적을 달성하기 위하여 본 발명에 따른 고체 촬상 장치는 고체 촬상 소자와, 상기 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하는 상기 각 구성의 고정 패턴 잡음 제거 장치를 구비하도록 한다. 또한, 상기 목적을 달성하기 위하여 본 발명에 따른 전자 기기는 상기 고체 촬상 장치를 구비하도록 한다. 또한, 상기 목적을 달성하기 위하여 본 발명에 따른 고체 패턴 잡음 제거 프로그램은 컴퓨터를 상기 각 구성의 고정 패턴 잡음 제거 장치로서 기능시키기 위한 프로그램으로 한다. 이러한 프로그램을 사용함으로써 전용 장치에 의지하지 않고도 본 발명에 따른 고체 패턴 잡음 제거 프로그램을 실현할 수 있다.
<발명의 효과>
본 발명에 의하면, 고체 촬상 소자의 온도에 상관없이 암전류에 기인하는 고정 패턴 잡음 성분을 효과적으로 제거할 수 있다.
도 1은 본 발명에 따른 고체 촬상 장치의 일구성예를 나타내는 블록도이다.
도 2는 본 발명의 제 1 실시형태에 있어서, 도 1에 나타내는 고정 패턴 잡음 제거 장치가 구비하는 암전류 보정부의 일구성예를 나타내는 블록도이다.
도 3은 본 발명의 제 2 실시형태에 있어서, 도 1에 나타내는 고정 패턴 잡음 제거 장치가 구비하는 암전류 보정부의 일구성예를 나타내는 블록도이다.
도 4는 종래의 고정 패턴 잡음 제거 장치의 구성을 나타내는 블록도이다.
도 5는 도 4에 나타내는 고정 패턴 잡음 제거 장치가 구비하는 암전류 보정부의 구성을 나타내는 블록도이다.
도 6A는 고체 촬상 소자의 화소 배치를 나타내는 도면이다.
도 6B는 고체 촬상 소자의 화소 배치를 나타내는 도면이다.
도 6C는 고체 촬상 소자의 화소 배치를 나타내는 도면이다.
도 6D는 고체 촬상 소자의 화소 배치를 나타내는 도면이다.
(도면의 주요부분에 대한 부호의 설명)
1: 고체 촬상 장치 2: 고체 촬상 소자
3: 보정 데이터 산출부 4: 고정 패턴 잡음 제거 장치
5: 화상 표시 장치 6: 보정 데이터 기억부
31∼33: 프레임 메모리 34: 파라미터 산출부
61∼63: 프레임 메모리 71: 오프셋 보정부
72: 게인 보정부 73: 암전류 보정부
73A: 선형화부 73B: 감산부
73C, 73D: 스위치 73E: 제산부
73F: 온도 계수 기억부 73G, 73H: 스위치
73I: 승산부 73J: 감산부
73K: 가산부
(제 1 실시형태)
본 발명의 제 1 실시형태에 대해서 도 1을 참조하여 이하에 설명한다. 도 1은 본 발명에 따른 고체 촬상 장치의 일구성예를 나타내는 블록도이다. 도 1에 나타내는 고체 촬상 장치(1)는 고체 촬상 소자(2), 보정 데이터 산출부(3), 및 고정 패턴 잡음 제거 장치(4)를 구비하고 있다. 또한, 고정 패턴 잡음 제거 장치(4)는 보정 데이터 기억부(6), 오프셋 보정부(71), 게인 보정부(72), 및 암전류 보정부(73)를 구비하고 있다. 고체 촬상 장치(1)의 출력은 고정 패턴 잡음 제거 장치(4)에 있어서 고정 패턴 잡음이 제거된 후, 화상 표시 장치(5) 상에 영상으로서 재생된다.
고체 촬상 소자(2)는 대수 변환형 고체 촬상 소자이며 피사체를 촬상한다. 구체적으로는, 고체 촬상 소자(2)는 피사체가 발산하거나 혹은 피사체로부터 반사되는 광이 렌즈 등의 광학계를 거쳐 고체 촬상 소자 면에 입사할 때의 광량을 휘도 레벨로 대수 변환한다. 이에 따라, 고체 촬상 소자(2)는 피사체의 화상을 나타내는 촬상 신호를 생성하고 출력한다. 고체 촬상 소자(2)의 촬상면 상에는 포토 다이오드를 갖는 화소가 이차원 어레이상으로 배치되어 있다.
고체 촬상 소자(2)의 화소에는 차광 화소와 유효 화소의 구별이 있다. 차광 화소와 유효 화소의 차이는 포토 다이오드의 상부가 메탈 배선 등으로 덮여져 있는지 덮여져 있지 않은지이며, 그 밖의 화소 구조는 보통 동일하다. 따라서, 고체 촬상 소자(2)의 화소는 보통 도 6A에 나타내는 바와 같이 어레이상으로 배치된다. 도 6A의 화소 어레이에 배치된 차광 화소의 촬상 신호는 유효 화소의 촬상 신호와 마 찬가지로 주사를 행함으로써 순차적으로 이용 가능해진다. 또한, 도 6A∼도 6D에 있어서, 각 유효 화소를 사선이 들어 있지 않은 직사각형으로 나타내고, 각 차광 화소를 사선이 들어 있는 직사각형으로 나타내고 있다.
본 발명에 따른 고체 촬상 장치에서는 후술하는 바와 같이, 유효 화소의 촬상 신호뿐만 아니라 차광 화소의 촬상 신호를 사용하지만, 반드시 모든 차광 화소의 촬상 신호를 사용할 필요는 없다. 예를 들면 다른 차광 화소로 둘러싸여 있기 때문에 입사광의 영향을 받기 어려운 차광 화소를 복수개 선택하고, 그 선택한 차광 화소의 촬상 신호만을 차광 화소의 촬상 신호로서 사용해도 된다.
또한, 도 6B에 나타내는 바와 같이, 차광 화소를 화소 어레이의 외부에 배치해도 된다. 차광 화소를 화소 어레이의 외부에 배치한 경우에, 주사를 행하지 않고 차광 화소의 촬상 신호를 독립적으로 이용할 수 있다는 이점이 있다. 또한, 도 6C 또는 도 6D에 나타내는 바와 같이, 화소 어레이의 외부에 배치된 차광 화소를 화소 어레이 내의 화소와 다른 크기로 해도 된다. 도 6C와 같이, 화소 어레이의 외부에 배치된 차광 화소(GB)를 화소 어레이 내의 화소보다 큰 사이즈로 한 경우에는 화소 내의 포토 다이오드의 암전류 값이 커지기 때문에 암전류 숏 노이즈의 영향이 작아지고 차광 화소(GB)의 촬상 신호를 이용하여 온도 계수를 산출할 때에 산출 정밀도가 향상된다는 이점이 있다. 도 6D와 같이, 화소 어레이의 외부에 배치된 차광 화소(GS)를 화소 어레이 내의 화소보다 작은 사이즈로 하는 경우에는 차광 화소의 칩 점유 면적을 작게 할 수 있다는 이점이 있다.
고체 촬상 소자(2)에 의한 촬상 동작은 주로 전술의 입사광에 따른 촬상 신호를 생성하는 유효 화소를 이용하여 행하여진다. 본 발명에 따른 고체 촬상 장치에서는 유효 화소의 촬상 신호뿐만 아니라 차광 화소의 촬상 신호를 사용한다. 이하에서는, 단지 촬상 신호라고 하는 경우에는 유효 화소의 촬상 신호와 차광 화소의 촬상 신호 양쪽을 가리키는 것으로 한다.
대수 변환형 고체 촬상 소자인 고체 촬상 소자(2)에 있어서는 화소마다의 포토 다이오드에서 발생하는 광전류(x)와 대수 응답 출력(y)의 관계는 이하의 식(1)으로 나타낼 수 있다. 또한, 식(1)에 있어서 a는 오프셋, b는 게인, c는 암전류를 나타낸다.
[수8]
Figure 112008055221344-pct00008
...(1)
보정 데이터 산출부(3)는 고체 촬상 소자(2)의 촬상 신호에 의해 오프셋(a), 게인(b), 암전류(c)의 각 보정 데이터를 산출한다. 보정 데이터 산출부(3)의 동작의 상세함에 대해서는 후술한다.
보정 데이터 기억부(6)는 보정 데이터 산출부(3)에서 산출된 오프셋(a), 게인(b), 암전류(c)의 각 보정 데이터를 기억한다. 이 동작에 대해서는 후술한다.
오프셋 보정부(71)는 보정 데이터 기억부(6)로부터 판독된 오프셋 보정 데이터를 이용하여 고체 촬상 소자(2)의 출력으로부터 오프셋 변동에 기인하는 고정 패턴 잡음 성분의 제거를 행한다. 게인 보정부(72)는 보정 데이터 기억부(6)로부터 판독된 게인 보정 데이터를 이용하여 오프셋 보정부(71)의 출력으로부터 게인 변동 에 기인하는 고정 패턴 잡음 성분의 제거를 행한다. 암전류 보정부(73)는 보정 데이터 기억부(6)로부터 판독된 암전류 보정 데이터를 이용하여 게인 보정부(72)의 출력으로부터 암전류 변동에 기인하는 고정 패턴 잡음 성분의 제거를 행한다. 이러한 각종 고정 패턴 잡음 성분의 제거에 관하여 상세하게 후술한다.
도 1에 나타내는 고체 촬상 장치(1)는 실제의 촬상 동작에 앞서 후술하는 일련의 교정 동작을 행한다. 교정 동작은 보정 데이터 산출부(3)에 있어서 실행되고, 그 결과는 보정 데이터 기억부(6)에 기록된다. 또한, 교정 동작은 고체 촬상 소자(2) 및 고정 패턴 잡음 제거 장치(4)의 제조 후, 출하 검사시에 한번 행하면 좋다. 이 때문에, 보정 데이터 산출부(3)는 범용 워크스테이션, PC, 또는 출하 검사용 테스터 등을 이용하여 실현하고, 고체 촬상 장치에 외부 부착하는 즉 고체 촬상 장치(1)의 구성 요소로부터 제외하는 것이 가능하다. 또한, 보정 데이터 산출부(3)를 반도체 메모리나 LSI를 이용하여 실현하면, 보정 데이터 산출부(3)를 고정 패턴 잡음 제거 장치(4)의 내부에 탑재하는 것 즉 보정 데이터 산출부(3)를 고정 패턴 잡음 제거 장치(4)의 구성 요소로 하는 것도 가능하다.
교정 동작에서는 암전류를 무시할 수 있을 만큼의 큰 광전류가 포토 다이오드에 발생하는 2 종류의 고조도 조건과, 암전류만이 포토 다이오드에 발생하는 차광 조건의 3 종류의 조건에서 미리 촬상을 행한다.
제 1 조건에서는 고체 촬상 소자(2)의 촬상면에 후술하는 조도(L1)의 균일 광을 조사한다. 이 조건에 있어서의 고체 촬상 소자(2)의 복수개 프레임에 걸치는 출력을 화소마다 산술 평균하여 랜덤 잡음 성분을 제거하고 그 결과를 보정 데이터 산출부(3) 내의 기억 장치에 기록한다.
제 2 조건에서는 고체 촬상 소자(2)의 촬상면에 후술하는 조도(L2)의 균일 광을 조사한다. 이 조건에 있어서의 고체 촬상 소자(2)의 복수개 프레임에 걸치는 출력을 화소마다 산술 평균하여 랜덤 잡음 성분을 제거하고 그 결과를 보정 데이터 산출부(3) 내의 기억 장치에 기록한다.
제 3 조건에서는 고체 촬상 소자(2)의 촬상면을 차광 상태로 한다. 이 조건에 있어서의 고체 촬상 소자(2)의 복수개 프레임에 걸치는 출력을 화소마다 산술 평균하여 랜덤 잡음 성분을 제거하고 그 결과를 보정 데이터 산출부(3) 내의 기억 장치에 기록한다.
여기에서, 교정 동작에 있어서의 고체 촬상 소자(2)의 온도는 촬상 중 일정하고 또한 소자 내부에서 균일하게 Tcal이었던 것으로 한다. 또한, 상기 조도(L1) 및 조도(L2)는 고체 촬상 소자(2)의 촬상면 상에서 이들 조도가 되는 균일 광이 고체 촬상 소자(2)의 촬상면에 입사됐을 때, 고체 촬상 소자(2)의 촬상면 상의 포토 다이오드에 발생하는 광전류가 포토 다이오드의 암전류와 비교해서 충분히 큰 조도로 한다. 구체적으로는, 광전류와 암전류의 비가 적어도 100배가 되는 조도로 한다. 또한, 조도(L1)는 조도(L2)와 비교해서 적어도 10배의 조도가 되도록 균일 광을 조정한다.
다음으로, 보정 데이터 산출부(3)는 보정 데이터 산출부(3) 내의 기억 장치에 기록된 상기 각 조건에 있어서의 촬상 결과에 의해 식(1)의 오프셋(a), 게 인(b), 암전류(c)를 이하에 서술하는 순서로 화소마다 산출한다. 처음으로, 제 1 조건에 있어서의 촬상 결과(y1)와 제 2 조건에 있어서의 촬상 결과(y2)에 의거하여 식(2)에 의해 게인(b)을 화소마다 산출한다. 식(2)의 x1은 고체 촬상 소자(2)의 촬상면에 조도(L1)의 균일 광을 조사했을 때의 광전류로서, 조도(L1)의 값에 의해 정해진다. 또한, 식(2)의 x2는 고체 촬상 소자(2)의 촬상면에 조도(L2)의 균일 광을 조사했을 때의 광전류로서, 조도(L2)의 값에 의해 정해진다. 또한, 차광 화소에 있어서의 광전류(x1, x2)의 값은 0으로 되어 있다. 유효 화소에 있어서의 광전류(x1, x2)의 값은 측정 등에 의해 미리 얻어진 촬상 소자마다의 조도와 광전류의 관계를 나타내는 직선으로부터 구할 수 있고, 미리 구해 둔 조도(L1)와 조도(L2)에 대응하는 광전류 값을 보정 데이터 산출부(3)가 미리 기억하고 있어도 되고, 포토 다이오드에 발생하는 광전류 또는 조사광의 조도를 검출하는 검출부를 고체 촬상 소자(2)에 설치해 해당 검출부의 검출 결과를 바탕으로 파라미터 산출부(34)가 구해도 된다. 상기의 방법이 곤란한 경우에는 광전류(x1, x2) 대신에 조도(L1), 조도(L2)의 값을 직접 사용해도 된다. 이 경우, 식(1)에 대해서는 광전류(x)와 대수 응답 출력(y)의 관계가 아니라 광전류(x)를 조도(L)로 치환했을 때의 조도(L)와 대수 응답 출력(y)의 관계를 구하게 된다.
[수9]
Figure 112008055221344-pct00009
...(2)
다음으로, 제 1 조건에 있어서의 촬상 결과(y1)로부터 식(3)에 의해 오프셋(a)을 화소마다 산출한다. 게인(b)의 산출에 있어서, 광전류 대신에 조도를 사용했을 경우, 식(3)의 광전류(x1)를 조도(L1)로 치환하면 좋다.
[수10]
Figure 112008055221344-pct00010
...(3)
마지막으로, 제 3 조건에 있어서의 촬상 결과(yd)로부터 식(4)에 의해 교정 동작에 있어서의 촬상시의 고체 촬상 소자(2)의 온도(Tcal)에 의존하는 암전류(c(Tcal))를 산출한다. 게인(b)의 산출에 있어서 광전류 대신에 조도를 사용했을 경우, 식(4)에 있어서 c(Tcal)는 암전류 그 자체가 아니라 온도(Tcal)일 때의 암전류 값에 의존하는 한계 조도를 나타낸다. 바꿔 말하면, 한계 조도의 광이 온도(Tcal)일 때의 각 화소의 포토 다이오드에 있어서 발생시킬 수 있는 광전류 값은 해당 화소의 암전류 값과 동일해진다. 이후에 있어서, 광전류 대신에 조도를 사용한 경우에는 c(Tcal)를 온도(Tcal)일 때의 한계 조도로서 취급하면 좋다.
[수11]
Figure 112008055221344-pct00011
...(4)
상기의 순서로 산출된 오프셋(a), 게인(b), 암전류(c(Tcal))를 각각 보정 데이터 기억부(6)에 기록한다.
상기 교정 동작에 의해, 실제의 촬상 동작에 앞서 암전류를 무시할 수 있을 만큼의 큰 광전류가 포토 다이오드에 발생하는 2 종류의 고조도 조건과, 암전류만이 포토 다이오드에 발생하는 차광 조건의 3 종류의 조건에서 미리 촬상을 행한 결과를 이용하여, 오프셋(a), 게인(b), 암전류(c(Tcal))가 화소마다 산출되어 각각 보정 데이터 기억부(6)에 기록된다.
실제의 촬상 동작에서는 보정 데이터 기억부(6)에 있어서 화소마다 기록된 오프셋(a), 게인(b), 암전류(c(Tcal))를 이용하여 촬상 신호의 보정을 행한다. 이하에서는 도 1을 참조하여 실제의 촬상 동작시의 촬상 신호의 보정 순서를 설명한다.
암전류의 온도 의존성을 고려하면, 대수 변환형 고체 촬상 소자인 고체 촬상 소자(2)에 있어서는 화소마다의 포토 다이오드에서 발생하는 광전류(x)와 실제의 촬상 동작시의 대수 응답 출력(Ψ)의 관계는 이하의 식(5)으로 나타낼 수 있다.
[수12]
Figure 112008055221344-pct00012
...(5)
식(5)에 있어서, a는 오프셋, b은 게인, c(Tact)는 실제의 촬상 동작시의 고체 촬상 소자(2)의 온도(Tact)에 있어서의 암전류를 나타낸다. 대수 변환형 고체 촬상 소자에서는 이러한 오프셋(a), 게인(b), 암전류(c(Tact))가 화소마다 변동됨으로써 고정 패턴 잡음이 발생된다.
오프셋 보정부(71)는 실제의 촬상 동작시의 고체 촬상 소자(2)의 출력(Ψ)에 대하여 보정 데이터 기억부(6)에 기록된 오프셋(a)을 이용하여 화소마다 감산 처리를 행한다. 그 결과, 오프셋(a)과 무관계의 촬상 신호(Ψ1)가 얻어진다[식(6) 참조].
[수13]
Figure 112008055221344-pct00013
...(6)
게인 보정부(72)는 오프셋 보정부(71)의 출력(Ψ1)에 대하여, 보정 데이터 기억부(6)에 기록된 게인(b)을 이용하여 화소마다 제산 처리를 행한다. 그 결과, 게인(b)과 무관계의 촬상 신호(Ψ2)가 얻어진다[식(7) 참조].
[수14]
Figure 112008055221344-pct00014
...(7)
상술한 바와 같이, 오프셋 및 게인 변동의 보정이 행하여진 촬상 신호(Ψ2) 중 유효 화소의 촬상 신호를 Ψos, 차광 화소의 촬상 신호를 Ψob라고 하면, 이러한 촬상 신호는 각각 식(8) 및 식(9)로 나타낼 수 있다.
[수15]
Figure 112008055221344-pct00015
...(8)
Figure 112008055221344-pct00016
...(9)
식(8)에 있어서, cos(Tact)는 실제의 촬상 동작시의 고체 촬상 소자(2)의 온 도(Tact)에 있어서의 유효 화소의 암전류, xos는 실제의 촬상 동작시의 고체 촬상 소자(2)의 유효 화소의 광전류를 나타낸다. 식(9)에 있어서, Cob(Tact)는 실제의 촬상 동작시의 고체 촬상 소자(2)의 온도(Tact)에 있어서의 차광 화소의 암전류를 나타낸다.
고체 촬상 소자(2)는 유효 화소의 촬상 신호(Ψos)와 차광 화소의 촬상 신호(Ψob)를 시계열로 순차적으로 출력한다. 오프셋 보정부(71) 및 게인 보정부(72)는 시계열로 출력된 유효 화소와 차광 화소의 촬상 신호에 대하여 파이프라인 처리를 행한다. 따라서, 게인 보정부(72)는 유효 화소의 촬상 신호(Ψos) 및 차광 화소의 촬상 신호(Ψob)를 시계열로 순차적으로 출력한다. 암전류 보정부(73)의 동작은 게인 보정부(72)가 차광 화소의 촬상 신호(Ψob)를 출력하는 동안에 온도 계수를 산출하는 제 1 기간에 있어서의 동작과, 게인 보정부(72)가 유효 화소의 촬상 신호(Ψos)를 출력하는 동안에 제 1 기간에서 산출된 온도 계수를 이용하여 암전류의 보정을 행하는 제 2 기간에 있어서의 동작으로 나눌 수 있다.
암전류 보정부(73)의 일구성예를 도 2에 나타낸다. 도 2의 부호 73A는 선형화부를, 부호 73B는 감산부를, 부호 73C,73D,73G,73H는 스위치를, 부호 73E는 제산부를, 부호 73F는 온도 계수 기억부를, 부호 73I는 승산부를 각각 나타낸다.
우선, 상기 제 1 기간에 있어서의 암전류 보정부(73)의 동작을 설명한다. 게 인 보정부(72)가 차광 화소의 촬상 신호(Ψob)를 출력할 때, 암전류 보정부(73) 내의 스위치(73C) 및 스위치(73D)는 단락되고, 스위치(73G) 및 스위치(73H)는 개방된다. 선형화부(73A)는 차광 화소의 촬상 신호(Ψob)를 지수 함수로 선형화 처리를 행한다. 이 처리에 의해, 선형화부(73A)는 차광 화소의 암전류(cob(Tact))를 출력한다.
제산부(73E)는 선형화부(73A)로부터 출력된 차광 화소의 암전류(cob(Tact))와, 보정 데이터 기억부(6)에 기록된 차광 화소의 암전류(cob(Tcal))의 비를 구하고, 온도 계수(k)로서 출력한다[식(10) 참조]. 또한, 고정 패턴 잡음 제거 처리에 사용하는 차광 화소가 복수개 있는 경우에는 온도 계수(k)가 복수개 구해지므로, 이들을 산술 평균하면 된다.
[수16]
Figure 112008055221344-pct00017
...(10)
일반적으로 절대온도(T)에 있어서의 암전류(c)는 식(11)과 같이 나타낼 수 있기 때문에, 식(10)에 나타내는 온도 계수(k)는 식(12)의 ε을 이용하면 식(13)으로 나타낼 수 있다. 여기에서 q는 전하 소량, N은 활성화 에너지, k는 볼트먼 정수를 나타낸다. 또한 I0는 화소마다에 고유의 암전류 계수이다.
[수17]
Figure 112008055221344-pct00018
...(11)
Figure 112008055221344-pct00019
...(12)
Figure 112008055221344-pct00020
...(13)
온도 계수 기억부(73F)는 제산부(73E)로부터 출력된 온도 계수(k)를 기억한다. 온도 계수 기억부(73F)는 상기 제 1 기간에서는 온도 계수(k)를 승산부(73I)에 출력하지 않고 상기 제 2 기간에서는 온도 계수(k)를 승산부(73I)에 출력한다.
이어서, 상기 제 2 기간에 있어서의 암전류 보정부(73)의 동작을 설명한다. 게인 보정부(72)가 유효 화소의 촬상 신호(Ψos)를 출력할 때, 암전류 보정부(73) 내의 스위치(73C) 및 스위치(73D)는 개방되고, 스위치(73G) 및 스위치(73H)는 단락된다. 승산부(73I)는 보정 데이터 기억부(6)에 기록된 온도(Tcal)에 있어서의 유효 화소의 암전류(cos(Tcal))와 온도 계수 기억부(73F)에 기억된 온도 계수(k)의 곱을 산출한다. 선형화부(73A)는 유효 화소의 촬상 신호(Ψos)를 지수 함수로 선형화 처리를 행한다. 감산부(73B)는 선형화부(73A)의 출력으로부터 승산부(73I)의 출력을 유효 화소마다 감산함으로써 Ψ3을 출력한다[식(14) 참조].
[수18]
Figure 112008055221344-pct00021
...(14)
식(14)에 식(8) 및 식(13)을 대입하고 또한, 식(11) 및 식(12)을 대입하면, Ψ3은 식(15)로 나타내어진다. 여기에서, Ios는 유효 화소마다의 고유의 암전류 계 수다.
[수19]
Figure 112008055221344-pct00022
...(15)
식(15)로부터 명확해지는 바와 같이, 식(15)의 제 1 항에 나타낸 실제의 촬상시의 온도(Tact)에 있어서의 유효 화소의 암전류는 식(15)의 제 3 항에 나타낸 식(13)에서 나타내는 온도 계수(k)와 교정시의 온도(Tcal)에 있어서의 유효 화소의 암전류(cos(Tcal))의 곱에 의해 제거된다. 이에 따라, 암전류와 무관계의 촬상 신호(Ψ3)를 얻을 수 있다.
암전류 보정부(73)는 상기 제 1 기간과 제 2 기간의 두 개의 기간을 적절한 간격으로 교대로 반복함으로써 고체 촬상 소자(2)의 온도 변동에 의한 암전류의 시간 변동에 대하여 추종 대응이 가능해진다. 따라서, 고체 촬상 소자(2)의 온도에 상관없이 암전류에 기인하는 고정 패턴 잡음 성분을 효과적으로 제거할 수 있다.
(제 2 실시형태)
본 발명의 제 2 실시형태에 대해서 도 1을 참조하여 이하에 설명한다. 본 발명의 제 2 실시형태는 본 발명의 제 1 실시형태에 대하여 보정 데이터 산출부(3)의 일부 동작 및 암전류 보정부(73)의 내부 구성 및 동작이 다를 뿐이므로, 이하에서는 이러한 차이점만을 상세하게 설명한다.
본 발명의 제 1 실시형태와 마찬가지로, 본 발명의 제 2 실시형태에 있어서 도 도 1에 나타내는 고체 촬상 장치(1)는 실제의 촬상 동작에 앞서 후술하는 일련의 교정 동작을 행한다. 교정 동작은 보정 데이터 산출부(3)에 있어서 실행되고 그 결과는 보정 데이터 기억부(6)에 기록된다.
교정 동작에서는 본 발명의 제 1 실시형태에서 설명한 순서로 산출된 오프셋(a), 게인(b), 암전류(c(Tcal))의 대수값을 각각 보정 데이터 기억부(6)에 기록한다. 즉, 보정 데이터 산출부(3)에 있어서 식(4) 대신에 식(16)에 나타내는 대수형식으로 나타내어진 암전류(ln[c(Tcal)])가 산출되고, 그 결과가 보정 데이터 기억부(6)에 기록된다.
[수20]
Figure 112008055221344-pct00023
...(16)
실제의 촬상 동작에서는 보정 데이터 기억부(6)에 있어서 화소마다 기록된 오프셋(a), 게인(b), 암전류(ln[c(Tcal)])를 이용하여 촬상 신호의 보정을 행한다. 이하에서는 도 1을 참조하여 실제의 촬상 동작시의 촬상 신호의 보정 순서를 설명한다. 다만, 오프셋 보정부(71) 및 게인 보정부(72)의 동작은 본 발명의 제 1 실시형태와 동일하므로 설명을 생략한다.
본 발명의 제 2 실시형태에 있어서의 암전류 보정부(73)의 일구성예를 도 3에 나타낸다. 도 3의 73A는 선형화부를, 73B는 감산부를, 73C,73D,73G,73H는 스위치를, 73J는 감산부를, 73F는 온도 계수 기억부를, 73K는 가산부를 각각 나타낸다.
암전류 보정부(73)의 동작은 본 발명의 제 1 실시형태와 마찬가지로 게인 보 정부(72)가 차광 화소의 촬상 신호(Ψob)를 출력하는 동안에 온도 계수를 산출하는 제 1 기간에 있어서의 동작과, 게인 보정부(72)가 유효 화소의 촬상 신호(Ψos)를 출력하는 동안에 제 1 기간에서 산출된 온도 계수를 이용하여 암전류의 보정을 행하는 제 2 기간에 있어서의 동작으로 나눌 수 있다.
우선, 상기 제 1 기간에 있어서의 암전류 보정부(73)의 동작을 설명한다. 게인 보정부(72)가 차광 화소의 촬상 신호(Ψob)를 출력할 때, 암전류 보정부(73) 내의 스위치(73C) 및 스위치(73D)는 단락되고, 스위치(73G) 및 스위치(73H)는 개방된다. 감산부(73J)는 게인 보정부(72)로부터 출력된 대수 형식의 차광 화소의 암전류(ln[cob(Tact)])와, 보정 데이터 기억부(6)에 기록된 대수 형식의 차광 화소의 암전류(ln[cob(Tcal)])의 차를 구하여 대수 형식의 온도 계수(ln(k))로서 출력한다[식(17) 참조].
[수21]
Figure 112008055221344-pct00024
...(17)
일반적으로 절대 온도(T)에 있어서의 암전류(c)는 식(11)과 같이 나타낼 수 있기 때문에 식(17)에 나타내는 대수 형식의 온도 계수(ln(k))는 식(12)의 ε을 사용하여 식(18)으로 나타낼 수 있다.
[수22]
Figure 112008055221344-pct00025
...(18)
온도 계수 기억부(73F)는 감산부(73J)로부터 출력된 대수 형식의 온도 계수(ln(k))를 기억한다. 온도 계수 기억부(73F)는 상기 제 1 기간에서는 대수 형식의 온도 계수(ln(k))를 가산부(73K)로 출력하지 않고, 상기 제 2 기간에서는 대수 형식의 온도 계수(ln(k))를 가산부(73K)에 출력한다.
다음으로, 상기 제 2 기간에 있어서의 암전류 보정부(73)의 동작을 설명한다. 게인 보정부(72)가 유효 화소의 촬상 신호(Ψos)를 출력할 때, 암전류 보정부(73) 내의 스위치(73C) 및 스위치(73D)는 개방되고, 스위치(73G) 및 스위치(73H)는 단락된다. 가산부(73K)는 보정 데이터 기억부(6)에 기록된 온도(Tcal)에 있어서의 대수 형식의 유효 화소의 암전류(ln[cos(Tcal)])와 온도 계수 기억부(73F)에 기억된 ln(k)의 합을 산출한다. 선형화부(73A)는 유효 화소의 촬상 신호(Ψos)와 가산부(73K)의 출력에 대하여 각각 지수 함수로 선형화 처리를 행한다. 감산부(73B)는 선형화부(73A)의 출력 중 선형화된 유효 화소의 촬상 신호(Ψos)로부터 선형화된 가산부(73K)의 출력을 감산함으로써 식(14)에 나타내는 Ψ3을 출력한다. 여기서, 식(18)의 양변을 지수 변환하면 식(13)이 된다. 따라서, 식(14)에 식(8) 및 식(13)을 대입하고 또한 식(11) 및 식(12)을 대입하면, Ψ3은 본 발명의 제 1 실시형태와 마찬가지로 식(15)으로 나타내어진다.
본 발명의 제 1 실시형태와 마찬가지로 식(15)로부터 명확해지는 바와 같이, 식(15)의 제 1 항에 나타낸 실제의 촬상시의 온도(Tact)에 있어서의 유효 화소의 암전류는 식(15)의 제 3 항에 나타낸 식(13)에서 나타내는 온도 계수(k)와 교정시의 온도(Tcal)에 있어서의 유효 화소의 암전류(cos(Tcal))의 곱에 의해 제거된다. 이에 따라, 암전류와 무관계의 촬상 신호(Ψ3)를 구할 수 있다.
또한, 도 1에 나타내는 고체 촬상 장치(1)에 있어서는 고체 촬상 소자(2)로부터 출력되는 촬상 신호의 오프셋 변동 또는 게인 변동이 실용상 보정의 필요가 없을 정도로 작다라고 판단하는 경우에는, 오프셋 보정부(71) 및 게인 보정부(72)는 적절하게 블록 구성으로부터 각각 독립하여 생략해도 되고, 그 때에도, 암전류 기인에 의한 고정 패턴 잡음을 양호하게 제거하여 표면 불곡성이 적은 촬상 화면을 얻을 수 있다.
상기한 고정 패턴 잡음 제거 장치(4) 내의 각 블록은 모두 기능 블록이다. 따라서, 고정 패턴 잡음 제거 장치(4) 내의 각 블록을 전용 회로로 구성함으로써 본 발명에 따른 고정 패턴 잡음 제거 장치를 실현할 수 있고, 컴퓨터를 상기한 고정 패턴 잡음 제거 장치(4)로서 기능시키기 위한 고정 패턴 잡음 제거 프로그램을 컴퓨터가 실행함으로써도 본 발명에 따른 고정 패턴 잡음 제거 장치를 실현할 수 있다.
상기 고정 패턴 잡음 제거 프로그램은 상기 고정 패턴 잡음 제거 프로그램이 저장되어 있는 컴퓨터 판독 가능한 기록 매체를 통해서 컴퓨터에 공급되어도 되고, 유선 또는 무선의 통신로를 거쳐 데이터를 전송하는 통신 네트워크를 통해서 컴퓨터에 공급되어도 되며, 미리 컴퓨터 내의 메모리에 저장되어 있어도 된다.
또한, 본 발명은 상기한 실시형태에 한정되는 것이 아니고 청구항에 나타낸 범위에서 여러 가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절하게 변경한 기술적 수단을 조합시켜서 얻을 수 있는 실시형태에 관해서도 본 발명의 기술적 범위에 포함된다.
예를 들면, 상기한 실시형태에서는 고체 촬상 소자를 대수 변환형 고체 촬상 소자라고 했지만, 대수 변환형 고체 촬상 소자 이외의 고체 촬상 소자(예를 들면 선형 변환형 고체 촬상 소자를 들 수 있다. 또한 MOS형 뿐만 아니라 CCD형도 포함한다.)에 관해서도 대수 변환형 고체 촬상 소자만큼 현저하지는 않지만, 고체 촬상 소자의 온도 변동에 의한 암전류의 시간 변동에 관한 문제가 생기기 때문에 대수 변환형 고체 촬상 소자 이외의 고체 촬상 소자의 출력 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분의 제거를 행하는 고정 패턴 잡음 제거 장치에도 본 발명을 적용할 수 있다.
예를 들면, 선형 변환형 고체 촬상 소자의 출력 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분의 제거를 행하는 고정 패턴 잡음 제거 장치에 본 발명을 적용하는 것을 생각하면, 대수 변환형 고체 촬상 소자의 경우에는 암전류 보정에 있어서 온도 계수를 산출할 때 상기한 식(17)에 나타내는 감산 처리가 행해지는 것에 대하여, 선형 변환형 고체 촬상 소자의 경우에는 해당 감산 처리 대신에 제산 처리가 행해지게 된다. 또한, 대수 변환형 고체 촬상 소자의 경우에는 식(14)의 제 2 항을 계산할 때, 대수 형식의 유효 화소의 암전류 값과 대수 형식의 온도 계수의 가산 처리가 행하여지는 것에 대하여, 선형 변환형 고체 촬상 소자의 경우에는 해당 가산 처리 대신에 선형 형식의 유효 화소의 암전류 값과 선형 형식의 온도 계수의 승산 처리가 행해지게 된다.
본 발명에 따른 고정 패턴 잡음 제거 장치는 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분의 제거를 행하는 장치로서, 고체 촬상 장치에 조립되어 이용할 수 있다. 또한 고체 촬상 장치는 디지털 스틸 카메라, 무비 카메라 등의 각종 전자 기기에 조립되어 이용할 수 있다.

Claims (19)

  1. 입사광의 광량을 대수 변환하는 대수 변환형 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하는 고정 패턴 잡음 제거 장치에 있어서:
    미리 취득한 상기 고체 촬상 소자의 차광 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 차광 화소가 갖는 광전 소자의 암전류인 제 1 암전류와,
    입사광이 없는 상태에서 미리 취득한 상기 고체 촬상 소자의 유효 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 유효 화소가 갖는 광전 소자의 암전류인 제 2 암전류와,
    촬상시의 상기 고체 촬상 소자의 차광 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 차광 화소가 갖는 광전 소자의 암전류인 제 3 암전류를 이용하여,
    촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하고,
    상기 제 1 암전류와 상기 제 2 암전류를 각각 선형 형식으로 기억하는 기억부를 구비하며,
    상기 제 3 암전류가 선형 형식으로서, 상기 제 1 암전류와 상기 제 3 암전류의 비로부터 온도 계수를 산출하고, 상기 제 2 암전류와 상기 온도 계수의 곱을 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호에 근거하는 신호를 선형 처리한 신호로부터 감산하는 것을 특징으로 하는 고정 패턴 잡음 제거 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 입사광의 광량을 대수 변환하는 대수 변환형 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하는 고정 패턴 잡음 제거 장치에 있어서:
    미리 취득한 상기 고체 촬상 소자의 차광 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 차광 화소가 갖는 광전 소자의 암전류인 제 1 암전류와,
    입사광이 없는 상태에서 미리 취득한 상기 고체 촬상 소자의 유효 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 유효 화소가 갖는 광전 소자의 암전류인 제 2 암전류와,
    촬상시의 상기 고체 촬상 소자의 차광 화소의 출력 신호를 바탕으로 산출되는 상기 고체 촬상 소자의 차광 화소가 갖는 광전 소자의 암전류인 제 3 암전류를 이용하여,
    촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하고,
    상기 제 1 암전류와 상기 제 2 암전류를 각각 대수 형식으로 기억하는 기억부를 구비하며,
    상기 제 3 암전류가 대수 형식으로서, 상기 제 1 암전류와 상기 제 3 암전류의 차로부터 온도 계수를 산출하고, 상기 제 2 암전류와 상기 온도 계수의 합을 선형화한 신호를 촬상시의 상기 고체 촬상 소자의 유효 화소의 출력 신호에 근거하는 신호를 선형 처리한 신호로부터 감산하는 것을 특징으로 하는 고정 패턴 잡음 제거 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 1 항 또는 제 6 항에 있어서,
    광전 소자의 암전류를 광전 소자의 암전류 값에 의존하는 한계 조도로 바꿔 놓고,
    제 1 암전류를 제 1 한계 조도로 치환하고,
    제 2 암전류를 제 2 한계 조도로 치환하고,
    제 3 암전류를 제 3 한계 조도로 치환하는 것을 특징으로 하는 고정 패턴 잡음 제거 장치.
  14. 고체 촬상 소자와,
    상기 고체 촬상 소자가 출력하는 촬상 신호로부터 암전류에 기인하는 고정 패턴 잡음 성분을 제거하는 제 1 항 또는 제 6 항에 기재된 고정 패턴 잡음 제거 장치를 구비하는 것을 특징으로 하는 고체 촬상 장치.
  15. 제 14 항에 기재된 고체 촬상 장치를 구비하는 것을 특징으로 하는 전자 기기.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020087018874A 2006-02-10 2006-12-07 고정 패턴 잡음 제거 장치, 고체 촬상 장치, 전자 기기 KR100981943B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00033208 2006-02-10
JP2006033208A JP4555785B2 (ja) 2006-02-10 2006-02-10 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム

Publications (2)

Publication Number Publication Date
KR20080085193A KR20080085193A (ko) 2008-09-23
KR100981943B1 true KR100981943B1 (ko) 2010-09-13

Family

ID=38344976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087018874A KR100981943B1 (ko) 2006-02-10 2006-12-07 고정 패턴 잡음 제거 장치, 고체 촬상 장치, 전자 기기

Country Status (6)

Country Link
US (1) US20090046180A1 (ko)
EP (1) EP1986424A4 (ko)
JP (1) JP4555785B2 (ko)
KR (1) KR100981943B1 (ko)
TW (1) TWI345911B (ko)
WO (1) WO2007091369A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544516B2 (en) 2008-12-26 2017-01-10 Digimarc Corporation Method and apparatus for sensor characterization
JP5326793B2 (ja) * 2009-05-14 2013-10-30 ソニー株式会社 静脈撮像装置、静脈画像補間方法およびプログラム
US8564697B2 (en) * 2009-10-21 2013-10-22 Himax Imaging, Inc. Black level calibration method and system
JP5409291B2 (ja) * 2009-11-19 2014-02-05 富士フイルム株式会社 固体撮像素子、撮像装置
JP5404346B2 (ja) * 2009-11-30 2014-01-29 Hoya株式会社 撮像装置、電子スコープ、及び電子内視鏡システム
JP2013003238A (ja) * 2011-06-14 2013-01-07 Sony Corp 映像信号処理回路、映像信号処理方法、表示装置、及び、電子機器
US8698922B2 (en) * 2012-02-14 2014-04-15 Omni Vision Technologies, Inc. Black level correction for imaging pixels
KR20140010553A (ko) 2012-07-13 2014-01-27 삼성전자주식회사 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법
BR112015022944A2 (pt) * 2013-03-15 2017-07-18 Olive Medical Corp calibração com o uso de tampa distal
US9426395B2 (en) 2014-03-25 2016-08-23 Samsung Electronics Co., Ltd. Methods of calibrating knee-point and logarithmic slope in linear-logarithmic image sensors
CN108291973B (zh) 2015-11-26 2022-09-09 皇家飞利浦有限公司 暗电流补偿
KR102253023B1 (ko) * 2017-03-10 2021-05-17 에스케이하이닉스 주식회사 옵티컬 블랙 영역을 구비하는 이미지 센서 및 이를 이용한 다크 레벨 보상 방법
JP2018166242A (ja) * 2017-03-28 2018-10-25 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および電子機器
US10630919B2 (en) * 2018-02-05 2020-04-21 Novatek Mircoelectronics Corp. Image sensing apparatus and black level correction method thereof and computer readable medium
FR3090258A1 (fr) * 2018-12-12 2020-06-19 Stmicroelectronics Sa Procédé et dispositif d’estimation de niveau de bruit de rangées d’obscurité de référence d’un capteur d’images
CN111385497A (zh) * 2018-12-27 2020-07-07 天津大学青岛海洋技术研究院 一种应用于脉冲式图像传感器的固定模式噪声消除方法
CN110797364B (zh) * 2019-11-08 2022-01-11 京东方科技集团股份有限公司 一种探测基板、探测面板及光电检测装置
US20240314462A1 (en) * 2023-03-16 2024-09-19 Cista System Corp. Apparatus and method of dark current calibration and correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178212A (ja) * 1992-12-11 1994-06-24 Olympus Optical Co Ltd 固体撮像素子の暗時出力補正装置
JP2003189191A (ja) 2001-12-20 2003-07-04 Honda Motor Co Ltd イメージセンサの出力補正装置
JP2003324657A (ja) * 2002-05-02 2003-11-14 Honda Motor Co Ltd イメージセンサの出力補正装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287056B2 (ja) * 1993-03-24 2002-05-27 ソニー株式会社 固体撮像装置
JPH08307775A (ja) * 1995-05-12 1996-11-22 Canon Inc 撮像装置
JP3212858B2 (ja) * 1995-12-22 2001-09-25 松下電器産業株式会社 固体撮像装置
DE19818975A1 (de) * 1997-08-12 1999-02-18 Hewlett Packard Co Verfahren zum Korrigieren des Dunkelstroms in CMOS-Bilderzeugungssensoren
US6101287A (en) * 1998-05-27 2000-08-08 Intel Corporation Dark frame subtraction
US6721005B1 (en) * 1998-12-03 2004-04-13 Sony Corporation Solid state image sensor having different structures for effective pixel area and optical black area
JP4284752B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 固体撮像素子
JP3897520B2 (ja) * 2000-07-11 2007-03-28 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP3870137B2 (ja) * 2001-08-02 2007-01-17 キヤノン株式会社 固体撮像装置及び固体撮像システム
US7667760B2 (en) * 2002-05-02 2010-02-23 Honda Giken Kogyp Kabushiki Kaisha Image sensor output correction device
JP4314827B2 (ja) * 2003-01-16 2009-08-19 株式会社ニコン 撮像装置
JP4242691B2 (ja) * 2003-04-15 2009-03-25 オリンパス株式会社 固体撮像装置
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
JP3977342B2 (ja) * 2004-02-05 2007-09-19 キヤノン株式会社 固体撮像装置の設計方法及び撮像システム
JP4396425B2 (ja) * 2004-07-07 2010-01-13 ソニー株式会社 固体撮像装置及び信号処理方法
JP4379230B2 (ja) * 2004-07-07 2009-12-09 ソニー株式会社 固体撮像素子装置及び信号処理方法
US7639291B2 (en) * 2005-05-27 2009-12-29 Aptina Imaging Corporation Dark current/channel difference compensated image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178212A (ja) * 1992-12-11 1994-06-24 Olympus Optical Co Ltd 固体撮像素子の暗時出力補正装置
JP2003189191A (ja) 2001-12-20 2003-07-04 Honda Motor Co Ltd イメージセンサの出力補正装置
JP2003324657A (ja) * 2002-05-02 2003-11-14 Honda Motor Co Ltd イメージセンサの出力補正装置

Also Published As

Publication number Publication date
WO2007091369A1 (ja) 2007-08-16
JP2007214932A (ja) 2007-08-23
TW200812380A (en) 2008-03-01
TWI345911B (en) 2011-07-21
JP4555785B2 (ja) 2010-10-06
US20090046180A1 (en) 2009-02-19
EP1986424A1 (en) 2008-10-29
EP1986424A4 (en) 2011-04-27
KR20080085193A (ko) 2008-09-23

Similar Documents

Publication Publication Date Title
KR100981943B1 (ko) 고정 패턴 잡음 제거 장치, 고체 촬상 장치, 전자 기기
US7999866B2 (en) Imaging apparatus and processing method thereof
US8988561B2 (en) Imaging apparatus having temperature sensor within image sensor wherein apparatus outputs an image whose quality does not degrade if temperature increases within image sensor
JP2007158626A (ja) 固体撮像装置
JP2009284424A (ja) 撮像装置、撮像方法及びプログラム
JP5479561B2 (ja) 撮像装置及びその駆動方法
JP2013009190A (ja) 撮像装置及びその駆動方法
JPH08331463A (ja) アクティブ画素を用いたccd撮像装置のスミア修正
KR101570923B1 (ko) 고체 촬상 장치
JP2006033036A (ja) 撮像装置
JP2010200109A (ja) 撮像装置、制御方法、及びプログラム
JP4719442B2 (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP5959828B2 (ja) 撮像装置及び撮像装置の制御方法
JP2008288723A (ja) 撮像装置、撮像方法、プログラムおよび集積回路
JP2004363742A (ja) 固体撮像装置
JP2011250249A (ja) 映像信号処理装置および映像信号処理方法
JP2008236787A (ja) 固体撮像装置及びその固定パターン雑音除去方法
JP2004088306A (ja) 固体撮像装置
WO2018124056A1 (ja) 撮像装置及びその制御方法
JP2012235283A (ja) 固定パターンノイズ除去回路、イメージセンサユニット及びデジタルカメラ
JP2010178384A (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP2010166479A (ja) 撮像装置及び撮像画像の補正方法
JP2006108918A (ja) 撮像装置
JP2003032553A (ja) スミア低減機能付き固体撮像装置
JP2007081858A (ja) スミア補正方法及びスミア補正回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee