KR101133684B1 - 이미지 센서 및 그 동작 방법 - Google Patents

이미지 센서 및 그 동작 방법 Download PDF

Info

Publication number
KR101133684B1
KR101133684B1 KR1020100065407A KR20100065407A KR101133684B1 KR 101133684 B1 KR101133684 B1 KR 101133684B1 KR 1020100065407 A KR1020100065407 A KR 1020100065407A KR 20100065407 A KR20100065407 A KR 20100065407A KR 101133684 B1 KR101133684 B1 KR 101133684B1
Authority
KR
South Korea
Prior art keywords
pixel
value
bayer
window
correction
Prior art date
Application number
KR1020100065407A
Other languages
English (en)
Other versions
KR20120004751A (ko
Inventor
정연우
이광열
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020100065407A priority Critical patent/KR101133684B1/ko
Priority to US12/982,498 priority patent/US20120008017A1/en
Publication of KR20120004751A publication Critical patent/KR20120004751A/ko
Application granted granted Critical
Publication of KR101133684B1 publication Critical patent/KR101133684B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은, 반도체 소자에서 CMOS 이미지 센서(IS: CMOS Image Sensor)의 이미지 신호 처리(ISP: Image Signal Processing) 시 불량 픽셀인 멀티 데드 픽셀(multi dead pixel)을 검출하여 보정하는 이미지 센서, 및 상기 이미지 센서의 멀티 데드 픽셀을 검출하여 보정(correction)하는 동작 방법에 관한 것으로, 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하고, 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하고, 상기 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀(dead pixel)의 발생을 검출하여 보정하며, 상기 데드 픽셀의 보정값을 실시간으로 업데이트하여 저장한다.

Description

이미지 센서 및 그 동작 방법{Image sensor and method for operating thereof in a semiconductor device}
본 발명은 반도체 소자에 관한 것으로서, 특히 반도체 소자에서 이미지 센서(IS: Image Sensor, 이하 'IS'라 칭하기로 함)의 이미지 신호 처리(ISP: Image Signal Processing, 이하 'ISP'라 칭하기로 함)에 관한 것이다.
일반적으로, 이미지 센서(image sensor)는 아날로그 신호인 광을 전기적 신호로 변환시키는 반도체 소자이다. 현재, 디지털 카메라 뿐만 아니라, 휴대폰, 스마트폰, 카메라폰, PDA(Personal Digital Assistant) 등의 단말기에도 카메라 모듈이 탑재되어 영상을 촬영할 수 있는 기능은 대중화되고 있다. 이러한 카메라 시스템 중에서 이미지 센서는 복수개의 픽셀이 2차원 구조로 배열되어 이루어지며, 픽셀은 전술한 바와 같이 아날로그 신호인 광 신호를 밝기에 따라 차별화하여 전기적 신호로 변환한다.
이러한 이미지 센서는 디지털 카메라, 휴대폰 등의 가정용 제품이나, 병원에서 사용되는 내시경, 지구를 돌고 있는 인공위성의 망원경에 이르기까지 매우 광범위한 분야에서 사용되고 있으며, 다양한 이미지 센서 중, CMOS 제조 기술로 생산되는 IS는, 구동 방식이 간편하고 다양한 스캐닝 방식의 구현이 가능하며, 신호 처리를 위한 회로를 단순 구조로 구현함으로써 제품의 소형화가 가능할 뿐만 아니라, 호환성의 CMOS 기술을 사용하므로 제조 단가를 낮출 수 있고, 전력 소모 또한 크게 낮다는 장점을 가지고 있다.
한편, 일반적으로 IS는, 전술한 바와 같이 복수개의 픽셀이 2차원 구조로서 복수의 픽셀 어레이(pixel array)로 구현되며, 이러한 픽셀 어레이에서, IS의 제조 과정 중 다양한 요인에 의하여 빛에 정상적으로 반응하지 못하는 불량 픽셀이 발생될 수 있다. 다시 말해, 상기 IS는, 제조 과정 중 여러 가지 이유로 인하여 정상적으로 동작하지 못하는 픽셀이 발생할 수 있으며, 이러한 불량 픽셀은 빛에 대해 정상적으로 반응하지 못하며, 비정상적인 불량 픽셀을 포함한 IS로부터 출력되는 영상은 실제 영상과는 다른 왜곡된 영상을 표시하게 된다. 이렇게 빛에 대해 정상적으로 반응하지 못하는 불량 픽셀은, 실제 영상보다 밝게 보이거나 또는 어둡게 보이는데, 특히 주변 픽셀과의 밝기 차이가 기 설정된 임계값보다 커 시각적으로 현저하게 노출된다.
그러므로, 상기 IS의 성능은, 복수의 픽셀 어레이에 포함된 불량 픽셀의 개수에 의해 좌우되며, 특히 IS에서 불량 픽셀로 인한 오류는 화면 상에 작은 반점 또는 줄로 나타나게 되는데, 이때 이러한 부분 오류가 있는 IS 칩을 모두 불량 칩으로 판정하면 IS의 생산 수율이 감소하게 되는 문제점이 있다.
따라서, IS의 픽셀 어레이에서 불량 픽셀을 검출하고, 상기 검출한 불량 픽셀을 보정하여 IS의 성능을 향상시키기 위한 방안이 필요하다. 특히, 현재 IS의 픽셀 어레이에서 발생하는 불량 픽셀을 검출하여 보정하는 방안들이 제안되고 있으나, 제안되는 방안들은 불량 픽셀의 보정을 효과적으로 지원하지 못하며, 또한 불량 픽셀의 보정을 위해서 대용량의 메모리를 필요로 하는 문제점이 있다. 따라서, IS의 불량 픽셀을 효과적으로 보정하며, 특히 최소의 메모리 사용으로 불량 픽셀의 보정 커버리지를 증가시켜 IS의 성능을 향상시키기 위한 방안이 필요하다.
본 발명은, 이미지 센서의 픽셀 어레이에서 불량 픽셀을 검출하여 보정하는 이미지 센서와, 상기 불량 픽셀을 검출 및 보정하는 이미지 센서의 동작 방법을 제공함에 있다.
상기한 목적들을 달성하기 위한 본 발명의 반도체 소자에서 이미지 센서는, 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하는 메모리; 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하는 윈도우 구성부; 상기 윈도우에 대응하는 상기 픽셀 어레이에 데드 픽셀(dead pixel)의 발생을 검출하고, 상기 데드 픽셀의 발생에 상응하여 상기 저장된 베이어 로우 데이터에 대한 보정 연산을 수행하는 연산부; 상기 보정 연산을 제어하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하며, 상기 보정 연산의 연산값을 상기 메모리와 함께 실시간으로 업데이트하여 저장하는 프로세서;를 포함하며, 상기 연산부는, 소정 클럭에서의 보정 연산 시, 상기 메모리에 기 저장된 상기 소정 클럭의 이전 클럭에서의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 상기 보정 연산을 수행한다.
상기한 목적들을 달성하기 위한 본 발명의 반도체 소자에서 이미지 센서의 동작 방법은, 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하는 단계; 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하는 단계; 상기 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀(dead pixel)의 발생을 검출하여 보정하는 단계; 및 상기 데드 픽셀의 보정값을 실시간으로 업데이트하여 저장하는 단계;를 포함하며, 상기 보정하는 단계는, 상기 실시간으로 업데이트하여 기 저장된 보정값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 병렬적으로 수행한다.
본 발명은, 픽셀 어레이에서 발생하는 멀티 데드 픽셀의 보정을 효과적으로 수행한다.
도 1은 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면.
도 2는 본 발명의 실시 예에 따른 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은, 반도체 소자에서 이미지 신호 처리(ISP: Image Signal Processing, 이하 'ISP'라 칭하기로 함) 시 복수의 픽셀 어레이(pixel array)에서 발생하는 불량 픽셀, 즉 멀티 데드 픽셀(multi dead pixel)을 검출하여 보정하는 이미지 센서 및 상기 이미지 센서의 불량 픽셀인 데드 픽셀을 보정하는 동작 방법을 제안한다. 여기서, 본 발명의 실시 예에서는, 이미지 센서(IS: Image Sensor, 이하 'IS'라 칭하기로 함)의 ISP 시에 데드 픽셀 보정부로부터 출력되는 보정 픽셀값을 메모리 사용을 최소화하여 처리하며, 또한 공유 픽셀 구조(shared pixel architecture)에서 발생하는 멀티 데드 픽셀을 보정하며, 이때 라인 메모리(line memory) 사용을 최소화하여 이미지 센서를 구현하는 칩의 사이즈를 감소시킨다.
그리고, 본 발명의 실시 예에서는, IS의 ISP 시에 픽셀 어레이에서 발생하는 멀티 데드 픽셀의 보정을 효과적으로 지원하며, 특히 상기 멀티 데드 픽셀을 보정하는 데드 픽셀 보정부의 보정 커버리지(correction coverage)를 증가시켜 상기 멀티 데드 픽셀의 보정 효과를 향상시키며, 이때 상기 멀티 데드 픽셀의 보정을 위한 메모리 사용을 최소화한다. 여기서, 본 발명의 실시 예에서는, IS의 픽셀 어레이에서 불량 픽셀인 데드 픽셀이 발생하면 보정하고, 상기 보정한 픽셀값을 실시간으로 메모리에 업데이트하며, 데드 픽셀 보정부의 데드 픽셀 보정(dead pixel correction)으로 불량 픽셀 보상(BPC: Bad Pixel Compensation) 기능과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 기능을 병렬적으로 수행하여 상기 멀티 데드 픽셀의 보정 효과를 향상시킨다.
또한, 본 발명의 실시 예에서는, IS의 ISP 시 베이어 로우 데이터(bayer raw data) 처리 영역에서 데드 픽셀 보정부가 픽셀 보정을 위해 라인 메모리를 사용하며, 이때 상기 데드 픽셀 보정부는, 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 수행한다. 그리고, 본 발명의 실시 예에서는, 공유 픽셀(shared pixel) 구조 및 단일 픽셀(single pixel) 구조에서 발생하는 멀티 데드 픽셀을 효과적으로 보정하며, 또한 실시간 보정을 위한 온 더 플라이 방식의 에러 정정 동작의 기능을 향상시킨다. 여기서, 본 발명의 실시 예에서는, IS의 데드 픽셀 보정부의 기능 별로 라인 메모리들이 필요한 구조를 개선하여 메모리 사용을 최소화하며, 그에 따라 IS의 칩 사이즈 및 칩 제조 비용을 감소시킨다.
다시 말해, 본 발명의 실시 예에서는, 베이어 영역(bayer domain)에서 데드 픽셀 보정부가 베이어 로우 데이터의 처리 시, 전술한 바와 같이 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 수행하기 위해 각각의 기능 별로 윈도우(window)를 구성하여 각 기능의 출력 데이터를 저장하는 각각의 라인 메모리들을 사용함에 따라 발생하는 IS의 칩 사이즈 증가를 개선하며, 또한 공유 픽셀 구조 및 단일 픽셀 구조에서의 멀티 데드 픽셀 보정 시 상기 데드 픽셀 보정부의 각 기능 별 기능 저하(image distortion)를 최소화한다.
즉, 본 발명의 실시 예에서는, IS의 칩 사이즈를 감소시키기 위해, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에 각각 해당하는 메모리를 단일(single) 개수로 하나의 메모리로 구현하고, 픽셀 어레이에 데드 픽셀이 발생하면, 상기 발생한 데드 픽셀을 보정한 후, 데드 픽셀 보정의 보정값을 실시간으로 업데이트하여 저장한다. 그리고, 멀티 데드 픽셀 보정 시, 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에서의 윈도우 구성을 위해 메모리에서 리드(read)되는 픽셀값들은 전체의 1/2로 보정이 반영된 픽셀값이 된다.
여기서, 상기 데드 픽셀 보정의 보정값을 메모리에 실시간으로 업데이트함에 따라, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능 수행 시 메모리로부터 업데이트된 픽셀값, 즉 메모리로부터 보정이 반영된 픽셀값을 리드하여 윈도우를 구성함으로 상기 데드 픽셀 보정부의 각 기능 별 기능 저하를 최소화한다. 이때, 전술한 메모리 제어부를 통한 실시간 업데이트 없이 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에 각각 해당하는 메모리를 하나의 메모리로 구현하면, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 GrGbC 기능에서 사용하는 윈도우 구성을 위해 메모리로부터 리드한 픽셀값에 보정이 반영되어 있지 않음으로 상기 데드 픽셀 보정부의 각 기능 별 기능 저하가 발생할 수 있다. 하지만, 본 발명의 실시 예에서는, 전술한 바와 같이 메모리 제어부를 통해 보정이 반영된 픽셀값으로 실시간 업데이트를 수행함으로, 상기 데드 픽셀 보정부의 각 기능 별 기능 저하를 최소화한다.
또한, 본 발명의 실시 예에서는, 베이어 로우 데이터를 입력받으면, 윈도우 구성을 위해 상기 입력된 베이어 로우 데이터를 라인 메모리에 저장하고, 상기 라인 메모리에 저장된 베이어 로우 데이터를 리드하여 윈도우를 구성한 후, 병렬 구조로 구현된 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능 및 베이어 노이즈 감소 기능을 수행하도록 동시에 리드된 베이어 로우 데이터를 입력한다. 그리고, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능 및 베이어 노이즈 감소 기능에서 상기 베이어 로우 데이터, 즉 픽셀 데이터에 대해 각각 연산 기능을 수행한 후, 데드 픽셀이 발생하여 보정 기능이 수행되면 Gr-Gb 기능에서 불량 픽셀 보상 기능의 연산값을 이용한 Gr-Gb 오프셋 보정을 통해 보정값을 출력하고, 데드 픽셀이 발생하지 않아 보정 기능이 수행되지 않으면 Gr-Gb 기능에서 베이어 노이즈 감소 기능의 연산값을 이용한 Gr-Gb 오프셋 보정을 통해 보정값을 출력한다. 여기서, 상기 데드 픽셀이 발생하여 보정 기능이 수행되면, 동시에 메모리 업데이트를 통해 실시간으로 보정된 픽셀값을 메모리에 저장하며, 이렇게 메모리에 저장된 픽셀값은 상기 데드 픽셀 보정부에서 다음의 불량 픽셀 보상 기능의 연산에 이용되어 데드 픽셀의 보정 커버리지를 증가시킨다. 그러면 여기서, 도 1을 참조하여 반도체 소자에서 상기 데드 픽셀 보정부에 대해 보다 구체적으로 설명하기로 한다.
도 1은 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면이다. 여기서, 도 1은, 픽셀 어레이에서 발생하는 데드 픽셀의 보정을 수행하는 데드 픽셀 보정부가 각 기능 별로 메모리를 포함하는 구조를 개략적으로 도시한 도면이다.
도 1을 참조하면, 상기 이미지 센서의 데드 픽셀 보정부는, 픽셀 데이터로 베이어 로우 데이터가 입력되는 입력부(105), 상기 입력부(105)로 입력된 베이어 로우 데이터를 저장하는 메모리1(145), 상기 메모리1(145)에 저장된 베이어 로우 데이터, 즉 픽셀 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부1(110), 및 상기 윈도우 구성부1(110)이 구성한 윈도우에 대응하는 상기 픽셀 어레이에서 발생한 데드 픽셀의 베이어 로우 데이터에 대해 불량 픽셀 보상 기능의 연산을 수행하는 연산부1(115)을 포함한다.
그리고, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 연산부1(115)에 의해 불량 픽셀 보상 기능의 연산이 수행된 베이어 로우 데이터를 저장하는 메모리2(150), 상기 메모리2(150)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부2(120), 및 상기 윈도우 구성부2(120)이 구성한 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않은 베이어 로우 데이터에 대해 베이어 노이즈 감소 기능의 연산을 수행하는 연산부2(125)를 포함한다.
또한, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 연산부2(125)에 의해 베이어 노이즈 감소 기능의 연산이 수행된 베이어 로우 데이터를 저장하는 메모리3(155), 상기 메모리3(155)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부2(120), 상기 윈도우 구성부2(120)이 구성한 윈도우에 대응하는 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 기능으로 Gr-Gb 오프셋 보정을 수행하는 연산부3(135), 및 상기 연산부3(135)의 Gr-Gb 오프셋 보정에 의한 보정된 픽셀값을 출력하는 출력부(140)를 포함한다.
여기서, 상기 윈도우 구성부1(110)은, 상기 메모리1(145)에 저장된 베이어 로우 데이터인 픽셀 데이터를 리드하여 픽셀 어레이에서 데드 픽셀을 검출하기 위한 윈도우를 구성한다. 그리고, 상기 연산부1(115)은, 상기 구성된 윈도우에 대응하는 상기 픽셀 어레이에서 발생하는 데드 픽셀을 검출하여 불량 픽셀 보상 연산을 수행하고, 상기 불량 픽셀 보상 연산의 연산값을 출력한다.
또한, 상기 윈도우 구성부2(120)는, 상기 윈도우 구성부2(120)와 같이 상기 메모리2(150)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에서 데드 픽셀의 발생을 검출하기 위한 윈도우를 구성한다. 아울러, 상기 연산부2(125)는, 상기 구성된 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않음으로, 상기 픽셀 어레이의 베이어 로우 데이터에 대해 베이어 노이즈 감소 연산을 수행하고, 상기 베이어 노이즈 감소 연산의 연산값을 출력한다.
그리고, 상기 윈도우 구성부3(130)은, 상기 메모리3(155)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에 Gr-Gb 기능을 수행하기 위한 윈도우를 구성한다. 상기 연산부3(135)은, 상기 구성된 윈도우에 대응하는 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정을 수행하고, 상기 Gr-Gb 오프셋 보정의 보정값을 보정된 픽셀값으로 출력한다. 상기 윈도우 구성부1(110), 윈도우 구성부2(120), 및 윈도우 구성부3(130)은, 각 메모리에 저장된 베이어 로우 데이터의 픽셀 어레이에 동일한 사이즈의 윈도우를 구성, 예컨대 N×N 윈도우를 구성함이 바람직하며, 이미지 센서의 성능에 따라 다양한 사이즈의 윈도우 및 서로 다른 사이즈의 윈도우를 구성할 수도 있다.
이렇게 도 1에 도시한 이미지 센서의 데드 픽셀 보정부는, 각 기능 별로, 다시 말해 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에 대해 각각의 메모리들(145,150,155)를 포함함에 따라 이미지 센서를 구현하는 칩 사이즈 및 칩 제조 비용이 증가할 수 있다. 이러한 문제를 해결하기 위해, 본 발명의 실시 예에서는, 전술한 데드 픽셀 보정부의 각 기능에 대해 하나의 메모리로 구현, 즉 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 대해 하나의 메모리가 포함한다.
다시 말해, 본 발명의 실시 예에서는, 동작 클럭(operating clock)에 상응하여 IS의 ISP 시 입력되는 베이어 로우 데이터를 윈도우 구성을 위해 메모리에 저장하며, 메모리에 저장된 데이터를 리드하여 윈도우를 구성하고, 상기 구성한 윈도우에 대응하는 픽셀 어레이에서 발생하는 데드 픽셀을 검출하여 병렬 구조로 불량 픽셀 보상 기능 및 베이어 노이즈 감소 기능을 수행한 후, Gr-Gb 기능을 수행하여 소정 동작 클럭에 픽셀 어레이에서 발생하는 데드 픽셀을 보정한다. 이때, 소정 동작 클럭에서의 보정된 픽셀값을 메모리에 실시간으로 업데이트하여 저장하며, 상기 메모리에 저장되는 소정 동작 클럭에서의 보정된 픽셀값은, 상기 소정 동작 클럭의 다음 동작 클럭에 상기 픽셀 어레이에서 발생하는 데드 픽셀의 보정을 위해 불량 픽셀 보상 기능을 수행할 경우에 이용된다. 그러면 여기서, 도 2를 참조하여 본 발명의 실시 예에 따른 반도체 소자에서 이미지 센서의 데드 픽셀 보정에 대해 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면이다. 여기서, 도 2는, 픽셀 어레이에서 발생하는 데드 픽셀의 보정을 수행하는 데드 픽셀 보정부가 각 기능에 대해 하나의 메모리를 포함하는 구조를 개략적으로 도시한 도면이다.
도 2를 참조하면, 상기 이미지 센서의 데드 픽셀 보정부는, 픽셀 데이터로 베이어 로우 데이터가 입력되는 입력부(205), 상기 입력부(205)로 입력된 베이어 로우 데이터를 저장하는 단일 개수로 하나의 메모리(245), 상기 메모리(245)에 저장된 베이어 로우 데이터, 즉 픽셀 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부(210), 및 상기 윈도우 구성부(210)가 구성한 윈도우에 대응하는 상기 픽셀 어레이에서 발생한 데드 픽셀의 베이어 로우 데이터에 대해 불량 픽셀 보상 기능의 연산을 수행하는 연산부1(215)을 포함한다.
그리고, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 윈도우 구성부(210)가 구성한 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않은 베이어 로우 데이터에 대해 베이어 노이즈 감소 기능의 연산을 수행하는 연산부2(220), 및 상기 연산부1(215)의 출력과 상기 연산부2(220)의 출력을 입력받아 보정 기능을 수행하는 보상부(225), 상기 보상부(225)로부터 출력되는 보정 기능 수행의 결과, 즉 보정된 픽셀값이 정상적으로 보정 기능이 수행된 픽셀값인 지를 확인하는 비교부(250), 상기 비교부(250)의 출력을 이용하여 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 기능으로 Gr-Gb 오프셋 보정을 수행하는 연산부3(230), 상기 연산부3(230)의 Gr-Gb 오프셋 보정에 의한 보정된 픽셀값을 출력하는 출력부(335), 및 전술한 바와 같은 상기 이미지 센서의 데드 픽셀 보정부의 보정 동작을 제어 및 처리하는 프로세서(240)를 포함한다.
여기서, 상기 프로세서(240)는, 상기 입력되는 베이어 로우 데이터를 저장하며, 또한 상기 윈도우 구성부(210)가 픽셀 어레이에 구성한 윈도우에 해당하는 베이어 로우 데이터 및 상기 윈도우에 해당하는 베이어 로우 데이터에 대한 데이터 정보를 저장한다. 이때, 상기 윈도우에 해당하는 베이어 로우 데이터는 메모리(245)에도 저장된다. 그리고, 상기 프로세서(240)는, 상기 연산부1(215)이 출력하는 불량 픽셀 보상 연산의 연산값과 연산부2(220)가 출력하는 베이어 노이즈 감소 연산의 연산값을 이용한 상기 데드 픽셀 보정부의 보정 기능을 제어한다.
그리고, 상기 프로세서(240)는, 전술한 바와 같이 저장된 상기 윈도우에 해당하는 베이어 로우 데이터 및 상기 데이터 정보를 상기 보상부(225)로 출력한다. 상기 보상부(225)는, 상기 윈도우에 해당하는 베이어 로우 데이터 및 상기 데이터 정보를 통해 픽셀 어레이에서의 데드 픽셀의 발생에 상응한 베이어 로우 데이터 대한 보정을 확인하고, 상기 확인 결과값으로 불량 픽셀 보상 연산의 연산값을 출력하거나, 베이어 노이즈 감소 연산의 연산값을 출력한다. 여기서, 상기 보상부(225)는, 상기 윈도우에 해당하는 베이어 로우 데이터를 통해 픽셀 어레이에 데드 픽셀이 발생하여 보정 기능이 수행되면 상기 보정 기능 수행의 결과값으로 상기 불량 픽셀 보상 연산의 연산값을 출력하고, 상기 데드 픽셀이 발생하지 않으면 상기 보정 기능 수행의 결과값으로 상기 베이어 노이즈 감소 연산의 연산값을 출력한다. 이때, 상기 불량 픽셀 보상 연산의 연산값 및 상기 베이어 노이즈 감소 연산의 연산값은 상기 프로세서(240), 또는 메모리(245)에 실시간으로 업데이트되어 저장 및 관리된다.
상기 비교부(250)는, 상기 보상부(225)의 출력, 즉 상기 불량 픽셀 보상 연산의 연산값 또는 상기 베이어 노이즈 감소 연산의 연산값이 정상적인 연산값인 지를 확인하며, 이러한 확인은 상기 연산값들과 이전 동작 클럭에서 상기 프로세서(240)에 실시간으로 업데이트되어 기 저장 및 관리된 연산값들을 비교하여 이루어진다. 다시 말해, 상기 비교부(250)는, 상기 프로세서(240)에 실시간으로 업데이트되어 기 저장 및 관리된 연산값들과, 상기 보상부(225)로부터 입력된 연산값들을 비교하여 확인하며, 상기 확인된 연산값들은 연산부3(230)으로 출력된다.
그리고, 상기 윈도우 구성부(210)는, 상기 메모리(245)에 저장된 베이어 로우 데이터인 픽셀 데이터를 리드하여 픽셀 어레이에서 데드 픽셀을 검출하기 위한 윈도우를 구성한다. 이때, 상기 윈도우 구성부(210)는, 메모리(245)에 저장된 베이어 로우 데이터의 픽셀 어레이에 소정 사이즈의 윈도우를 구성, 예컨대 N×N 윈도우를 구성함이 바람직하며, 이미지 센서의 성능에 따라 다양한 사이즈의 윈도우를 구성할 수도 있다.
그리고, 상기 윈도우 구성부(210)가 구성한 윈도우에 의해 통해 병렬 구조의 연산부1(215)과 연산부2(220)가 각각 불량 픽셀 보상 연산 또는 베이어 노이즈 감소 연산을 수행한다. 다시 말해, 상기 연산부1(215)은, 상기 구성된 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀이 발생하면, 상기 발생하는 데드 픽셀을 검출하여 불량 픽셀 보상 연산을 수행하고, 상기 불량 픽셀 보상 연산의 연산값을 출력한다. 또한, 상기 연산부2(220)는, 상기 구성된 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않으면, 상기 데드 픽셀이 발생하지 않은 상기 픽셀 어레이의 베이어 로우 데이터에 대해 베이어 노이즈 감소 연산을 수행하고, 상기 베이어 노이즈 감소 연산의 연산값을 출력한다. 여기서, 상기 연산부1(215)의 불량 픽셀 보상 연산과 상기 연산부2(220)의 베이어 노이즈 감소 연산은 병렬적으로 수행, 즉 상기 연산부1(215)과 연산부2(220)는 병렬 구조로 구현된다.
이때, 상기 연산부1(215)에서 출력되는 상기 불량 픽셀 보상 연산의 연산값을 보정된 픽셀값으로 전술한 바와 같이 메모리(245)에 실시간 업데이트되어 저장된다. 즉, 상기 불량 픽셀 보상 연산의 연산값은, 동작 클럭마다 메모리(240)에 실시간 업데이트 저장되며, 소정 동작 클럭에서 저장된 불량 픽셀 보상 연산의 연산값은, 상기 소정 동작 클럭의 다음 동작 클럭에서 상기 연산부1(215)가 상기 픽셀 어레이에서 발생하는 데드 픽셀을 검출하여 불량 픽셀 보상 연산을 수행할 경우 참조된다. 이렇게 상기 연산부1(215)의 불량 픽셀 보상 연산 시, 이전 동작 클럭에서의 불량 픽셀 보상 연산의 연산값을 참조하여 현재 동작 클럭에서의 불량 픽셀 보상 연산을 수행함에 따라, 상기 연산부1(215)의 데드 픽셀의 보정 커버리지가 증가된다.
상기 연산부3(230)은, 전술한 바와 같이 비교부(250)로부터 상기 불량 픽셀 보상 연산의 연산값 또는 상기 베이어 노이즈 감소 연산의 연산값을 입력받으며, 상기 입력된 연산값을 이용하여 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정 연산을 수행한 후, 상기 Gr-Gb 오프셋 보정 연산에 의한 연산값을 픽셀 어레이의 보정된 픽셀값으로 출력한다. 여기서, 상기 연산부3(230)은, 상기 프로세서(240)로부터 상기 픽셀 어레이의 베이어 로우 데이터를 입력받아 상기 Gr-Gb 오프셋 보정 연산을 수행하며, 상기 Gr-Gb 오프셋 보정 연산에 의한 연산값은 상기 프로세서(240), 또는 메모리(245)에 저장 및 관리된다.
이렇게 본 발명의 실시 예에 따른 상기 이미지 센서의 데드 픽셀 보정부는, 상기 메모리(245)에 불량 픽셀 보상 연산의 연산값을 저장하고, 상기 저장된 불량 픽셀 보상 연산의 연산값은, 전술한 바와 같이 다음 동작 클럭에서의 데드 픽셀의 불량 픽셀 보상 연산 시 이용된다. 그리고, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 Gr-Gb 오프셋 보정에 의해 보정된 픽셀값을 출력하며, 상기 다음 동작 클럭에서의 데드 픽셀의 불량 픽셀 보상 연산 시, 이전 동작 클럭에서의 불량 픽셀 보상 연산을 통해 산출한 연산값을 이용함에 따라, 이미지 센서의 데드 픽셀의 보정 커버리지가 증가된다.
즉, 본 발명의 실시 예에 따른 이미지 센서는, 메모리를 통해 현재 동작 클럭에서 보정된 픽셀값을 실시간으로 업데이트하여 저장한 후, 다음 동작 클럭에서 데드 픽셀에 대한 보정 시 상기 저장한 픽셀값을 이용함으로 픽셀 어레이에서의 데드 픽셀의 보정 커버리지를 증가시키며, 또한 하나의 메모리로 데드 픽셀 보정 시의 기능들, 예컨대 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 위한 메모리를 구현함으로써, 메모리 사이즈를 감소시킨다. 아울러, 본 발명의 실시 예에 따른 이미지 센서는, 전술한 바와 같이 데드 픽셀 보정 시의 기능 별 메모리를 하나의 메모리로 구현함에 따라, 각 기능에서 해당 메모리로의 데이터의 저장 및 리드 동작을 감소시켜 이미지 센서의 동작 속도를 향상시킨다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하는 메모리;
    상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하는 윈도우 구성부;
    상기 윈도우에 대응하는 상기 픽셀 어레이에 데드 픽셀(dead pixel)의 발생을 검출하고, 상기 데드 픽셀의 발생에 상응하여 상기 저장된 베이어 로우 데이터에 대한 보정 연산을 수행하는 연산부;
    상기 보정 연산을 제어하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하며, 상기 보정 연산의 연산값을 상기 메모리와 함께 실시간으로 업데이트하여 저장하는 프로세서;를 포함하며,
    상기 연산부는, 소정 클럭에서의 보정 연산 시, 상기 메모리에 기 저장된 상기 소정 클럭의 이전 클럭에서의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 상기 보정 연산을 수행하는 것을 특징으로 하는 이미지 센서.
  2. 제1항에 있어서,
    상기 연산부는, 상기 윈도우에 따라 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 병렬적으로 수행하는 것을 특징으로 하는 이미지 센서.
  3. 제1항에 있어서, 상기 연산부는,
    상기 픽셀 어레이에 상기 데드 픽셀이 발생할 경우, 상기 데드 픽셀의 베이어 로우 데이터에 대해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산을 수행하여 제1연산값을 출력하는 제1연산부;
    상기 픽셀 어레이에 상기 데드 픽셀이 발생하지 않을 경우, 상기 저장된 베이어 로우 데이터에 대해 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 수행하여 제2연산값을 출력하는 제2연산부;
    상기 제1연산값과 상기 제2연산값을 중 하나의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정 연산을 수행하는 제3연산부;를 포함하는 것을 특징으로 하는 이미지 센서.
  4. 제3항에 있어서,
    상기 프로세서로부터 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 입력받아 상기 데드 픽셀의 발생을 확인하고, 상기 데드 픽셀의 발생에 상응하여 상기 제1연산값과 상기 제2연산값 중 상기 하나의 연산값을 출력하는 보상부;를 포함하는 것을 특징으로 하는 이미지 센서.
  5. 제3항에 있어서,
    상기 하나의 연산값의 정상 보정 연산값 여부를 확인하고, 상기 정상 보정 연산값으로 상기 하나의 연산값을 상기 제3연산부로 출력하는 비교부;를 포함하는 것을 특징으로 하는 이미지 센서.
  6. 제5항에 있어서,
    상기 비교부는, 상기 프로세서로부터 상기 메모리와 함께 실시간으로 업데이트하여 기 저장된 보정 연산의 연산값을 입력받고, 상기 소정 클럭에서의 보정 연산에 상응한 상기 하나의 연산값과 상기 기 저장된 보정 연산의 연산값을 비교하여 확인하는 것을 특징으로 하는 이미지 센서.
  7. 제3항에 있어서,
    상기 메모리는, 단일(single) 개수로 구비되며, 상기 제1연산부, 상기 제2연산부, 및 상기 제3연산부에서 각각 수행하는 연산에 대응하여 상기 베이어 로우 데이터를 저장하는 것을 특징으로 하는 이미지 센서.
  8. 제7항에 있어서,
    상기 제1연산부, 상기 제2연산부, 및 상기 제3연산부는, 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 윈도우에 따라 각각 해당하는 연산을 수행하는 것을 특징으로 하는 이미지 센서.
  9. 제2항 또는 제3항에 있어서,
    상기 메모리와 상기 프로세서는, 상기 불량 픽셀 보상 연산의 연산값을 상기 보정 연산의 연산값으로 저장하는 것을 특징으로 하는 이미지 센서.
  10. 제1항에 있어서,
    상기 윈도우 구성부는, 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 윈도우를 구성하는 것을 특징으로 하는 이미지 센서.
  11. 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하는 단계;
    상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하는 단계;
    상기 윈도우에 대응하는 상기 픽셀 어레이에서 데드 픽셀(dead pixel)의 발생을 검출하여 보정하는 단계; 및
    상기 데드 픽셀의 보정값을 실시간으로 업데이트하여 저장하는 단계;를 포함하며,
    상기 보정하는 단계는, 상기 실시간으로 업데이트하여 기 저장된 보정값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 병렬적으로 수행하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  12. 제11항에 있어서, 상기 보정하는 단계는,
    상기 저장된 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 이용하여 상기 데드 픽셀의 발생을 확인하고, 상기 확인한 데드 픽셀의 발생에 상응하여 상기 불량 픽셀 보상 연산의 연산값과 상기 베이어 노이즈 감소 연산의 연산값 중 하나의 연산값의 정상 보정 연산 여부를 확인하는 단계; 및
    상기 확인한 하나의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정 연산을 수행하는 단계;를 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  13. 제12항에 있어서,
    상기 정상 보정 연산 여부를 확인하는 단계는, 상기 실시간으로 업데이트하여 기 저장된 보정값과 상기 하나의 연산값을 비교하여 확인하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  14. 제11항 또는 12항에 있어서,
    상기 보정하는 단계는, 상기 윈도우에 대응하는 상기 픽셀 어레이에서 상기 데드 픽셀이 발생할 경우, 상기 데드 픽셀의 베이어 로우 데이터에 대해 상기 불량 픽셀 보상 연산을 수행하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  15. 제14항에 있어서,
    상기 실시간으로 업데이트하여 저장하는 단계는, 상기 불량 픽셀 보상 연산의 연산값을 상기 데드 픽셀의 보정값으로 저장하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  16. 제11항 또는 제12항에 있어서,
    상기 보정하는 단계는, 상기 윈도우에 대응하는 상기 픽셀 어레이에서 상기 데드 픽셀이 발생하지 않을 경우, 상기 저장된 베이어 로우 데이터에 대해 상기 베이어 노이즈 감소 연산을 수행하는 것을 특징으로 하는 이미지 센서의 동작 방법.
KR1020100065407A 2010-07-07 2010-07-07 이미지 센서 및 그 동작 방법 KR101133684B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100065407A KR101133684B1 (ko) 2010-07-07 2010-07-07 이미지 센서 및 그 동작 방법
US12/982,498 US20120008017A1 (en) 2010-07-07 2010-12-30 Image sensor and pixel correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100065407A KR101133684B1 (ko) 2010-07-07 2010-07-07 이미지 센서 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20120004751A KR20120004751A (ko) 2012-01-13
KR101133684B1 true KR101133684B1 (ko) 2012-04-12

Family

ID=45611171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100065407A KR101133684B1 (ko) 2010-07-07 2010-07-07 이미지 센서 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101133684B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050023548A (ko) * 2003-08-28 2005-03-10 엠텍비젼 주식회사 이미지 센서의 결함픽셀 보정 장치 및 그 방법
JP2007053634A (ja) * 2005-08-18 2007-03-01 Sony Corp 撮像装置、欠陥画素補正装置および方法
KR20080015545A (ko) * 2006-08-16 2008-02-20 엠텍비젼 주식회사 결함 화소 검출 방법 및 이를 위해 사용되는 장치
KR20080050074A (ko) * 2006-12-01 2008-06-05 엠텍비젼 주식회사 이미지 프로세서, 이미지 처리 장치 및 결함 픽셀 보정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050023548A (ko) * 2003-08-28 2005-03-10 엠텍비젼 주식회사 이미지 센서의 결함픽셀 보정 장치 및 그 방법
JP2007053634A (ja) * 2005-08-18 2007-03-01 Sony Corp 撮像装置、欠陥画素補正装置および方法
KR20080015545A (ko) * 2006-08-16 2008-02-20 엠텍비젼 주식회사 결함 화소 검출 방법 및 이를 위해 사용되는 장치
KR20080050074A (ko) * 2006-12-01 2008-06-05 엠텍비젼 주식회사 이미지 프로세서, 이미지 처리 장치 및 결함 픽셀 보정 방법

Also Published As

Publication number Publication date
KR20120004751A (ko) 2012-01-13

Similar Documents

Publication Publication Date Title
US20100266201A1 (en) System and method for performing image correction
US8711254B2 (en) Image processing apparatus and method having defective pixel detection and correction ability
US20090278963A1 (en) Apparatus and method for column fixed pattern noise (FPN) correction
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
US8339482B2 (en) Image capturing apparatus with correction using optical black areas, control method therefor and program
US20130258155A1 (en) Image pickup apparatus including image pickup element having image pickup pixel and focus detection pixel and signal processing method
US8724923B2 (en) Image processing apparatus and image processing method for correcting distorted image data
US20080316333A1 (en) Imaging apparatus, imaging method, program, and integrated circuit
US20120127338A1 (en) Imaging apparatus, image processing method and computer-readable storage medium
US20120008017A1 (en) Image sensor and pixel correction method
US20060125939A1 (en) Circuit and method for detecting pixel defect
US8625007B2 (en) Image pickup apparatus, image combination method, and computer program
US20110234824A1 (en) Image processing method and device
US9832400B2 (en) Image sensor and method of sensing image
US9106853B2 (en) Solid-state imaging device
US20060176382A1 (en) Image sensor for reducing vertically-striped noise
KR101133687B1 (ko) 이미지 센서 및 그 동작 방법
KR101133684B1 (ko) 이미지 센서 및 그 동작 방법
US10009562B1 (en) Image sensor including active pixel area and dark pixel area correction
US20230007158A1 (en) Image processing apparatus, image processing method, and computer readable medium
US8497923B2 (en) Method of processing image signals using interpolation to address bad pixel data and related method of image capture
JP2008301474A5 (ko)
JP2004062103A (ja) 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
US10616451B2 (en) Image processing devices and methods for operating the same
US20120206629A1 (en) Image capturing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee