KR20050011781A - 마스킹 블록의 설정방법 - Google Patents

마스킹 블록의 설정방법 Download PDF

Info

Publication number
KR20050011781A
KR20050011781A KR1020030050718A KR20030050718A KR20050011781A KR 20050011781 A KR20050011781 A KR 20050011781A KR 1020030050718 A KR1020030050718 A KR 1020030050718A KR 20030050718 A KR20030050718 A KR 20030050718A KR 20050011781 A KR20050011781 A KR 20050011781A
Authority
KR
South Korea
Prior art keywords
masking block
masking
setting
lens
block
Prior art date
Application number
KR1020030050718A
Other languages
English (en)
Other versions
KR100579456B1 (ko
Inventor
서성하
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030050718A priority Critical patent/KR100579456B1/ko
Publication of KR20050011781A publication Critical patent/KR20050011781A/ko
Application granted granted Critical
Publication of KR100579456B1 publication Critical patent/KR100579456B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, 마스킹 블록의 설정방법에 관한 것으로, 예를 들어 줌 렌즈가 구비된 감시용 카메라에서, 씨씨디(CCD)의 중심 축과 렌즈(Lens)의 광축간의 이격거리에 해당하는 오프셋(Offset) 값을 산출하여 메모리에 저장함과 아울러, 상기 감시용 카메라에 의해 프라이버시 마스킹(Privacy Masking) 처리 동작을 수행하던 도중, 줌 배율이 가변되는 경우, 현재의 줌 배율과, 상기 메모리에 저장된 오프셋 값을 참조하여, 촬영 영상 내의 특정 피사체에 중첩 표시되는 마스킹 블록을 확대 출력함으로써, 제조 공정 상의 오류 등으로 인해 씨씨디의 중심 축이 렌즈의 광축에 일치하지 않는 상태로 실장되어 있는 경우에도, 줌 동작에 의해 비정상적으로 확대된 특정 피사체에 적합한 마스킹 블록을 생성 표시할 수 있게 되어, 프라이버시 보호가 요구되는 특정 피사체의 일부분이 줌 동작으로 인해 노출 표시되는 것을 효율적으로 예방할 수 있게 되는 매우 유용한 발명인 것이다.

Description

마스킹 블록의 설정방법 {Method for setting a masking block}
본 발명은, 마스킹 블록의 설정방법에 관한 것으로, 예를 들어 줌 렌즈가 구비된 감시용 카메라에서, 특정 피사체에 대한 프라이버시 마스킹(Privacy Masking) 처리를 수행하는 경우, 렌즈의 광축과 씨씨디 중심 축간의 오프셋 값을 반영하여, 줌 동작에 의해 확대된 특정 피사체에 대한 마스킹 처리가 정상적으로 수행될 수 있도록 하기 위한 마스킹 블록의 설정방법에 관한 것이다.
도 1은, 일반적인 감시용 카메라에 대한 구성을 도시한 것으로, 예를 들어 줌 배율 조절이 가능한 감시용 카메라에는, 줌 렌즈(10), 포커스 렌즈(11), 아이리스(Iris)(12), 씨씨디(CCD: Charge Coupled Device)(13), A/D 변환기(14), 디지털 신호처리부(15), 제어부(16), 그리고 메모리(18)가 포함 구성된다.
또한, 상기와 같이 구성되는 감시용 카메라에는, 촬영 영상 내에 포함된 특정 피사체에 대한 프라이버시(Privacy)를 보호하기 위하여, 모자이크(Mosaic) 이미지 등과 같은 마스킹 블록을 중첩 표시하기 위한 마스킹 생성부(17)가 더 포함 구성된다.
예를 들어, 도 2에 도시한 바와 같이, 1 배 줌 상태(Zoom Status = x1)에서 촬영되는 감시용 비디오 영상 내에, A,B,C,D,E 피사체가 각각 포함됨과 아울러, 중앙에 표시된 A 피사체에 대한 프라이버시 보호가 요청되는 경우, 상기 제어부(16)에서는, 사용자의 키 입력에 의해, 소정 크기의 마스킹 블록이, 상기 A 피사체에 중첩 표시되도록, 상기 마스킹 생성부(17)를 동작 제어하게 된다.
즉, 마스킹 블록이 중첩 표시될 시작 위치 좌표 값(Xs,Ys)과 끝 위치 좌표 값(Xe,Ye)을 사용자가 선택 지정하는 경우, 그 값들을 참조하여, 상기 마스킹 생성부(17)를 동작 제어함으로써, 도 2에 도시한 바와 같이, 소정 크기의 마스킹 블록을 A 피사체 영상에 중첩 표시하여, 감시용 비디오 영상 내에 A 피사체가 표시되지 않도록 하는 일련의 동작을 수행하게 된다.
한편, 상기 제어부(16)에서는, 사용자의 키 입력 등에 의해, 상기 줌 렌즈(10)의 위치를 가변 이동시켜, 줌 배율을 변경시키는 경우, 예를 들어 도 3에 도시한 바와 같이, 1 배 줌 상태(Zoom Status = x1)에서 16 배 줌 상태(Zoom Status = x16)로 가변시키는 경우, 줌 배율 증가에 의해 확대되는 A 피사체에 중첩 표시되는 소정 크기의 마스킹 블록을 확대하기 위하여, 현재의 줌 배율을 확인한 후, 상기 마스킹 생성부(17)를 동작 제어하여, 마스킹 블록의 크기를 확대시키는 일련의 동작을 수행하게 된다.
그러나, 상기 씨씨디(13)가 인쇄회로기판(PCB)에 부정확하게 실장되는 경우, 예를 들어 도 4에 도시한 바와 같이, 씨씨디의 중심 축이 렌즈의 광축과 일치되도록 인쇄회로기판에 실장되어야 함에도 불구하고, 제조 공정 상의 오류로 인해 씨씨디의 중심 축이 렌즈의 광축에 일치하지 않는 상태로 실장되는 경우에는, 도 5에 도시한 바와 같이, 줌 배율을 증가시키게 되면, 확대 표시되는 A 피사체가 감시용 비디오 영상의 중심에서 벗어난 상태로 확대된다.
이에 따라, 줌 배율 증가에 의해 확대 표시되는 마스킹 블록은, 사용자에 의해 설정된 크기보다 더 큰 사이즈로 확대되되, 이전 마스킹 블록의 중심(P)을 기준으로 단순히 확대되기 때문에, 이전 보다 넓은 범위의 시작 위치 좌표 값(Xs',Ys')과 끝 위치 좌표 값(Xe',Ye')으로 확대되더라도, 실제로 줌 동작에 의해 확대된 A 피사체의 전체를 모두 블록킹할 수 없게 되므로, 프라이버시 보호가 요구되는 A 피사체의 일부분이 감시용 비디오 영상에 노출 표시되는 문제점이 발생하게 된다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 예를 들어 줌 렌즈가 구비된 감시용 카메라에서, 감시용 비디오 영상 내에 포함 표시되는 특정 피사체에 대한 프라이버시 마스킹 처리를 수행하는 경우, 렌즈의 광축과 씨씨디 중심 축간의 이격거리에 해당하는 오프셋 값을 반영하여, 줌 동작에 의해 비정상적으로 확대된 특정 피사체에 적합한 마스킹 블록이 중첩 표시될 수 있도록 하기 위한 마스킹 블록의 설정방법을 제공하는 데, 그 목적이 있는 것이다.
도 1은 일반적인 감시용 카메라에 대한 구성을 도시한 것이고,
도 2 내지 도 5는 일반적인 감시용 카메라에서의 프라이버시 마스킹 처리 과정에 대한 실시예를 도시한 것이고,
도 6은 본 발명에 따른 마스킹 블록의 설정 과정에 대한 실시예를 도시한 것이고,
도 7은 본 발명에 따른 마스킹 블록의 설정방법에 대한 동작 흐름도를 도시한 것이다.
※ 도면의 주요부분에 대한 부호의 설명
10 : 줌 렌즈 11 : 포커스 렌즈
12 : 아이리스 13 : 씨씨디
14 : A/D 변환기 15 : 디지털 신호처리부
16 : 제어부 17 : 마스킹 생성부
18 : 메모리
상기와 같은 목적을 달성하기 위한 본 발명에 따른 마스킹 블록의 설정방법은, 씨씨디의 중심 축과 렌즈의 광축간의 이격거리를 검출하는 1단계; 및 화면 조정 배율에 따라, 기 저장된 오프셋 값을 참조하여 마스킹 블록을 중첩 표시하는 2단계를 포함하여 이루어지는 특징으로 한다.
이하, 본 발명에 따른 마스킹 블록의 설정방법에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.
우선, 본 발명에 따른 프라이버시 마스킹 처리방법은, 도 1을 참조로 전술한바와 같이, 줌 렌즈가 구비된 감시용 카메라에 적용될 수 있는 것으로, 상기 제어부(16)에서는, 사용자의 키 입력 등에 의해, 상기 줌 렌즈(10)의 위치를 가변 이동시켜, 줌 배율을 변경시키는 경우, 예를 들어 도 6에 도시한 바와 같이, 1 배 줌 상태(Zoom Status = x1)에서 16 배 줌 상태(Zoom Status = x16)로 가변시키는 경우, 줌 배율 증가에 의해 확대되는 A 피사체에 적합한 마스킹 블록을 표시하기 위하여, 현재의 줌 배율을 확인하게 된다.
또한, 상기 제어부(16)에서는, 상기 씨씨디(13)가 인쇄회로기판(PCB)에 부정확하게 실장되더라도, 상기 씨씨디의 중심 축과 렌즈의 광축간의 이격거리에 해당하는 오프셋(Offset) 값을 반영하여, 도 6에 도시한 바와 같이, 줌 동작에 의해 비정상적으로 확대 표시되는 A 피사체에 적합한 마스킹 블록의 시작 위치 좌표 값(Xs',Ys')과 끝 위치 좌표 값(Xe',Ye')을 산출한 후, 그에 해당하는 마스킹 블록이 중첩 표시되도록, 상기 마스킹 생성부(17)를 동작 제어하게 되는 데, 이에 대해 상세히 설명하면 다음과 같다.
도 7은, 본 발명에 따른 마스킹 블록의 설정방법에 대한 동작 흐름도를 도시한 것으로, 예를 들어 상기 제어부(16)에서는, 도 4를 참조로 전술한 바와 같이,씨씨디의 중심 축이 렌즈의 광축과 일치되도록 인쇄회로기판에 정상적으로 실장되어 있는 지를 확인하기 위하여, 사용자의 키 입력 등에 의해 줌 렌즈의 위치를 최소 줌(Mini_Zoom) 렌즈 위치인 와이드 엔드(Wide_End)로 이동시킨 후, 사용자가 선택 지정하는 마스킹 블록의 시작 위치 좌표 값(Xs,Ys)과 끝 위치 좌표 값(Xe,Ye)을 참조하여, 상기 마스킹 생성부(17)를 동작 제어하게 된다(S10).
그리고, 상기 마스킹 생성부(17)에서는, 상기 제어부의 동작 제어에 따라, 상기 시작 위치 좌표 값(Xs,Ys)과 끝 위치 좌표 값(Xe,Ye)에 일치하는 소정 크기의 마스킹 블록을 특정 피사체, 예를 들어 도 2에 도시한 바와 같이, 감시용 비디오 영상 내에 포함 표시되는 A,B,C,D,E 피사체들 중, 중앙에 표시된 A 피사체에 중첩 표시하여, 감시용 비디오 영상 내에 A 피사체가 표시되지 않도록 하는 일련의 동작을 수행하게 된다(S11).
또한, 상기 제어부(16)에서는, 사용자의 키 입력 등에 의해, 상기 줌 렌즈(10)의 위치를 최대 줌(Max_Zoom) 위치인 텔레 엔드(Tele_End)로 이동시킴과 아울러, 상기 마스킹 생성부(17)를 동작 제어하여, 현재의 줌 배율, 예를 들어 16 배 줌 상태(Zoom Status = x16)로 확대된 A 피사체에 적한한 크기의 마스킹 블록을 확대 표시하게 된다(S12).
한편, 사용자는, 상기와 같은 일련의 과정을 통해 확대 표시되는 마스킹 블록에 의해, 상기 A 피사체가 정상적으로 모두 블록킹되는지를 확인하게 되는 데, 예를 들어 씨씨디가 인쇄회로기판에 부정확하게 실장되어, 도 6에 도시한 바와 같이, 상기 마스킹 블록에 의해 A 피사체가 모두 블록킹되지 않는 경우, 즉 마스킹처리가 정상적으로 이루어지지 않는 경우(S13), 상기 마스킹 블록의 표시 위치를 가변 조정하게 된다(S14).
그리고, 상기 제어부(16)에서는, 사용자에 의해 가변 조정되는 마스킹 블록의 시작 위치 좌표 값(Xs',Ys')과 끝 위치 좌표 값(Xe',Ye')을, 이전에 지동으로 확대 표시되었던 마스킹 블록의 시작 위치 좌표 값 및 끝 위치 좌표 값과 비교하여, 그 차 값을 산출하게 되고(S15), 상기 산출된 차 값을 씨씨디의 중심 축과 렌즈의 광축간의 오프셋(Offset) 값으로 설정하여, 상기 메모리(18)에 저장 관리하게 된다(S16).
한편, 상기와 같은 마스킹 블록 조정 동작 없이, 텔레 엔드에서 자동으로 확대 표시되는 마스킹 블록이, 줌 동작에 의해 확대 표시되는 A 피사체를 정상적으로 모두 블록킹하게 되는 경우, 상기 제어부(16)에서는, 사용자의 확인 키 등에 의해, 상기 씨씨디의 중심 축과 렌즈의 광축간의 오프셋 값을 영(Zero)으로 설정하여, 상기 메모리에 저장 관리하게 된다(S17).
그리고, 상기 메모리(18)에 오프셋 값이 저장된 상태에서, 마스킹 블록을 생성 표시하게 되는 경우(S18), 상기 제어부(16)에서는, 현재의 줌 배율을 확인함과 아울러, 상기 오프셋 값을 검색 참조하여, 그 오프셋 값이 반영된 마스킹 블록의 시작 위치 좌표 값과 끝 위치 좌표 값을 산출한 후, 상기 마스킹 생성부(17)를 동작 제어하게 된다.
또한, 상기 마스킹 생성부(17)에서는, 도 6에 도시한 바와 같이, 줌 동작에 의해 확대 표시되는 A 피사체를 모두 블록킹 처리할 수 있도록, 상기 A 피사체에적합한 마스킹 블록을 생성 표시하는 일련의 동작을 수행하게 되며(S19), 이후 상기 제어부(16)에서는, 사용자의 키 입력 등에 의해, 상기와 같은 마스킹 처리 동작의 종료가 요청되는 경우, 상기 마스킹 생성부(17)를 동작 제어하여, 마스킹 블록이 중첩 표시되지 않은 상태에서, 오리지널 감시용 비디오 영상이 출력 표시될 수 있도록 한다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
상기와 같이 구성 및 이루어지는 본 발명에 따른 마스킹 블록의 설정방법은, 줌 렌즈가 구비된 감시용 카메라에서, 씨씨디의 중심 축과 렌즈의 광축간의 이격거리에 해당하는 오프셋 값을 산출하여 메모리에 저장함과 아울러, 상기 감시용 카메라에 의해 프라이버시 마스킹 처리 동작을 수행하던 도중, 줌 배율이 가변되는 경우, 현재의 줌 배율과, 상기 메모리에 저장된 오프셋 값을 참조하여, 촬영 영상 내의 특정 피사체에 중첩 표시되는 마스킹 블록을 확대 출력함으로써, 제조 공정 상의 오류 등으로 인해 씨씨디의 중심 축이 렌즈의 광축에 일치하지 않는 상태로 실장되어 있는 경우에도, 줌 동작에 의해 비정상적으로 확대된 특정 피사체에 적합한마스킹 블록을 생성 표시할 수 있게 되어, 프라이버시 보호가 요구되는 특정 피사체의 일부분이 줌 동작으로 인해 노출 표시되는 것을 효율적으로 예방할 수 있게 되는 매우 유용한 발명인 것이다.

Claims (4)

  1. 씨씨디의 중심 축과 렌즈의 광축간의 이격거리를 검출하는 1단계; 및
    화면 조정 배율에 따라, 기 저장된 오프셋 값을 참조하여 마스킹 블록을 중첩 표시하는 2단계를 포함하여 이루어지는 특징으로 하는 마스킹 블록의 설정방법.
  2. 제 1항에 있어서,
    줌 렌즈가 와이드 엔드에서 텔레 엔드 상태로 가변됨에 따라 자동으로 확대 표시되는 마스킹 블록의 시작/끝 위치 좌표 값과, 상기 텔레 엔드 상태에서, 사용자의 키 입력에 의해 가변 조정되는 마스킹 블록의 시작/끝 위치 좌표 값을 비교한 후, 그 차 값을 오프셋 값으로 설정하여 비휘발성 메모리에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 마스킹 블록의 설정방법.
  3. 제 1항에 있어서,
    줌 렌즈가 와이드 엔드에서 텔레 엔드 상태로 가변됨에 따라 자동으로 확대 표시되는 마스킹 블록이, 감시용 비디오 영상 내의 특정 피사체를 모두 블록킹한 상태에서, 사용자의 확인 키가 입력되는 경우, 오프셋 값을 영(Zero)으로 설정하여, 비휘발성 메모리에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 마스킹 블록의 설정방법.
  4. 제 1항에 있어서,
    상기 2단계는, 현재의 줌 배율과, 메모리에 저장된 오프셋 값을 참조하여, 마스킹 블록을 소정 크기로 가변함과 아울러, 상기 특정 피사체가 가변 표시되는 위치에 상응하는 임의의 시작/끝 위치 좌표에, 마스킹 블록을 중첩 표시하는 것을 특징으로 하는 마스킹 블록의 설정방법.
KR1020030050718A 2003-07-23 2003-07-23 마스킹 블록의 설정방법 KR100579456B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030050718A KR100579456B1 (ko) 2003-07-23 2003-07-23 마스킹 블록의 설정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030050718A KR100579456B1 (ko) 2003-07-23 2003-07-23 마스킹 블록의 설정방법

Publications (2)

Publication Number Publication Date
KR20050011781A true KR20050011781A (ko) 2005-01-31
KR100579456B1 KR100579456B1 (ko) 2006-05-12

Family

ID=37223719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030050718A KR100579456B1 (ko) 2003-07-23 2003-07-23 마스킹 블록의 설정방법

Country Status (1)

Country Link
KR (1) KR100579456B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1847956A1 (en) * 2005-02-07 2007-10-24 NEC Corporation Image processing device
WO2014157830A1 (ko) * 2013-03-26 2014-10-02 삼성테크윈 주식회사 프라이버시 마스크 처리 방법
US9160197B2 (en) 2011-12-23 2015-10-13 Samsung Electronics Co., Ltd. Apparatus for generating and storing electric energy

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1847956A1 (en) * 2005-02-07 2007-10-24 NEC Corporation Image processing device
US8005317B2 (en) 2005-02-07 2011-08-23 Nec Corporation Protected image resolution conversion
EP1847956A4 (en) * 2005-02-07 2013-01-09 Nec Corp IMAGE PROCESSING DEVICE
US9160197B2 (en) 2011-12-23 2015-10-13 Samsung Electronics Co., Ltd. Apparatus for generating and storing electric energy
WO2014157830A1 (ko) * 2013-03-26 2014-10-02 삼성테크윈 주식회사 프라이버시 마스크 처리 방법
GB2527235A (en) * 2013-03-26 2015-12-16 Hanwha Techwin Co Ltd Privacy mask processing method
US9794517B2 (en) 2013-03-26 2017-10-17 Hanwha Techwin Co., Ltd. Privacy masking method
GB2527235B (en) * 2013-03-26 2019-12-25 Hanwha Techwin Co Ltd Privacy masking method

Also Published As

Publication number Publication date
KR100579456B1 (ko) 2006-05-12

Similar Documents

Publication Publication Date Title
US20180070010A1 (en) Image capturing apparatus and image zooming method thereof
US20090028540A1 (en) Auto-focusing optical apparatus with focus detection area setting capability
KR20050048781A (ko) 감시용 카메라에서의 프라이버시 마스킹 설정방법
KR101109582B1 (ko) 영상 확대/축소 위치 제어 장치 및 방법
JP2001159730A (ja) 電子カメラ
US7847837B2 (en) Imagine pickup device and imagine pickup method
JP3420542B2 (ja) 光学装置、光学装置駆動ユニットおよびカメラシステム
KR100664350B1 (ko) 프라이버시 마스크 표시 제어방법
JPH1123949A (ja) 撮影レンズの画角補正装置
KR100579456B1 (ko) 마스킹 블록의 설정방법
KR100579458B1 (ko) 마스킹 블록의 배율 조정방법
KR100579459B1 (ko) 마스킹 블록의 배율 조정방법
KR20060133265A (ko) 프라이버시 마스크 표시 제어 방법 및 장치
JPH05191703A (ja) 撮像装置
JP3859590B2 (ja) 投射装置及びそのフォーカス調整方法
JP2006171145A (ja) カメラ
KR100579457B1 (ko) 마스킹 블록의 설정방법
JP2006201568A (ja) 手ぶれ検出可能なカメラ
KR100525868B1 (ko) 마스킹 블록의 세팅방법
JP3983534B2 (ja) 撮像装置
KR20050011034A (ko) 마스킹 블록의 세팅방법
WO2023189829A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2010103669A (ja) 撮像装置
JP2010183364A (ja) 撮像装置
JPH11281873A (ja) カメラのレンズ操作装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090331

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee