KR980013284A - 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치 - Google Patents

비데오카메라의 줌(zoom)기능 수행방법 및 그 장치 Download PDF

Info

Publication number
KR980013284A
KR980013284A KR1019960030892A KR19960030892A KR980013284A KR 980013284 A KR980013284 A KR 980013284A KR 1019960030892 A KR1019960030892 A KR 1019960030892A KR 19960030892 A KR19960030892 A KR 19960030892A KR 980013284 A KR980013284 A KR 980013284A
Authority
KR
South Korea
Prior art keywords
focus
signal
zooming
video camera
microcomputer
Prior art date
Application number
KR1019960030892A
Other languages
English (en)
Other versions
KR100197609B1 (ko
Inventor
황덕원
Original Assignee
김광호
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자 주식회사 filed Critical 김광호
Priority to KR1019960030892A priority Critical patent/KR100197609B1/ko
Priority to JP9194263A priority patent/JP2934213B2/ja
Priority to CN97114787A priority patent/CN1072425C/zh
Priority to US08/901,409 priority patent/US6654053B1/en
Publication of KR980013284A publication Critical patent/KR980013284A/ko
Application granted granted Critical
Publication of KR100197609B1 publication Critical patent/KR100197609B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Lens Barrels (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 발명은 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치에 관한 것이다. 본 발명의 비데오카메라는 사용자에 의해 망원(고배율)상태가 선택되어 줌렌즈를 줌잉하며, 그때의 초점상태를 체크하여 초점이 맞으면 포커스위치를 메모리하면서 줌잉하고, 초점이 맞지 않으면 메모리한 포커스위치로 포커싱한 후 광학적인 줌잉 대신에 디지털 줌잉을 수행한다. 따라서, 본 발명은 줌렌즈를 줌잉시 오토포커싱을 하더라도 일정 고배율 이상의 범위에서 가까운 거리의 피사체 초점이 흩으러지는 것을 방지할 수 있는 효과를 제공한다.

Description

비데오카메라의 줌(zoom)기능 수행방법 및 그 장치
본 발명의 목적은 비데오카메라(Video Camera)에서 렌즈의 고배율 상태에서 가까운 거리의 피사체 초점이 흐트러지지 않도록 초점이 맞은 상태에서 줌렌즈를 고정하고 디지탈 줌잉하는 비데오카메라의 줌(zoom)기능 수행방법을 제공함에 있다.
본 발명의 다른 목적은 전술한 비데오카메라의 줌(zoom)기능 수행방법을 구현하기 위한 장치를 제공함에 있다.
본 발명은 비데오카메라의 줌기능 수행에 관한 것으로서, 특히 줌렌즈를 줌잉시 일정 고배율 이상의 범위에서 오토포커싱을 하더라도 가까운 거리의 피사체 초점이 흩으러지는 것을 방지하기 위한 비데오카메라의 줌기능 수행방법 및 그 장치에 관한 것이다.
최근 일반가정에도 널리 보급되어 있는 비데오카메라에는 2∼10배의 줌렌즈가 사용되고 있다. 줌렌즈는 광각에서 망각까지 렌즈의 초점거리를 연속해서 변화시킬 수 있는데, 이것을 줌잉(Zooming)이라고 한다. 줌렌즈는 어느 피사체에 핀트를 맞추어 놓고 줌잉하면 핀트가 어긋나지 않고 화상의 크기를 자유자재로 바꿀 수있다. 비데오카메라는 또한, 오토포커스식의 줌렌즈를 사용한다. 오토포커스(Auto Focus:AF)는 카메라를 피사체로 향하면 자동적으로 핀트를 정확히 맞추도록 하는 기본원리를 전제로 한다. 비데오, 카메라용의 AF기구에 대해서는, "川口直樹地, 「오토기능(AF, AE, AWB)」 텔레비젼 학회지 Vol.49, No.2, pp.145∼149"에 그내용이 구체적으로 기재되어 있다. 이와 같은 오토포커스식 줌렌즈의 종래 줌잉방법을 도 1에 개략적으로 도시 하였다.
도 1은 종래 비데오카메라의 줌기능 수행방법을 설명하기 위한 흐름도이다.
도 1에서, 사용자는 비데오카메라에 부착되어 있는 T/W(Telephoto/ wide-angle)스위치를 통해 렌즈의 배율을 광각(Wide) 또는 망원(Tele)상태로 변화시킬 수 있다. 즉, T/W스위치에서 광각상태가 선택된 경우 화면이 점차 멀어지게 되고, 망원상태가 선택된 경우 화면이 점차 가까워지게 된다 비데오카메라에서는 초점(FOCUS)을 조정할 때 처음에 줌인(Zoom in)을 하지 않고 초점을 맞추면 촬영할 때 줌아웃(Zoom out)을 하면 초점이 맞지 않을 수 있다. 그래서, 초점을 조정할 때 비데오카메라에서는 사용자가 T/W스위치를 통해 렌즈의 배율을 망원상태로 선택했는 지를 판단한다(단계 101). 비데오카메라는 렌즈 배율이 망원상태로 선택되면 줌모터를 구동하여 줌렌즈를 줌인방향으로 줌잉한다(단계 102), 비데오카메라는 줌잉시 포커스렌즈 위치가 변하므로 AF모터를 구동하여 포커스렌즈를 자동 조정하므로써 현재 줌상태에서 피사체의 초점이 정확하게 맞도록 포커싱한다(단계 103).
하지만, 일정배율 이상의 고배율로 줌잉하는 경우 오토포커싱을 하더라도 포커스렌즈 위치가 변하여 피사체의 초점이 흩으러지는 문제가 있었다. 이는 디지털 줌기능을 통해 20배까지 고배율화할 수 있는 최근 추세의 비데오카메라에서는 해결이 불가피하게 되었다.
도 1은 종래 비데오카메라의 줌기능 수행방법을 설명하기 위한 흐름도,
도 2는 본 발명에 의한 비데오카메라의 줌기능 수행방법을 설명하기 위한 흐름도,
도 3은 도 2 방법의 장치도,
* 도면의 주요 부분에 대한 부호의 설명
31 : 렌즈부, 32 : 고체촬상소자(CCD), 33 : 신호처리부, 34 : T/W스위치, 35 : 마이콤, 36 : 줌모터, 37 : 오토포커스(AF)모터, 38 : 메모리
따라서, 본 발명에 따른 비데오카메라외 줌기능 수행방법은, (1) 렌즈의 배율이 망원상태에서 광학적인 줌잉을 수행하면서 초점이 맞는 지를 판단하는 단계와, (2) 판단결과 초점이 맞으면 그때의 포커스위치를 저장하는 단계와, (3) 판단결과 초점이 맞지 않으면 직전에 저장한 포커스위치로 포커싱하는 단계, 및 (4) 포커싱완료후 광학적인 줌잉 대신에 전자적인 디지탈줌잉을 수행하는 단계를 포함한다.
또한, 본 발명에 따른 비데오카메라의 줌기능 수행장치는, 렌즈의 배율을 선택하기 위한 T/W스위치와, 상기 T/W스위치의 배율선택신호에 따라 각 구성의 동작을 제어하며, 선택된 렌즈의 배율이 망각상태인 경우 줌잉시의 초점이 맞는 지를 판단하여 일정 고배율 이상의 범위에서 초점이 흩으러지기 직전에 광학적인 줌잉 대신에 디지탈 줌잉을 수행시키는 마이콤과, 상기 마이콤의 판단에서 초점이 맞으면 그때의 포커스위치를 저장하는 메모리, 및 렌즈를 통해 입력되는 영상신호로부터 초점신호검파 및 디지탈 줌잉의 신호처리를 수행하여 출력하는 신호처리부를 포함한다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 기술하기로 한다.
도 2는 본 발명에 의한 비데오카메라의 줌기능 수행방법을 설명하기 위한 흐름도이고, 도 3은 도 2 방법의 장치도이다. 도시된 바와 같이, 본 발명의 장치는 줌렌즈와 포커스렌즈를 갖춘 렌즈부(31)와, 렌즈부(31)로부터 입력되는 영상신호를 광전변환하기 위한 고체 촬상소자(Charge Coupled Device: CCD)(32), 및 고체촬상소자(32)로부터 인가받는 신호를 초점신호 검파 및 디지탈 줌잉 등의 필요한 신호처리를 하여 출력하는 신호처리부(33)를 구비하고 있다. 본 발명의 장치는 또한, 줌렌즈의 배율을 선택하기 위한 T/W스위치(34)와, T/W스위치(34)로부터 배율선택신호를 입력받고 신호처리부(33)로부터 초점신호를 입력받는 마이콤(35)을 구비하고 있다. 마이콤(35)에는 렌즈부(31)의 광학적인 줌잉을 제어하는 줌모터(36)와 오토포커싱을 제어하는 AF모터(37)가 연결되며, 디지탈줌잉을 제어할 수 있도록 신호처리부(33)도 연결된다. 마이콤(35)에는 또한 줌잉시 초점이 맞은 포커스상태를 저장하기 위한 메모리(38)가 연결되도록 구성된다.
이와 같이 구성된 본 발명에 따른 비데오카메라의 줌기능 수행장치에 대한 동작을 좀더 구체적으로 설명한다.
먼저, 사용자는 T/W스위치(34)를 통해 원하는 렌즈의 배율을 선택하는 신호를 입력한다. T/W스위치(34)의 배율선택신호를 인가받는 마이콤(35)은 선택된 배율에 맞게 줌모터(35)와 AF모터(37)를 구동한다. 줌모터(36)는 렌즈부(31)내의 줌렌즈를 줌잉하고, AF모터(37)는 렌즈부(31)내의 포커스렌즈 위치를 조정하여 초점을 맞춘다. 한편, 렌즈부(31)를 통해 입력되는 피사체로부터의 광신호는 고체촬상소자(32)를 통해 광전변환된다. 광전변환된 영상신호는 신호처리부(33)에서 필요한 신호처리가 이루어진 후 뒷단으로 출력되어 기록매체에 기록되거나 전자뷰파인더 등의 모니터에 디스플레이된다.
만약, 사용자가 T/W스위치(34)를 통해 고배율의 망원상태를 선택한 경우에 마이콤(35)은 도 2에 도시된 과정을 차례로 수행한다.
도 2에서, 사용자가 T/W스위치(34)를 통해 배율을 선택하면 마이콤(35)은 T/W스위치(34)로부터 입력되는 배율선택신호가 '망원(Tele)'상태인지를 판단한다(단계 201). 마이콤(35)은 배율선택신호가 망원상태이면 그 고배율에 맞도록 줌모터(36)를 구동하여 렌즈부(31)내의 줌렌즈를 광학적으로 줌잉한다(단계 202), 마이콤(35)은 렌즈 줌잉시에 신호처리부(33)로부터 초점신호를 인가받아 초점이 정확하게 맞았는 지를 판단한다(단계 203). 즉, 렌즈부(31)로부터 인가되는 광신호가 고체촬상소자(32)를 통해 광전변환되어 신호처리부(33)로 인가되면, 신호처리부(33)는 광전변환된 영상신호를 하이패스필터(HPF)를 통해 필터링하여 에지성분을 추출하고 이를 초점신호로 마이콤(35)에 출력한다. 마이콤(35)은 신호처리부(33)로부터 인가되는 초점신호들을 서로 비교하여 최대가 될 때 초점이 맞았다고 판단하며, 이때의 포커스위치를 메모리(38)에 저장한다(판계 204), 그런 다음, 마이콤(35)은 줌모터(36)를 계속 구동하여 광학적인 줌잉을 수행하는 단계 202부터 단계를 반복수행한다. 한편, 단계 203에서 마이콤(35)은 광학적인 줌잉이 일정 고배율 이상의 범위를 넘어서 초점이 일치하지 않으면 AF모터(37)를 구동하여 메모리(38)에 저장한 초점이 흩으러지기 직전의 초점이 맞은 포커스위치로 포커스렌즈를 포커싱한다(단계 205), 그런 다음, 마이콤(35)은 렌즈부(31)내의 줌렌즈를 고정하고 신호처리부(33)를 제어하여 보간(Interpolation)법 등의 신호처리를 통해 디지탈줌잉한다(단계 206). 여기서, 보간법을 사용하는 디지탈줌기능에 대해서는 널리 알려졌으며, 도시바에서 1989년 텔레비젼학회지(촬상소자제어에 의한 임의배율 전자줌 검사)에 개재하였다. 그래서, 신호처리부(33)에서 출력되는 영상신호는 수평 및 수직방향 보간되어 그 크기가 전기적으로 확대된다.
상술한 바와 같이, 본 발명은 비데오카메라의 줌기능 수행방법 및 그 장치에 관한 것으로 일정배율 이상의 고배율로 줌잉시 오토포커스기능을 수행하더라도 포커스렌즈 위치가 변하여 가까운 거리의 피사체 초점이 흩으러지던 줌래에 비해서 고배율로 줌잉시 초점이 맞는 포커스위치를 기억하고, 초점이 흩으러지기 직전의 포커스위치에서 광학적인 줌잉 대신에 디지탈 줌잉하므로써 일정 고배율 이상의 범위에서도 가까운 거리의 피사체 초점이 흘으러지는 것을 방지할 수 있는 효과를 갖는다.

Claims (7)

  1. 비데오카메라의 줌(zoom)기능 수행방법에 있어서,
    (1) 렌즈의 배율이 망원상태에서 광학적인 줌잉을 수행하면서 초점이 맞는 지를 판단하는 단계:
    (2) 판단결과 초점이 맞으면 그때의 포커스위치를 저장하는 단계;
    (3) 판단결과 초점이 맞지 않으면 직전에 저장한 포커스위치로 포커싱하는 단계: 및
    (4) 포커싱완료후 광학적인 줌잉 대신에 전자적인 디지탈줌잉을 수행하는 단계를 포함하는 비데오카메라의 줌기능 수행방법.
  2. 제 1항에 있어서, 제 (1)단계에서 상기 초점판단은 렌즈를 통해 입력되는 영상신호의 에지성분을 초점신호로 추출하고, 그 초점신호가 최대가 될 때 초점이 맞았다고 판단하는 것을 특징으로 하는 비데오카메라의 줌기능 수행방법.
  3. 제 1항에 있어서, 제 (4)단계에서 상기 디지탈줌잉은 필드단위 영상신호를 수평 및 수직방향으로 보간하는 보간법을 이용하는 것을 특징으로 하는 비데오카메라의 줌기능 수행방법.
  4. 비데오카메라의 줌기능 수행장치에 있어서, 렌즈의 배율을 선택하기 위한 T/W스위치: 상기 T/W스위치의 배율선택신호에 따라 각 구성의 동작을 제어하며, 선택된 렌즈의 배율이 망각상태인 경우 줌잉시의 초점이 맞는 지를 판단하여 일정 고배율 이상의 범위에서 초점이 흩으러지기 직전에 광학적인 줌잉 대신에 디지털 줌잉을 수행시키는 마이콤 상기 마이콤의 판단에서 초점이 맞으면 그때의 커스위치를 저장하는 메모리 및 렌즈를 통해 입력되는 영상신호로확터 초점신호 검파 및 디지탈 줌잉의 신호처리를 수행하여 출력하는 신호처리부를 포함하는 비데오카메라의 줌기능 수행장치.
  5. 제 4항에 있어서, 상기 마이콤은 상기 신호처리부로부터 인가되는 초점신호들을 비교하여 최대가 될 때 초점이 맞았다고 판단하고, 그때의 포커스위치를 상기 메모리에 기억시키는 것을 특징으로 하는 비데오카메라의 줌기능 수행장치.
  6. 제 5항에 있어서, 상기 마이콤은 초점이 맞지 않으면 직전에 상기 메모리에 기억시킨 포커스위치로 포커싱시키는 것을 특징으로 하는 비데오카메라의 줌기능 수행장치.
  7. 제 4항에 있어서, 상기 신호처리부는 입력되는 영상신호를 하이패스필터링하여 에지성분을 추출하고 이를 초점신호로 상기 마이콤에 출력하며, 상기 마이콤에 의해 수평 및 수직방향으로의 보간을 통해 디지탈줌잉을 수행하는 것을 특징으로 귀는 비데오카메라의 줌기능 수행장치.
    ※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.
KR1019960030892A 1996-07-27 1996-07-27 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치 KR100197609B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019960030892A KR100197609B1 (ko) 1996-07-27 1996-07-27 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치
JP9194263A JP2934213B2 (ja) 1996-07-27 1997-07-18 ビデオズーミング方法及びこれを採用したビデオカメラ
CN97114787A CN1072425C (zh) 1996-07-27 1997-07-25 视频变焦距方法和采用该方法的摄像机
US08/901,409 US6654053B1 (en) 1996-07-27 1997-07-28 Video zooming method and video camera adopting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960030892A KR100197609B1 (ko) 1996-07-27 1996-07-27 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR980013284A true KR980013284A (ko) 1998-04-30
KR100197609B1 KR100197609B1 (ko) 1999-06-15

Family

ID=19467831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960030892A KR100197609B1 (ko) 1996-07-27 1996-07-27 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치

Country Status (4)

Country Link
US (1) US6654053B1 (ko)
JP (1) JP2934213B2 (ko)
KR (1) KR100197609B1 (ko)
CN (1) CN1072425C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110016376A (ko) * 2009-08-10 2011-02-17 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563543B1 (en) * 1998-03-31 2003-05-13 Hewlett-Packard Development Company, L.P. Digital camera and method of using same
FI114961B (fi) * 2001-12-31 2005-01-31 Nokia Corp Menetelmä ja laite kuvan muodostamiseksi elektronisessa laitteessa
IES20030443A2 (en) * 2003-06-16 2004-12-01 Fraudhalt Ltd A method and apparatus for determining if an optical disk originated from a valid source
US20050094021A1 (en) * 2003-11-03 2005-05-05 Demitry Gorlik Auto focus camera optical system
JP4478438B2 (ja) * 2003-11-25 2010-06-09 キヤノン株式会社 光学装置およびカメラシステム
KR100781272B1 (ko) 2006-02-15 2007-11-30 엘지전자 주식회사 연속 줌잉 장치 및 그 방법
US7783184B2 (en) 2006-02-15 2010-08-24 Lg Electronics Inc. Optical zoom tracking apparatus and method, and computer-readable recording medium for performing the optical zoom tracking method
JP4262263B2 (ja) * 2006-06-07 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法
CN101201530B (zh) * 2006-12-11 2010-05-19 华晶科技股份有限公司 执行自动对焦的方法及其数字影像检索装置
US8593537B2 (en) * 2008-06-05 2013-11-26 Canon Kabushiki Kaisha Image sensing apparatus, control method thereof, and program for suppressing image deterioration caused by foreign substance
KR101594000B1 (ko) * 2009-12-02 2016-02-26 삼성전자주식회사 포커스 렌즈의 이동 방향을 결정하는 오토포커싱 방법, 상기 방법을 기록한 기록 매체, 오토포커싱 장치
JP5757099B2 (ja) 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
JP6300550B2 (ja) * 2014-02-07 2018-03-28 キヤノン株式会社 自動合焦装置、および自動合焦方法
CN109426060A (zh) * 2017-08-21 2019-03-05 深圳光峰科技股份有限公司 投影仪自动调焦方法及投影仪

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867217A (en) * 1992-01-08 1999-02-02 Canon Kabushiki Kaisha Photographing apparatus and lens position control device
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110016376A (ko) * 2009-08-10 2011-02-17 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
KR100197609B1 (ko) 1999-06-15
CN1172264A (zh) 1998-02-04
CN1072425C (zh) 2001-10-03
JP2934213B2 (ja) 1999-08-16
US6654053B1 (en) 2003-11-25
JPH1079880A (ja) 1998-03-24

Similar Documents

Publication Publication Date Title
US5867217A (en) Photographing apparatus and lens position control device
US6850280B2 (en) Automatic focus adjusting device with distance measuring area selection based on discrimination of a state of focus
KR100197609B1 (ko) 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치
JPH1042183A (ja) 撮像装置
JP2008170508A (ja) 撮像装置
US6166770A (en) Camera focus control according to extraction range size and/or zoom rate
JP4318024B2 (ja) オートフォーカスシステム
JP4740074B2 (ja) 撮像装置及び撮像方法
JP2006163279A (ja) カメラ装置、及びレンズ制御方法
JPH05191701A (ja) 撮影装置あるいはレンズ位置制御装置
JP2004093776A (ja) カメラ
JP4077892B2 (ja) 自動焦点調節方法及び装置
US5699116A (en) Camera apparatus
JP3513180B2 (ja) 撮像装置
JP2006215285A (ja) オートフォーカスシステム
JPH10322586A (ja) カメラ一体型ビデオテープレコーダ
JP3604825B2 (ja) 自動焦点調節方法及び自動焦点調節装置
JP3689497B2 (ja) 自動焦点調節方法及び装置
JPH06339059A (ja) 自動焦点調節装置
JP2670197B2 (ja) オートフォーカス装置
JP2005249870A (ja) 撮像装置及び撮像方法
JP4478438B2 (ja) 光学装置およびカメラシステム
JPH0946572A (ja) 撮像装置
JP2004085674A (ja) オートフォーカスシステム
JPH1010413A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080130

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee