KR0166253B1 - Method of generating video of a far and near topography - Google Patents

Method of generating video of a far and near topography Download PDF

Info

Publication number
KR0166253B1
KR0166253B1 KR1019950013986A KR19950013986A KR0166253B1 KR 0166253 B1 KR0166253 B1 KR 0166253B1 KR 1019950013986 A KR1019950013986 A KR 1019950013986A KR 19950013986 A KR19950013986 A KR 19950013986A KR 0166253 B1 KR0166253 B1 KR 0166253B1
Authority
KR
South Korea
Prior art keywords
terrain
image
perspective
viewpoint
data
Prior art date
Application number
KR1019950013986A
Other languages
Korean (ko)
Other versions
KR960042462A (en
Inventor
조홍규
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950013986A priority Critical patent/KR0166253B1/en
Publication of KR960042462A publication Critical patent/KR960042462A/en
Application granted granted Critical
Publication of KR0166253B1 publication Critical patent/KR0166253B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 원근 지형의 영상 재생 방법에 관한 것으로, 지형의 고도 데이타가 음양감을 갖게 하기 위해 지형의 밝기와 그림자를 넣는 단계(S1)와; 시각점이 평면상에 있다고 가정하고 시각의 진행 방향이 평행이 되도록 지형을 사다리꼴로 변형하는 단계(S2); 평행한 진행 방향을 가지는 시각을 따라 지형의 영상을 계산하는 단계(S3); 시각점을 원 시점으로 옮겨 지형의 영상을 원근 영상이 되게 보상하는 단계(S4) 및; 지형의 영상을 디스플레이하는 단계(S5)로 순차 동작하여, 원근 지형의 영상을 생성하므로 그 속도가 빠를뿐만아니라 소프트웨어적으로 처리할 수 있는 것이다.The present invention relates to a method for reproducing an image of a perspective terrain, comprising: adding brightness and a shadow of the terrain so as to make the altitude data of the terrain sound; Assuming that the viewpoint is on a plane, transforming the terrain into a trapezoid such that the traveling direction of the vision is parallel (S2); Calculating an image of the terrain along a time point having parallel advancing directions (S3); Compensating an image of the terrain to be a perspective image by moving the viewpoint to the original viewpoint (S4); In step S5 of displaying an image of the terrain, the image is generated in perspective, so that the speed is fast and the software can be processed.

Description

원근지형의 영상 생성 방법(A method of generating video of a far and near topography)A method of generating video of a far and near topography

제1도는 관찰자의 시각 방향에 따른 지형의 영사 평면을 도시한 개략도.1 is a schematic diagram showing the projection plane of the terrain according to the viewer's viewing direction.

제2도는 종래의 원근지형의 영상 생성 방법의 흐름도.2 is a flowchart of a conventional perspective image generation method.

제3도는 본 발명에 따른 원근지형의 영상 생성 방법의 흐름도.3 is a flowchart of a perspective image generating method according to the present invention.

제4도는 본 발명에 따른 원근지형의 영상 생성 방법을 설명하기 위한 개략도로서, (a)는 지형에 대한 평면에 위치한 시각점의 시각 진행 방향을 나타내는 도면, (b)는 시각 방향에 대한 보간 방법을 나타내는 도면이다.4 is a schematic diagram illustrating a perspective image generating method according to the present invention, (a) is a view showing the visual progress direction of a visual point located on a plane with respect to the terrain, (b) an interpolation method for the visual direction It is a figure which shows.

본 발명은 컴퓨터 그래픽기술에서 원근지형의 영상을 생성하는 방법에 관한 것으로, 특히 실제 지형을 촬영한 사진을 분석하여 고도 데이터를 구한 후 이를 이용하여 근사적인 방법으로 원근지형의 영상을 빠르게 생성할 수 있는 원근지형의 영상 생성 방법에 관한 것이다.The present invention relates to a method for generating a perspective image in computer graphics technology. In particular, after analyzing photographs taken of real terrain to obtain altitude data, the present invention can quickly generate a perspective image by using an approximate method. The present invention relates to a perspective image generating method.

컴퓨터 그래픽 처리기술의 발달로 항공사진이나 위성사진을 분석하여 얻은 고도 데이타를 이용하여 여러 각도의 시점, 또는 여러 각도의 광원 위치의 변화를 주면서 원근 지형의 영상을 만들어, 도시계획이나 농지 정리등에 응용할 수 있을 뿐만 아니라 모의 비행 시험기 등에도 응용할 수 있다. 그리고 군사적 측면에서도 전술 지형의 위성사진등을 이용하여 전술 지형을 모델링한 후, 모의 실험을 통해 각종 전략을 분석함으로써 실제 전술 전략에 응용될 수 있다. 이와 같이 지형과 관련된 각종 데이터를 관리하는 정보시스템을 지리정보시스템(GIS:Geographic Information System)이라 한다.With the development of computer graphic processing technology, the altitude data obtained by analyzing aerial photographs and satellite images can be used to create images of perspective topography while changing the position of light sources at various angles or angles, and apply them to urban planning and farmland arrangement. It can be applied to simulation flight tester as well as. In the military aspect, after modeling the tactical terrain using satellite photographs of the tactical terrain, it can be applied to the actual tactical strategy by analyzing various strategies through simulation. As described above, an information system that manages various data related to the terrain is called a geographic information system (GIS).

그러나 상기와 같이 항공사진이나 위성사진 등으로 얻어낸 고도 데이타는 제1도에 도시한 바와 같이, 관찰자의 시각 방향(광선의 방향)에 따라 지형의 고도 데이타가 다르게 얻어지므로 이를 영사 평면(view plane)상의 영상으로 재생하기 위해서는 복잡한 좌표 변환을 수행하여야 한다.However, as shown in FIG. 1, altitude data obtained by aerial photographs or satellite photographs is obtained according to the viewer's visual direction (the direction of the ray). In order to reproduce the image on the image, complex coordinate transformation must be performed.

즉, 관찰자의 시각 방향에 따른 원근 지형의 고도 데이타로부터 영사 평면상의 영상을 생성하기 위한 종래의 방법은 제2도에 도시된 바와 같이, 지형의 고도 데이타에 음영을 넣는 단계(s1); 지형의 고도 데이타를 영사 평면에 매핑하는 단계(s2); 원근 지형의 영상을 생성하는 단계(s3)로 이루어진다.That is, the conventional method for generating an image on the projection plane from the elevation data of the perspective topography according to the viewer's visual direction includes: shading the elevation data of the topography as shown in FIG. 2 (s1); Mapping elevation data of the terrain to the projection plane (s2); In step S3, an image of a perspective terrain is generated.

그러나, 상기와 같은 종래의 방법은, 지형의 고도 데이타에 빛의 방향에 따라 지형의 밝기와 그림자를 넣은 다음, 지형의 고도 데이타를 영사 평면에 직접 매핑하기 위해 실수형 보간 방법을 사용함에 따라 복잡한 좌표변환과 삼각함수를 계산하기 위해 많은 계산량을 필요로 하고, 따라서 이를 소프트웨어로 처리하기에는 시간이 너무 많이 걸리므로 실시간 영상을 만들어야 하는 응용분야에서는 사용하기가 적합하지 않은 문제점이 있으며, 빠르게 계산하기 위해서는 고가의 하드웨어를 사용하여야 하는 문제점이 있었다.However, such a conventional method is complicated by putting the brightness and shadow of the terrain according to the direction of light in the elevation data of the terrain, and then using the real interpolation method to map the terrain elevation data directly to the projection plane. It takes a lot of computation to calculate the coordinate transformation and trigonometric function, so it takes too much time to process it with software, which is not suitable for use in real-time video applications. There has been a problem of using expensive hardware.

이에, 본 발명은 근사적인 방법으로 사용하여 지형의 고도 데이타로부터 원근 지형의 영상을 빠르게 생성할 수 있는 원근 지형의 영상 생성 방법을 제공하는데 그 목적이 있다.Accordingly, an object of the present invention is to provide a method of generating an image of perspective terrain, which can quickly generate an image of perspective terrain from the elevation data of the terrain using an approximate method.

이러한 목적을 달성하기 위한 본 발명에 따른 원근지형의 영상 생성 방법은, 지형의 고도 데이타가 음양감을 갖게 하기 위해 지형의 밝기와 그림자를 넣는 단계와; 시각점이 평면상에 있다고 가정하고 시각의 진행 방향이 평행이 되도록 지형을 사다리꼴로 변형하는 단계; 평행한 진행 방향을 가지는 시각을 따라 지형의 영상을 계산하는 단계; 시각점을 원 시점으로 옮겨 지형의 영상을 원근 영상이 되게 보상하는 단계; 및 지형의 영상을 디스플레이하는 단계로 이루어져, 지형의 고도 데이타로부터 빠르게 원근 지형의 영상을 생성할 수 있는 것이다.In order to achieve the above object, a perspective image generating method according to the present invention comprises the steps of: putting brightness and shadow of a terrain so that the elevation data of the terrain has a yin and yang; Assuming that the visual point is on a plane, transforming the terrain into a trapezoid such that the direction of visual direction is parallel; Calculating an image of the terrain along a view having parallel travel directions; Compensating the image of the terrain to be a perspective image by moving the viewpoint to the original viewpoint; And displaying an image of the terrain, thereby rapidly generating an image of the perspective terrain from the elevation data of the terrain.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

먼저, 본원발명의 구형을 용이하게 하기 위하여 본원발명이 적용될 수 있는 컴퓨터 그래픽시스템의 예를 간략히 설명한다.First, an example of a computer graphics system to which the present invention can be applied is briefly described in order to facilitate the spherical form of the present invention.

컴퓨터 그래픽 시스템은 통상 객체(object)를 나타내는 기본요소(primitive)들이 지오메트리 프로세서(geometry processor)와 라스터라이져(rasterizer)를 거치면서 화소 데이타로 변환되어 프레임 버퍼 메모리에 저장되도록 되어 있다.In computer graphics systems, primitives that represent objects are typically converted into pixel data through a geometry processor and rasterizer and stored in a frame buffer memory.

여기서, 지오메트리 프로세서는 지오메트릭 변환(geometric transformation), 빛 모델링(light modeling), 클리핑(clipping), 퍼스팩티브 프로젝션(perspective projection)등의 파이프라인(pipeline)으로 구현된다. 그리고 라스터라이져는 프리미티브의 각 화소에 대해 세이딩 모델에 의거하여 칼라값을 결정하고, 지(Z)-버퍼등을 이용하여 은면을 제거한다. 이때, 지오메트리 프로세싱에는 소량의(즉, 폴리곤의 각 장점에 대한) 복잡한 연산이 수행되는 반면, 라스터라이징에는 다량의 (즉, 폴리곤 내부의 각 픽셀에 대한) 비교적 간단한 연산이 반복적으로 수행됨에 따라 고성능 그래픽 시스템에서는 라스터라이져로 전용 칩을 각자가 설계하여 사용하는 추세이다.Here, the geometry processor is implemented by pipelines such as geometric transformation, light modeling, clipping, perspective projection, and the like. The rasterizer determines a color value for each pixel of the primitive based on the shading model, and removes the silver plane using a Z-buffer. Geometry processing involves a small amount of complex computations (i.e. for each of the polygon's advantages), whereas rasterizing involves a large amount of relatively simple computations (i.e. for each pixel inside the polygon) repeatedly. In high-performance graphics systems, a rasterizer is used to design and use a dedicated chip.

한편, 본발명과 관련하여 객체는 원근지형의 데이터(지리정보 데이터)로서 위성사진, 관측사진등을 통해 얻어지며 고도 데이터를 포함하여 데이터 베이스로서 관리된다. 그리고 데이터 베이스에 저장된 지리 정보 데이터는 앞서 설명한 지오메트리 프로세서나 라스터라이져등을 거쳐 3차원 영상 데이터로 복원되어 디스플레이된다.On the other hand, in relation to the present invention, the object is obtained through satellite photographs, observation photographs, etc. as perspective data (geographic information data), and is managed as a database including altitude data. The geographic information data stored in the database is restored and displayed as 3D image data through the above-described geometry processor or rasterizer.

이때 본 발명은 3차원 원근지형 영상을 생성하기 위해 라이트닝을 처리함에 있어서 관측자의 시험에 따라 사선을 갖는 빛 경로를 평행으로 처리하기 위하여 실제 지형의 데이터를 좌표변환하는 것이다.At this time, the present invention is to coordinate the transformation of the data of the actual terrain in order to process the light path with the diagonal in parallel according to the test of the observer in the process of lightening to generate a three-dimensional perspective image.

제3도는 본 발명에 따른 원근지형의 영상 생성방법의 흐름도로서, 지형의 고도 데이타가 음양감을 갖게 하기 위해 지형의 밝기와 그림자를 넣는 단계(S1)와; 시각점이 평면상에 있다고 가정하고 시각의 진행 방향이 평행이 되도록 지형 데이터를 사다리꼴로 좌표변환하는 단계(S2); 평행한 진행 방향을 가지는 시각을 따라 지형의 영상을 계산하는 단계(S3); 시각점을 원 시점으로 옮겨 지형의 영상을 원근 영상이 되게 보상하는 단계(S4) 및; 지형의 영상을 디스플레이하는 단계(S5)로 이루어진다.3 is a flowchart of a method of generating a perspective image according to the present invention, comprising: putting brightness and shadow of a terrain so as to make the altitude data of the terrain feel yin and yang (S1); Assuming that the visual point is on a plane, transforming the terrain data into a trapezoid such that the traveling direction of the visual is parallel (S2); Calculating an image of the terrain along a time point having parallel advancing directions (S3); Compensating an image of the terrain to be a perspective image by moving the viewpoint to the original viewpoint (S4); In step S5, the image of the terrain is displayed.

이하, 상기와 같이 동작되는 본 발명에 따른 원근지형의 영상 생성 방법의 동작 및 효과를 상세히 설명하면 다음과 같다.Hereinafter, the operation and effects of the perspective image generating method according to the present invention operated as described above in detail.

단계(S1)에서 항공사진이나 위성사진 등으로 얻어낸 지형의 고도 데이타에 빛의 방향에 따라 지형의 밝기와 그림자를 넣는다.In the step S1, the brightness and shadow of the terrain are added to the elevation data of the terrain obtained by aerial photographs or satellite photographs according to the direction of light.

단계(S2)에서는 제4도의 (a)에 도시된 바와 같이, 시각점이 평면에 위치한다고 가정하면 실제에 있어서는 시각점에서 볼 때 광선은 사선으로 진행하나 본 발명에서는 광선의 진행 방향(시각의 진행 방향)을 평행하게 하기 위하여 제4도의 (b)에 도시된 바와 같이 실제의 지형(사각형의 지형)을 사다리꼴로 변환한 다음 지형의 영상을 계산을 한다. 이렇게 하면 지형의 영상을 계산할 때에 실수형 보간을 사용하지 않아도 되기 때문에 빠른 속도로 처리할 수 있다.In step S2, as shown in (a) of FIG. 4, assuming that the visual point is located in a plane, in practice, the light beam proceeds in an oblique line when viewed from the visual point. In order to make the direction parallel to each other, as shown in (b) of FIG. 4, the actual terrain (the square terrain) is converted into a trapezoid and then the image of the terrain is calculated. This eliminates the need for real-time interpolation when calculating the terrain imagery, allowing for faster processing.

그리고 지형의 영상을 계산하는 단계(S3)에서는 실제 지형을 사다리 꼴로 변환할 때, 시각 경로와 변환된 사다리꼴의 지형이 정확하게 일치하지 않을 경우에는 가장 가까운 지점의 값을 사용하거나, 보간을 하여 계산한 값을 사용한다.In the step of calculating the image of the terrain (S3), when the actual terrain is converted into a trapezoid, when the visual path and the converted trapezoid do not exactly match, the value of the nearest point is calculated or interpolated. Use a value.

이때, 계산을 위해 병렬처리를 적용하면 빠른 처리 속도를 얻을 수 있다. 즉, 다수개(2, 4, 8, 16, ……)의 프로세서에 시각 경로의 수를 지정된 수 만큼 할당하여, 각각 할당된 영역에 해당되는 원근 지형의 영상을 만들면 된다.At this time, if the parallel processing is applied for the calculation, a fast processing speed can be obtained. In other words, the number of visual paths may be assigned to a plurality of processors (2, 4, 8, 16, ..., etc.) by a specified number, so as to create an image of perspective terrain corresponding to each allocated area.

따라서, 고가의 특수 제작된 장비를 사용하는 비행 물체 모의 실험 등의 응용을 병렬처리 컴퓨터에서 소프트웨어적으로 구현할 수 있는 것이다.Therefore, applications such as flight object simulation using expensive specially manufactured equipment can be implemented in software on a parallel processing computer.

한편, 상기 단계(2)에서 시각점이 평면상에 있다고 가정하였으므로, 시각점을 원래의 지점으로 옮겨야만 정확한 지형의 영상을 만들 수 있다. 따라서, 단계(S4)에서 적당한 보상을 하며, 보상하는 방법은 거리에 따른 비례식으로 계산될 수 있고, 단계(S5)는 지형의 형상을 영상으로 디스플레이 하는 것이다.On the other hand, since it is assumed in the step (2) that the visual point is on a plane, it is necessary to move the visual point to the original point to create an accurate image of the terrain. Therefore, in step S4, appropriate compensation is made, and a method of compensating may be calculated in proportion to distance, and in step S5, the shape of the terrain is displayed as an image.

이상에서 살펴본 바와 같이 본 발명에 따르면, 근사적인 방법을 사용하여 지형의 고도 데이타로부터 원근 지형의 영상을 생성하므로, 그 속도가 빠를 뿐만아니라 소프트웨어적으로 처리할 수 있는 것이다.As described above, according to the present invention, since the image of the perspective terrain is generated from the elevation data of the terrain by using an approximate method, the speed is fast and the software can be processed.

Claims (1)

위성사진등으로부터 얻어진 지형 데이터를 데이터베이스로 저장한 후 관찰자의 시점에 따라 실제 지형화면의 영상을 디스플레이해주도록 된 컴퓨터 지리 영상시스템에 있어서, 지형의 원근을 표현하기 위해 지형의 고도 데이터를 이용하여 지형의 밝기와 그림자를 넣는 단계(S1)와; 시각점이 평면상에 있다고 가정하고 시각의 진행 방향이 평행이 되도록 실제지형 데이터를 좌표변환하는 단계(S2); 평행한 진행 방향을 가지는 시각으로 변형된 상기 지형의 영상을 계산하는 단계(S3); 시각점을 원 시점으로 옮겨 지형의 영상을 원근 영상이 되게 보상하는 단계(S4) 및; 상기 보상된 지형의 영상을 디스플레이하는 단계(S5)로 순차 동작하는 것을 특징으로 하는 원근지형의 영상 생성방법.In the computer geographic imaging system that stores the terrain data obtained from satellite images into a database and displays the image of the actual terrain screen according to the viewer's viewpoint, the terrain is used by using the elevation data of the terrain to express the perspective of the terrain. Putting the brightness and shadow of (S1); Assuming that the visual point is on a plane, transforming the actual topographical data such that the direction of visual progress is parallel (S2); Calculating an image of the terrain transformed into a visual point having parallel advancing directions (S3); Compensating an image of the terrain to be a perspective image by moving the viewpoint to the original viewpoint (S4); And a step S5 of displaying the image of the compensated terrain in order.
KR1019950013986A 1995-05-30 1995-05-30 Method of generating video of a far and near topography KR0166253B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950013986A KR0166253B1 (en) 1995-05-30 1995-05-30 Method of generating video of a far and near topography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950013986A KR0166253B1 (en) 1995-05-30 1995-05-30 Method of generating video of a far and near topography

Publications (2)

Publication Number Publication Date
KR960042462A KR960042462A (en) 1996-12-21
KR0166253B1 true KR0166253B1 (en) 1999-01-15

Family

ID=19415971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950013986A KR0166253B1 (en) 1995-05-30 1995-05-30 Method of generating video of a far and near topography

Country Status (1)

Country Link
KR (1) KR0166253B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896137B1 (en) * 2008-06-10 2009-05-11 팅크웨어(주) Apparatus and method for expressing shading in three dimesion map service

Also Published As

Publication number Publication date
KR960042462A (en) 1996-12-21

Similar Documents

Publication Publication Date Title
US6229549B1 (en) High-speed three-dimensional texture mapping systems and methods
US9183666B2 (en) System and method for overlaying two-dimensional map data on a three-dimensional scene
US4985854A (en) Method for rapid generation of photo-realistic imagery
US4855934A (en) System for texturing computer graphics images
US5535374A (en) Method and apparatus for generating images simulating non-homogeneous fog effects
US8907950B2 (en) Driving simulation apparatus, wide-angle camera video simulation apparatus, and image deforming/compositing apparatus
EP0638875B1 (en) A 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation
US7227555B2 (en) Rendering volumetric fog and other gaseous phenomena
JPH0757117A (en) Forming method of index to texture map and computer control display system
US9286712B2 (en) System and method for approximating cartographic projections by linear transformation
US7098915B2 (en) System and method for determining line-of-sight volume for a specified point
Hanson et al. Interactive visualization methods for four dimensions
US5923331A (en) Method of generation of computer-generated images using a spherical buffer
US20060114262A1 (en) Texture mapping apparatus, method and program
CN110852952B (en) Large-scale terrain real-time drawing method based on GPU
US9401044B1 (en) Method for conformal visualization
Vyatkin et al. Voxel Volumes volume-oriented visualization system
KR101118597B1 (en) Method and System for Rendering Mobile Computer Graphic
KR0166253B1 (en) Method of generating video of a far and near topography
US20030117394A1 (en) Simulator having video generating function and simulation method including video generating step
JP3024666B2 (en) Method and system for generating three-dimensional display image of high-altitude image
Timokhin et al. Computer modeling and visualization of accurate terrain shadows in virtual environment system
US20110074777A1 (en) Method For Displaying Intersections And Expansions of Three Dimensional Volumes
JP2952585B1 (en) Image generation method
JP2007299080A (en) Image generation method and image generation device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080901

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee