KR100245665B1 - Electronic sea map, a picture analysis method and device - Google Patents

Electronic sea map, a picture analysis method and device Download PDF

Info

Publication number
KR100245665B1
KR100245665B1 KR1019970028392A KR19970028392A KR100245665B1 KR 100245665 B1 KR100245665 B1 KR 100245665B1 KR 1019970028392 A KR1019970028392 A KR 1019970028392A KR 19970028392 A KR19970028392 A KR 19970028392A KR 100245665 B1 KR100245665 B1 KR 100245665B1
Authority
KR
South Korea
Prior art keywords
weather
picture
satellite
electronic chart
meteorological
Prior art date
Application number
KR1019970028392A
Other languages
Korean (ko)
Other versions
KR19990004307A (en
Inventor
이정열
성석경
Original Assignee
이해규
삼성중공업주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이해규, 삼성중공업주식회사 filed Critical 이해규
Priority to KR1019970028392A priority Critical patent/KR100245665B1/en
Publication of KR19990004307A publication Critical patent/KR19990004307A/en
Application granted granted Critical
Publication of KR100245665B1 publication Critical patent/KR100245665B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W2001/006Main server receiving weather information from several sub-stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

개시된 내용은 현재 선박항해위치를 나타내는 전자해도와 현위치의 기상사진을 중첩하여 한 화면에 표시하는 전자해도-기상위성사진의 중첩방법 및 장치에 관한 것이다. 본 발명의 장치는 현재 선박의 항해위치를 계측하는 계측기와, 현재 선박이 위치한 기상상태의 사진을 기상위성으로부터 수신하는 기상위성수신기와, 계측기와 기상위성수신기를 상호연결하여 제어하고, 계측된 선박항해 위치를 나타내는 전자해도와 수신된 기상사진을 중첩시켜 한 화면에 표시하는 전자해도용컴퓨터로 구성된다. 따라서, 본 발명은 운항하는 선박에 실시간으로 주변해역의 기상사진을 직접 수신하여 전자해도와 중첩 출력하므로 항해자가 기상을 고려한 항해계획을 세우는데 보다 효과적이다.The present disclosure relates to a method and apparatus for superimposing an electronic chart showing a current position of a ship and a meteorological picture of a current location on a screen. The apparatus of the present invention is connected to the measuring instrument for measuring the sailing position of the current vessel, the weather satellite receiver for receiving a picture of the weather state of the current vessel from the meteorological satellite, the measuring instrument and the meteorological satellite receiver interconnected, and measured the vessel And an electronic chart for superimposing the sea chart and the received meteorological picture on one screen. Accordingly, the present invention is more effective for the navigator to make a sailing plan considering the weather, because the present invention directly receives the meteorological picture of the surrounding sea area and superimposed and outputs the electronic chart.

Description

전자해도-기상위성사진의 중첩방법 및 장치Method and apparatus for superimposing electronic chart-weather satellite images

본 발명은 선박항해시에 전자해도 및 기상위성사진을 화면에 표시하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 현재 선박항해위치를 나타내는 전자해도와 현위치의 기상사진을 중첩하여 한 화면에 표시하는 전자해도-기상위성사진의 중첩방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for displaying an electronic chart and a meteorological satellite picture on a screen during ship navigation. More specifically, the present invention relates to an electronic chart showing a current ship navigation position and a meteorological picture of a current location on one screen. The present invention relates to a superimposition method and apparatus for displaying an electronic chart-phase satellite image.

일반적으로 선박이 항해시에 현재 항해하는 위치의 기상상태를 알기위해서는 지상의 기상국과 무선교신을 통해 음성으로 기상상태를 전달받거나 팩스(FAX) 등의 기기를 통해 해상의 기상상태를 나타내는 기상도를 전달받아 항해시의 항해계획을 세워왔다.In general, in order to know the weather conditions of the current position of the ship at the time of voyage, the weather status is transmitted by voice through radio communication with the meteorological station on the ground, or the weather map indicating the weather status on the sea through a device such as a fax (FAX). We have made sailing plan at the time of voyage.

하지만, 위와 같은 전자해도화면과 별도로 기상도를 얻기 위해서는 무선교신 등을 이용해야하므로 언어소통의 문제 및 신속성이나 정확성측면에서 문제점이 있었다.However, in order to obtain a weather map separately from the electronic chart screen as described above, there is a problem in terms of language communication and speed or accuracy since radio communication must be used.

따라서, 본 발명의 목적은 전술한 문제점을 해결할 수 있도록 선박의 운항을 위한 전자해도화면상에 현재 기상상태의 위성사진을 중첩시켜 화면에 표시해주므로 항해자에게 편리한 전자해도-기상위성사진의 중첩방법을 제공함에 있다.Accordingly, an object of the present invention is to superimpose the satellite picture of the current weather conditions on the electronic chart screen for the operation of the vessel to solve the above-mentioned problem and to display on the screen convenient to the navigator a method of superimposing the electronic chart-meteorological satellite picture In providing.

본 발명의 다른 목적은 본 발명에 따른 전자해도와 기상위성사진을 중첩하는 방법을 실행하기위한 장치를 제공함에 있다.Another object of the present invention is to provide an apparatus for implementing a method of superimposing an electronic chart and a meteorological satellite image according to the present invention.

도 1은 본 발명에 따른 전자해도-기상위성사진의 중첩장치를 나타내는 블록도,1 is a block diagram showing a superposition device of an electronic chart-gas phase satellite photograph according to the present invention;

도 2는 본 발명에 따른 전자해도-기상위성사진의 중첩방법을 설명하기 위한 흐름도.2 is a flowchart illustrating a method of superimposing the electronic chart-gas phase satellite photograph according to the present invention.

※ 도면의 주요부분에 대한 부호의 설명※ Explanation of code for main part of drawing

10 : 계측기10: measuring instrument

20 : 전자해도용컴퓨터20: Electronic Chart Computer

30 : 기상위성수신기30: weather satellite receiver

이와 같은 목적을 달성하기 위한 본 발명에 따른 전자해도-기상위성사진의 중첩방법은 선박이 기상위성으로부터 기상사진데이터를 수신하기 위한 수신가능시점을 구하는 단계와, 구한 수신가능 시점에서 기상위성으로부터 기상사진데이터를 수신하며, 수신된 기상사진데이터에 해당하는 지구상의 위치를 구하는 단계, 및 구한 위치에 근거하여 전자해도상의 대응되는 위치에 기상사진을 중첩하는 단계를 포함한다.In order to achieve the above object, the method of superimposing an electronic chart- meteorological satellite image according to the present invention includes obtaining a receivable time point for a vessel to receive weather image data from the weather satellite, and a weather condition from the weather satellite at the obtained receivable time point. Receiving picture data, obtaining a location on the earth corresponding to the received weather picture data, and superposing a weather picture at a corresponding location on the electronic chart based on the obtained location.

본 발명의 다른 목적을 달성하기 위한 전자해도-기상위성사진의 중첩장치는 현재 선박의 항해위치를 계측하여 출력하는 계측수단과, 현재 선박이 위치한 기상상태의 사진을 기상위성으로부터 수신하는 수신수단, 및 계측된 선박항해 위치를 나타내는 전자해도와 그에 대응하는 위치의 기상사진을 중첩시켜 한 화면에 표시하는 중첩수단을 포함한다.The electronic device-meteorological satellite image superposition device for achieving another object of the present invention is a measuring means for measuring and outputting the current position of the ship, and receiving means for receiving a picture of the weather state in which the current vessel is located, And an overlapping means for superimposing the electronic chart indicating the measured position of the ship navigation and the meteorological photograph of the position corresponding thereto and displaying them on one screen.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 기술하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 전자해도-기상위성사진의 중첩장치를 나타내는 블록도이다. 도시된 바와 같이, 본 발명의 장치는 현재 선박의 항해위치를 계측하는 계측기(10)와, 현재 선박이 위치한 기상상태의 사진을 기상위성으로부터 수신하는 기상위성수신기(20)와, 계측기와 기상위성수신기를 상호 연결하여 제어하고, 계측된 선박항해 위치를 나타내는 전자해도와 수신된 기상사진을 중첩시켜 한 화면에 표시하는 전자해도용컴퓨터(30)로 구성된다.1 is a block diagram showing an overlapping device of an electronic chart-gas phase satellite photograph according to the present invention. As shown, the apparatus of the present invention is a measuring instrument 10 for measuring the navigation position of the current vessel, the weather satellite receiver 20 for receiving a picture of the weather state in which the current vessel is located from the weather satellite, the measuring instrument and the weather satellite It consists of an electronic chart computer 30 which controls the interconnection of the receivers and superimposes the electronic chart indicating the measured navigational position and the received meteorological photograph on one screen.

도 1에서, 기상위성 수신기(20)는 지구극궤도 혹은 정지궤도를 운행하는 기상위성으로부터 기상사진데이터를 수신한다. 기상위성수신기(20)는 기상위성으로부터 오는 기상사진데이터를 수신하여 디지탈 영상신호로 전자해도용컴퓨터(30)에 전달한다. 전자해도용컴퓨터(30)는 전자해도기능을 하는 소프트웨어 프로그램을 구비하여 기상사진데이터와 화면에 중첩한다.In FIG. 1, the weather satellite receiver 20 receives weather picture data from a weather satellite traveling through an earth orbit. The weather satellite receiver 20 receives weather picture data from the weather satellite and transmits the weather picture data to the electronic chart computer 30 as a digital video signal. The electronic chart drawing computer 30 includes a software program which functions as an electronic chart function and overlaps the weather picture data with the screen.

이와같은 본 발명의 중첩장치를 통합적으로 사용하여 전자해도와 기상위성사진을 중첩하는 방법에 대해 도 2를 참조하여 설명한다.A method of superimposing the electronic chart and the meteorological satellite image using the overlapping device of the present invention as described above will be described with reference to FIG. 2.

우선, 전자해도용컴퓨터(30)는 수신자의 지평선위에 존재하는 기상위성들의 위치를 추적한다(201 단계). 기상위성의 위치는 케플리언 엘리먼트(Keplerian element)와 궤도공식에 따라 계산되어 기상위성들의 현재위치(위도, 경도, 속도)를 계산한다. 계측기(10)는 수신자의 위치를 계측한다(202 단계). 이때 수신자의 위치도 계속 변하므로 새로운 위치에서 계산하여 전자해도용컴퓨터(30)로 출력한다. 기상위성의 위치와 수신자위치를 고려하여 기상데이타를 수신할 수 있는 시점을 계산한다(203 단계). 즉 가변적인 수신자의 위치와 움직이는 기상위성들간의 데이터 수신시점은 현재 선박의 지구상위치, 기상위성의 위치, 및 기상위성의 속도 등을 고려한다. 따라서, 기상위성들이 수신자의 지평선위에 존재할 때 기상데이터 수신가능 시점으로 판단한다(204 단계). 수신가능시점이 아니면 201단계로부터 다시 수행하고 수신가능시점이면 기상위성수신기(20)는 전자해도용컴퓨터(30)의 제어명령에 따라 해당 위성의 주파수로 주파수를 변경하여 수신을 시작한다(205 단계). 동시에 전자해도용컴퓨터(30)는 해당 위성의 송신주파수를 변경하여 수신대기상태에서 수신상태로 되도록 기상위성수신기(20)를 제어하는 명령을 내린다. 이때, 전자해도용컴퓨터(30)는 기상데이터를 수신하며, 이때, 수신된 신호는 이미지픽셀 데이터형태로 전달된다. 전자해도용컴퓨터(30)는 이미지픽셀 데이터를 수신하여 저장과 동시에 수신된 기상사진의 지구상의 실제위치(위도, 경도)를 좌표로 계산한다(206 단계). 206단계에서 계산된 기상위성의 좌표데이터는 계측기(10)를 통해 계측되고 있는 선박의 지구상의 실제위치에 해당하는 기상사진을 현재의 기상데이터로 추출한다(207 단계). 추출된 기상데이터의 현재위치에 근거하여 전자해도상의 대응되는 위치에 기상사진을 중첩하여 볼 수 있다(208 단계). 즉, 수신된 기상이미지와 좌표데이터를 가지고 사용자가 그래픽 인터페이스(Graphic Interface)를 통해 각 동일 좌표의 전자해도상에 중첩시킬수 있다. 따라서, 사용자는 중첩화면을 통해 전자해도상에 기상상태를 파악하는 항해정보를 얻을 수 있다. 한편, 전자해도용컴퓨터(30)는 항시 지구상의 또 다른 위성들에 대해서 수신불능시점인가를 판단하고 있다. 즉 기상위성이 수신자의 지평선아래로 가면 해당위성은 수신불능시점이므로 기상위성수신기(20)를 수신대기상태로 한다. 이때 수신상태에서 이미 수신된 이미지데이타와 계산된 좌표데이타는 별도의 파일형태로 저장한다. 일정기간이 지난 이미지 파일은 데이터저장용량 절약을 위해 자동삭제 될 수 있다. 반대로 수신불능시점이 아니면 즉 기상위성이 수신자의 지평선 위에 존재할 경우는 기상위성수신기(20)를 수신상태로 전환해 기상위성의 위치와 선박의 위치를 고려하여 기상사진 수신가능 시점에서 계속해서 기상사진을 수신한다.First, the electronic chart computer 30 tracks the locations of weather satellites existing on the receiver's horizon (step 201). The position of the meteorological satellite is calculated according to the Keplerian element and the orbital formula to calculate the current position (latitude, longitude, velocity) of the meteorological satellites. The meter 10 measures the position of the receiver (step 202). At this time, since the position of the receiver is also constantly changing, the new position is calculated and output to the electronic chart computer 30. The time point at which the weather data can be received is calculated in consideration of the position of the weather satellite and the receiver position (step 203). That is, the point of data reception between the variable receiver's position and the moving weather satellites takes into account the current position of the ship on the earth, the position of the weather satellite, and the speed of the weather satellite. Therefore, when weather satellites exist on the receiver's horizon, it is determined that the weather data can be received (step 204). If the reception time is not possible, the process is performed again from step 201. If the reception time is possible, the meteorological satellite receiver 20 starts the reception by changing the frequency to the frequency of the satellite according to the control command of the electronic chart computer 30 (step 205). ). At the same time, the electronic chart computer 30 issues a command to control the weather satellite receiver 20 to change the transmission frequency of the satellite from the reception standby state to the reception state. At this time, the electronic chart computer 30 receives the weather data, and the received signal is transmitted in the form of image pixel data. The electronic drawing computer 30 receives the image pixel data and simultaneously calculates and stores the actual position (latitude and longitude) on the earth of the received weather picture as coordinates (step 206). The coordinate data of the meteorological satellite calculated in step 206 is extracted as the current weather data from the meteorological photograph corresponding to the actual position on the earth of the vessel being measured by the measuring instrument 10 (step 207). Based on the current location of the extracted weather data, the weather picture may be superimposed on a corresponding location on the electronic chart (step 208). That is, the user can superimpose on the electronic chart of the same coordinates through the graphical interface with the received weather image and coordinate data. Therefore, the user can obtain navigation information for grasping the weather state on the electronic chart through the overlapping screen. On the other hand, the electronic chart computer 30 is always determining whether or not to receive the other satellites on the earth. That is, if the weather satellite goes below the receiver's horizon, the satellite is incapable of receiving, so the weather satellite receiver 20 is placed in a standby state. At this time, the image data and the coordinate data already received in the reception state are stored in a separate file format. After a certain period of time, image files can be automatically deleted to save data storage. On the contrary, if the weather satellite is not at the reception point, that is, if the weather satellite exists on the receiver's horizon, the weather satellite receiver 20 is switched to the reception state, and the weather photography continues from the time when the weather photography can be received in consideration of the position of the weather satellite and the position of the ship. Receive

상술한 바와 같이, 본 발명은 운항하는 선박에 실시간으로 주변해역의 기상사진을 직접 수신하여 전자해도와 중첩 출력하므로 항해자가 기상을 고려한 항해계획을 세우는데 보다 효과적이다.As described above, since the present invention directly receives the weather picture of the surrounding sea area in real time and outputs the electronic chart and overlapping with the sea chart, it is more effective for the navigator to make a voyage plan considering the weather.

Claims (5)

선박 항해시스템에 있어서,In a ship navigation system, (1) 선박이 기상위성으로부터 기상사진데이터를 수신하기 위한 수신가능시점을 구하는 단계;(1) obtaining a receivable time point for the ship to receive weather picture data from the weather satellite; (2) 상기 구한 수신가능 시점에서 기상위성으로부터 기상사진데이터를 수신하며, 수신된 기상사진데이터에 해당하는 지구상의 위치를 구하는 단계; 및(2) receiving weather picture data from the meteorological satellite at the obtained receivable time point, and obtaining a position on the earth corresponding to the received weather picture data; And (3) 상기 구한 위치에 근거하여 전자해도상의 대응되는 위치에 기상사진을 중첩하는 단계를 포함하는 전자해도-기상위성사진의 중첩 방법.And (3) overlaying the meteorological photograph at the corresponding position on the electronic chart based on the obtained position. 제 1항에 있어서, 상기 제 (1)단계는The method of claim 1, wherein step (1) 현재 선박의 위치와 기상위성의 위치 및 속도에 근거하여 기상사진 수신가능 시점을 계산하는 것을 특징으로 하는 전자해도-기상위성사진의 중첩방법.A method of superimposing an electronic chart- meteorological satellite picture, comprising calculating a time point at which a weather picture can be received based on a current ship position and a weather satellite position and speed. 제 1항에 있어서, 상기 제 (2)단계는The method of claim 1, wherein step (2) (2a) 수신되는 기상사진데이터로부터 이미지데이터, 그리고 경도와 위도의 좌표로 표현되는 위치데이터를 각각 구하는 단계; 및(2a) obtaining image data and position data represented by coordinates of longitude and latitude, respectively, from the received weather photograph data; And (2b) 수신이 불가능해지는 시점이 되면 상기 구한 이미지데이터와 위치데이터를 파일형태로 저장하는 단계를 구비함을 특징으로 하는 전자해도-기상위성사진의 중첩방법.And (2b) storing the obtained image data and the position data in the form of a file when it is impossible to receive the electronic chart. 제 3항에 있어서, 상기 제 (2b)단계에 의해 저장된 파일은 일정기간 경과후 자동 삭제됨을 특징으로 하는 전자해도-기상위성사진의 중첩방법.4. The method according to claim 3, wherein the file stored in the step (2b) is automatically deleted after a certain period of time. 선박 항해시스템에 있어서,In a ship navigation system, 현재 선박의 항해위치를 계측하여 출력하는 계측수단;Measuring means for measuring and outputting the current position of the ship; 현재 선박이 위치한 기상상태의 사진을 기상위성으로부터 수신하는 수신수단; 및Receiving means for receiving a picture of the weather state in which the current vessel is located from the weather satellite; And 상기 계측된 선박항해 위치를 나타내는 전자해도와 그에 대응하는 위치의 기상사진을 중첩시켜 한 화면에 표시하는 중첩수단으로 구성된 것을 특징으로 하는 전자해도-기상위성사진의 중첩장치.And a superimposition means for superimposing the electronic chart indicating the measured position of the ship navigation position and the meteorological picture of the corresponding position and displaying the same on a screen.
KR1019970028392A 1997-06-27 1997-06-27 Electronic sea map, a picture analysis method and device KR100245665B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970028392A KR100245665B1 (en) 1997-06-27 1997-06-27 Electronic sea map, a picture analysis method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970028392A KR100245665B1 (en) 1997-06-27 1997-06-27 Electronic sea map, a picture analysis method and device

Publications (2)

Publication Number Publication Date
KR19990004307A KR19990004307A (en) 1999-01-15
KR100245665B1 true KR100245665B1 (en) 2000-02-15

Family

ID=19511835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970028392A KR100245665B1 (en) 1997-06-27 1997-06-27 Electronic sea map, a picture analysis method and device

Country Status (1)

Country Link
KR (1) KR100245665B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102033752B1 (en) * 2017-11-10 2019-10-17 한국해양과학기술원 Method of detecting noise area in marine target area
CN117874150A (en) * 2023-03-15 2024-04-12 广州海宁海务技术咨询有限公司 Method for acquiring global electronic chart layered data

Also Published As

Publication number Publication date
KR19990004307A (en) 1999-01-15

Similar Documents

Publication Publication Date Title
EP0699894B1 (en) Navigation system
US5396431A (en) Navigation system with position measuring device and aerial photographic storage capability
US7734413B2 (en) Electronic device and program for displaying map
US6694254B2 (en) Map display
EP0840094A2 (en) Navigation system
KR100245665B1 (en) Electronic sea map, a picture analysis method and device
US11727646B2 (en) Augmented reality image occlusion
JP2004125446A (en) Navigation device and navigation program
JP3259553B2 (en) Search route receiving device and search route transmitting device
JP2005016955A (en) Navigation system for vehicle and positioning method of the same
US11693126B2 (en) Augmented reality distance measurement
JP2744664B2 (en) Vehicle navigation system
JPH08145702A (en) Map display device
KR100629315B1 (en) Apparatus and Method for synchronizing the information inputted from the plurality of sensors By using GPS time
JP3498542B2 (en) Vehicle route guidance system
KR20070028824A (en) System of map reporting and the method
KR100240940B1 (en) Method for calculating coordinates of weather satellite picture
KR20000021150A (en) Method for storing and displaying important coordinates in navigation system
JP2000055679A (en) Navigation device
JP2507498B2 (en) Navigation device for mobile
EP1394511A1 (en) Positioning apparatus
JPH05142327A (en) Portable gps receiver
JPH01187412A (en) Meteological and maritime meteological data service equipment on board ship
JP2001050754A (en) Navigation system
JP2009193083A (en) Map display apparatus and map display method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee