KR101208448B1 - Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same - Google Patents

Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same Download PDF

Info

Publication number
KR101208448B1
KR101208448B1 KR1020100132412A KR20100132412A KR101208448B1 KR 101208448 B1 KR101208448 B1 KR 101208448B1 KR 1020100132412 A KR1020100132412 A KR 1020100132412A KR 20100132412 A KR20100132412 A KR 20100132412A KR 101208448 B1 KR101208448 B1 KR 101208448B1
Authority
KR
South Korea
Prior art keywords
error
calculated
current position
image sensor
ego
Prior art date
Application number
KR1020100132412A
Other languages
Korean (ko)
Other versions
KR20120070891A (en
Inventor
정상근
최동균
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020100132412A priority Critical patent/KR101208448B1/en
Publication of KR20120070891A publication Critical patent/KR20120070891A/en
Application granted granted Critical
Publication of KR101208448B1 publication Critical patent/KR101208448B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/021Calibration, monitoring or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)

Abstract

본 발명에 따른 관성 항법 시스템은 비행체의 현재 위치를 산출하는 관성 항법 장치, 상기 비행체에 설치되어 위치 정보를 알고 있는 지상 목표물을 촬영하는 영상 센서, 상기 지상 목표물에 대한 상기 영상 센서의 두 지점에서의 시선각 측정치를 통해 실 현재 위치와 상기 산출된 현재 위치의 위치 정보 오차를 산출하는 3차원 영상 보조 항법 장치 및 상기 산출된 위치 정보 오차의 자체 오차를 최소화하는 상기 위치 정보 오차 산출에 사용되는 각 인자들의 최적 조건을 추출하고, 상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 비행체를 제어하는 유도 제어 장치를 포함함으로써, 현재 위치를 신뢰성 있게 파악할 수 있다.An inertial navigation system according to the present invention includes an inertial navigation device for calculating a current position of a vehicle, an image sensor installed on the aircraft, and an image sensor for photographing a ground target having position information, and the image sensor for the ground target. A three-dimensional image assistance navigation apparatus that calculates the positional error between the actual current position and the calculated current position through the viewing angle measurement value, and each factor used for calculating the positional information error that minimizes its own error of the calculated positional information error. By including an induction control device for extracting the optimum condition of the vehicle and controlling the vehicle to perform a motion in accordance with the extracted optimal condition, it is possible to reliably determine the current position.

Description

3차원 영상 보조 항법 장치 및 이를 이용한 관성 항법 시스템{AIDED NAVIGATION APPARATUS USING 3 DIMENSIONAL IMAGE AND INERTIAL NAVIGATION SYSTEM USING THE SAME}Three-Dimensional Auxiliary Navigation System and Inertial Navigation System Using It {AIDED NAVIGATION APPARATUS USING 3 DIMENSIONAL IMAGE AND INERTIAL NAVIGATION SYSTEM USING THE SAME}

본 발명은 3차원 영상 보조 항법 장치 및 이를 이용한 관성 항법 시스템에 관한 것으로서, 보다 상세하게는 영상 센서에서 촬영한 지상 목표물의 3차원 좌표를 이용하여 관성 항법 시스템의 오차를 보정할 수 있도록 하는 3차원 영상 보조 항법 장치 및 이를 이용한 관성 항법 시스템에 관한 것이다.
The present invention relates to a three-dimensional image assistance navigation apparatus and an inertial navigation system using the same. More particularly, the three-dimensional image assistance navigation apparatus can correct an error of an inertial navigation system using three-dimensional coordinates of a ground target photographed by an image sensor. An image assistance navigation apparatus and an inertial navigation system using the same.

일반적으로 운용시간이 증가할수록 관성 항법 시스템의 오차는 누적되어 발산하는 경향이 있으며, 이 경우 관성 항법 시스템은 항법 시스템으로서의 역할을 지속할 수 없게 된다. 이를 방지하기 위해서는 다른 보조적인 센서와 수단을 이용하여 주기적으로 관성 항법 시스템의 오차를 보정해주어야만 하며, 종래에는 다음과 같은 방법들을 사용하였다.In general, as the operation time increases, the error of the inertial navigation system tends to accumulate and diverge. In this case, the inertial navigation system cannot continue its role as a navigation system. In order to prevent this, it is necessary to periodically correct the error of the inertial navigation system by using other auxiliary sensors and means, and the following methods have been conventionally used.

첫 번째 방법은 위성 보조 항법을 적용하는 것이다. 가장 대표적인 형태는 GPS 수신기를 이용하여 관성 항법 시스템을 보완하는 것이다. 최근에는 항법용 상용 위성 시스템이 증가하였으며, 그 위성 시스템을 모두 활용하는 GNSS 보조 항법이 안정적으로 구현되고 있는 상태이다. 그러나 유사시 이러한 상용 위성 시스템 출력의 활용이 제한될 수 있으며, 사용 위성 시스템의 위성 신호를 재밍하는 것이 용이하기 때문에 적대적인 지역에서의 운용이 어렵다는 단점이 있다.  The first is to apply satellite assisted navigation. The most representative form is the use of GPS receivers to complement the inertial navigation system. Recently, commercial satellite systems for navigation have increased, and GNSS assisted navigation using all of the satellite systems has been stably implemented. However, in case of emergency, the use of such a commercial satellite system output may be limited, and it is difficult to operate in a hostile region because it is easy to jam the satellite signal of the satellite system used.

두 번째 방법은 영상 센서를 이용하는 보조 항법을 적용하는 것이다. 가장 대표적인 형태는 영상 센서를 비행체 직하방에 배치하여 하방 지형 지물의 정사영상을 촬영하고 미리 획득해 둔 지형 지물의 자료와 비교하여 현재 위치를 파악하는 디지털 영상 정합 영역 상관(digital scene matching area correlation) 방법이 있다. 위성 보조 항법 수준의 신뢰도를 확보할 수 있으며, 근본적으로 재밍이 어렵다는 점에서 매우 유용하다. 그러나 이 방법은 하방축, 즉 고도축 방향의 정보 관측이 용이하지 않기 때문에, 3차원적인 위치 정보를 구할 수 없다는 단점이 있다.
The second method is to apply auxiliary navigation using an image sensor. The most typical form is a digital scene matching area correlation that locates an orthogonal image of a lower feature by placing an image sensor directly below the aircraft and compares it with previously acquired features. There is a way. It is very useful because it can secure the reliability of satellite assisted navigation level and is fundamentally difficult to jam. However, this method has a disadvantage in that three-dimensional position information cannot be obtained because it is not easy to observe information in the downward axis, that is, the elevation axis direction.

본 발명은 영상 센서에서 촬영한 지상 목표물의 3차원 좌표를 이용하여 관성 항법 시스템의 오차를 보정할 수 있도록 하는 3차원 영상 보조 항법 장치 및 이를 이용한 관성 항법 시스템을 제공하기 위한 것이다.The present invention is to provide a three-dimensional image assistance navigation apparatus and a inertial navigation system using the same to correct the error of the inertial navigation system using the three-dimensional coordinates of the ground target photographed by the image sensor.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
Technical problems to be achieved by the present invention are not limited to the above-mentioned problems, and other technical problems not mentioned above may be clearly understood by those skilled in the art from the following description. There will be.

상기의 목적을 달성하기 위한 본 발명의 관성 항법 장치는 비행체의 현재 위치를 산출하는 관성 항법 장치, 상기 비행체에 설치되어 위치 정보를 알고 있는 지상 목표물을 촬영하는 영상 센서, 상기 지상 목표물에 대한 상기 영상 센서의 두 지점에서의 시선각 측정치를 통해 실 현재 위치와 상기 산출된 현재 위치의 위치 정보 오차를 산출하는 3차원 영상 보조 항법 장치 및 상기 산출된 위치 정보 오차의 자체 오차를 최소화하는 상기 위치 정보 오차 산출에 사용되는 각 인자들의 최적 조건을 추출하고, 상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 비행체를 제어하는 유도 제어 장치를 포함할 수 있다.The inertial navigation device of the present invention for achieving the above object is an inertial navigation device for calculating the current position of the aircraft, an image sensor installed on the aircraft to shoot the ground target knowing the position information, the image of the ground target A three-dimensional image assistance navigation apparatus that calculates a position information error between the actual current position and the calculated current position through visual angle measurement values at two points of the sensor, and the position information error that minimizes its own error of the calculated position information error. It may include an induction control device for extracting the optimum condition of each factor used in the calculation, and controlling the vehicle to perform a motion that matches the extracted optimum condition.

본 발명의 3차원 영상 보조 항법 장치는 위치 정보 T를 알고 있는 지상 목표물을 촬영하는 영상 센서의 상기 T에 대한 운행 경로 상의 두 지점(과거 위치 M1, 현재 위치 M2)에서의 시선각 λ1, λ2와 상기 두 지점 간 거리

Figure 112010084814987-pat00001
로부터 현재 위치 M2와 상기 T까지의 거리 RP를 산출하는 지상 목표물 거리 산출부 및 관성 항법 장치에서 산출된 현재 위치 G2와 상기 T 및 상기 RP를 이용해 상기 G2와 상기 M2의 위치 정보 오차를 산출하는 위치 정보 오차 산출부를 포함할 수 있다.The three-dimensional image assisted navigation apparatus of the present invention has a viewing angle λ 1 at two points (past position M 1 , current position M 2 ) on the travel path with respect to the T of the image sensor photographing the ground target knowing the position information T. , λ 2 and the distance between the two points
Figure 112010084814987-pat00001
Here M 2 and the distance to the T R P the current position calculated by the ground targets distance calculating section and the inertial navigation system for calculating the G 2 and wherein T and the location of the M 2 and wherein G 2 with the R P from It may include a position information error calculation unit for calculating the information error.

이때, 상기 위치 정보 오차 산출부는 다음의 수학식에 의해 상기 위치 정보 오차를 산출할 수 있다.In this case, the position information error calculating unit may calculate the position information error by the following equation.

Figure 112010084814987-pat00002
Figure 112010084814987-pat00002

여기서,

Figure 112010084814987-pat00003
는 상기 M2를 시작점으로 하고 상기 T를 끝점으로 하는 벡터의 단위 벡터이다. here,
Figure 112010084814987-pat00003
Is a unit vector of a vector having M 2 as a starting point and T as an end point.

본 발명의 유도 제어 장치는 3차원 영상 보조 항법 장치에서 산출된 위치 정보 오차

Figure 112010084814987-pat00004
의 자체 오차 δRP를 다음의 수학식에 의해 산출하고, 상기 δRP를 최소화하는 상기
Figure 112010084814987-pat00005
산출에 사용되는 각 인자들의 최적 조건을 추출하는 최적 조건 추출부 및 상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 3차원 영상 보조 항법 장치가 설치된 비행체를 제어하는 자세 제어부를 포함할 수 있다.Induction control apparatus of the present invention is the position information error calculated by the three-dimensional image assistance navigation apparatus
Figure 112010084814987-pat00004
The error of the self δR P calculated by the following equation, and to minimize the δR P
Figure 112010084814987-pat00005
It may include an optimum condition extracting unit for extracting the optimal condition of each factor used in the calculation, and a posture control unit for controlling the aircraft in which the three-dimensional image assistance navigation apparatus is installed to perform a motion corresponding to the extracted optimal condition.

Figure 112010084814987-pat00006
Figure 112010084814987-pat00006

여기서, here,

Figure 112010084814987-pat00007
이고,
Figure 112010084814987-pat00007
ego,

Figure 112010084814987-pat00008
이며,
Figure 112010084814987-pat00008
Is,

Figure 112010084814987-pat00009
이고,
Figure 112010084814987-pat00009
ego,

Figure 112010084814987-pat00010
이며,
Figure 112010084814987-pat00010
Is,

Figure 112010084814987-pat00011
이고,
Figure 112010084814987-pat00011
ego,

Figure 112010084814987-pat00012
이며,
Figure 112010084814987-pat00012
Is,

Figure 112010084814987-pat00013
이고,
Figure 112010084814987-pat00013
ego,

Figure 112010084814987-pat00014
이며,
Figure 112010084814987-pat00014
Is,

Figure 112010084814987-pat00015
이다.
Figure 112010084814987-pat00015
to be.

이상에서 설명된 바와 같이 본 발명에 따른 3차원 영상 보조 항법 장치 및 이를 이용한 관성 항법 시스템은 위치 정보를 알고 있는 지상 목표물에 대한 두 지점에서의 시선각 차이를 이용하여 실 현재 위치에서 지상 목표물까지의 거리를 산출하고, 산출된 거리를 이용하여 실 현재 위치와 관성 항법 장치에서 산출된 현재 위치와의 위치 정보 오차를 산출할 수 있다.As described above, the three-dimensional assisted navigation apparatus according to the present invention and the inertial navigation system using the same are obtained from the actual current position to the ground target by using the difference of the viewing angle at two points with respect to the ground target having the position information. The distance may be calculated, and the position information error between the actual current position and the current position calculated by the inertial navigation apparatus may be calculated using the calculated distance.

이렇게 산출된 위치 정보 오차를 이용함으로써 3차원적으로 관성 항법 장치의 누적 오차를 신뢰성 있게 감소시킬 수 있다.By using the calculated position information error, the cumulative error of the inertial navigation apparatus can be reliably reduced in three dimensions.

더욱이, 위치 정보 오차 산출에 이용되는 각 인자의 자체 오차, 예를 들어 영상 센서의 오차 등으로 인하여 산출된 위치 정보 오차 자체의 오차를 최소화하기 위한 조건을 추출하고, 이 조건에 부합하도록 비행체를 운행하도록 유도/제어함으로써 최적의 위치 정보 오차가 산출될 수 있다.
Furthermore, a condition for minimizing the error of the calculated position information error itself due to the error of each factor used for calculating the position information error, for example, the error of the image sensor, is extracted, and the aircraft is operated to meet this condition. By guiding / controlling so that an optimal position information error can be calculated.

도 1은 본 발명의 관성 항법 시스템을 나타낸 블럭도.
도 2는 본 발명의 3차원 영상 보조 항법 장치에서 이루어지는 운용 기하를 나타낸 개략도.
도 3은 본 발명의 3차원 영상 보조 항법을 나타낸 흐름도.
1 is a block diagram showing an inertial navigation system of the present invention.
Figure 2 is a schematic diagram showing the operating geometry made in the three-dimensional image assistance navigation apparatus of the present invention.
3 is a flow chart showing three-dimensional image assistance navigation of the present invention.

이하, 본 발명의 3차원 영상 보조 항법 장치 및 이를 이용한 관성 항법 시스템에 대하여 도면을 참조하여 보다 상세하게 설명한다.Hereinafter, a 3D image assisted navigation apparatus and an inertial navigation system using the same will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 관성 항법 시스템을 나타낸 블럭도이다.1 is a block diagram showing an inertial navigation system of the present invention.

도 1에 도시된 관성 항법 시스템은 비행체의 현재 위치를 산출하는 관성 항법 장치(170), 상기 비행체에 설치되어 위치 정보를 알고 있는 지상 목표물을 촬영하는 영상 센서(110), 상기 지상 목표물에 대한 상기 영상 센서의 두 지점에서의 시선각 측정치를 통해 실 현재 위치와 상기 산출된 현재 위치의 위치 정보 오차를 산출하는 3차원 영상 보조 항법 장치(130) 및 상기 산출된 위치 정보 오차의 자체 오차를 최소화하는 상기 위치 정보 오차 산출에 사용되는 각 인자들의 최적 조건을 추출하고, 상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 비행체를 제어하는 유도 제어 장치(150)를 포함하고 있다.The inertial navigation system shown in FIG. 1 includes an inertial navigation device 170 that calculates a current position of a vehicle, an image sensor 110 installed on the vehicle, and photographing a ground target having position information, and the ground target. The three-dimensional image assistance navigation apparatus 130 for calculating the position information error between the actual current position and the calculated current position through visual angle measurement values at two points of the image sensor and minimizing its own error of the calculated position information error It includes an induction control device 150 for extracting the optimum condition of each factor used for the position information error calculation, and for controlling the vehicle to perform a motion in accordance with the extracted optimum condition.

관성 항법 장치(170)(慣性航法裝置, inertial navigation system)는 장거리 로켓이나 비행기 등의 비행체에 사용되는 항법 장치로 비행체의 현재 위치를 산출한다. 자이로를 이용, 관성공간에 대해 일정한 자세를 유지하는 기준 테이블을 만들고, 그 위에 정밀한 가속도계를 장치하여 이 장치를 비행체에 탑재한다. 이 장치에 의해 발진한 순간부터 임의의 시각까지 3축방향의 가속도를 2회 적분(積分)하면 비행거리가 얻어지며, 따라서 현재의 위치를 알 수 있다. 이 장치는 다른 원조를 전혀 필요로 하지 않고 자기 위치를 결정할 수 있는 특징을 가지며, 또한 외부의 방해를 받지 않는다는 점에서 군사목적에는 특히 중요하다. 원래 이 장치는 미사일의 유도장치(유도를 하는 시간은 몇 분 정도)로 개발된 것으로, 정밀도가 향상되어 비행시간이 10여 시간인 항공기에도 탑재되며, 수천 km의 비행거리에서 오차는 10km 정도이다. 이와 같은 오차는 상당히 작은 정도이나, 정밀한 항법이 요구되는 경우 이와 같은 오차는 심각한 문제를 초래할 수 있다. 따라서, 이와 같은 관성 항법 장치의 오차를 최소화하기 위해 보조 항법 장치가 이용되며, 본 발명에서는 3차원 영상 보조 항법 장치가 이용된다.The inertial navigation system 170 (inertial navigation system) is a navigation device used for a vehicle such as a long-range rocket or an airplane to calculate the current position of the vehicle. Gyro is used to make a reference table that maintains a constant attitude to the inertial space, and a precision accelerometer is mounted on it to mount the device on the aircraft. By integrating the acceleration in the three axial directions twice from the moment of oscillation to an arbitrary time, the flight distance is obtained, and thus the current position can be known. This device is especially important for military purposes in that it does not require any other assistance and has the ability to determine its position and is free from external disturbances. Originally developed as a missile guidance device (a few minutes of induction), it is also mounted on aircraft with up to 10 hours of flight time with improved precision, with an error of 10 km at thousands of kilometers. . These errors are quite small, but if precise navigation is required, these errors can cause serious problems. Therefore, in order to minimize the error of such an inertial navigation apparatus, an auxiliary navigation apparatus is used, and in the present invention, a 3D image auxiliary navigation apparatus is used.

영상 센서(110)는 광파를 이용하여 목표물의 형상을 영상이나 데이터로 제공하는 장치이다. 가시 광선 영역과 눈으로는 볼 수 없는 자외선 및 적외선의 광학 파장 대역을 이용하여 목표물 정보를 획득한다. 영상 센서는 관성 항법 장치(170), 3차원 영상 보조 항법 장치(130), 유도 제어 장치(150)와 함께 비행체에 설치되어 3차원의 위치 정보를 알고 있는 지상 목표물을 촬영한다. 상기 영상 센서에 의해 촬영되는 대상은 지상 목표물이며, 이때 촬영되는 지상 목표물의 위치 정보는 사전에 알고 있어야 한다. 이를 위해 본 발명의 관성 항법 시스템이 설치되는 비행체는 위성 촬영 등을 통해 사전에 획득한 지상 목표물의 위치 정보를 저장하는 저장 수단을 구비할 수 있다. 또한, 저장된 지상 목표물과 영상 센서에서 촬영된 지상 목표물이 동일한지 여부를 판단하는 영상 매칭 수단을 구비할 수 있다. 대체로 비행체는 일정 위치에 고정되지 않고 고속으로 비행하게 되므로 그에 따라 지상 목표물은 해당 비행체의 현재 위치에서 촬영 가능한 다른 지상 목표물로 변경될 수 있다.The image sensor 110 is a device that provides a shape of a target as an image or data using light waves. Target information is obtained using the visible wavelength region and the optical wavelength bands of ultraviolet and infrared rays which are invisible to the eye. The image sensor is installed on the aircraft together with the inertial navigation device 170, the 3D video assisted navigation device 130, and the induction control device 150 to photograph a ground target having 3D location information. The object photographed by the image sensor is a ground target, and the position information of the ground target photographed should be known in advance. To this end, the aircraft in which the inertial navigation system of the present invention is installed may include storage means for storing position information of the ground target obtained in advance through satellite imaging. The apparatus may further include image matching means for determining whether the stored ground target and the ground target photographed by the image sensor are the same. In general, the aircraft is not fixed at a certain position but is flying at high speed, so the ground target may be changed to another ground target that can be photographed at the current position of the vehicle.

3차원 영상 보조 항법 장치(130)는 영상 센서에서 촬영된 지상 목표물에 대한 영상 센서의 두 지점에서의 시선각을 측정하고, 측정된 시선각을 통해 실제의 현재 위치(실 현재 위치)와 관성 항법 장치에서 산출된 현재 위치의 위치 정보 오차를 산출한다. 본 발명에서는 비행체 경로 상의 두 지점(이 중 한 지점은 현재의 위치)에서의 시선각이 필요하다.The three-dimensional image assistance navigation apparatus 130 measures the viewing angles at two points of the image sensor with respect to the ground target captured by the image sensor, and the actual current position (real current position) and the inertial navigation through the measured viewing angles. The position information error of the current position calculated by the device is calculated. The present invention requires a viewing angle at two points on the vehicle path, one of which is the current location.

비행체는 다른 위치에 설치되는 복수의 영상 센서를 포함할 수 있는데, 이 경우 영상 센서의 두 지점은 현재 시각에서 서로 다른 위치에 설치된 2개의 영상 센서의 위치이다. 만약, 비행체에 하나의 영상 센서만이 설치되거나, 복수의 영상 센서 중 하나의 영상 센서만을 이용한다면 비행체의 현재 위치에서의 영상 센서 위치와, 일정 시간 이전의 비행체의 위치에서의 영상 센서 위치가 영상 센서의 두 지점이 된다. 이하에서는 위 두가지 경우를 모두 포함하여 운행 경로 상의 두 지점으로 지칭하기로 한다.The vehicle may include a plurality of image sensors installed at different positions, in which case the two points of the image sensors are positions of two image sensors installed at different positions at the current time. If only one image sensor is installed in the aircraft, or if only one image sensor is used among the plurality of image sensors, the image sensor position at the current position of the aircraft and the image sensor position at the position of the aircraft before a predetermined time are displayed. There are two points on the sensor. Hereinafter, both points will be referred to as two points on the driving route.

지상 목표물의 위치 정보와 운행 경로 상의 두 지점이 형성하는 삼각 평면의 각 내각, 각 변의 길이 중 3개를 알면, 나머지 내각과 나머지 변의 길이를 알 수 있다. 두 지점 간의 거리는 다른 위치에 설치된 2개의 영상 센서를 이용할 경우 해당 센서 간의 거리이고, 하나의 영상 센서를 이용할 경우 관성 항법 장치에서 산출된 일정 시간 이전의 위치와 현재 시각의 위치 간의 거리이다.Knowing the location information of the ground target and each of the angles and the lengths of the sides of the triangular plane formed by the two points on the driving route, the lengths of the remaining angles and the remaining sides can be known. The distance between the two points is the distance between the corresponding sensors when using two image sensors installed at different positions, and the distance between the position before the predetermined time and the position of the current time calculated by the inertial navigation apparatus when using one image sensor.

삼각형의 변 중 현재 위치의 영상 센서(2개의 영상를 사용하는 경우 기준 영상 센서)를 시작점으로 하고 지상 목표물을 끝점으로 하는 벡터와 관성 항법 장치에서 산출된 현재 위치를 시작점으로 하고 지상 목표물을 끝점으로 하는 벡터의 차이가 곧 관성 항법 장치의 위치 정보 오차가 된다.From the sides of the triangle, the image sensor of the current position (the reference image sensor when using two images) is used as the starting point, and the vector is the ground target as the end point, and the current position calculated by the inertial navigation system is used as the starting point. The difference in the vector is the positional information error of the inertial navigation apparatus.

이와 같은 알고리즘은 수학적으로는 문제가 없으나, 실제 적용시 각 인자에 대한 오차로 인하여 문제가 발생한다. 예를 들어 영상 센서 자체의 오차로 인하여 시선각에 오차가 있을 수 있는데, 이와 같은 경우 현재 위치의 영상 센서로부터 지상 목표물까지의 거리 산출에 오차가 포함된다.Such an algorithm is not a problem mathematically, but a problem occurs due to the error of each factor in the actual application. For example, there may be an error in the viewing angle due to an error of the image sensor itself. In this case, an error is included in the distance calculation from the image sensor of the current position to the ground target.

이러한, 위치 정보 오차의 자체 오차를 최소화하기 위해 유도 제어 장치가 이용된다.In order to minimize the self error of the position information error, the induction control device is used.

유도 제어 장치(150)는 3차원 영상 보조 항법 장치에서 위치 정보 오차 산출에 사용되는 각 인자들의 최적 조건을 추출하고, 상기 추출된 최적 조건에 부합하는 운동을 유도하도록 상기 비행체를 제어한다. 위치 정보 오차의 자체 오차는 비행체의 운동 상태에 따라 최소화될 수 있다. 이를 위해 유도 제어 장치는 위치 정보 오차의 자체 오차를 추후 보정하는 것이 아니라, 사전에 위치 정보 오차의 자체 오차를 최소화할 수 있는 각 인자들의 최적 조건을 추출하고, 최적 조건에 부합하도록 비행체의 운동을 제어한다. 이때의 제어는 자동적으로 이루어지거나 조종사에게 권고(표시)함으로써 수동 제어를 유도하는 형태로 이루어질 수 있다.The induction control device 150 extracts an optimum condition of each factor used for calculating position information error in the 3D image assistance navigation apparatus and controls the vehicle to induce a motion corresponding to the extracted optimum condition. The self error of the position information error may be minimized according to the motion state of the vehicle. For this purpose, the induction control device does not compensate for the error of the positional error later, but extracts the optimum condition of each factor that can minimize the error of the positional error in advance and adjusts the movement of the aircraft to meet the optimum condition. To control. The control at this time can be done automatically or in the form of inducing manual control by recommending to the pilot.

이하, 도 1 및 도 2를 참조하여 3차원 영상 보조 항법 장치(130)에 대해서 살펴본다.Hereinafter, the 3D image assisted navigation apparatus 130 will be described with reference to FIGS. 1 and 2.

도 2는 본 발명의 3차원 영상 보조 항법 장치에서 이루어지는 운용 기하를 나타낸 개략도이다.Figure 2 is a schematic diagram showing the operating geometry of the three-dimensional image assistance navigation apparatus of the present invention.

3차원 영상 보조 항법 장치(130)는 위치 정보 T를 알고 있는 지상 목표물을 촬영하는 영상 센서(110)의 상기 T에 대한 운행 경로 상의 두 지점(과거 위치 M1, 현재 위치 M2)에서의 시선각 측정치를 통해 산출한 삼각평면 M1M2T의 내각 λ1, λ21과 상기 두 지점 간 거리

Figure 112010084814987-pat00016
로부터 현재 위치 M2와 상기 T까지의 거리 RP를 산출하는 지상 목표물 거리 산출부(131) 및 관성 항법 장치(170)에서 산출된 현재 위치 G2와 상기 T 및 상기 RP를 이용해 상기 G2와 상기 M2의 위치 정보 오차를 산출하는 위치 정보 오차 산출부(133)를 포함하고 있다. 참고로, 각 인자의 상부에 표시되는 기호 '~'는 관성 항법 장치 또는 영상 센서에 의해 측정되어지는 값을 의미하는 것으로 한다. 예를 들어
Figure 112010084814987-pat00017
는 관성 항법 장치에 의해 산출된 거리로 기기 자체의 오차값을 포함할 수 있다.The three-dimensional image assisted navigation apparatus 130 has a line of sight at two points (past position M 1 , current position M 2 ) on the travel path of the T of the image sensor 110, which photographs the ground target knowing the position information T. Λ 1 , λ 21 of the triangular plane M 1 M 2 T calculated from each measurement and the distance between the two points
Figure 112010084814987-pat00016
The G 2 using the current position G 2 calculated by the ground target distance calculating unit 131 and the inertial navigation device 170 calculating the distance R P from the current position M 2 to the T to the G and the R P. And a position information error calculator 133 for calculating the position information error of M 2 . For reference, the symbol '~' displayed on the upper part of each factor means a value measured by an inertial navigation apparatus or an image sensor. E.g
Figure 112010084814987-pat00017
The distance calculated by the inertial navigation apparatus may include an error value of the device itself.

지상 목표물 거리 산출부(131)는 현재 위치 M2와 지상 목표물 T 간의 거리 RP를 산출한다. M2는 운행 경로 상의 두 지점 중 현재 위치(1개의 영상 센서를 이용할 경우) 또는 현재 시각에서의 기준 센서의 위치(2개의 영상 센서를 이용할 경우)이다. RP의 산출을 위해 삼각평면 M1M2T의 내각 λ1, λ21을 산출하여야 하는데, 이를 위해 영상 센서의 시선각 출력

Figure 112010084814987-pat00018
(방위각),
Figure 112010084814987-pat00019
(고각)를 이용한다.
Figure 112010084814987-pat00020
,
Figure 112010084814987-pat00021
은 영상 센서에서 측정된 값으로 영상 센서의 자체 오차값을 포함할 수 있다.The ground target distance calculator 131 calculates the distance R P between the current position M 2 and the ground target T. M 2 is the current position (if one image sensor is used) or the position of the reference sensor at the current time (if two image sensors are used) of two points on the travel route. In order to calculate R P , the internal angles λ 1 and λ 21 of the triangular plane M 1 M 2 T must be calculated.
Figure 112010084814987-pat00018
(azimuth),
Figure 112010084814987-pat00019
Use (elevation).
Figure 112010084814987-pat00020
,
Figure 112010084814987-pat00021
Is a value measured by the image sensor and may include a self error value of the image sensor.

구체적으로, 도 2와 같이 기준좌표계 {XG, YG, ZG}에서 공간상의 단위벡터

Figure 112010084814987-pat00022
(시선측정위치간 벡터),
Figure 112010084814987-pat00023
(1차 시선벡터),
Figure 112010084814987-pat00024
(2차 시선벡터)를 각각 정의함으로써, 패시브 레인징(passive ranging) 운용 개념을 공간 평면상에서 적용할 수 있다. 즉, 두 시선 측정 위치에서의 영상 센서의 시선각 출력
Figure 112010084814987-pat00025
,
Figure 112010084814987-pat00026
들을 이용하여 공간상의 삼각평면 M1M2T에 대한 내각 λ1과 λ21을 계산하고 관성 항법 장치의 출력을 이용한 기준 거리정보
Figure 112010084814987-pat00027
를 이용함으로써 위치 정보 T를 갖는 표적까지의 실제 거리 정보 RP를 추산하여 관성 항법 장치에서 산출된 항법 정보(G1, G2)의 오차
Figure 112010084814987-pat00028
를 계산할 수 있다.Specifically, as shown in FIG. 2, the unit vector in space in the reference coordinate system {X G , Y G , Z G }
Figure 112010084814987-pat00022
(Vector between eyeball measuring positions),
Figure 112010084814987-pat00023
(Primary eye vector),
Figure 112010084814987-pat00024
By defining each of the (secondary gaze vectors), the concept of passive ranging operation can be applied on the space plane. That is, the viewing angle output of the image sensor at two viewing position
Figure 112010084814987-pat00025
,
Figure 112010084814987-pat00026
Calculate the internal angles λ 1 and λ 21 with respect to the triangular plane M 1 M 2 T in space and reference distance information using the output of the inertial navigation system.
Figure 112010084814987-pat00027
The error of the navigation information G 1 , G 2 calculated by the inertial navigation apparatus by estimating the actual distance information R P to the target having the position information T by using
Figure 112010084814987-pat00028
Can be calculated.

먼저, 충분히 작은 시간동안의 항법오차 변화를 무시함으로써, 다음의 수학식 1과 같이

Figure 112010084814987-pat00029
을 구할 수 있다. First, by ignoring the navigation error change for a sufficiently small time,
Figure 112010084814987-pat00029
Can be obtained.

Figure 112010084814987-pat00030
Figure 112010084814987-pat00030

여기서, G1은 관성 항법 장치에서 산출된 일정 시간 전의 현재 위치, 즉 과거 위치이고, G2는 관성 항법 장치에서 산출된 현재 위치이다.Here, G 1 is a current position before a predetermined time calculated by the inertial navigation apparatus, that is, a past position, and G 2 is a current position calculated by the inertial navigation apparatus.

그리고 기준좌표계 기준으로 변환시킨 영상 센서의 시선각 정보들을 이용하여, 기준좌표계상의 단위 시선 벡터들을 계산하면 다음의 수학식 2와 같다.The unit gaze vectors on the reference coordinate system are calculated using the viewing angle information of the image sensor converted to the reference coordinate system as shown in Equation 2 below.

Figure 112010084814987-pat00031
Figure 112010084814987-pat00031

여기서,

Figure 112010084814987-pat00032
은 과거 위치 M1에서의 고각이고,
Figure 112010084814987-pat00033
는 과거 위치 M1에서의 방위각이다.
Figure 112010084814987-pat00034
는 현재 위치 M2에서의 고각이고,
Figure 112010084814987-pat00035
는 현재 위치 M2에서의 방위각이다.here,
Figure 112010084814987-pat00032
Is the elevation at the past position M 1 ,
Figure 112010084814987-pat00033
Is the azimuth at the past position M 1 .
Figure 112010084814987-pat00034
Is the elevation at the current position M 2 ,
Figure 112010084814987-pat00035
Is the azimuth angle at the current position M 2 .

수학식 3과 같이 단위 벡터들의 내적(dot product)을 이용하여, 기준좌표계 상의 단위 벡터들을 통해 원하는 내각 λ1(

Figure 112010084814987-pat00036
Figure 112010084814987-pat00037
간의 각도)과 λ21(
Figure 112010084814987-pat00038
Figure 112010084814987-pat00039
간의 각도)을 구할 수 있다.Using the dot product of the unit vectors as shown in Equation 3, the desired internal angle λ 1 (
Figure 112010084814987-pat00036
and
Figure 112010084814987-pat00037
Angle) and λ 21 (
Figure 112010084814987-pat00038
Wow
Figure 112010084814987-pat00039
Liver angle) can be obtained.

Figure 112010084814987-pat00040
Figure 112010084814987-pat00040

3차원 passive ranging 개념으로 추산할 수 있는 공간거리 RP는 다음의 수학식 4와 같다.The spatial distance R P that can be estimated by the three-dimensional passive ranging concept is expressed by Equation 4 below.

Figure 112010084814987-pat00041
Figure 112010084814987-pat00041

여기서 관성 항법 장치의 출력으로서의 기준 거리 정보

Figure 112010084814987-pat00042
는 두 측정 시점간의 단기간에 대한 항법 결과이므로, 누적되어온 항법 오차와 무관하게 상대적으로 매우 정확한 거리정보로 활용될 수 있다.Where the reference distance information as an output of the inertial navigation device
Figure 112010084814987-pat00042
Since is a navigation result for a short period between two measurement points, it can be used as a relatively very accurate distance information regardless of the accumulated navigation error.

한편,

Figure 112010084814987-pat00043
은 수학식 1에 의해 지상 목표물 거리 산출부(131)에서 산출될 수도 있으나, 관성 항법 장치로부터 전달받을 수도 있다. G1, G2에 의해 용이하게 산출될 수 있는
Figure 112010084814987-pat00044
도 마찬가지로 지상 목표물 거리 산출부에서 산출될 수 있으며, 관성 항법 장치로부터 전달받을 수도 있다. 다만, 관성 항법 장치로부터 G1, G2만이 출력되는 경우 지상 목표물 거리 산출부는 유도 제어 장치에서 필요로 하는
Figure 112010084814987-pat00045
를 산출하여 유도 제어 장치로 전달할 수 있다.Meanwhile,
Figure 112010084814987-pat00043
May be calculated by the ground target distance calculator 131 by Equation 1, or may be transmitted from the inertial navigation apparatus. Can be easily calculated by G 1 , G 2
Figure 112010084814987-pat00044
Similarly, the ground target distance calculator may be calculated or may be transmitted from the inertial navigation apparatus. However, when only G 1 and G 2 are output from the inertial navigation device, the ground target distance calculation unit is required by the induction control device.
Figure 112010084814987-pat00045
It can be calculated and delivered to the induction control device.

이렇게 계산되어지는 RP를 이용하여 위치 정보 오차 산출부(133)는 기준좌표계 상의 항법 오차 공간 벡터

Figure 112010084814987-pat00046
를 다음의 수학식 5와 같이 구할 수 있다.Using the calculated R P , the position information error calculator 133 may calculate the navigation error space vector on the reference coordinate system.
Figure 112010084814987-pat00046
Can be obtained as in Equation 5 below.

Figure 112010084814987-pat00047
Figure 112010084814987-pat00047

여기서,

Figure 112010084814987-pat00048
는 상기 M2를 시작점으로 하고 상기 T를 끝점으로 하는 벡터의 단위 벡터이고,here,
Figure 112010084814987-pat00048
Is a unit vector of a vector having M 2 as a starting point and T as an end point,

G2는 관성 항법 장치에서 산출된 현재 위치이며,G 2 is the current position calculated by the inertial navigation system,

T는 지상 목표물의 위치이고,T is the position of the ground target,

RP는 M2에서 T까지의 거리이다.R P is the distance from M 2 to T.

수학식 5에 필요한 각 인자는 지상 목표물 거리 산출부로부터 받을 수 있다. 또는 관성 항법 장치와 영상 센서로에서 산출 또는 측정된 값을 받아 필요한 인자를 산출하여 이용할 수 있다. 또한, 지상 목표물의 위치 정보를 사전에 획득하여 저장하고 있는 저장 수단(미도시)으로부터 T를 전달받는다.Each factor required in Equation 5 may be received from the ground target distance calculator. Alternatively, the necessary factors may be calculated by using the calculated or measured values from the inertial navigation apparatus and the image sensor. In addition, T is received from a storage means (not shown) that acquires and stores the position information of the ground target in advance.

이렇게 산출된 오차를 관성 항법 장치(170)에서 산출된 현재 위치 G2와 감산함으로써 보정된 위치 정보, 즉 실 현재 위치를 파악할 수 있게 된다. 이렇게 파악된 실 현재 위치는 유도 제어 장치(150)로 입력되어 기존의 유도 제어 장치의 처리 방안에 따라 처리된다. 실 현재 위치는 영상 센서에 의해 파악이 가능하지만, 이를 위해 위치 정보 T를 알고 있는 지상 목표물이 항상 존재해야 하며, 정확한 시선각과 고각 측정을 위한 운동이 요구된다. 실 운행시에 이와 같은 조건을 항상 완비할 수 없으므로, 일정 구간에서 본 발명에 따라

Figure 112010084814987-pat00049
를 산출해두면 일정 시간 동안 신뢰성 있는 현재 위치의 파악이 가능하다.By subtracting the error calculated in this way from the current position G 2 calculated by the inertial navigation apparatus 170, it is possible to grasp the corrected position information, that is, the actual current position. The actual current position thus identified is input to the induction control device 150 and is processed according to the processing method of the existing induction control device. The actual current position can be determined by the image sensor, but for this purpose, a ground target that knows the position information T must always exist and a movement for accurate viewing angle and elevation measurement is required. In the actual operation, such conditions are not always fully equipped, so in accordance with the present invention in a certain section
Figure 112010084814987-pat00049
If you calculate, you can find the current position reliably for a certain time.

이 항법오차 공간벡터 추산결과는 수학적으로는 완벽하지만 실제 응용시에는 여러 측정치를 근거로 계산하게 되므로, 그 측정치들에 포함된 오차, 예를 들어 영상 센서 자체의 오차가 결과적으로 항법 오차 추산결과에 대한 오차 요인으로 작용하게 된다. 이러한 오차 특성은 공간상의 삼각평면 M1M2T의 기하적 조건, 즉 내각 λ1과 λ21의 절대크기와 상대적인 크기차이에 따라 급격하게 달라지므로, 그 오차특성을 해석하고 항법 오차 추산결과의 오차를 최소화할 수 있는 적응방식의 운용기하를 찾기 위한 방안이 필요하다. 이러한 방안으로 유도 제어 장치(150)가 이용된다.Although the navigation error space vector estimation result is mathematically perfect, in actual application, it is calculated based on several measurements, so that the error included in the measurements, for example, the error of the image sensor itself, is inferior to the navigation error estimation result. It acts as an error factor. This error characteristic varies rapidly according to the geometrical conditions of the triangular plane M 1 M 2 T in space, that is, the absolute size and relative size difference between the interior angles λ 1 and λ 21 . There is a need for a method for finding an adaptive geometry that can minimize errors. In this way, the induction control device 150 is used.

유도 제어 장치(150)는 3차원 영상 보조 항법 장치(130)에서 산출된 위치 정보 오차

Figure 112010084814987-pat00050
의 자체 오차 δRP를 산출하고, δRP를 최소화하는 상기
Figure 112010084814987-pat00051
산출에 사용되는 각 인자들의 최적 조건을 추출하는 최적 조건 추출부(151) 및 추출된 최적 조건에 부합하는 운동을 하도록 3차원 영상 보조 항법 장치가 설치된 비행체를 제어하는 자세 제어부(153)를 포함할 수 있다.Induction control device 150 is the position information error calculated by the three-dimensional image assistance navigation apparatus 130
Figure 112010084814987-pat00050
Calculating its own error δR P , and minimizing δ R P
Figure 112010084814987-pat00051
An optimum condition extracting unit 151 for extracting an optimal condition of each factor used for the calculation and a posture control unit 153 for controlling a vehicle in which a 3D image assisted navigation apparatus is installed to perform a motion corresponding to the extracted optimal condition. Can be.

최적 조건 추출부(151)에서는 각 인자들의 최적 조건을 추출하기 위해 이용하는 오차를 최소화할 수 있는 적응방식의 운용기하의 적응성(adaptiveness; 현재 감지된 기하조건을 오차 전달 관점에서 유리한지 해석하고, 개선될 수 있는 방향으로 기하조건을 변경할 수 있는 판단능력)에 필요한 passive ranging 오차전달 관계식은 다음의 수학식 6과 같다.The optimal condition extractor 151 analyzes and improves the adaptiveness of the operating geometry of the adaptive method that can minimize the error used to extract the optimal condition of each factor from the viewpoint of error propagation. The passive ranging error propagation relation required for the ability to change the geometrical condition in the possible direction is shown in Equation 6 below.

Figure 112010084814987-pat00052
Figure 112010084814987-pat00052

여기서, here,

Figure 112010084814987-pat00053
이고,
Figure 112010084814987-pat00053
ego,

Figure 112010084814987-pat00054
이며,
Figure 112010084814987-pat00054
Is,

Figure 112010084814987-pat00055
이고,
Figure 112010084814987-pat00055
ego,

Figure 112010084814987-pat00056
이며,
Figure 112010084814987-pat00056
Is,

Figure 112010084814987-pat00057
이고,
Figure 112010084814987-pat00057
ego,

Figure 112010084814987-pat00058
이며,
Figure 112010084814987-pat00058
Is,

Figure 112010084814987-pat00059
이고,
Figure 112010084814987-pat00059
ego,

Figure 112010084814987-pat00060
이며,
Figure 112010084814987-pat00060
Is,

Figure 112010084814987-pat00061
이고,
Figure 112010084814987-pat00061
ego,

Figure 112010084814987-pat00062
은 과거 위치 M1에서의 고각이며,
Figure 112010084814987-pat00062
Is the elevation at the past position M 1 ,

Figure 112010084814987-pat00063
는 과거 위치 M1에서의 방위각이고,
Figure 112010084814987-pat00063
Is the azimuth at the past position M 1 ,

Figure 112010084814987-pat00064
는 현재 위치 M2에서의 고각이며,
Figure 112010084814987-pat00064
Is the elevation at the current position M 2 ,

Figure 112010084814987-pat00065
는 현재 위치 M2에서의 방위각이다.
Figure 112010084814987-pat00065
Is the azimuth angle at the current position M 2 .

위의 오차 전달 관계식에서

Figure 112010084814987-pat00066
는 공간 거리 추산 결과의 오차이고,
Figure 112010084814987-pat00067
Figure 112010084814987-pat00068
는 영상 센서의 시선각 측정 오차를 의미한다. 정확하게는
Figure 112010084814987-pat00069
는 RP의 오차이나, 위치 정보 오차
Figure 112010084814987-pat00070
산출에 RP가 이용되므로
Figure 112010084814987-pat00071
를 위치 정보 오차 자체의 오차로 지칭하였다.
Figure 112010084814987-pat00072
Figure 112010084814987-pat00073
의 우측 아래 첨자의 각 숫자 1, 2는 과거 위치와 현재 위치를 나타낸다.In the error transfer relation above
Figure 112010084814987-pat00066
Is the error of the spatial distance estimation result,
Figure 112010084814987-pat00067
Wow
Figure 112010084814987-pat00068
Denotes a visual angle measurement error of the image sensor. Precisely
Figure 112010084814987-pat00069
Is the error of R P or the error of position information
Figure 112010084814987-pat00070
Since R P is used for the calculation
Figure 112010084814987-pat00071
Is referred to as the error of the location information error itself.
Figure 112010084814987-pat00072
Wow
Figure 112010084814987-pat00073
Each number 1 and 2 in the lower right subscript of indicates the past position and the present position.

오차 전달 관계식, 즉 수학식 6에 따르면 1차와 2차 측정 시점에서의 시선 측정치 오차가 공간거리 추산결과에 미치는 영향을 4개의 오차 전달 계수 W1, W2, W3, W4로 분리하여 해석할 수 있게 된다. 이 식을 이용하면 공간 거리를 추산 결과의 오차를 최소화할 수 있는 운용 기하 조건을 찾을 수 있다. 즉, 영상 센서의 요소별/시점별 오차 요인들에 대하여 미리 계획한 영상 센서 운용 기하의 공간 거리 추산성능(결과적으로 보조 항법 성능)을 예측할 수 있게 되는 것이다. 이 오차 전달 관계식의 가장 큰 의미는 무인시스템 운용 중에도 실시간으로 각 물리량에 대한 측정치들을 이용하여 그 운용 기하에 해당하는 오차 전달 계수를 추정(

Figure 112010084814987-pat00074
) 및 모니터링할 수 있으므로, 오차를 더욱 최소화하는 방향(추정하고 있는 오차 전달 계수가 작아지는 방향)으로 운용 기하를 변경하는 적응 방식의 운용을 가능하게 한다.According to the error propagation relation, that is, Equation 6, the effect of the error of the line of sight measurement at the first and second measurement points on the spatial distance estimation result is separated into four error propagation coefficients W 1 , W 2 , W 3 , and W 4 . It can be interpreted. Using this equation, we can find the operating geometric conditions to minimize the error of the result of estimating the spatial distance. In other words, it is possible to predict the spatial distance estimation performance (consequently the auxiliary navigation performance) of the image sensor operating geometry previously planned for the element / view point error factors of the image sensor. The most significant meaning of this error propagation equation is to estimate the error propagation coefficient corresponding to the operation geometry by using the measurements of each physical quantity in real time even during unmanned system operation.
Figure 112010084814987-pat00074
And monitoring, which enables the operation of an adaptive method that changes the operating geometry in a direction that further minimizes the error (a direction in which the estimated error transfer coefficient decreases).

자세 제어부(153)는 3차원 영상 보조 항법 장치에서 산출된 위치 정보 오차의 자체 오차를 최소화하는 방향으로 운용 기하를 변경하는 적응 방식에 따라 비행체를 운용한다. 비행체의 운용에 따라 큰 차이를 보이는 것은 영상 센서의 시선각이므로, 자세 제어부는 간접적으로 영상 센서를 제어하게 된다. 자세 제어부에서 이루어지는 제어는 자동으로 이루어질 수 있으며, 경우에 따라 조종사에게 적절한 운용 방법을 표시함으로써 수동 제어를 유도할 수도 있다.The attitude controller 153 operates a vehicle according to an adaptation method of changing an operation geometry in a direction of minimizing its own error of position information error calculated by the 3D image assistance navigation apparatus. Since the viewing angle of the image sensor shows a large difference according to the operation of the vehicle, the attitude controller controls the image sensor indirectly. Control performed by the posture control unit may be automatically performed, and in some cases, manual control may be induced by displaying an appropriate operation method to the pilot.

도 3은 본 발명의 3차원 영상 보조 항법을 나타낸 흐름도이다. 도 3에 도시된 3차원 영상 보조 항법은 도 1에 도시된 3차원 영상 보조 항법 장치와 유도 제어 장치의 동작으로서 설명될 수도 있다.3 is a flowchart illustrating a three-dimensional image assisted navigation of the present invention. The 3D image assistance navigation shown in FIG. 3 may be described as the operation of the 3D image assistance navigation apparatus and the induction control apparatus shown in FIG. 1.

먼저, 비행체에 설치된 영상 센서(110)에서 위치 정보 T를 알고 있는 지상 목표물을 촬영한다(S 510).First, the image sensor 110 installed in the vehicle to shoot the ground target knowing the position information T (S 510).

3차원 영상 보조 항법 장치(130)에서 상기 T에 대한 상기 영상 센서의 두 지점(과거 위치 M1, 현재 위치 M2)에서의 시선각 측정치를 통해 산출한 삼각평면 M1M2T의 내각 λ1, λ21과 상기 두 지점 간 거리

Figure 112010084814987-pat00075
로부터 현재 위치 M2와 상기 T까지의 거리 RP를 산출한다(S 520). 구체적으로 3차원 영상 보조 항법 장치 내에 포함된 지상 목표물 거리 산출부(131)에서 수행된다.The angle λ of the triangular plane M 1 M 2 T calculated from the viewing angle measurements at two points (past position M 1 , current position M 2 ) of the image sensor with respect to T in the 3D image assistance navigation apparatus 130. 1 , λ 21 and the distance between the two points
Figure 112010084814987-pat00075
The distance R P between the current position M 2 and the T is calculated at step S520. In more detail, the ground target distance calculator 131 included in the 3D image assistance navigation apparatus is performed.

관성 항법 장치(170)에서 산출된 현재 위치 G2와 상기 T 및 상기 RP를 이용해 상기 3차원 영상 보조 항법 장치에서 상기 G2와 상기 M2의 위치 정보 오차

Figure 112010084814987-pat00076
를 수학식 5에 의해 산출한다(S 530). 이와 같은 동작은 3차원 영상 보조 항법 장치 내의 위치 정보 오차 산출부(133)에서 수행된다.Position information error of the G 2 and the M 2 in the 3D image assistance navigation apparatus using the current position G 2 and the T and the R P calculated by the inertial navigation apparatus 170.
Figure 112010084814987-pat00076
Is calculated by the equation (5) (S530). This operation is performed by the position information error calculator 133 in the 3D image assistance navigation apparatus.

이후, 필요에 따라 위치 정보 오차 자체의 오차를 최소화하기 위해 다음의 과정을 추가로 수행할 수 있다.Thereafter, the following process may be additionally performed to minimize the error of the position information error itself as necessary.

유도 제어 장치(150)에서 상기 산출된

Figure 112010084814987-pat00077
의 자체 오차 δRP를 수학식 6에 의해 산출하고, 상기 δRP를 최소화하는 상기
Figure 112010084814987-pat00078
산출에 사용되는 각 인자들의 최적 조건을 추출한다(S 540). 유도 제어 장치의 최적 조건 추출부(151)에서 수행되는 동작이다.The calculated in the induction control device 150
Figure 112010084814987-pat00077
The self error of δ R P is calculated by Equation 6, and the δ R P is minimized.
Figure 112010084814987-pat00078
The optimal condition of each factor used in the calculation is extracted (S540). This operation is performed by the optimum condition extractor 151 of the induction control apparatus.

상기 유도 제어 장치에서 상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 비행체를 제어한다(S 550). 이와 같은 동작은 유도 제어 장치의 자세 제어부에서 수행된다.The vehicle is controlled to perform the movement in accordance with the extracted optimal condition in the induction control device (S550). This operation is performed by the posture control unit of the induction control apparatus.

한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

현재 위치를 신뢰성 있게 파악할 필요가 있는 관성 항법 장치에 적용할 수 있다.Applicable to the inertial navigation system that needs to know the current position reliably.

특히, 영상 센서를 통해 보조 항법을 수행하는 관성 항법 장치에 적용하는 것이 유리하다.
In particular, it is advantageous to apply to an inertial navigation apparatus that performs auxiliary navigation through an image sensor.

110...영상 센서 130...3차원 영상 보조 항법 장치
131...지상 목표물 거리 산출부 133...위치 정보 오차 산출부
150...유도 제어 장치 151...최적 조건 추출부
153...자세 제어부 170...관성 항법 장치
110 ... Image Sensor 130 ... Three-Dimensional Assist Navigation System
131 Ground target distance calculator 133 Position information error calculator
150 ... Induction control unit 151 ... Optimum extractor
153 Position Control 170 Inertial Navigation Unit

Claims (6)

삭제delete 위치 정보 T를 알고 있는 지상 목표물을 촬영하는 영상 센서의 상기 T에 대한 운행 경로 상의 두 지점(과거 위치 M1, 현재 위치 M2)에서의 시선각 측정치를 통해 산출한 삼각평면 M1M2T의 내각 λ1, λ21과 상기 두 지점 간 거리
Figure 112010084814987-pat00079
로부터 현재 위치 M2와 상기 T까지의 거리 RP를 산출하는 지상 목표물 거리 산출부; 및
관성 항법 장치에서 산출된 현재 위치 G2와 상기 T 및 상기 RP를 이용해 상기 G2와 상기 M2의 위치 정보 오차를 산출하는 위치 정보 오차 산출부;
를 포함하는 3차원 영상 보조 항법 장치.
Triangular plane M 1 M 2 T calculated from the viewing angle measurement at two points (past position M 1 , current position M 2 ) on the travel path of the image sensor photographing a ground target knowing the position information T. Of the angles λ 1 , λ 21 and the two points
Figure 112010084814987-pat00079
A ground target distance calculator for calculating a distance R P from the current position M 2 to the T; And
A position information error calculator configured to calculate position information errors of the G 2 and the M 2 using the current position G 2 , the T, and the R P calculated by an inertial navigation apparatus;
3D image assistance navigation apparatus comprising a.
제 2 항에 있어서,
상기 위치 정보 오차 산출부는 다음의 수학식에 의해 상기 위치 정보 오차
Figure 112010084814987-pat00080
를 산출하는 것을 특징으로 하는 3차원 영상 보조 항법 장치.
Figure 112010084814987-pat00081

여기서,
Figure 112010084814987-pat00082
는 상기 M2를 시작점으로 하고 상기 T를 끝점으로 하는 벡터의 단위 벡터이다.
The method of claim 2,
The position information error calculating unit uses the following equation to determine the position information error
Figure 112010084814987-pat00080
3D image assistance navigation apparatus, characterized in that for calculating.
Figure 112010084814987-pat00081

here,
Figure 112010084814987-pat00082
Is a unit vector of a vector having M 2 as a starting point and T as an end point.
3차원 영상 보조 항법 장치에서 산출된 위치 정보 오차
Figure 112010084814987-pat00083
의 자체 오차 δRP를 다음의 수학식에 의해 산출하고, 상기 δRP를 최소화하는 상기
Figure 112010084814987-pat00084
산출에 사용되는 각 인자들의 최적 조건을 추출하는 최적 조건 추출부; 및
상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 3차원 영상 보조 항법 장치가 설치된 비행체를 제어하는 자세 제어부;
를 포함하는 유도 제어 장치.
Figure 112010084814987-pat00085

여기서,
Figure 112010084814987-pat00086
이고,
Figure 112010084814987-pat00087
이며,
Figure 112010084814987-pat00088
이고,
Figure 112010084814987-pat00089
이며,
Figure 112010084814987-pat00090
이고,
Figure 112010084814987-pat00091
이며,
Figure 112010084814987-pat00092
이고,
Figure 112010084814987-pat00093
이며,
Figure 112010084814987-pat00094
이고,
Figure 112010084814987-pat00095
은 과거 위치 M1에서의 고각이며,
Figure 112010084814987-pat00096
는 과거 위치 M1에서의 방위각이고,
Figure 112010084814987-pat00097
는 현재 위치 M2에서의 고각이며,
Figure 112010084814987-pat00098
는 현재 위치 M2에서의 방위각이고,
Figure 112010084814987-pat00099
Figure 112010084814987-pat00100
는 영상 센서의 시선각 측정 오차이며,
Figure 112010084814987-pat00101
Figure 112010084814987-pat00102
의 우측 아래 첨자의 각 숫자 1, 2는 과거 위치와 현재 위치를 나타낸다.
Position Information Error Calculated by 3D Assist Navigation System
Figure 112010084814987-pat00083
The error of the self δR P calculated by the following equation, and to minimize the δR P
Figure 112010084814987-pat00084
An optimum condition extraction unit for extracting an optimum condition of each factor used for the calculation; And
A posture control unit configured to control a vehicle in which the 3D image assistance navigation apparatus is installed to perform a motion corresponding to the extracted optimal condition;
Induction control device comprising a.
Figure 112010084814987-pat00085

here,
Figure 112010084814987-pat00086
ego,
Figure 112010084814987-pat00087
Is,
Figure 112010084814987-pat00088
ego,
Figure 112010084814987-pat00089
Is,
Figure 112010084814987-pat00090
ego,
Figure 112010084814987-pat00091
Is,
Figure 112010084814987-pat00092
ego,
Figure 112010084814987-pat00093
Is,
Figure 112010084814987-pat00094
ego,
Figure 112010084814987-pat00095
Is the elevation at the past position M 1 ,
Figure 112010084814987-pat00096
Is the azimuth at the past position M 1 ,
Figure 112010084814987-pat00097
Is the elevation at the current position M 2 ,
Figure 112010084814987-pat00098
Is the azimuth at the current position M 2 ,
Figure 112010084814987-pat00099
Wow
Figure 112010084814987-pat00100
Is the visual angle measurement error of the image sensor,
Figure 112010084814987-pat00101
Wow
Figure 112010084814987-pat00102
Each number 1 and 2 in the lower right subscript of indicates the past position and the present position.
비행체에 설치된 영상 센서에서 위치 정보 T를 알고 있는 지상 목표물을 촬영하는 단계;
3차원 영상 보조 항법 장치에서 상기 T에 대한 상기 영상 센서의 두 지점(과거 위치 M1, 현재 위치 M2)에서의 시선각 측정치를 통해 산출한 삼각평면 M1M2T의 내각 λ1, λ21과 상기 두 지점 간 거리
Figure 112010084814987-pat00103
로부터 현재 위치 M2와 상기 T까지의 거리 RP를 산출하는 단계; 및
관성 항법 장치에서 산출된 현재 위치 G2와 상기 T 및 상기 RP를 이용해 상기 3차원 영상 보조 항법 장치에서 상기 G2와 상기 M2의 위치 정보 오차
Figure 112010084814987-pat00104
를 다음의 수학식에 의해 산출하는 단계;
를 포함하는 3차원 영상 보조 항법.
Figure 112010084814987-pat00105

여기서,
Figure 112010084814987-pat00106
는 상기 M2를 시작점으로 하고 상기 T를 끝점으로 하는 벡터의 단위 벡터이다.
Photographing a ground target that knows the position information T in an image sensor installed in the vehicle;
Internal angle of the triangular plane M 1 M 2 T calculated from the viewing angle measurements at two points (past position M 1 , current position M 2 ) of the image sensor with respect to the T in a three-dimensional image assistance navigation apparatus λ 1 , λ 21 and the distance between the two points
Figure 112010084814987-pat00103
Calculating a distance R P from the current position M 2 to the T; And
Position information error of the G 2 and the M 2 in the three-dimensional image assistance navigation apparatus using the current position G 2 and the T and the R P calculated by the inertial navigation apparatus
Figure 112010084814987-pat00104
Calculating by the following equation;
3D video assisted navigation comprising a.
Figure 112010084814987-pat00105

here,
Figure 112010084814987-pat00106
Is a unit vector of a vector having M 2 as a starting point and T as an end point.
제 5 항에 있어서,
유도 제어 장치에서 상기 산출된
Figure 112010084814987-pat00107
의 자체 오차 δRP를 다음의 수학식에 의해 산출하고, 상기 δRP를 최소화하는 상기
Figure 112010084814987-pat00108
산출에 사용되는 각 인자들의 최적 조건을 추출하는 단계; 및
상기 유도 제어 장치에서 상기 추출된 최적 조건에 부합하는 운동을 하도록 상기 비행체를 제어하는 단계;를 포함하는 것을 특징으로 하는 3차원 영상 보조 항법.
Figure 112010084814987-pat00109

여기서,
Figure 112010084814987-pat00110
이고,
Figure 112010084814987-pat00111
이며,
Figure 112010084814987-pat00112
이고,
Figure 112010084814987-pat00113
이며,
Figure 112010084814987-pat00114
이고,
Figure 112010084814987-pat00115
이며,
Figure 112010084814987-pat00116
이고,
Figure 112010084814987-pat00117
이며,
Figure 112010084814987-pat00118
이고,
Figure 112010084814987-pat00119
은 과거 위치 M1에서의 고각이며,
Figure 112010084814987-pat00120
는 과거 위치 M1에서의 방위각이고,
Figure 112010084814987-pat00121
는 현재 위치 M2에서의 고각이며,
Figure 112010084814987-pat00122
는 현재 위치 M2에서의 방위각이고,
Figure 112010084814987-pat00123
Figure 112010084814987-pat00124
는 영상 센서의 시선각 측정 오차이며,
Figure 112010084814987-pat00125
Figure 112010084814987-pat00126
의 우측 아래 첨자의 각 숫자 1, 2는 과거 위치와 현재 위치를 나타낸다.
The method of claim 5, wherein
Calculated in the induction control device
Figure 112010084814987-pat00107
The error of the self δR P calculated by the following equation, and to minimize the δR P
Figure 112010084814987-pat00108
Extracting an optimal condition of each factor used in the calculation; And
And controlling the vehicle to perform a motion in accordance with the extracted optimal condition in the induction control device.
Figure 112010084814987-pat00109

here,
Figure 112010084814987-pat00110
ego,
Figure 112010084814987-pat00111
Is,
Figure 112010084814987-pat00112
ego,
Figure 112010084814987-pat00113
Is,
Figure 112010084814987-pat00114
ego,
Figure 112010084814987-pat00115
Is,
Figure 112010084814987-pat00116
ego,
Figure 112010084814987-pat00117
Is,
Figure 112010084814987-pat00118
ego,
Figure 112010084814987-pat00119
Is the elevation at the past position M 1 ,
Figure 112010084814987-pat00120
Is the azimuth at the past position M 1 ,
Figure 112010084814987-pat00121
Is the elevation at the current position M 2 ,
Figure 112010084814987-pat00122
Is the azimuth at the current position M 2 ,
Figure 112010084814987-pat00123
Wow
Figure 112010084814987-pat00124
Is the visual angle measurement error of the image sensor,
Figure 112010084814987-pat00125
Wow
Figure 112010084814987-pat00126
Each number 1 and 2 in the lower right subscript of indicates the past position and the present position.
KR1020100132412A 2010-12-22 2010-12-22 Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same KR101208448B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132412A KR101208448B1 (en) 2010-12-22 2010-12-22 Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132412A KR101208448B1 (en) 2010-12-22 2010-12-22 Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same

Publications (2)

Publication Number Publication Date
KR20120070891A KR20120070891A (en) 2012-07-02
KR101208448B1 true KR101208448B1 (en) 2012-12-05

Family

ID=46706065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132412A KR101208448B1 (en) 2010-12-22 2010-12-22 Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same

Country Status (1)

Country Link
KR (1) KR101208448B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109238277A (en) * 2018-08-01 2019-01-18 清华大学 The localization method and device of vision inertial data depth integration

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957662B1 (en) * 2017-01-18 2019-03-13 국방기술품질원 Apparatus for calculating target information, method thereof and flight control system comprising the same
KR102075028B1 (en) * 2017-11-01 2020-03-11 주식회사 두시텍 Unmanned High-speed Flying Precision Position Image Acquisition Device and Accurate Position Acquisition Method Using the same
WO2020220284A1 (en) * 2019-04-30 2020-11-05 深圳市大疆创新科技有限公司 Aiming control method, mobile robot and computer-readable storage medium
KR102226256B1 (en) * 2020-12-24 2021-03-10 한화시스템(주) Electro-optical tracking apparatus capable of automatic viewing angle correction and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898169B1 (en) 2007-03-23 2009-05-19 국방과학연구소 Initial alignment method of inertial navigation system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898169B1 (en) 2007-03-23 2009-05-19 국방과학연구소 Initial alignment method of inertial navigation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
오승진 등, INS/영상센서 결합 항법시스템 설계, 제어자동화시스템공학논문지 제12권, 제10호, 2006.10.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109238277A (en) * 2018-08-01 2019-01-18 清华大学 The localization method and device of vision inertial data depth integration

Also Published As

Publication number Publication date
KR20120070891A (en) 2012-07-02

Similar Documents

Publication Publication Date Title
US20180313940A1 (en) Calibration of laser and vision sensors
KR101193115B1 (en) Three dimention digital map system
EP3158417B1 (en) Sensor fusion using inertial and image sensors
KR101208448B1 (en) Aided navigation apparatus using 3 dimensional image and inertial navigation system using the same
EP3081902A1 (en) Method and apparatus for correcting aircraft state in real time
WO2016187757A1 (en) Sensor fusion using inertial and image sensors
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
US20080195316A1 (en) System and method for motion estimation using vision sensors
US8245623B2 (en) Weapons system and targeting method
US20080239279A1 (en) Ladar-based motion estimation for navigation
US10078339B2 (en) Missile system with navigation capability based on image processing
WO2016187758A1 (en) Sensor fusion using inertial and image sensors
KR101017606B1 (en) Attitude angle sensor three-dimensional misalignment correction method using single image
CN107727079A (en) The object localization method of camera is regarded under a kind of full strapdown of Small and micro-satellite
EP1956390A2 (en) System and method for sensor fused navigation
EP2322902B1 (en) System and method for determining heading
Caballero et al. Improving vision-based planar motion estimation for unmanned aerial vehicles through online mosaicing
CN109143303B (en) Flight positioning method and device and fixed-wing unmanned aerial vehicle
KR101823774B1 (en) Method for estimating geometric information of target using adaptive guidance filter with strapdown image seeker
EP3051255B1 (en) Survey data processing device, survey data processing method, and program therefor
Dong et al. An autonomous navigation scheme for UAV in approach phase
US20180164122A1 (en) Electronic Control Device for Controlling a Drone, Related Drone, Controlling Method and Computer Program
KR101957662B1 (en) Apparatus for calculating target information, method thereof and flight control system comprising the same
KR100648882B1 (en) Apparatus and method for calculating inertia value in navigation of unmanned aerial vehicle
CN112902957B (en) Missile-borne platform navigation method and system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160519

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191015

Year of fee payment: 8