KR100748405B1 - Particle Sampling Method And Method For Sensor Fusion And Filtering - Google Patents

Particle Sampling Method And Method For Sensor Fusion And Filtering Download PDF

Info

Publication number
KR100748405B1
KR100748405B1 KR1020060012816A KR20060012816A KR100748405B1 KR 100748405 B1 KR100748405 B1 KR 100748405B1 KR 1020060012816 A KR1020060012816 A KR 1020060012816A KR 20060012816 A KR20060012816 A KR 20060012816A KR 100748405 B1 KR100748405 B1 KR 100748405B1
Authority
KR
South Korea
Prior art keywords
particles
state variable
sampling
current state
filtering
Prior art date
Application number
KR1020060012816A
Other languages
Korean (ko)
Other versions
KR20060092063A (en
Inventor
이석한
이성수
이장용
백승민
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to US11/276,127 priority Critical patent/US7379844B2/en
Publication of KR20060092063A publication Critical patent/KR20060092063A/en
Application granted granted Critical
Publication of KR100748405B1 publication Critical patent/KR100748405B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

제약조건 다양체를 기반으로 하여 각 변수의 추정치와 분산값을 알아내기 위한 기술에 관한 것으로, 입자를 이용하여 시스템의 상태 변수에 대한 불확실한 데이터 또는 정보를 필터링 및 융합하기 위하여 입자를 샘플링하는 방법에 있어서, 시스템 모델, 측정 모델 또는 다른 시스템이 갖는 제약조건의 비선형성이 상태변수의 확률분포에 주는 영향을 고려하여 샘플링하는 구성을 마련한다.The present invention relates to a technique for finding an estimate and a variance of each variable based on a constraint manifold. The method of sampling a particle using particles to filter and fuse uncertain data or information about a state variable of a system. For example, a sampling system is prepared by considering the effect of nonlinearity of constraints on system models, measurement models, or other systems on the probability distribution of state variables.

상기와 같은 제약조건 다양체에 기반한 센서 융합 및 필터링 방법 및 시스템을 이용하는 것에 의해, 융합 및 필터링 성능 저하를 줄일 수 있고, 가우시안 근사화 오차를 줄일 수 있고, 불일치된 정보를 검출할 수 있다. By using the sensor fusion and filtering method and system based on the constraint manifold as described above, degradation of the fusion and filtering performance can be reduced, Gaussian approximation error can be reduced, and mismatched information can be detected.

센서 융합, 필터링, 제약조건 다양체, 주변 확률 분포, 결합 확률 분포 Sensor fusion, filtering, constraint manifold, marginal probability distribution, joint probability distribution

Description

입자 샘플링 방법과 센서 융합 및 필터링 방법{Particle Sampling Method And Method For Sensor Fusion And Filtering}Particle Sampling Method and Method For Sensor Fusion And Filtering

도 1은 센서 융합 및 필터링 과정을 나타내는 블록도,1 is a block diagram illustrating a sensor fusion and filtering process;

도 2는 본 발명에 따른 제약조건 다양체에 기반한 센서 융합 및 필터링 방법을 나타내는 흐름도,2 is a flowchart illustrating a sensor fusion and filtering method based on constraint manifolds according to the present invention;

도 3은 본 발명의 구체예에 따른 선형적인 제약조건 다양체에서의 센서 융합 개념을 나타내는 개념도,3 is a conceptual diagram illustrating a sensor fusion concept in a linear constraint manifold according to an embodiment of the present invention;

도 4는 본 발명의 구체예에 따른 비선형적인 제약조건 다양체에서의 센서 융합 개념을 나타내는 개념도,4 is a conceptual diagram illustrating a sensor fusion concept in a nonlinear constraint manifold according to an embodiment of the present invention;

도 5는 본 발명의 수학식 10의 시스템 모델을 이루고 있는 기하학적 다양체에서 일정하게 샘플링한 것을 나타낸 도면,FIG. 5 is a diagram illustrating a sampling of a geometric manifold constituting a system model of Equation 10 according to the present invention.

도 6은 본 발명의 수학식 10의 이 가우시안 샘플들로 구성되었을 때 그에 따른 의 샘플 분포를 나타낸 도면,6 is a diagram illustrating a sample distribution of according to the Gaussian samples of Equation 10 of the present invention.

도 7은 본 발명의 수학식 11의 측정 모델을 이루고 있는 기하학적 다양체에서 일정하게 샘플링한 것을 나타낸 도면,FIG. 7 is a diagram illustrating a sample which is uniformly sampled in a geometric manifold constituting a measurement model of Equation 11 of the present invention;

도 8는 본 발명의 실시예 1 및 비교예 1에 따른 평균 제곱 오차를 나타낸 그 래프,8 is a graph showing the mean square error according to Example 1 and Comparative Example 1 of the present invention,

도 9은 본 발명의 실시예 2 및 비교예 2에 따른 평균 제곱 오차를 나타낸 그래프,9 is a graph showing the mean square error according to Example 2 and Comparative Example 2 of the present invention,

도 10은 본 발명의 실시예 3 및 비교예 3에 따른 평균 제곱 오차를 나타낸 그래프,10 is a graph showing the mean squared error according to Example 3 and Comparative Example 3 of the present invention,

도 11은 본 발명의 실시예 4 및 비교예 4에 따른 평균 제곱 오차를 나타낸 그래프,11 is a graph showing the mean square error according to Example 4 and Comparative Example 4 of the present invention,

도 12는 본 발명의 실시예 5 및 비교예 5에 따른 평균 제곱 오차를 나타낸 그래프,12 is a graph showing the mean square error according to Example 5 and Comparative Example 5 of the present invention;

도 13은 본 발명의 실시예 6 및 비교예 6에 따른 평균 제곱 오차를 나타낸 그래프,13 is a graph showing the mean square error according to Example 6 and Comparative Example 6 of the present invention;

도 14은 본 발명의 실시예 7 및 비교예 7에 따른 평균 제곱 오차를 나타낸 그래프,14 is a graph showing the mean square error according to Example 7 and Comparative Example 7 of the present invention;

도 15는 일반적인 센서 융합의 패턴을 나타내는 도면.15 illustrates a pattern of general sensor fusion.

본 발명은 입자 샘플링 방법과 센서 융합 및 필터링 방법에 관한 것으로, 특히 제약조건 다양체(constraint manifold)를 기반으로 하여 각 변수의 추정치와 분산값을 알아내기 위한 기술에 관한 것이다.The present invention relates to particle sampling methods and sensor fusion and filtering methods, and more particularly to techniques for determining the estimates and variances of each variable based on constraint manifolds.

일반적으로 센서 융합(sensor fusion)은 다른 종류의 센서 정보를 하나의 대표적인 정보 데이터 형태로 조합하거나 융합하는 통합처리이다.In general, sensor fusion is an integrated process of combining or fusing different types of sensor information into one representative information data type.

도 15는 일반적인 센서 융합의 패턴을 나타내는 도면이다.15 is a diagram illustrating a pattern of general sensor fusion.

도 15에서는 처음 두 센서로 부터 얻은 출력

Figure 112006009845961-pat00001
Figure 112006009845961-pat00002
는 새로운 상위 대표값
Figure 112006009845961-pat00003
으로 융합된다. 세번째 센서로 부터 얻어진 출력
Figure 112006009845961-pat00004
은 융합 노드
Figure 112006009845961-pat00005
와 융합되어 새로운 대표값
Figure 112006009845961-pat00006
을 생성하게 되어 상위 노드와 융합이 이루어지게 된다.Figure 15 shows the outputs from the first two sensors
Figure 112006009845961-pat00001
and
Figure 112006009845961-pat00002
Is the new upper representative
Figure 112006009845961-pat00003
To be fused. Output from third sensor
Figure 112006009845961-pat00004
Silver fusion node
Figure 112006009845961-pat00005
Fused with a new representative value
Figure 112006009845961-pat00006
It generates a fusion with the parent node.

이러한 센서 융합 및 필터링 방법(sensor fusion and filtering method)은 도 1에 도시한 바와 같이, 시스템 모델 식을 통한 예측(101)과 측정식을 이용한 측정(102)의 두 단계를 거쳐 융합 및 필터링(103)이 된다. 이러한 센서 융합 및 필터링 방법을 이용한 종래의 필터로는 칼만(Kalman) 필터, 익스텐디드 칼만(Extended Kalman) 필터, 언센티드 칼만(Unscented Kalman) 필터, 파티클(Particle) 필터 등이 있다.As shown in FIG. 1, the sensor fusion and filtering method is fused and filtered through two steps, a prediction 101 through a system model equation and a measurement 102 using a measurement equation. ) Conventional filters using such sensor fusion and filtering methods include Kalman filters, Extended Kalman filters, Unscented Kalman filters, Particle filters, and the like.

이 중, 센서 융합 및 필터링의 기본이 되는 칼만 필터는 가우시안(Gaussian) 오차 모델에 적합한 선형 필터이나, 비선형 시스템 처리에 문제점을 갖고 있다. 이와 같은 비선형 시스템 처리를 위해 익스텐디드 칼만 필터가 개발되었으나, 이는 선형 근사화(linearization)에 의한 오차가 발생하여 시스템의 비선형 정도에 따라 필터의 성능이 달라질 수 있는 단점이 있다. 익스텐디드 칼만 필터의 대안으로 언센티드 칼만 필터가 개발되었는데, 이 방식은 비선형과 가우시안 오차 모델 시스템 을 다룰 수 있다. 이 필터는 현재까지 활발한 연구가 진행되고 있으나, 잘못된 가우시안 근사화로 인해 필터의 성능이 저하될 수 있는 문제점이 있다.Among them, the Kalman filter, which is the basis for sensor fusion and filtering, is a linear filter suitable for Gaussian error model, but has a problem in processing a nonlinear system. An extended Kalman filter has been developed for processing such a nonlinear system, but an error due to linearization may occur, and thus the performance of the filter may vary according to the nonlinearity of the system. As an alternative to the Extended Kalman Filter, an Uncensored Kalman Filter was developed, which can handle nonlinear and Gaussian error model systems. This filter has been actively studied to date, but there is a problem that the performance of the filter may be degraded due to an incorrect Gaussian approximation.

이와 같은 종래의 칼만 계열 필터의 문제점을 극복하기 위해 파티클(Particle) 필터가 개발되었다. 이러한 파티클 필터는 다양한 가중치를 지닌 입자들로 융합된 결과를 표시하는 방법으로서 비선형과 임의의 오차 모델뿐만 아니라 모호한(ambiguous) 정보를 가지고 있는 시스템의 융합 및 필터링에도 적용할 수 있는 장점이 있다. 그러나, 이와 같은 파티클 필터는 잘못된 입자의 예측에 의한 실패와 많은 처리시간으로 인해 실시간 처리의 문제점이 발생한다.Particle filters have been developed to overcome the problems of the conventional Kalman filter. Such a particle filter is a method of displaying a result of fusion of particles having various weights, and has an advantage that it can be applied to fusion and filtering of a system having ambiguous information as well as nonlinear and arbitrary error models. However, such a particle filter has a problem of real-time processing due to the failure of the prediction of the wrong particles and a large processing time.

이와 같은 센서 융합 및 필터링에 대해서는 [1]M. S. Grewal and A. P. Andrews, Kalman Filtering, 2nd ed. New York: Wiley, 2001. [2]H. W. Sorenson, Recursive Estimation for Nonlinear Dynamic Systems. New York: Marcel Dekker, 1988. [3]A. H. Jazwinski, Stochastic Processes and Filtering Theory. New York: Academic, 1970. [4]T. Ghirmai, N.F. Bugallo, J. Miguez and P.P. Djuri, "A novel particle filtering approach to blind symbol detection and timing estimation," IEEE 58th Vehicular Technology Conference (VTC2003), vol. 2, pp. 1147-1151, Oct. 2003. [5]D. Crisan and A. Doucet, "A survey of convergence results on particle filtering methods for practitioners," IEEE Transactions on Signal Processing, vol. 50, pp. 736?746, Mar. 2002. [6]J. H. Kotecha and P. M. Djuric´, “Sequential monte carlo sampling detector for Rayleigh fast-fading channels,” in Proc. Int. Conf. Acoust., Speech, Signal Process., 2000. [7]A. Doucet, S. Godsill, and C. Andrieu, “On sequential Monte Carlo sampling methods for Bayesian filtering,” Statist. Comput., vol. 10, no. 3, pp. 197~208. 2000. 등에 개시되어 있다.For such sensor fusion and filtering, see [1] M. S. Grewal and A. P. Andrews, Kalman Filtering, 2nd ed. New York: Wiley, 2001. [2] H. W. Sorenson, Recursive Estimation for Nonlinear Dynamic Systems. New York: Marcel Dekker, 1988. [3] A. H. Jazwinski, Stochastic Processes and Filtering Theory. New York: Academic, 1970. [4] T. Ghirmai, N.F. Bugallo, J. Miguez and P.P. Djuri, "A novel particle filtering approach to blind symbol detection and timing estimation," IEEE 58th Vehicular Technology Conference (VTC2003), vol. 2, pp. 1147-1151, Oct. 2003. [5] D. Crisan and A. Doucet, "A survey of convergence results on particle filtering methods for practitioners," IEEE Transactions on Signal Processing, vol. 50, pp. 736-746, Mar. 2002. [6] J. H. Kotecha and P. M. Djuric, “Sequential monte carlo sampling detector for Rayleigh fast-fading channels,” in Proc. Int. Conf. Acoust., Speech, Signal Process., 2000. [7] A. Doucet, S. Godsill, and C. Andrieu, “On sequential Monte Carlo sampling methods for Bayesian filtering,” Statist. Comput., Vol. 10, no. 3, pp. 197-208. 2000. et al.

본 발명자들은 센서 융합 및 필터링 방법을 모델 식을 통한 예측 과 측정식을 이용한 측정의 두 단계를 거치는 종래의 방식과는 달리, 단일화된 융합 및 필터링 공간에서 정의된 제약조건 다양체 상에서의 결합 확률을 구하는 방식으로 단순화함으로써, 다양한 제약조건의 적용이 가능하고 기하학적으로 표현된 제약 조건을 직접 다루어 다양한 모델에의 적용이 가능할 뿐만 아니라, 비선형, 비가우시안 오차 모델과 불명확한 정보를 가지는 시스템에 대한 융합 및 필터링에도 적용할 수 있는 통합된 센서 융합 및 필터링 방법을 개발하기에 이른 것이다.In contrast to the conventional method in which the sensor fusion and filtering method has two steps, the prediction through the model equation and the measurement using the measurement equation, the inventors obtain the probability of coupling on the constraint manifold defined in the unified fusion and filtering space. By simplifying the method, various constraints can be applied, and geometrical representations of constraints can be directly applied to various models, as well as fusion and filtering for nonlinear, non-Gaussian error models and systems with unclear information. We are also beginning to develop an integrated sensor fusion and filtering method that can be applied to.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 단일화된 융합 및 필터링 공간에서 정의된 제약조건 다양체 위에서의 결합 확률을 구하는 방식을 적용함으로써 다양한 제약조건의 적용이 가능하고, 기하학적으로 표현된 제약 조건을 직접 다루어 다양한 모델에 적용이 가능한 제약조건 다양체에 기반한 센서 융합 및 필터링 방법 및 시스템을 제공하는 것이다.An object of the present invention is to solve the problems described above, by applying a method for obtaining the probability of coupling on the constraint manifold defined in the unified fusion and filtering space, it is possible to apply a variety of constraints, geometrically It is to provide a sensor fusion and filtering method and system based on the constraint manifold that can be applied to various models by directly dealing with the expressed constraints.

본 발명의 다른 목적은 시스템 모델과 관측 모델을 선형화하지 않고 융합 및 필터링 공간에 제약조건 다양체로 그대로 표현함으로써 잘못된 선형화에 따른 융합 및 필터링 성능 저하를 줄일 수 있는 제약조건 다양체에 기반한 센서 융합 및 필터 링 방법 및 시스템을 제공하는 것이다.Another object of the present invention is to express fusion manifolds in the fusion and filtering space without linearizing the system model and the observation model, thereby reducing sensor fusion and filtering performance due to incorrect linearization. It is to provide a method and system.

본 발명의 또 다른 목적은 오차 모델을 가우시안의 합으로 표현하여 연산함으로써 가우시안 근사화 오차를 줄일 수 있고, 불일치된 정보를 검출할 수 있으며, 불명확한 정보를 가지는 시스템에 대한 융합 및 필터링 문제에 적용할 수 있는 제약조건 다양체에 기반한 센서 융합 및 필터링 방법 및 시스템을 제공하는 것이다.It is another object of the present invention to reduce the Gaussian approximation error, to detect the mismatched information, and to apply the convergence and filtering problems for a system having unclear information by calculating and calculating the error model as a sum of Gaussian. To provide a method and system for sensor fusion and filtering based on a variety of constraints.

상기 목적을 달성하기 위해 본 발명에 따른 입자 샘플링방법은 입자를 이용하여 시스템의 상태 변수에 대한 불확실한 데이터 또는 정보를 필터링 및 융합 하기 위하여 입자를 샘플링하는 방법에 있어서, 시스템 모델, 측정 모델 또는 다른 시스템이 갖는 제약조건의 비선형성이 상태변수의 확률분포에 주는 영향을 고려하여 샘플링하는 것을 특징으로 한다.In order to achieve the above object, the particle sampling method according to the present invention is a method of sampling a particle to filter and fuse uncertain data or information on a state variable of a system by using a particle, including a system model, a measurement model, or another system. It is characterized by sampling considering the effect of nonlinearity of the constraint on the probability distribution of state variables.

또 본 발명에 따른 입자 샘플링 방법에 있어서, 상기 샘플링 방법은 이전 상태 변수로부터 상기 시스템 모델 식이나 다른 시스템 모델 식에 의해 추정되는 현재 상태 변수의 확률 분포를 구하기 위해 이전 상태 변수의 축에서 일정하게 입자를 샘플링하는 단계, 상기 샘플링된 이전 상태 변수의 입자들과 이전 상태 변수의 사전 확률 정보에 의해 할당된 가중치로부터 시스템 모델 식이나 다른 시스템 모델 식에 따른 현재 상태 변수 입자들과 각 현재 상태 변수 입자의 추정되는 가중치를 획득하는 단계, 상기 샘플링된 현재 상태 변수 입자들과 각 현재 상태 변수 입자의 추정되는 가중치로부터 추정되는 현재 상태의 사전 확률 분포를 구하는 단계, 측정 변수의 입자들을 구하기 위해 현재 상태 변수로부터 측정 모델 식에 의해 추정되는 측정 변수의 입자들을 획득하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the particle sampling method according to the present invention, the sampling method is a constant particle on the axis of the previous state variable to obtain a probability distribution of the current state variable estimated by the system model equation or another system model equation from the previous state variable. Sampling the current state variable particles and each current state variable particle according to a system model equation or another system model equation from a weight assigned by the sampled particles of the previous state variable and the prior probability information of the previous state variable. Obtaining an estimated weight, obtaining a prior probability distribution of the estimated current state from the sampled current state variable particles and the estimated weight of each current state variable particle, from the current state variable to obtain particles of the measurement variable The input of the measured variable estimated by the measured model equation Including the step of obtaining it is characterized in that formed.

또 본 발명에 따른 입자 샘플링 방법에 있어서, 상기 샘플링 방법은 임의의 모델식의 기하학적 공간상의 다양체에 일정한 간격으로 샘플링한 것을 "Uniform sampling on Constraint Manifold"이라고 정의했을 때, 사전에 시스템 모델 식이나 기타 시스템 모델 식을 만족하는 무수히 많은 샘플들로부터 기하학적 공간상에서의 일정한 간격으로 샘플링하여 이전 상태 변수의 입자들과 현재 상태 변수의 입자들을 구하는 단계, 상기 이전 상태 변수의 축에서 일정하게 나눈 간격을 버킷(bucket)이라고 정의했을 때, 상기 이전 상태 변수의 입자들과 이전 상태 변수의 사전 확률 정보에 의해 할당된 가중치와 버킷 안에 들어 있는 입자 개수를 통해 추정되는 각 현재 상태 변수 입자의 가중치를 획득하는 단계, 상기 샘플링된 현재 상태 변수 입자들과 각 현재 상태 변수 입자의 추정되는 가중치로부터 추정되는 현재 상태의 사전 확률 분포를 구하는 단계, 사전에 측정 모델 식을 만족하는 무수히 많은 샘플들로부터 기하학적 공간상에서의 일정한 간격으로 샘플링하여 현재 상태 변수의 입자들과 측정 변수의 입자들을 구하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In addition, in the particle sampling method according to the present invention, when the sampling method is defined as "Uniform sampling on Constraint Manifold", the sampling of the manifolds in a geometrical space of an arbitrary model equation is performed in advance. Sampling the particles of the previous state variable and the particles of the current state variable by sampling at constant intervals in the geometric space from a myriad of samples satisfying the system model equation; obtaining a weight of each current state variable particle estimated by the weights assigned by the particles of the previous state variable and the prior probability information of the previous state variable and the number of particles in the bucket; The sampled current state variable particles and each current state variable particle Obtaining the prior probability distribution of the estimated current state from the estimated weights, and sampling the particles of the current state variable and the particles of the measured variable by sampling at regular intervals in geometric space from a myriad of samples satisfying the measurement model equation in advance Characterized in that it comprises a step of obtaining.

또 본 발명에 따른 입자 샘플링 방법에 있어서, 상기 시스템 모델, 측정 모델 또는 기타 시스템이 갖는 제약조건 다양체의 비선형성과 몬테 카를로(Monte Carlo)법에 의해 제약 조건 다양체를 만족하는 샘플을 구하는 것을 특징으로 한다.In the particle sampling method according to the present invention, a sample satisfying the constraint manifold is obtained by non-linearity of the constraint manifold and the Monte Carlo method. .

또 본 발명에 따른 입자 샘플링 방법에 있어서, 상기 각 버킷(bucket)안에 들어 있는 입자 개수를 m이라 할 때, 상기 현재 상태 변수의 입자의 가중치는In the particle sampling method according to the present invention, when the number of particles contained in each bucket is m, the weight of the particle of the current state variable is

현재 상태 변수 입자 가중치 = 각 버킷 속의 원래 지니고 있던 가중치 / mCurrent State Variable Particle Weight = Original Weight in Each Bucket / m

에 의해 구해지는 것을 특징으로 한다.It is characterized by obtaining by.

또한 상기 목적을 달성하기 위해 본 발명에 따른 융합 및 필터링 방법은 입자를 이용하여 시스템의 상태 변수에 대한 불확실한 데이터 또는 정보를 융합 및 필터링하는 방법에 있어서, 상태 및 측정에 대한 변수들로 이루어진 데이터 또는 정보의 필터링 및 융합 공간을 설정하는 단계, 이 공간상에서 다양한 제약조건들을 포함하는 제약조건 다양체를 정의하는 단계, 상기 변수들의 사전 확률 분포를 이용하여 상기 제약조건 다양체 상에서 결합 확률 분포를 연산하는 단계, 상기 결합 확률 분포로부터 상기 변수들의 주변 확률 분포를 연산하는 단계 및 상기 변수들의 추정치와 분산값을 얻는 단계를 포함하여 융합 및 필터링이 실행되는 것을 특징으로 한다.In addition, in order to achieve the above object, the fusion and filtering method according to the present invention is a method for fusion and filtering uncertain data or information on the state variables of the system using particles, the data consisting of the variables for the state and measurement or Setting a filtering and fusion space of information, defining a constraint manifold comprising various constraints in this space, calculating a joint probability distribution on the constraint manifold using the prior probability distribution of the variables, Fusion and filtering are performed, including calculating a marginal probability distribution of the variables from the combined probability distribution and obtaining an estimate and a variance of the variables.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.The above and other objects and novel features of the present invention will become more apparent from the description of the specification and the accompanying drawings.

먼저 본 발명의 개념에 대해 설명한다.First, the concept of the present invention will be described.

도 2에 도시한 바와 같이, 본 발명에 따른 제약조건 다양체에 기반한 센서 융합 및 필터링 방법은 각 변수들로 구성된 센서 융합 및 필터링 공간을 설정하는 단계(S1), 센서 융합 및 필터링 공간 안에 제약조건 다양체를 설정하고(S2), 변수들의 사전 확률 분포를 구하는 단계(S3), 사전 확률 분포로부터 제약조건 다양체 위에 올라가는 결합 확률을 연산하는 단계(S4), 결합 확률로부터 각 변수 축으로 역전파(back propagation)하여 각 변수의 주변 확률(marginal probability)을 연산하는 단계(S5)를 포함한다. 이러한 단계는 다수의 센서와 다수의 센서에서 수집된 데이터를 처리하는 프로세서에 의해 실행된다. 즉 본 발명에서 사용되는 다수의 센서는 예를 들어 자외선 센서, 적외선 센서, 열 감지 센서 등으로 이루어 지며, 특정 센서의 종류에 한정되는 것은 아니다. 또 다수의 센서에서 수집된 데이터를 처리하는 프로세서는 상기 단계S1 내지 S5를 실행할 수 있는 기능을 수반하는 것으로서 통상의 컴퓨터 시스템에 의해 달성된다.As shown in FIG. 2, the sensor fusion and filtering method based on the constraint manifold according to the present invention sets a sensor fusion and filtering space composed of variables (S1), and the constraint manifold in the sensor fusion and filtering space. (S2), calculating a prior probability distribution of the variables (S3), calculating a coupling probability that rises above the constraint manifold from the prior probability distribution (S4), and back propagation to each variable axis from the coupling probability. Calculating a marginal probability of each variable (S5). This step is executed by a processor that processes multiple sensors and data collected by the multiple sensors. That is, a plurality of sensors used in the present invention are made of, for example, an ultraviolet sensor, an infrared sensor, a thermal sensor, and the like, but are not limited to a specific sensor type. In addition, a processor for processing data collected by a plurality of sensors is achieved by an ordinary computer system as being accompanied by a function capable of performing the above steps S1 to S5.

본 발명에 따른 센서 융합 및 필터링 방식을 설명하기 위해, 각 변수의 상태 및 측정을

Figure 112006009845961-pat00007
라 하고, 각 측정에 대한 추정치를
Figure 112006009845961-pat00008
라 하며, 각 추정치 사이의 상관관계인 제약조건을
Figure 112006009845961-pat00009
이라 하면, 하기 수학식 1와 같이 각 변수의 주변 확률 분포를 구하는 것을 고려해 볼 수 있다.To illustrate the sensor fusion and filtering scheme according to the present invention, the state and measurement of each variable
Figure 112006009845961-pat00007
And estimates for each measurement
Figure 112006009845961-pat00008
The constraint, which is the correlation between each estimate,
Figure 112006009845961-pat00009
In this case, as shown in Equation 1 below, it may be considered to obtain a marginal probability distribution of each variable.

Figure 112006009845961-pat00010
Figure 112006009845961-pat00010

상기 식에서,

Figure 112006009845961-pat00011
이고,
Figure 112006009845961-pat00012
이며,
Figure 112006009845961-pat00013
이다.Where
Figure 112006009845961-pat00011
ego,
Figure 112006009845961-pat00012
Is,
Figure 112006009845961-pat00013
to be.

본 발명의 이러한 과정은 일반적인 센서 융합 및 필터링에서 사용하는 베이 시안(Bayesian) 개념의 추정과 비교하면 다음과 같다.This process of the present invention is compared with the estimation of the Bayesian concept used in general sensor fusion and filtering.

베이시안 개념의

Figure 112006009845961-pat00014
값들의 추정은 하기 수학식 2의 사후 확률 분포(posterior probability distribution)를 구함으로써 얻을 수 있다.Bayesian concept
Figure 112006009845961-pat00014
Estimation of the values can be obtained by obtaining a posterior probability distribution of Equation 2 below.

Figure 112006009845961-pat00015
Figure 112006009845961-pat00015

상기 식에서

Figure 112006009845961-pat00016
이다.In the above formula
Figure 112006009845961-pat00016
to be.

따라서, 본 발명에서 각 변수

Figure 112006009845961-pat00017
의 주변 확률 분포를 구하는 것은 상기 수학식 2의 사후 확률 분포를 구하는 것과 동일함을 알 수 있다.Therefore, in the present invention, each variable
Figure 112006009845961-pat00017
It can be seen that obtaining the neighbor probability distribution of is the same as obtaining the posterior probability distribution of Equation 2 above.

본 발명에서 상기 수학식 1의 주변 확률 분포를 구하는 과정은 다음과 같다.In the present invention, the process of obtaining the marginal probability distribution of Equation 1 is as follows.

우선,

Figure 112006009845961-pat00018
로 구성된 센서 융합 및 필터링 공간
Figure 112006009845961-pat00019
을 정의하고, 제약조건
Figure 112006009845961-pat00020
을 설정한다.first,
Figure 112006009845961-pat00018
Sensor fusion and filtering space
Figure 112006009845961-pat00019
Define a constraint
Figure 112006009845961-pat00020
Set.

이때, 상태 및 측정

Figure 112006009845961-pat00021
와 분산이 각
Figure 112006009845961-pat00022
축의 사전 확률로 나타나며, 센서 융합 및 필터링 공간
Figure 112006009845961-pat00023
에는 각 사전 확률값의 곱으로 결합 확률 분포
Figure 112006009845961-pat00024
가 표현된다.At this time, status and measurement
Figure 112006009845961-pat00021
And scatter each
Figure 112006009845961-pat00022
Sensor fusion and filtering space, represented by the prior probability of the axis
Figure 112006009845961-pat00023
Has a combined probability distribution with the product of each prior probability value
Figure 112006009845961-pat00024
Is expressed.

상기 제약조건

Figure 112006009845961-pat00025
이 주어져 있으므로 이 공간에 제약조건을 기하학적으로 나타내고, 이 제약조건 상의 결합 확률 분포인
Figure 112006009845961-pat00026
를 구한다.Above constraints
Figure 112006009845961-pat00025
Since the constraints are geometrically represented in this space,
Figure 112006009845961-pat00026
Obtain

상기 각 변수의 추정치와 갱신된 분산은 상기 제약조건 상의 결합 확률 분포를 각 축으로 역전파(back propagation)한 주변 확률 분포를 구함으로써 얻는다. 따라서, 센서 융합 및 필터링 방법은 상기 수학식 1와 같이 주변 확률 분포를 구하는 것과 동일하게 취급할 수 있다.The estimate of each variable and the updated variance are obtained by obtaining a marginal probability distribution that backpropagates the combined probability distribution on the constraint to each axis. Therefore, the sensor fusion and filtering method may be treated in the same manner as obtaining the marginal probability distribution as shown in Equation 1 above.

도 3은 본 발명의 구체 예에 따른 선형적인 제약조건 다양체 기반의 센서 융합 개념을 나타내는 개념도이다. 도 3을 참조하여 본 발명에 따른 센서 융합 및 필터링 방법을 설명하면 다음과 같다.3 is a conceptual diagram illustrating a sensor fusion concept based on linear constraint manifolds according to an embodiment of the present invention. Referring to FIG. 3, the sensor fusion and filtering method according to the present invention will be described.

일반적으로 베이시안 개념에서 두 개의 상태 및 측정 ,

Figure 112006009845961-pat00027
가 주어졌을 때 융합 결과인
Figure 112006009845961-pat00028
를 추정하는 식은 하기 수학식 3과 같다.In general, in the Bayesian concept, two states and measurements,
Figure 112006009845961-pat00027
Given the convergence result
Figure 112006009845961-pat00028
The equation for estimating is equal to Equation 3 below.

Figure 112006009845961-pat00029
Figure 112006009845961-pat00029

여기서, 상태 및 측정

Figure 112006009845961-pat00030
Figure 112006009845961-pat00031
가 서로 독립이라면 상기 수학식 3은 하기 수학식 4와 같이 간략하게 된다.Where status and measurement
Figure 112006009845961-pat00030
and
Figure 112006009845961-pat00031
If is independent of each other, the equation (3) is simplified as shown in equation (4).

Figure 112006009845961-pat00032
Figure 112006009845961-pat00032

상기 식에서,

Figure 112006009845961-pat00033
은 정규화(normalization) 계수이다.Where
Figure 112006009845961-pat00033
Is the normalization coefficient.

도 3에서와 같이, 본 발명에 따른 센서 융합 및 필터링을 위해서는 하기 수 학식 5와 같이 제약조건(301)을

Figure 112006009845961-pat00034
로 설정하고, 각 변수의 사전 확률 분포(303, 305)를 이용하여 상기 제약조건 위의 결합 확률 분포(304)를 구한 다음,
Figure 112006009845961-pat00035
, 의 주변 확률 분포(302, 306)를 역전파를 통해 얻는다.As shown in Figure 3, for the sensor fusion and filtering according to the present invention, the constraint (301) as shown in Equation 5 below
Figure 112006009845961-pat00034
Using the prior probability distribution of each variable (303, 305) to obtain the combined probability distribution 304 above the constraint,
Figure 112006009845961-pat00035
The neighbor probability distributions 302 and 306 of, are obtained by back propagation.

Figure 112006009845961-pat00036
Figure 112006009845961-pat00036

여기서,

Figure 112006009845961-pat00037
이기 때문에, 적분을 풀어 다시 쓰면 하기 수학식 6과 같다.here,
Figure 112006009845961-pat00037
For this reason, solving the integral and rewriting it is shown in Equation 6 below.

Figure 112006009845961-pat00038
Figure 112006009845961-pat00038

본 발명에서 주변 확률 분포를 구하는 것이 일반적인 센서 융합 및 필터링에서 사후 확률 분포와 개념적으로 같다는 것을 보이기 위해 상기 수학식 6을 정리해 보면 하기 수학식 7과 같다.In the present invention, in order to show that calculating the probability of the surrounding probability is conceptually the same as the posterior probability distribution in general sensor fusion and filtering, the equation (6) is as follows.

Figure 112006009845961-pat00039
Figure 112006009845961-pat00039

여기서,

Figure 112006009845961-pat00040
로 정규화 계수이다.here,
Figure 112006009845961-pat00040
Is the normalization coefficient.

상기 상태 및 측정

Figure 112006009845961-pat00041
Figure 112006009845961-pat00042
가 서로 독립이라면 상기 수학식 7은 하기 수학식 8과 같이 간략화 된다.The above state and measurement
Figure 112006009845961-pat00041
and
Figure 112006009845961-pat00042
Are independent from each other, the equation (7) is simplified as shown in equation (8).

Figure 112006009845961-pat00043
Figure 112006009845961-pat00043

이와 같이, 본 발명의 센서 융합 및 필터링 방법에 따라 유도된 상기 수학식 7 및 8은 일반적인 센서 융합 방식에서 유도된 수학식 3 및 4와 일치한다.As such, Equations 7 and 8 derived according to the sensor fusion and filtering method of the present invention are consistent with Equations 3 and 4 derived from the general sensor fusion method.

본 발명에 따른 제약조건 다양체를 임의의 비선형 함수로 간주하고, 보다 일반적인 센서 및 필터링 방법으로 확장하여 상태 추정 문제를 설명하면 다음과 같다.Considering the constraint manifold according to the present invention as an arbitrary nonlinear function and extending to more general sensors and filtering methods, the problem of state estimation is described as follows.

Figure 112006009845961-pat00044
Figure 112006009845961-pat00045
시점의 변수의 실제 값과 추정치가
Figure 112006009845961-pat00046
Figure 112006009845961-pat00047
라 하고, 상태 전이 함수는
Figure 112006009845961-pat00048
이라 하자.
Figure 112006009845961-pat00044
and
Figure 112006009845961-pat00045
The actual values and the estimates
Figure 112006009845961-pat00046
and
Figure 112006009845961-pat00047
State transition function
Figure 112006009845961-pat00048
Let's say

Figure 112006009845961-pat00049
를 측정한 센서의 출력값은
Figure 112006009845961-pat00050
이 반면, 실제 상태 및 측정
Figure 112006009845961-pat00051
Figure 112006009845961-pat00052
Figure 112006009845961-pat00053
를 만족한다고 가정하고,
Figure 112006009845961-pat00054
Figure 112006009845961-pat00055
에 연관된 불확실성이
Figure 112006009845961-pat00056
Figure 112006009845961-pat00057
로 주어진다고 가정하자.
Figure 112006009845961-pat00049
The output value of the sensor measuring
Figure 112006009845961-pat00050
On the other hand, real state and measurement
Figure 112006009845961-pat00051
Wow
Figure 112006009845961-pat00052
Is
Figure 112006009845961-pat00053
Assume that we satisfy
Figure 112006009845961-pat00054
and
Figure 112006009845961-pat00055
The uncertainty associated with
Figure 112006009845961-pat00056
Wow
Figure 112006009845961-pat00057
Suppose is given by

이때, 본 발명에 따른 추정치

Figure 112006009845961-pat00058
는 다음의 과정으로 구해진다.At this time, the estimated value according to the present invention
Figure 112006009845961-pat00058
Is obtained by the following procedure.

센서 융합 및 필터링 공간은

Figure 112006009845961-pat00059
로 설정되고, 제약조건 다양체는
Figure 112006009845961-pat00060
이다. 추정치
Figure 112006009845961-pat00061
Figure 112006009845961-pat00062
로 주어지며, 하기 수학식 9에 의하여 연산된다.Sensor fusion and filtering space
Figure 112006009845961-pat00059
Set to, and the constraint manifold is
Figure 112006009845961-pat00060
to be. Estimate
Figure 112006009845961-pat00061
Is
Figure 112006009845961-pat00062
It is given by Equation 9 below.

Figure 112006009845961-pat00063
Figure 112006009845961-pat00063

여기서 결합 확률

Figure 112006009845961-pat00064
는 이미 알고 있는
Figure 112006009845961-pat00065
Figure 112006009845961-pat00066
로부터 구해진다.Where join probability
Figure 112006009845961-pat00064
Already know
Figure 112006009845961-pat00065
Wow
Figure 112006009845961-pat00066
Obtained from

이와 같이, 센서 측정값

Figure 112006009845961-pat00067
Figure 112006009845961-pat00068
에 의한
Figure 112006009845961-pat00069
의 전파로 얻어진 추정치
Figure 112006009845961-pat00070
의 융합 문제는, 본 발명에 따라 상기 수학식 9와 같이 제약조건 만족의 문제로 풀 수 있다.As such, sensor readings
Figure 112006009845961-pat00067
Wow
Figure 112006009845961-pat00068
On by
Figure 112006009845961-pat00069
Estimate obtained by propagation of
Figure 112006009845961-pat00070
According to the present invention, the convergence problem can be solved as a problem of satisfying the constraint as shown in Equation (9).

도 4는 본 발명의 구체 예에 따른 비선형적인 제약조건 다양체(401)에서의 센서 융합 개념을 나타내는 개념도이다. 도 4를 참조하면, 두 변수로 이루어진 융합 및 필터링 공간에서 사전 확률 분포(403, 405)를 이용하여 비선형 제약 조건 상의 결합 확률 분포(404)와 주변 확률 분포(402, 406)를 나타낼 수 있다.4 is a conceptual diagram illustrating a sensor fusion concept in the nonlinear constraint manifold 401 according to an embodiment of the present invention. Referring to FIG. 4, a combined probability distribution 404 and a non-linear probability distribution 402 and 406 on nonlinear constraints may be represented using prior probability distributions 403 and 405 in a fusion and filtering space consisting of two variables.

이 경우, 사전 확률 분포(403, 406)가 가우시안 분포를 따르더라도 제약조건(401) 상의 결합 확률 분포(404)로부터 역전파 되어 얻어진 주변 확률 분포(402, 406)는 비가우시안 분포를 갖는다.In this case, even if the prior probability distributions 403 and 406 follow the Gaussian distribution, the peripheral probability distributions 402 and 406 obtained by back propagating from the combined probability distribution 404 on the constraint 401 have a non-Gaussian distribution.

따라서, 본 발명에서는 비가우시안 확률 모델을 표현하기 위해 가우시안의 합(sum of Gaussian)을 사용한다.Therefore, the present invention uses the sum of Gaussian to represent the non-Gaussian probability model.

본 발명에 따라 불일치된 정보를 융합할 경우 제약조건 다양체 상의 결합 확률 분포 자체가 평평하게 되어서 불일치 상황을 검출할 수 있으며, 불명확한 정보는 가우시안의 합으로 여러 피크를 갖는 확률로 표현되고 연산됨에 따라 단일 가우시안 근사화 오차 없이 처리가 가능하다.According to the present invention, when the inconsistent information is fused, the combined probability distribution itself on the constraint manifold can be flattened to detect the inconsistency, and the unclear information is expressed and calculated as a probability having multiple peaks as a sum of Gaussian. Processing is possible without a single Gaussian approximation error.

이하 본 발명의 실시예를 구체적으로 설명한다.Hereinafter, embodiments of the present invention will be described in detail.

본 발명에 따른 센서 융합 및 필터링 성능을 종래의 필터링 성능과 비교하기 위하여, 하기 수학식 10의 시스템 모델과, 하기 수학식 11의 측정 모델을 갖는 UNGM(Univariate Nonstationary Growth Model)을 도입하였다. 제약조건 다양체에 일정하게 샘플링하여 제약조건의 기하학적인 비선형성을 필터링에 반영하였다. 제약조건의 기하학 공간에서 다양체 위의 샘플들에 해당하는 샘플들이 공간을 이루는 각각의 축 상에 존재하며, 이들 샘플들은 기하학 특징인 비선형성에 따라 배치됨을 알 수 있다. 본 발명에 따른 센서 융합 및 필터링 방법과 종래의 익스텐디드 칼만 필터, 언센티드 칼만 필터, 및 파티클 필터와 비교한 상태 추정 모의 실험을 수행하였다. In order to compare the sensor fusion and filtering performance according to the present invention with the conventional filtering performance, a UNV (Univariate Nonstationary Growth Model) having a system model of Equation 10 and a measurement model of Equation 11 was introduced. Constantly sampling the constraint manifolds reflected the geometric nonlinearity of the constraints in the filtering. It can be seen that in the geometric space of the constraint, samples corresponding to the samples on the manifold exist on each axis constituting the space, and these samples are arranged in accordance with the nonlinearity of the geometric feature. The sensor fusion and filtering method according to the present invention and state estimation simulations were compared with conventional extended Kalman filters, ascendant Kalman filters, and particle filters.

본 발명에 따른 샘플링 방법에 의한 실험방법은 다음과 같다. The experimental method according to the sampling method according to the present invention is as follows.

1. 주어진 시스템 모델식의 기하학적 공간상의 다양체에 일정한 간격으로 샘플링을 한다. 이와 같이 모델식의 기하학적 공간상의 다양체에 일정한 간격으로 샘 플링 하는 것을 "Uniform sampling on Constraint Manifold"이라고 명명하며 이는 도 5에서 나타냈다.1. Sampling at regular intervals to a variety of geometric spaces in a given system model. The sampling at regular intervals on the manifolds in the geometrical space of the model equation is called "Uniform sampling on Constraint Manifold" and this is shown in FIG.

2. "Uniform sampling on Constraint Manifold"에 해당하는

Figure 112006009845961-pat00071
샘플들은 일정하게 배치되지 않는다.
Figure 112006009845961-pat00072
축에 "Uniform sampling on Constraint Manifold" 간격보다 큰 간격으로 일정하게 나눈다. 이 간격 하나하나를 버킷(bucket)이라고 명한다. 각 버킷(bucket)안에 들어온 샘플들의 개수를 세고 이 개수를 m이라 한다. m에 따라 원래 지니고 있던 가중치들이 변하게 되는데 이를 변형된 가중치(modified weight)라 하며 다음과 같이 구한다. 2. Equivalent to "Uniform sampling on Constraint Manifold"
Figure 112006009845961-pat00071
Samples are not consistently placed.
Figure 112006009845961-pat00072
The axis is divided evenly into intervals larger than the "Uniform sampling on Constraint Manifold" interval. Each of these intervals is called a bucket. Count the number of samples in each bucket and call this m. Depending on m, the original weights are changed. This is called modified weight and is calculated as follows.

변형된 가중치 = 원래 지니고 있던 가중치 / mTransformed weights = weights originally possessed / m

3.

Figure 112006009845961-pat00073
에 해당되는
Figure 112006009845961-pat00074
의 확률분포는 2번에서 구한 변형된 가중치를 통해 나타낸다.
Figure 112006009845961-pat00075
의 확률 분포 결과(n=1 일 때)는 도 6과 같이 나타난다. 도 6에서 보는 바와 같이 시스템 모델식의 비선형성에 의해 확률분포가 나타남을 알 수 있다. 3.
Figure 112006009845961-pat00073
For
Figure 112006009845961-pat00074
The probability distribution of is represented by the modified weight obtained in step 2.
Figure 112006009845961-pat00075
The probability distribution result (when n = 1) is shown in FIG. As shown in FIG. 6, it can be seen that the probability distribution is represented by nonlinearity of the system model equation.

4. 주어진 측정 모델식에서도 1 ~ 3과 같은 과정을 거쳐

Figure 112006009845961-pat00076
의 확률분포를 구한다4. Go through the same process as 1 ~ 3 in the given measurement model
Figure 112006009845961-pat00076
Find the probability distribution of

5. 3 에서의 확률분포

Figure 112006009845961-pat00077
과 4 에서의 확률분포
Figure 112006009845961-pat00078
를 곱한 뒤, 각 샘플값과 샘플에 해당되는 가중치에 대한 1차 모멘트를 구하여 최종 값을 구한다.5. Probability distribution at 3
Figure 112006009845961-pat00077
Probability Distributions at and 4
Figure 112006009845961-pat00078
After multiplying by, the first moment is obtained for each sample value and the weight corresponding to the sample to obtain the final value.

Figure 112006009845961-pat00079
Figure 112006009845961-pat00079

상기 식에서,

Figure 112006009845961-pat00080
=
Figure 112006009845961-pat00081
로 시스템 노이즈이며,
Figure 112006009845961-pat00082
Where
Figure 112006009845961-pat00080
=
Figure 112006009845961-pat00081
System noise,
Figure 112006009845961-pat00082

Figure 112006009845961-pat00083
으로 설정하였다.
Figure 112006009845961-pat00083
Set to.

Figure 112006009845961-pat00084
Figure 112006009845961-pat00084

상기 식에서,

Figure 112006009845961-pat00085
=
Figure 112006009845961-pat00086
로 측정 노이즈이다.Where
Figure 112006009845961-pat00085
=
Figure 112006009845961-pat00086
Measurement noise.

UNGM은 매우 큰 비선형, 바이모달(bimodal) 특징을 가지고 있는 동적 상태공간(dynamic state space) 모델로서, 종래의 익스텐디드 칼만 필터, 언센티드 칼만 필터로는 상태 추정이 부정확하고, 일반적인 SIS(Sequential Importance Sampling)을 따르는 파티클 필터로도 과도한 측정 오차가 있거나, 비가우시안 오차가 있을 경우에는 좋지 않은 추정 성능을 보인다.UNGM is a dynamic state space model with a very large nonlinear, bimodal feature.It is inaccurate for state estimation with conventional Extended Kalman Filters and Uncended Kalman Filters. Particle filters that follow Sequential Importance Sampling also show poor estimation performance when there are excessive measurement errors or non-Gaussian errors.

또 본 발명에 있어서는 제약조건 다양체의 비선형성과 몬테 카를로(Monte Carlo)법에 의해 제약 조건 다양체를 만족하는 샘플을 구한다.In the present invention, a sample satisfying the constraint manifold is obtained by nonlinearity of the constraint manifold and the Monte Carlo method.

< 실시예 1 및 비교예 1 ><Example 1 and Comparative Example 1>

도 8는

Figure 112006009845961-pat00087
=
Figure 112006009845961-pat00088
=
Figure 112006009845961-pat00089
의 조건으로 모의 시험을 50 회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식(실시예 1), 익스텐디드 칼만 필터링 방식(비교예 1a), 언센티드 칼만 필터링 방식(비교예 1b), 및 파티클 필터링 방식(비교예 1c)의 평균 제곱 오차의 비교도이다. 도 8의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방식은 바이모달 시스템에 강인성을 나타냄을 알 수 있다.8 is
Figure 112006009845961-pat00087
=
Figure 112006009845961-pat00088
=
Figure 112006009845961-pat00089
When the test was conducted 50 times under the conditions of, the sensor fusion and filtering method based on the constraint manifold (Example 1), the extended Kalman filtering method (Comparative Example 1a), and the ascended Kalman filtering method (Comparative Example 1b) And the mean square error of the particle filtering scheme (Comparative Example 1c). From the results of FIG. 8, it can be seen that the sensor fusion and filtering scheme according to the present invention exhibits robustness to the bimodal system.

< 실시예 2 및 비교예 2 ><Example 2 and Comparative Example 2>

도 9은

Figure 112006009845961-pat00090
=
Figure 112006009845961-pat00091
,
Figure 112006009845961-pat00092
=
Figure 112006009845961-pat00093
,
Figure 112006009845961-pat00094
의 조건으로 모의 시험을 50회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식(실시예 2), 익스텐디드 칼만 필터링 방식(비교예 2a), 언센티드 칼만 필터링 방식(비교예 2b), 및 파티클 필터링 방식(비교예 2c)의 평균 제곱 오차의 비교도이다. 도 9의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방식은 비가우시안 노이즈에 대한 강인성을 나타냄을 알 수 있다.9 is
Figure 112006009845961-pat00090
=
Figure 112006009845961-pat00091
,
Figure 112006009845961-pat00092
=
Figure 112006009845961-pat00093
,
Figure 112006009845961-pat00094
When the test was conducted 50 times under the conditions of, the sensor fusion and filtering method based on the constraint manifold (Example 2), the extended Kalman filtering method (Comparative Example 2a), and the ascended Kalman filtering method (Comparative Example 2b) And the mean square error of the particle filtering scheme (Comparative Example 2c). From the results of FIG. 9, it can be seen that the sensor fusion and filtering scheme according to the present invention exhibits robustness to non-Gaussian noise.

< 실시예 3 및 비교예 3 > <Example 3 and Comparative Example 3>

도 10은

Figure 112006009845961-pat00095
=
Figure 112006009845961-pat00096
=
Figure 112006009845961-pat00097
의 조건이지만, 융합 및 필터링에서는
Figure 112006009845961-pat00098
=
Figure 112006009845961-pat00099
의 잘못된 오차 모델을 가지고 모의 시험을 50회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식(실시예 3), 익스텐디드 칼만 필터링 방식(비교예 3a), 언센티드 칼만 필터링 방식(비교예 3b), 및 파티클 필터링 방식(비교예 3c)의 평균 제곱 오차의 비교도이다. 도 10의 결과로부 터, 본 발명에 따른 센서 융합 및 필터링 방식은 잘못된 오차 모델에 대하여 강인성을 나타냄을 알 수 있다.10 is
Figure 112006009845961-pat00095
=
Figure 112006009845961-pat00096
=
Figure 112006009845961-pat00097
But in fusion and filtering
Figure 112006009845961-pat00098
=
Figure 112006009845961-pat00099
When 50 simulations were carried out with the wrong error model of, the sensor fusion and filtering method based on the constraint manifold (Example 3), the extended Kalman filtering method (Comparative Example 3a), and the ascended Kalman filtering method ( Comparative Example 3b), and a comparison of the mean square error of the particle filtering scheme (Comparative Example 3c). As a result of Figure 10, it can be seen that the sensor fusion and filtering method according to the present invention shows the robustness to the wrong error model.

< 실시예 4 및 비교예 4 ><Example 4 and Comparative Example 4>

도 11은 ,

Figure 112006009845961-pat00100
=
Figure 112006009845961-pat00101
=
Figure 112006009845961-pat00102
의 조건으로 모의 시험을 50회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식(실시예 4), 익스텐디드 칼만 필터링 방식(비교예 4a), 언센티드 칼만 필터링 방식(비교예 4b), 및 파티클 필터링 방식(비교예 4c)의 평균 제곱 오차의 비교도이다. 도 11의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방식은 절대적으로 큰 시스템 노이즈에 대하여 강인성을 나타냄을 알 수 있다.11,
Figure 112006009845961-pat00100
=
Figure 112006009845961-pat00101
=
Figure 112006009845961-pat00102
When 50 simulations were carried out under the conditions of, the sensor fusion and filtering method based on the constraint manifold (Example 4), the extended Kalman filtering method (Comparative Example 4a), and the ascended Kalman filtering method (Comparative Example 4b) And the mean square error of the particle filtering scheme (Comparative Example 4c). From the results of FIG. 11, it can be seen that the sensor fusion and filtering scheme according to the present invention exhibits robustness against absolutely large system noise.

< 실시예 5 및 비교예 5 ><Example 5 and Comparative Example 5>

도 12는

Figure 112006009845961-pat00103
=
Figure 112006009845961-pat00104
=
Figure 112006009845961-pat00105
의 조건이지만, 10번 중 1번은
Figure 112006009845961-pat00106
으로 불명확한 정보를 주고, 모의 시험을 50회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식(실시예 5), 익스텐디드 칼만 필터링 방식(비교예 5a), 언센티드 칼만 필터링 방식(비교예 5b), 및 파티클 필터링 방식(비교예 5c)의 평균 제곱 오차의 비교도이다. 도 12의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방식은 불명확한 정보에 대한 강인성을 나타냄을 알 수 있다.12 is
Figure 112006009845961-pat00103
=
Figure 112006009845961-pat00104
=
Figure 112006009845961-pat00105
Condition, but 1 out of 10
Figure 112006009845961-pat00106
When unclear information is given and the simulation is conducted 50 times, the sensor fusion and filtering method based on the constraint manifold (Example 5), the extended Kalman filtering method (Comparative Example 5a), and the ascended Kalman filtering method (Comparative Example 5b) and the mean square error of the particle filtering method (Comparative Example 5c). From the results of FIG. 12, it can be seen that the sensor fusion and filtering scheme according to the present invention exhibits robustness against unclear information.

< 실시예 6 및 비교예 6 ><Example 6 and Comparative Example 6>

도 13은

Figure 112006009845961-pat00107
=
Figure 112006009845961-pat00108
=
Figure 112006009845961-pat00109
의 조건이지만, 10번 중 1번은
Figure 112006009845961-pat00110
으로 불일치 정보를 주고, 모의 시험을 50회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식(실시예 6), 익스텐디드 칼만 필터링 방식(비교예 6a), 언센티드 칼만 필터링 방식(비교예 6b), 및 파티클 필터링 방식(비교예 6c)의 평균 제곱 오차의 비교도이다. 도 13의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방식은 불일치 정보에 대한 강인성을 나타냄을 알 수 있다.13 is
Figure 112006009845961-pat00107
=
Figure 112006009845961-pat00108
=
Figure 112006009845961-pat00109
Condition, but 1 out of 10
Figure 112006009845961-pat00110
Inconsistent information is given, and when the simulation is conducted 50 times, the sensor fusion and filtering method based on the constraint manifold (Example 6), the extended Kalman filtering method (Comparative Example 6a), and the ascended Kalman filtering method ( Comparative Example 6b), and a comparison of the mean square error of the particle filtering scheme (Comparative Example 6c). From the results of FIG. 13, it can be seen that the sensor fusion and filtering scheme according to the present invention exhibits robustness against mismatch information.

< 실시예 7 및 비교예 7 ><Example 7 and Comparative Example 7>

도 14은 필터링에서 가정하고 있는 오차 모델은

Figure 112006009845961-pat00111
=
Figure 112006009845961-pat00112
Figure 112006009845961-pat00113
=
Figure 112006009845961-pat00114
Figure 112006009845961-pat00115
이지만 실제 시스템 오차 모델은
Figure 112006009845961-pat00116
=
Figure 112006009845961-pat00117
이며,
Figure 112006009845961-pat00118
의 조건으로 모의 시험을 50회 실시하였을 때, 제약조건 다양체 기반의 센서 융합 및 필터링 방식 1(실시예 7)과 2(실시예 7a) 및 63개와 200개의 샘플을 사용한 파티클 필터링 방식(비교예 7과 비교에 7a)의 평균 제곱 오차의 비교도이다. 도 14의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방식은 파티클 필터에 비하여 잘못된 오차 모델에 대해 강인성을 나타냄을 알 수 있다.14 is an error model assumed in filtering
Figure 112006009845961-pat00111
=
Figure 112006009845961-pat00112
Figure 112006009845961-pat00113
=
Figure 112006009845961-pat00114
Figure 112006009845961-pat00115
But the actual system error model
Figure 112006009845961-pat00116
=
Figure 112006009845961-pat00117
Is,
Figure 112006009845961-pat00118
When 50 tests were conducted under the conditions of, the fusion manifold-based sensor fusion and filtering method 1 (Example 7) and 2 (Example 7a) and the particle filtering method using 63 and 200 samples (Comparative Example 7 Is a comparison of the mean square error of 7a). From the results of FIG. 14, it can be seen that the sensor fusion and filtering method according to the present invention exhibits robustness against a wrong error model compared to the particle filter.

이상의 결과로부터, 본 발명에 따른 센서 융합 및 필터링 방법에 따르면 각 평가 조건에 대해 가장 작은 평균 제곱 오차를 가짐으로써, 각 평가 조건에 대해 강인한 센서 융합 및 필터링 방식을 구현할 수 있음을 알 수 있다.From the above results, it can be seen that according to the sensor fusion and filtering method according to the present invention, by having the smallest mean square error for each evaluation condition, a robust sensor fusion and filtering method can be implemented for each evaluation condition.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, although the invention made by this inventor was demonstrated concretely according to the said Example, this invention is not limited to the said Example and can be variously changed in the range which does not deviate from the summary.

상술한 바와 같이, 본 발명에 따른 제약조건 다양체에 기반한 센서 융합 및 필터링 방법 및 시스템에 의하면, 단일화된 융합 및 필터링 공간에서 정의된 제약조건 다양체 위에서의 결합 확률을 구하는 방식을 적용함으로써 다양한 제약조건의 적용이 가능하고, 기하학적으로 표현된 제약 조건을 직접 다루어 다양한 모델에 적용이 가능하며, 시스템 모델과 관측 모델을 선형화하지 않고 융합 및 필터링 공간에 제약조건 다양체로 그대로 표현함으로써 잘못된 선형화에 따른 융합 및 필터링 성능 저하를 줄일 수 있고, 가우시안 근사화 오차를 줄일 수 있고, 불일치된 정보를 검출할 수 있으며, 불명확한 정보를 가지는 시스템에 대한 융합 및 필터링 문제에 적용할 수 있다는 효과가 얻어진다.As described above, according to the method and system for sensor fusion and filtering based on the constraint manifold according to the present invention, by applying a method for obtaining the coupling probability on the constraint manifold defined in the unified fusion and filtering space, It can be applied and applied to various models by directly dealing with geometrically expressed constraints, and fusion and filtering due to incorrect linearization by expressing constraint model in the fusion and filtering space without linearizing system model and observation model. The effect is that it can reduce performance degradation, reduce Gaussian approximation errors, detect mismatched information, and apply it to fusion and filtering problems for systems with indeterminate information.

Claims (6)

입자를 이용하여 시스템의 상태 변수에 대한 불확실한 데이터 또는 정보를 필터링 및 융합하는 시스템에서, 시스템 모델, 측정 모델 또는 시스템이 갖는 다른 제약조건들의 비선형성이 상태변수의 확률분포에 주는 영향을 고려하여 샘플링하는 방법으로서, In systems that use particles to filter and fuse uncertain data or information about the state variables in the system, sampling the nonlinearities of the system model, measurement model, or other constraints that the system has on the probability distribution of the state variables As a way to, 시스템 모델, 측정 모델 또는 시스템이 갖는 다른 제약조건 위에 균일한 분포로 입자들을 샘플링하는 단계, 또는 시스템 상태 변수의 사후 확률 분포에 영향을 많이 주는 영역에 의도적으로 많은 입자들을 샘플링하는 단계, 또는 이전 상태 변수의 축에서 일정하게 입자를 샘플링하는 단계를 구비하며,Sampling particles in a uniform distribution over a system model, measurement model, or other constraints the system has, or intentionally sampling a large number of particles in an area that significantly affects the posterior probability distribution of system state variables, or a previous state. Sampling particles uniformly along the axis of the variable, 상기 입자 샘플링 단계를 거친 후,After the particle sampling step, 상기 시스템 모델 식이나 다른 시스템 모델 식에 따른 현재 상태 변수 입자들과 각 현재 상태 변수 입자의 추정되는 가중치를 획득하는 단계, Obtaining estimated weights of current state variable particles and respective current state variable particles according to the system model equation or another system model equation, 상기 샘플링된 현재 상태 변수 입자들과 각 현재 상태 변수 입자의 추정되는 가중치로부터 추정되는 현재 상태의 사전 확률 분포를 구하는 단계, Obtaining a prior probability distribution of an estimated current state from the sampled current state variable particles and estimated weights of each current state variable particle, 현재 상태 변수로부터 측정 모델 식에 의해 추정되는 측정 변수의 입자들을 획득하는 단계를 포함하는 것을 특징으로 하는 입자 융합 및 필터링 방법.Obtaining particles of the measurement variable estimated by the measurement model equation from the current state variable. 삭제delete 제1항에 있어서,The method of claim 1, 상기 샘플링 방법은The sampling method is 임의의 모델식의 기하학적 공간상의 다양체에 일정한 간격으로 샘플링한 것을 "Uniform sampling on Constraint Manifold"이라고 정의했을 때, 사전에 시스템 모델 식이나 기타 시스템 모델 식을 만족하는 샘플들로부터 기하학적 공간상에서의 일정한 간격으로 샘플링하여 이전 상태 변수의 입자들과 현재 상태 변수의 입자들을 구하는 단계,A constant interval in the geometric space from a sample that satisfies the system model equation or other system model equations when defined as "Uniform sampling on Constraint Manifold" is a sampling of the manifolds in the geometric space of an arbitrary model equation. Sampling to obtain the particles of the previous state variable and the particles of the current state variable, 상기 이전 상태 변수의 축에서 일정하게 나눈 간격을 버킷(bucket)이라고 정의했을 때, 상기 이전 상태 변수의 입자들과 이전 상태 변수의 사전 확률 정보에 의해 할당된 가중치와 버킷 안에 들어 있는 입자 개수를 통해 추정되는 각 현재 상태 변수 입자의 가중치를 획득하는 단계, When a constant division in the axis of the previous state variable is defined as a bucket, the weight assigned by the particles of the previous state variable and the prior probability information of the previous state variable and the number of particles contained in the bucket are determined. Obtaining a weight of each estimated current state variable particle, 상기 샘플링된 현재 상태 변수 입자들과 각 현재 상태 변수 입자의 추정되는 가중치로부터 추정되는 현재 상태의 사전 확률 분포를 구하는 단계,Obtaining a prior probability distribution of an estimated current state from the sampled current state variable particles and estimated weights of each current state variable particle, 사전에 측정 모델 식을 만족하는 샘플들로부터 기하학적 공간상에서의 일정한 간격으로 샘플링하여 현재 상태 변수의 입자들과 측정 변수의 입자들을 구하는 단계를 포함하여 이루어지는 것을 특징으로 하는 입자 샘플링방법.And obtaining the particles of the current state variable and the particles of the measurement variable by sampling at regular intervals in the geometric space from samples satisfying the measurement model equation in advance. 제3항에 있어서, The method of claim 3, 상기 시스템 모델, 측정 모델 또는 기타 시스템이 갖는 제약조건 다양체의 비선형성과 몬테 카를로(Monte Carlo)법에 의해 제약 조건 다양체를 만족하는 샘플을 구하는 것을 특징으로 하는 입자 샘플링 방법.Non-linearity of the constraint manifolds of the system model, measurement model or other system and a sample that satisfies the constraint manifolds by Monte Carlo method. 제3항에 있어서,The method of claim 3, 상기 각 버킷(bucket)안에 들어 있는 입자 개수를 m이라 할 때, 상기 현재 상태 변수의 입자의 가중치는When the number of particles in each bucket is m, the weight of the particles of the current state variable is 현재 상태 변수 입자 가중치 = 각 버킷 속의 원래 지니고 있던 가중치 / mCurrent State Variable Particle Weight = Original Weight in Each Bucket / m 에 의해 구해지는 것을 특징으로 하는 입자 샘플링방법.The particle sampling method characterized by the above-mentioned. 입자를 이용하여 시스템의 상태 변수에 대한 불확실한 데이터 또는 정보를 융합 및 필터링하는 방법에 있어서,A method of using particles to fuse and filter uncertain data or information about a state variable of a system, 상태 및 측정에 대한 변수들로 이루어진 데이터 또는 정보의 필터링 및 융합 공간을 설정하는 단계, Establishing a filtering and fusion space of data or information consisting of variables for state and measurement, 이 공간상에서 다양한 제약조건들을 포함하는 제약조건 다양체를 정의하는 단계,Defining a constraint manifold containing various constraints in this space, 상기 변수들의 사전 확률 분포를 이용하여 상기 제약조건 다양체 상에서 결합 확률 분포를 연산하는 단계,Calculating a combined probability distribution on the constraint manifold using a prior probability distribution of the variables, 상기 결합 확률 분포로부터 상기 변수들의 주변 확률 분포를 연산하는 단계 및Calculating a peripheral probability distribution of the variables from the combined probability distribution; and 상기 변수들의 추정치와 분산값을 얻는 단계를 포함하여 융합 및 필터링이 실행되는 것을 특징으로 하는 융합 및 필터링 방법.Fusing and filtering is performed including obtaining an estimate and a variance of said variables.
KR1020060012816A 2005-02-17 2006-02-10 Particle Sampling Method And Method For Sensor Fusion And Filtering KR100748405B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/276,127 US7379844B2 (en) 2005-02-17 2006-02-15 Particle sampling method and sensor fusion and filtering method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050013174 2005-02-17
KR1020050013174A KR20050030181A (en) 2005-02-17 2005-02-17 Method for sensor fusion and filtering based on constraint manifold

Publications (2)

Publication Number Publication Date
KR20060092063A KR20060092063A (en) 2006-08-22
KR100748405B1 true KR100748405B1 (en) 2007-08-10

Family

ID=37386582

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020050013174A KR20050030181A (en) 2005-02-17 2005-02-17 Method for sensor fusion and filtering based on constraint manifold
KR1020060012816A KR100748405B1 (en) 2005-02-17 2006-02-10 Particle Sampling Method And Method For Sensor Fusion And Filtering

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020050013174A KR20050030181A (en) 2005-02-17 2005-02-17 Method for sensor fusion and filtering based on constraint manifold

Country Status (1)

Country Link
KR (2) KR20050030181A (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296727A (en) * 2016-07-26 2017-01-04 华北电力大学 A kind of resampling particle filter algorithm based on Gauss disturbance
CN109919233B (en) * 2019-03-12 2022-04-22 西北工业大学 Tracking filtering method based on data fusion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06331400A (en) * 1993-05-24 1994-12-02 Sanyo Electric Co Ltd Sensor fusion method
KR20040009550A (en) * 2002-07-24 2004-01-31 고태조 Efficient digitizing in reverse engineering by sensor fusion
US20040220769A1 (en) * 2003-05-02 2004-11-04 Yong Rui System and process for tracking an object state using a particle filter sensor fusion technique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06331400A (en) * 1993-05-24 1994-12-02 Sanyo Electric Co Ltd Sensor fusion method
KR20040009550A (en) * 2002-07-24 2004-01-31 고태조 Efficient digitizing in reverse engineering by sensor fusion
US20040220769A1 (en) * 2003-05-02 2004-11-04 Yong Rui System and process for tracking an object state using a particle filter sensor fusion technique

Also Published As

Publication number Publication date
KR20050030181A (en) 2005-03-29
KR20060092063A (en) 2006-08-22

Similar Documents

Publication Publication Date Title
US7379844B2 (en) Particle sampling method and sensor fusion and filtering method
Burke et al. Planet Detection Metrics: Per-Target Detection Contours for Data Release 25
Hasan et al. A new estimation method for COVID-19 time-varying reproduction number using active cases
Overbey et al. Dynamic system change detection using a modification of the transfer entropy
CN112269192B (en) Quick self-adaptive dynamic Beidou monitoring real-time resolving denoising method
Karunasingha et al. Enhancement of chaotic hydrological time series prediction with real-time noise reduction using Extended Kalman Filter
KR100748405B1 (en) Particle Sampling Method And Method For Sensor Fusion And Filtering
Matthies et al. Bayesian parameter estimation via filtering and functional approximations
CN106779354B (en) Bayes data fusion evaluation method for aircraft performance evaluation
Grigoriu Non-Gaussian models for stochastic mechanics
Warburton et al. Critical Analysis of Linear and Nonlinear Project Duration Forecasting Methods
He et al. Baseline correction method of acceleration time history based on residual displacement and convex optimization
Narayan et al. Distributional sensitivity for uncertainty quantification
Ferreira et al. Use of emulator methodology for uncertainty reduction quantification
Collett et al. Simulating distributed measurement networks in which sensors may be faulty, noisy and interdependent: A software tool for sensor network design, data fusion and uncertainty evaluation
Rauf et al. Calculation of Lyapunov exponents through nonlinear adaptive filters
Tsai et al. A note on the non-negativity of continuous-time ARMA and GARCH processes
Bouatay et al. An approach for imperfection propagation: Application to land cover change prediction
Chafouk et al. Detection of faulty sensors of fire and explosions
Grimaldi et al. Multivariate linear parametric models applied to daily rainfall time series
Broersen ARMAsel for detection and correction of outliers in univariate stochastic data
Gadrich et al. ESTIMATING THE RATE OF DEFECTS UNDER IMPERFECT SAMPLING INSPECTION—A NEW APPROACH
Rang et al. Variational formulation with error estimates for uncertainty quantification via collocation, regression, and sprectral projection
Binder Optimization under uncertainty: robust parameter estimation with erroneous measurements and uncertain model coefficients
Burke et al. Kepler Planet Detection Metrics: Per-Target Detection Contours for Data Release 25

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee