KR100844015B1 - 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법 - Google Patents

거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법 Download PDF

Info

Publication number
KR100844015B1
KR100844015B1 KR1020070053088A KR20070053088A KR100844015B1 KR 100844015 B1 KR100844015 B1 KR 100844015B1 KR 1020070053088 A KR1020070053088 A KR 1020070053088A KR 20070053088 A KR20070053088 A KR 20070053088A KR 100844015 B1 KR100844015 B1 KR 100844015B1
Authority
KR
South Korea
Prior art keywords
sensor data
conflict
data
sensor
regions
Prior art date
Application number
KR1020070053088A
Other languages
English (en)
Other versions
KR20070072449A (ko
Inventor
이경민
정완균
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020070053088A priority Critical patent/KR100844015B1/ko
Publication of KR20070072449A publication Critical patent/KR20070072449A/ko
Application granted granted Critical
Publication of KR100844015B1 publication Critical patent/KR100844015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 이동로봇에 사용되는 거리 측정 센서들의 데이터들을 모순 없이 효과적으로 융합하는 방법에 관한 것이다.
본 발명은, 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법에 있어서,
각각의 거리 측정 센서 데이터가 도출한 장애물까지의 거리 값을 통해, 장애물이 존재할 수 있다고 생각되는 채워진 영역과 비어 있다고 생각되는 빈영역으로 공간을 구분하고;
단일 센서 데이터의 채워진 영역 모두가, 다른 센서 데이터들의 빈영역과 일치하는 경우를 상기 거리 센서 데이터들간에 모순이 일어나는 상충으로 정의하며;
상기 상충이 발생하는 영역 중에서 단일 센서 데이터의 채워진 영역 모두가 다른 단일 센서 데이터의 빈영역과 일치하는 완전 상충이 발생하는 경우에는, 채워진 영역 모두가 상충되는 센서 데이터는 올바른 센서 데이터로 간주하고, 빈영역이 상충되는 센서 데이터는 잘못된 센서 데이터로 간주하며;
상기 상충이 발생하는 영역 중에서 단일 센서 데이터의 채워진 영역 모두가 다수의 다른 센서 데이터의 빈영역에 걸쳐져 있는 부분 상충이 발생하는 경우에는, 채워진 영역 모두가 상충되는 센서 데이터는 올바른 센서 데이터로 간주하고, 빈영역이 상충과 관계되는 센서 데이터 중에서, 상충 영역이 가장 넓은 데이터만을 잘못된 센서 데이터로 간주하는 것을 특징으로 한다.
본 발명에서 제안된 ‘상충 평가 방법’을 적용하면 거리 측정 센서로부터 확보된 데이터들을 모순 없이 효과적으로 융합할 수 있어서, 센서의 종류, 개수, 배치에 상관없이 적용가능하고, 불확실성이 큰 센서(초음파 센서) 데이터도 처리할 수 있으며, 거리 측정 센서가 2차원 이상을 측정하는 경우에도 확장하여 적용할 수 있게 되어, 이동로봇의 지도작성과 주행성능을 향상시킬 수 있다.
이동로봇, 거리측정센서, 상충, 융합, 재처리, 초음파센서, 적외선센서, 레이저센서, 지도작성, 주행

Description

거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는 방법{Non-Conflict Effective Fusion Method of Distance Measuring Sensor Data}
도1은 본 발명을 위해 사용되는 빈영역과 채워진 영역의 의미를 설명하는 도면
도2, 3은 본 발명을 위해 사용되는 완전 상충과 부분 상충의 의미를 설명하는 도면
도4는 본 발명에서 거리 측정 센서 데이터의 3가지 경우를 도시함
도5, 6은 본 발명에서 완전 상충이 발생하는 경우에 대한 조합을 도시함
도7은 본 발명에서 부분 상충이 발생하는 모든 경우를 도시함
도8, 9, 10, 11은 본 발명에서 부분 상충의 가능한 경우만을 도시함
도12는 본 발명을 위해 사용되는 완전 상충시의 능동적 센서 데이터와 수동적 센서 데이터를 도시함
도13은 본 발명을 위해 사용되는 부분 상충시의 능동적 센서 데이터와 수동적 센서 데이터를 도시함
도14는 본 발명에서 완전 상충의 경우에 재처리 방법을 도시함
도15는 본 발명에서 부분 상충의 경우에 재처리 방법을 도시함
도16은 본 발명에서의 간단한 상충 평가 방법과 재처리 과정을 도시함
도17은 본 발명의 방법을 레이저 센서 데이터와 초음파 센서 데이터를 사용한 경우에 적용한 사례를 도시함
도18은 실험1을 위해 사용되는 초음파 센서들의 배치를 도시함
도19, 20, 21, 22, 23은 도18의 초음파 센서들을 사용하여 실험한 결과를 도시함
도24는 실험2를 위해 사용되는 2개의 초음파 센서들의 배치를 도시함
도25, 26, 27, 28, 29는 도24의 초음파 센서들을 사용하여 실험한 결과를 도시함
도30은 실험3을 위해 사용되는 16개의 초음파 센서들의 배치를 도시함
도31은 도30의 초음파 센서들을 사용하여 실험한 결과를 도시함
본 발명은 이동로봇에 사용되는 거리 측정 센서들의 데이터들을 모순 없이 효과적으로 융합하는 방법에 관한 것이다.
최근 이동로봇 기술 개발이 활발해지면서 이동로봇이 더 이상 산업현장에서만 쓰이지 않고 다양한 분야에 보급이 되어, 청소용 로봇, 교육용 로봇 등 가정에서 볼 수 있는 로봇부터 군사용 목적으로도 이동로봇 기술이 적용되고 있다.
그러나, 현재의 자율주행 기술은 미리 프로그램화 되어 있는 기능만을 수행하는 수준에 머물고 있을 뿐만 아니라 장애물을 회피하는 정도의 수준밖에 되지 않아, 자율주행을 전혀 만족시키지 못하고 있다.
이것은 최근에 가정에 많이 보급 되어 있는 저가형 청소기 로봇인 룸바(원산지 : 미국)나 트릴로바이트(원산지 : 스웨덴)를 보면 알 수 있다. 이 로봇들은 주 어진 영역에서 미리 프로그램화 되어 있는 경로를 따라 이동을 하면서 장애물을 피하면서 청소를 하고 있고 정확한 지도를 형성하지 않는다.
이러한 문제점을 해결하기 위하여, 이동로봇에 장착된 다양한 거리측정 센서(초음파 센서, 레이저 센서, 적외선 센서 등)를 이용하여 장애물과의 거리를 측정하여 격자 지도를 형성하여, 이동로봇이 이 작성된 지도에 따라 주행하게 하는 연구가 많이 이루어지고 있다.
그런데, 이러한 다양한 종류의 거리 측정 센서를 이용하여 획득한 데이터를 그대로 융합(fusion)하여 사용할 경우, 일반적으로 타당한 결과를 얻을 수 없다. 이러한 결과는 센서들이 가진 불확실성과 정보간의 모순에 의해서 발생한다.
본 발명은 종래기술의 이러한 문제점을 감안하여, 거리 측정 센서들로부터의 정보를 모순 없이 융합하는 방법을 제안한다.
제안된 방법은 ‘상충 평가 방법(Conflict Evaluation Method)'이라고 명명한다.
본 발명을 위한 기본적인 상충 평가 방법은 센서 데이터의 조합을 근거로 하기 때문에, 계산의 부담을 갖게 된다. 계산의 부담을 줄이기 위하여, 기본적인 상충 평가 방법에서 핵심적인 규칙들을 추출하여, 간단한 상충 평가 방법으로 변환한다. 기본적인 상충 평가 방법과 간단한 상충 평가 방법은 같은 결과를 도출한다.
또한 이러한 상충 평가 방법을 통하여, 잘못된 센서 데이터로 간주되는 센서 데이터들이 검출하고, 이러한 센서 데이터를 버리지 않고, 재처리하는 과정을 통하여 최종적인 상충 평가 방법이 완성된다.
1. 상충 평가 방법의 정의
상충 평가 방법을 설명하기 위하여, 거리 측정 센서 데이터를 표기할 필요가 있다. 방사형으로 진행하는 초음파 센서와 선형으로 진행하는 레이저 센서와 적외선 센서 데이터를 한꺼번에 표기하는 것은 무리가 있다. 따라서, 본 발명에서의 표기상의 편의를 위하여, 대표적으로 초음파 센서의 형태만을 표기한다. 그러나, 본 발명에서 제안되는 상충 평가 방법은 다른 거리 측정 센서(레이져 센서, 적외선 센서)에서도 적용될 수 있는 방법이다.
1.1 상충(Conflict)의 정의
모든 거리 측정 센서 데이터는 장애물까지의 거리값을 도출한다. 이 거리값을 통해, 공간을 장애물이 존재할 수 있다고 생각되는 영역과 비어있다고 생각되는 영역으로 구분할 수 있다 (도1). 도 1에서 비어있는 영역을 ‘빈영역’이라 하고, 장애물이 존재할 수 있는 영역을 ‘채워진 영역’이라고 하자. 결국, 거리 측정 센서 데이터는 빈영역과 채워진 영역의 2가지 영역으로 이루어지게 된다.
센서 데이터들이 2개 이상 존재하는 경우, 센서 데이터들 간의 모순이 일어 날 수 있다. 이러한 모순을 ‘상충(Conflict)'이라고 하며 정의는 다음과 같다.
상충(conflict) : 단일 센서 데이터의 채워진 영역 모두가, 다른 센서 데이터들의 빈영역과 일치하는 경우
상충을 위와 같이 정의하면, 상충이 일어나는 경우를 도2, 3과 같이 일반화시킬 수 있다. 도 2,3에서는 초음파 센서 데이터를 삼각형으로 간략화하여 표현하였으며, 상충이 일어나는 부분은 실선으로 표현하였다. 도 2는 상충이 발생하는 영역 중에서, 단일 센서 데이터의 채워진 영역 모두가 또 다른 단일 센서 데이터의 빈영역과 일치하는 경우이다. 이 경우를 완전 상충(Full Conflict)이라 정의한다. 도 3은 상충이 발생하는 영역 중에서, 단일 센서 데이터의 채워진 영역 모두가, 다수의 다른 센서 데이터의 빈영역에 걸쳐져 있는 경우이다. 이 경우를 부분 상충(Partial Conflict)이라 정의한다.
위와 같은 상충 현상은 센서 데이터들 간의 모순을 나타낸다. 이러한 모순을 고려하지 않고, 센서 데이터를 사용하게 되면, 타당하지 않은 결과를 초래하게 된다. 상충 되는 센서 데이터를 처리하기 위하여, 상충 평가 방법을 제안한다.
1.2 기본적인 상충 평가 방법
기본적인 상충 평가 방법은 센서 데이터의 특성을 고려한다. 센서 데이터의 특성을 고려하여, 센서 데이터를 3가지 경우로 일반화시킨다. 상충이 발생하는 경우, 일반화된 3가지 경우를 조합하여, 최적의 결과를 유도한다. 최적의 결과는 물리적으로 합당한 경우를 말한다. 더불어, 상충이 발생하지 않는 범위 내에서, 센서 데이터의 유용성을 최대로 유지하고 상충이 발생할 가능성이 있는 영역을 최소한으로 줄이는 것을 최적의 결과로 정의한다.
1.2.1 센서 데이터의 특성
거리 측정 센서로부터 획득한 데이터들은 정보의 정확도를 기준으로 항상 3가지 경우로 나눌 수 있다 (도 4). 도4에서 검은색 원은 장애물을 나타낸다.
도4의 첫 번째 경우는 거리 측정 센서가 정확히 장애물을 찾아낸 경우를 나타낸다.
두 번째 경우는 거리 측정 센서가 장애물을 찾지 못하고, 지나쳐 버린 경우를 나타낸다.
세 번째 경우는 거리 측정 센서가 장애물이 존재하지 않음에도 불구하고, 특정한 거리 값을 도출하는 경우를 나타낸다.
도4의 세 가지 경우의 발생 빈도와 타당성을 정리하면 다음과 같다.
1) 경우 1: 자주 일어나는 경우로, 센서 데이터는 타당한 값이다.
2) 경우 2: 종종 일어나는 경우이지만, 센서 데이터는 타당하지 않다.
3) 경우 3: 센서가 오작동을 일으킨 경우로서, 거의 일어나지 않는 상황이며, 센서 데이터는 타당하지 않다.
1.2.2 기본적인 상충 평가
1.2.1에서, 센서 데이터가 경우 3을 발생시키는 경우는 드물다고 가정하였다. 따라서 상충이 발생하는 경우, 1.2.1의 3가지 경우를 바탕으로, 장애물의 위치를 가정하여, 경우 3이 발생하지 않는 조합을 찾아낸다. 찾아낸 조합 중에서, 경우 2에 해당하는 센서 데이터는 잘못된 센서 데이터로 간주하며, 경우 1에 해당하는 센서 데이터는 타당한 센서 데이터로 간주한다.
도 5, 6은 완전 상충의 경우에 대한 조합을 나타낸다.
도 5는 센서 데이터 A가 경우 1에 해당한다고 가정한 조합이다. 센서 데이터 A가 경우 1이기 때문에, 센서 데이터 B는 경우 3에 해당할 수밖에 없다. 경우 3이 조합에 포함되므로, 도 5에 해당하는 조합은 배제한다.
도 6은 센서 데이터 B가 경우 1에 해당한다고 가정한 조합이다. 센서 데이터 B가 경우 1에 해당하기 때문에, 센서 데이터 A는 경우 2에 해당할 수밖에 없다. 따라서, 도 6에서의 조합은 경우 3을 포함하기 않기 때문에 타당한 조합이 된다. 도 6에서 센서 데이터 A는 경우 2에 해당되므로, 잘못된 센서 데이터로 간주한다. 센 서 데이터 B는 경우 1에 해당되므로, 타당한 센서 데이터로 간주한다. 도 6 이외의 다른 조합은 모두 경우 3을 포함하므로 배제한다.
결국 완전 상충의 경우, 도 6의 경우와 같은 조합만이 가능하게 된다. 도 6의 조합을 일반적인 규칙으로 나타내면, 다음과 같다.
상충 평가 (A) : 완전 상충이 발생하는 경우, 채워진 영역 모두가 상충되는 센서 데이터(경우 1)는 올바른 센서 데이터로 간주한다. 그리고, 빈영역이 상충되는 센서 데이터(경우 2)는 잘못된 센서 데이터로 간주한다.
도 7은 부분 상충의 경우에 대한 조합을 나타낸다. 도 7에서 경우 3이 조합에 포함되는 경우는 미리 배제하였다. 도 7중에서 물리적으로 타당하지 않은 경우는 점선 X로 표시하였으며, 그 이유는 다음과 같다.
ㆍ 도 7의 상단 첫 번째 그림 : 센서 데이터 A, B, C 모두를 경우 1이라고 가정하면, 센서 데이터 A나 C는 경우 2에 해당된다. 그러나, 센서 데이터 A나 C가 모두 경우 1로 가정되었으므로 타당하지 않다.
ㆍ 도 7의 상단 세 번째 그림 : 센서 데이터 A와 C를 경우 1이라고 가정하면, 센서 데이터 B는 경우 3에 해당된다. 그러나, 센서 데이터 B가 경우 2로 가정되었으므로 타당하지 않다.
ㆍ 도 7의 상단 네 번째 그림 : 센서 데이터 A를 경우 1이라고 가정하면, 센서 데 이터 B와 C는 모두 경우 3에 해당된다. 그러나, 센서 데이터 B와 C가 모두 경우 2로 가정되었으므로 타당하지 않다.
ㆍ 도 7의 하단 세 번째 그림 : 센서 데이터 C를 경우 1이라고 가정하면, 센서 데이터 A와 B는 모두 경우 3에 해당된다. 그러나, 센서 데이터 A와 B가 모두 경우 2로 가정되었으므로 타당하지 않다.
결국 부분 상충의 경우에 대한 조합은 4개로 좁혀 질 수 있다. 도 8, 9, 10, 11에 가능한 조합만을 따로 표시하였다. 도 8에 해당하는 조합은 3개의 센서 데이터 모두가 경우 2에 해당한다. 경우 2에 해당하는 센서 데이터는 잘못된 것으로 간주한다. 도 9에 해당하는 조합은 2개의 센서 데이터가 경우 2에 해당한다. 결국, 도 8, 9 조합은 도 10, 11 조합이 1개의 센서 데이터를 잘못된 센서 데이터로 간주하는 것에 비해 보다 많은 잘못된 센서 데이터를 포함하는 것이 된다. 결국, 도 8, 9 조합은 도 10, 11 조합에 비해, 센서 데이터의 유용성이 떨어진다. 따라서, 도 8, 9에 해당하는 조합은 배제한다.
도 10에 해당하는 조합은 센서 데이터 A만이 경우 2에 해당하기 때문에, 센서 데이터 A만을 잘못된 센서 데이터로 간주하게 된다. 마찬가지로 도 11에 해당하는 조합은 센서 데이터 C만을 잘못된 센서 데이터로 간주하게 된다. 도 10과 11에서 상충이 일어나는 공통적인 데이터는 센서 데이터 B이다. 센서 데이터 B의 관점에서 살펴보면, 도 10의 경우에 센서 데이터 A를 잘못된 센서 데이터로 간주하여 상충을 해소하게 되는 부분이 있다. 또한, 도 11의 경우에도 센서 데이터 C를 잘못 된 센서 데이터로 간주하여 상충을 해소하게 되는 부분이 있다. 도 11의 조합이 도 10의 조합에 비해서 상충이 해소되는 부분의 넓이가 넓다.
결국, 모든 가능한 조합 중에서 도 11에 해당하는 조합이 가장 적은 수의 센서 데이터를 잘못되었다고 판단하며, 상충이 발생할 가능성이 있는 영역을 가장 넓게 해소할 수 있는 유일한 조합이 된다. 도 11의 조합을 일반적인 규칙으로 나타내면, 다음과 같다.
상충 평가 (B) : 부분 상충이 발생하는 경우, 채워진 영역 모두가 상충되는 센서 데이터는 올바른 센서 데이터(경우 1)로 간주한다. 그리고, 빈영역이 상충과 관계되는 센서 데이터 중에서, 상충 영역이 가장 넓은 데이터만을 잘못된 센서 데이터(경우 2)로 간주한다.
1.3 간단한 상충 평가 방법
앞에서 제시한 기본적인 상충 평가 방법은 그대로 사용하기에는 계산상으로 부담이 된다. 따라서, 기본적인 상충 평가 방법에서 추출한 두 가지 핵심적인 규칙을 사용하여, 보다 간단한 상충 평가방법을 제시한다. 간단한 상충 평가 방법을 제시하기 위하여, 센서 데이터를 ‘능동적(Active)' 센서 데이터와 '수동적(Passive)' 센서 데이터로 구분하는 기준이 필요하다.
1.3.1 센서 데이터의 인과 관계
상충이 발생하는 경우, 상충에 관여하는 데이터를 ‘능동적(Active)' 센서 데이터와 '수동적(Passive)' 센서 데이터로 구분한다. 능동적 센서 데이터와 수동적 센서 데이터의 정의는 다음과 같다.
능동적 센서 데이터 : 상충의 발생에 관여하는 센서 데이터들 중에서, 빈영역이 상충에 관여하는 센서 데이터
수동적 센서 데이터 : 상충의 발생에 관여하는 센서 데이터들 중에서, 채워진 영역이 상충에 관여하는 센서 데이터
도 12는 완전 상충의 경우에 대해, 도 13은 부분 상충의 경우에 대해, ‘능동적’ 센서 데이터와 ‘수동적’ 센서 데이터로 구분한 결과를 나타낸다.
1.3.2 간단한 상충 평가
상충이 발생하는 경우, 상충에 관여하는 센서 데이터를 능동적 센서 데이터와 수동적 센서 데이터로 구분지은 후, 상충이 발생하지 않을 때까지, 능동적 센서 데이터를 잘못된 센서 데이터로 간주하면, 상충은 사라지게 된다.
즉, 센서 데이터가 확보되면, 해당 센서 데이터(
Figure 112007039965766-pat00001
)와 연관된 상충이 일어나 는지 확인한다. 상충이 일어나지 않으면 센서 데이터(
Figure 112007039965766-pat00002
)는 타당한 센서 데이터로 간주된다. 하지만 상충이 발생하면, 발생한 상충과 관계되는 모든 수동적 센서 데이터를 수집한다(
Figure 112007039965766-pat00003
). 수집된 수동적 센서 데이터(
Figure 112007039965766-pat00004
)와 관련된 능동적 센서 데이터 중에서, 상충이 가장 넓은 데이터를 추출한다(
Figure 112007039965766-pat00005
). 만약 상충이 가장 넓은 데이터가 해당 센서 데이터(
Figure 112007039965766-pat00006
)와 같다면, 해당 센서 데이터(
Figure 112007039965766-pat00007
)는 잘못된 센서 데이터로 간주한다(
Figure 112007039965766-pat00008
). 그렇지 않은 경우, 수동적 센서 데이터들을 차례로 뽑아서(
Figure 112007039965766-pat00009
), 뽑힌 수동적 데이터(
Figure 112007039965766-pat00010
)가 상충이 일 어나지 않을 때(
Figure 112007039965766-pat00011
)까지, 상충이 가장 넓은 능동적 데이터(
Figure 112007039965766-pat00012
)를 잘못된 센서 데이터로 간주한다. 이와 같은 과정을 통해, 상충이 일어나는 모든 경우를 제거 할 수 있게 되고, 상충을 일으키는 센서 데이터들을 뽑아내어, 잘못된 센서 데이터로 간주할 수 있게 된다.
간단한 상충 평가 방법을 정리하면 다음과 같다.
간단한 상충 평가 : 상충이 발생하는 경우, 능동적 센서 데이터들 중에서, 가장 넓은 상충을 유발하는 센서 데이터를 잘못된 센서 데이터로 간주한다. 상충이 일어나지 않을 때까지, 능동적 센서 데이터들을 잘못된 센서 데이터로 처리한다.
1.4 잘못된 센서 데이터의 재처리
간단한 상충 평가 방법을 통하여 잘못된 센서 데이터로 간주된 센서 데이터들은 그대로 버려지지 않는다. 잘못된 센서 데이터들의 정보는 모두 잘못된 것이 아니고 그 일부만이 잘못되어 있기 때문에, 타당한 센서 데이터들을 바탕으로 수정하면 잘못된 센서 데이터들로부터 상충을 일으키지 않으면서도 유용한 정보를 추출 할 수 있다. 도 14, 15는 잘못된 센서 데이터를 처리하는 방법에 대한 설명이다.
도 14에서는 완전 상충이 발생하는 경우이다. 이 경우, 센서 데이터 B(실선)는 잘못된 센서 데이터로 간주된다. 이 때, 센서 데이터 A는 올바른 센서 데이터로 간주되기 때문에, 센서 데이터 B(실선)를 센서 데이터 A의 채워진 영역까지 줄여준다. 결국, 줄여진 센서 데이터 B(점선)는 센서 데이터 A와 상충을 일으키지 않으면서, 추가적인 정보를 제공하게 된다.
도 15에서는 부분 상충이 일어나는 경우이다. 이 경우에도, 센서 데이터 B(실선)는 잘못된 센서 데이터로 간주된다. 선세 데이터 A는 올바른 센서 데이터로 간주되기 때문에, 센서 데이터 B(실선)를 센서 데이터 A의 채워진 영역까지 줄여준다. 결국, 줄여진 센서 데이터 B(점선)는 센서 데이터 A와 상충을 일으키지 않으면서, 추가적인 정보를 제공하게 된다.
1.5 종합 흐름도 (간단한 상충 평가와 재처리 과정)
1.3에서 정리된 간단한 상충 방법과 1.4에서 설명된 잘못된 센서 데이터의 재처리 과정을 함께 정리하면 도 16과 같다. 도 16의 흐름을 요약하면 다음과 같다.
센서 데이터가 확보되면,
① : 해당 센서 데이터(
Figure 112007039965766-pat00013
)와 상충을 일으키는 모든 수동적 센서 데이터들을 수집한다 (
Figure 112007039965766-pat00014
).
② : 수집된 수동적 센서 데이터와 상충을 일으키는 모든 능동적 센서 데이터들 중에서, 상충이 가장 넓은 데이터(
Figure 112007039965766-pat00015
)가 해당 센서 데이터(
Figure 112007039965766-pat00016
)라면 ③으로 이동하고, 그렇지 않다면 ④로 이동한다.
③ : 해당 센서 데이터(
Figure 112007039965766-pat00017
)를 잘못된 센서 데이터로 간주하고, ⑨로 이동한다.
④ : ①에서 수집된 수동적 센서 데이터들(
Figure 112007039965766-pat00018
) 중에서, 하나씩 순서대로 추출하여(
Figure 112007039965766-pat00019
), ⑤로 이동한다. 추출할 데이터가 더 이상 없는 경우(
Figure 112007039965766-pat00020
,
Figure 112007039965766-pat00021
은
Figure 112007039965766-pat00022
의 개수)에는 ⑦로 이동한다.
⑤ : ④에서 추출된 데이터(
Figure 112007039965766-pat00023
)가 상충을 일으킨다면, 상충이 더 이상 발생하지 않을 때까지 상충이 가장 넓은 데이터를 잘못된 센서 데이터로 간주한다. 즉, 추출된 데이터(
Figure 112007039965766-pat00024
)는 수동적 센서 데이터 집합(
Figure 112007039965766-pat00025
)에서 추출되었기 때문에, 수동적 센서 데이터이다. 따라서, 이와 관련된 능동적 센서 데이터들 중에서, 가장 상충이 넓은 데이터(
Figure 112007039965766-pat00026
)를 잘못된 센서 데이터로 간주하는 과정(⑥)을 되풀이하면, 언젠가는 상충이 사라지게 된다. 추출된 데이터(
Figure 112007039965766-pat00027
)와 관련된 상충이 사라지면, ④로 이동한다.
⑦ : 해당 센서 데이터(
Figure 112007039965766-pat00028
)가 상충을 일으킨다면, 상충이 사라질 때 까지, 상충을 일으키는 능동적 센서 데이터들 중에서 가장 상충이 넓은 데이터(
Figure 112007039965766-pat00029
)를 잘못된 센서 데이터로 간주하는 과정(⑧)을 되풀이 한다. 해당 센서 데이터(
Figure 112007039965766-pat00030
)와 관련된 상충이 사라지면, ⑨로 이동한다.
⑨ : ①~⑧ 과정을 거치는 동안, 잘못된 센서 데이터로 간주된 모든 센서 데이터들을 재처리 한다.
①~⑨ 과정을 통해, 간단한 상충 평가와 재처리 과정이 완결된다.
1.6 종류가 다른 센서 데이터의 경우
종류가 다른 센서를 사용하는 경우에도, 제안된 상충 평가 방법과 재처리 과정은 그대로 적용할 수 있다. 도 17은 선형으로 진행하는 레이저 센서와 방사형으로 진행하는 초음파 센서를 사용하는 경우를 간략하게 도시한다. 도 17의 좌측 그림은 2개의 초음파 센서 데이터와 1개의 레이저 센서 데이터를 나타낸다. 적색원은 상충이 발생하는 부분이다. 본 발명에서 제안한 상충 평가 방법과 재처리 과정을 적용하면, 도 17의 우측과 같은 결과가 된다. 이와 같은 방식으로 다른 거리 측정 센서 데이터들도 융합할 수 있다.
2. 상충 평가 방법의 검증
이상과 같은 본 발명의 상충 평가 방법과 재처리 과정을 검증하기 위하여, 초음파 센서 데이터를 사용하여 격자 지도를 작성한다. 작성된 격자 지도가 실제 환경을 제대로 묘사하면, 제안된 방법이 센서 데이터를 타당하게 융합하였다고 생각할 수 있다. 레이저 센서나 적외선 센서를 함께 사용할 경우에도, 동일한 과정을 적용할 수 있다.
격자 지도를 작성하는 경우, 거리 측정 센서의 위치 정보가 필요하다. 일반적으로 거리 측정 센서는 이동로봇에 부착되기 때문에, 거리 측정 센서의 위치는 이동로봇의 위치로부터 계산할 수 있다. 그리고, 이동로봇의 위치는 외부에 부착된 위치 감지 센서나 혹은 SLAM (Simultaneous Localization and Mapping)을 통해 얻을 수 있다. 센서 데이터에 제안된 방법을 적용한 후, 격자 지도를 작성하기 위하여 베이어스 규칙(Bayes Rule)을 사용하였다.
2.1 실험 1
제안된 방법을 검증하기 위하여, 거리 측정 센서들 중에서 불확실성이 가장 높은 초음파 센서를 사용하여 격자 지도 작성 실험을 수행하였다.
첫 번째 실험은 12개의 초음파 센서 데이터를 사용한 격자 지도 작성 실험이다. 실험에 사용된 초음파 센서는 Murata Sensor (Receiver : MA50B8R, Sender : MA40B8S)이다. 초음파 센서의 배치는 도 18과 같다. 도 19 ,20, 21, 22, 23은 상충 평가 방법과 재처리 과정을 거친 경우와 그렇지 않은 경우의 격자 지도 작성 비교 실험 결과이다. 도 19, 20, 21, 22, 23은 모두 3가지 지도로 구성되어 있다. 첫 번째 지도는 CAD 지도로써 CAD 지도의 확보가 불가능한 경우에 대해서는 레이저 센서 데이터를 사용한 지도를 표기하였다.
두 번째 지도는 제안된 방법을 적용하지 않고, 초음파 센서 데이터를 직접 사용하여 그린 격자 지도이다. 세 번째 지도는 본 발명의 상충 평가 방법과 재처리 과정을 거친 초음파 센서 데이터를 사용하여 그린 격자 지도이다.
두 번째 그림과 세 번째 그림을 비교하면, 본 발명에서 제안된 방법을 사용하여 초음파 센서 데이터를 처리하는 경우, 실제 환경과 거의 유사한 격자 지도를 구성할 수 있음을 알 수 있다. 본 발명의 방법을 사용한 격자 지도의 경우, 초음파 센서 데이터 중에서 잘못된 데이터들이 대부분 여과되어 사라졌으며, 복잡한 모양의 부분까지도 자세하게 표현되어 있음을 알 수 있다. 따라서, 제안된 방법을 통해 잘못된 센서 데이터를 여과시켜 타당하게 융합할 수 있음을 알 수 있다.
2.2 실험 2
두 번째 실험은 초음파 센서의 개수를 줄여서, 2개의 초음파 센서만을 사용한 경우의 실험 결과이다. 초음파 센서 2개에 대한 배열은 도 24와 같다. 사용한 초음파 센서의 종류는 실험 1에서와 같다.
초음파 센서를 2개만 사용한 격자 지도 작성 결과는 도 25, 26, 27, 28, 29에 표기되어 있다. 도 25, 26, 27, 28, 29는 모두 3가지 지도로 구성되어 있다. 첫 번째 지도는 CAD 지도로써 CAD지도의 확보가 불가능한 경우에 대해서는 레이저 센서 데이터를 사용한 지도를 표기하였다. 두 번째 지도는 12개의 초음파 센서에 제안된 방법을 사용하여 처리한 후, 그린 격자 지도이다. 세 번째 지도는 2개의 초음파 센서에 제안된 방법을 사용하여 처리한 후, 그린 격자 지도이다. 도 25, 26, 27, 28, 29를 살펴보면, 초음파 센서를 2개만 사용한 경우에도, 12개를 사용한 경우보다는 미흡하지만, 충분히 환경을 묘사하고 있음을 알 수 있다. 따라서, 본 발명에서 제안된 방법을 사용하면, 극히 적은 개수의 센서를 사용하더라도, 잘못된 센서 데이터를 여과하여, 타당하게 융합할 수 있음을 알 수 있다.
2.3 실험 3
세 번째 실험은 다른 종류의 초음파 센서(Polaroid)를 사용하는 경우이다. 더불어, 초음파 센서를 단순히 원형으로 배치하지 않고, 도 30과 같이 배열한 실험이다(사용한 초음파 센서는 16개이며, 도 30 내의 사각형 상자들이 초음파 센서의 위치를 나타낸다). 도 30과 같은 배열은 상용으로 판매되는 Pioneer3DX 이동로봇에 서 기본적으로 제공하는 배치이다. 도 31은 실험에 의해서 얻어진 격자 지도이다.
첫 번째 지도는, 레이저 센서 데이터를 사용한 지도이고, 두 번째 지도는 제안된 방법을 적용하지 않고 초음파 센서 데이터를 직접 사용하여 그린 격자 지도이다. 세 번째 지도는 상충 평가 방법과 재처리 과정을 거친 초음파 센서 데이터를 사용하여 그린 격자 지도이다. 두 번째 그림과 세 번째 그림을 비교하면, 제안된 방법을 사용하여 초음파 센서 데이터를 처리하는 경우, 실험 1과 마찬가지로, 실제 환경과 거의 유사한 격자 지도를 구성할 수 있음을 알 수 있다. 결국, 센서의 종류가 바뀌고, 배치 및 개수가 바뀌어도, 본 발명에서 제안된 방법을 통해, 잘못된 센서 데이터를 여과시켜 타당하게 융합할 수 있음을 알 수 있다.
본 발명에서 제안된 ‘상충 평가 방법’을 적용하면 거리 측정 센서로부터 확보된 데이터들을 모순 없이 효과적으로 융합할 수 있어서, 센서의 종류, 개수, 배치에 상관없이 적용가능하고, 불확실성이 큰 센서(초음파 센서) 데이터도 처리할 수 있으며, 거리 측정 센서가 2차원 이상을 측정하는 경우에도 확장하여 적용할 수 있게 되어, 이동로봇의 지도작성과 주행성능을 향상시킬 수 있다.

Claims (11)

  1. 거리 측정 센서들의 데이터를 모순 없이
    효과적으로 융합하는 방법에 있어서,
    각각의 거리 측정 센서 데이터가 도출한 장애물까지의 거리 값을 통해, 장애물이 존재할 수 있다고 생각되는 채워진 영역과 비어 있다고 생각되는 빈영역으로 공간을 구분하고;
    단일 센서 데이터의 채워진 영역 모두가, 다른 센서 데이터들의 빈영역과 일치하는 경우를 상기 거리 센서 데이터들간에 모순이 일어나는 상충으로 정의하며;
    상기 상충이 발생하는 영역 중에서 단일 센서 데이터의 채워진 영역 모두가 다른 단일 센서 데이터의 빈영역과 일치하는 완전 상충이 발생하는 경우에는, 채워진 영역 모두가 상충되는 센서 데이터는 올바른 센서 데이터로 간주하고, 빈영역이 상충되는 센서 데이터는 잘못된 센서 데이터로 간주하며;
    상기 상충이 발생하는 영역 중에서 단일 센서 데이터의 채워진 영역 모두가 다수의 다른 센서 데이터의 빈영역에 걸쳐져 있는 부분 상충이 발생하는 경우에는, 채워진 영역 모두가 상충되는 센서 데이터는 올바른 센서 데이터로 간주하고, 빈영역이 상충과 관계되는 센서 데이터 중에서, 상충 영역이 가장 넓은 데이터만을 잘못된 센서 데이터로 간주하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  2. 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법에 있어서,
    각각의 거리 측정 센서 데이터가 도출한 장애물까지의 거리 값을 통해, 장애물이 존재할 수 있다고 생각되는 채워진 영역과 비어 있다고 생각되는 빈영역으로 공간을 구분하고;
    단일 센서 데이터의 채워진 영역 모두가, 다른 센서 데이터들의 빈영역과 일치하는 경우를 상기 거리 센서 데이터들간에 모순이 일어나는 상충으로 정의하며;
    상충의 발생에 관여하는 센서 데이터들 중에서, 빈영역이 상충에 관여하는 센서 데이터를 능동적 센서 데이터로 정의하고, 상충의 발생에 관여하는 센서 데이터들 중에서, 채워진 영역이 상충에 관여하는 센서 데이터 수동적 센서 데이터로 정의하며;
    센서 데이터가 확보되면, 해당 센서 데이터와 연관된 상충이 일어나는지 확인하며;
    상기 확인 결과, 상충이 일어나지 않으면 센서 데이터는 올바른 센서 데이터로 간주하고, 상충이 발생하면, 발생한 상충과 관계되는 모든 수동적 센서 데이터를 수집하며,
    상기 수집된 수동적 센서 데이터와 관련된 능동적 센서 데이터 중에서, 상충이 가장 넓은 데이터를 추출하며,
    상기 상충이 가장 넓은 데이터가 해당 센서 데이터와 같다면, 해당 센서 데이터는 잘못된 센서 데이터로 간주하고, 그렇지 않은 경우, 수동적 센서 데이터들을 차례로 뽑아서 뽑힌 수동적 데이터가 상충이 일어나지 않을 때까지, 상충이 가 장 넓은 능동적 데이터를 잘못된 센서 데이터로 간주하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  3. 제2항에 있어서,
    상기 잘못된 센서 데이터로 간주된 센서 데이터를 상기 올바른 센서 데이터를 바탕으로 수정하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  4. 제1항에 있어서,
    상기 거리 측정 센서들은 초음파 센서를 포함하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  5. 제2항 또는 제3항에 있어서,
    상기 거리 측정 센서들은 초음파 센서를 포함하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  6. 제1항에 있어서,
    상기 거리 측정 센서들은 레이저 센서를 포함하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  7. 제2항 또는 제3항에 있어서,
    상기 거리 측정 센서들은 레이저 센서를 포함하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  8. 제1항에 있어서,
    상기 거리 측정 센서들은 적외선 센서를 포함하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  9. 제2항 또는 제3항에 있어서,
    상기 거리 측정 센서들은 적외선 센서를 포함하는 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  10. 제1항에 있어서,
    상기 거리 측정 센서들은 이동로봇용인 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
  11. 제2항 또는 제3항에 있어서,
    상기 거리 측정 센서들은 이동로봇용인 것을 특징으로 하는 거리 측정 센서들의 데이터를 모순 없이 효과적으로 융합하는 방법.
KR1020070053088A 2007-05-31 2007-05-31 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법 KR100844015B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070053088A KR100844015B1 (ko) 2007-05-31 2007-05-31 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070053088A KR100844015B1 (ko) 2007-05-31 2007-05-31 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법

Publications (2)

Publication Number Publication Date
KR20070072449A KR20070072449A (ko) 2007-07-04
KR100844015B1 true KR100844015B1 (ko) 2008-07-04

Family

ID=38507408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070053088A KR100844015B1 (ko) 2007-05-31 2007-05-31 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법

Country Status (1)

Country Link
KR (1) KR100844015B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017112305A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Technologies for managing sensor conflicts

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911472B1 (ko) * 2007-07-19 2009-08-11 엘지전자 주식회사 이동로봇 및 그 동작방법
KR100937096B1 (ko) * 2008-02-27 2010-01-15 성균관대학교산학협력단 센서융합 시스템 및 센서융합 방법
KR100988416B1 (ko) * 2008-06-04 2010-10-18 성균관대학교산학협력단 이동 로봇의 장애물 외곽선 검출 방법, 이동 로봇 및 이동로봇 원격 제어기
KR101581415B1 (ko) 2009-02-23 2015-12-30 삼성전자주식회사 맵 빌딩 장치 및 방법
CN113568400A (zh) * 2020-04-28 2021-10-29 北京猎户星空科技有限公司 一种机器人控制方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242934A (ja) 2000-02-28 2001-09-07 Honda Motor Co Ltd 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
KR20030080436A (ko) * 2002-04-08 2003-10-17 삼성전자주식회사 이동로봇의 위치측정 장치 및 방법
JP2004033340A (ja) 2002-07-01 2004-02-05 Hitachi Home & Life Solutions Inc ロボット掃除機及びロボット掃除機制御プログラム
KR20050011055A (ko) * 2003-07-21 2005-01-29 주식회사 한울로보틱스 다수개의 거리 측정용 센서를 이용한 이동로봇의 장애물검출 및 자세보정방법
JP2007078476A (ja) 2005-09-13 2007-03-29 Toshiba Corp 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
KR20070049799A (ko) * 2005-11-09 2007-05-14 주식회사 대우일렉트로닉스 로봇 청소기의 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242934A (ja) 2000-02-28 2001-09-07 Honda Motor Co Ltd 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
KR20030080436A (ko) * 2002-04-08 2003-10-17 삼성전자주식회사 이동로봇의 위치측정 장치 및 방법
JP2004033340A (ja) 2002-07-01 2004-02-05 Hitachi Home & Life Solutions Inc ロボット掃除機及びロボット掃除機制御プログラム
KR20050011055A (ko) * 2003-07-21 2005-01-29 주식회사 한울로보틱스 다수개의 거리 측정용 센서를 이용한 이동로봇의 장애물검출 및 자세보정방법
JP2007078476A (ja) 2005-09-13 2007-03-29 Toshiba Corp 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
KR20070049799A (ko) * 2005-11-09 2007-05-14 주식회사 대우일렉트로닉스 로봇 청소기의 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017112305A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Technologies for managing sensor conflicts
US10152336B2 (en) 2015-12-26 2018-12-11 Intel Corporation Technologies for managing sensor conflicts

Also Published As

Publication number Publication date
KR20070072449A (ko) 2007-07-04

Similar Documents

Publication Publication Date Title
KR100844015B1 (ko) 거리 측정 센서 데이터들을 모순 없이 효과적으로 융합하는방법
US11629964B2 (en) Navigation map updating method and apparatus and robot using the same
CN110587597B (zh) 一种基于激光雷达的slam闭环检测方法及检测系统
US20210312197A1 (en) Grid map obstacle detection method fusing probability and height information
EP3447532A2 (en) Hybrid sensor with camera and lidar, and moving object
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
KR20220025028A (ko) 시각적 비콘 기반의 비콘 맵 구축 방법, 장치
CN110850859B (zh) 一种机器人及其避障方法和避障系统
JP6649743B2 (ja) 一致性評価装置および一致性評価方法
CN106324616A (zh) 一种基于惯性导航单元与激光雷达的地图构建方法
US20230273620A1 (en) Mapping method, computer-readable storage medium, and robot
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
Lu et al. Multi-robot indoor environment map building based on multi-stage optimization method
CN118212613A (zh) 车位检测方法、装置、车辆和存储介质
CN112446842B (zh) 基于稀疏和稠密深度图图像重建方法、系统、设备及介质
KR20180055433A (ko) 페일-세이프 기능을 갖는 자율 주행 시스템 및 이의 방법
CN108764110B (zh) 基于hog特征行人检测器的递归错检校验方法、系统及设备
US20220335732A1 (en) Method and system for recognizing surrounding driving environment based on svm original image
CN116380062A (zh) 机器人定位方法及装置、移动机器人和可读存储介质
JP4500563B2 (ja) 車両検出方法及び車両検出システム
KR102557136B1 (ko) 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치
Tamjidi et al. 6-DOF pose estimation of an autonomous car by visual feature correspondence and tracking
EP4060614A1 (en) Method for determining noise statistics of object sensors
CN118149796B (zh) 退化环境下的地图构建方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee