KR101418873B1 - 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101418873B1
KR101418873B1 KR1020130033086A KR20130033086A KR101418873B1 KR 101418873 B1 KR101418873 B1 KR 101418873B1 KR 1020130033086 A KR1020130033086 A KR 1020130033086A KR 20130033086 A KR20130033086 A KR 20130033086A KR 101418873 B1 KR101418873 B1 KR 101418873B1
Authority
KR
South Korea
Prior art keywords
posture
value
attitude
measuring sensor
coordinate system
Prior art date
Application number
KR1020130033086A
Other languages
English (en)
Inventor
강동훈
김진욱
박종우
하준형
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130033086A priority Critical patent/KR101418873B1/ko
Application granted granted Critical
Publication of KR101418873B1 publication Critical patent/KR101418873B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G01P21/02—Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers
    • G01P21/025—Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers for measuring speed of fluids; for measuring speed of bodies relative to fluids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry

Abstract

본 발명은 자세 측정 센서의 교정 방법에 관련된 것이다. 본 발명의 일 실시예에 따른 자세 측정 장치의 교정 방법은, (a) 제1 기준좌표계에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값을 얻는 단계와, (b) 제2 기준좌표계에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값을 얻는 단계와, (c) 상기 제1 자세값 및 상기 제2 자세값을 이용하여, 상기 제1 자세측정센서에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값, 및 상기 제1 기준좌표계에 대한 상기 제2 기준좌표계의 상대적인 자세에 대응되는 제4 자세값을 연산 장치로 산출하는 단계를 포함하며, 상기 (c) 단계는, 상기 제1 자세값 및 상기 제3 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제5 자세값과, 상기 제2 자세값과 상기 제4 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제6 자세값 사이의 오차를 최소화하는, 상기 제3 자세값과 상기 제4 자세값을 산출하는 단계에 해당한다.

Description

자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체{method for calibating orientation measurement sensor, apparatus for calibating orientation measurement sensor, mobile electronic device comprising the same and program recording medium}
본 발명은 자세 측정 장치의 교정 방법에 관련된 것이다.
스마트 휴대폰, 태블릿 컴퓨터와 같은 모바일 기기에는 모바일 기기의 자세를 계측하기 위하여 가속도계, 자이로스코프와 같은 관성 측정 장치(inertial measurement unit: IMU)를 비롯한 다양한 방식의 자세 측정 장치를 구비하기도 한다. 또한 모바일 기기에 카메라가 장착된 경우에는, 카메라로 주변의 지형 지물을 인식하고 그에 대한 모바일 기기의 상대적인 자세를 산출할 수 있으므로 그 카메라도 일종의 자세 측정 장치에 해당할 수 있다.
카메라 및 관성 측정 장치(inertial measurement unit: IMU)를 구비한 휴대폰, 태블릿 컴퓨터 등과 같은 휴대용 기기가 널리 사용되고 있다. 이러한 IMU는 자세, 각속도 또는 중력을 측정하는데, 정확한 값을 얻기 위해서는 센서 측정값을 교정(calibration)해 주어야 한다.
특히 IMU의 측정값은 증강 현실, 지도, 게임 등 다양한 애플리케이션 프로그램(application program)에서 사용될 수 있는데, 이러한 애플리케이션 프로그램이 정밀하게 작동하기 위해서는 IMU의 측정값이 정확하게 계측되어야 한다. 그러나 현재의 휴대용 기기에 채용되는 IMU는 오차가 크며, 경우에 따라서는 측정값이 발산하는 등의 문제를 내포하고 실정이다.
본 발명의 일 측면은 자세 측정 센서를 더욱 정확하고 신속하게 교정할 수 있는 방법을 제공하고자 한다. 또한, 본 발명의 다른 측면은 이러한 방법을 사용한 자세 측정 센서의 교정 장치, 휴대용 단말기 및 이동 물체 제어 방법을 제공한다. 또한 본 발명의 다른 일 측면은 상기의 방법으로 정보처리를 수행하는 프로그램을 기록한 기록 매체를 제공하고자 한다.
본 발명의 일 실시예에 따른 자세 측정 센서의 교정 방법은, (a) 제1 기준좌표계에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값을 얻는 단계와, (b) 제2 기준좌표계에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값을 얻는 단계와, (c) 상기 제1 자세값 및 상기 제2 자세값을 이용하여, 상기 제1 자세측정센서에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값, 및 상기 제1 기준좌표계에 대한 상기 제2 기준좌표계의 상대적인 자세에 대응되는 제4 자세값을 연산 장치로 산출하는 단계를 포함하며, 상기 (c) 단계는, 상기 제1 자세값 및 상기 제3 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제5 자세값과, 상기 제2 자세값과 상기 제4 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제6 자세값 사이의 오차를 최소화하는, 상기 제3 자세값과 상기 제4 자세값을 산출하는 단계이다.
또한 상기 제1 자세측정센서는 카메라이며, 상기 제2 자세측정센서는 관성 측정 센서일 수 있다.
또한, 상기의 자세 측정 센서의 교정 방법은, (d) 상기 제1 자세값, 제3 자세값 및 상기 제4 자세값을 이용하여 상기 제2 자세값을 산출하는 단계; 및 (e) 상기 (d) 단계에서 산출된 상기 제2 자세값을 이용하여 상기 관성 측정 센서를 교정하는 단계를 더 포함할 수 있다.
또한 상기 제1 기준좌표계는 지상에 고정되며, 상기 제1 자세값은 상기 지상에 위치한 지형 또는 지물을 상기 카메라로 촬영한 영상으로부터 얻어질 수 있다.
또한 상기 제1 기준좌표계는 이동하는 물체에 고정되어 함께 이동되며, 상기 제1 자세값은 지상에 위치한 카메라로 상기 이동하는 물체를 촬영한 영상으로부터 얻어질 수 있다.
또한 상기 (c) 단계는, (c-1) 제3 자세값 및 제4 자세값의 초기값을 결정하는 단계와, (c-2) 리 대수를 이용한 라인 검색방법으로 스텝 크기를 결정하는 단계와, (c-3) 상기 스텝 크기를 이용하여 제3 자세값 및 상기 제4 자세값을 갱신하고 반복 연산(iteration)을 수행하는 단계와, (c-4) 미리 정해진 수렴 조건이 만족되면 최종 제3 자세값 및 제4 자세값을 결정하는 단계를 포함할 수 있다.
또한 상기의 자세 측정 센서의 교정 방법은 컴퓨터가 판독이 가능한 저장 매체에 수록되는 프로그램의 형태로 구현될 수 있다.
또한 본 발명의 다른 일 측면에 따른 자세 측정 센서의 교정 장치는, 제1 기준좌표계에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값을 산출하는 제1 자세값 산출부와, 제2 기준좌표계에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값을 산출하는 제2 자세값 산출부와, 상기 제1 자세값 및 상기 제2 자세값을 이용하여, 상기 제1 자세측정센서에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값, 및 상기 제1 기준좌표계에 대한 상기 제2 기준좌표계의 상대적인 자세에 대응되는 제4 자세값을 산출하는 제3 및 제4 자세값 산출부를 구비하며, 상기 제3 자세값과 상기 제4 자세값은 상기 제1 자세값 및 상기 제3 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제5 자세값과, 상기 제2 자세값과 상기 제4 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제6 자세값 사이의 오차를 최소화하는 것이다.
또한 상기 제3 및 제4 자세값 산출부는, 제3 및 제4 자세값의 초기값을 산출하는 초기값 산출부와, 리 대수를 이용한 라인 검색방법으로 스텝 크기를 결정하는 스텝 크기 결정부와, 상기 스텝 크기를 이용하여 제3 자세값 및 상기 제4 자세값을 갱신하는 제3 및 제4 자세값 갱신부와, 미리 정해진 수렴 조건이 만족되는지를 판단하는 수렴 조건 검사부를 구비할 수 있다.
또한 상기 제1 자세측정센서는 카메라이며, 상기 제2 자세측정센서는 관성 측정 센서일 수 있다.
또한 본 발명의 다른 일 측면에 따른 휴대용 기기는, 상기의 자세 측정 센서의 교정 장치를 구비하며, 상기 카메라 및 상기 관성 측정 센서는 상대적으로 위치 고정될 수 있다.
또한 본 발명의 다른 일 측면에 따른 이동 물체의 제어 시스템에 따르면, 상기의 자세 측정 센서의 교정 장치를 구비하며, 상기 카메라는 지상에 설치되어 이동하는 물체를 촬영하며, 상기 관성 측정 센서는 상기 이동하는 물체에 배치되는 것일 수 있다.
본 발명의 일 측면은 자세 측정 센서의 교정 방법에 따르면, 자세 측정 센서의 측정값을 신속하고 정확하게 교정할 수 있다. 따라서 본 발명의 일 측면에 따른 자세 측정 센서 교정 방법을 이용하는 자세 측정 센서 교정 장치, 그러한 교정 장치를 구비한 휴대용 기기, 그러한 교정 장치를 구비하는 이동 물체의 제어 시스템은 그의 자세 측정 센서를 더욱 신속하고 정확하게 교정할 수 있으므로, 그의 자세를 매우 정확하게 측정할 수 있다.
도 1은 카메라를 구비하는 휴대용 기기에서의 자표계들 사이의 관계를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 자세 측정 센서의 교정 방법을 개략적으로 도시한 흐름도이다.
도 3은 도 2의 흐름도에 도시된 단계 중의 일부를 개략적으로 설명하는 흐름도이다.
도 4a 및 도 4b는 상기의 방식에 의거하여, 노이즈 레벨에 따라 발생하는 X,Y의 오차 값과의 관계를 도시한 것이다.
도 5a는 노이즈 레벨에 따라 수렴 조건에 이를 때까지의 반복 계산의 수를 도시한 것이며, 도 5b는 노이즈 레벨에 따라 수렴 조건에 이를 때까지의 반복 연산의 소요시간을 도시한 것이다.
도 6a 및 도 6b는 이상값의 존재에 따른 X,Y 산출의 오차의 정도를 도시한 그래프이다.
도 7은 본 테스트에 사용된 자세 측정 센서의 교정 장치의 일례를 개략적으로 도시한 도면이다.
도 8은 카메라로 특정 물체를 촬영하고 이로부터 카메라의 자세값을 산출하는 과정을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 자세 측정 센서의 교정 방법의 오차를 개략적으로 도시한 도면이다.
도 10은 무인 항공기 및 이를 촬영하는 지면 고정 카메라로 이루어진 무인 항공기의 제어 시스템을 개략적으로 도시한 도면이다.
도 11은 본 실시예의 자세 측정 센서의 교정 방법을 무인 항공기의 제어 시스템에 적용한 것을 개략적으로 설명하는 흐름도이다.
이하 도면을 참조하여 본 발명의 일 실시예에 따른 카메라 및 IMU를 이용한 자세의 측정 방법에 대해서 설명한다.
도 1은 카메라를 구비하는 장치에서의 좌표계들 간의 관계를 개략적으로 도시한 도면이다.
도 1에 도시된 바와 같이 일반적으로 카메라 및 IMU는 서로 구분되는 고정 좌표계를 가지며, 상호 상대적으로 고정되어 있다. 또한 카메라 및 IMU의 각 이동 좌표계는 휴대폰 단말기와 같은 장치에 고정되어 각각의 고정 좌표계로부터 이격된다.
자세 측정 장치에서 얻어지는 자세 측정값은 IMU의 고정 프레임에 대한 IMU의 이동 프레임의 상대적인 자세(orientation)에 대응되는 값이다. 즉 IMU에서 얻어지는 자세 측정값은 도 1에서 회전 행렬 B에 대응되는 값일 수 있다.
한편, 카메라로부터 얻어지는 영상 정보는 카메라의 고정 좌표계에 대한 카메라의 이동 좌표계의 상대적인 자세 측정값을 포함한다. 즉 카메라로부터 얻어지는 자세 측정값은 도 1의 회전 행렬 A에 대응되는 값이다. 실제로 카메라로부터 얻은 영상 정보는 카메라의 이동 좌표계의 고정 좌표계에 대한 상대적인 위치 정보도 포함하는데, 이하 본 출원에서는 자세값을 위주로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 자세 측정 센서의 교정 방법을 개략적으로 도시한 흐름도이다.
도 2를 참조하면, 본 실시예의 자세 측정 센서의 교정 방법은 카메라 및 IMU를 구비하는 휴대용 기기(P)에서 IMU를 교정하는 방법으로서,
제1 기준좌표계(R1)에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값(A)을 얻는 단계(S10)와,
제2 기준좌표계(R2)에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값(B)을 얻는 단계(S20)와,
제1 자세값(A) 및 제2 자세값(B)을 이용하여, 제1 자세측정센서에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값(X), 및 제1 기준좌표계(R1)에 대한 제2 기준좌표계(R2)의 상대적인 자세에 대응되는 제4 자세값(Y)을 연산 장치로 산출하는 단계를 포함한다. 본 실시예의 자세 측정 센서의 교정 방법은 연산 장치에 의해서 자동으로 수행될 수 있는데, 이를 위해서는 상기의 단계들에 해당하는 처리를 수행하는 컴퓨터 프로그램이 연산 장치에 탑재될 수 있다. 또한 연산 장치에 탑재된 프로그램은 컴퓨터가 판독할 수 있는 여하한 저장 매체에 저장됨으로써, 손쉽게 다른 장치에도 이식될 수도 있다.
본 실시예에서 제1 자세측정센서는 휴대용 기기(P)에 장착된 카메라이다. 즉 카메라에서 촬영된 주변의 지형/지물에 대한 영상을 이용하여 그로부터 주변의 지형/지물에 대한 카메라의 상대적인 자세값(A)을 산출될 수 있다. 이때 주변의 지형/지물의 좌표가 제1 기준좌표계(R1)에 해당될 수 있다. 본 실시예에서는 제1 자세측정센서가 카메라인 것으로 설명하지만, 제1 자세측정센서는 지상의 제1 기준좌표계(R1)에 대한 상대적인 변위를 측정할 수 있는 것이라면, 가속도 센서, 자이로스코프 센서, 지자계 센서 등의 센서일 수도 있다.
따라서 상기의 제1 자세값(A)을 얻는 단계(S10)는 카메라로 촬영한 특정 지상의 지형/지물에 대한 영상으로부터 지상에 위치하는 제1 기준좌표계(R1)에 대한 카메라의 상대적인 자세에 대응되는 제1 자세값(A)을 구하는 단계에 해당함을 알 수 있다. 카메라 촬영 영상으로부터 제1 자세값(A)을 구하는 과정은 휴대용 기기에 구비된 마이크로프로세서에 의해서 수행될 수도 있고, 카메라의 촬영 영상을 전송받은 별도의 컴퓨터에 의해서 수행될 수도 있다.
제2 자세측정센서로는 휴대용 기기(P)에 장착되는 IMU가 사용될 수 있다. 즉 제2 자세측정센서는 제1 기준좌표계(R1)와 다른 제2 기준좌표계(R2)에 대한 IMU의 상대적인 자세를 측정할 수 있다. 본 실시예에서는 제2 자세측정센서가 IMU인 것으로 설명하나, 제2 자세측정센서는 지상의 제2 기준좌표계(R2)에 대한 상대적인 변위를 측정할 수 있는 것이라면, 지자계 센서 또는 카메라여도 무방하다.
따라서 상기의 제2 자세값(B)을 얻는 단계(S20)는 IMU로부터 얻은 계측값을 이용하여 지상에 위치하는 제2 기준좌표계(R2)에 대한 IMU의 상대적인 자세에 대응되는 제2 자세값(B)을 구하는 단계에 해당함을 알 수 있다. 제2 자세값(B)을 구하는 과정은 IMU 자체에 내장된 마이크로프로세서 혹은 휴대용 기기에 구비된 마이크로프로세서에 의해서 자체적으로 수행될 수도 있고, IMU의 측정값이 외부의 컴퓨터로 전송된 다음에 그 컴퓨터에 의해서 수행될 수도 있다.
상기의 제3 자세값(X) 및 제4 자세값(Y)을 산출하는 단계(S30)는, 상기의 제1 자세값(A) 및 제2 자세값(B)을 이용하여 제3 자세값(X) 및 제4 자세값(Y)을 산출하는 단계이다.
이하에서는, 제3 자세값(X) 및 제4 자세값(Y)을 산출하는 단계(S30)에 대하여 구체적으로 설명한다.
도 1에 도시된 바와 같이 카메라가 촬영하는 제1 기준좌표계(R1), 카메라의 이동 좌표계(F1), IMU에 대응되는 제2 기준좌표계(R2) 및 IMU의 이동 좌표계(F2)는, 그 자세(orientation)만을 고려할 때 다음과 같은 수학적 관계를 가진다.
Figure 112013026692856-pat00001
여기서, A는 카메라가 촬영하는 지상의 제1 기준좌표계(R1)에 대한 카메라의 이동 좌표계(F1)의 회전 변환 행렬로서 상기의 제1 자세값에 대응되며, B는 IMU에 대응되는 지상의 제2 기준좌표계(R2)에 대한 IMU의 이동 좌표계(F2)의 회전 변환 행렬로서 상기의 제2 자세값에 대응된다. 또한 X는 카메라의 이동 좌표계(F1)에 대한 IMU의 이동 좌표계(F2) 회전 변환 행렬로서 상기의 제3 자세값에 대응되며, Y는 카메라의 제1 기준좌표계(R1)에 대한 IMU의 제2 기준좌표계(R2)의 회전 변환 행렬로서 상기의 제4 자세값에 대응된다.
따라서 X,Y,B를 알고 있으나 A를 알지 못하는 경우, 예컨대 카메라 촬영 영상으로부터 좌표의 기준이 되는 물체(visual landmark)를 도출할 수 없는 경우에는, A = YBX-1의 식으로부터 A를 구할 수 있다. 마찬가지로 X,Y,A를 알고 있으나 B를 알지 못하는 경우, 예컨대 카메라가 촬영 영상으로부터 카메라의 자세 정보를 얻을 수 있으나 IMU가 특정 회전 방향에 대한 변화를 측정하지 못하는 경우(일례로 자력계는 요(yaw) 방향의 자세를 측정하지 못함)에는 B = Y-1AX의 식으로부터 IMU로 측정하지 못한 회전 방향의 변화 값을 추정할 수 있다.
한편, 측정에 있어서 노이즈(noise)가 없다면, 센서들을 교정(calibration)하는 문제는 측정된 A,B로부터 미지의 X,Y 값은 구하는 문제로 귀결된다고 할 수 있는데, 실제 계측에 있어서 노이즈가 반드시 개입되기 때문에 노이즈를 고려한 측정 데이터의 처리방법이 요구된다.
이를 감안하여 본 실시예에서는 카메라 및 IMU로 얻어진 노이즈를 포함한 실계측값을 이용하여, 다음의 수학식 2의 최소 제곱법에 따른 교정방법을 도출하는 방법을 이용한다. 이때, 카메라와 IMU에서 측정된 값은 A,B 회전 행렬 쌍의 집합, 예컨대
Figure 112013026692856-pat00002
의 형태로 표현될 수 있다.
Figure 112013026692856-pat00003
여기서, SO(3)은 3×3 회전 행렬의 군(group)(또는 특이 직교 군(special orthogonal group)을 의미한다.
즉 본 실시예에서는 카메라와 IMU로부터 얻어진 A,B를 이용하고, 수학식 2를 만족하는 X,Y를 산출함으로써, 카메라와 IMU의 교정을 동시에 수행할 수 있게 된다.
이하에서는 수학식 2를 만족하는 X,Y를 산출하는 방법에 대하여 구체적으로 설명한다. 다만 그에 앞서 관련되는 수학적 배경에 대해서 먼저 서술하도록 한다.
[회전 행렬 및 리 대수]
회전 행렬의 군 SO(3)는 3×3에 속하는 실수 행렬 R은 RTR=I 및 det R = 1을 만족한다. SO(3)는 일종의 행렬 리 그룹(Lie group)이며, 이와 관련된 리 대수(Lie algebra)는 so(3)로 표현되고 3×3의 실수 교대 행렬(real skew-symmetric matrices)로 이루어진다. 이하에서는
Figure 112013026692856-pat00004
일때, 그의 3×3 실수 교대 행렬은 [ω]로 표현하고, [ω]는 다음의 수학식 3의 의미로 사용한다.
Figure 112013026692856-pat00005
행렬 지수 매핑(matrix exponential map) exp : so(3) → SO(3)은 다음의 수학식 4에 의해서 수행될 수 있다. 단 ω≠0이다.
Figure 112013026692856-pat00006
여기서, ∥...∥은 유클리디언 규준(Euclidean norm)을 의미한다. 만약 ω가 ω = nθ로 표현되고 θ=∥ω∥이고 n=ω/∥ω∥가 단위 벡터(unit vector)인 경우, 지수 식은 다음의 수학식 5의 형태로 단순화될 수 있다.
Figure 112013026692856-pat00007
한편, ω=0인 경우에는 자명하게,
Figure 112013026692856-pat00008
가 된다. 지수(exponential)의 역, 즉 로그(logarithm)도 다음의 수학식 6과 같이 닫힌 형태(closed form)으로 정의될 수 있다.
Figure 112013026692856-pat00009
Figure 112013026692856-pat00010
여기서 θ는 1 + 2cosθ = Tr(R)이다.
[AX = YB의 해의 존재 여부]
다음으로 A,B∈SO(3)인 경우, AX = YB의 식에서 미지의 X,Y∈SO(3)가 존재하는지, 또한 존재한다면 유일하게 존재하는지에 대해서 살펴본다.
명제 1 : 주어진 A,B∈SO(3)에 대하여, X = ATR 이고 Y = AXBT인 경우에, 또한 그 경우에만 순서쌍 (X,Y)∈SO(3)×SO(3)는 AX = YB를 만족한다.
증명 : (X,Y)를 AX = YB의 해하고 하면, Y = AXBT이다. AX = R으로 두면, X = ATR이고 Y = RBT이다. 다른 방법으로 접근하여 X = ATR 및 Y = RBT를 AX = YB에 대입하면, (ATR, RBT)가 AX = YB의 해가 됨을 알 수 있다.
명제 2 : 2개의 행렬 쌍{(A1,B1),(A2,B2)}가 주어질 때, 수학식 A1X = YB1, A2X = YB2이 주어지며 X,Y∈SO(3)이 미지수이고,
Figure 112013026692856-pat00011
을 다음과 같이 정의될 때,
Figure 112013026692856-pat00012
∥α∥=∥β∥이면, A1X = YB1, A2X = YB2는 단일 매개변수 패밀리(one-parameter family)에 해당하는 다음과 같은 해 (X,Y)t를 가진다.
Figure 112013026692856-pat00013
여기서, t∈[0, 2π]이고, RP∈SO(3)은 Rβ=α의 임의의 특이해(particular solution)이다.
증명 : AX = YB의 일반적인 해는 X=ATR, Y=RBT의 형태를 가지며, R은 SO(3)에 속하는 임의의 행렬이다. 만일 (X,Y)가 A1X = YB1, A2X = YB2 의 해라면,
Figure 112013026692856-pat00014
이고,
Figure 112013026692856-pat00015
를 만족하는 R1, R2∈SO(3)가 존재한다. 여기서 R1을 소거하면,
Figure 112013026692856-pat00016
을 얻고, 여기에서 양변에 로그를 취하면,
Figure 112013026692856-pat00017
이 된다. 즉
Figure 112013026692856-pat00018
이 된다. 여기서
Figure 112013026692856-pat00019
이고,
Figure 112013026692856-pat00020
이다.
∥α∥=∥β∥인 경우에만 해가 존재하고, 그 해는 다음의 수식과 같은 단일 매개변수 패밀리(one-parameter family)에 해당한다.
Figure 112013026692856-pat00021
여기서, t∈[0, 2π]이고, RP∈SO(3)은 Rβ = α의 임의의 특이해(particular solution)이다. 이를
Figure 112013026692856-pat00022
및
Figure 112013026692856-pat00023
에 대입하면 명제 2의 결론에 도달하게 된다.
명제 3 : 3개의 회전행렬 쌍 (Ai, Bi), i = 1,2,3이 주어지고, 다음과 같이 정의할 때,
Figure 112013026692856-pat00024
Figure 112013026692856-pat00025
, 여기서 Φ, Ψ는 3×3 행렬임
연립 방정식 AiX = YBi, i = 1,2,3에 대한 유일 해(unique solution)에 해당하는
Figure 112013026692856-pat00026
는, Φ, Ψ가 특이 행렬(nonsingular)이 아니고 ΦTΦ = ΨTΨ인 경우에, 또 그 경우에만 존재한다.
증명 : 먼저 명제 3의 정방향의 내용에 대해서 증명한다. AiX = YBi = Ri, i = 1,2,3에 대해서,
Figure 112013026692856-pat00027
및
Figure 112013026692856-pat00028
와 관련된 4개의 식을 얻을 수 있다.
Figure 112013026692856-pat00029
이를 정리하면,
Figure 112013026692856-pat00030
이 된다.
상기의 식의 양변에 로그를 취하면,
Figure 112013026692856-pat00031
이 된다.
여기에
Figure 112013026692856-pat00032
를 추가하면, R1Ψ = Φ가 도출된다. Ψ 및 Φ가 R1의 해라는 가정에 따르면, R1은 다음과 같이 주어진다.
Figure 112013026692856-pat00033
det R1 = 1이고
Figure 112013026692856-pat00034
이며, R1은 회전행렬에 해당함을 알 수 있다.
다음으로 명제 3의 역방향의 내용에 대해서 증명한다.
Φ를 특이 행렬(singular matrix)이라고 가정하면,
Figure 112013026692856-pat00035
이다. 또는
Figure 112013026692856-pat00036
인 어떤 상수에 대해서
Figure 112013026692856-pat00037
가 될 수 있다. 방정식
Figure 112013026692856-pat00038
의 특수해 R1에 대해서,
Figure 112013026692856-pat00039
도 해가 된다. 따라서 해가 유일(unique)하지 않다. 마찬가지로, 해가 유일하기 위해서는 Ψ도 비특이(non-singular) 행렬에 해당해야 한다. 결론적으로
Figure 112013026692856-pat00040
라고 가정할 때, 비특이(non-singular) Ψ에 대하여 해가 존재하지 않는다. 왜냐하면
Figure 112013026692856-pat00041
은
Figure 112013026692856-pat00042
을 만족하지 않기 때문이다. 특이(singular) Ψ의 경우에는 복수의 해를 가짐은 앞서 설명한 바와 같다.
상술한 수학적 내용을 기반으로 아래에서는 수학식 2를 만족하는 X,Y를 산출하는 방법에 대해서 상세히 설명한다.
[최소제곱법]
상술한 수학적 내용과는 달리, 현실적으로는 AiX = YBi의 방정식은 유일 해를 가지지 않을 수 있다. 왜냐하면 측정치 Ai 및 Bi에 센서 노이즈가 개입되기 때문이다. 이하에서는 다음의 수학식 7과 같은 오차의 제곱을 최소화하는 방안에 대해서 설명한다.
Figure 112013026692856-pat00043
여기서 후자의 식은 일반적인 행렬 A,B,C의 경우
Figure 112013026692856-pat00044
를 만족한다는 사실로부터 도출될 수 있다. 일반적으로 상기의 문제는 컨벡스(convex) 혹은 유사 컨벡스(quasi-convex)문제에 해당하지 않는데, 본 실시예에서는 지역 최소값(local minima)를 얻는 알고리즘에 초점을 두고 설명하도록 한다.
수학식 7의 기준 값은 최급 강하법(steepest descent algorithm) 및 SO(3)×SO(3) 공간에 대한 뉴턴 법(Newton's method)으로 최소화될 수 있다.
최급 강하법은 2차 미분이 가능한 목적함수 J(x)가 주어질 때, 소정의 범위 내에서 수렴할 때까지 다음의 반복 계산(iteration)을 수행하는 것이다.
Figure 112013026692856-pat00045
이때, xk에서의 검색의 방향 dk은 다음과 같이 정해진다.
Figure 112013026692856-pat00046
그리고 스텝 크기(stepsize)αk 는 검색 방향으로 J가 최소화되도록 다음의 형태를 가진다.
한편, 뉴턴 법에서는 검색 방향이 다음과 같이 주어진다.
Figure 112013026692856-pat00047

[그레디언트 및 헤시안의 계산 방법]
수학식 7의 함수는 벡터 공간이 아니므로, 그레디언트(gradient)와 헤시안(Hessian)을 적절한 방법으로 표현할 필요가 있다.
먼저 (X,Y)를 지수 행렬의 형태로 풀어서 쓰면 다음과 같다.
Figure 112013026692856-pat00048
J(X,Y)는 다음과 같이 2차적으로 근사할 수 있다.
Figure 112013026692856-pat00049
그레디언트와 헤시안은 ωx 및 ωy에 대해서 상기의 식을 미분함으로써 구할 수 있다. 상기의 식에서 상수 및 1차 항은 각각 그레디언트와 헤시안에 대응된다. 이러한 점을 감안할 때 다음과 같은 명제가 도출될 수 있다.
명제 4 :
Figure 112013026692856-pat00050
이고,
Figure 112013026692856-pat00051
일 때, 다음의 식을 만족한다.
Figure 112013026692856-pat00052

상기의 명제 4를 이용하면 다음의 수학식 8이 성립한다.
Figure 112013026692856-pat00053
여기서,
Figure 112013026692856-pat00054
Figure 112013026692856-pat00055
Figure 112013026692856-pat00056
Figure 112013026692856-pat00057
Figure 112013026692856-pat00058
그리고 그레디언트와 헤시안은 다음과 같다.
Figure 112013026692856-pat00059

[라인 검색(line search)의 방법]
앞서 살펴본 바와 같이 (Xk,Yk)의 주변에서 (X,Y)는 다음과 같이 지수적인 형태로 표현될 수 있다.
Figure 112013026692856-pat00060
여기서
Figure 112013026692856-pat00061
이며, 상기의 식은 다음과 같이 표현될 수 있다.
Figure 112013026692856-pat00062
이에 따라 라인 검색(line search) 방법은 다음의 수학식 9과 같이 주어진다.
Figure 112013026692856-pat00063
여기서,
Figure 112013026692856-pat00064
이고, 각 항의 계수(C0 ~ C8)는 다음과 같다.
Figure 112013026692856-pat00065
상기의 식에서
Figure 112013026692856-pat00066
및
Figure 112013026692856-pat00067
이다.
상기의 라인 검색 최소화(line search minimization)는 다변수 다항식 근 검색 문제(multivariate polynomial root-finding problem)에 해당하며, 정확한 해(exact solution)이 있음이 알려져 있다. 통상적으로 다변수 다항식 근 검색문제의 문제는 정확해가 있음에도 불구하고 연산량이 많기 때문에, 연산 자원 및 시간이 많이 소요되는 문제가 있다. 이러한 현실적인 문제를 감안하여 본 실시예에서는 스텝 크기(stepsize)을 추정하는 방법을 사용한다. 스텝 크기의 추정치는, 모든 t에 대해서
Figure 112013026692856-pat00068
이고
Figure 112013026692856-pat00069
이면,
Figure 112013026692856-pat00070
의 구간에서
Figure 112013026692856-pat00071
이고, 반대로 모든 t에 대해서
Figure 112013026692856-pat00072
이고
Figure 112013026692856-pat00073
이면
Figure 112013026692856-pat00074
구간에서
Figure 112013026692856-pat00075
이다. 따라서 스텝 크기 추정치
Figure 112013026692856-pat00076
에 의하면
Figure 112013026692856-pat00077
이 만족된다.
Figure 112013026692856-pat00078
로부터, 다음의 식이 도출될 수 있다.
Figure 112013026692856-pat00079
또한 코시-슈와르츠 부등식(Cauchy-schwarz inequality) |Tr(ATB)| ≤ ∥A∥ ∥B∥에 의하면, 다음의 식이 만족된다.
Figure 112013026692856-pat00080
회전 변환 행렬 R∈SO(3)에 의한 선형 변환(linear transformation)은 아이소메트릭(isometric)하므로, 다음의 식이 유도될 수 있다.
Figure 112013026692856-pat00081
따라서 스텝 크기 추정치는 다음과 같다.
Figure 112013026692856-pat00082
여기서,
Figure 112013026692856-pat00083
이다.
따라서 X,Y는 다음의 수학식 10과 같이 갱신(update)될 있다.
Figure 112013026692856-pat00084
[초기 값의 선정 방법]
데이터 쌍
Figure 112013026692856-pat00085
로부터, 임의의 2개의 독립된 방정식, 예컨대 A1X=YB1 및 AiX = YBi (i≠1)을 선택할 수 있다. 여기에서 Y를 소거하면,
Figure 112013026692856-pat00086
를 얻을 수 있다. 여기에서
Figure 112013026692856-pat00087
및
Figure 112013026692856-pat00088
를 이용하면 상기의 식은
Figure 112013026692856-pat00089
로 표현될 수 있다. 한편,
Figure 112013026692856-pat00090
의 최소값은 X가 다음의 수학식 11의 값을 가질 때 얻어진다는 것이 알려져 있다.
Figure 112013026692856-pat00091
여기서,
Figure 112013026692856-pat00092
이다.
마찬가지로, Y 대신에 X를 소거하여
Figure 112013026692856-pat00093
를 얻을 수 있으며, Y는 다음의 수학식 12과 같이 표현될 수 있다.
Figure 112013026692856-pat00094
여기서,
Figure 112013026692856-pat00095
이다.
상기의 방법으로 (X,Y)의 초기값을 얻을 수 있다.
[최적화 방법(Optimization algorithm)]
본 실시예의 최적화 알고리즘은 방향 검색(direction finding) 및 라인 검색(line search) 과정을 포함한다. 한편 최급 강하법을 이용하는 경우에는 검색 방향은 아래의 수학식 13과 같이 주어진다.
Figure 112013026692856-pat00096
또한, 뉴턴 법을 사용하는 경우에는 검색 방향이 아래의 수학식 14와 같이 주어진다.
Figure 112013026692856-pat00097
상술한 방법으로 얻어진 (X,Y)의 초기값, 라인 검색 방법을 이용하여 반복 계산(iteration)을 수행함으로써 수학식 7에서 정의된 오차의 최소 제곱을 산출할 수 있다. 도 3은 도 2의 X,Y를 산출하는 단계(S30)를 더욱 구체적으로 설명한 것으로, 본 실시예의 최적화 방법을 개략적으로 도시한 흐름도이다.
도 3을 참조하면, 수학식 2를 만족하는 X,Y를 산출하는 단계(S30)은, 초기값을 산출하는 단계(S311), 리 대수를 이용한 라인 검색 단계(S313), X,Y 값을 갱신(update)하는 단계 및 수렴 여부를 판별하는 단계(S317)를 포함한다.
초기값을 산출하는 단계(S30)은, 초기화 단계에서는 초기값 (X0, Y0)를 선정하는 단계이다. 본 단계에서 초기값(X0, Y0)은 앞서 설명한 바와 같이, 수학식 11 및 수학식 12을 이용하여 얻을 수 있다.
리 대수를 이용한 라인 검색 단계(S313)는, 목적함수를 최소화하는 방향으로 검색 방향을 설정하는 단계로 ωx 및 ωy를 구하는 단계이다. ωx 및 ωy는 앞서 설명한 바와 같이 수학식 8, 13 및 14를 이용하여 구할 수 있다. 앞서 설명한 바와 같이 본 단계는 그레디언트 또는 헤시언을 이용하는 단계(S3131)일 수도 있고, 최급 강하법 또는 뉴턴 법을 이용하는 단계(S3133)일 수도 있다.
X,Y값을 갱신하는 단계(S311)는 (Xk, Yk)로부터 (Xk +1, Yk +1)를 산출하는 단계이다. 이때 수학식 10을 이용하여 구할 수 있다. 또한 여기서 스텝 크기는 정확한 스텝 크기(exact stepsize)가 활용될 수도 있고, 추정 스텝 크기(estimated stepsize)가 활용될 수도 있다.
수렴 여부를 판별하는 단계(S317)는 반복 계산을 수행하는 동안에 미리 정해진 수렴 조건이 만족되는지를 검토하는 단계이다. 수렴 조건으로는, (Xk, Yk)과 (Xk+1, Yk +1) 사이의 차이가 미리 정해진 횟수 이상 동안 계속적으로 미리 정해진 기준값 이내에 머물고 있거나, 목적 함수의 변화량이 미리 정해진 횟수 이상의 반복 연산에도 불구하고 계속적으로 미리 정해진 기준값 이내에 있을 것 등과 같이, 반복 계산이 수렴되었음을 판별할 수 있는 공지의 여하한 수렴 조건이 채용될 수 있다.
반복 계산의 과정 동안에 미리 정해진 수렴 조건이 만족되면, (Xk +1, Yk +1)를 반환하고 반복 연산(iteration)을 중단한다. 반대로 소정의 수렴 조건이 만족되지 않으면 k에 k+1을 대입하고 상기의 리 대수를 이용한 라인 검색 단계(S313), X,Y값을 갱신 단계(S311) 및 수렴 여부를 판별하는 단계(S317)을 반복해서 수행한다.
상기의 최적화 방법을 이용함으로써, 본 실시예의 제3 자세값(X) 및 제4 자세값(Y)을 산출하는 단계(S30)는, 제1 자세값(A) 및 제2 자세값(B)로부터 수학식 2를 만족하는 X,Y를 산출할 수 있다. 즉 제1 자세값(A) 및 제3 자세값(X)으로부터 산출되는 제1 기준좌표계(R1)에 대한 IMU의 상대적인 자세값을 제5 자세값이라하고, 제2 자세값(B)과 제4 자세값(Y)으로부터 산출되는 제1 기준좌표계(R1)에 대한 IMU의 상대적인 자세값을 제6 자세값이라고 한다면, 본 실시예의 제3 자세값(X) 및 제4 자세값(Y)을 산출하는 단계(S30)에서는 제5 자세값과 제6 자세값 간의 오차를 최소로 하는 제3 자세값(X) 및 제4 자세값(Y)이 산출될 수 있는 것이다.
이와 같이 본 실시예의 자세 측정 센서의 교정 방법에 따르면, 카메라 및 IMU를 구비한 휴대용 기기를 임의의 방향으로 움직이며 촬영 및 계측한 데이터를 이용하여, 카메라와 IMU 간의 상대적인 자세(X)를 자동으로 교정할 수 있다. 특히 교정을 위한 별도의 특수한 장비가 없이도 자체적인 카메라 및 IMU의 상대적인 자세 교정이 가능하여 휴대용 기기의 교정에 더욱 적합하다.
또한 본 출원의 발명자는 본 실시예의 자세 측정 센서의 교정 방법의 정확도및 신속성을 확인하기 위하여 아래와 같이 수치적 시뮬레이션 및 실제 계측을 통한 성능 테스트를 수행하였다.
[수치적 시뮬레이션]
본 출원의 발명자는 본 실시예의 자세 측정 센서의 교정 방법에 따른 X,Y 산출 알고리즘의 성능을 검토하기 위하여 수치적으로 시뮬레이션을 수행하였다. 이를 위해서 참값에 해당하는
Figure 112013026692856-pat00098
를 설정하고, 무작위적으로 데이터 행렬
Figure 112013026692856-pat00099
를 생성하였다. 또한 이들을 이용하여,
Figure 112013026692856-pat00100
Figure 112013026692856-pat00101
의 관계식으로부터
Figure 112013026692856-pat00102
도 산출하였다. 그리고 Ai 및 Bi 각각에 다음의 식과 같이 노이즈가 부가되었다.
Figure 112013026692856-pat00103
여기서,
Figure 112013026692856-pat00104
이다.
또한 본 실시예에 따른 X,Y 산출 알고리즘과 다른 방식의 알고리즘과의 성능 비교도 수행하였다.
도 4a 및 도 4b는 상기의 방식에 의거하여, 노이즈 레벨에 따라 발생하는 X,Y의 오차 값과의 관계를 도시한 것이다.
도 4a 및 도 4b에 도시된 바와 같이, 본 실시예에 따른 X,Y 산출 방법은 사원수(quaternion)를 이용한 비선형 최소화 방법에 비해서, 노이즈가 증가한 경우에도 더욱 정확한 결과를 도출함을 알 수 있다.
도 5a는 노이즈 레벨에 따라 수렴 조건에 이를 때까지의 반복 연산(iteration)의 수를 도시한 것이고, 도 5b는 노이즈 레벨에 따라 수렴 조건에 이를 때까지의 반복 연산의 소요시간을 도시한 것이다.
도 5a 및 도 5b를 참조하면, 스텝 크기 추정치를 이용하는 방법은 수렴 조건에 이를 때까지의 반복 연산의 횟수가 정확한 스텝 크기를 사용하는 경우에 비해서 많지만, 수렴 시까지의 시간이 매우 적게 걸림을 알 수 있다.
또한 스텝 크기 추정치를 사용하는 경우 또는 정확한 스텝 크기를 사용하는 경우 모두, 사원수를 이용한 비선형 최소화 방법에 비해서 수렴 시까지의 시간이 짧은 것으로 나타났다. 이는 최소화 방법으로서 최급 강하법을 쓰는 경우 또는 뉴턴 법을 쓰는 모두에서 마찬가지임을 알 수 있다.
도 6a 및 도 6b는 이상값(outlier)의 존재에 따른 X,Y 산출의 오차의 정도를 도시한 그래프이다.
본 수치 시뮬레이션에서는 참값인
Figure 112013026692856-pat00105
를 이용하여 Ai,Bi를 산출한 다음, 이에 노이즈를 부가한 것이므로 AiX = YBi의 조건을 만족하지 않는 가상의 계측 데이터 값, 즉 이상값이 많을 것을 예상할 수 있다. 그러나 도 도 6a 및 도 6b를 참조하면 본 실시예의 X,Y 산출 방법에 따르면 이상값이 많은 경우에도, 사원수를 이용한 비선형 알고리즘에 비해서 오차가 적게 발생 함을 알 수 있다.
[실 계측치를 이용한 검증]
또한 본 출원의 발명자는 실제 IMU 및 카메라로부터 얻어진 계측 값을 이용하여 본 실시예에 따른 교정 방법의 성능을 검증하였다. 이를 위하여 본 테스트에서는 자세 측정 센서의 교정 장치를 구성하였다.
도 7은 본 테스트에 사용된 자세 측정 센서의 교정 장치의 일례를 개략적으로 도시한 도면이다.
도 7을 참조하면, 본 실시예의 자세 측정 센서의 교정 장치는, 카메라(100), IMU(200), 연산부(400) 및 통신부(310,320)를 구비한다.
카메라(100)는 주변에 있는 물체(OB)에 대한 영상을 취득한다. 도 8은 카메라(100)로 특정 물체(OB), 예컨대 글자가 기재되어 있는 종이를 촬영한 것을 개략적으로 도시한 도면이다. 카메라(100)를 이용하여 특정 물체의 위치 추적을 위해서 평행 추적 및 매핑(parallel Tracking and mapping - PTAM) 소프트웨어가 사용될 수 있다. PTAM 소프트웨어는 연산부(400)의 A,B 산출부(402)에 탑재된다. PTAM 소프트웨어를 이용하면 도 8에 도시된 바와 같이, 영상으로부터 초기 특징 맵(initial feature map)(DL)을 추출하고 이에 대한 카메라의 상대적인 위치 정보를 추출할 수 있다. PTAM 소프트웨어는 『G.Klein and D.Murray, "Parallel Tracking and Mapping for Small AR Workspaces" in Proc. Sixth IEEE and ACM International Symposium on Mixed Augmented Reality(ISMAR '07), pp. 225-234, 2007.』와 『http://www.robots.ox.ac.uk/~gk/PTAM/』에 개시되어 있으므로, 이에 대한 구체적인 설명은 이들 문헌으로 갈음한다.
IMU(200)는 카메라(100)에 상대적으로 고정된다. IMU(200)로서는 6축 가속도계(LIS3LV02DQ), 6축 자이로스코프(L3G4200D)가 사용되었다. IMU는 마이크로컨트롤러를 구비하여, 지면에 대한 IMU의 회전 행렬, 즉 B를 자체적으로 산출하는 것이어도 무방하다.
연산부(400)는 A,B 산출부(402) 및 X,Y 산출부(404)를 구비한다. 연산부(400)는 본 실시예에 따른 자세 측정 센서의 교정 방법을 처리할 수 있는 프로그램이 탑재되어 있는 연산 장치, 예컨대 마이크로프로세서를 구비할 수 있다. 연산부는 카메라(100) 및 IMU(200)와 무선으로 연결된 컴퓨터일 수도 있고, 카메라(100) 및 IMU(200)에 결합되어 있는 마이크로프로세서일 수도 있다.
A,B 산출부(402)는 카메라(100)로부터 얻어진 복수의 영상을 이용하여 복수의 A 행렬, 즉 복수의 제1 자세값을 산출하고, IMU의 계측 데이터로부터 복수의 B 행렬, 즉 복수의 제2 자세값을 산출한다. 복수의 제1 자세값 및 제2 자세값을 얻을 수 있도록, 카메라(100) 및 IMU(200)가 여러 방향으로 자세를 바꾸면서 촬영 및 관성값 계측을 수행하게 한다.
X,Y 산출부(404)는 A,B 산출부(402)에서 얻어진 제1 자세값, 제2 자세값에 대응되는 A 및 B를 이용하여, 수학식 2를 만족하는 X,Y를 산출한다. X,Y 산출부(404)는 초기값 산출부(404), 검색 방향 산출부(420), X,Y 갱신부(430) 및 수렴 조건 검사부(440)를 구비한다.
초기값 산출부(404)는 수학식 11 및 12를 이용하여 X,Y의 초기값 (X0, Y0)을 산출한다.
검색 방향 산출부(420)는 목적함수를 최소화하는 방향으로 검색 방향을 설정하는 단계로 수학식 8, 13 및 14를 이용하여 ωx 및 ωy를 산출한다. 검색 방향 산출부(420)는 그레디언트 또는 헤시언을 이용하는 것일 수도 있고, 최급 강하법 또는 뉴턴 법을 이용하도록 프로그램될 수도 있다.
X,Y값 갱신부(430)은 (Xk, Yk)로부터 (Xk +1, Yk +1)를 산출한다. 이때 수학식 10을 사용될 수 있다. 또한 X,Y 값 갱신부(430)은 정확한 스텝 크기(exact stepsize)를 사용하는 것일 수도 있고, 추정 스텝 크기(estimated stepsize)를 사용하도록 프로그램될 수도 있다.
수렴 조건 검사부(440)은 미리 정해진 수렴 조건이 만족되었는지를 판별한다. 수렴 조건 검사부(440)는 수렴 조건이 만족되면 X,Y값을 출력하고, 수렴 조건이 만족되지 않으면 다시 검색 방향 산출부(420), X,Y 갱신부(430)를 작동시키는 형태로 반복 계산을 수행하도록 처리한다.
한편, A,B 산출부(402)와 X,Y 산출부(404), 혹은 X,Y 산출부(404)의 초기값 산출부(404), 검색 방향 산출부(420), X,Y 갱신부(430) 및 수렴 조건 검사부(440)는 기능적으로 분리된 것일 뿐, 반드시 물리적으로 구별될 필요는 없다. 따라서 A,B 산출부(402)와 X,Y 산출부(404)는 단일의 마이크로프로세서에 의해서 구현되거나, 다수의 마이크로프로세서에 의해서 조합적으로 구현되어도 무방하다. 특히 A,B 산출부(402)는 카메라(100) 및 IMU(200)에 내장되어도 무방하다.
통신부(310,320)는 카메라(100) 및 IMU(200)와, 연산부(400) 사이의 데이터를 무선으로 주고 받도록 해준다. 통신부(310,320)에 의한 통신은 블루투스, 무선 랜 등 공지되어 있는 방식의 무선 전송 방식으로 데이터를 전송하는 것일 수 있다.
상기와 같이 구성된 자세 측정 센서의 교정 장치의 카메라와 IMU의 계측 값으로부터 Ai, Bi(본 테스트에서 i = 1,...,1123)를 얻었으며, 이를 이용하여 본 실시예의 X,Y 산출 알고리즘을 수행하였다. 이에 따라 X,Y의 추정치 Xest 및 Yest를 산출하였으며, 성능의 검증을 위하여 AiXest 와 YestBi 사이의 오차를 구하였다. 여기서 AiXest 와 YestBi 사이의 오차는 두 회전 행렬 간의 회전 각도의 차로 측정된다.
도 9는 본 실시예의 알고리즘을 사용하였을 때의 AiXest 와 YestBi 사이의 오차를 도시한 그래프이다. 도 9의 그래프에는 사원수를 이용하였을 때의 결과를 함께 도시되어 있다. 도 9를 참조하면, 실제로도 본 실시예의 알고리즘을 사용할 때가 사원수를 이용하는 방법에 비해서 오차가 적음을 확인할 수 있다.
아래의 표 1은 사원수를 이용한 비선형 최소화 방법에서의 평균 오차와, 본 실시예의 알고리즘을 사용한 경우의 평균 오차를 비교한 것으로, 아래의 표 1을 참조하면 본 실시예의 X,Y 산출 알고리즘이 실제로도 사원수에 기초한 방법에 비해서 우수함을 더욱 명확하게 알 수 있다.
사원수를 이용한 비선형 최소화 방법(quaternion-based nonlinear minimization) 본 실시예의 최소화 기법(최급 강하법 및 추정 스텝 크기 사용)
평균 AiXest 와 YestBi 의
오차		 11.55° 6.94°
상술한 바와 같이 본 실시예의 자세 측정 센서의 교정 방법에 따르면, 기존의 교정 방법에 비해서도 우수한 정밀성을 얻을 수 있다. 특히 본 실시예의 자세 측정 센서의 교정 방법은 리 그룹 이론을 적용함으로써, 사원수를 이용하는 방법에서와 같이 재정규화(re-normalization) 및 북키핑(bookkeeping)도 필요가 없다.
따라서 카메라 및 IMU를 구비하는 기기에 본 실시예의 자세 측정 센서의 교정 방법을 처리하는 프로그램이 탑재된다면, 카메라의 자세값 혹은 IMU의 자세값을 매우 신속하고 정확하게 교정할 수 있게 된다.
다음으로, 본 실시예의 자세 측정 센서의 교정 방법의 다른 예에 대해서 설명한다.
도 10은 무인 항공기(unmanned aerial vehicle:UAV) 및 이를 촬영하는 지면 고정 카메라로 이루어진 무인 항공기의 제어 시스템을 개략적으로 도시한 도면이다.
도 10을 참조하면, 본 무인 항공기의 제어 시스템은 UAV(100')를 지상에 고정된 카메라(101)가 추적 촬영한다. UAV(100')에는 시각적 마커(105)가 표시되어 있어서 카메라(101)가 이를 촬영함으로써 카메라(101)에 대한 UAV(100')의 마커(105)의 상대적인 자세값을 얻을 수 있다.
또한 UAV(100')에는 자이로스코프 센서 및 가속계와 같은 IMU가 설치되어 있다.
이러한 무인 항공기의 제어 시스템에서 카메라(101)의 좌표계를 제1 기준좌표계(R1)라 두면, 카메라(101)에 대한 UAV(100')의 마커(105)의 상대적인 자세값을 A, 즉 제1 자세값이라 할 수 있다.
그리고 카메라(101)에 대한 UAV(100')의 마커(105)에 대한 IMU의 상대적인 자세값을 X, 즉 상술한 실시예의 제3 자세값이라 두고, IMU의 지상 고정 좌표계(R2)에 대한 IMU의 상대적인 자세값을 B, 즉 제2 자세값이라 두고, 카메라(101)에 대한 IMU의 지상 고정 좌표계(R2)의 상대적인 자세값을 Y, 즉 제4 자세값으로 두면, 도 1에 대한 실시예와 동일하게 수학식 2가 성립됨을 알 수 있다. 따라서 도 1에 대한 실시예에서와 동일한 방법으로 최적의 X,Y 값을 산출할 수 있다.
도 11은 본 실시예의 자세 측정 센서의 교정 방법을 무인 항공기의 제어 시스템에 적용한 것을 개략적으로 설명하는 흐름도이다.
도 11을 참조하면 본 실시예의 자세 측정 센서의 교정 방법은 A값을 산출하는 단계(S10'), B값을 산출하는 단계(S20'), X,Y값을 산출하는 단계(S30')을 구비한다. X,Y값을 산출하는 단계(S30')에서는 도 1의 실시예의 자세 측정 센서의 교정 방법에서와 마찬가지로, 수학식 2를 만족하는 X,Y가 산출된다.(S31 단계)
A값을 산출하는 단계(S10')는 카메라(101)가 이동 물체인 UAV(100')가 아니라, 지상에 고정되어 UAV(100')를 촬영하고, 그로부터 카메라(101)에 대한 UAV(100')의 상대적인 자세값을 A 값으로 한다는 점에서 도 1의 실시예와 차이가 있을 뿐, 다른 단계는 실질적으로 동일하다. 따라서 본 실시예의 자세 측정 센서의 교정 방법에 의하더라도 UAV(100') 및 IMU의 자세값을 신속하고, 정확하게 교정할 수 있다. 그러므로 본 실시예의 자세 측정 센서의 교정 방법이 무인 항공기의 제어 시스템에 적용될 경우 무인 항공기의 자세 및 IMU의 값을 신속하고 정확하며, 빠르게 교정할 수 있다. 따라서 무인 항공기의 더욱 정밀한 제어가 가능하다.
이상 본 발명의 일부 실시예에 대해서 설명하였으나, 본 발명은 얼마든지 상술한 것과는 다른 형태로 구체화될 수 있다.
상기의 실시예에서는 제1 자세측정센서가 카메라이고, 제2 자세측정센서가 IMU인 것으로 설명하였으나, 제1 자세측정센서 및 제2 자세측정센서는 둘다 카메라일 수도 있고, 둘다 IMU일 수도 있다. 특히 제1 자세측정센서 및 제2 자세측정센서가 둘다 IMU인 경우는, 각각은 다른 종류의 물리량을 측정하는 IMU일 수도 있다.
또한 상기의 실시예에서는 리 대수를 이용하는 최적화 알고리즘을 사용하는 것으로 설명하였으나, 최적화 알고리즘으로는 알려진 다른 최적화 알고리즘이 사용될 수도 있다.
또한 상기의 실시예에서는 오차를 대변하는 목적함수로서 오차의 제곱의 합을 사용하는 것으로 설명하였으나, 오차를 대변하는 목적함수로는 오차의 절대치의 평균과 같은 다른 값이 사용될 수도 있다.
이외에도 본 발명은 다양한 형태로 구체화될 수 있음은 물론이다.
R1 ... 제1 기준좌표계
R2 ... 제2 기준좌표계
F1 ... 카메라 이동 좌표계
F2 ... IMU 이동 좌표계
100 ... 카메라
200 ... IMU
400 ... 연산부

Claims (17)

  1. (a) 제1 기준좌표계에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값을 얻는 단계;
    (b) 제2 기준좌표계에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값을 얻는 단계;
    (c) 상기 제1 자세값 및 상기 제2 자세값을 이용하여, 상기 제1 자세측정센서에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값, 및 상기 제1 기준좌표계에 대한 상기 제2 기준좌표계의 상대적인 자세에 대응되는 제4 자세값을 연산 장치로 산출하는 단계;를 포함하며,
    상기 (c) 단계는,
    상기 제1 자세값 및 상기 제3 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제5 자세값과, 상기 제2 자세값과 상기 제4 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제6 자세값 사이의 오차를 최소화하는, 상기 제3 자세값과 상기 제4 자세값을 산출하는 단계인,
    자세 측정 센서의 교정 방법.
  2. 제1항에 있어서,
    상기 제1 자세측정센서는 카메라이며,
    상기 제2 자세측정센서는 관성 측정 센서인 자세 측정 센서의 교정 방법.
  3. 제2항에 있어서,
    (d) 상기 제1 자세값, 제3 자세값 및 상기 제4 자세값을 이용하여 상기 제2 자세값을 산출하는 단계; 및
    (e) 상기 (d) 단계에서 산출된 상기 제2 자세값을 이용하여 상기 관성 측정 센서를 교정하는 단계를 더 포함하는 자세 측정 센서의 교정 방법.
  4. 제2항에 있어서,
    상기 제1 기준좌표계는 지상에 고정되며,
    상기 제1 자세값은 상기 지상에 위치한 지형 또는 지물을 상기 카메라로 촬영한 영상으로부터 얻어지는 자세 측정 센서의 교정 방법.
  5. 제2항에 있어서,
    상기 제1 기준좌표계는 이동하는 물체에 고정되어 함께 이동되며,
    상기 제1 자세값은 지상에 위치한 카메라로 상기 이동하는 물체를 촬영한 영상으로부터 얻어지는,
    자세 측정 센서의 교정 방법.
  6. 제1항에 있어서,
    상기 (c) 단계는,
    (c-1) 제3 자세값 및 제4 자세값의 초기값을 결정하는 단계;
    (c-2) 리 대수를 이용한 라인 검색방법으로 스텝 크기를 결정하는 단계;
    (c-3) 상기 스텝 크기를 이용하여 제3 자세값 및 상기 제4 자세값을 갱신하고 반복 연산(iteration)을 수행하는 단계; 및
    (c-4) 미리 정해진 수렴 조건이 만족되면 최종 제3 자세값 및 제4 자세값을 결정하는 단계;를 포함하는,
    자세 측정 센서의 교정 방법.
  7. 제1 기준좌표계에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값을 산출하는 제1 자세값 산출부;
    제2 기준좌표계에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값을 산출하는 제2 자세값 산출부;
    상기 제1 자세값 및 상기 제2 자세값을 이용하여, 상기 제1 자세측정센서에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값, 및 상기 제1 기준좌표계에 대한 상기 제2 기준좌표계의 상대적인 자세에 대응되는 제4 자세값을 산출하는 제3 및 제4 자세값 산출부를 구비하며,
    상기 제3 자세값과 상기 제4 자세값은,
    상기 제1 자세값 및 상기 제3 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제5 자세값과, 상기 제2 자세값과 상기 제4 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제6 자세값 사이의 오차를 최소화하는,
    자세 측정 센서의 교정 장치.
  8. 제7항에 있어서,
    상기 제3 및 제4 자세값 산출부는,
    제3 및 제4 자세값의 초기값을 산출하는 초기값 산출부;
    리 대수를 이용한 라인 검색방법으로 스텝 크기를 결정하는 스텝 크기 결정부;
    상기 스텝 크기를 이용하여 제3 자세값 및 상기 제4 자세값을 갱신하는 제3 및 제4 자세값 갱신부; 및
    미리 정해진 수렴 조건이 만족되는지를 판단하는 수렴 조건 검사부를 구비하는 자세 측정 센서의 교정 장치.
  9. 제7항에 있어서,
    상기 제1 자세측정센서는 카메라이며,
    상기 제2 자세측정센서는 관성 측정 센서인 자세 측정 센서의 교정 장치.
  10. 제9항의 자세 측정 센서의 교정 장치를 구비하며,
    상기 카메라 및 상기 관성 측정 센서는 상대적으로 위치 고정된 휴대용 단말기.
  11. 제9항의 자세 측정 센서의 교정 장치를 구비하며,
    상기 카메라는 지상에 설치되며, 이동하는 물체를 촬영하며,
    상기 관성 측정 센서는 상기 이동하는 물체에 배치되는 이동 물체의 제어 시스템.
  12. (a) 제1 기준좌표계에 대한 제1 자세측정센서의 상대적인 자세에 대응되는 제1 자세값을 얻는 단계;
    (b) 제2 기준좌표계에 대한 제2 자세측정센서의 상대적인 자세에 대응되는 제2 자세값을 얻는 단계;
    (c) 상기 제1 자세값 및 상기 제2 자세값을 이용하여, 상기 제1 자세측정센서에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제3 자세값, 및 상기 제1 기준좌표계에 대한 상기 제2 기준좌표계의 상대적인 자세에 대응되는 제4 자세값을 연산 장치로 산출하는 단계;를 포함한 처리를 수행하며,
    상기 (c) 단계는,
    상기 제1 자세값 및 상기 제3 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제5 자세값과, 상기 제2 자세값과 상기 제4 자세값으로부터 산출되는 상기 제1 기준좌표계에 대한 상기 제2 자세측정센서의 상대적인 자세에 대응되는 제6 자세값 사이의 오차를 최소화하는, 상기 제3 자세값과 상기 제4 자세값을 산출하는 단계인,
    정보처리 프로그램을 기록한 저장 매체.
  13. 제12항에 있어서,
    상기 제1 자세측정센서는 카메라이며,
    상기 제2 자세측정센서는 관성 측정 센서인, 정보처리 프로그램을 기록한 저장 매체.
  14. 제13항에 있어서,
    (d) 상기 제1 자세값, 제3 자세값 및 상기 제4 자세값을 이용하여 상기 제2 자세값을 산출하는 단계; 및
    (e) 상기 (d) 단계에서 산출된 상기 제2 자세값을 이용하여 상기 관성 측정 센서를 교정하는 단계를 더 포함하는 처리를 수행하는,
    정보처리 프로그램을 기록한 저장 매체.
  15. 제13항에 있어서,
    상기 제1 기준좌표계는 지상에 고정되며,
    상기 제1 자세값은 상기 지상에 위치한 지형 또는 지물을 상기 카메라로 촬영한 영상으로부터 얻어지는,
    정보처리 프로그램을 기록한 저장 매체.
  16. 제12항에 있어서,
    상기 제1 기준좌표계는 이동하는 물체에 고정되어 함께 이동되며,
    상기 제1 자세값은 지상에 위치한 카메라로 상기 이동하는 물체를 촬영한 영상으로부터 얻어지는,
    정보처리 프로그램을 기록한 저장 매체.
  17. 제12항에 있어서,
    상기 (c) 단계는,
    (c-1) 제3 자세값 및 제4 자세값의 초기값을 결정하는 단계;
    (c-2) 리 대수를 이용한 라인 검색방법으로 스텝 크기를 결정하는 단계;
    (c-3) 상기 스텝 크기를 이용하여 제3 자세값 및 상기 제4 자세값을 갱신하고 반복 연산(iteration)을 수행하는 단계; 및
    (c-4) 미리 정해진 수렴 조건이 만족되면 최종 제3 자세값 및 제4 자세값을 결정하는 단계;를 포함하는,
    정보처리 프로그램을 기록한 저장 매체.
KR1020130033086A 2013-03-27 2013-03-27 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체 KR101418873B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130033086A KR101418873B1 (ko) 2013-03-27 2013-03-27 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130033086A KR101418873B1 (ko) 2013-03-27 2013-03-27 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
KR101418873B1 true KR101418873B1 (ko) 2014-07-17

Family

ID=51742018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033086A KR101418873B1 (ko) 2013-03-27 2013-03-27 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101418873B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094060A (ko) 2015-01-30 2016-08-09 남부대학교산학협력단 바른 스쿼트 운동을 위한 트레이닝 시스템 및 방법
KR101648044B1 (ko) 2015-02-27 2016-08-23 남부대학교산학협력단 스쿼트 트레이닝 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269913A (ja) 2002-03-19 2003-09-25 Canon Inc センサ較正装置、センサ較正方法、プログラム、記憶媒体
JP2005326275A (ja) 2004-05-14 2005-11-24 Canon Inc 情報処理方法および装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269913A (ja) 2002-03-19 2003-09-25 Canon Inc センサ較正装置、センサ較正方法、プログラム、記憶媒体
JP2005326275A (ja) 2004-05-14 2005-11-24 Canon Inc 情報処理方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094060A (ko) 2015-01-30 2016-08-09 남부대학교산학협력단 바른 스쿼트 운동을 위한 트레이닝 시스템 및 방법
KR101648044B1 (ko) 2015-02-27 2016-08-23 남부대학교산학협력단 스쿼트 트레이닝 시스템

Similar Documents

Publication Publication Date Title
US10290118B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
US9243916B2 (en) Observability-constrained vision-aided inertial navigation
US9355453B2 (en) Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
US20180150974A1 (en) Image processing apparatus, method, and program
US20170116783A1 (en) Navigation System Applying Augmented Reality
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN108871311B (zh) 位姿确定方法和装置
KR20180004151A (ko) 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
WO2012023593A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
US20140300736A1 (en) Multi-sensor camera recalibration
JP2012128661A (ja) 情報処理装置、情報処理方法及びプログラム
CN111197984A (zh) 一种基于环境约束下的视觉-惯性运动估计方法
CN109461208A (zh) 三维地图处理方法、装置、介质和计算设备
CN112184824A (zh) 一种相机外参标定方法、装置
CN110068326B (zh) 姿态计算方法、装置、电子设备以及存储介质
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN109685852B (zh) 相机与惯性传感器的标定方法、系统、设备及存储介质
JP7420135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101418873B1 (ko) 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체
JP7114686B2 (ja) 拡張現実装置及び位置決め方法
Briskin et al. Estimating pose and motion using bundle adjustment and digital elevation model constraints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 5