KR101027807B1 - Image Processing Based Direction Sensor - Google Patents

Image Processing Based Direction Sensor Download PDF

Info

Publication number
KR101027807B1
KR101027807B1 KR1020080059689A KR20080059689A KR101027807B1 KR 101027807 B1 KR101027807 B1 KR 101027807B1 KR 1020080059689 A KR1020080059689 A KR 1020080059689A KR 20080059689 A KR20080059689 A KR 20080059689A KR 101027807 B1 KR101027807 B1 KR 101027807B1
Authority
KR
South Korea
Prior art keywords
compass
point
image
delete delete
image processing
Prior art date
Application number
KR1020080059689A
Other languages
Korean (ko)
Other versions
KR20100000259A (en
Inventor
안효성
허환
이재청
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020080059689A priority Critical patent/KR101027807B1/en
Publication of KR20100000259A publication Critical patent/KR20100000259A/en
Application granted granted Critical
Publication of KR101027807B1 publication Critical patent/KR101027807B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G01C17/02Magnetic compasses
    • G01C17/04Magnetic compasses with north-seeking magnetic elements, e.g. needles
    • G01C17/20Observing the compass card or needle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G01C17/02Magnetic compasses
    • G01C17/04Magnetic compasses with north-seeking magnetic elements, e.g. needles
    • G01C17/10Comparing observed direction with north indication
    • G01C17/16Comparing observed direction with north indication by clinometers, e.g. for determining dip or strike of geological strata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring Magnetic Variables (AREA)

Abstract

본 발명은 영상 처리 기반 방위 센서에 대한 것이다. 더욱 상세하게는 아날로그 나침반의 영상을 취득하여 처리함으로써 나침반의 자침이 지시하는 방향을 판별하여 방위를 측정하는 것을 특징으로 하는 영상 처리 기반 방위 센서에 대한 것이다. The present invention relates to an image processing based orientation sensor. More specifically, the present invention relates to an image processing-based orientation sensor characterized in that the direction is measured by determining the direction indicated by the compass needle by acquiring and processing the image of the analog compass.

본 발명은 아날로그 방식의 나침반; 상기 나침반의 상부에 구비되어 상기 나침반의 영상을 취득하는 영상 취득부; 상기 영상 취득부에서 취득된 상기 나침반의 상기 영상으로부터 방위를 산출하기 위한 특징점을 추출하는 특징점 추출부; 및 상기 특징점 추출부에서 추출된 상기 특징점으로부터 방위를 산출하는 방위 연산부를 포함하는 것을 특징으로 하는 영상 처리 기반 방위 센서를 제공한다. The present invention is an analog compass; An image acquisition unit provided at an upper portion of the compass to acquire an image of the compass; A feature point extracting unit for extracting feature points for calculating a bearing from the image of the compass acquired by the image obtaining unit; And an orientation calculator configured to calculate an orientation from the feature points extracted by the feature point extractor.

나침반, 전자 나침반, 영상 처리, 방위 센서 Compass, electronic compass, image processing, orientation sensor

Description

영상 처리 기반 방위 센서{Image Processing Based Direction Sensor}Image Processing Based Direction Sensor

본 발명은 영상 처리 기반 방위 센서에 대한 것이다. 더욱 상세하게는 아날로그 나침반의 영상을 취득하여 처리함으로써 나침반의 자침이 지시하는 방향을 판별하여 방위를 측정하는 것을 특징으로 하는 영상 처리 기반 방위 센서에 대한 것이다. The present invention relates to an image processing based orientation sensor. More specifically, the present invention relates to an image processing-based orientation sensor characterized in that the direction is measured by determining the direction indicated by the compass needle by acquiring and processing the image of the analog compass.

나침반(Compass)은 방위를 알 수 있도록 하는 기구를 말하며, 전통적인 나침반은 지구의 자기(磁氣)를 이용하여 자침(磁針)으로 방위를 지시하는 자기나침반(Magnetic Compass)과, 자이로스코프를 응용하여 지북성(指北性)을 가지는 전륜(轉輪)나침반(Gyro Compass)의 2종류가 있다.Compass refers to a mechanism that allows you to know the direction. Traditional compass uses magnetic compass of the earth to direct the direction by hand and gyroscope. There are two types of Gyro Compass, which have a northern nature.

최근에는 컴퓨터나 휴대전화에서도 전자장치로 방위를 알 수 있는 전자나침반(electronic compass)이 개발되어 실용화되고 있다. 이 나침반은 자기나침반과는 달리 자기센서를 이용해 지자기의 강도를 검출하여 북쪽 방향을 계산한다. 그런데 이러한 전자 나침반은 장소에 따라서 자기장의 세기가 달라지므로 장소 이동시마다 방위를 보정해주어야 하는 문제점이 있다. 또한 센서의 특성에 의한 출력 신호의 잡음이 심하므로 신뢰성이 떨어진다. 이러한 저 신뢰성의 문제를 극복하기 위해서 는 아날로그 나침반을 이용하여 실시간으로 또는 사전에 전자 나침반을 보정해 줄 필요성이 있다. 한편, 보정의 과정에서도 직접적인 조작 과정을 거치기 때문에 사용자의 숙련도에 따라 센서의 신뢰도의 차이를 보인다. Recently, an electronic compass capable of knowing the orientation with an electronic device has been developed and put into practical use in computers and mobile phones. Unlike the magnetic compass, the compass uses magnetic sensors to detect the strength of geomagnetics and calculate the north direction. However, since the strength of the magnetic field varies depending on the location, the electronic compass has a problem of correcting the bearing every time the place moves. In addition, since the noise of the output signal due to the characteristics of the sensor is severe, the reliability is poor. To overcome this low reliability problem, it is necessary to calibrate the electronic compass in real time or in advance using an analog compass. On the other hand, since the direct operation process also in the process of correction shows the difference in the reliability of the sensor according to the user's skill.

한편, 대한민국 공개실용신안공보 제20-1998-0038965호는 '방위 표시 장치'에 대한 것으로서, 나침반에 일정 간격으로 센서를 장착하고 나침반의 자침이 센서 단자와 일치하게 되면 단자가 도통되어 신호를 디스플레이부로 전송함으로써 나침반의 자침이 지시하는 방향을 표시할 수 있도록 방위 표시 장치를 개시한다. 그러나, 이러한 방위 표시 장치는 센서의 개수에 의해 정밀도가 제한되며, 센서의 단자와 단자 사이에 자침이 위치하는 경우에는 정확한 방위를 확인할 수 없다는 단점이 존재하였다. On the other hand, the Republic of Korea Utility Model Publication No. 20-1998-0038965 is for the 'direction display device', when the sensor is mounted on the compass at regular intervals and the compass needle matches the sensor terminal, the terminal is turned on to display the signal. The bearing display device is disclosed so that the direction indicated by the hand of the compass can be indicated by transmitting to the negative. However, such an orientation display device is limited in accuracy by the number of sensors, and when the magnetic needle is located between the terminals of the sensor, there is a disadvantage in that the correct orientation cannot be confirmed.

본 발명은 상기와 같은 문제점을 해결하기 위하여 아날로그 방식의 나침반에서 자침을 포함하는 영상을 취득하고 그 영상을 처리함으로써 자침이 지시하는 방향을 정확히 검출할 수 있도록 하는 영상 처리 기반 방위 센서를 제공함을 그 목적으로 한다. The present invention provides an image processing-based orientation sensor that accurately detects the direction indicated by the needle by acquiring an image including a needle in an analog compass and processing the image to solve the above problems. The purpose.

본 발명은 상기한 문제점을 해결하기 위하여, 아날로그 방식의 나침반; 상기 나침반의 상부에 구비되어 상기 나침반의 영상을 취득하는 영상 취득부; 상기 영상 취득부에서 취득된 상기 나침반의 상기 영상으로부터 방위를 산출하기 위한 특징점을 추출하는 특징점 추출부; 및 상기 특징점 추출부에서 추출된 상기 특징점으로부터 방위를 산출하는 방위 연산부를 포함하는 것을 특징으로 하는 영상 처리 기반 방위 센서를 제공한다. The present invention, in order to solve the above problems, an analog compass; An image acquisition unit provided at an upper portion of the compass to acquire an image of the compass; A feature point extracting unit for extracting feature points for calculating a bearing from the image of the compass acquired by the image obtaining unit; And an orientation calculator configured to calculate an orientation from the feature points extracted by the feature point extractor.

바람직하게는 상기 나침반은 패널과 방위를 지시하는 자침을 포함하며, 상기 특징점 추출부는 상기 나침반의 방위를 나타내는 표지와 상기 자침의 위치에 대한 특징점을 산출하는 것을 특징으로 한다. Preferably, the compass includes a needle indicating the direction of the panel and the feature point extracting unit is characterized in that for calculating the feature point for the mark indicating the orientation of the compass and the position of the needle.

더욱 바람직하게, 상기 나침반의 패널에는 방위 산출의 기준이 되는 기준점이 구비되고, 상기 자침의 회전 중심과 말단에는 각각 중심점과 지시점이 구비되어, 상기 특징점 추출부에서는 상기 기준점과, 중심점, 및 지시점을 특징점으로 추출하는 것을 특징으로 하며, 상기 기준점, 상기 중심점, 및 상기 지시점은 각각 다 른 색상으로 표시되거나, 각각 다른 빛을 발생하는 엘이디(LED)로 이루어질 수 있다. More preferably, the panel of the compass is provided with a reference point that is a reference for calculating the orientation, the center of rotation and the end of the needle is provided with a center point and an indication point, respectively, in the feature point extraction unit, the reference point, the center point, and the indication point The reference point, the center point, and the indication point may be displayed in different colors, or may be formed of LEDs that generate different light.

바람직하게, 상기 나침반 또는 상기 보호 케이스의 수평 유지를 위한 수평 유지 장치가 추가로 포함하되, 상기 수평 유지 장치는 짐벌을 이용하거나 2축 조정을 위한 구동 모터를 포함하여 이루어질 수 있다. Preferably, a level holding device for leveling the compass or the protective case is further included, and the leveling device may include a drive motor for using a gimbal or adjusting two axes.

본 발명의 다른 실시예에 따르면, 상기 나침반은, 구형의 외부 케이스와 상기 외부 케이스에 내장되는 작동체를 포함하여 형성된 구형 나침반일 수 있다. According to another embodiment of the present invention, the compass may be a spherical compass formed by including a spherical outer case and an actuator embedded in the outer case.

상기 구형 나침반은 그 상부 중앙에 고정 기준점이 구비되고, 상기 작동체의 상부면에는 특정 지시점과 적어도 2개의 일반 지시점이 구비되는 것을 특징으로 한다. The spherical compass is characterized in that the fixed reference point is provided in the upper center, the upper surface of the actuator is provided with a specific indicator and at least two general indicators.

바람직하게는 상기 고정 기준점, 상기 특정 지시점, 및 상기 일반 지시점은 서로 다른 색상으로 구비되는 것을 특징으로 한다.Preferably, the fixed reference point, the specific indication point, and the general indication point is provided in different colors.

본 발명에 따르면, 장소에 따라 자기장의 세기변화에 따른 측정값 보정을 할 필요가 없으며, 주변의 전자 장치에서 발생하는 미세 자기장의 영향에 강인하여 신뢰성이 향상되고, 사용자의 개입없이 이미지 처리를 통해 추출된 데이터로부터 정확한 방위를 검출할 수 있는 효과가 있다. According to the present invention, it is not necessary to correct the measured value according to the change of the intensity of the magnetic field according to the place, and the reliability is improved by being robust against the influence of the fine magnetic field generated in the surrounding electronic devices, and through image processing without user intervention. There is an effect that can detect the correct orientation from the extracted data.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명 한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible, even if shown on different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서의 구성을 도시한 도면이고, 도 2는 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서에 있어서 자침이 지시하는 방향을 산출하는 예를 도시한 도면이다. FIG. 1 is a diagram illustrating a configuration of an image processing based orientation sensor according to a preferred embodiment of the present invention, and FIG. 2 is a diagram illustrating a direction in which a needle points in an image processing based orientation sensor according to an exemplary embodiment of the present invention. An example is shown.

본 발명에 따른 영상 처리 기반 방위 센서(10)는, 자침(16)을 구비하는 아날로그 방식의 나침반(12), 나침반(12)의 영상을 취득하는 영상 취득부(24), 영상 취득부(24)에서 취득한 영상을 처리하여 방위를 검출하는 방위 검출부(26)를 포함한다. 바람직하게는 나침반(12)과 영상 취득부(24)를 보호하기 위하여 보호 케이스(34) 내에 내장된다.The image processing-based orientation sensor 10 according to the present invention includes an analog compass 12 having a magnetic needle 16, an image acquisition unit 24 for acquiring an image of the compass 12, and an image acquisition unit 24. A direction detecting unit 26 for processing the image acquired in step S) to detect the direction. Preferably, it is embedded in the protective case 34 to protect the compass 12 and the image acquisition unit 24.

나침반(12)은 패널(14)과 방위를 지시하는 자침(16)을 포함하여 이루어진다. 나침반(12)의 패널에는 방위를 나타내는 식별표지(N, E, S, W 등) 또는 방위를 나타내는 각도가 표시될 수 있다. 다만 방위 검출부(26)에서 나침반(12)의 패널에 대한 자침(16)의 방향을 빠르게 추출하도록 하기 위하여, 도 1 및 도 2에 도시된 바와 같이 패널에는 기준점(18)이 표시되고, 자침(16)에는 중심점(20)과 지시점(22) 이 구비되는 것이 바람직하다. The compass 12 comprises a panel 14 and a needle 16 indicating the orientation. The panel of the compass 12 may display an identification mark (N, E, S, W, etc.) indicating the bearing or an angle indicating the bearing. However, in order to quickly extract the direction of the magnetic needle 16 with respect to the panel of the compass 12 by the azimuth detection unit 26, as shown in FIGS. 1 and 2, the reference point 18 is displayed on the panel, and the magnetic needle ( 16, the center point 20 and the point 22 is preferably provided.

기준점(18)은 패널(14)의 원주부에 구비되는데, 일례로서 자북을 가리키는 N 위치에 구비될 수 있으나 반드시 이에 한정되는 것은 아니다. 기준점(18)이 구비되는 경우에 있어서는 나침반(12)에 상기 식별표지는 구비되지 않아도 무방하다. 이는 방위 검출부(26)에서 기준점(18)을 기준으로 하여 방위를 산출하면 되기 때문이다. The reference point 18 is provided at the circumference of the panel 14, but may be provided at an N position indicating magnetic north as an example, but is not limited thereto. When the reference point 18 is provided, the identification mark may not be provided on the compass 12. This is because the orientation detection unit 26 may calculate the orientation based on the reference point 18.

중심점(20)은 자침(16)의 회전 중심에 구비되며, 지시점(22)은 자침(16)의 말단에 구비된다.The center point 20 is provided at the center of rotation of the needle 16, and the indicator point 22 is provided at the end of the needle 16.

상기한 기준점(18), 중심점(20), 지시점(22)은 패널(14)의 배경 색상 및 자침(16)의 색상과는 다른 색상- 예컨대, 기준점은 적색, 중심적은 청색, 지시점은 녹색-으로 표시될 수 있다. 또는 기준점(18), 중심점(20), 지시점(22)은 LED를 이용하여 표시되는 것도 가능하다. 이는 영상 취득부(24)에서 취득된 영상을 방위 검출부(26)에서 처리할 때 기준점(18), 중심점(20), 지시점(22)의 위치를 쉽게 트래킹할 수 있도록 하기 위함이다. The reference point 18, the center point 20, and the indication point 22 are different from the background color of the panel 14 and the color of the needle 16-for example, the reference point is red, the center is blue, and the point is Green- may be displayed. Alternatively, the reference point 18, the center point 20, and the indication point 22 may be displayed using LEDs. This is for easily tracking the positions of the reference point 18, the center point 20, and the indication point 22 when the image acquired by the image acquisition unit 24 processes the image obtained by the orientation detection unit 26.

영상 취득부(24)는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 방식의 이미지 센서로 이루어짐이 바람직하나 이에 한정되는 것은 아니다. 영상 취득부(24)는 나침반(12)의 영상을 취득하여 방위 검출부(26)로 전송한다. The image acquisition unit 24 is preferably formed of an image sensor of a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) method, but is not limited thereto. The image acquisition unit 24 acquires an image of the compass 12 and transmits the image to the orientation detection unit 26.

방위 검출부(26)는, 특징점 추출부(28), 방위 연산부(30) 및 출력부(32)를 구비한다. The orientation detection unit 26 includes a feature point extraction unit 28, an orientation calculation unit 30, and an output unit 32.

특징점 추출부(28)는 1) 영상 취득부(24)에서 취득된 나침반(12)의 영상에서 패널(14)에 표시된 식별표지 또는 각도표지와 자침(16)의 위치를 추출하거나, 2) 영상 취득부(24)에서 취득된 나침반(12)의 영상에서 기준점(18), 중심점(20), 지시점(22)의 위치를 추출한다. 빠른 연산을 위해서는 2)의 방식을 취하는 것이 바람직하다. The feature point extractor 28 1) extracts the position of the identification mark or angle mark and the magnetic needle 16 displayed on the panel 14 from the image of the compass 12 acquired by the image acquisition unit 24, or 2) the image. The positions of the reference point 18, the center point 20, and the indication point 22 are extracted from the image of the compass 12 acquired by the acquisition unit 24. It is preferable to take the method of 2) for fast operation.

특징점 추출부(28)에서 나침반(12)의 특징점을 추출하면 방위 연산부(30)는 이를 바탕으로 나침반(12)의 자침(16)이 지시하는 방위를 산출한다. 상기 2)의 방식에 따라 기준점(18), 중심점(20), 지시점(22)을 추출한 경우 나침반(12)의 방위는 도 2를 참조한 방식으로 연산될 수 있다. When the feature point extractor 28 extracts the feature point of the compass 12, the orientation calculator 30 calculates an orientation indicated by the magnetic needle 16 of the compass 12 based on the feature point extractor 28. When the reference point 18, the center point 20, and the indication point 22 are extracted according to the method of 2), the orientation of the compass 12 may be calculated in the manner described with reference to FIG. 2.

도 2에서, 기준점(18)과 지시점(22)의 거리, 지시점(22)과 중심점(20)의 거리, 중심점(20)과 기준점(18)의 거리를 각각 a, b, c라 할 때, 나침반(12)의 자침(16)이 기준점(18)과 중심점(20)을 연결한 선분에 대하여 이루는 각도(θ)는 다음의 수학식 1에 의해 결정된다. In FIG. 2, the distance between the reference point 18 and the reference point 22, the distance between the reference point 22 and the center point 20, and the distance between the center point 20 and the reference point 18 may be referred to as a, b, and c, respectively. At this time, the angle θ formed by the needle 16 of the compass 12 with respect to the line segment connecting the reference point 18 and the center point 20 is determined by the following equation (1).

Figure 112008045285512-pat00001
Figure 112008045285512-pat00001

방위 검출부(26)의 출력부(32)는 방위 연산부(30)에서 연산된 방위 정보를 외부로 전송하는 기능을 수행하는데, 시각 또는 청각 디스플레이 장치를 이용하여 출력하거나, 방위 정보를 이용하는 다른 장치(예를 들자면, 로봇의 제어 장치와 같은)로 전송하는 기능을 수행한다. The output unit 32 of the azimuth detection unit 26 performs a function of transmitting the azimuth information calculated by the azimuth calculating unit 30 to an external device, and outputs it using a visual or auditory display device or another device using azimuth information ( For example, such as a control device of the robot).

그런데, 본 발명에 따른 방위 센서는 아날로그 나침반(12)을 이용하므로 경사가 없는 경우 또는 적은 경우에는 문제가 없으나 경사진 상태에 아날로그 나침반(12)이 위치하는 경우에는 문제가 발생할 수 있다. 이러한 문제점을 해결하기 위한 조치로서 나침반(12)을 수평으로 유지시키기 위한 장치 구성에 대하여 설명하다. However, since the orientation sensor according to the present invention uses the analog compass 12, there is no problem when there is no inclination or when there is little inclination, but a problem may occur when the analog compass 12 is positioned in an inclined state. As a measure to solve such a problem, a device configuration for keeping the compass 12 horizontal will be described.

도 3은 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서에 있어서, 나침반을 수평으로 유지하기 위한 수평 유지 장치를 도시한다. 3 is a view illustrating a horizontal holding device for horizontally holding a compass in an image processing based orientation sensor according to a preferred embodiment of the present invention.

도 3에 따른 수평 유지 장치(50)는 짐벌(40, 44)과 무게추(36)를 포함하는데 이를 구체적으로 설명하면 다음과 같다. The leveling device 50 according to FIG. 3 includes gimbals 40 and 44 and weights 36, which will be described in detail below.

나침반(12)의 양 측부에는 한 쌍의 제 1 회동축(38a, 38b)가 구비되고, 제 1 회동축(38a, 38b)은 제 1 짐벌(40)에 회동 가능하도록 연결된다. 제 1 짐벌(40)의 상하에는 한 쌍의 제 2 회동축(42a, 42b)가 구비되고, 제 2 회동축(42a, 42b)는 제 2 짐벌(44)에 회동 가능하도록 연결된다. 제 2 짐벌(44)의 양 측부에는 한 쌍의 고정축(46a, 46b)가 구비되어 제 2 짐벌(44)을 고정한다. 나침반이 보호 케이스(34) 내에 구비되는 경우, 상기 고정축(46a, 46b)은 보호 케이스(34)의 내측 벽에 고정될 수 있다. A pair of first pivotal shafts 38a and 38b are provided at both sides of the compass 12, and the first pivotal shafts 38a and 38b are pivotally connected to the first gimbal 40. A pair of second pivot shafts 42a and 42b are provided above and below the first gimbal 40, and the second pivot shafts 42a and 42b are rotatably connected to the second gimbal 44. A pair of fixed shafts 46a and 46b are provided at both sides of the second gimbal 44 to fix the second gimbal 44. When the compass is provided in the protective case 34, the fixed shafts 46a and 46b may be fixed to the inner wall of the protective case 34.

한편, 나침반(12)의 하부 중앙에는 무게추(36)가 구비된다. 무게추(36)의 하중에 의해 나침반(12)이 경사진 곳에 위치하는 경우라도 수평 상태를 유지하게 된다. Meanwhile, the weight 36 is provided at the lower center of the compass 12. Even when the compass 12 is positioned at an inclined position due to the weight of the weight 36, the horizontal state is maintained.

도 3에서는 제 1 짐벌(40)의 내부에 나침반(12)을 회동 가능하도록 구비하는 것을 설명하였으나, 보호 케이스(34) 자체를 제 1 짐벌(40) 내부에 위치시켜 보호 케이스(34) 자체가 수평을 유지하도록 하는 것도 가능하다. In FIG. 3, although the compass 12 is rotatably provided inside the first gimbal 40, the protective case 34 itself is positioned inside the first gimbal 40. It is also possible to keep level.

도 3에 있어서 제 1 짐벌과 제 2 짐벌에 의해 보호 케이스(34) 자체의 수평이 유지되도록 하는 구성을 도시하였으나, 나침반(12)만이 제 1 짐벌과 제 2 짐벌에 의해 수평으로 지지되고 영상 취득부(24)는 나침반(12)의 상부에 별도로 위치하도록 하는 것도 가능하다. In FIG. 3, the configuration in which the protective case 34 itself is maintained by the first gimbal and the second gimbal is shown. However, only the compass 12 is horizontally supported by the first gimbal and the second gimbal and the image is acquired. The part 24 may be positioned separately on the top of the compass 12.

도 4는 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서에 있어서, 또 다른 방식의 수평 유지 장치를 도시한다. 4 is a view illustrating another method of maintaining a horizontal level in an image processing based orientation sensor according to an exemplary embodiment of the present invention.

도 4에 따른 또 다른 구성에 있어서 나침반(12)을 수평으로 유지하기 위한 수평 유지 장치(50′)는, 나침반(12) 또는 보호 케이스(34)가 장착되는 수평 유지 프레임(52)과, 상기 수평 유지 프레임(52)에 장착된 나침반(12) 또는 보호 케이스(34)가 수평을 유지하도록 구동하는 제 1 구동모터(58) 및 제 2 구동모터(60)와, 제 1 구동모터(58)와 제 2 구동모터(60)의 구동을 제어하는 자세 제어부(62)와, 경사를 검출하기 위한 3축 가속도 센서(64)를 포함한다. In another configuration according to FIG. 4, the leveling device 50 ′ for holding the compass 12 horizontally includes a leveling frame 52 on which the compass 12 or the protective case 34 is mounted, and The first drive motor 58 and the second drive motor 60 and the first drive motor 58 to drive the compass 12 or the protective case 34 mounted on the leveling frame 52 to maintain the level. And a posture controller 62 for controlling the driving of the second drive motor 60, and a three-axis acceleration sensor 64 for detecting the inclination.

수평 유지 프레임(52)은 'ㄷ'자 형의 제 1 프레임(54)과, 상기 제 1 프레임(54)을 가로질러 구비되는 제 2 프레임(56)을 포함한다. 제 2 프레임(56)에는 나침반(12) 또는 보호 케이스(34)가 가로 방향 축을 중심으로 회전할 수 있도록 설치되고, 제 1 구동모터(58)가 나침반(12) 또는 보호 케이스(34)를 회전시키도록 장착된다. The horizontal frame 52 includes a 'c' shaped first frame 54 and a second frame 56 provided across the first frame 54. The second frame 56 is installed so that the compass 12 or the protective case 34 can rotate about the horizontal axis, and the first drive motor 58 rotates the compass 12 or the protective case 34. It is equipped to make.

한편, 제 1 프레임(54)의 중앙에는 제 2 구동모터(60)의 구동축이 결합되는데, 제 1 구동모터(56)와 제 2 구동모터(60)의 구동축은 서로 직각을 이룬다. On the other hand, the drive shaft of the second drive motor 60 is coupled to the center of the first frame 54, the drive shaft of the first drive motor 56 and the second drive motor 60 is perpendicular to each other.

이러한 구성에 의하여, 3축 가속도 센서(64)가 본 발명에 따른 방위 센서(10)가 장착된 장비의 경사를 검출하면, 자세 제어부(62)는 제 1 구동모터(58)와 제 2 구동모터(60)의 구동을 제어하여 나침반(12) 또는 보호 케이스(34)가 항상 수평을 유지하도록 한다. By this configuration, when the three-axis acceleration sensor 64 detects the inclination of the equipment equipped with the orientation sensor 10 according to the present invention, the attitude control unit 62 is the first drive motor 58 and the second drive motor. The driving of the 60 is controlled so that the compass 12 or the protective case 34 is always horizontal.

다만, 2개의 구동 모터를 이용하여 나침반(12) 등의 수평을 유지하기 위한 기구적 구성은 도 4에 도시된 구성 이외에도 다양한 형태가 있을 수 있음은 물론이며, 본 발명의 구성이 도 4에 한정되는 것은 아니다. However, the mechanical configuration for maintaining the level of the compass 12 and the like by using two drive motors may have a variety of forms in addition to the configuration shown in Figure 4, the configuration of the present invention is limited to Figure 4 It doesn't happen.

도 5는 본 발명의 바람직한 다른 실시예에 따른 영상 처리 기반 방위 센서의 구성을 도시한 도면이고, 도 6은 본 발명의 바람직한 다른 실시예에 따른 영상 처리 기반 방위 센서에 구비되는 구형 나침반의 상부 평면도이며, 도 7은 구형 나침반의 영상을 취득하여 방위를 산출하는 방법을 도시한 도면이다. 5 is a diagram illustrating a configuration of an image processing based orientation sensor according to another exemplary embodiment of the present invention, and FIG. 6 is a top plan view of a spherical compass provided in an image processing based orientation sensor according to another exemplary embodiment of the present invention. 7 is a diagram illustrating a method of calculating an orientation by acquiring an image of a spherical compass.

도 5를 참조하면, 본 발명의 다른 실시예에 따른 영상 처리 기반 방위 센서(10′)는 구형 나침반(Spherical Compass, 70)을 포함한다. 구형 나침반(70)은 투명한 구형의 외부 케이스(72) 내부에 자석이 내장되거나 자화된 구형 또는 반구형의 작동체(74)가 구비된다. 경우에 따라서는 작동체(74)의 원활한 작동을 위하여 외부 케이스(72)의 내부에는 작동 유체가 구비된다. 외부 케이스(72)의 상부 중앙에는 고정 기준점(76)이 구비되고, 작동체(74)의 상부에는 특정 방위에 대한 특정 지시점(77)과 그렇지 않은 적어도 2개의 일반 지시점(78a, 78b, 78c)이 구비된다. 특정 지시점(77)은 동, 서, 남, 북과 같은 특정 방위에 위치하도록 하는데, 바람직하게는 특정 지시점(77) 1개와 3개의 일반 지시점(78a, 78b, 78c)이 정사각형의 각 꼭지점에 위치하도록 하고, 상기 구형 나침반(70)이 수평으로 놓여진 상태에서 상기 특정 지시점(77)과 일반 지시점(78a, 78b, 78c)의 중앙은 고정 기준점(76)과 일치하도록 한다. Referring to FIG. 5, an image processing based orientation sensor 10 ′ according to another embodiment of the present invention includes a spherical compass 70. The spherical compass 70 is provided with a spherical or hemispherical actuator 74 in which a magnet is built or magnetized inside the transparent spherical outer case 72. In some cases, a working fluid is provided inside the outer case 72 to smoothly operate the actuator 74. A fixed reference point 76 is provided at the upper center of the outer case 72, and at the top of the actuator 74 a specific indication point 77 for a particular orientation and at least two general indication points 78a, 78b, 78c). Specific point 77 is located in a specific orientation, such as east, west, south, north, preferably one specific point 77 and three general point (78a, 78b, 78c) of the square It is positioned at the vertex, and the center of the specific indicator 77 and the general indicators (78a, 78b, 78c) and the fixed reference point 76 in the state that the sphere compass 70 is placed horizontally.

영상 처리를 통해 고정 기준점(76)과, 특정 지시점(77a), 그리고 일반 지시점(78a, 78b, 78c)을 식별하도록 하는 방안으로서, 이들의 색상을 다르게 하는 방안을 채용할 수 있다. 예컨대 고정 기준점(76)은 녹색으로, 특정 지시점(77a)은 청색으로, 일반 지시점(78a, 78b, 78c)을 적색으로 할 수 있다. As a method of identifying the fixed reference point 76, the specific indication point 77a, and the general indication points 78a, 78b, and 78c through image processing, a method of changing their colors may be employed. For example, the fixed reference point 76 may be green, the specific point 77a may be blue, and the general point 78a, 78b, 78c may be red.

도 7의 (a)를 참조하면, 구형 나침반(70)의 작동체(74)가 동작한 상태에서 구형 나침반(70)의 상부에 위치하는 영상 취득부(24)가 획득한 영상의 일례가 도시된다. Referring to FIG. 7A, an example of an image acquired by the image acquisition unit 24 positioned on the upper portion of the spherical compass 70 while the actuator 74 of the spherical compass 70 is operated is illustrated. do.

특정 지시점(77)과 일반 지시점(78a, 78b, 78c)의 관계를 이용하면 특정 지시점(77)이 지시하는 방위를 검출할 수 있다. 예컨대, 도 7의 (a)와 같이 특정 지시점(77)과 일반 지시점(78a, 78b, 78c)이 정사각형의 꼭지점에 위치하도록 배치된 경우에 있어서, 꼭지점을 연결한 대각선의 방향으로부터 특정 지시점(77)이 지시하는 방위(예컨대 정남 방위)를 파악할 수 있다. 더불어, 구형 나침반(70)의 외부 케이스(72)에 기준선이 표시되거나, 또는 영상 취득부(24)와 구형 나침반(70)의 설치 관계로부터 영상 취득부(24)에서 취득하는 영상의 기준 좌표계를 파악한다면, 실제 방위를 산출하는 것도 가능하다. 또한, 구형 나침반(70)의 작동체의 기울임 정도를 파악하여 구형 나침반(70)을 포함한 방위 센서의 경사도를 산출하는 것도 가능하다. By using the relationship between the specific indication point 77 and the general indication points 78a, 78b, and 78c, the orientation indicated by the specific indication point 77 can be detected. For example, in the case where the specific indicator 77 and the general indicators 78a, 78b, and 78c are arranged at the vertices of the square, as shown in FIG. The bearing indicated by the viewpoint 77 can be grasped (eg, true south bearing). In addition, a reference line is displayed on the outer case 72 of the spherical compass 70 or the reference coordinate system of the image acquired by the image acquiring unit 24 from the installation relationship between the image acquiring unit 24 and the spherical compass 70. If known, it is also possible to calculate the actual orientation. In addition, it is also possible to calculate the inclination of the orientation sensor including the spherical compass 70 by grasping the degree of inclination of the actuator of the spherical compass 70.

도 7의 (a)에 있어서 특정 지시점(77)과 일반 지시점(78a, 78b, 78c)의 대각선이 만나는 지점을 중심점(80)이라고 하자. 중심점은 특징점 추출부(28)에서 추출된 특정 지시점(77)과 일반 지시점(78a, 78b, 78c)의 위치로부터 방위 연산부(30)가 추정할 수 있다. In FIG. 7A, the point where the diagonal lines of the specific point 77 and the general point 78a, 78b, 78c meet is referred to as the center point 80. The center point can be estimated by the azimuth calculation unit 30 from the positions of the specific point 77 and the general point 78a, 78b, 78c extracted by the feature point extractor 28.

특정 지시점(77)과 제 2 일반 지시점(78b)을 연결하는 직선(l1)과, 그 직선(l1)에 평행하고 고정 지시점(76)을 통과하는 직선과의 거리를 A라 하고, 제 1 일반 지시점(78a)과 제 3 일반 지시점(78c)을 연결하는 직선(l2)과 그 직선(l2)에 평행하고 고정 지시점(76)을 통과하는 직선과의 거리를 B라 하자. 그러면 작동체의 횡방향 기울임과 종방향 기울임을 산출하기 위한 참고도인 도 7의 (b)와 (c)에서와 같은 관계를 통해 횡방향 경사각(α)과 종방향 경사각(β)를 산출할 수 있다. 작동체의 반지름을 r이라 할 때, 횡방향 경사각(α)과 종방향 경사각(β)는 수학식 2와 3에 의해 산출된다. A is the distance between the straight line l 1 connecting the specific point 77 and the second general point 78b and the straight line parallel to the straight line l 1 and passing through the fixed point 76. And a distance between a straight line l 2 connecting the first general pointing point 78a and the third general pointing point 78c and a straight line parallel to the straight line l 2 and passing through the fixed pointing point 76. Let B be. The transverse tilt angle α and the longitudinal tilt angle β are then calculated through the relationship as shown in FIGS. 7B and 7C, which are reference diagrams for calculating the transverse tilt and longitudinal tilt of the actuator. Can be. When the radius of the actuator is r, the lateral inclination angle α and the longitudinal inclination angle β are calculated by equations (2) and (3).

Figure 112008045285512-pat00002
Figure 112008045285512-pat00002

Figure 112008045285512-pat00003
Figure 112008045285512-pat00003

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서의 구성을 도시한 도면, 1 is a diagram showing the configuration of an image processing-based orientation sensor according to a preferred embodiment of the present invention;

도 2는 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서에 있어서 자침이 지시하는 방향을 산출하는 예를 도시한 도면,2 is a diagram illustrating an example of calculating a direction indicated by a magnetic needle in an image processing-based orientation sensor according to an exemplary embodiment of the present invention;

도 3은 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서에 있어서, 나침반을 수평으로 유지하기 위한 수평 유지 장치를 도시한 도면,3 is a diagram illustrating a horizontal holding device for horizontally holding a compass in an image processing based orientation sensor according to an exemplary embodiment of the present invention;

도 4는 본 발명의 바람직한 실시예에 따른 영상 처리 기반 방위 센서에 있어서, 또 다른 방식의 수평 유지 장치를 도시한 도면, FIG. 4 is a view showing another leveling device in an image processing based orientation sensor according to an exemplary embodiment of the present invention. FIG.

도 5는 본 발명의 바람직한 다른 실시예에 따른 영상 처리 기반 방위 센서의 구성을 도시한 도면, 5 is a diagram illustrating a configuration of an image processing based orientation sensor according to another exemplary embodiment of the present invention;

도 6은 본 발명의 바람직한 다른 실시예에 따른 영상 처리 기반 방위 센서에 구비되는 구형 나침반의 상부 평면도, 6 is a top plan view of a spherical compass provided in an image processing based orientation sensor according to another exemplary embodiment of the present invention;

도 7은 구형 나침반의 영상을 취득하여 방위를 산출하는 방법을 도시한 도면이다. 7 is a diagram illustrating a method of calculating an orientation by acquiring an image of a spherical compass.

<도면의 주요 부분에 대한 도면부호의 설명><Description of reference numerals for the main parts of the drawings>

10 : 영상 처리 기반 방위 센서 12 : 나침반10: image processing based orientation sensor 12: compass

14 : 패널 16 : 자침14 panel 16: needle

24 : 영상 취득부 26 : 방위 검출부24: image acquisition unit 26: orientation detection unit

28 : 특징점 추출부 30 : 방위 연산부28: feature point extraction unit 30: orientation calculation unit

32 : 출력부 50, 50′: 수평 유지 장치32: output unit 50, 50 ': leveling device

70 : 구형 나침반70: Spherical Compass

Claims (12)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 아날로그 방식의 나침반;Analog compass; 상기 나침반의 상부에 구비되어 상기 나침반의 영상을 취득하는 영상 취득부;An image acquisition unit provided at an upper portion of the compass to acquire an image of the compass; 상기 영상 취득부에서 취득된 상기 나침반의 상기 영상으로부터 방위를 산출하기 위한 특징점을 추출하는 특징점 추출부; 및A feature point extracting unit for extracting feature points for calculating a bearing from the image of the compass acquired by the image obtaining unit; And 상기 특징점 추출부에서 추출된 상기 특징점으로부터 방위를 산출하는 방위 연산부An azimuth calculating unit that calculates an azimuth from the feature point extracted by the feature point extracting unit 를 포함하며,Including; 상기 나침반은, 구형의 외부 케이스와 상기 외부 케이스에 내장되는 작동체를 포함하여 형성된 구형 나침반이고, 상기 구형의 외부 케이스의 상부 중앙에는 고정 기준점이 구비되고, 상기 작동체의 상부면에는 특정 지시점과 적어도 2개의 일반 지시점이 구비되어, 상기 방위 연산부는 상기 특징점 추출부가 추출한 상기 고정 기준점, 상기 특정 지시점, 및 상기 일반 지시점의 위치로부터 상기 구형 나침반의 지시 방향 및 경사도를 산출하는 것을 특징으로 하는 영상 처리 기반 방위 센서.The compass is a spherical compass formed by including a spherical outer case and an actuator embedded in the outer case, the upper center of the spherical outer case is provided with a fixed reference point, the upper surface of the actuator is a specific indication point And at least two general indication points, wherein the azimuth calculation unit calculates a direction and inclination of the spherical compass from positions of the fixed reference point, the specific indication point, and the general indication point extracted by the feature point extraction unit. Image processing based bearing sensor. 제 11 항에 있어서, The method of claim 11, 상기 고정 기준점, 상기 특정 지시점, 및 상기 일반 지시점은 서로 다른 색상으로 구비되는 것을 특징으로 하는 영상 처리 기반 방위 센서.And the fixed reference point, the specific indication point, and the general indication point are provided in different colors.
KR1020080059689A 2008-06-24 2008-06-24 Image Processing Based Direction Sensor KR101027807B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080059689A KR101027807B1 (en) 2008-06-24 2008-06-24 Image Processing Based Direction Sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080059689A KR101027807B1 (en) 2008-06-24 2008-06-24 Image Processing Based Direction Sensor

Publications (2)

Publication Number Publication Date
KR20100000259A KR20100000259A (en) 2010-01-06
KR101027807B1 true KR101027807B1 (en) 2011-04-07

Family

ID=41810676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080059689A KR101027807B1 (en) 2008-06-24 2008-06-24 Image Processing Based Direction Sensor

Country Status (1)

Country Link
KR (1) KR101027807B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969488A (en) * 2010-09-10 2011-02-09 中兴通讯股份有限公司 Terminal and method for realizing compass function on terminal

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506616B (en) * 2018-10-11 2023-11-24 中国地质工程集团有限公司 Wireless measuring instrument for structural surface attitude

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0643895B2 (en) * 1986-02-06 1994-06-08 清水建設株式会社 Azimuth detector
KR100765633B1 (en) * 2006-07-31 2007-10-10 현대자동차주식회사 Device for providing horizontal level of gps antenna

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0643895B2 (en) * 1986-02-06 1994-06-08 清水建設株式会社 Azimuth detector
KR100765633B1 (en) * 2006-07-31 2007-10-10 현대자동차주식회사 Device for providing horizontal level of gps antenna

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969488A (en) * 2010-09-10 2011-02-09 中兴通讯股份有限公司 Terminal and method for realizing compass function on terminal

Also Published As

Publication number Publication date
KR20100000259A (en) 2010-01-06

Similar Documents

Publication Publication Date Title
US11865708B2 (en) Domestic robotic system
US8010308B1 (en) Inertial measurement system with self correction
ES2931044T3 (en) A method of calibrating an inertial measurement unit
US20190094023A1 (en) Adaptive Compass Calibration Based on Local Field Conditions
US7340344B2 (en) Spherical position monitoring system
CN103733024B (en) There is orientation based on remote control unit and the phospecting apparatus of proportional calibrating function and method
US7957931B2 (en) Positioning pattern
US10422640B2 (en) Digital magnetic compass compensation
US20200124738A1 (en) Distance measurement device and control method therefor
US20160223334A1 (en) Method and apparatus for determination of misalignment between device and vessel using acceleration/deceleration
US10054442B2 (en) Method and apparatus for handling vertical orientations of devices for constraint free portable navigation
JP4590511B2 (en) Electronic compass
US20160179974A1 (en) Calibrating a gyroscope based on visual codes
US11396352B2 (en) Methods and apparatus for measuring and monitoring an anchoring operation
ES2897374T3 (en) Calibration method of a computerized leveling deviation gauge
CN104204848A (en) Surveying apparatus having a range camera
CN105659107A (en) Optical tracking
CN112611380A (en) Attitude detection method based on multi-IMU fusion and attitude detection device thereof
KR101027807B1 (en) Image Processing Based Direction Sensor
CN216523687U (en) High-rise building shakes real-time supervision device based on vision fuses with sensor
CN112730889B (en) Novel wind direction measuring system
KR100910391B1 (en) Wind detecting sensor
CN111024030A (en) Method and device for obtaining object deflection angle
KR101541513B1 (en) Pivot angle display device for ball joint
KR102490250B1 (en) Hybrid tilt measuring apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160303

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee