KR20150005253A - Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same - Google Patents
Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same Download PDFInfo
- Publication number
- KR20150005253A KR20150005253A KR1020130078925A KR20130078925A KR20150005253A KR 20150005253 A KR20150005253 A KR 20150005253A KR 1020130078925 A KR1020130078925 A KR 1020130078925A KR 20130078925 A KR20130078925 A KR 20130078925A KR 20150005253 A KR20150005253 A KR 20150005253A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- landmark
- candidate group
- unit
- error
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
- G01C11/26—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken using computers to control the position of the pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C7/00—Tracing profiles
- G01C7/02—Tracing profiles of land surfaces
- G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
Description
본 발명은 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 관한 것이다.The present invention relates to a camera data generator for a landmark-based vision navigation system and a computer-readable medium having recorded thereon a program for executing a camera data generator.
관성항법시스템(INS: Inertial Navigation System)은 센서에서 측정한 가속도와 각속도를 적분하여 항법해를 제공하는 장치로, 짧은 시간에는 정확한 항법해를 제공하지만 시간이 지남에 따라 적분 과정에서 오차가 누적되어 항법 오차가 증가하는 특성이 있다. INS의 단점을 극복하기 위해 INS/GPS(Global Positioning System) 통합 시스템이 제안되어 있다. 그러나 GPS는 전파방해, 장애물과 같은 외부 간섭에 취약한 단점이 있다. 따라서 최근에는 비전센서, 레이저, 초음파센서, 고도계 등을 이용하여 통합 시스템의 GPS를 대체하는 연구도 활발히 이루어지고 있다.Inertial Navigation System (INS) is a device that provides a navigation solution by integrating the acceleration and angular velocity measured by the sensor. It provides precise navigation in a short time, but accumulates errors in the integration process over time There is a characteristic that the navigation error increases. In order to overcome the drawbacks of INS, INS / GPS (Global Positioning System) integrated system has been proposed. GPS, however, is vulnerable to external interference such as radio interference and obstacles. Recently, researches have been actively carried out to replace GPS of integrated system by using vision sensor, laser, ultrasonic sensor and altimeter.
비전센서를 이용하는 비전항법시스템(Vision Navigation System)은 가볍고 소모전력이 적으며 가격이 저렴한 장점 때문에 소형/무인 항공기, 차량, 이동 로봇 등에 많이 이용되고 있다. 비전항법시스템은 크게 랜드마크 기반 방식과 맵(Map) 기반 방식으로 구분한다. 랜드마크 기반 방식은 맵 기반 방식에 비해 알고리즘이 간단한 장점을 가진다. 또한, 랜드마크 기반의 비전항법시스템은 비전센서에서 촬영한 랜드마크를 이용하여 항체의 위치 및 자세를 계산하므로 장시간 항법에도 오차의 누적 없이 일정 수준의 항법성능을 보이는 장점이 있다.The Vision Navigation System, which uses vision sensors, is widely used in small / unmanned aircraft, vehicles, and mobile robots because of its lightweight, low power consumption and low cost. Vision navigation systems are largely classified into a landmark based system and a map based system. The landmark based approach has a simple advantage over the map based approach. In addition, the landmark-based vision navigation system calculates the position and posture of the antibody using the landmark photographed by the vision sensor, and thus has a merit that the navigation performance of a certain level can be obtained without accumulating errors even in long-time navigation.
최근 로봇에 대한 관심이 증가함에 따라 다양한 종류의 로봇이 제안되고 있으며, 이러한 로봇의 항법에 적용하기 위한 비전항법시스템이나 비전항법시스템을 이용한 통합항법시스템에 대한 연구가 현재 활발히 진행되고 있다.Recently, various types of robots have been proposed as the interest in robots has increased. Researches on integrated navigation systems using vision navigation systems or vision navigation systems for applying to robot navigation have been actively conducted.
로봇들은 다양한 응용을 위하여 제작되고 있는데, 예를 들면, 생산라인 등의 산업현장에서 공장자동화의 일환으로 사용되는 무인운반차 등과 같은 이동체를 조종하기 위해서는 지도 작성(Map building) 기능, 자기위치인식(Self localization) 기능, 경로설정(Path planning) 기능 및 장애물회피(Obstacle avoidance) 기능에 관련된 4가지 기능이 갖추어져야 한다.Robots are made for various applications. For example, in order to control a moving object such as an unmanned vehicle used as a part of factory automation in an industrial field such as a production line, a map building function, Self-localization, Path planning, and Obstacle avoidance functions.
지도작성 기능은 주어진 공간, 즉 작업공간에 대한 지도를 구축하는 기능으로써, 이동체에 주어질 작업을 계획하는 데에 있어 필수적이며, 자기위치인식 기능은 주어진 명령을 수행하기 위하여 현재의 위치를 파악하는 기능을 의미한다. 또한, 경로설정기능은 처음 상태로부터 최종 목적 상태까지 진행하기 위한 계획을 세우는 기능이며, 장애물회피 기능은 예정된 작업의 수행시 예기치 못한 장애물이 발생했을 때 이를 감지하고 회피하는 기능이다.The map creation function is a function to construct a map for a given space, that is, a work space, and is essential for planning work to be given to a mobile object. The self location recognition function is a function for grasping the current position . In addition, the route setting function is a function for planning to proceed from the initial state to the final destination state, and the obstacle avoidance function is a function for detecting and avoiding an unexpected obstacle when a predetermined task is performed.
이동체를 보다 용이하게 조종하기 위해서는 이동체에 정확한 위치와 방향 정보(방위 정보 등)를 제공하여 인식하도록 하는 것이 유리하다. 이러한 정보를 이동체에 제공하기 위한 방법으로는 거리와 방향을 이용한 추측항법(Dead reckoning), 가속도계와 자이로 센서를 이용한 관성항법(Inertial navigation) 및 위성데이터를 이용한 위성 기반 위치인식(Satellite-based positioning) 방법 등이 있다.In order to control the moving object more easily, it is advantageous to provide the moving object with accurate position and direction information (azimuth information, etc.). In order to provide such information to mobile objects, methods such as Dead reckoning using distance and direction, Inertial navigation using accelerometer and gyro sensor, Satellite-based positioning using satellite data, Method.
그러나 상기의 방법들은 비용 및 정확도 면에서 각각의 장단점을 내포하고 있는데, 추측항법은 이동체의 기계적 및 물리적 미끄러짐에 의한 오차를 인식하지 못하고, 관성항법은 이동체의 경로오차 누적에 의한 정확도가 떨어지는 문제가 있으며, 위성기반 위치인식방법은 위성 수신기가 있으면 거리 및 방향이 비교적 정확히 계산되지만 전파수신이 어려운 실내에서 사용시 제 역할을 수행하지 못하는 단점이 있다.However, the above methods have advantages and disadvantages in terms of cost and accuracy. The estimation navigation does not recognize the error due to the mechanical and physical slip of the moving object, and the inertial navigation method has a problem that the accuracy due to accumulation of the path error of the moving object is low And the satellite-based position recognition method has a disadvantage in that it can not perform its role in use in a room where reception of radio waves is difficult although the distance and direction are relatively accurately calculated with a satellite receiver.
따라서 상기와 같은 문제점을 극복하기 위하여 비전항법시스템의 작업환경 내의 이미 알고 있는 위치에 배치된 랜드마크를 사용하여 이동체에 위치 및 방향 정보를 제공하거나 이동체가 자기위치를 신뢰성 있게 인식할 수 있도록 하는 방법이 대두되고 있다.Therefore, in order to overcome the above-mentioned problems, there is a method of providing location and direction information to a moving object using a landmark disposed at a known position in a working environment of a vision navigation system or allowing a moving object to reliably recognize its own position Is emerging.
그러나, 종래에는 비전항법 혹은 통합항법 알고리즘 개발을 위하여 실측 카메라 데이터를 직접 사용함으로써, 알고리즘 개발에 시간이 많이 소요되었다. 또한 항체의 동적 운동이나, 카메라 설치정보, 다양한 카메라 사양을 적용하지 못해 항법 알고리즘 개발 및 검증에 제한이 있을 수 있을 뿐만 아니라 실제 카메라와 다른 좌표계에서의 데이터를 제공하여 개발한 항법 알고리즘을 항법 시스템에 바로적용하지 못하는 단점이 있었다.However, in the past, it took a lot of time to develop the algorithm by directly using the actual camera data for the development of the non-navigation method or the integrated navigation algorithm. In addition, there are limitations on the development and verification of navigation algorithms due to the inability to apply the dynamic motion of the antibody, camera installation information, various camera specifications, and navigation algorithms developed by providing data in a coordinate system different from that of the actual camera. It has a drawback that it can not be applied immediately.
본 발명의 목적은 비전항법 알고리즘 혹은 통합항법 알고리즘 개발시, 종래의 비효율적인 카메라 데이터 사용을 개선하기 위한 것으로, 항체의 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양을 이용하여 랜드마크에 대한 카메라 데이터를 생성함으로써 효과적으로 항법 알고리즘을 개발할 수 있도록 하는 카메라 데이터 생성기와 이러한 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체를 제공하는 것이다.An object of the present invention is to improve the conventional ineffective use of camera data when developing a non-navigation algorithm or an integrated navigation algorithm. It is an object of the present invention to provide a camera for a landmark by using a locus of an antibody, The present invention provides a camera data generator for generating a navigation algorithm effectively by generating data, and a computer-readable medium recording a program for executing the camera data generator.
본 발명의 다른 목적은, 랜드마크에 대한 카메라 데이터 생성하여 랜드마크의 지도 작성 알고리즘을 효과적으로 개발하면서 실시간으로 카메라 데이터를 자체 검증할 수 있는 카메라 데이터 생성기와 이러한 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체를 제공하는 것이다.Another object of the present invention is to provide a camera data generator capable of realizing camera data in real time while effectively developing a landmark mapping algorithm by generating camera data for a landmark and a program for executing the camera data generator To provide a computer readable medium.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 의한 카메라 데이터 생성기는, 랜드마크 기반 비전항법 시스템을 위한 카메라 데이터 생성기로서, 항체(Vehicle)의 궤적과 카메라의 설치정보와 기 입력된 랜드마크 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산하는 상대위치 산출부; 랜드마크의 상대위치를 토대로 일정 거리 내의 랜드마크를 1차 후보군으로 추출하는 제1 추출부; 카메라의 화각 특성에 따라 1차 후보군에서 2차 후보군을 추출하는 제2 추출부; 2차 후보군의 랜드마크를 카메라의 초점면에 투영하는 투영부; 및 랜드마크의 투영점을 카메라의 픽셀좌표로 변환하고 랜드마크의 픽셀좌표를 포함한 카메라 데이터를 출력하는 변환부;를 포함한다.According to an aspect of the present invention, there is provided a camera data generator for a landmark-based navigation system, the camera data generator including a track of an object vehicle, installation information of a camera, A relative position calculation unit for calculating a relative position of the landmark with respect to the camera based on the relative position; A first extracting unit for extracting a landmark within a certain distance as a first order candidate based on a relative position of the landmark; A second extraction unit for extracting a second candidate group from the first candidate group according to the angle of view characteristics of the camera; A projection unit for projecting the landmark of the second candidate group onto the focal plane of the camera; And a conversion unit for converting the projection point of the landmark into pixel coordinates of the camera and outputting camera data including pixel coordinates of the landmark.
일 실시예에서, 카메라 데이터 생성기는, 상대위치 산출부의 입력측에 연결되며, 항체 궤적과 카메라 설치정보를 이용하여 카메라의 위치 및 자세를 계산하고, 카메라의 위치 및 자세 정보를 출력하는 카메라 위치자세 산출부를 더 포함한다.In one embodiment, the camera data generator is connected to the input side of the relative position calculation unit, calculates the position and attitude of the camera using the antibody locus and the camera installation information, and calculates the camera position and attitude calculation .
일 실시예에서, 제1 추출부는, 카메라의 특성과 랜드마크의 위치에 따라 설정되는 일정 거리를 토대로 1차 후보군을 추출한다.In one embodiment, the first extracting unit extracts a first-order candidate group based on a certain distance set according to the characteristics of the camera and the position of the landmark.
일 실시예에서, 카메라 데이터 생성기는, 제1 추출부, 제2 추출부, 투영부 및 변환부에 카메라 특성 정보를 제공하는 카메라 모델 설정부를 더 포함한다.In one embodiment, the camera data generator further includes a camera model setting unit for providing camera characteristic information to the first extracting unit, the second extracting unit, the projecting unit, and the converting unit.
일 실시예에서, 카메라 데이터 생성기는, 투영부 및 변환부에 카메라 오차 정보를 제공하는 카메라 오차 모델 설정부를 더 포함한다.In one embodiment, the camera data generator further includes a camera error model setting unit for providing camera error information to the projection unit and the conversion unit.
일 실시예에서, 투영부는 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 토대로 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.In one embodiment, the projection unit projects the landmark of the second candidate group onto the focal plane of the camera based on the lens distortion parameter, the focal length error, and the noise characteristic of the camera.
일 실시예에서, 투영부는 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.In one embodiment, the projection unit projects the landmark of the second-order candidate group onto the focal plane of the camera according to the first setting reflecting the lens distortion parameter, the focal length error and the noise characteristic of the camera, The second landmark of the second candidate group is projected onto the focal plane of the camera in accordance with the second setting which does not reflect the error and noise characteristic of the second candidate group.
일 실시예에서, 변환부는 제1 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 제2 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성하여 출력한다.In one embodiment, the converting unit sets the first pixel coordinates of the projection point of the landmark of the second-order candidate group according to the first setting and the second pixel coordinates of the projection point of the landmark of the second- And outputs it.
일 실시예에서, 카메라 데이터 생성기는, 제1 픽셀좌표와 제2 픽셀좌표와의 비교를 토대로 현재 궤적에서 2차 후보군의 랜드마크의 카메라 데이터를 검증하는 검증부를 더 포함한다.In one embodiment, the camera data generator further includes a verifying unit for verifying camera data of the landmark of the second candidate group in the current locus based on a comparison of the first pixel coordinate and the second pixel coordinate.
일 실시예에서, 변환부는, 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환한다.In one embodiment, the conversion unit converts the projection point of the landmark of the second-order candidate group into the pixel coordinates by reflecting the camera bias error, conversion coefficient error, and noise characteristic.
본 발명의 다른 일 측면에 의하면, 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체로서, 항체에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신하는 제1 단계와, 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 산출하는 제2 단계와, 항체의 현재 궤적에서 카메라의 측정 범위 내에 위치하는 랜드마크를 1차 후보군으로 추출하는 제3 단계와, 카메라의 화각 특성에 따라 1차 후보군에서 2차 후보군을 추출하는 제4 단계와, 2차 후보군의 랜드마크를 카메라의 초점면에 투영하는 제5 단계와, 랜드마크의 투영점을 카메라의 픽셀좌표로 변환하는 제6 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체가 제공된다.According to another aspect of the present invention, there is provided a computer-readable medium having recorded thereon a program for executing a camera data generator, comprising: a first step of receiving installation information and landmark information of a camera mounted on an antibody; A second step of calculating a relative position of a landmark to the camera on the basis of the attitude information and the landmark position information, a third step of extracting, from the current trajectory of the antibody, the landmark located within the measurement range of the camera, A fourth step of extracting a second candidate group from the first candidate group according to the angle of view angle characteristic of the camera, a fifth step of projecting the landmark of the second candidate group onto the focal plane of the camera, There is provided a computer-readable medium having recorded thereon a program for causing a computer to execute a sixth step of converting an image to pixel coordinates.
일 실시예에서, 상기의 매체에는, 카메라의 설치정보를 토대로 카메라의 위치 및 자세 정보를 산출하는 단계를 더 실행시키기 위한 프로그램이 기록된다.In one embodiment, a program for further executing the step of calculating the position and attitude information of the camera based on the camera installation information is recorded in the medium.
일 실시예에서, 제3 단계는, 카메라의 위치 및 자세와 랜드마크의 위치에 따라 설정되는 일정 거리를 토대로 1차 후보군을 추출한다.In one embodiment, the third step extracts the first candidate group based on the position and orientation of the camera and a certain distance set according to the position of the landmark.
일 실시예에서, 제3 단계 내지 제6 단계는 카메라 모델 설정부로부터의 카메라 특성 정보를 토대로 수행된다.In one embodiment, the third to sixth steps are performed based on the camera characteristic information from the camera model setting unit.
일 실시예에서, 제5 단계 및 제6 단계는 카메라 오차 모델 설정부로부터의 카메라 오차 정보를 토대로 수행된다.In one embodiment, the fifth and sixth steps are performed based on the camera error information from the camera error model setting unit.
일 실시예에서, 제5 단계는, 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.In one embodiment, the fifth step projects the landmark of the second candidate group onto the focal plane of the camera, reflecting the lens distortion parameter, the focal length error, and the noise characteristic of the camera.
일 실시예에서, 제5 단계는, 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.In one embodiment, the fifth step is to project the landmark of the second-order candidate group onto the focal plane of the camera according to the first setting reflecting the lens distortion parameter, the focal length error and the noise characteristic of the camera, , The second landmark of the second candidate group is projected onto the focal plane of the camera according to the second setting which does not reflect the error of the focal length and the noise characteristic.
일 실시예에서, 제6 단계는, 제1 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 제2 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성한다.In one embodiment, the sixth step includes a first pixel coordinate of the landmark of the second candidate group according to the first setting and a second pixel coordinate of the second pixel of the landmark of the second candidate group according to the second setting, Respectively.
일 실시예에서, 상기의 매체에는 제1 픽셀좌표와 제2 픽셀좌표와의 비교를 토대로 현재 궤적에서 랜드마크의 카메라 데이터를 검증하는 단계를 더 실행시키기 위한 프로그램이 기록된다.In one embodiment, the medium is programmed to further perform the step of verifying the camera data of the landmark in the current trajectory based on a comparison of the first pixel coordinate and the second pixel coordinate.
일 실시예에서, 제6 단계는, 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환한다.In one embodiment, the sixth step converts the projected points of the landmarks of the second-order candidate group into pixel coordinates by reflecting the camera bias error, conversion coefficient error, and noise characteristic.
본 발명에 의하면, 항체의 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양에 따라 효율적으로 카메라 데이터를 생성하며, 임의로 카메라 사양을 정할 수 있어 항법대상, 항법 알고리즘 목적에 따라 효율적으로 비전항법, 통합항법 알고리즘을 개발할 수 있도록 하는 효과가 있다.According to the present invention, camera data can be efficiently generated according to the locus of the antibody, the landmark position, the camera installation position, and the camera specifications, and the camera specifications can be arbitrarily determined. Thus, It is possible to develop a navigation algorithm.
또한, 카메라 데이터 생성기는 랜드마크에 대한 카메라 데이터를 원시 데이터 형태인 픽셀좌표로 제공하므로 측정모델에 따라 다양한 형태의 통합항법 알고리즘을 개발할 수 있도록 하는 효과가 있다.In addition, since the camera data generator provides the camera data for the landmark in pixel coordinates, which is a raw data form, it is possible to develop various types of integrated navigation algorithms according to the measurement model.
아울러, 본 발명의 실시예에 따른 카메라 데이터 생성기는 랜드마크의 지도 작성 알고리즘을 개발하는데 유용하게 이용될 수 있다. 특히, 개발한 항법 알고리즘이나 그 카메라 데이터를 자체 검증함으로써 항법 알고리즘이나 장치의 신뢰성을 높이는 효과가 있다.In addition, the camera data generator according to the embodiment of the present invention can be used to develop a landmark mapping algorithm. In particular, it has the effect of enhancing the reliability of the navigation algorithm or device by self-verifying the developed navigation algorithm or its camera data.
도 1a는 본 발명의 카메라 데이터 생성기를 적용할 수 있는 비전항법시스템의 개략도.
도 1b는 본 발명의 카메라 데이터 생성기를 설명하기 위한 항법 알고리즘 개발 과정에 대한 개략적인 블록도.
도 2는 본 발명의 일 실시예에 따른 카메라 데이터 생성기의 블록도.
도 3은 본 발명의 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 4는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 5는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 6은 본 발명의 일 실시예에 따른 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘을 설명하기 위한 순서도.
도 7은 본 발명의 일 실시예에 따른 카메라 핀홀 모델 및 랜드마크의 초점면 투영 과정을 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 카메라 초점면에 투영된 랜드마크의 투영점을 픽셀좌표로 변환하는 과정을 설명하기 위한 도면.
도 9는 카메라 오차 모델의 광학계 오차의 일례를 설명하기 위한 도면.
도 10은 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 11은 도 10의 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘을 설명하기 위한 순서도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1A is a schematic diagram of a vision navigation system to which a camera data generator of the present invention may be applied; FIG.
1B is a schematic block diagram of a navigation algorithm development process for explaining a camera data generator of the present invention.
2 is a block diagram of a camera data generator in accordance with an embodiment of the present invention.
3 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
4 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention;
5 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
FIG. 6 is a flowchart illustrating a main algorithm of a program for executing a camera data generator according to an embodiment of the present invention; FIG.
7 is a view illustrating a camera pinhole model and a focal plane projection process of a landmark according to an embodiment of the present invention.
8 is a diagram for explaining a process of converting a projection point of a landmark projected onto a camera focal plane into pixel coordinates according to an embodiment of the present invention.
9 is a view for explaining an example of an optical system error of a camera error model;
10 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
FIG. 11 is a flowchart for explaining a main algorithm of a program for executing the camera data generator of FIG. 10; FIG.
이하에서는 첨부한 도면을 참조하여 바람직한 실시 형태들에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 아울러, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail to avoid unnecessarily obscuring the subject matter of the present invention. In addition, the size of each component in the drawings may be exaggerated for the sake of explanation and does not mean a size actually applied.
도 1a는 본 발명의 카메라 데이터 생성기를 적용할 수 있는 비전항법시스템의 개략도이고, 도 1b는 본 발명의 카메라 데이터 생성기를 설명하기 위한 항법 알고리즘 개발 과정에 대한 개략적인 블록도이다.FIG. 1A is a schematic diagram of a vision navigation system to which the camera data generator of the present invention can be applied, and FIG. 1B is a schematic block diagram of a navigation algorithm development process for explaining the camera data generator of the present invention.
도 1a 및 도 1b를 참조하면, 본 실시예에 따른 카메라 데이터 생성기(20)는 카메라 설치정보(10), 데이터베이스(30), 항체 궤적 생성기(40) 및 비전항법 알고리즘 개발기(50)에 연결된다. 카메라 데이터 생성기(20)는 카메라 설치정보(10)와 데이터베이스(30)에서 입력되는 카메라 정보 및 랜드마크 정보를 이용하여 비전항법 혹은 통합항법 알고리즘을 개발할 수 있는 카메라 데이터를 생성하고, 생성된 카메라 데이터를 비전항법/통합항법 알고리즘 개발기(50)에 제공한다.1A and 1B, a
카메라 설치정보(10)는 카메라 데이터 생성기(20)가 항체에 대한 카메라의 위치 및 자세를 계산하도록 한다.The
카메라 데이터 생성기(20)는 항체의 궤적, 랜드마크 DB(Database), 카메라 설치정보(10), 카메라 사양을 이용하여 카메라 데이터를 생성한다. 항체(Vehicle)는 소형/무인 항공기, 차량, 이동 로봇 등을 포함한다.The
또한, 카메라 데이터 생성기(20)에서는 항법 대상, 항법 알고리즘 개발 목적 등에 따라 카메라 특성 및 사양을 설정할 수 있다. 즉, 카메라 데이터 생성기(20)는 카메라 모델 파라미터를 설정할 수 있다. 카메라 모델 파라미터는 특성 파라미터와 오차 파라미터로 구성된다.In the
특성 파라미터는 수평/수직 화각, 수평/수직 픽셀 크기, 수평/수직 픽셀 수, 및 초점거리로 이루어진 그룹에서 선택되는 적어도 어느 하나로 이루어진다. 그리고 오차 파라미터는 왜곡, 초점거리 오차, 수평/수직 환산계수 오차, 초점거리 오차, 수평/수직 바이어스 오차, 수평/수직 광학계 가우시안 잡음, 및 수평/수직 초점면 가우시안 잡음으로 이루어진 그룹에서 선택되는 하나 또는 둘 이상으로 이루어진다. 일 실시예에서, 카메라 파라미터는 다음의 표 1과 같은 사양을 가질 수 있다.The characteristic parameter is at least one selected from the group consisting of horizontal / vertical angle of view, horizontal / vertical pixel size, horizontal / vertical pixel number, and focal distance. The error parameters are selected from the group consisting of distortion, focal length error, horizontal / vertical conversion coefficient error, focal length error, horizontal / vertical bias error, horizontal / vertical optical system Gaussian noise, and horizontal / vertical focal plane Gaussian noise. Two or more. In one embodiment, the camera parameters may have the specifications as in Table 1 below.
카메라 데이터 생성기(20)는 불필요한 연산과 에러를 줄이기 위해 항체의 궤적과 카메라 설치정보(10)로부터 랜드마크의 상대위치를 계산한 후, 상대위치에 따른 카메라 측정범위 안의 랜드마크만을 랜드마크 DB(32)로부터 추출한다. 추출한 랜드마크의 상대위치와 카메라 사양을 적용하여 랜드마크를 카메라의 초점면(비전센서 초점면)에 투영한다. 랜드마크의 투영점은 카메라 좌표계의 픽셀좌표로 변환될 수 있다. 성능 분석을 위해 카메라 데이터 생성기(20)는 참값과 오차가 반영된 값을 함께 생성할 수 있다.The
데이터베이스(30)는 카메라 DB(31)와 랜드마크 DB(32)를 구비한다. 카메라 DB(31)는 표 1과 같은 카메라 모델 파라미터 등을 저장한다. 랜드마크 DB(32)에는 랜드마크의 식별자(Identification, ID), 특징, 위치 등이 저장된다. 이러한 데이터베이스(30)는 카메라 데이터 생성기(20) 내에 탑재되거나 비전항법 알고리즘 개발기(50)에 포함될 수 있다. 또한, 구현에 따라서 데이터베이스(30)는 네트워크상에 위치하는 데이터베이스 서버를 포함할 수 있다. 여기서, 네트워크는 유선 또는 무선 통신 네트워크, 인터넷 등을 포함한다.The
항체 궤적 생성기(40)는 시간에 따른 항체의 위치, 속도, 자세에 대한 정보를 제공한다. 항체 궤적 생성기(40)는 항체의 동적 운동을 표현하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다.The
도 2는 본 발명의 일 실시예에 따른 카메라 데이터 생성기의 블록도이다.2 is a block diagram of a camera data generator in accordance with an embodiment of the present invention.
도 2를 참조하면, 카메라 데이터 생성기(20)는, 상대위치 산출부(22), 제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26)를 구비한다.2, the
상대위치 산출부(22)는 항체 궤적에 따라 항체에 탑재된 카메라의 위치 및 자세 정보와 기 입력된 랜드마크 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산한다.The relative
항체 궤적은 항체 궤적 생성기로부터 입력되고, 카메라 위치 및 자세 정보는 데이터베이스 또는 카메라 DB로부터 입력되며, 랜드마크 정보는 데이터베이스 또는 랜드마크 DB로부터 입력될 수 있다.The antibody locus is input from the antibody locus generator, the camera position and attitude information is input from the database or the camera DB, and the landmark information can be input from the database or the landmark DB.
제1 추출부(23)는 상대위치 산출부(22)로부터 받은 랜드마크의 상대위치를 토대로 일정 거리 내에 위치하는 랜드마크를 1차 후보군으로 추출한다.The first extracting
제2 추출부(24)는 제1 추출부(23)의 출력측에 연결되며, 카메라의 화각 특성에 따라 1차 후보군에서 일부 랜드마크를 추출하여 2차 후보군을 생성한다.The
카메라의 화각 특성은 카메라 모델 설정부를 통해 카메라 데이터 생성기(20)의 동작 환경에 미리 설정된다. 한편, 구현에 따라서 카메라 화각 특성은, 카메라 데이터 생성기(20)의 메모리나 저장장치에 기록되어 있거나 네트워크를 통해 외부로부터 카메라 데이터 생성기에 제공될 수 있다.The angle of view characteristic of the camera is set in advance in the operating environment of the
제1 추출부(23) 및 제2 추출부(24)를 이용하면, 카메라 측정범위 또는 카메라 촬영 각도에 따라 랜드마크의 초점면 투영 과정을 시작하기 전에 카메라 측정범위 내의 랜드마크 후보군을 유효 후보군으로 한정하여 설정함으로써, 모든 랜드마크에 대하여 카메라 데이터 생성 과정을 수행할 때 발생하는 연산량의 증가와 불필요한 에러 발생을 방지할 수 있다.If the
투영부(25)는 제2 추출부(24)의 출력측에 연결되며, 2차 후보군의 랜드마크를 카메라의 초점면에 투영한다.The
변환부(26)는 투영부(25)에 의해 카메라의 초점면에 투영된 랜드마크의 투영점을 카메라의 픽셀좌표로 변환한다. 변환된 랜드마크의 픽셀좌표를 포함하는 카메라 데이터는 변환부(26)에서 비전항법시스템으로 출력된다.The
제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26)은 카메라 모델 설정부로부터 카메라 특성 정보를 수신할 수 있다. 또한, 투영부(25) 및 변환부(26)는 카메라 오차 설정부로부터 카메라 오차 정보를 수신할 수 있다.The
본 실시예에 따른 카메라 데이터 생성기(20)는 카메라로부터 영상데이터를 획득한 후 획득한 영상데이터를 처리하는 영상데이터 처리 장치로 구현될 수 있다. 즉, 카메라 데이터 생성기(20)는 본 실시예에 따른 카메라 데이터 생성 알고리즘이 적용된 프로그램을 저장하는 매체(메모리 등)와 이 매체에 저장된 프로그램을 실행하는 프로세서로 이루어질 수 있다. 전술한 경우, 상대위치 산출부(22), 제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26)는 상기의 프로그램에 의해 프로세서에서 해당 기능을 수행하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 지칭될 수 있다.The
도 3은 본 발명의 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.3 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
도 3을 참조하면, 본 실시예에 따른 카메라 데이터 생성기는 도 2의 카메라 데이터 생성기(20)의 구성에 더하여 카메라 위치자세 산출부(21)를 더 구비한다.Referring to FIG. 3, the camera data generator according to the present embodiment further includes a camera position /
카메라 위치자세 산출부(21)는 입력되는 항체 궤적과 항체의 위치 및 자세 정보와 카메라 설치정보를 토대로 카메라 위치 및 자세 정보를 생성하고, 생성한 카메라 위치 및 자세 정보를 상대위치 산출부(22)에 제공한다.The camera position and
카메라 위치자세 산출부(21)는 항체 궤적 생성기로부터 항체 궤적 및 항체의 위치 및 자세 정보를 받고, 카메라 DB로부터 카메라 설치정보를 받을 수 있다.The camera position /
본 실시예에서 항체 궤적은 카메라 위치자세 산출부(21)를 거쳐 상대위치 산출부(22)로 전달되는 것으로 도시되어 있으나, 본 실시예는 그러한 구성으로 한정되지 않고 항체 궤적을 카메라 위치자세 산출부(21)와 상대위치 산출부(22)에 각각 제공하는 것을 포함할 수 있다.Although the antibody locus is shown as being transmitted to the relative
카메라 위치자세 산출부(21)를 이용하면, 카메라의 영상 정보뿐만 아니라 영상 정보를 생성한 카메라의 촬영각도와 랜드마크의 위치 등을 고려하여 카메라 데이터를 생성함으로써, 카메라 데이터의 신뢰성을 효과적으로 향상시킬 수 있다.Using the camera position /
도 4는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.4 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
도 4를 참조하면, 본 실시예에 따른 카메라 데이터 생성기는, 도 2의 카메라 데이터 생성기(20) 또는 도 3의 카메라 데이터 생성기의 구성에 더하여 카메라 모델 설정부(27)를 더 구비한다.Referring to FIG. 4, the camera data generator according to the present embodiment further includes a camera
카메라 모델 설정부(27)는 입력되는 카메라 특성 파라미터를 저장하고, 카메라 특성 파라미터에 따른 카메라 특성 정보를 제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26) 중 적어도 어느 하나에 제공한다.The camera
카메라 모델 설정부(27)는 카메라 DB로부터 카메라 특성 파라미터를 받을 수 있다. 카메라 특성 파라미터는 카메라 모델 파라미터 중 특성 파라미터에 해당한다.The camera
도 5는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.5 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
도 5를 참조하면, 본 실시예에 따른 카메라 데이터 생성기는, 도 2의 카메라 데이터 생성기(20), 도 3의 카메라 데이터 생성기, 또는 도 4의 카메라 데이터 생성기의 구성에 더하여 카메라 오차 모델 설정부(28)를 더 구비한다.5, the camera data generator according to the present embodiment includes a camera error model setting unit (not shown) in addition to the configuration of the
카메라 오차 모델 설정부(28)는 입력되는 카메라 오차 파라미터를 저장하고, 카메라 오차 파라미터에 따른 카메라 오차 정보를 투영부(25) 및 변환부(26) 중 적어도 어느 하나에 제공한다.The camera error
카메라 오차 모델 설정부(28)는 카메라 DB로부터 카메라 오차 파라미터를 받을 수 있다. 카메라 오차 파라미터는 카메라 모델 파라미터의 오차 파라미터에 대응한다.The camera error
본 실시예에 의하면, 항체의 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양을 이용하여 카메라 데이터를 생성할 때 랜드마크를 포함한 카메라의 영상 정보에 더하여 랜드마크를 촬영하는 카메라의 사양과 촬영각도에 따른 오차를 반영함으로써 랜드마크 기반 비전항법시스템을 위한 고신뢰성의 카메라 데이터를 생성할 수 있다.According to this embodiment, when camera data is generated using the locus of the antibody, the landmark position, the camera installation position, and the camera specification, in addition to the image information of the camera including the landmark, It is possible to generate highly reliable camera data for a landmark based vision navigation system.
도 6은 본 발명의 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘의 일 실시예를 설명하기 위한 순서도이다.6 is a flowchart for explaining an embodiment of a main algorithm of a program for executing the camera data generator of the present invention.
도면에 도시하지는 않았지만, 정상적인 실행을 위하여 카메라 데이터 생성기의 환경을 설정할 수 있다. 여기서, 환경은 항체의 궤적, 랜드마크 DB(ID, 특징, 위치 등), 카메라 설치정보, 카메라 특성(화각, 초점거리, 픽셀 수, 픽셀 크기 등), 그리고 카메라 오차(렌즈 왜곡, 중심점 바이어스, 초점거리 오차, 환산계수 오차, 잡음 등)을 포함한다. 이러한 환경 설정 정보는 카메라 모델 설정부 또는 카메라 오차 모델 설정부에 저장될 수 있다.Although not shown in the drawing, the environment of the camera data generator can be set for normal execution. Here, the environment can be determined based on the locus of the antibody, the landmark DB (ID, feature, position, etc.), camera installation information, camera characteristics (angle of view, focal length, number of pixels, Focal length error, conversion coefficient error, noise, etc.). Such environment setting information may be stored in the camera model setting unit or the camera error model setting unit.
카메라 데이터 생성기의 환경 설정이 완료되면, 도 6에 도시한 바와 같이, 카메라 데이터 생성기는 항체 궤적 생성기로부터 항체 궤적을 수신하고, 데이터베이스로부터 항체(Vehicle)에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신한다(S61).6, the camera data generator receives the antibody locus from the antibody locus generator and acquires the installation information and landmark information of the camera mounted on the antibody from the database (S61).
카메라 설치정보는 카메라가 항체의 상부, 하부, 전면부, 후면부 및 측면부 중 어느 곳에 설치되어 있는지를 나타내는 제1 설치정보와, 카메라의 높이, 촬영 방향 등에 대한 제2 설치 정보를 포함할 수 있다.The camera installation information may include first installation information indicating whether the camera is installed on an upper portion, a lower portion, a front portion, a rear portion, or a side portion of the antibody, and second installation information regarding a height and a shooting direction of the camera.
다음, 현재 궤적에서 랜드마크의 카메라 데이터를 생성한다(S62 ~ S67). 현재 궤적에서 랜드마크의 카메라 데이터 생성 과정을 좀더 상세히 설명하면 다음과 같다.Next, the camera data of the landmark is generated from the current locus (S62 to S67). The process of generating the landmark camera data in the current trajectory will be described in more detail as follows.
먼저, 항체의 위치 및 자세 정보를 획득한다. 그리고, 카메라 설치정보로부터 카메라의 위치 및 자세를 계산한다. 그 다음에, 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산한다(S62).First, the position and attitude information of the antibody is obtained. Then, the position and attitude of the camera are calculated from the camera installation information. Next, the relative position of the landmark with respect to the camera is calculated based on the position and attitude information of the camera and the landmark position information (S62).
다음으로, 카메라와 랜드마크 간의 거리를 계산하여 일정 거리 안의 랜드마크만으로 1차 후보군을 추출한다(S63). 여기서, 거리는 사용자가 카메라 특성과 랜드마크 특성에 맞추어 설정할 수 있다.Next, the distance between the camera and the landmark is calculated, and the first-order candidate group is extracted using only landmarks within a certain distance (S63). Here, the distance can be set by the user in accordance with the camera characteristics and the landmark characteristics.
카메라와 랜드마크의 상대거리로부터 랜드마크의 1차 후보군을 추출하는데 있어서, 카메라와 랜드마크 사이의 거리가 너무 멀면 카메라의 초점면에 랜드마크의 상이 맺히지 않는다. 또한, 랜드마크의 크기가 너무 작으면 초점면에 상이 맺히지 않는다. 따라서, 본 실시예의 카메라 데이터 생성기는 카메라와 랜드마크의 상대위치를 이용하여 랜드마크를 일정거리로 투영시킨 후, 랜드마크가 일정크기 이상인 랜드마크만을 1차 후보군으로 추출하고 추출된 1차 후보군의 랜드마크에 대해서만 데이터 생성 과정을 수행할 수 있다.In extracting the first order candidate of the landmark from the relative distance between the camera and the landmark, if the distance between the camera and the landmark is too large, the image of the landmark is not formed on the focal plane of the camera. Also, if the size of the landmark is too small, no image is formed on the focal plane. Therefore, the camera data generator of this embodiment projects the landmark at a certain distance by using the relative position of the camera and the landmark, and then extracts only the landmark having the landmark of the predetermined size or more as the first candidate group, The data generating process can be performed only for the landmark.
다음으로, 1차 후보군을 토대로 카메라의 화각 특성에 맞추어 2차 후보군을 추출한다(S64).Next, based on the first candidate group, a second candidate group is extracted according to the angle-of-view characteristics of the camera (S64).
본 단계(S64)를 좀더 상세히 설명하면, 랜드마크의 1차 후보군 중에서 카메라의 화각 안에 들어오는 랜드마크는 카메라의 초점면에 상을 맺힌다. 랜드마크가 카메라의 화각 안에 들어오는지는 카메라와 랜드마크의 상대 자세로부터 계산할 수 있다. 따라서, 본 실시예에서는 1차 후보군 모두에 대하여 카메라의 화각 안에 들어오는지 판단한 후 이를 만족하는 랜드마크만을 2차 후보군으로 추출한다.Describing this step S64 in more detail, among the first-order candidates of the landmark, the landmark that enters the angle of view of the camera forms an image on the focal plane of the camera. Whether the landmark is within the angle of view of the camera can be calculated from the relative posture of the camera and the landmark. Therefore, in this embodiment, it is determined whether all the first candidate groups are within the angle of view of the camera, and only the landmarks satisfying that are extracted as second candidate groups.
다음으로, 2차 후보군의 랜드마크들을 카메라의 초점면에 투영한다(S65).Next, the landmarks of the second-order candidate group are projected onto the focal plane of the camera (S65).
본 단계(S65)는 카메라 모델 또는 카메라 오차 모델을 반영하여 수행될 수 있다. 여기서, 카메라 오차 모델은 렌즈의 왜곡 파라미터, 초점거리 오차, 잡음 특성 또는 이들의 조합을 포함한다.This step S65 may be performed by reflecting the camera model or the camera error model. Here, the camera error model includes a lens distortion parameter, a focal length error, a noise characteristic, or a combination thereof.
다음으로, 랜드마크의 투영점을 카메라 좌표계의 픽셀좌표로 변환한다(S66). 변환부에서 2차 후보군의 랜드마크의 투영점을 카메라의 픽셀좌표로 변환할 때, 변환부는 카메라의 픽셀 수, 픽셀 크기 등의 정보를 이용할 수 있다. 또한, 변환부는 변환된 카메라 데이터의 신뢰성을 더욱 높이기 위하여 바이어스 오차, 환산계수 오차, 잡음 특성을 반영할 수 있다.Next, the projection point of the landmark is converted into pixel coordinates in the camera coordinate system (S66). When converting the projection point of the landmark of the second-order candidate group into the pixel coordinates of the camera in the conversion unit, the conversion unit can use information such as the number of pixels and the pixel size of the camera. In addition, the conversion unit may reflect the bias error, the conversion coefficient error, and the noise characteristic to further improve the reliability of the converted camera data.
다음, 현재 궤적에서 랜드마크의 카메라 데이터 생성 과정이 완료되면, 전체 궤적에 대하여 카메라 데이터 생성 과정을 수행한다(S67). 여기서, 전체 궤적에 대한 카메라 데이터 생성 과정은 현재 궤적에서 랜드마크의 카메라 데이터를 생성하는 과정을 반복 수행하는 것을 지칭한다.Next, when the process of generating the landmark camera data in the current trajectory is completed, a camera data generating process is performed on the entire trajectory (S67). Here, the process of generating camera data for the entire trajectory refers to repeating the process of generating the camera data of the landmark in the current trajectory.
다음, 전체 궤적에 대하여 랜드마크의 카메라 데이터 생성 과정이 완료되면, 랜드마크의 카메라 데이터를 출력한다(S68).Next, when the process of generating the landmark camera data with respect to the entire locus is completed, the camera data of the landmark is outputted (S68).
이하에서는 카메라 핀홀 모델과 랜드마크 DB를 이용하여 카메라 데이터를 생성하는 과정 및 이 과정에 적용된 오차 모델의 일 실시예를 도 7 내지 도 9를 참조하여 설명한다.Hereinafter, a process of generating camera data using a camera pinhole model and a landmark DB, and an error model applied to the process will be described with reference to FIGS. 7 to 9. FIG.
도 7은 본 발명의 일 실시예에 따른 카메라 핀홀 모델 및 랜드마크의 초점면 투영 과정을 나타낸 도면이다. 도 8은 본 발명의 일 실시예에 따른 카메라 초점면에 투영된 랜드마크의 투영점을 픽셀좌표로 변환하는 과정을 설명하기 위한 도면이다.7 is a view illustrating a camera pinhole model and a focal plane projection process of a landmark according to an embodiment of the present invention. 8 is a diagram for explaining a process of converting the projection point of the landmark projected onto the camera focus plane into pixel coordinates according to an embodiment of the present invention.
먼저, 이상적인 카메라에서의 카메라 데이터 생성과정을 도 7을 참조하여 설명하면 다음과 같다.First, the process of generating camera data in an ideal camera will be described with reference to FIG.
도 7에 나타낸 바와 같이, 카메라의 초점면은 카메라 중심(Oc)으로부터 광축 방향으로 f만큼 떨어진 거리에 위치한 카메라 본체에 대하여 수직으로 정렬되어 있다. Pic(Xi, Yi, Zi)에 위치하는 랜드마크는 카메라 핀홀 모델에 따라 카메라 초점면에 투영된다. 앞으로 서술되는 도면(도 7 등) 및 수식에서 위첨자 c, i는 기술되는 값이 각각 카메라 좌표계(Camera frame)와 픽셀 좌표계(Image frame)에서 표현된다는 것을 나타내고, 아래첨자 i는 랜드마크 식별자를 의미한다.As shown in Fig. 7, the focal plane of the camera is vertically aligned with respect to the camera body located at a distance f from the camera center O c in the direction of the optical axis. The landmarks located in Pi c (Xi, Yi, Zi) are projected onto the camera focal plane according to the camera pinhole model. Superscripts c and i in the drawings (Fig. 7 and the like) to be described in the following description and expressions indicate that the values described are expressed in the camera frame and the image frame, respectively, and the subscript i denotes the landmark identifier do.
본 실시예에서는 3D 항법에서 카메라 또는 비전센서의 초점면에 투영된 랜드마크 측정값(ui, vi)을 카메라 좌표계에서 나타내면 다음의 수학식 1과 같다.In this embodiment, the landmark measurement values (u i , v i ) projected on the focal plane of the camera or the vision sensor in the 3D navigation are expressed by the camera coordinate system as shown in the following equation (1).
버전항법에서 센서는 픽셀 좌표계에서 랜드마크를 측정하고, 이를 카메라 좌표계로 변환한 후, 랜드마크의 시선각을 계산하고 카메라 좌표계와 동체 좌표계 그리고 동체 좌표계와 항법 좌표계 간의 좌표변환 관계식을 이용하여 항법해를 계산한다. 이러한 좌표변환은 본 기술분야에 이미 잘 알려져 있으므로 그것에 대한 상세 설명은 생략한다.In version navigation, the sensor measures the landmark in the pixel coordinate system, converts it to the camera coordinate system, calculates the landmark angle of view, and navigates using the coordinate transformation relation between the camera coordinate system and the body coordinate system and between the body coordinate system and the navigation coordinate system . Such coordinate transformation is well known in the art, and a detailed description thereof will be omitted.
다만, 참고로, 카메라 핀홀 모델은 띤 렌즈 모델(Thin Lens Model)에서 물체가 카메라 초점 길이에 비해 충분히 멀리 있다고 볼 수 있으므로, 물체에서 렌즈까지의 거리의 역수와 물체가 맺힌 상(Image)과 렌즈까지의 거리의 역수의 합이 렌즈에서 초점면까지의 거리의 역수와 동일하다고 가정한다.However, since the pinhole model of a camera is a lens model (Thin Lens Model), it can be considered that an object is sufficiently far away from the focal length of the camera. Therefore, the reciprocal of the distance from the object to the lens, Is equal to the reciprocal of the distance from the lens to the focal plane.
이러한 가정에 기초하면 초점면에 투영된 랜드마크의 투영점을 도 8에 나타낸 관계를 이용하여 픽셀좌표로 변환할 수 있다.Based on this assumption, the projection point of the landmark projected onto the focal plane can be converted into pixel coordinates using the relationship shown in Fig.
도 8에 나타낸 바와 같이, 본 실시예에 따른 카메라 데이터 생성기는 랜드마크의 투영점을 카메라의 픽셀좌표로 변환할 때 카메라의 픽셀 수와 픽셀 크기(또는 픽셀 간격)를 이용함으로써 카메라 사양에 적합한 카메라 데이터를 생성할 수 있다.As shown in FIG. 8, the camera data generator according to the present embodiment uses a number of pixels and a pixel size (or a pixel interval) of the camera when converting the projection point of the landmark into pixel coordinates of the camera, Data can be generated.
도 9는 카메라 오차 모델의 광학계 오차의 일례를 설명하기 위한 도면이다.9 is a view for explaining an example of an optical system error of the camera error model.
실제 카메라는 광학계 오차, 초점면 오차 등이 존재하여 이상적인 카메라와 다른 카메라 데이터를 생성하게 된다. 예를 들어, 광학계 오차는 렌즈의 왜곡, 초점거리 오차, 가우시안 잡음 등을 포함한다. 렌즈 왜곡은 렌즈 자체나 렌즈 정렬 오차로 인하여 발생하며 방사 방향(Radial) 오차와 접선 방향(Tangential) 오차로 구분할 수 있다.The actual camera has optical system error, focal plane error, etc., and thus produces an ideal camera and other camera data. For example, optical system errors include lens distortion, focal length error, Gaussian noise, and the like. The lens distortion is caused by the lens itself or lens alignment error, and can be divided into a radial error and a tangential error.
도 9에 나타낸 바와 같이, 랜드마크가 투영되는 투영점에 상응하는 초점면에서의 실제 지점(Ideal point)이 방사 방향(dr) 및 접선 방향(dt)에서 렌즈 왜곡 영향에 의해 왜곡된 지점(Position with distrotion)으로 이동되는 것을 알 수 있다.The ideal point at the focal plane corresponding to the projection point at which the landmark is projected is located at a position distorted by the lens distortion effect in the radial direction dr and the tangential direction dt, with distrotion.
카메라 초점면에서 왜곡으로 인한 랜드마크의 투영점(xd, yd)은 수학식 2와 같이 표현할 수 있다.The projection point (x d , y d ) of the landmark due to the distortion in the camera focal plane can be expressed as shown in Equation (2).
여기서, δx 및 δy는 왜곡으로 생기는 투영점 오차이다.Here,? X and? Y are projection point errors caused by distortion.
왜곡은 주로 렌즈 곡면 오차(δxr, δyr)와 렌즈 조립 오차(δxa, δya) 등으로 발생한다.Distortion mainly occurs due to lens surface error (δx r , δy r ) and lens assembly error (δx a , δy a ).
렌즈 곡면 오차를 모델링하면 다음의 수학식 3과 같이 표현할 수 있다.Modeling the lens surface error can be expressed as: < EMI ID = 3.0 >
렌즈 조립 오차를 모델링하면 수학식 4와 같이 나타낼 수 있다.Modeling the lens assembly error can be expressed as: " (4) "
수학식 4 및 수학식 5에서, k1,k2,k3,p1,p2,p3와 같은 왜곡 파라미터는 렌즈나 카메라의 제조사에서 제공하거나 특별한 캘리브레이션(Calibration) 환경에서 측정할 수 있다.In equations (4) and (5), distortion parameters such as k 1 , k 2 , k 3 , p 1 , p 2 , p 3 may be provided by the manufacturer of the lens or camera or may be measured in a particular calibration environment .
결과적으로, 카메라의 초점면에 투영된 랜드마크의 투영점의 측정값(수학식 1 참조)에 대하여 렌즈 왜곡을 반영하면 다음의 수학식 5와 같다. 여기서, 렌즈 왜곡은 렌즈 곡면 오차(δxr, δyr)와 렌즈 조립 오차(δxa, δya)를 지칭한다.As a result, if the lens distortion is reflected on the measured value of the projection point of the landmark projected on the focal plane of the camera (see Equation 1), the following equation (5) is obtained. Here, the lens distortion refers to the lens curvature errors? X r ,? Y r and the lens assembly errors? X a ,? Y a .
또한, 광학계 오차에서 초점거리 오차(δf)가 존재하는데, 이를 반영하면 수학식 6과 같다.In addition, the focal length error? F exists in the optical system error.
또한, 초점거리 오차에 더하여 가우시안 잡음(Nu, Nv)을 추가하면 수학식 7과 같다.Further, adding Gaussian noise (Nu, Nv) in addition to the focal length error is expressed by Equation (7).
다음으로, 초점면 오차를 설명하면 다음과 같다.Next, the focal plane error will be described as follows.
초점면 오차로는 바이어스 오차, 환산계수 오차, 가우시안 잡음을 고려한다. 실제로 카메라의 렌즈와 초점면을 조립할 때, 광축이 초점면의 중심을 지나가도록 하는 것은 매우 어렵기 때문에 초점면과 광축에 바이어스 오차가 존재한다. 바이어스 오차는 수평축 바이어스 오차, 수직축 바이어스 오차로 구분할 수 있다. The focal plane errors include bias error, conversion coefficient error, and Gaussian noise. In fact, when assembling the lens and focal plane of the camera, there is a bias error on the focal plane and the optical axis because it is very difficult to have the optical axis passing through the center of the focal plane. The bias error can be divided into a horizontal axis bias error and a vertical axis bias error.
카메라의 초점면에 투영된 랜드마크의 투영점의 측정값(수학식 1 참조)에 대하여 초점면 오차(Bu, Bv)를 반영하면 다음의 수학식 8과 같다. 여기서, 수학식의 전개를 간단히 하기 위하여 광학계 오차는 없다고 가정한다.Reflecting the focal plane errors (Bu, Bv) with respect to the measured values of the projected points of the landmark projected on the focal plane of the camera (see Equation 1), the following Equation 8 is obtained. Here, it is assumed that there is no optical system error in order to simplify the expansion of the mathematical expression.
또한, 픽셀 크기를 의미하는 환산계수 역시 센서(CCD, CMOS 등)의 제조과정에서 오차(δsu, δsv)가 존재하게 된다. 이러한 오차는 초점면에 투영된 물체를 픽셀 좌표계에서의 픽셀좌표(ci, ri)로 바꾸는 과정에서 고려된다. 이 오차를 반영한 랜드마크의 투영점을 카메라의 픽셀좌표로 나타내면 수학식 9와 같이 표현될 수 있다.Also, the conversion coefficient, which means the pixel size, also has errors (δs u , δs v ) in the manufacturing process of the sensor (CCD, CMOS, etc.). This error is considered in the process of changing the object projected on the focal plane to pixel coordinates (c i , r i ) in the pixel coordinate system. If the projection point of the landmark reflecting the error is expressed by the pixel coordinates of the camera, it can be expressed as Equation (9).
여기서, a는 수평축 픽셀수, b는 수직축 픽셀수이다.Where a is the number of horizontal axis pixels and b is the number of vertical axis pixels.
또한, 초점면 오차에서도 모델링 오차 등이 존재하며, 이를 가우시안 잡음(Nc, Nr)으로 반영하여 수학식 9를 다시 나타내면 다음의 수학식 10과 같다.In addition, there is a modeling error even in the focal plane error, and this is reflected to Gaussian noise (Nc, Nr), and Equation (9) is again expressed as Equation (10).
전술한 설명에 의하면, 본 실시예의 카메라 데이터 생성기는 항체의 궤적, 랜드마크 DB, 카메라 설치정보, 카메라 사양을 이용하여 카메라 데이터를 생성할 수 있다. 즉, 카메라 데이터 생성기는 항체와 랜드마크의 상대적인 위치와 항체의 자세에 따른 위치 오차와 자세 오차 변화를 반영함으로써 비전항법시스템에서 더욱 정확한 항법해를 얻을 수 있도록 한다.According to the above description, the camera data generator of the present embodiment can generate camera data using the locus of the antibody, the landmark DB, the camera installation information, and the camera specification. In other words, the camera data generator reflects the relative position of the antibody and the landmark and the position error and the attitude error according to the attitude of the antibody, thereby making it possible to obtain a more accurate navigation solution in the vision navigation system.
도 10은 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.10 is a block diagram illustrating a main configuration of a camera data generator according to another embodiment of the present invention.
도 10을 참조하면, 본 실시예에 따른 카메라 데이터 생성기는, 도 2의 카메라 데이터 생성기(20), 도 3의 카메라 데이터 생성기, 도 4의 카메라 데이터 생성기, 또는 도 5의 카메라 데이터 생성기의 구성에 더하여 검증부(29)를 더 구비한다.Referring to FIG. 10, the camera data generator according to the present embodiment includes a
검증부(29)는 현재 궤적에서 2차 후보군의 랜드마크의 제1 픽셀좌표를 포함한 카메라 데이터와 2차 후보군의 랜드마크의 제2 픽셀좌표를 포함한 카메라 데이터를 받고, 이것들의 비교 결과를 토대로 현재 궤적에서 랜드마크의 카메라 데이터를 검증한다. 검증된 카메라 데이터는 비전항법 시스템으로 전달될 수 있다.The
제1 픽셀좌표는 제1 설정에 따라 2차 후보군의 랜드마크의 투영점을 카메라 좌표계로 변환한 픽셀좌표이고, 제2 픽셀좌표는 제2 설정에 따라 2차 후보군의 랜드마크의 투영점을 카메라 좌표계로 변환한 픽셀좌표이다.The first pixel coordinate is a pixel coordinate obtained by converting the projection point of the landmark of the second candidate group into the camera coordinate system according to the first setting and the second pixel coordinate is a coordinate of the projection point of the landmark of the second candidate group, It is the pixel coordinate converted into the coordinate system.
여기서, 제1 설정은 투영부가 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 것을 지칭하고, 제2 설정은 투영부가 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않고 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 것을 지칭한다.Here, the first setting refers to projecting the landmark of the second-order candidate group onto the focal plane of the camera, reflecting the lens distortion parameter, focal length error and noise characteristic of the projection unit, Refers to projecting the landmark of the second-order candidate group onto the focal plane of the camera without reflecting the distortion parameter, the focal length error, and the noise characteristic.
또한, 검증부(29)는, 검증 결과에서 카메라 데이터에 이상이 검출되는 경우, 해당 카메라 데이터를 제외하도록 변환부에 제어 명령을 전송할 수 있다. 여기서, 카메라 데이터의 이상은 카메라의 화각 안에 들어오지만 렌즈 왜곡, 초점면 오차 등에 의해 초점면 바깥에 상이 맺히는 랜드마크의 카메라 데이터 등을 지칭한다.If an abnormality is detected in the camera data in the verification result, the
본 실시예의 검증부를 이용하면, 랜드마크의 카메라 데이터에서 이상 데이터를 제외함으로써 비전항법시스템으로 전달되는 카메라 데이터에 대한 신뢰성을 더욱 향상시킬 수 있다.By using the verification unit of this embodiment, the reliability of the camera data transmitted to the non-navigation system can be further improved by excluding the abnormal data from the camera data of the landmark.
도 11은 도 10의 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘을 설명하기 위한 순서도이다.11 is a flowchart for explaining a main algorithm of a program for executing the camera data generator of FIG.
도 11에 나타낸 바와 같이, 기설정 환경에 따라 카메라 데이터 생성기는 항체 궤적 생성기로부터 항체 궤적을 수신하고, 데이터베이스로부터 항체(Vehicle)에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신한다(S71).11, the camera data generator receives the antibody locus from the antibody locus generator according to the preset environment, and receives installation information and landmark information of the camera mounted on the antibody from the database (S71).
다음, 현재 궤적에서 랜드마크의 카메라 데이터를 생성한다(S72 ~ S79). 현재 궤적에서 랜드마크의 카메라 데이터 생성 또는 삭제 과정을 좀더 상세히 설명하면 다음과 같다.Next, the camera data of the landmark is generated from the current locus (S72 to S79). The process of generating or deleting the landmark camera data in the current trajectory will be described in more detail as follows.
먼저, 항체의 위치 및 자세 정보를 획득한다. 그리고, 카메라 설치정보로부터 카메라의 위치 및 자세를 계산한다. 그 다음에, 상대위치 산출부는 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산한다(S72).First, the position and attitude information of the antibody is obtained. Then, the position and attitude of the camera are calculated from the camera installation information. Then, the relative position calculation unit calculates the relative position of the landmark with respect to the camera based on the camera position and attitude information and the landmark position information (S72).
다음으로, 제1 추출부는 기 설정된 카메라 특성과 랜드마크 특성에 맞추어 카메라와 랜드마크 간의 거리를 계산하고, 계산된 일정 거리 안의 일정 크기 이상의 랜드마크만으로 1차 후보군을 추출한다(S73).Next, the first extracting unit calculates the distance between the camera and the landmark in accordance with the predetermined camera characteristics and the landmark characteristic, and extracts the first candidate group using only landmarks of a predetermined size or more within the calculated distance (S73).
다음으로, 제2 추출부는 1차 후보군을 토대로 카메라의 화각 특성에 맞추어 2차 후보군을 추출한다(S74).Next, the second extracting unit extracts a second-order candidate group according to the angle-of-view characteristics of the camera based on the first-order candidate group (S74).
다음으로, 투영부는 2차 후보군의 랜드마크들을 카메라의 초점면에 투영한다(S75).Next, the projection unit projects the landmarks of the second-order candidate group onto the focal plane of the camera (S75).
본 단계(S75)에서 카메라 데이터 생성기는 본 실시예에서 생성된 카메라 데이터를 이용하는 항법 알고리즘의 성능 평가를 위하여 카메라 데이터의 참값도 함께 생성하여 출력한다. 참값은 카메라 모델 또는 카메라 오차 모델이 반영되지 않은 카메라 데이터를 지칭한다.In this step S75, the camera data generator also generates and outputs a true value of the camera data for performance evaluation of the navigation algorithm using the camera data generated in this embodiment. The true value refers to camera data that does not reflect the camera model or the camera error model.
다음으로, 변환부는 랜드마크의 투영점을 카메라 좌표계의 픽셀좌표로 변환한다(S76). 변환부는 카메라의 픽셀 수, 픽셀 크기 등의 정보를 이용할 수 있다.Next, the conversion unit converts the projection point of the landmark into pixel coordinates in the camera coordinate system (S76). The conversion unit can use information such as the number of pixels and the size of the camera.
본 단계(S76)에 있어서, 변환부는 바이어스 오차, 환산계수 오차, 잡음 특성 등을 반영하는 제1 설정을 토대로 얻은 제1 픽셀좌표와 제1 설정을 반영하지 않는 제2 설정을 토대로 얻은 제2 픽셀좌표를 생성한다.In this step S76, the converting unit obtains the first pixel coordinate based on the first setting reflecting the bias error, the conversion coefficient error, the noise characteristic, and the like, and the second pixel based on the second setting that does not reflect the first setting Create the coordinates.
다음으로, 검증부는 제1 픽셀좌표와 제2 픽셀좌표와의 비교를 토대로 카메라 데이터를 검증한다(S77). 검증 결과(S77a), 검증값이 소정의 기준값보다 크면, 검증부는 변환부에 제어명령을 전달하여 현재 궤적에서 랜드마크의 카메라 데이터를 삭제한다(S78). 한편, 검증 결과, 검증값이 기준값 이하이면, 검증부는 변환부에 제어명령을 전송하여 현재 궤적에서의 랜드마크의 카메라 데이터를 생성한다(S79).Next, the verifying unit verifies the camera data based on the comparison between the first pixel coordinate and the second pixel coordinate (S77). If the verification result is larger than the predetermined reference value, the verification unit transmits a control command to the conversion unit to delete the camera data of the landmark from the current locus (S78). On the other hand, if the verification value is less than or equal to the reference value as a result of the verification, the verification unit transmits the control command to the conversion unit to generate the camera data of the landmark in the current trajectory (S79).
상기의 단계(S78 또는 S79)를 통해 현재 궤적에서의 랜드마크의 카메라 데이터 생성 또는 삭제 과정이 완료되면, 전체 궤적에 대하여 카메라 데이터 생성 과정을 반복 수행한다(도 6의 S67 참조). 그리고, 전체 궤적에 대하여 랜드마크의 카메라 데이터 생성/삭제 과정이 완료되면, 전체 궤적에 대하여 생성된 랜드마크의 카메라 데이터를 출력한다(도 6의 S68 참조).When the process of generating or deleting the camera data of the landmark in the current trajectory is completed through the above step S78 or S79, the camera data generation process is repeated for the entire trajectory (refer to step S67 in Fig. 6). Then, when the camera data creation / deletion process of the landmark is completed for the entire locus, the camera data of the landmark generated for the entire locus is outputted (refer to S68 in Fig. 6).
본 실시예에 의하면, 항체 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양을 이용하여 카메라 데이터를 생성할 때, 현재의 항체의 위치에서 데이터베이스에 있는 모든 랜드마크에 대하여 카메라 데이터 생성 과정을 수행하지 않고 카메라 측정 범위의 랜드마크를 추출하여 이용함으로써 불필요한 연산량의 증가를 방지하고 에러율을 낮추며, 그에 의해 효율적으로 카메라 데이터를 생성할 수 있다.According to this embodiment, when camera data is generated using the antibody locus, the landmark position, the camera installation position, and the camera specification, the camera data generation process is not performed on all the landmarks in the database at the position of the current antibody The landmarks of the camera measurement range are extracted and used, thereby preventing unnecessary increase of the calculation amount and lowering the error rate, thereby efficiently generating the camera data.
아울러, 2차 후보군은 모두 카메라의 초점면 투영 과정을 거치게 된다. 그러나, 랜드마크가 카메라의 화각안에 들어온다 할지라도 렌즈 왜곡, 초점면 오차 등에 의하여 초점면 바깥에 상이 맺힐 수 있다. 따라서, 본 실시예에서는 데이터 검증 과정을 통하여 이상이 있는 카메라 데이터를 제외함으로써 종래 대비 높은 신뢰성을 갖는 카메라 데이터를 생성할 수 있다.In addition, the second candidate group is subjected to the focal plane projection process of the camera. However, even if the landmark enters the angle of view of the camera, an image may be formed outside the focal plane due to lens distortion, focal plane error, and the like. Therefore, in the present embodiment, camera data having a reliability higher than that of the prior art can be generated by excluding camera data that is abnormal through the data verification process.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the foregoing detailed description of the present invention, specific examples have been described. However, various modifications are possible within the scope of the present invention. The technical spirit of the present invention should not be limited to the above-described embodiments of the present invention, but should be determined by the claims and equivalents thereof.
10: 카메라
20: 카메라 데이터 생성기
21: 카메라 위치자세 산출부
22: 상대위치 산출부
23: 제1 추출부
24: 제2 추출부
25: 투영부
26: 변환부
27: 카메라 모델 설정부
28: 카메라 오차 모델 설정부
29: 검증부
30: 데이터베이스
40: 항체 궤적 생성기10: Camera
20: Camera data generator
21: camera position / attitude calculating unit
22: relative position calculating section
23: First extraction section
24:
25:
26:
27: Camera model setting section
28: camera error model setting unit
29:
30: Database
40: antibody locus generator
Claims (20)
항체(Vehicle)의 궤적과 상기 항체에 대하나 카메라의 설치정보와 기 입력된 랜드마크 정보를 토대로 상기 카메라에 대한 랜드마크의 상대위치를 계산하는 상대위치 산출부;
상기 랜드마크의 상대위치를 토대로 일정 거리 내의 랜드마크를 1차 후보군으로 추출하는 제1 추출부;
상기 카메라의 화각 특성에 따라 상기 1차 후보군에서 2차 후보군을 추출하는 제2 추출부;
상기 2차 후보군의 랜드마크를 상기 카메라의 초점면에 투영하는 투영부; 및
상기 랜드마크의 투영점을 상기 카메라의 픽셀좌표로 변환하고 상기 랜드마크의 픽셀좌표를 포함한 카메라 데이터를 출력하는 변환부;
를 포함하는 카메라 데이터 생성기.A camera data generator for a landmark based vision navigation system,
A relative position calculation unit for calculating a relative position of a landmark with respect to the camera on the basis of the locus of the antibody and the installation information of the camera and the inputted landmark information with respect to the antibody;
A first extracting unit for extracting a landmark within a certain distance as a first order candidate based on a relative position of the landmark;
A second extracting unit for extracting a second candidate group from the first candidate group according to a view angle characteristic of the camera;
A projection unit for projecting a landmark of the second candidate group onto a focal plane of the camera; And
A conversion unit for converting the projection point of the landmark into pixel coordinates of the camera and outputting camera data including pixel coordinates of the landmark;
The camera data generator comprising:
상기 상대위치 산출부의 입력측에 연결되며, 상기 항체에 대한 항체 궤적과 기 입력된 상기 항체의 위치 및 자세 정보와 카메라 설치정보를 이용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세 정보를 출력하는 카메라 위치자세 산출부를 더 포함하는 카메라 데이터 생성기.The method according to claim 1,
Calculating a position and an attitude of the camera by using an antibody locus with respect to the antibody, a position and attitude information of the antibody, and camera installation information, which are connected to an input side of the relative position calculation unit, And a camera position / attitude calculation unit for outputting information.
상기 제1 추출부는, 상기 카메라의 특성과 상기 랜드마크의 위치에 따라 설정되는 상기 일정 거리를 토대로 상기 1차 후보군을 추출하는 카메라 데이터 생성기.The method according to claim 1,
Wherein the first extraction unit extracts the first candidate group based on the predetermined distance set according to the characteristics of the camera and the position of the landmark.
상기 제1 추출부, 상기 제2 추출부, 상기 투영부 및 상기 변환부에 카메라 특성 정보를 제공하는 카메라 모델 설정부를 더 포함하는 카메라 데이터 생성기.The method according to claim 1,
And a camera model setting unit for providing camera characteristic information to the first extracting unit, the second extracting unit, the projection unit, and the converting unit.
상기 투영부 및 상기 변환부에 카메라 오차 정보를 제공하는 카메라 오차 모델 설정부를 더 포함하는 카메라 데이터 생성기.The method of claim 4,
And a camera error model setting unit for providing camera error information to the projection unit and the conversion unit.
상기 투영부는 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 토대로 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 카메라 데이터 생성기.The method of claim 5,
Wherein the projection unit projects the landmark of the second candidate group onto a focal plane of the camera on the basis of a lens distortion parameter, a focal length error, and a noise characteristic of the camera.
상기 투영부는 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 상기 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 상기 2차 후보군의 랜드마크를 상기 카메라 초점면에 투영하는 카메라 데이터 생성기.The method of claim 5,
The projection unit projects the landmark of the second candidate group onto the focal plane of the camera according to a first setting reflecting the lens distortion parameter, the focal length error and the noise characteristic of the camera, and the distortion parameter of the lens of the camera, And projecting the landmark of the second candidate group onto the camera focal plane according to a second setting that does not reflect the error and noise characteristics.
상기 변환부는 상기 제1 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 상기 제2 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성하여 출력하는 카메라 데이터 생성기.The method of claim 7,
The conversion unit sets the first pixel coordinates of the projection point of the landmark of the second candidate group according to the first setting and the second pixel coordinates of the projection point of the landmark of the second candidate group according to the second setting A camera data generator for generating and outputting.
상기 제1 픽셀좌표와 상기 제2 픽셀좌표와의 비교를 토대로 상기 현재 궤적에서 상기 2차 후보군의 랜드마크의 카메라 데이터를 검증하는 검증부를 더 포함하는 카메라 데이터 생성기.The method of claim 8,
And a verification unit for verifying camera data of the landmark of the second candidate group in the current trajectory based on a comparison between the first pixel coordinate and the second pixel coordinate.
상기 변환부는, 상기 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 상기 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환하는 카메라 데이터 생성기.The method of claim 8,
Wherein the conversion unit converts the projection point of the landmark of the second candidate group into pixel coordinates by reflecting a bias error, a conversion coefficient error, and a noise characteristic of the camera.
항체에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신하는 제1 단계;
상기 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 상기 카메라에 대한 상기 랜드마크의 상대위치를 산출하는 제2 단계;
상기 항체의 현재 궤적에서 카메라의 측정 범위 내에 위치하는 랜드마크를 1차 후보군으로 추출하는 제3 단계;
상기 카메라의 화각 특성에 따라 상기 1차 후보군에서 2차 후보군을 추출하는 제4 단계;
상기 2차 후보군의 랜드마크를 상기 카메라의 초점면에 투영하는 제5 단계; 및
상기 랜드마크의 투영점을 상기 카메라의 픽셀좌표로 변환하는 제6 단계;
를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.A computer-readable medium storing a program for causing a camera data generator to execute,
A first step of receiving installation information and landmark information of a camera mounted on the antibody;
A second step of calculating a relative position of the landmark to the camera based on the camera position and attitude information and the landmark position information;
A third step of extracting a landmark located within a measurement range of the camera from a current trajectory of the antibody as a first-order candidate group;
A fourth step of extracting a second candidate group from the first candidate group according to the angle of view characteristics of the camera;
A fifth step of projecting the landmark of the second candidate group onto a focal plane of the camera; And
A sixth step of converting the projection point of the landmark into pixel coordinates of the camera;
A computer-readable medium having recorded thereon a program for causing a computer to execute:
상기 카메라의 설치정보를 토대로 상기 카메라의 위치 및 자세 정보를 산출하는 단계를 더 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.The method of claim 11,
And calculating the position and attitude information of the camera based on installation information of the camera.
상기 제3 단계는, 상기 카메라의 위치 및 자세와 상기 랜드마크의 위치에 따라 설정되는 상기 일정 거리를 토대로 상기 1차 후보군을 추출하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.The method of claim 11,
Wherein the third step extracts the first candidate group based on the predetermined distance set according to the position and the posture of the camera and the position of the landmark.
상기 제3 단계 내지 상기 제6 단계는 카메라 모델 설정부로부터의 카메라 특성 정보를 토대로 수행되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.The method of claim 11,
Wherein the third step to the sixth step are performed based on the camera characteristic information from the camera model setting unit.
상기 제5 단계 및 상기 제6 단계는 카메라 오차 모델 설정부로부터의 카메라 오차 정보를 토대로 수행되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.15. The method of claim 14,
Wherein the fifth step and the sixth step are performed based on camera error information from the camera error model setting unit.
상기 제5 단계는, 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하여 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.16. The method of claim 15,
Wherein the fifth step reflects the landmark of the second candidate group onto the focal plane of the camera by reflecting a lens distortion parameter, a focal length error, and a noise characteristic of the camera.
상기 제5 단계는, 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 상기 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 상기 2차 후보군의 랜드마크를 상기 카메라 초점면에 투영하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.16. The method of claim 15,
The fifth step is a step of projecting the landmark of the second candidate group onto the focal plane of the camera according to a first setting reflecting the lens distortion parameter, the focal length error and the noise characteristic of the camera, And projecting the landmark of the second-order candidate group onto the focal plane of the camera according to a second setting that does not reflect an error and a noise characteristic of the focal distance.
상기 제6 단계는, 상기 제1 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 상기 제2 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.18. The method of claim 17,
Wherein the sixth step includes a step of setting a first pixel coordinate of a landmark of the second candidate group according to the first setting and a second pixel coordinate of a second pixel of the landmark of the second candidate group according to the second setting, And generating coordinate data for each of the plurality of coordinates.
상기 제1 픽셀좌표와 상기 제2 픽셀좌표와의 비교를 토대로 상기 현재 궤적에서 랜드마크의 카메라 데이터를 검증하는 단계를 더 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.19. The method of claim 18,
And verifying the camera data of the landmark in the current trajectory based on the comparison of the first pixel coordinate and the second pixel coordinate.
상기 제6 단계는, 상기 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 상기 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.19. The method of claim 18,
Wherein the sixth step converts the projection point of the landmark of the second candidate group into pixel coordinates by reflecting a bias error of the camera, a conversion coefficient error, and a noise characteristic, .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130078925A KR101502071B1 (en) | 2013-07-05 | 2013-07-05 | Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130078925A KR101502071B1 (en) | 2013-07-05 | 2013-07-05 | Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150005253A true KR20150005253A (en) | 2015-01-14 |
| KR101502071B1 KR101502071B1 (en) | 2015-03-12 |
Family
ID=52477148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130078925A KR101502071B1 (en) | 2013-07-05 | 2013-07-05 | Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101502071B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190106374A (en) * | 2018-03-09 | 2019-09-18 | 주식회사 케이티 | Method for identifying moving object within image, apparatus and computer readable medium |
| CN113624231A (en) * | 2021-07-12 | 2021-11-09 | 北京自动化控制设备研究所 | Inertial vision integrated navigation positioning method based on heterogeneous image matching and aircraft |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101265110B1 (en) * | 2009-11-03 | 2013-05-20 | 한국전자통신연구원 | Steering control leading apparatus using landmark and method thereby |
| KR101107735B1 (en) * | 2010-02-26 | 2012-01-20 | 서울대학교산학협력단 | Camera pose decision method |
| KR101286135B1 (en) * | 2011-10-28 | 2013-07-15 | 포항공과대학교 산학협력단 | Autonomous topological mapping method of medium-large size space using upward single camera |
| JP2012145598A (en) * | 2012-05-07 | 2012-08-02 | Canon Inc | Information processing method and information processing device |
-
2013
- 2013-07-05 KR KR1020130078925A patent/KR101502071B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190106374A (en) * | 2018-03-09 | 2019-09-18 | 주식회사 케이티 | Method for identifying moving object within image, apparatus and computer readable medium |
| CN113624231A (en) * | 2021-07-12 | 2021-11-09 | 北京自动化控制设备研究所 | Inertial vision integrated navigation positioning method based on heterogeneous image matching and aircraft |
| CN113624231B (en) * | 2021-07-12 | 2023-09-12 | 北京自动化控制设备研究所 | Inertial vision integrated navigation positioning method based on heterogeneous image matching and aircraft |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101502071B1 (en) | 2015-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10884110B2 (en) | Calibration of laser and vision sensors | |
| JP6760114B2 (en) | Information processing equipment, data management equipment, data management systems, methods, and programs | |
| JP5992184B2 (en) | Image data processing apparatus, image data processing method, and image data processing program | |
| US8213706B2 (en) | Method and system for real-time visual odometry | |
| US8588471B2 (en) | Method and device of mapping and localization method using the same | |
| CN112785702A (en) | SLAM method based on tight coupling of 2D laser radar and binocular camera | |
| US20160063717A1 (en) | Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and program therefor | |
| US20080177411A1 (en) | Method and apparatus for localizing and mapping the position of a set of points on a digital model | |
| WO2020051923A1 (en) | Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device | |
| JP2009193240A (en) | Mobile robot and method for generating environment map | |
| US20210183100A1 (en) | Data processing method and apparatus | |
| KR20140003987A (en) | Slam system for mobile robot based on vision sensor data and motion sensor data fusion | |
| JP2017090239A (en) | Information processing device, control method, program, and storage media | |
| JP6333396B2 (en) | Method and apparatus for measuring displacement of mobile platform | |
| CN105844692A (en) | Binocular stereoscopic vision based 3D reconstruction device, method, system and UAV | |
| CN112254729A (en) | Mobile robot positioning method based on multi-sensor fusion | |
| CN111862214A (en) | Computer equipment positioning method and device, computer equipment and storage medium | |
| CN112506200A (en) | Robot positioning method, device, robot and storage medium | |
| JP2018206038A (en) | Point group data processing device, mobile robot, mobile robot system, and point group data processing method | |
| KR101502071B1 (en) | Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same | |
| Yang et al. | Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera | |
| Wang et al. | Micro aerial vehicle navigation with visual-inertial integration aided by structured light | |
| JP2021047744A (en) | Information processing device, information processing method and information processing program | |
| Vintervold | Camera-based integrated indoor positioning | |
| KR102084756B1 (en) | Biometric authentication system and method based on resting state eeg |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180219 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190226 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20200224 Year of fee payment: 6 |