KR101601726B1 - Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices - Google Patents

Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices Download PDF

Info

Publication number
KR101601726B1
KR101601726B1 KR1020140030174A KR20140030174A KR101601726B1 KR 101601726 B1 KR101601726 B1 KR 101601726B1 KR 1020140030174 A KR1020140030174 A KR 1020140030174A KR 20140030174 A KR20140030174 A KR 20140030174A KR 101601726 B1 KR101601726 B1 KR 101601726B1
Authority
KR
South Korea
Prior art keywords
image
information
mobile terminal
attitude
orientation
Prior art date
Application number
KR1020140030174A
Other languages
Korean (ko)
Other versions
KR20150107970A (en
Inventor
이임평
최경아
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020140030174A priority Critical patent/KR101601726B1/en
Publication of KR20150107970A publication Critical patent/KR20150107970A/en
Application granted granted Critical
Publication of KR101601726B1 publication Critical patent/KR101601726B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Abstract

본 발명은 모바일 단말기의 위치 및 자세 결정 방법 및 시스템에 관한 것이다.
본 발명은 복수의 영상 획득 장치를 포함하는 모바일 단말기; 및 상기 복수의 영상 획득 장치에서 획득한 복수의 영상에 대하여 번들 조정에 따른 지오레퍼런싱 기반으로 하여, 모바일 단말기의 초기 위치 정보와 자세 정보를 보정하여 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하는 위치 자세 결정 서버를 포함하여 구성되며, 상기 위치 자세 결정 서버는 상기 복수의 영상 획득 장치 중 동일한 영상 획득 장치의 영상끼리 또는 다른 영상 획득 장치의 영상끼리 또는 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로 추출하고, 상기 매칭된 영상에 대해 번들조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 자세 정보를 보정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템을 개시하며, 본 발명에 의하여 실내외에 따른 장소적 제약없이 보다 정확한 위치 및 자세 정보를 획득할 수 있고, 더 나아가 고품질의 길 안내 서비스나 추가적 지리 정보 제공, 증강현실 서비스 등의 위치 기반 서비스를 가능하게 하는 효과를 갖는다.The present invention relates to a method and system for determining the position and attitude of a mobile terminal.
The present invention relates to a mobile terminal including a plurality of image acquisition devices; And a controller for correcting initial position information and attitude information of the mobile terminal based on a georeferencing based on bundle adjustment for a plurality of images acquired by the plurality of image acquisition devices, Wherein the position and orientation determination server compares the images of the same image acquiring device among the plurality of image acquiring devices or the images of other image acquiring devices or the retrieved georeferenced images with each other And extracting the coordinates of the image point corresponding to the position of the matched image as a conjugate point, and correcting the initial position information and the attitude information by performing a georeferencing process according to the bundle adjustment on the matched image A system for determining a position and an attitude of a mobile terminal is disclosed. According to the present invention, It is possible to obtain a more accurate position and attitude information without place constraints due, and has a further high-quality navigation services or additional geographical information provided, the effect of enabling location-based services, such as augmented reality service.

Description

복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템 {Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices}The present invention relates to a method and system for determining a position and an attitude of a mobile terminal including a plurality of image acquisition devices,

본 발명은 모바일 단말기의 위치 및 자세 결정 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 모바일 단말기에 포함되는 복수의 영상 획득 장치로부터 획득한 영상 및 모바일 단말기 자체 또는 네트워크 상의 서버에서 미리 구축된 지오레퍼런싱된 기준 영상 데이터베이스를 이용하여 모바일 단말기의 위치 및 자세에 대한 정보를 보다 정밀하게 결정할 수 있는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for determining a position and an attitude of a mobile terminal, and more particularly, to a method and system for determining a position and an attitude of a mobile terminal by using images acquired from a plurality of image acquisition devices included in a mobile terminal, And more particularly, to a method and system for determining a position and an attitude of a mobile terminal that can more precisely determine information about a position and an attitude of the mobile terminal using a single reference image database.

최근 들어 위치 기반 서비스(Location Based Service, LBS)에 대한 관심이 폭발적으로 증가하고 있다. 특히 스마트폰 등 모바일 단말기의 사용자가 크게 증가하면서, 모바일 단말기에 위치 기반 서비스를 접목하기 위한 다양한 시도가 이루어 지고 있으며, 예를 들어 지도 정보와 위치 기반 서비스를 결합한 길 안내 서비스나 증강 현실(argumented reality) 서비스 등 부가 정보 제공을 위한 시스템에 대한 요구가 크게 증가하고 있다.In recent years, there has been an explosion of interest in location based services (LBS). In particular, as users of mobile terminals, such as smart phones, have increased in popularity, various attempts have been made to incorporate location-based services into mobile terminals. For example, ) Service and the like for the provision of additional information.

그런데, 종래 기술에 따를 경우 위치 기반 서비스(LBS)의 기반이 되는 위치 및 자세 정보의 정확도는 미흡한 수준에 그치고 있다. 위치 정보(Location Infromation) 획득을 위하여 통상적으로 많이 이용되는 GPS(Global Positioning System)는 그 오차가 10m 이상까지 커질 수 있고, 또한 위성 신호를 수신하기 어려운 실내에서는 더욱 그 위치 정보의 정확도가 떨어질 수 밖에 없게 된다. 자세 정보(Attitude Information)의 경우도 이와 별반 다를 바 없어서, 단말기 별로 구비되는 자이로 센서, 가속도 센서, 지자기 센서 등을 이용하여 자세 정보를 획득할 수 있으나 그 정확도가 미흡하고, 또한 기기에 따라서는 이를 구비하지 않은 경우도 많아 적절한 위치 및 자세 정보를 기반으로 하는 위치 기반 서비스를 활성화함에 있어 난점으로 꼽힌다.However, according to the related art, the accuracy of the position and attitude information, which is the basis of the location-based service (LBS), is still insufficient. GPS (Global Positioning System), which is commonly used for obtaining location information, can increase the error to 10 m or more, and the accuracy of the position information is further deteriorated in a room where satellite signals are difficult to receive I will not. Attitude information is not different from the above, and attitude information can be obtained by using a gyro sensor, an acceleration sensor, a geomagnetic sensor, etc. provided for each terminal, but the accuracy thereof is insufficient, It is difficult to activate location based services based on appropriate location and attitude information.

이에 대하여, 카메라 등 영상 획득 장치를 이용하여 영상을 획득하고, 미리 지오레퍼런싱되어 저장된 영상 데이터베이스와 비교하여 단말기의 위치 및 자세 정보의 정확성을 개선하려는 연구가 진행되고 있다. "연속 번들 조정을 이용한 스마트폰의 위치 자세 결정" (한국지형공간정보학회 2012 추계학술대회논문집 185-186쪽)에서는 하나의 카메라로 획득한 영상을 활용하여 보다 정밀한 스마트폰의 위치 및 자세 정보를 획득하는 방법에 대하여 기술하고 있다. 그러나, 이와 같은 경우, 카메라의 방향에 따라서는 스마트폰의 위치 및 자세 정보를 산출할 수 있는 적절한 영상을 획득하지 못할 수도 있고, 더 나아가, 영상을 획득한다 하더라도 단일 영상만을 기준으로 위치 및 자세 정보를 산출하는 경우에는 단일 영상이 커버하는 영역에서만 기준점을 추출하게 되고, 카메라 내부특성변수가 갖는 부정확함이 위치 및 자세 결정에 있어서도 부정확함을 유발하는 등 상황에 따라 그 오차가 커질 가능성이 있다.On the other hand, studies have been made to improve the accuracy of the position and attitude information of a terminal by acquiring images using an image acquisition device such as a camera and comparing the images with the image database stored in advance as a georeferencing method. "Determination of Position of Smartphone Using Continuous Bundle Adjustment" (Korean Society of Geospatial Information Science, 2012 Fall Conference Proceedings, pp. 185-186), using the images acquired by one camera, And a method of acquiring the information. However, in such a case, depending on the direction of the camera, an appropriate image capable of calculating the position and attitude information of the smartphone may not be obtained. Further, even if the image is acquired, The reference point is extracted only in a region covered by a single image, and the error may be increased according to circumstances such as inaccuracies in a camera internal characteristic parameter are inaccurate in determining a position and an attitude.

따라서, 보다 높은 수준의 위치 기반 서비스를 위하여, 실내외 등 장소의 제약없이 보다 정확한 위치 및 자세 정보를 획득할 수 있는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템이 요구되고 있으나, 아직 이에 대한 적절한 해법이 제시되지 못하고 있다.Accordingly, there is a need for a method and system for determining the position and attitude of a mobile terminal that can acquire more precise position and attitude information without restriction of places such as indoor and outdoor for a higher level of location-based service. It is not presented.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 창안된 것으로, 스마트폰 등의 모바일 단말기에서 실내외 등 장소의 제약없이 보다 정확한 위치 및 자세 정보를 획득할 수 있는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템을 제공하는 것을 목적으로 한다.Disclosure of Invention Technical Problem [8] The present invention has been made in order to solve the problems of the related art as described above, and it is an object of the present invention to provide a position and attitude determination method of a mobile terminal capable of obtaining more accurate position and attitude information, And a system.

상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 모바일 단말기의 위치 및 자세 결정 시스템은 복수의 영상 획득 장치를 포함하는 모바일 단말기; 및 상기 복수의 영상 획득 장치에서 획득한 복수의 영상에 대하여 번들 조정에 따른 지오레퍼런싱 기반으로 하여, 모바일 단말기의 초기 위치 정보와 자세 정보를 보정하여 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하는 위치 자세 결정 서버를 포함하여 구성되며, 상기 위치 자세 결정 서버는 상기 복수의 영상 획득 장치 중 동일한 영상 획득 장치의 영상끼리 또는 다른 영상 획득 장치의 영상끼리 또는 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로 추출하고, 상기 매칭된 영상에 대해 번들조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 자세 정보를 보정하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a system for determining a position and an attitude of a mobile terminal, including: a mobile terminal including a plurality of image acquisition devices; And a controller for correcting initial position information and attitude information of the mobile terminal based on a georeferencing based on bundle adjustment for a plurality of images acquired by the plurality of image acquisition devices, Wherein the position and orientation determination server compares the images of the same image acquiring device among the plurality of image acquiring devices or the images of other image acquiring devices or the retrieved georeferenced images with each other And extracting the image point coordinates corresponding to the position of the matched image as a conjugate point and performing a georeferencing process according to the bundle adjustment on the matched image to correct the initial position information and the attitude information .

여기서, 상기 복수의 영상 획득 장치는 상기 모바일 단말기의 전면과 후면에 위치할 수 있다.Here, the plurality of image acquisition devices may be located on the front and back sides of the mobile terminal.

여기서, 상기 복수의 영상 획득 장치로서, 서로 평행하지 않은 광학축을 가지는 2개 이상의 영상 획득장치를 구비할 수 있다.Here, the plurality of image acquiring apparatuses may include two or more image acquiring apparatuses having optical axes that are not parallel to each other.

또한, 상기 모바일 단말기의 초기 위치 정보와 자세 정보는 상기 복수의 영상 획득 장치에서 획득한 초기 영상을 기초로 하여 산출될 수 있다.In addition, the initial position information and attitude information of the mobile terminal can be calculated based on the initial images acquired by the plurality of image acquisition devices.

또한, 상기 모바일 단말기는 위치 또는 자세 관련 센서를 더 포함하고, 상기 위치 자세 결정 서버는 상기 위치 또는 자세 관련 센서에서 측정한 정보를 함께 고려하여 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정할 수 있다.Also, the mobile terminal may further include a position or attitude-related sensor, and the position and orientation determination server may determine final position information and attitude information of the mobile terminal by considering information measured by the position or attitude-related sensor .

또한, 상기 위치 또는 자세 관련 센서에서 측정한 정보를 기초로 상기 모바일 단말기의 초기 위치 정보와 자세 정보를 결정할 수 있다.In addition, the initial position information and the posture information of the mobile terminal can be determined based on the information measured by the position or attitude sensor.

또한, 상기 모바일 단말기와 위치 자세 결정 서버는 통신 네트워크를 통하여 연동될 수 있다.Also, the mobile terminal and the position / orientation determining server may be interworked through a communication network.

또한, 상기 위치 자세 결정 서버는 상기 모바일 단말기와 일체형으로 구성될 수 있다.In addition, the position and orientation determination server may be integrated with the mobile terminal.

또한, 상기 위치 자세 결정 서버는, 상기 위치 또는 자세 관련 센서에서 측정된 정보를 기초로 상기 모바일 단말기의 초기 위치 정보 또는 초기 자세 정보를 결정하는 초기 위치자세 결정 모듈; 지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라의 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 영상 데이터베이스; 상기 영상 데이터베이스로부터 영상 획득 장치가 획득한 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 영상 검색 모듈; 동일한 영상 획득 장치의 영상끼리 또는 다른 영상 획득 장치의 영상끼리 또는 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상 매칭 모듈; 및 상기 영상 데이터베이스를 참조해 상기 공액점에 대응되는 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 상기 자세 정보를 보정하는 위치 자세 조정 모듈을 포함하여 구성될 수 있다.The position and orientation determination server may include an initial position / orientation determination module that determines initial position information or initial position information of the mobile terminal based on information measured by the position or orientation sensor; An image database storing a reference georeferencing image in which the position and attitude of each camera at the time of acquiring an image acquired through georeferencing is specified; An image retrieval module for retrieving a reference georeferencing image including an image similar to the image acquired by the image acquisition device from the image database; An image matching module for comparing the images of the same image acquiring device or images of other image acquiring devices or the retrieved georeferenced images and extracting the image point coordinates corresponding to the positions of the matched images as conjugate points; And performing a georeferencing process according to the bundle adjustment on the matched image to determine final position information and attitude information of the mobile terminal corresponding to the conjugation point with reference to the image database, And a position / orientation adjusting module for correcting the posture information.

또한, 상기 위치 자세 조정 모듈은 상기 초기 위치 정보 또는 초기 자세 정보와, 상기 영상 추출 모듈로부터 산출된 공액점의 영상 좌표를 함께 이용하여 번들 조정을 수행함으로써 상기 최종 위치 정보와 자세 정보를 결정할 수 있다.The position / orientation adjusting module may determine the final position information and the attitude information by performing bundle adjustment using the initial position information or the initial position information together with the image coordinates of the conjugate point calculated from the image extracting module.

또한, 상기 위치 또는 자세 관련 센서에서 측정한 정보는 GPS 모듈에서 측정한 위치 데이터, 컴파스 모듈에서 측정한 방향 데이터, 자이로 센서에서 측정한 자세 데이터, 또는 가속도 센서에서 측정한 가속도 데이터 중 하나 이상을 포함할 수 있다.The information measured by the position or attitude-related sensor includes at least one of position data measured by the GPS module, direction data measured by the compass module, attitude data measured by the gyro sensor, or acceleration data measured by the acceleration sensor can do.

또한, 상기 영상 매칭 모듈은 복수의 영상 획득 장치가 획득한 영상의 두 영상씩을 비교하여 산출한 하나 이상의 공액점과, 복수의 영상 획득 장치가 획득한 영상과 상기 검색된 기준 지오레퍼런싱 영상을 서로 비교한 하나 이상의 공액점을 산출하고, 추출된 복수의 공액점에 의한 번들이 가장 작은 오차를 가지면서 지상의 한 객체점에서 만나도록 하는 신뢰성있는 공액점을 추출할 수 있다.The image matching module compares one or more conjugate points calculated by comparing two images of the image acquired by the plurality of image acquisition devices with each other and the acquired image of the plurality of image acquisition devices and the reference reference reflection reference image It is possible to calculate one or more conjugate points and to extract a reliable conjugate point such that bundles by the extracted plurality of conjugate points meet at an object point on the ground with the smallest error.

또한, 상기 모바일 단말기는 상기 최종 위치 정보 또는 상기 자세 정보를 기초로 다른 서버와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시할 수 있다.Also, the mobile terminal can communicate with another server based on the final position information or the posture information, and receive the service information related to the corresponding position or posture, and display the corresponding information on the map of the screen.

본 발명의 다른 측면에 따른 모바일 단말기의 위치 및 자세 결정 방법은 (a) 위치 자세 결정 서버에서 모바일 단말기가 획득한 복수의 영상 획득 장치의 영상을 수신하는 단계; 및 (b) 상기 위치 자세 결정 서버에서 상기 복수의 영상 획득 장치의 영상에 대하여 번들 조정에 따른 지오레퍼런싱 기반으로 상기 모바일 단말기의 초기 위치 정보와 자세 정보를 보정하여 상기 모바일 단말기의 위치 정보와 자세 정보를 산출하고 상기 모바일 단말기로 피드백하는 단계를 포함하며, 상기 위치 자세 결정 서버는 상기 복수의 영상 획득 장치 중 동일한 영상 획득 장치의 영상끼리 또는 다른 영상 획득 장치의 영상끼리 또는 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로 추출하고, 상기 매칭된 영상에 대해 번들조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 자세 정보를 보정하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for determining a position and an attitude of a mobile terminal, the method comprising: (a) receiving an image of a plurality of image acquisition devices acquired by a mobile terminal at a position and orientation determination server; And (b) correcting the initial position information and the attitude information of the mobile terminal based on the georeferencing based on the bundle adjustment of the images of the plurality of image acquiring apparatuses by the position and orientation determining server, Wherein the position and orientation determination server determines whether or not the images of the same image acquiring device among the plurality of image acquiring devices, images of other image acquiring devices, And the geometric coordinates corresponding to the positions of the matched images are extracted as conjugate points, and the initial position information and the attitude information are corrected by performing a georeferencing process according to the bundle adjustment on the matched images .

여기서, 상기 (a) 단계에서, 위치 자세 결정 서버가 위치 또는 자세 관련 센서 정보도 함께 수신하며, 상기 (b) 단계에서, 상기 위치 또는 자세 관련 센서 정보를 함께 고려하여 상기 모바일 단말기의 위치 정보와 자세 정보를 결정할 수 있다.Here, in the step (a), the position and orientation determination server also receives the position or attitude-related sensor information, and in the step (b), the position information of the mobile terminal The posture information can be determined.

또한, 상기 (b) 단계는, (b1) 지오레퍼런싱을 통해 획득되어 영상 취득 시의 각 카메라의 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 영상 데이터베이스를 참조하여 영상 획득 장치의 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 단계; (b2) 동일한 영상 획득 장치의 영상끼리 또는 다른 영상 획득 장치의 영상끼리 또는 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 단계; 및 (b3) 상기 영상 데이터베이스를 참조해 상기 공액점에 대응되는 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 상기 자세 정보를 보정하는 단계를 포함할 수 있다.The step (b) includes the steps of: (b1) referring to an image database obtained by georeferencing and storing a reference georeferencing image in which the position and posture of each camera at the time of image acquisition is specified, Searching for a reference georeferencing image including an image similar to that of the reference georeferencing image; (b2) comparing the images of the same image capturing device or images of other image capturing devices or the retrieved georeferenced images, and extracting the image point coordinates corresponding to the positions of the matched images as conjugate points; And (b3) performing a georeferencing process according to the bundle adjustment on the matched image in order to determine final position information and attitude information of the mobile terminal corresponding to the conjugation point with reference to the image database, And correcting the position information and the posture information.

본 발명의 또 다른 측면에 따른 모바일 단말기의 위치 및 자세 결정 장치는 복수의 영상 획득 장치; 위치 및 자세 관련 센서 정보를 측정하는 센서 모듈; 상기 위치 및 자세 관련 센서 정보를 기초로 초기 위치 정보와 자세 정보를 결정하는 초기 위치 자세 결정 모듈; 지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 영상 데이터베이스; 상기 영상 데이터베이스를 참조하여 상기 영상 획득 장치의 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 검색 모듈; 동일한 영상 획득 장치의 영상끼리 또는 다른 영상 획득 장치의 영상끼리 또는 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상매칭 모듈; 및 상기 영상 데이터베이스를 참조해 상기 공액점에 대응되는 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 상기 자세 정보를 보정하는 위치 자세 조정 모듈을 포함하는 것을 특징으로 한다.According to another aspect of the present invention, an apparatus for determining a position and a posture of a mobile terminal includes: a plurality of image acquisition devices; A sensor module for measuring position and orientation sensor information; An initial position and orientation determining module for determining initial position information and orientation information based on the position and orientation sensor information; An image database in which a reference georeferencing image in which each camera position and posture at the time of image acquisition obtained through georeferencing is specified is stored in advance; A retrieval module for retrieving a reference georeference image including an image similar to the image of the image acquisition device with reference to the image database; An image matching module for comparing the images of the same image acquiring device or images of other image acquiring devices or the retrieved georeferenced images and extracting the image point coordinates corresponding to the positions of the matched images as conjugate points; And performing a georeferencing process according to a bundle adjustment on the matched image in order to determine final position information and attitude information of the mobile terminal corresponding to the conjugation point with reference to the image database, And a position / orientation adjusting module for correcting the posture information.

본 발명에 따르면, 모바일 단말기에 포함되는 복수의 영상 획득 장치로부터 획득된 영상과 지오레퍼런싱된 기준 영상 데이터베이스를 이용하여 모바일 단말기의 위치 및 자세에 대한 정보를 보다 정밀하게 결정함으로써, 실내외에 따른 장소적 제약없이 보다 정확한 위치 및 자세 정보를 획득할 수 있고, 더 나아가 고품질의 길 안내 서비스나 추가적 지리 정보 제공, 증강현실 서비스 등의 위치 기반 서비스를 가능하게 하는 효과를 가진다.According to the present invention, information on the position and attitude of the mobile terminal is determined more precisely by using the image obtained from the plurality of image acquisition devices included in the mobile terminal and the georeferenced reference image database, It is possible to acquire more precise position and attitude information without constraining the location, furthermore, it has the effect of enabling location based service such as high quality road guidance service, additional geographical information provisioning, and augmented reality service.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 예시도이다.
도 5는 종래 기술에 따른 영상 획득 장치를 이용한 모바일 단말기의 위치 및 자세 결정 방법의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법의 예시도이다.
도 7은 종래 기술에 따른 영상 획득 장치를 이용한 모바일 단말기의 내부특성변수에 따른 위치 및 자세 결정 방법의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 내부특성변수에 따른 위치 및 자세 결정 방법의 예시도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of the specification, illustrate embodiments of the invention and, together with the description, serve to explain the principles of the invention.
1 is a configuration diagram of a position and orientation determination system of a mobile terminal including a plurality of image acquisition devices according to an embodiment of the present invention.
2 is a block diagram of a position and orientation determination system for a mobile terminal including a plurality of image acquisition devices according to an embodiment of the present invention.
3 is a flowchart illustrating a method of determining a position and an attitude of a mobile terminal including a plurality of image capturing apparatuses according to an exemplary embodiment of the present invention.
4 is an illustration of a mobile terminal including a plurality of image acquisition devices according to an embodiment of the present invention.
5 is a view illustrating an example of a method of determining a position and an attitude of a mobile terminal using an image capturing apparatus according to the related art.
6 is a view illustrating an example of a method of determining a position and an attitude of a mobile terminal including a plurality of image capturing apparatuses according to an embodiment of the present invention.
7 is an exemplary view illustrating a method of determining a position and an attitude according to an internal characteristic parameter of a mobile terminal using an image capturing apparatus according to the related art.
8 is an exemplary view illustrating a method of determining a position and an attitude according to an internal characteristic parameter of a mobile terminal including a plurality of image capturing apparatuses according to an exemplary embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments will be described in detail below with reference to the accompanying drawings.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components are not limited by the terms, and the terms are used only for the purpose of distinguishing one component from another Is used.

본 발명은, 종래 기술의 경우 모바일 단말기의 위치 및 자세 정보를 획득함에 있어, GPS를 이용하여 위치 정보를 획득하는 경우에는 그 오차가 10m 이상까지 커질 수 있고, 또한 실내에서는 더욱 그 위치 정보의 정확도가 떨어질 수 있으며, 자세 정보 획득의 경우에도 단말기 별로 구비되는 자이로 센서, 가속도 센서, 지자기 센서 등을 이용하여 자세 정보를 획득할 수 있으나 그 정확도가 미흡하고, 또한 기기에 따라서는 이를 구비하지 않은 경우도 많아 위치 기반 서비스를 활성화하기 어려우며, 이를 해결하기 위하여 하나의 영상 획득 장치를 이용하여 영상을 획득하고, 미리 지오레퍼런싱되어 저장된 영상 데이터베이스와 비교하여 단말기의 위치 및 자세 정보의 정확성을 개선하려는 시도가 있으나, 하나의 영상 획득 장치로는 적절한 영상을 획득하지 못할 수도 있고, 더 나아가, 영상을 획득한다 하더라도 단일 영상만을 기준으로 위치 및 자세 정보를 산출하는 경우에는 상황에 따라 그 오차가 커질 수 있다는 문제점을 가진다.According to the present invention, in the case of acquiring the position and orientation information of the mobile terminal in the related art, when the position information is acquired using GPS, the error can be increased to 10 m or more, and furthermore, Attitude information can be obtained by using a gyro sensor, an acceleration sensor, a geomagnetic sensor, etc., which are provided for each terminal in the case of attitude information acquisition. However, if the accuracy is not sufficient, It is difficult to activate the location based service. In order to solve this problem, it is necessary to acquire an image using one image acquiring device and to improve the accuracy of position and attitude information of the terminal by comparing with a previously stored image database Although there is an attempt, one image acquiring device acquires an appropriate image May not, and further, even if the image obtained when calculating the position and posture information is based on only a single image has a problem that the error may become large depending on the situation.

따라서 본 발명에서는 이러한 문제점에 착안하여, 모바일 단말기에 포함되는 복수의 영상 획득 장치로부터 획득된 영상과 지오레퍼런싱된 기준 영상 데이터베이스를 이용하여 모바일 단말기의 위치 및 자세에 대한 정보를 보다 정밀하게 결정함으로써, 실내외에 따른 장소적 제약없이 보다 정확한 위치 및 자세 정보를 획득할 수 있는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템을 개시하는 것을 특징으로 한다.Therefore, in the present invention, attention is paid to the above problem and the information about the position and the posture of the mobile terminal is determined more precisely using the image obtained from the plurality of image acquisition devices included in the mobile terminal and the georeferenced reference image database The present invention is directed to a method and system for determining a position and an attitude of a mobile terminal capable of acquiring more precise position and attitude information without constraining a position according to indoor and outdoor conditions.

도 1은 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템(100)의 구성도이다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템(100)은 모바일 단말기(110)와 위치 자세 결정 서버(120)를 포함하여 구성될 수 있으며, 더 나아가 상기 모바일 단말기(110)와 위치 자세 결정 서버(120) 사이의 데이터를 전송하기 위한 통신 네트워크(130) 및 모바일 단말기(110)의 위치나 자세와 관련된 위치 정보 서비스(Location Based Service, LBS)를 제공하기 위한 위치 정보 서비스 서버(140)가 포함될 수 있다.FIG. 1 is a configuration diagram of a system 100 for determining a position and orientation of a mobile terminal including a plurality of image capturing apparatuses according to an embodiment of the present invention. 1, a system 100 for determining a position and orientation of a mobile terminal including a plurality of image acquisition apparatuses according to an embodiment of the present invention includes a mobile terminal 110 and a position and orientation determination server 120, And further includes a communication network 130 for transmitting data between the mobile terminal 110 and the position and orientation decision server 120 and position information related to the position and posture of the mobile terminal 110 And a location information service server 140 for providing a location based service (LBS).

아래에서는, 상기 각 부분 별로 나누어 자세하게 살핀다. 먼저, 모바일 단말기(110)에 대하여 살핀다. 상기 모바일 단말기(110)는 통신 네트워크(130)(예를 들어, 인터넷)에 접속하여 데이터 서비스를 이용할 수 있는 단말기로서, 아이폰, 안드로이드폰 등의 스마트폰(Smart phone) 또는 아이패드, 갤럭시탭 등의 스마트패드(Smart pad) 또는 구글글래스와 같은 착용형 장치(wearable devices)일 수 있고, 또한 이에 한정되는 않고, 통신 네트워크(130)를 통해 통신할 수 있는 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone: Personal Communications Services phone), 무선 통신이 가능한 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000), 개인용 디지털 보조기(PDA:Personal Digital Assistant), 왑폰(WAP phone:Wireless application protocol phone), 모바일 게임기(mobile play-station), 기타 PMP(Portable Multimedia Player) 등의 휴대용 또는 이동 단말일 수 있으며, 노트북 PC, 데스크탑 PC, 팜 PC(Palm Personal Computer) 등일 수도 있고, 경우에 따라서는 다른 전자 기기와 통신할 수 있는 가정용 또는 기업용 사회 전반의 다양한 전자 기기 또는 장치를 포함할 수도 있다.In the following, each of the above sections is divided into detailed sections. First, the mobile terminal 110 is looked at. The mobile terminal 110 includes a smart phone such as an iPhone or an Android phone or a smart phone such as an iPad or a Galaxy Tab or the like capable of accessing a data service by accessing a communication network 130 Such as, but not limited to, a smart pad or wearable devices such as Google Glass, a cellular phone capable of communicating over the communication network 130, (PCS) phone, a synchronous / asynchronous International Mobile Telecommunication-2000 (IMT-2000), a personal digital assistant (PDA), a wireless application protocol phone (WAP) A mobile game terminal, a mobile game terminal, a portable game terminal, a mobile game terminal, and a portable multimedia player (PMP), and may be a notebook PC, a desktop PC, a Palm Personal Computer And, in some cases, it may also include other electronic devices, and various electronic devices or apparatus for home or enterprise-wide community to communicate.

모바일 단말기(110)는 위치 자세 결정 서버(120)에서 정밀하게 산출되어 피드백된 최종 위치 정보(위도, 경도, 고도 등) 또는 자세 정보(전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 등의 회전각 정보)를 기초로 통신 네트워크(130)에 연결된 위치 정보 서비스 서버(140)와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시할 수 있게 된다. 예를 들어, 모바일 단말기(110)는 종래의 내비게이션 시스템보다 좀 더 정교한 길 안내 서비스를 제공할 수 있으며, 좀 더 정교하게 해당 자세에 맞는 (가상) 영상을 합성하는 증강 현실 서비스가 가능하고, 기타 모바일 단말기(110)의 정교한 위치와 자세에 맞는 다양한 추가적 정보의 제공이 가능해진다.The mobile terminal 110 transmits the final position information (latitude, longitude, altitude, etc.) or attitude information (forward direction (Roll axis direction), right direction in the forward direction Axis direction), gravity direction (Yaw axis direction), and the like), and receives service information related to the position or attitude of the position information service server 140, The information can be displayed on the map. For example, the mobile terminal 110 can provide a more elaborate guidance service than the conventional navigation system, and it is possible to provide an augmented reality service that synthesizes images (virtual) It becomes possible to provide various additional information corresponding to the sophisticated position and posture of the mobile terminal 110.

다음으로, 위치 자세 결정 서버(120)에서는 상기 모바일 단말기(110)로부터 위치 및 자세를 판별하기 위한 영상 및 센서 정보를 통신 네트워크(130)를 통하여 전달받아, 이를 이용하여 보다 정밀한 위치 및 자세 정보를 산출하고, 이를 다시 모바일 단말기(110)로 전달하게 된다. 필요에 따라서는 상기 정보를 위치 정보 서비스 서버(140)에 전달할 수도 있다.Next, the position and orientation determination server 120 receives the image and sensor information for determining the position and the posture from the mobile terminal 110 via the communication network 130, and uses the information to obtain more accurate position and attitude information And transmits it to the mobile terminal 110 again. And may transmit the information to the location information service server 140 as needed.

그런데, 상기 카메라(112) 등 영상 획득 장치가 하나만 사용되는 경우를 고려해 보면, 카메라(112)의 방향에 따라서는 모바일 단말기(110)의 위치 및 자세 정보를 산출할 수 있는 적절한 영상을 획득하지 못할 수도 있고, 더 나아가, 영상을 획득한다 하더라도 단일 영상만을 기준으로 위치 및 자세 정보를 산출하는 경우에는 단일 영상이 커버하는 영역에서만 기준점을 추출하게 되고, 카메라 내부특성변수가 갖는 부정확성에 의하여 위치 및 자세 결정에 있어서도 그 오차가 커질 수가 있다. 이에 따라, 본 발명에서는 복수의 영상 획득 장치를 포함하도록 함으로써, 위치 및 자세 정보 산출을 위한 영상 획득 가능성을 높이고, 다양한 방향에서 획득한 영상을 함께 고려하여 위치 및 자세 정보를 산출함으로써 오차를 크게 줄일 수 있도록 한다.Considering the case where only one image capturing device such as the camera 112 is used, it is not possible to obtain an appropriate image capable of calculating the position and attitude information of the mobile terminal 110 according to the direction of the camera 112 In the case of calculating the position and attitude information based on only a single image even if the image is acquired, the reference point is extracted only in the region covered by the single image, and the position and attitude The error can also be increased in the determination. Accordingly, by including a plurality of image acquisition apparatuses in the present invention, the possibility of acquiring images for calculating position and attitude information is enhanced, and the position and attitude information are calculated by considering images acquired in various directions, .

다음으로, 상기 통신 네트워크(130)는 인터넷(Wi-Fi포함)일 수도 있지만, 이에 한정되지 않으며 WCDMA(3G 또는 LTE기반의 4G 포함), WiBro 등의 무선 이동 통신망이나, 경우에 따라서는 유선 전화망 등을 포함할 수 있고, 모바일 단말기(110)는 이와 같은 통신 네트워크(130)를 통해 연동하는 위치 자세 결정 서버(120)와 통신하여 자신이 실내 또는 실외에서 획득한 위치 및 자세 관련 정보(센서 정보, 카메라 영상 정보 등)를 전송하고 위치 자세 결정 서버(120)로부터 보다 정밀하게 보정된 위치 및 자세 관련 정보를 피드백 받을 수 있다.Next, the communication network 130 may be the Internet (including Wi-Fi), but is not limited thereto, and may be a wireless mobile communication network such as WCDMA (including 4G based on 3G or LTE), WiBro, And the mobile terminal 110 communicates with the position and orientation determination server 120 interworking through the communication network 130 to acquire position and attitude related information (sensor information , Camera image information, and the like), and receives position and attitude-related information more precisely corrected from the position and orientation determination server 120.

마지막으로, 위치 정보 서비스 서버(140)는 앞서 살핀 바와 같이 상기 모바일 단말기(110)의 위치 및 자세 정보를 활용하여 사용자에게 증강 현실 서비스 등 위치 정보 서비스(LBS)를 제공하기 위한 서버로서 동작하게 된다.Lastly, the location information service server 140 operates as a server for providing a location information service (LBS) such as an augmented reality service to the user by utilizing the location and attitude information of the mobile terminal 110, .

도 2에서는 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템(100)의 블록도를 도시하고 있고, 도 3에서는 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기(110)의 위치 및 자세 결정 방법의 흐름도를 보여주고 있다. 아래에서는 도 2의 모바일 단말기(110) 및 위치 자세 결정 서버(120)의 블록도와 도 3의 흐름도를 참조하여 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템(100)의 동작을 보다 자세하게 살핀다.FIG. 2 shows a block diagram of a system 100 for determining a position and orientation of a mobile terminal including a plurality of image capturing apparatuses according to an embodiment of the present invention. In FIG. 3, And a method of determining the position and attitude of the mobile terminal 110 including the image acquisition device of FIG. 2 is a block diagram of a mobile terminal 110 and a position and orientation determination server 120 of FIG. 2 and a flow chart of FIG. 3. Referring to FIG. 3, the mobile terminal 110 includes a plurality of image acquisition apparatuses according to an exemplary embodiment of the present invention. The operation of the decision system 100 is examined in more detail.

도 2에서 볼 수 있는 바와 같이, 모바일 단말기(110)는 센서 모듈(111), 카메라(112), 및 수집 전송 모듈(113)을 포함하여 구성될 수 있고, 또한 위치 자세 결정 서버(120)는 초기 위치 자세 결정 모듈(121), 영상 데이터베이스(122), 영상 검색 모듈(123), 영상 매칭 모듈(124), 및 위치 자세 조정 모듈(125)을 포함하여 구성될 수 있다.2, the mobile terminal 110 may be configured to include a sensor module 111, a camera 112, and a collection and transmission module 113, and the position and orientation determination server 120 may include And may include an initial position and orientation determining module 121, an image database 122, an image search module 123, an image matching module 124, and a position and orientation adjusting module 125.

먼저, 모바일 단말기(110)에서는, 사용자의 조작에 따라 또는 본 서비스를 위한 소정 어플리케이션의 동작에 따라, 센서 모듈(111)이 위치 및 자세(Position and Attitude, PA) 관련 센서 정보를 측정하고, 카메라(112)가 주변의 영상(복수의 정지 영상 또는 동영상 가능)을 촬영하여 카메라 영상을 생성하며, 수집 전송 모듈(113)이 이와 같은 위치 및 자세(PA) 관련 센서 정보와 카메라 영상(정보)을 수집하여, 위치 자세 결정 서버(120)로 전송한다(도 3의 S310).First, in the mobile terminal 110, the sensor module 111 measures sensor information related to position and attitude (PA) according to a user operation or an operation of a predetermined application for the service, The camera module 112 generates a camera image by photographing a surrounding image (a plurality of still images or a moving image is possible), and the collection and transmission module 113 acquires the sensor information and the camera image And transmits it to the position / orientation determining server 120 (S310 in FIG. 3).

여기서, 센서 모듈(111)이 측정하는 위치 및 자세(PA) 관련 센서 정보는, GPS(Global Position System) 모듈에서 측정한 위치 데이터(위도, 경도, 고도 등), 컴파스(compass) 모듈에서 측정한 방향 데이터(진행되는 방향과 관련된 정보), 자이로 센서에서 측정한 자세 데이터(전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 등의 각속도 증분치와 관련된 회전각 정보), 또는 가속도 센서에서 측정한 가속도 데이터(진행되는 방향의 속도 증분치와 관련된 가속도 정보) 등 일 수 있다.Here, the sensor information related to the position and attitude PA measured by the sensor module 111 includes position data (latitude, longitude, altitude, etc.) measured by a GPS (Global Position System) module, The angular velocity increment (angular velocity) in the forward direction (Roll axis direction), the forward direction (pitch axis direction), and the gravity direction (Yaw axis direction), which are measured by the gyro sensor Or the acceleration data measured by the acceleration sensor (acceleration information related to the velocity increment in the traveling direction), and the like.

이와 같은 위치 및 자세(PA) 관련 센서 정보와 카메라 영상이 모바일 단말기(110)로부터 전송되면, 초기 위치 자세 결정 모듈(121)은 위치 및 자세(PA) 관련 센서 정보를 기초로 모바일 단말기(110)의 초기 외부 표정 요소로서 초기 위치 정보(φ,λ,h)(위도, 경도, 고도 등)와 자세 정보(θRoll, θPitch, θYaw)(전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 등의 회전각 정보)을 결정한다(도 3의 S320).When the position and attitude (PA) -related sensor information and the camera image are transmitted from the mobile terminal 110, the initial position and orientation determining module 121 determines the position and attitude (PA) And the posture information (? Roll ,? Pitch ,? Yaw ) (forward direction (Roll axis direction), right side in the forward direction Direction (pitch axis direction), gravity direction (Yaw axis direction), and the like) (S320 in FIG. 3).

초기 위치 자세 결정 모듈(121)은 위치 및 자세(PA) 관련 센서 정보인, 컴파스 모듈의 방향 데이터, 자이로 센서의 자세 데이터, 가속도 센서의 가속도 데이터 등을 소정 항법 방정식에 적용하여 속도를 추정하고 위치 정보와 자세 정보를 결정할 수 있으며, 구비된 칼만 필터 등을 이용해 GPS 모듈의 위치 데이터를 추가적으로 이용하여 모바일 단말기(110)의 초기 외부 표정요소로서 위와 같은 초기 위치 정보(φ,λ,h)(위도, 경도, 고도 등)와 자세 정보(θRoll, θPitch, θYaw)를 결정할 수 있다. 이와 같은 항법 방정식이나 칼만 필터를 이용하여 위치나 자세와 관련된 항법 정보를 추정하는 기술은 잘 알려져 있으므로 자세한 설명은 생략한다.The initial position and orientation determining module 121 estimates the velocity by applying the direction data of the compass module, the attitude data of the gyro sensor, and the acceleration data of the acceleration sensor, which are the sensor information related to the position and attitude PA, to the predetermined navigation equation, (?,?, H) (latitude and longitude) as an initial external facial expression element of the mobile terminal 110 by additionally using the position data of the GPS module using a Kalman filter or the like provided therein, , Hardness, altitude, etc.) and attitude information? Roll ,? Pitch ,? Yaw . The technique of estimating the navigation information related to the position and the posture using such a navigation equation or a Kalman filter is well known, so a detailed description will be omitted.

나아가, 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템(100)이 반드시 상기 위치 및 자세 관련 센서를 구비하여야 하는 것은 아니다. 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템(100)이 위치 및 자세 관련 센서를 구비하지 않는 경우에는 구동 초기에 영상 획득 장치를 이용하여 영상을 촬영한 후, 영상 데이터베이스(122)에서 상기 영상과 같은 영역을 포함하는 영상을 검색하여 이로부터 기준점을 추출하고 싱글 포토 리섹션(single photo resection)을 수행하는 등의 방법으로 초기 위치 정보와 초기 자세 정보를 결정할 수도 있다. 반면, 그 다음부터 취득하는 영상에 대해서는 이와 같은 과정을 수행하지 않고 첫 영상에 의한 초기 위치 정보 및 자세 정보와의 상대적인 관계를 이용하여 초기 위치 정보와 초기 자세 정보를 결정할 수 있게 된다.Furthermore, the position and orientation determination system 100 of a mobile terminal including a plurality of image acquisition devices according to an embodiment of the present invention does not necessarily have to include the position and orientation sensors. If the position and orientation determination system 100 of a mobile terminal including a plurality of image acquisition devices according to an embodiment of the present invention does not have a position and orientation sensor, After photographing, an image including an area such as the image is retrieved from the image database 122, a reference point is extracted from the image, and a single photo resection is performed. Information may also be determined. On the other hand, the initial position information and the initial posture information can be determined by using the relative relationship between the initial position information and the posture information by the first image, without performing such a process on the image to be acquired subsequently.

한편, 영상 데이터베이스(122)에는 지오레퍼런싱(georeferencing, 지리참조)을 통해 획득된 영상 취득 시의 각 해당 카메라 위치(φ,λ,h)와 자세(θRoll, θPitch, θYaw)가 태깅(tagging)된 기준 지오레퍼런싱 영상과 각 영상점 좌표(영상점들의 지상 좌표)가 미리 구축되어 저장되어 있으며, 영상 검색 모듈(123)은 영상 데이터베이스(122)를 참조하여 모바일 단말기(110)로부터 수신된 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색한다(도 3의 S330). 영상 데이터베이스(122)에는 위와 같은 영상점 좌표가 저장되어 하기하는 바와 같은 위치 또는 자세 관련 정보의 산출에 유용하게 사용될 수 있지만, 이는 반드시 필요한 것은 아니고 생략 가능하며, 영상에서의 해당 임의의 상대 좌표의 추정으로 대체될 수도 있다.On the other hand, in the image database 122, corresponding camera positions (?,?, H) and postures? Roll ,? Pitch ,? Yaw at the time of image acquisition obtained through georeferencing The image retrieval module 123 refers to the image database 122 and stores the tagged reference georeferencing image and each image point coordinate (ground coordinates of the image points) (S330 in FIG. 3). The reference georeferencing image includes an image similar to the camera image received from the camera. The above-mentioned image point coordinates are stored in the image database 122 and can be usefully used for calculating the position or attitude-related information as described below. However, this is not necessarily required but may be omitted. May be replaced by estimates.

지오레퍼런싱은 멀티센서(GPS(Global Positioning System), IMU(Inertial Measurement Unit), 디지털 카메라, 레이져 스캐너 등)를 이용해 획득된 플랫폼의 위치 및 자세 관련 데이터와 영상 데이터, 또는 지상 기준점 측량을 수행하여 취득된 기준점 측량 성과 등을 이용하여, 영상에 포함된 지상물이나 카메라의 촬영 위치 등의 3차원 지상 좌표 정보를 획득하기 위한 알고리즘이다. 이와 같은 지오레퍼런싱의 가장 효율적인 방법론 중에 하나로써 카메라의 영상과 위치 및 자세 관련 데이터, 지상기준점을 입력으로 AT(Aerial Triangulation)를 수행하는 것이 있다. AT기반의 지오레퍼런싱 과정을 수행하여 위치 및 자세 관련 데이터 등 외부표정요소를 보정해나가며 영상에 포함된 지상물(또는 영상점)의 좌표나 촬영 위치의 위치 및 자세를 추정할 수 있고 해당 촬영 시의 위치 및 자세가 태깅된 지오레퍼런싱된 영상을 획득할 수 있다.Georeferencing performs location and attitude data and image data or platform reference point survey of platforms acquired using multi sensors (Global Positioning System (GPS), Inertial Measurement Unit (IMU), Digital Camera, Laser Scanner, etc.) And acquiring three-dimensional ground coordinate information, such as a ground water contained in the image or a photographing position of the camera, using the obtained reference point measurement results and the like. One of the most efficient methodologies for such georeferencing is to perform aerial triangulation (AT) by inputting camera image, position and attitude data, and ground reference point. It performs the georeferencing process based on AT to correct the external facial elements such as the position and attitude data, and can estimate the coordinates and the position and posture of the ground (or image point) included in the image, It is possible to acquire a georeferenced image in which the position and attitude at the time of shooting are tagged.

이와 같은 지오레퍼런싱(georeferencing, 지리참조)을 통해 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱된 영상이 영상 데이터베이스(122)에 미리 구축되어 저장되며, 영상 검색 모듈(123)은 이와 같은 영상 데이터베이스(122)에서 모바일 단말기(110)의 카메라 영상과 유사한 영상이 포함된 기준 지오레퍼런싱 영상을 검색할 수 있다.A reference georeferenced image in which each camera position and posture at the time of image acquisition is specified is constructed and stored in advance in the image database 122 through such georeferencing (georeferencing), and the image search module 123 Can search for the reference georeferencing image including the image similar to the camera image of the mobile terminal 110 in the image database 122.

영상 매칭 모듈(124)은 모바일 단말기(110)의 동일 카메라 영상끼리 또는 다른 카메라 영상끼리 또는 카메라 영상과 영상 검색 모듈(123)에서 검색된 상기 기준 지오레퍼런싱 영상을 비교해 동일 지상 객체로부터 투영된 다수의 공액점을 추출하게 된다(도 3의 S340). 이때 모바일 단말기(110)가 전송하는 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 서로 비교한 공액점 이외에, 모바일 단말기(110)가 전송하는 2대 이상 카메라(112)의 영상 중, 특정 카메라(112)의 연속된 두 영상을 비교해 매칭된 영상 부분에 대한 하나 이상의 공액점들을 추출할 수 있고, 특정 카메라(112)와 또 다른 카메라(112)의 영상을 비교해 매칭된 영상 부분에 대한 하나 이상의 공액점들을 추출할 수도 있으며, 이와 같이 추출된 공액점에 대하여, 한 객체점에서 투영된 복수의 공액점 쌍을 잇는 직선으로 정의되는 번들(bundle)이 가장 작은 오차로 한 지상 객체점에서 교차하도록 하는 신뢰성있는 공액점이 계산될 수 있다.The image matching module 124 compares the camera images of the same or different camera images of the mobile terminal 110 or the camera images and the reference georeferencing images retrieved from the image retrieval module 123, (S340 in FIG. 3). At this time, among the images of two or more cameras 112 transmitted by the mobile terminal 110, in addition to the confidential points obtained by comparing the camera images transmitted by the mobile terminal 110 with the searched reference reference images, ) To extract one or more conjugate points for the matched image portion and compare the images of the specific camera 112 and another camera 112 to extract one or more conjugation points for the matched image portion And a reliable conjugate point is determined such that a bundle defined by a straight line connecting a plurality of pairs of conjugate points projected at one object point intersects at a ground object point with the smallest error with respect to the conjugate point thus extracted .

예를 들어, 하나의 지상점에 대해 이를 포함하는 모바일 단말기(110)의 카메라(112) 영상과 영상 검색 모듈(123)에서 검색된 기준 지오레퍼런싱 영상이 매칭된 부분의 영상점들은 소정의 공선 방정식으로 정의되는 번들(bundle)이 하나의 지상점에서 교차해야 하는 조건을 만족하여야 한다. 그러나, 동일 지상점이라 하더라도 영상점(공액점) 좌표의 오차로 인해 하나의 해당 지상점에서 만나지 않는 경우가 있으므로, 최소 제곱법(method of least squares)을 이용하여 하나의 지상점에 대한 복수 공선 방정식의 직선들이 가장 오차가 작은 근접 범위에서 만나도록 하는 점을 신뢰성있는 공액점으로 계산할 수 있다.For example, the image points of a part of the camera 112 of the mobile terminal 110 including the ground point and the reference georeferencing image matched with the image retrieval module 123 may include a predetermined collinear line The condition that the bundle defined by the equation must intersect at one ground point must be satisfied. However, even in the case of the same ground point, there is a case where the ground point does not meet at the corresponding ground point due to the error of the coordinate of the image point (conjugate point). Therefore, by using the method of least squares, Lt; RTI ID = 0.0 > closest < / RTI > range with the smallest error can be calculated as a reliable conjugate point.

이와 같이 공액점이 산출되면, 위치 자세 조정 모듈(125)은 공액점을 이용해 해당 공액점을 획득할 수 있는(해당 카메라 영상이 나오게 하는) 최종 외부 표정 요소를 결정하기 위하여, 위와 같이 매칭된 카메라 영상(들) 또는 기준 지오레퍼런싱된 영상(들)(또는 영상의 영상점들) 부분에 대해 초기 위치 자세 결정 모듈(121)이 결정한 초기 외부 표정 요소(초기 위치 정보와 자세 정보)를 보정하여 모바일 단말기(110)의 최종 외부 표정 요소(최종 위치 정보와 자세 정보)를 결정하고(도 3의 S350), 모바일 단말기(110)로 피드백할 수 있다(도 3의 S360). 이때 위치 자세 조정 모듈(125)은 모바일 단말기(110)가 실시간 전송하는 위치 및 자세 관련 센서 정보와 카메라 영상에 대하여 연속적으로 최종 위치 정보와 자세 정보를 결정하여 모바일 단말기(110)로 실시간 피드백하게 된다. 이때 영상 데이터베이스(122)에 저장된 매칭된 해당 부분의 기준 지오레퍼런싱된 영상(영상점들의 지상 좌표 포함)이 참조될 수 있으며, 위치 자세 조정 모듈(125)은 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 초기 외부 표정 요소(초기 위치 정보와 자세 정보)에 대한 보정을 수행하며 해당 영상을 촬영하는 모바일 단말기(110)의 지상 (촬영) 좌표를 정밀하게 추정할 수 있다.When the conjugate point is calculated as described above, the position / orientation adjusting module 125 determines whether or not the matching camera image (s) is included in the matching image, so as to determine the final external facial expression element (Initial position information and attitude information) determined by the initial position and orientation determination module 121 for the portion of the reference image or the reference georeferenced image (s) (or image points of the image) (Final position information and attitude information) of the mobile terminal 110 (S350 in FIG. 3) and feedback to the mobile terminal 110 (S360 in FIG. 3). At this time, the position and orientation adjusting module 125 determines the final position information and the posture information continuously on the position and posture sensor information and the camera image transmitted by the mobile terminal 110 in real time, and feedbacks to the mobile terminal 110 in real time . At this time, the reference georeferenced image (including the ground coordinates of the image points) of the matched corresponding portion stored in the image database 122 may be referred to, and the position / orientation adjusting module 125 may refer to the georeferencing (Initial position information and attitude information) by performing the process of correcting the initial external appearance factor (initial position information and attitude information) and accurately estimating the ground (shooting) coordinates of the mobile terminal 110 that captures the corresponding image.

번들 조정에 따른 지오레퍼런싱은 영상 획득시의 카메라(112), 즉 모바일 단말기(110)의 위치 및 자세를 결정하는 간접적인 방법 중의 하나로서, 영상의 번들조정 기반의 위치 자세 조정 모듈(125)은 확률 제약 조건을 갖는 공선 조건식을 이용한 수학적 모델(Gauss-Markov with Stochastic Constraints 모델)을 이용하고 위와 같이 매칭된 영상(들)(또는 영상의 영상점들) 부분에 대해, 영상 데이터베이스(122)의 각 카메라(112) 위치 및 자세에 대한 기준 지오레퍼런싱된 영상(영상점들의 지상 좌표 포함)을 참조하여, 위와 같은 초기 외부 표정 요소(초기 위치 정보와 자세 정보)에 대해 최소 제곱법(method of least squares)을 적용하여, 위와 같은 수학적 모델의 소정 정규 방정식을 반복 계산함으로써, 최종적으로 수렴되는 최종 외부표정요소(최종 위치 정보와 자세 정보)를 추정할 수 있다. 이와 같이 과정에 따라 위와 같은 수학적 모델에 따른 소정 정규 방정식에서 해당 매칭된 기준 영상 부분에 대해 상기 공액점을 획득할 수 있는 가장 오차가 적은 최종 위치 정보와 자세 정보가 해당 카메라(112) 영상이 나오게 하는 위치 및 자세 정보로서 추정될 수 있다.The georeferencing according to the bundle adjustment is one of indirect methods for determining the position and attitude of the camera 112 at the time of image acquisition, that is, the mobile terminal 110. The position and orientation adjustment module 125 Uses a mathematical model (Gauss-Markov with Stochastic Constraints model) using a collinearity condition with a probability constraint and applies the image data to the image database 122 for the part of the image (s) (Initial position information and posture information) with reference to the reference georeferenced image (including the ground coordinates of the image points) of the position and attitude of each camera 112 of the camera 112 (final position information and attitude information) to be finally converged is calculated by repeatedly calculating a predetermined normal equation of the mathematical model by applying the method of least squares Can. According to the above process, the final position information and attitude information with the smallest error, which can acquire the conjugate point for the corresponding matched reference image part in a predetermined regular equation according to the mathematical model, And can be estimated as position and attitude information.

그런데, 상기와 같은 일련의 과정에 있어, 카메라(112) 등 영상 획득 장치를 하나만 구비하는 경우에는 모바일 단말기(110)의 방향에 따라서는 위치 및 자세 정보 획득을 위한 적절한 영상을 획득하는데 실패할 가능성이 있다. 예를 들어, 후면 카메라(112)를 구비하는 스마트폰의 경우, 후면 카메라가 위치 및 자세 정보를 획득할 수 있는 영상을 포함하지 못하는 방향으로 향하고 있다면, 상당한 시간 동안 영상 획득을 통한 정밀한 위치 및 자세 정보를 산출할 수 없게 된다. 이에 반하여, 후면 카메라에 더하여, 측면 또는 전면에 카메라를 하나 이상 더 구비하고 있는 경우라면, 모바일 단말기(110)의 위치 및 자세 정보 산출이 가능한 영상을 획득할 수 있는 가능성을 크게 높일 수 있게 된다.However, in the case where only one image capturing device such as the camera 112 is provided in the above-described series of processes, there is a possibility of failing to acquire an appropriate image for acquiring position and attitude information depending on the direction of the mobile terminal 110 . For example, in the case of a smart phone having a rear camera 112, if the rear camera is oriented in a direction that does not include an image capable of acquiring position and orientation information, Information can not be calculated. On the other hand, if one or more cameras are provided on the side surface or the front surface in addition to the rear camera, the possibility of obtaining images capable of calculating the position and attitude information of the mobile terminal 110 can be greatly increased.

또한, 앞서 살핀 일련의 과정을 통하여 영상을 획득하고 비교하여 공액점을 추출한 후, 이로부터 보다 정확한 위치 및 자세 정보를 산출함에 있어, 하나의 카메라만을 사용하여 영상을 획득하는 경우와 비교할 때, 다양한 각도에서 영상을 획득하여 위치 및 자세 정보를 산출하는 경우, 그 위치 및 자세 정보의 정확성을 크게 높일 수 있게 된다. 예를 들어, 최근 스마트폰에 많이 구비되고 있는 전면 카메라와 후면 카메라를 이용하여 영상을 획득하고 이로부터 모바일 단말기(110)의 위치 및 자세 정보를 산출하는 경우 그 정확도를 개선할 수 있고, 특히, 후면 카메라 및 측면 카메라와 같이 평행하지 않은 광학축을 갖는 복수개의 카메라를 구비하는 경우, 산출되는 위치 및 자세 정보의 정확성을 크게 높일 수 있게 된다. 또한, 여기서 더 나아가, 상기 카메라를 3개 이상 구비하는 경우에는 위치 및 자세 정보를 보다 더 정확하게 산출할 수 있음은 물론이다.In addition, in order to obtain more precise position and attitude information from the acquired consensus points by acquiring and comparing images through a series of processes described above, compared with the case of acquiring images using only one camera, It is possible to greatly improve the accuracy of the position and attitude information when calculating the position and attitude information. For example, in the case of acquiring an image using a front camera and a rear camera, which are mostly provided in smart phones in recent years, and calculating the position and attitude information of the mobile terminal 110 from the acquired images, the accuracy can be improved. When a plurality of cameras having non-parallel optical axes such as a rear camera and a side camera are provided, the accuracy of the calculated position and attitude information can be greatly increased. In addition, when three or more cameras are provided, the position and attitude information can be more accurately calculated.

도 4에서는 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기(110)의 예시도를 도시하고 있다. 도 4(a)는 전후면에 부착된 2개의 카메라(112)를 포함하는 모바일 단말기(110)를 보여주고 있고, 도 4(b)는 전후면과 양측면에 부착된 4개의 카메라(112)를 포함하는 모바일 단말기(110)를 보여주고 있다.FIG. 4 illustrates an example of a mobile terminal 110 including a plurality of image acquisition devices according to an embodiment of the present invention. Fig. 4 (a) shows a mobile terminal 110 including two cameras 112 attached to the front and rear sides, Fig. 4 (b) shows four cameras 112 attached to front and rear sides and both sides And a mobile terminal 110 including a mobile terminal.

도 4(a)에서와 같이 전후면에 2개의 카메라(112)를 구비하는 모바일 단말기(110)는 하나의 카메라(112)를 구비하는 경우와 비교할 때, 위치 및 자세 정보 산출을 위한 적절한 영상을 획득할 가능성을 높이면서, 또한 산출되는 정보의 정확성을 개선할 수 있고, 더 나아가, 도 4(b)와 같이 전후면 및 양 측면에 4개의 카메라(112)를 구비하는 경우에는 광학적으로 평행하지 않은 복수의 카메라(112)로부터 획득되는 다양한 영상을 이용하여 보다 정확한 위치 및 자세 정보를 산출할 수 있게 된다.As shown in FIG. 4A, the mobile terminal 110 having two cameras 112 on the front and rear sides has an appropriate image for calculating position and attitude information, as compared with the case of having one camera 112 4 (b), when the four cameras 112 are provided on the front and back sides and on both sides as shown in Fig. 4 (b), they are optically parallel More accurate position and attitude information can be calculated using various images obtained from a plurality of cameras 112 that are not included in the image.

상기와 같은 복수의 영상 획득 장치에 의한 위치 및 자세 정보의 산출을 보다 자세하게 살펴보기 위하여 예를 들어 검토한다. 도 5에서는 종래 기술에 따른 영상 획득 장치를 이용한 모바일 단말기(110)의 위치 및 자세 결정 방법을 도시하고 있고, 이에 대하여 도 6에서는 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기(110)의 위치 및 자세 결정 방법을 도시하여 설명하고 있다.In order to examine the calculation of the position and attitude information by the plurality of image acquiring apparatuses as described above, for example, consideration will be made. FIG. 5 illustrates a method of determining the position and orientation of a mobile terminal 110 using an image capturing apparatus according to the related art. Referring to FIG. 6, a mobile terminal 110 including a plurality of image capturing apparatuses A method of determining the position and attitude of the terminal 110 is illustrated and described.

도 5에서 볼 수 있는 바와 같이, 하나의 영상 획득 장치 만을 구비하는 모바일 단말기(110)가 대상물의 영상을 획득하여 모바일 단말기(110)의 위치 및 자세 정보를 산출하는 경우(도 5(a)), 현재 획득된 모바일 단말기(110)의 영상과 소정의 시점 전에 모바일 단말기(110)로 획득된 영상 간의, 또는 현재 획득된 모바일 단말기(110)의 영상과 기준 영상 데이터베이스 영상 간의 하나 이상의 공액점들을 추출할 수 있으며, 이와 같이 추출된 공액점 중 현재 획득된 모바일 단말기의 영상과 기준 영상 데이터베이스 영상 간의 공액점에 상응하는 지상점과 기준 영상의 외부표정요소를 기준 정보로 활용하여, 소정의 정규방정식에 기반하여 기준 정보에 대하여 가장 오차가 적도록 하는 위치 정보와 자세 정보를 최종 위치 및 자세 정보로 산출하게 된다. 이에 따라, 상기 도 5(b)에서는 5개의 공액점을 추출하는 경우 이에 따라 산출될 수 있는 모바일 단말기(110)의 위치들을 표시하고 있다. 이때, 상기 각 모바일 단말기(110)의 위치는 도 5(b)와 같이 통상 모바일 단말기(110)와 영상 대상물 간의 직선 경로를 기준으로 좌우로 산포하게 되고, 따라서, 이를 바탕으로 최종 위치 및 자세 정보를 산출하는 경우, 모바일 단말기(110)와 영상 대상물 간의 직선 경로 방향으로의 오차가 발생할 가능성이 커지게 된다. 이에 따라, 모바일 단말기(110)의 실제 위치(A)와 산출된 최종 위치(B)를 비교하여 보면, 도 5(b)에서의 타원 형상과 같은 오차를 가지는 경향이 나타나게 된다.5, when the mobile terminal 110 having only one image capturing device acquires the image of the object and calculates the position and attitude information of the mobile terminal 110 (Fig. 5 (a)), , One or more conflicting points between the image of the currently obtained mobile terminal 110 and the image obtained by the mobile terminal 110 before a predetermined point of time or between the image of the currently obtained mobile terminal 110 and the reference image database Based on the ground point corresponding to the conjugate point between the currently obtained mobile terminal image and the reference image database image and the external appearance element of the reference image as reference information among the thus-extracted conjugation points, Position information and attitude information for making the least error with respect to the information are calculated as the final position and attitude information. Accordingly, in FIG. 5 (b), positions of the mobile terminal 110 that can be calculated when five consecutive points are extracted are displayed. 5 (b), the positions of the respective mobile terminals 110 are scattered to the left and right on the basis of the linear path between the mobile terminal 110 and the image object, An error in the linear path direction between the mobile terminal 110 and the image object is likely to occur. Accordingly, when the actual position A of the mobile terminal 110 is compared with the calculated final position B, a tendency to have the same error as the ellipse shape in FIG. 5 (b) appears.

이를 보다 자세하게 살핀다면, 하나의 영상 획득 장치만을 구비하는 모바일 단말기(110)의 경우, 개별 영상의 시야(Filed-Of-View, FOV)가 한정됨으로 인하여 다수의 지상점에 수많은 공액점에 대한 번들 조정을 하더라도 한 방향에서 취득된 연속 영상에 대한 위치/자세 결정은 아주 작은 각으로 직선을 교차시켜 3차원 위치 및 자세 정보를 산출하게 되어 그 정확도가 상대적으로 낮아지게 되고, 이에 따라 산출되는 최종 위치 및 자세 정보의 오차가 커질 수 있다는 문제가 발생할 수 있다.If the mobile terminal 110 includes only one image acquisition device, the FOV of the individual image is limited. Therefore, the bundle adjustment for a large number of points in a plurality of ground points The position / attitude determination for a continuous image obtained in one direction intersects a straight line at a very small angle to calculate the three-dimensional position and orientation information, so that the accuracy is relatively low, There may arise a problem that the error of the attitude information may become large.

이에 반하여, 도 6에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 복수의 영상 획득 장치를 포함하는 모바일 단말기(110)를 사용하여 위치 및 자세 정보를 산출하는 경우(도 6(a)), 획득된 영상들을 기반으로 하나 이상의 공액점을 추출할 수 있고, 다시 이를 이용하여 모바일 단말기(110)의 위치 및 자세 정보를 최종적으로 산출하게 된다. 이에 따라, 도 6(b)에서는 2개의 영상 획득 장치의 영상을 이용하여 각각 5개의 공액점을 추출하는 경우, 이에 따라 산출될 수 있는 모바일 단말기(110)의 위치들을 표시하고 있다. 이때, 상기 각 공액점에 따르는 각 모바일 단말기(110)의 위치는 도 6(b)와 같이 통상 모바일 단말기(110)와 영상 대상물 간의 각 직선 경로를 기준으로 좌우로 산포하게 되고, 이에 따라 산출되는 모바일 단말기(110)의 오차는 도 6(b)의 각 타원과 같이 각 직선 경로를 따라 나타나는 경향을 가지게 된다.6, when the position and attitude information is calculated using the mobile terminal 110 including a plurality of image capturing apparatuses according to an embodiment of the present invention (FIG. 6 (a)), ), One or more conjugate points can be extracted based on the obtained images, and the position and attitude information of the mobile terminal 110 is finally calculated using the same. Accordingly, in FIG. 6 (b), when five consecutive points are extracted using the images of the two image capturing apparatuses, the positions of the mobile terminal 110 that can be calculated accordingly are displayed. 6 (b), the positions of the respective mobile terminals 110 according to the respective points of correspondence are dispersed right and left based on the respective linear paths between the mobile terminal 110 and the image object, The error of the terminal 110 has a tendency to appear along each linear path as shown in each ellipse of FIG. 6 (b).

따라서, 이때 상기 2개의 영상 획득 장치의 영상의 공액점들을 함께 고려하여 그 오차를 최소화하는 최종 위치 및 자세 정보를 산정하는 경우, 각 직선 경로에 따라 나타나는 오차를 서로 상쇄하게 되어 모바일 단말기(110)의 실제 위치(A)와 산출된 최종 위치(B)간의 오차를 크게 줄일 수 있게 된다.Therefore, when calculating the final position and attitude information for minimizing the error by considering the conjugate points of the images of the two image capturing apparatuses at this time, the errors appearing along the respective linear paths are canceled each other, The error between the actual position A and the calculated final position B can be greatly reduced.

나아가, 상기 영상 획득 장치가 서로 직교하는 광학축을 가지는 경우에는 보다 효율적으로 오차를 보정할 수 있게 된다. 또한, 상기 공액점을 추출함에 있어서도, 복수의 영상 획득 장치로부터 획득된 영상들을 함께 고려하여 산출함으로써, 최종적으로 산출되는 모바일 단말기(110)의 위치 및 자세 정보의 오차를 최소화할 수 있게 된다.Further, when the image capturing apparatus has optical axes orthogonal to each other, the error can be corrected more efficiently. In addition, when the conjugate points are extracted, the errors of position and attitude information of the finally calculated mobile terminal 110 can be minimized by calculating the images obtained from the plurality of image acquiring devices together.

이를 도 5의 하나의 영상 획득 장치의 경우와 비교하여 살핀다면, 복수의 영상 획득 장치에 의하여 서로 다른 방향에서 찍힌 연속 영상에 대하여 위치 및 자세 정보를 결정하는 경우, 복수의 공액점에 의한 번들이 큰 각도를 이루는 직선으로 교차하게 되므로, 이에 따라 3차원 위치 및 자세 정보를 결정함에 있어 그 정확도를 크게 향상시킬 수 있게 된다.If the position and attitude information are determined for the continuous images taken in different directions by the plurality of image acquiring apparatuses in comparison with the case of one image acquiring apparatus of FIG. 5, when the bundle by the plurality of conjugation points is large And thus the accuracy thereof can be greatly improved in determining the three-dimensional position and orientation information.

이를 보다 자세하게 살핀다면, 단일 영상 획득 장치를 사용하는 경우와 비교할 때, 복수의 영상 획득 장치를 사용하는 경우 우선 번들 조정 수행시 기준점의 분포가 고를수록 더 정확한 결과를 산출할 수 있으며, 따라서, 복수의 영상 획득 장치를 활용할 경우 위치 및 자세 정보를 결정함에 있어서 정확도가 향상될 수 있다. 또한, 복수의 영상 획득 장치를 사용하는 경우 보다 다양한 시야(FOV)에 대해서 기준 영상 데이터베이스(122)로부터 기준점을 추출할 수 있게 되며, 특히 평행하지 않은 복수의 영상 획득 장치를 사용하거나 나아가 직교하는 복수의 영상 획득 장치를 사용하는 경우, 복수의 공액점에 의한 번들이 큰 각도를 이루는 직선으로 교차하게 되므로 그 정확도를 더욱 개선할 수 있게 된다.In a more detailed view, when a plurality of image capturing apparatuses are used as compared with the case of using a single image capturing apparatus, the more accurate the distribution of the reference points at the time of performing the bundle adjustment, The accuracy of determining the position and attitude information can be improved. In addition, it is possible to extract reference points from the reference image database 122 for various fields of view (FOV) more than when a plurality of image capturing apparatuses are used. In particular, a plurality of image capturing apparatuses that are not parallel, The bundle by the plurality of conjugation points intersects with a straight line forming a large angle, so that the accuracy can be further improved.

또한, 번들 조정 수행 시 초점거리, 주점의 좌표 등과 같은 카메라 내부 특성을 나타내는 변수(카메라 내부특성변수)가 정확할수록 이를 통해 결정되는 카메라(112)의 위치 및 자세 정보도 정확하게 되는데, 단일 영상 획득 장치의 영상에 대한 번들 조정을 수행하는 경우는 내부특성변수의 부정확함이 모바일 단말기(110)의 위치/자세 정보 결정에 크게 영향을 끼쳐 산출되는 위치 및 자세 정보의 오차가 커질 수 있는 반면, 복수의 영상 획득 장치를 활용하여 번들 조정을 수행하게 되면 내부특성변수의 부정확함이 위치/자세 결정에 끼치는 영향이 상대적으로 감소하게 되므로, 모바일 단말기(110)의 위치 및 자세 정보의 정확도가 개선될 수 있다.In addition, the position and attitude information of the camera 112, which is determined through the variable (camera internal characteristic variable) indicating the camera internal characteristics such as the focal distance, coordinates of the principal point, The inaccuracy of the internal characteristic variable greatly affects the determination of the position / attitude information of the mobile terminal 110, and thus the error of the position and attitude information calculated can be increased. On the other hand, The accuracy of the position and attitude information of the mobile terminal 110 can be improved because the influence of the inaccuracy of the internal characteristic parameter on the position / attitude determination is relatively reduced by performing the bundle adjustment using the image acquisition device .

예를 들어, 도 7과 도 8에서는 모바일 단말기(110)의 내부특성변수에 따른 위치 및 자세 결정 방법을 설명하기 위한 예시도를 도시하고 있다. 도 7의 (a), (b)에서 볼 수 있는 바와 같이 카메라(112) 등 영상 획득 장치의 초점거리(f) 등 내부특성변수가 다를 경우 동일한 지상 기준 데이터와 영상점에 대하여 산출되는 위치 및 자세 정보가 달라질 수 있는 반면, 도 8과 같이 복수의 영상 획득 장치를 활용하는 경우에는 서로 다른 방향에서 기준 데이터를 활용하는 것이 가능해지고, 이에 따라 초점거리 등 내부특성변수에 따라는 위치 및 자세 정보 산출시의 오차를 서로 다른 방향에서의 기준 데이터를 이용하여 상쇄시킴으로써 그 정확도를 개선할 수 있게 된다.For example, FIGS. 7 and 8 illustrate exemplary methods for determining a position and an attitude according to internal characteristic parameters of the mobile terminal 110. FIG. 7 (a) and 7 (b), when the internal characteristic variables such as the focal length f of the image capturing device such as the camera 112 are different from each other, the same ground reference data and positions calculated for the image points, It is possible to utilize the reference data in different directions when a plurality of image capturing apparatuses are used as shown in FIG. 8, and accordingly, the position and attitude information The accuracy of the calculation can be improved by offsetting the errors in the calculation using the reference data in different directions.

위에서 기술한 바와 같이, 모바일 단말기(110)가 네트워크 상의 위치 자세 결정 서버(120)와 연동하여 모바일 단말기(110)의 해당 위치 정보와 자세 정보를 정밀하게 피드백받는 과정을 예시하였으나, 본 발명이 반드시 이에 한정되지는 않으며 위와 같은 위치 자세 결정 서버(120)의 구성 요소들을 모바일 단말기(110)에 위치 자세 결정 장치로서 내장함으로써, 모바일 단말기(110)가 직접 위와 같은 최종 외부 표정 요소를 추정하여 사용할 수도 있다. 즉, 모바일 단말기(110)는 센서 모듈(111), 카메라(112), 및 수집 전송 모듈(113)을 포함할 뿐만 아니라, 초기 위치 자세 결정 모듈(121), 영상 데이터베이스(122), 영상 검색모듈(123), 영상 매칭 모듈(124), 및 위치자세조정모듈(125)을 모두 포함할 수도 있다. 이때, 모바일 단말기(110)는 위치 및 자세 관련 센서 정보와 카메라 영상 등을 통신 네트워크(130) 상의 서버로 전송할 필요없이 직접 위와 같은 정밀한 최종 외부 표정 요소를 추정할 수 있다.As described above, the process of receiving the positional information and the attitude information of the mobile terminal 110 precisely in cooperation with the position and orientation determination server 120 on the network is exemplified. However, However, the present invention is not limited thereto. By incorporating the components of the position and orientation determination server 120 as the position and orientation determining device in the mobile terminal 110, the mobile terminal 110 can directly estimate and use the above- have. That is, the mobile terminal 110 includes an initial position and orientation determining module 121, a video database 122, an image retrieval module 113, An image matching module 124, and a position / orientation adjusting module 125. [0033] At this time, the mobile terminal 110 can accurately estimate the final outer facial expression element without directly transmitting the position and posture sensor information and the camera image to the server on the communication network 130.

모바일 단말기(110)는 자체에서 직접 추정한 최종 외부 표정 요소, 또는 통신 네트워크(130) 상의 위치 자세 결정 서버(120)로부터 정밀하게 추정되어 피드백된 최종 외부 표정 요소, 즉, 최종 위치 정보(φ,λ,h)(위도, 경도, 고도 등) 또는 자세 정보(θRoll, θPitch, θYaw)를 기초로 통신 네트워크(130) 상의 위치 정보 서비스 서버(140)와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시할 수 있게 된다. 예를 들어, 모바일 단말기(110)는 내비게이션 시스템과 같이 지도 위에 좀 더 정교한 길 안내 서비스를 제공할 수 있으며, 좀 더 정교하게 해당 자세에 맞는 (가상) 영상을 합성하는 증강현실 서비스가 가능하고, 기타 모바일 단말기(110)의 정교한 위치와 자세에 맞는 다양한 추가적 정보제공의 제공이 가능해진다.The mobile terminal 110 transmits the last external facial expression element directly estimated by itself or the final external facial expression element precisely estimated and fed back from the position and orientation determination server 120 on the communication network 130, communication with the position information service server 140 on the communication network 130 based on the position information (?, h) (latitude, longitude, altitude or the like) or attitude information? Roll ,? Pitch ,? Yaw The service information is received and the corresponding information can be displayed on the map of the screen. For example, the mobile terminal 110 can provide a more elaborate guidance service on a map, such as a navigation system, and can perform an augmented reality service for synthesizing images (virtual) It is possible to provide a variety of additional information in accordance with the sophisticated position and attitude of the other mobile terminal 110.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the technical spirit of the present invention but to illustrate the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100 : 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 시스템
110 : 모바일 단말기
111 : 센서 모듈
112 : 카메라
113 : 수집 전송 모듈
120 : 위치 자세 결정 서버
121 : 초기 위치 자세 결정 모듈
122 : 영상 데이터베이스
123 : 영상 검색 모듈
124 : 영상 매칭 모듈
125 : 위치 자세 조정 모듈
130 : 통신 네트워크
140 : 위치 정보 서비스 서버100: Position and attitude determination system of a mobile terminal including a plurality of image acquisition devices
110: mobile terminal
111: Sensor module
112: camera
113: collection transfer module
120: Position and orientation determination server
121: Initial position / posture determination module
122: image database
123: Image search module
124: image matching module
125: Position and orientation adjusting module
130: communication network
140: Location information service server

Claims (18)

서로 평행하지 않은 광학축을 가지는 복수의 영상 획득장치를 구비하는 모바일 단말기; 및
상기 복수의 영상 획득 장치에서 획득한 복수의 영상에 대하여 번들 조정에 따른 지오레퍼런싱 기반으로 하여,
모바일 단말기의 초기 위치 정보와 자세 정보를 보정하여 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하는 위치 자세 결정 서버를 포함하여 구성되며,
상기 위치 자세 결정 서버는 상기 복수의 영상 획득 장치의 영상과 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로 추출하고,
상기 매칭된 영상에 대해 번들조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 자세 정보를 보정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.A mobile terminal comprising: a plurality of image acquisition devices having optical axes that are not parallel to each other; And
A plurality of images acquired by the plurality of image acquisition devices are georeferenced based on bundle adjustment,
And a position and orientation determining server for determining the final position information and the posture information of the mobile terminal by correcting the initial position information and the posture information of the mobile terminal,
Wherein the position and orientation determination server compares the images of the plurality of image acquisition devices with the georeferenced images to extract image point coordinates corresponding to the positions of the matched images as conjugate points,
Wherein the initial position information and the attitude information are corrected by performing a georeferencing process according to the bundle adjustment on the matched image. 제1항에 있어서,
상기 복수의 영상 획득 장치는 상기 모바일 단말기의 전면과 후면에 위치하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 1,
Wherein the plurality of image acquisition devices are located on the front and back sides of the mobile terminal. 삭제delete 제1항에 있어서,
상기 복수의 영상 획득 장치는,
상기 모바일 단말기의 전면 및 측면, 또는 측면 및 후면, 또는 전면, 측면 및 후면에 위치하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 1,
Wherein the plurality of image acquiring devices include:
Wherein the mobile terminal is located on a front side and a side, or a side and a rear side, or a front side, a side, and a rear side of the mobile terminal. 제1항에 있어서,
상기 모바일 단말기의 초기 위치 정보와 자세 정보는 상기 복수의 영상 획득 장치에서 획득한 초기 영상을 기초로 하여 산출되는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 1,
Wherein the initial position information and the posture information of the mobile terminal are calculated on the basis of an initial image acquired by the plurality of image acquisition devices. 제1항에 있어서,
상기 모바일 단말기는 위치 또는 자세 관련 센서를 더 포함하고,
상기 위치 자세 결정 서버는 상기 위치 또는 자세 관련 센서에서 측정한 정보를 함께 고려하여 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 1,
Wherein the mobile terminal further comprises a position or posture related sensor,
Wherein the position and orientation determination server determines final position information and posture information of the mobile terminal by considering information measured by the position or orientation sensor. 제6항에 있어서,
상기 위치 또는 자세 관련 센서에서 측정한 정보를 기초로 상기 모바일 단말기의 초기 위치 정보와 자세 정보를 결정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 6,
Wherein the initial position information and the posture information of the mobile terminal are determined based on information measured by the position or attitude sensor. 제1 항에 있어서,
상기 모바일 단말기와 위치 자세 결정 서버는 통신 네트워크를 통하여 연동되는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 1,
Wherein the mobile terminal and the position / orientation determining server are interlocked through a communication network. 제1항에 있어서,
상기 위치 자세 결정 서버는 상기 모바일 단말기와 일체형으로 구성되는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 1,
Wherein the position and orientation determination server is integrated with the mobile terminal. 제6항에 있어서,
상기 위치 자세 결정 서버는,
상기 위치 또는 자세 관련 센서에서 측정된 정보를 기초로 상기 모바일 단말기의 초기 위치 정보 또는 초기 자세 정보를 결정하는 초기 위치자세 결정 모듈;
지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라의 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 영상 데이터베이스;
상기 영상 데이터베이스로부터 영상 획득 장치가 획득한 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 영상 검색 모듈;
상기 복수의 영상 획득 장치의 영상과 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상 매칭 모듈; 및
상기 영상 데이터베이스를 참조해 상기 공액점에 대응되는 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 상기 자세 정보를 보정하는 위치 자세 조정 모듈을 포함하여 구성되는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 6,
Wherein the position /
An initial position and orientation determining module for determining initial position information or initial position information of the mobile terminal based on information measured by the position or orientation sensor;
An image database storing a reference georeferencing image in which the position and attitude of each camera at the time of acquiring an image acquired through georeferencing is specified;
An image retrieval module for retrieving a reference georeferencing image including an image similar to the image acquired by the image acquisition device from the image database;
An image matching module that compares an image of the plurality of image capturing devices with a georeferenced image that is searched and extracts image point coordinates corresponding to a position of the matched image as a conjugate point; And
Performing a georeferencing process on the matched image according to a bundle adjustment to determine final position information and attitude information of the mobile terminal corresponding to the conjugate point by referring to the image database, And a position / orientation adjusting module for correcting the position and orientation information of the mobile terminal. 제10항에 있어서,
상기 위치 자세 조정 모듈은 상기 초기 위치 정보 또는 초기 자세 정보와, 상기 영상 매칭 모듈로부터 산출된 공액점의 영상 좌표를 함께 이용하여 번들 조정을 수행함으로써 상기 최종 위치 정보와 자세 정보를 결정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.11. The method of claim 10,
Wherein the position and orientation adjusting module determines the final position information and the attitude information by performing bundle adjustment using the initial position information or initial position information together with the image coordinates of the conjugate point calculated from the image matching module Position and attitude determination system of mobile terminal. 제6항에 있어서,
상기 위치 또는 자세 관련 센서에서 측정한 정보는 GPS 모듈에서 측정한 위치 데이터, 컴파스 모듈에서 측정한 방향 데이터, 자이로 센서에서 측정한 자세 데이터, 또는 가속도 센서에서 측정한 가속도 데이터 중 하나 이상을 포함하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 6,
The information measured by the position or attitude-related sensor includes at least one of position data measured by a GPS module, direction data measured by a compass module, attitude data measured by a gyro sensor, or acceleration data measured by an acceleration sensor A position and attitude determination system of a mobile terminal characterized by: 제10항에 있어서,
상기 영상 매칭 모듈은 복수의 영상 획득 장치가 획득한 영상의 두 영상씩을 비교하여 산출한 하나 이상의 공액점과,
복수의 영상 획득 장치가 획득한 영상과 상기 검색된 기준 지오레퍼런싱 영상을 서로 비교한 하나 이상의 공액점을 산출하고,
추출된 복수의 공액점에 의한 번들이 가장 작은 오차를 가지면서 지상의 한 객체점에서 만나도록 하는 신뢰성있는 공액점을 추출하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.11. The method of claim 10,
Wherein the image matching module comprises at least one conjugation point calculated by comparing two images of an image acquired by the plurality of image acquisition devices,
Calculating one or more conjugation points obtained by comparing the image obtained by the plurality of image acquisition devices with the searched reference reference image,
Wherein a reliable conjugate point is extracted such that a bundle of the extracted plurality of conjugation points has the smallest error and meets at one object point on the ground. 제6항에 있어서,
상기 모바일 단말기는 상기 최종 위치 정보 또는 상기 자세 정보를 기초로 다른 서버와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 시스템.The method according to claim 6,
Wherein the mobile terminal communicates with another server based on the final position information or the posture information to receive service information related to the position or the posture and displays the information on a map of the screen. Decision system. (a) 위치 자세 결정 서버에서 모바일 단말기가 획득한 서로 평행하지 않은 광학축을 가지는 복수의 영상 획득장치의 영상을 수신하는 단계; 및
(b) 상기 위치 자세 결정 서버에서 상기 복수의 영상 획득 장치의 영상에 대하여 번들 조정에 따른 지오레퍼런싱 기반으로 상기 모바일 단말기의 초기 위치 정보와 자세 정보를 보정하여 상기 모바일 단말기의 위치 정보와 자세 정보를 산출하고 상기 모바일 단말기로 피드백하는 단계를 포함하며,
상기 위치 자세 결정 서버는 상기 복수의 영상 획득 장치의 영상과 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로 추출하고,
상기 매칭된 영상에 대해 번들조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 자세 정보를 보정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 방법.(a) receiving images of a plurality of image capturing apparatuses having optical axes that are not parallel to each other obtained by the mobile terminal at the position and orientation determining server; And
(b) correcting the initial position information and attitude information of the mobile terminal based on the georeferencing based on the bundle adjustment with respect to the images of the plurality of image acquiring devices in the position and orientation determining server, And calculating and feeding back information to the mobile terminal,
Wherein the position and orientation determination server compares the images of the plurality of image acquisition devices with the georeferenced images to extract image point coordinates corresponding to the positions of the matched images as conjugate points,
And performing a georeferencing process according to the bundle adjustment on the matched image to correct the initial position information and the attitude information. 제15항에 있어서,
상기 (a) 단계에서,
위치 자세 결정 서버가 위치 또는 자세 관련 센서 정보도 함께 수신하며,
상기 (b) 단계에서,
상기 위치 또는 자세 관련 센서 정보를 함께 고려하여 상기 모바일 단말기의 위치 정보와 자세 정보를 결정하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 방법.16. The method of claim 15,
In the step (a)
The position and orientation decision server also receives the position or posture sensor information,
In the step (b)
And determining the position information and the attitude information of the mobile terminal by considering the position or attitude-related sensor information together. 제16항에 있어서,
상기 (b) 단계는,
(b1) 지오레퍼런싱을 통해 획득되어 영상 취득 시의 각 카메라의 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 영상 데이터베이스를 참조하여 영상 획득 장치의 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 단계;
(b2) 상기 복수의 영상 획득 장치의 영상과 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 단계; 및
(b3) 상기 영상 데이터베이스를 참조해 상기 공액점에 대응되는 상기 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 상기 자세 정보를 보정하는 단계
를 포함하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 방법.17. The method of claim 16,
The step (b)
(b1) a reference image containing an image similar to the image of the image acquiring apparatus by referring to an image database obtained in advance by a georeferencing and storing a reference georeferencing image in which the position and posture of each camera at the image acquisition is specified, Searching for a georeferencing image;
(b2) comparing the images of the plurality of image capturing devices with the retrieved georeferenced images and extracting image point coordinates corresponding to the positions of the matched images as conjugate points; And
(b3) performing a georeferencing process according to the bundle adjustment on the matched image to determine final position information and attitude information of the mobile terminal corresponding to the conjugation point with reference to the image database, And correcting the information and the posture information
And determining the position and orientation of the mobile terminal. 서로 평행하지 않은 광학축을 가지는 복수의 영상 획득장치;
위치 및 자세 관련 센서 정보를 측정하는 센서 모듈;
상기 위치 및 자세 관련 센서 정보를 기초로 초기 위치 정보와 자세 정보를 결정하는 초기 위치 자세 결정 모듈;
지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 영상 데이터베이스;
상기 영상 데이터베이스를 참조하여 상기 영상 획득 장치의 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 검색 모듈;
상기 복수의 영상 획득장치의 영상과 검색된 지오레퍼런싱된 영상을 비교하여 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상매칭 모듈; 및
상기 영상 데이터베이스를 참조해 상기 공액점에 대응되는 모바일 단말기의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 번들 조정에 따른 지오레퍼런싱 과정을 수행하여 상기 초기 위치 정보와 상기 자세 정보를 보정하는 위치 자세 조정 모듈을 포함하는 것을 특징으로 하는 모바일 단말기의 위치 및 자세 결정 장치.A plurality of image acquisition devices having optical axes which are not parallel to each other;
A sensor module for measuring position and orientation sensor information;
An initial position and orientation determining module for determining initial position information and orientation information based on the position and orientation sensor information;
An image database in which a reference georeferencing image in which each camera position and posture at the time of image acquisition obtained through georeferencing is specified is stored in advance;
A retrieval module for retrieving a reference georeference image including an image similar to the image of the image acquisition device with reference to the image database;
An image matching module that compares an image of the plurality of image capturing devices with a georeferenced image that is searched and extracts image point coordinates corresponding to a position of the matched image as a conjugate point; And
In order to determine final position information and attitude information of the mobile terminal corresponding to the conjugation point by referring to the image database, a georeferencing process according to the bundle adjustment is performed on the matched image to determine the initial position information and the posture And a position / orientation adjusting module for correcting the position and orientation of the mobile terminal.
KR1020140030174A 2014-03-14 2014-03-14 Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices KR101601726B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140030174A KR101601726B1 (en) 2014-03-14 2014-03-14 Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030174A KR101601726B1 (en) 2014-03-14 2014-03-14 Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices

Publications (2)

Publication Number Publication Date
KR20150107970A KR20150107970A (en) 2015-09-24
KR101601726B1 true KR101601726B1 (en) 2016-03-22

Family

ID=54246116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030174A KR101601726B1 (en) 2014-03-14 2014-03-14 Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices

Country Status (1)

Country Link
KR (1) KR101601726B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694441B2 (en) 2020-11-19 2023-07-04 Samsung Electronics Co., Ltd. Electronic device correcting meta information of image and operating method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107869990B (en) * 2017-09-20 2020-08-28 百度在线网络技术（北京）有限公司 Method and device for acquiring indoor position data, computer equipment and readable medium
CN111581407B (en) * 2020-04-20 2023-09-12 国家卫星气象中心(国家空间天气监测预警中心) Method, device and medium for constructing global geographic positioning reference image database

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694441B2 (en) 2020-11-19 2023-07-04 Samsung Electronics Co., Ltd. Electronic device correcting meta information of image and operating method thereof

Also Published As

Publication number Publication date
KR20150107970A (en) 2015-09-24

Similar Documents

Publication Publication Date Title
US9749809B2 (en) Method and system for determining the location and position of a smartphone based on image matching
US11423586B2 (en) Augmented reality vision system for tracking and geolocating objects of interest
JP5255595B2 (en) Terminal location specifying system and terminal location specifying method
US10495414B2 (en) Devices with network-connected scopes for Allowing a target to be simultaneously tracked by multiple devices
KR101285360B1 (en) Point of interest displaying apparatus and method for using augmented reality
KR101413011B1 (en) Augmented Reality System based on Location Coordinates and Augmented Reality Image Providing Method thereof
CN102338639A (en) Information processing device and information processing method
CN111083633B (en) Mobile terminal positioning system, establishment method thereof and positioning method of mobile terminal
KR101708820B1 (en) Distance and height measuring device, system for storing data comprising the same, distance height measuring method and computer readable medium having computer program recorded therefor
JP5981371B2 (en) Information terminal, system, program, and method for controlling display of augmented reality by posture
KR101601726B1 (en) Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices
Al-Hamad et al. Smartphones based mobile mapping systems
CN108492334A (en) A method of realizing commercial camera photo geographical calibration based on positioning and directing data
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
CN107193820B (en) Position information acquisition method, device and equipment
KR20150077607A (en) Dinosaur Heritage Experience Service System Using Augmented Reality and Method therefor
US9689673B2 (en) Target determining method and system
Bakuła et al. Capabilities of a smartphone for georeferenced 3dmodel creation: An evaluation
US20200208976A1 (en) Handheld Device for Calculating Locations Coordinates for Visible But Uncharted Remote Points
EP2696168A1 (en) Using gravity measurements within a photogrammetric adjustment
JP5285650B2 (en) Information providing system, advanced information acquisition system, advanced information acquisition device, and program
KR100874425B1 (en) System for measuring size of signboard and method for measuring size of signboard using the same
Orlandi et al. Spatial-Temporal Calibration for Outdoor Location-Based Augmented Reality
JP6673700B2 (en) Feature information providing system
KR101522208B1 (en) Augmented-reality based autonomous target generating system and method therof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 5