KR20160070874A - 모바일 기기를 이용한 위치기반 시설물 관리 시스템 - Google Patents

모바일 기기를 이용한 위치기반 시설물 관리 시스템 Download PDF

Info

Publication number
KR20160070874A
KR20160070874A KR1020140177294A KR20140177294A KR20160070874A KR 20160070874 A KR20160070874 A KR 20160070874A KR 1020140177294 A KR1020140177294 A KR 1020140177294A KR 20140177294 A KR20140177294 A KR 20140177294A KR 20160070874 A KR20160070874 A KR 20160070874A
Authority
KR
South Korea
Prior art keywords
information
image
mobile device
facility
database server
Prior art date
Application number
KR1020140177294A
Other languages
English (en)
Inventor
임혁규
김영섭
Original Assignee
브이앤아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이앤아이 주식회사 filed Critical 브이앤아이 주식회사
Priority to KR1020140177294A priority Critical patent/KR20160070874A/ko
Priority to US14/613,613 priority patent/US20160169662A1/en
Publication of KR20160070874A publication Critical patent/KR20160070874A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명은 모바일 기기를 이용한 위치기반 시설물 관리 시스템에 관한 것으로서,
사전에 획득된 관리대상 시설물에 대한 객체 정보가 데이터베이스로 저장되는 데이터베이스 서버(20)와; 객체의 영상과 GPS 정보를 획득하는 영상획득모듈(11)과, 영상에 대한 내부 파라미터를 결정하는 오토 캘리브레이션 알고리즘이 구비된 오토 캘리브레이션 모듈(12)과, 상기 데이터베이스 서버(20)에 객체 정보를 저장하거나 상기 데이터베이스 서버(20)로부터 객체 정보를 수신하는 DB 입출력 모듈(13)과, 상기 오토 캘리브레이션 모듈(12)에 의해 결정된 내부 파라미터와 상기 DB 입출력 모듈(13)로부터 수신된 객체 정보를 이용하여 객체 영상의 GPS 정보를 보정하는 위치보정 알고리즘이 구비된 위치보정 모듈(14)과, 카메라에 의해 획득된 객체 영상의 내부 파라미터를 결정한 후 카메라에 의해 획득된 객체 영상의 특징점을 검출하고 이를 데이터베이스의 객체 정보와 매칭하여 관리대상 시설물에 대한 이력 관리를 수행할 수 있도록 하는 시설관리 애플리케이션(15)이 설치된 모바일 기기(10);를 포함하는 것을 특징으로 한다.

Description

모바일 기기를 이용한 위치기반 시설물 관리 시스템{Location-based Facility Management System Using Mobile Device}
본 발명은 도로 및 산업현장에 있는 각종 시설물의 위치를 알려주고 시설물의 상태를 관리하는 시설물 관리 시스템에 관한 것으로서, 특히 모바일 기기의 카메라에 의해 획득된 객체 영상의 특징점을 검출하여 증강현실의 위치 보정기술을 적용함으로써, 장소에 구애받지 않고 관리대상 시설물을 실시간으로 관리할 수 있도록 한 모바일 기기를 이용한 위치기반 시설물 관리 시스템에 관한 것이다.
최근 스마트폰과 같은 모바일 기기의 대중화와 더불어 증강현실(Augmented Reality: AR) 기술이 다양한 분야에서 활용되고 있다.
상기 증강현실 기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로서, 현실세계와 가상세계를 실시간으로 합쳐서 하나의 영상으로 보여주므로 혼합현실(Mixed Reality: MR)이라고도 한다.
이러한 증강현실 기술에 의하면, 사용자가 실제로 보고 있는 현실세계를 담고 있는 화면에 각종 부가정보(예컨대 관심지점을 나타내는 그래픽 요소)를 시각적으로 중첩하여 제공할 수 있다.
즉, 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 그 주역은 현실환경이며, 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가로 제공하는 역할을 한다.
이에 따라 증강현실 기술을 사용하게 되면, 사용자가 보고 있는 실사 영상에 3차원 가상영상이 겹쳐지게 되어 현실환경과 가상화면과의 구분이 모호해지게 된다.
예를 들어, 스마트폰과 같은 모바일 기기의 카메라로 주변을 비추면, 인근에 있는 건물의 위치, 건물과의 거리, 전화번호 등의 정보가 모바일 기기의 영상으로 표시된다.
이에 따라, 실제환경과 가상의 객체가 혼합된 증강현실 기술은, 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없게 하는 가상현실 기술과는 달리, 사용자가 실제환경을 볼 수 있으므로 현실감과 함께 각종 부가 정보를 제공할 수 있는 장점이 있다.
또한, 증강현실 기술은, 카메라로부터 촬영되는 영상으로부터 증강현실 마커를 감지하고, 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 출력할 수도 있다.
이에 따라 현실에는 존재하지 않는 가상 캐릭터 등이 화면상에 실제 존재하는 것처럼 구현할 수 있다.
하지만 가상 물체를 실제 화면상에 나타내도록 하기 위해서는, 입력되는 영상의 각 프레임별로 마커(Marker)를 인지하고, 마커의 종류 및 위치 등에 대응되도록 가상 물체의 크기, 위치, 형태 등을 계산하여, 계산된 위치에 상기 가상 물체를 영상과 합성하여야 한다.
그런데, 상기한 마커 방식의 증강현실 콘텐츠 출력 방식의 경우, 화면 상에 마커가 명확히 인식되기 어렵다는 문제점이 있다.
즉, 상기 마커가 원거리에 있을 경우에는, 카메라가 마커를 인식할 수 없어 가상 물체 즉, 증강현실 오브젝트(Object)를 화면상에 표시하기가 어렵게 되는 것이다.
이를 해결하기 위한 방법의 하나로서, 마커 대신 GPS 등의 위치 정보에 가상 물체를 맵핑(Mapping)함으로써, 단말기의 위치 정보만으로 현재 위치 근처에 맵핑된 증강현실 오브젝트를 디스플레이하는 방법이 있다.
그러나, 상기한 맵핑 방식에 의하면, GPS 위치 정보에 의해 해당 지점의 x, y 정보만을 알 수 있을 뿐, 높이 정보는 알 수 없다는 단점이 있다.
이에 따라, GPS를 이용한 증강현실 기법의 경우, 단말기의 위치에 따라 오브젝트(Object)가 공중에 떠 있거나 또는 지면 보다 아래에 디스플레이되는 등의 문제가 발생하게 되는 문제점이 있다.
또한, 스마트폰과 같은 소형 모바일 기기에 적용되는 GPS 위치정보는, GPS 센서 자체의 오차로 인하여 대략 50m 정도의 위치 오차가 발생하는 등 정확성이 떨어진다는 문제점이 있다.
그리고, 증강현실의 필수 요소인 카메라 캘리브레이션의 경우, 모바일 기기마다 다른 오토 포커스로 카메라 캘리브레이션을 수행하도록 하고 있어, 내부 파라미터 값의 오차가 존재하게 되고, 그로 인해 개활지에 설치되어 있는 시설물의 위치를 확인하기가 어려울 뿐만 아니라 시설물의 상태를 실시간으로 관리하기가 어려운 문제점이 있다.
KR 10-1044252 B1 KR 10-1436423 B1 KR 10-1463906 B1
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 모바일 기기에 구비된 카메라를 통한 영상만을 가지고 특징점을 자동 추출하여, 모바일 기기와 타겟 오브젝트 사이의 거리 측정시 정확도를 향상시키는데 그 목적이 있다.
본 발명의 다른 목적은, 오토 캘리브레이션 기술을 이용하여 내부 파라미터 값의 오차율을 보정함으로써, 증강현실 매칭 기술의 정확도를 향상시키고 오류를 개선하여 성능을 향상시키는 데 있다.
본 발명의 또 다른 목적은, 카메라 캘리브레이션 위치 정보 기술과 증강현실 플랫폼 기초 핵심기술의 기반 기술이 적용된 GPS 정보 기반의 증강현실 서비스를 활용하여 시설물을 관리할 수 있도록 하는 데 있다.
본 발명의 또 다른 목적은, GPS 정보 기반의 증강현실 서비스를 통해 도로나 산업 현장 등에 설치되어 있는 시설물의 위치를 찾아가고, 찾은 시설물의 이력 사항을 관리하는 등, 시설물의 현재 가동 상태를 모니터링하여 실시간 유지관리가 가능하도록 하는 데 있다.
상기 목적을 달성하기 위한 본 발명은, 사전에 획득된 관리대상 시설물에 대한 객체 정보가 데이터베이스로 저장되는 데이터베이스 서버와;
객체의 영상과 GPS 정보를 획득하는 영상획득모듈과, 영상에 대한 내부 파라미터를 결정하는 오토 캘리브레이션 알고리즘이 구비된 오토 캘리브레이션 모듈과, 상기 데이터베이스 서버에 객체 정보를 저장하거나 상기 데이터베이스 서버로부터 객체 정보를 수신하는 DB 입출력 모듈과, 상기 오토 캘리브레이션 모듈에 의해 결정된 내부 파라미터와 상기 DB 입출력 모듈로부터 수신된 객체 정보를 이용하여 객체 영상의 GPS 정보를 보정하는 위치보정 알고리즘이 구비된 위치보정 모듈이 구비되고, 카메라에 의해 획득된 객체 영상의 내부 파라미터를 결정한 후 카메라에 의해 획득된 객체 영상의 특징점을 검출하여 이를 데이터베이스의 객체 정보와 매칭하여 관리대상 시설물에 대한 이력 관리를 수행할 수 있도록 하는 시설관리 애플리케이션이 설치된 모바일 기기;를 포함하는 것을 특징으로 한다.
또, 본 발명의 모바일 기기를 이용한 위치기반 시설물 관리 시스템에 따르면, 상기 데이터베이스 서버에는 관리대상 시설물의 객체 영상과, 객체 GPS 정보, 객체 실측 자료 및 이력사항을 포함하는 객체 기본 정보가 저장자료로 저장되고, 상기 모바일 기기의 시설관리 애플리케이션에 의해 검출된 객체의 특징점 정보가 생성자료로 저장되는 것을 특징으로 한다.
또한, 본 발명의 모바일 기기를 이용한 위치기반 시설물 관리 시스템에 따르면, 상기 시설관리 애플리케이션은 모바일 기기의 카메라에 의해 획득된 객체 영상과 데이터베이스 서버로부터 수신된 객체 영상의 특징점을 매칭한 후, 스테레오 영상 기법을 이용하여 객체에 대한 모바일 기기의 상대 위치를 구하도록 한 것을 특징으로 한다.
본 발명의 모바일 기기를 이용한 위치기반 시설물 관리 시스템은, 모바일 기기의 카메라에 의해 획득된 영상만을 가지고 특징점을 자동으로 추출하여 데이터베이스 서버의 객체 영상과 매칭함과 아울러, 오토 캘리브레이션 기술을 통해 내부 파라미터값의 오차율을 보정하여 관리대상 시설물의 위치를 빠르게 찾을 수 있도록 하는 효과가 있다.
또한, 찾은 관리대상 시설물의 이력 사항을 관리하고 가동 상태를 모니터링하여 실시간 유지관리가 가능하게 되는 효과가 있다.
또한, 모바일 기기를 이용하여 장소에 구애받지 않고 시설물의 위치를 확인하고, 실시간으로 시설물의 동작 상태를 관리할 수 있게 되는 효과가 있다.
또한, 오토 캘리브레이션 기술을 이용한 카메라 캘리브레이션 위치 정보 기술과 증강현실 플랫폼 기초 핵심기술의 기반 기술이 적용된 GPS 정보 기반의 증강현실 서비스를 활용하여 시설물을 관리할 수 있는 효과가 있다.
도 1은 본 발명에 의한 모바일 기기를 이용한 위치기반 시설물 관리 시스템을 개략적으로 나타낸 개념도.
도 2는 본 발명의 요부인 오토 캘리브레이션 알고리즘을 설명하기 위한 참고도.
도 3은 본 발명의 요부인 시설관리 애플리케이션에 적용된 위치 보정 및 특징점 검출 알고리즘을 개략적으로 나타낸 순서도.
도 4는 본 발명의 요부인 시설관리 애플리케이션에서 F 매트릭스 및 E 매트릭스의 계산 과정을 설명하기 위한 참고도.
도 5는 본 발명의 요부인 시설관리 애플리케이션의 시설물 관리용 메인 화면이 도시된 참고도.
도 6은 본 발명의 시설관리 애플리케이션을 이용한 시설물 관리 화면이 도시된 참고도.
도 7은 본 발명의 시설관리 애플리케이션에 의한 시설물의 위치 정보를 지도상에 나타낸 모바일 기기의 화면.
도 8은 본 발명의 시설관리 애플리케이션을 이용하여 시설물의 위치를 위치가반 증강현실로 나타낸 화면.
이하, 첨부된 도면을 참조하여 본 발명의 모바일 기기를 이용한 위치기반 시설물 관리 시스템의 바람직할 실시예를 설명한다.
본 발명에 의한 모바일 기기를 이용한 위치기반 시설물 관리 시스템은, 도 1 내지 7에 도시된 바와 같이, 사전에 획득된 관리대상 시설물에 대한 객체 정보가 데이터베이스로 저장되는 데이터베이스 서버(20)와; 객체의 영상과 GPS 정보를 획득하는 영상획득모듈(11)과, 영상에 대한 내부 파라미터를 결정하는 오토 캘리브레이션 알고리즘이 구비된 오토 캘리브레이션 모듈(12)과, 상기 데이터베이스 서버(20)에 객체 정보를 저장하거나 상기 데이터베이스 서버(20)로부터 객체 정보를 수신하는 DB 입출력 모듈(13)과, 상기 오토 캘리브레이션 모듈(12)에 의해 결정된 내부 파라미터와 상기 DB 입출력 모듈(13)로부터 수신된 객체 정보를 이용하여 객체 영상의 GPS 정보를 보정하는 위치보정 알고리즘이 구비된 위치보정 모듈(14)이 구비되고, 카메라에 의해 획득된 객체 영상의 내부 파라미터를 결정한 후 카메라에 의해 획득된 객체 영상의 특징점을 검출하고 이를 데이터베이스의 객체 정보와 매칭하여 관리대상 시설물에 대한 이력 관리를 수행할 수 있도록 하는 시설관리 애플리케이션(15)이 설치된 모바일 기기(10);를 포함하여 이루어진다.
상기 오토 캘리브레이션 알고리즘은 소실점 좌표를 이용하여 내부 파라미터의 값을 도출하게 된다.
즉, 도 3에 도시된 바와 같이, 실제 세계에서 서로 직교하는 두 쌍의 직선 L1, L2, L3, L4를 이미지 평면에 투영하게 되면, 투영 이미지에서는 l1, l2, l3, l4로 나타나며, 이 투영 이미지에 나타난 직선들로 인해 2개의 소실점 A와 B를 구할 수 있게 된다.
그리고, 렌즈의 중심을 원점으로 하는 3차원의 카메라 좌표계에서 원점 O(0,0,0)과 상기 소실점 A와 B를 각각 연결하게 되면, 각각의 직선은 다음의 수학식 1의 관계를 가지게 된다.
Figure pat00001
이때, △OAB는 직각 삼각형이 되고, 카메라 좌표계는 표면에 점 0가 있고 지름이 AB인 구의 형태로 나타나고, 이미지 좌표계에서의 소실점 A, B의 좌표는 다음의 수학식 2로 정의될 수 있다.
Figure pat00002
여기서, f는 카메라의 초점거리, dx, dy는 CMOS 또는 CCD와 같은 카메라 센서의 화소 폭과 높이, cx, cy는 이미지 좌표계에서 원점의 프로젝션 좌표를 의미한다.
그리고, 카메라 좌표계에서의 소실점 좌표는 수학식 3으로 나타나고, 이를 선분 AB를 지름으로 하는 구체 방정식에 적용한 후, 카메라 좌표계의 원점 좌표 O(0,0,0)를 대입하여 정리하면 수학식 4와 같다.
Figure pat00003
상기한 수학식 4에서 내부 파라미터인 fx, fy, cx, cy가 모두 미지수라 할 수 있으므로, 이의 해법을 위해서는 최소한 4개의 방정식이 요구되며, 소실점의 좌표를 구할 수 있는 이미지가 4장 이상 필요하게 된다.
즉, 4개의 이미지로부터 구해진 소실점의 좌표 uA, uB, vA, vB를 상기 수학식 4에 각각 적용하여 4개의 방정식을 구성하고, 이들 방정식을 풀어냄으로써 내부 파라미터 fx, fy, cx, cy를 구할 수 있다.
상기 데이터베이스 서버(20)에는 관리대상 시설물의 객체 영상과, 객체 GPS 정보, 객체 실측 자료 및 관리대상 시설물의 이력사항을 포함하는 객체 기본 정보가 저장자료로 저장되고, 상기 모바일 기기(10)의 시설관리 애플리케이션(15)에 의해 검출된 객체의 특징점 정보가 생성자료로 저장된다.
한편, 상기 시설관리 애플리케이션(15)은, 모바일 기기(10)의 카메라에 의해 획득된 객체 영상과 데이터베이스 서버(20)로부터 수신된 객체 영상의 특징점을 매칭한 후, 스테레오 영상 기법을 이용하여 객체에 대한 모바일 기기(10)의 상대 위치를 구하도록 한다.
여기서, 상기 스테리오 영상기법은 두 카메라에 의해 각각 촬영된 영상의 특징점을 매칭하여 두 카메라의 화소간 투영관계 F(F 매트릭스)를 계산하고, 특징점 매칭과 F 매트릭스를 이용하여 카메라 두 대의 화소간 벡터관계 E(E 매트릭스)를 구한 다음, 상기 E 매트릭스를 분해하여 카메라 두 대의 상대적인 회전량과 이동량을 계산하도록 구성된다.
이하 도 4를 참조하여 스테레오 영상기법을 구체적으로 살펴보면 다음과 같다.
통상적으로 가상 카메라의 회전 행렬은 R로 표시되며, 3X3크기의 매트릭스로 정의된다.
그리고, 가상 카메라의 이동량을 나타내는 행렬식은 S로 나타낼 수 있으며, 역시 3X3크기의 매트릭스로 정의된다.
그리고, 상기 E 매트릭스는 카메라의 회전 행렬 R과 이동 행렬 S의 곱으로 나타나므로, E=RS로 정의된다.
상기 F 매트릭스는 두 카메라의 화면에서 서로 대응되는 두 특징점 m과 m'의 관계를 구하는 것으로, 그 계산공식은 mTFm'=0로 정의되므로 다음의 수학식 5와 같이 나타낼 수 있다.
이때, 이론적으로 8개의 대응되는 특징점을 알면 F를 알 수 있으며, 사용하는 특징점이 많을수록 오차가 적어지게 된다.
한편, 상기 수학식 5에서 얻어진 F 매트릭스를 통해 E 매트릭스를 얻을 수 있으며, E 매트릭스는 수학식 6으로 표시된다.
수학식 6에서, Kl은 좌측 카메라의 파라미터이고, Kr은 우측 카메라의 파라미터를 의미한다.
Figure pat00005
Figure pat00006
그리고, E 매트릭스를 수학식 7과 같이 인수분해하여 SVD 팩터를 구하고, 수학식 8과 같이 X와 Y의 행렬값을 수학식 8과 같이 가정하면, 두 객체 영상의 상대적인 회전량 R과 이동거리 S를 구할 수 있게 된다.
Figure pat00007
Figure pat00008
즉, 상대적인 회전량 R은 UYVT 또는 UYTVT로 나타나고, S는 VZVT로 나타난다.
이에 따라 모바일 기기(10)의 카메라에 의해 획득된 객체 영상과 객체의 GPS 정보에 대한 오토 캘리브레이션을 통한 위치 보정과, 모바일 기기(10)의 카메라에 의해 획득된 객체 영상과 데이터베이스 서버(20)의 객체 영상의 매칭을 통해, 관리대상 시설물의 정확한 위치를 파악할 수 있게 된다.
그리고, 획득된 객체 영상에 대응하는 관리대상 시설물을 실시간으로 확인하고, 각 시설물에 대한 이력관리를 수행할 수 있게 된다.
또한, 이들 시설물에 대한 위치 정보를 도 7과 같이 모바일 기기(10)의 지도상에 나타낼 수도 있고, 도 8과 같이 위치기반 증강현실로 보여줄 수도 있다.
이에 따라 사용자는 모바일 기기(10)를 이용하여 관리대상 시설물의 방향과 남은 거리를 알 수 있게 됨은 물론 원하는 시설물을 실시간으로 위치기반 증강현실로 확인하여 관리할 수 있게 된다. 참고로, 도 7과 8에 도시된 깃발은 찾고자 하는 목적지를 나타내는 것으로, 복수로 표시될 수 있다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명한 것으로서, 본 발명은 상기한 실시예에 한정되지 아니하며, 그 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경 및 응용될 수 있다.
또한 본 발명의 보호 범위는 다음의 특허청구범위에 의하여 정해지는 것이며, 이와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10...모바일 기기
11...영상획득 모듈
12...DB 입출력 모듈
13...오토 캘리브레이션 모듈(Auto Calibration Module)
14...위치보정 모듈
15...시설관리 애플리케이션(Application)
20...데이터베이스 서버(Database Server)

Claims (3)

  1. 사전에 획득된 관리대상 시설물에 대한 객체 정보가 데이터베이스로 저장되는 데이터베이스 서버(20)와;
    객체의 영상과 GPS 정보를 획득하는 영상획득모듈(11)과,
    영상에 대한 내부 파라미터를 결정하는 오토 캘리브레이션 알고리즘이 구비된 오토 캘리브레이션 모듈(12)과,
    상기 데이터베이스 서버(20)에 객체 정보를 저장하거나 상기 데이터베이스 서버(20)로부터 객체 정보를 수신하는 DB 입출력 모듈(13)과,
    상기 오토 캘리브레이션 모듈(12)에 의해 결정된 내부 파라미터와 상기 DB 입출력 모듈(13)로부터 수신된 객체 정보를 이용하여, 객체 영상의 GPS 정보를 보정하는 위치보정 알고리즘이 구비된 위치보정 모듈(14)과,
    카메라에 의해 획득된 객체 영상의 내부 파라미터를 결정한 후 카메라에 의해 획득된 객체 영상의 특징점을 검출하고, 이를 데이터베이스의 객체 정보와 매칭하여 관리대상 시설물에 대한 이력 관리를 수행할 수 있도록 하는 시설관리 애플리케이션(15)이 설치된 모바일 기기(10);를 포함하는 것을 특징으로 하는 모바일 기기를 이용한 위치기반 시설물 관리 시스템.
  2. 제1항에 있어서,
    상기 데이터베이스 서버(20)에는, 관리대상 시설물의 객체 영상과, 객체 GPS 정보, 객체 실측 자료 및 이력사항을 포함하는 객체 기본 정보가 저장자료로 저장되고, 상기 모바일 기기(10)의 시설관리 애플리케이션(15)에 의해 검출된 객체의 특징점 정보가 생성자료로 저장되는 것을 특징으로 하는 모바일 기기를 이용한 위치기반 시설물 관리 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 시설관리 애플리케이션(15)은, 모바일 기기(10)의 카메라에 의해 획득된 객체 영상과 데이터베이스 서버(20)로부터 수신된 객체 영상의 특징점을 매칭한 후 스테레오 영상 기법을 이용하여 객체에 대한 모바일 기기(10)의 상대 위치를 구하도록 한 것을 특징으로 하는 모바일 기기를 이용한 위치기반 시설물 관리 시스템.
KR1020140177294A 2014-12-10 2014-12-10 모바일 기기를 이용한 위치기반 시설물 관리 시스템 KR20160070874A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140177294A KR20160070874A (ko) 2014-12-10 2014-12-10 모바일 기기를 이용한 위치기반 시설물 관리 시스템
US14/613,613 US20160169662A1 (en) 2014-12-10 2015-02-04 Location-based facility management system using mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140177294A KR20160070874A (ko) 2014-12-10 2014-12-10 모바일 기기를 이용한 위치기반 시설물 관리 시스템

Publications (1)

Publication Number Publication Date
KR20160070874A true KR20160070874A (ko) 2016-06-21

Family

ID=56110855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140177294A KR20160070874A (ko) 2014-12-10 2014-12-10 모바일 기기를 이용한 위치기반 시설물 관리 시스템

Country Status (2)

Country Link
US (1) US20160169662A1 (ko)
KR (1) KR20160070874A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066817A (ko) * 2017-12-06 2019-06-14 한국광기술원 증강현실 이미지 생성장치 및 방법
KR102228047B1 (ko) * 2020-06-30 2021-03-16 (주)포미트 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법
CN113362398A (zh) * 2021-06-30 2021-09-07 广州文远知行科技有限公司 确定相机内参误差的方法、系统、设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982239A (zh) * 2019-03-07 2019-07-05 福建工程学院 基于机器视觉的商场楼层定位系统及方法
US11871114B2 (en) * 2019-10-04 2024-01-09 Visit Inc. System and method for producing panoramic image content
CN116685978A (zh) * 2020-09-30 2023-09-01 斯纳普公司 位置引导的视觉码扫描
WO2022141333A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种图像处理方法以及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101044252B1 (ko) 2010-09-14 2011-06-28 주식회사 티엠이앤씨 공간모델을 이용한 시설물 유지관리 시스템 및 시설물 유지관리 방법
KR101436423B1 (ko) 2013-12-03 2014-09-01 한국건설기술연구원 시설물 유지보수 데이터 관리 시스템 및 방법
KR101463906B1 (ko) 2013-08-29 2014-11-20 브이앤아이 주식회사 영상 부가정보를 이용한 위치보정 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101044252B1 (ko) 2010-09-14 2011-06-28 주식회사 티엠이앤씨 공간모델을 이용한 시설물 유지관리 시스템 및 시설물 유지관리 방법
KR101463906B1 (ko) 2013-08-29 2014-11-20 브이앤아이 주식회사 영상 부가정보를 이용한 위치보정 방법
KR101436423B1 (ko) 2013-12-03 2014-09-01 한국건설기술연구원 시설물 유지보수 데이터 관리 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066817A (ko) * 2017-12-06 2019-06-14 한국광기술원 증강현실 이미지 생성장치 및 방법
KR102228047B1 (ko) * 2020-06-30 2021-03-16 (주)포미트 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법
CN113362398A (zh) * 2021-06-30 2021-09-07 广州文远知行科技有限公司 确定相机内参误差的方法、系统、设备和存储介质
CN113362398B (zh) * 2021-06-30 2022-07-15 广州文远知行科技有限公司 确定相机内参误差的方法、系统、设备和存储介质

Also Published As

Publication number Publication date
US20160169662A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
KR20160070874A (ko) 모바일 기기를 이용한 위치기반 시설물 관리 시스템
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
EP3550513B1 (en) Method of generating panorama views on a mobile mapping system
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR102103834B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
KR102016636B1 (ko) 카메라와 레이더의 캘리브레이션 장치 및 방법
CN111383279B (zh) 外参标定方法、装置及电子设备
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
CN108510528B (zh) 一种可见光和红外图像配准融合的方法及装置
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN112598750A (zh) 路侧相机标定方法、装置、电子设备和存储介质
US10783373B2 (en) Method and apparatus for augmenting reality
KR102097416B1 (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
JP7001711B2 (ja) カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
CN113566847B (zh) 导航校准方法和装置、电子设备、计算机可读介质
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
WO2006043319A1 (ja) 端末及びサーバ
KR20150096127A (ko) 사진에 촬영된 지점의 위치를 계산하는 방법 및 장치
KR20150096128A (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application