KR20110119589A - 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법 - Google Patents

중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법 Download PDF

Info

Publication number
KR20110119589A
KR20110119589A KR1020110039678A KR20110039678A KR20110119589A KR 20110119589 A KR20110119589 A KR 20110119589A KR 1020110039678 A KR1020110039678 A KR 1020110039678A KR 20110039678 A KR20110039678 A KR 20110039678A KR 20110119589 A KR20110119589 A KR 20110119589A
Authority
KR
South Korea
Prior art keywords
point
image
ground
coordinate system
coordinate
Prior art date
Application number
KR1020110039678A
Other languages
English (en)
Other versions
KR101179108B1 (ko
Inventor
이임평
오태완
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Publication of KR20110119589A publication Critical patent/KR20110119589A/ko
Application granted granted Critical
Publication of KR101179108B1 publication Critical patent/KR101179108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 의한 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법이 개시된다.
본 발명에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템은 중첩된 전방위 영상을 획득하는 영상정보 획득수단; 상기 영상정보 획득수단의 위치 정보와 자세 정보를 획득하는 위치정보 획득수단; 및 상기 중첩된 전방위 영상, 상기 위치 정보와 자세 정보, 기 설정된 대상지점에 대한 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하여 산출된 상기 영상점 벡터를 이용하여 지상 좌표계 상에서 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하고, 유도된 상기 2개 이상의 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 사용자 단말기를 포함한다.
이를 통해, 본 발명은 대상지점에 대한 3차원 좌표의 정확도를 향상시킬 수 있다.

Description

중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법{SYSTEM FOR DETERMINING 3-DIMENSIONAL COORDINATES OF OBJECTS USING OVERLAPPING OMNI-DIRECTIONAL IMAGES AND METHOD THEREOF}
본 발명은 3차원 좌표 결정 방법에 관한 것으로, 특히, 두 개의 중첩된 전방위 영상에서 선정한 공액점으로부터 유도한 각각의 직선의 교점을 계산하여 대상지점의 3차원 좌표를 결정할 수 있는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법에 관한 것이다.
고품질 공간정보의 보다 신속하고 경제적인 구축을 위해 최근에는 다양한 플랫폼에 탑재된 다양한 센서들의 융합에 기반한 연구들이 활발히 진행되고 있다. 무인항공기(Unmanned Aero Vehicle; UAV)를 플랫폼으로 하여 카메라 및 GPS/INS 등의 멀티센서가 탑재된 시스템을 이용해 공간정보를 취득하는 시스템이 개발되고 있다. 항공기를 이용한 공간정보 획득시스템은 도심지의 경우 건물 벽면의 텍스쳐 획득에 취약하기 때문에 모바일매핑시스템과 같이 차량을 이용한 시스템의 활용이 요구된다. 모바일매핑이란 도로, 교통시설물, 도로주변의 건물 등 지형지물의 정보를 움직이는 차량을 이용해 취득하는 것을 말한다. 또한, 멀티센서를 차량에 탑재한 모바일매핑시스템이 개발되었으며, 모바일매핑시스템을 이용하여 이동객체를 추적하고 필요한 특정 개체만을 추출하는 연구가 이루어졌다.
최근에는 모바일매핑시스템에 전방위 카메라(Omni-directional Camera)를 탑재하여 공간정보를 획득하려는 시도가 활발하게 이루어지고 있다. 전방위 카메라를 탑재한 모바일매핑시스템은 차량 진행방향에 따라 중복 촬영한 영상을 이용하여 지형지물의 위치를 산출한다. 이러한 경우 프레임 카메라를 사용하는 방식에 비해 기선이 길어져 높은 정확도를 갖는 결과물 생성이 가능하다. 이와 관련하여 전방위 카메라 및 주행 기록계(odometer)를 탑재한 모바일매핑시스템 이용을 통해 옵티컬 플로어(optical flow) 기반의 지형지물 인식 연구 등이 있었다.
전방위 카메라란 시야각(Filed of View; FOV)이 360ㅀ이기 때문에 촬영 지점을 기준으로 모든 방향의 영상정보 취득이 가능한 카메라를 말한다. 기존의 전방위 카메라는 반구 모양의 거울을 통해 반사된 영상데이터를 하나의 CCD에 입력하여 전방위 영상을 취득하는 방식이었으나 이러한 전방위 카메라 영상은 반구거울을 사용하는 동작방식에 의해 필연적으로 많은 왜곡(distortion)들을 포함하고 있다.
이러한 전방위 영상에서 발생하는 왜곡을 CCD 센서에 맺히는 투영의 중심과 상 사이의 각을 이용하여 보정하려는 노력이 있었으나 왜곡을 완전하게 제거할 수 없었다.
최근에는 거울을 이용한 방식이 아닌 여러 개의 카메라를 이용한 전방위 카메라가 등장하였다. 그 중 Ladybug라는 전방위 카메라는 서로 다른 범위를 촬영하는 6개의 카메라를 통해 영상을 획득한다. 각 카메라로부터 획득된 6개의 영상들은 영상처리를 통해 모든 방향으로의 영상정보를 갖는 한 장의 전방위 영상으로 생성된다. 이러한 방식으로 생성된 전방위 영상은 기존의 반구거울을 이용한 전방위 카메라 영상에 비해 왜곡은 적고 공간해상도가 높다.
전방위 카메라는 다양한 분야에서 사용되어 왔다. 이동 로봇 시스템 분야에서는 Tracking vertex와 Line features를 이용하는 방법을 사용하여 로봇의 위치 및 방향을 감지하고 이를 이용해 이동경로 결정하는 연구가 진행되었다. 전방위 영상의 옵티컬 플로어 백터를 이용하여 로봇의 방향을 계산하는 방법도 제안되었다. 이 밖에도 전방위 영상을 평면에 투사하여 객체를 인식하고 추적하는 연구가 수행되었다.
모바일매핑시스템은 다양한 종류의 센서들을 결합하여 구성되므로 센서들의 성능에 따라 전체 시스템의 성능이 결정된다고 할 수 있다. 기존의 전방위 카메라를 탑재한 지상 모바일매핑시스템은 주로 객체의 움직임을 개략적으로 탐지하거나 가공되지 않은 원시 영상만을 제공하는 로드뷰(Road View) 서비스에 사용되어 왔다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 두 개의 중첩된 전방위 영상에서 선정한 공액점으로부터 유도한 각각의 직선의 교점을 계산하여 대상지점의 3차원 좌표를 결정할 수 있는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템은 중첩된 전방위 영상을 획득하는 영상정보 획득수단; 상기 영상정보 획득수단의 위치 정보와 자세 정보를 획득하는 위치정보 획득수단; 및 상기 중첩된 전방위 영상, 상기 위치 정보와 자세 정보, 기 설정된 대상지점에 대한 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하여 산출된 상기 영상점 벡터를 이용하여 지상 좌표계 상에서 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하고, 유도된 상기 2개 이상의 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 사용자 단말기를 포함할 수 있다.
바람직하게, 상기 사용자 단말기는 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출할 수 있다.
바람직하게, 상기 사용자 단말기는 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 상기 전방위 카메라의 투영 중심에서 영상점을 잇는 영상점 벡터를 산출할 수 있다.
바람직하게, 상기 사용자 단말기는 상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되, 상기 직선의 방정식은 수학식
Figure pat00001
로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
Figure pat00002
는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타낼 수 있다.
바람직하게, 상기 사용자 단말기는 2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 지상점 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정할 수 있다.
본 발명의 다른 한 관점에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템은 입력받은 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출하는 공액점 산출부; 산출된 상기 공액점의 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하는 벡터 산출부; 산출된 상기 영상점 벡터를 이용하여 지상 좌표계 상에서 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하는 수식 유도부; 및 유도된 2개 이상의 상기 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 3차원 좌표 결정부를 포함할 수 있다.
바람직하게, 상기 벡터 산출부는 산출된 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 영상정보 획득수단의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출할 수 있다.
바람직하게, 상기 수식 유도부는 상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되, 상기 직선의 방정식은 수학식
Figure pat00003
로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
Figure pat00004
는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타낼 수 있다.
바람직하게, 상기 좌표 결정부는 2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정할 수 있다.
또한, 본 발명에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템은 영상정보 획득수단과 위치정보 획득수단으로부터 중첩된 전방위 영상, 위치 정보 및 자세 정보를 입력받는 정보 수집부를 더 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법은 (a)영상정보 획득수단이 중첩 전방위 영상을 획득하는 단계; (b)위치정보 획득수단이 상기 영상정보 획득수단의 위치 정보와 자세 정보를 획득하는 단계; (c)사용자 단말기가 상기 중첩된 전방위 영상, 상기 위치 정보와 자세 정보, 기 설정된 대상지점에 대한 공액점의 영상점 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하는 단계; (d)상기 사용자 단말기가 산출된 상기 카메라 좌표계 상에서의 영상점 벡터를 이용하여 지상 좌표계 상에서의 지상점이 존재하는 직선의 방정식을 유도하는 단계; 및 (e)상기 사용자 단말기가 유도된 상기 직선의 방정식으로 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출할 수 있다.
바람직하게, 상기 (c) 단계는 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 상기 영상정보 획득수단의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출할 수 있다.
바람직하게, 상기 (d) 단계는 상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되, 상기 직선의 방정식은 수학식
Figure pat00005
로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
Figure pat00006
는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타낼 수 있다.
바람직하게, 상기 (e) 단계는 2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정할 수 있다.
본 발명의 또 다른 한 관점에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법은 (a)입력받은 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출하는 단계; (b)산출된 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하는 단계; (c)산출된 상기 카메라 좌표계 상에서의 영상점 벡터를 이용하여 지상 좌표계 상에서의 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하는 단계; 및 (d)유도된 상기 2개 이상의 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 단계를 포함할 수 있다.
바람직하게, 상기 (b) 단계는 산출된 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 영상정보 획득수단의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출할 수 있다.
바람직하게, 상기 (c) 단계는 상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되, 상기 직선의 방정식은 수학식
Figure pat00007
로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
Figure pat00008
는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타낼 수 있다.
바람직하게, 상기 (d) 단계는 2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정할 수 있다.
또한, 본 발명에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법은 (a-1) 상기 (a) 단계 이전에 영상정보 획득수단과 위치정보 획득수단으로부터 중첩된 전방위 영상, 위치 정보 및 자세 정보를 입력받는 단계를 더 포함할 수 있다.
이를 통해, 본 발명은 두 개의 중첩된 전방위 영상에서 선정한 공액점으로부터 유도한 각각의 직선의 교점을 계산하여 대상지점의 3차원 좌표를 결정함으로써, 대상지점에 대한 3차원 좌표의 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 시스템의 개략적인 구성을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 좌표계의 정의에 대한 개념도를 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 3차원 좌표를 결정하기 위한 방법을 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 카메라 좌표계 상의 지상점과 영상점 사이의 관계를 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 각 좌표계와 지상점과의 관계를 나타내는 예시도이다.
도 6은 본 발명의 실시예에 따른 3차원 좌표를 결정하는 원리를 설명하기 위한 예시도이다.
도 7은 도 1에 도시된 사용자 단말기(130)의 상세한 구성을 나타내는 예시도이다.
도 8은 본 발명의 실시예에 따른 전방위 카메라의 외관을 나타내는 예시도이다.
도 9는 본 발명에 따른 전방위 영상을 생성하는 과정을 나타내는 예시도이다.
도 10은는 본 발명의 실시예에 따른 전방위 카메라 및 GPS/INS 센서를 통합한 센서를 나타내는 예시도이다.
도 11은 본 발명의 실시예에 따른 통합 센서를 차량에 탑재하여 완성된 모바일 매핑 시스템을 나타내는 예시도이다.
도 12는 본 발명의 실시예에 따른 영상의 취득 경로 및 지상점 그룹을 보여주는 예시도이다.
도 13은 본 발명의 실시예에 따른 전방위 영상을 보여주는 예시도이다.
도 14는 본 발명의 실시예에 따른 각 영역별 검사점을 보여주는 예시도이다.
도 15는 본 발명의 실시예에 따른 전방위 영상으로부터 결정된 지상점과 검사점을 보여주는 예시도이다.
도 16은 본 발명의 실시예에 따른 카메라 위치와 검사점 위치 사이의 관계를 나타내는 예시도이다.
도 17은 본 발명의 실시예에 따른 전방위 영상으로부터 결정된 지상점과 검사점을 보여주는 예시도이다.
이하에서는, 본 발명의 실시예에 따른 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법을 첨부한 도 1 내지 도 17을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.
본 발명에서는 두 개의 중첩된 전방위 영상에서 선정한 공액점으로부터 유도한 각각의 직선의 교점을 계산하여 대상지점의 3차원 좌표를 결정할 수 있는 방법을 제안한다.
제안된 방법은 크게 좌표계 설정, 데이터 수집, 내부표정 수행, 외부표정 수행, 및 대상지점 좌표 결정의 과정으로 구성될 수 있다. 첫 번째 과정은 탑재된 센서의 구성을 확인한 후 센서 및 지상에 개별적으로 정의되어 있는 3차원 좌표계를 정의하고 좌표계 사이의 관계를 수립한다. 두 번째 과정은 전방위 카메라 영상, 카메라의 외부표정 요소를 수집하고 공액점의 좌표값을 산출한다. 세 번째 및 네 번째 과정은 하나의 영상점에 투영될 수 있는 3차원 후보 지상점이 존재하는 직선을 3차원 객체좌표계 상에 표현하기 위해 내부표정 및 외부표정을 수행한다. 내부표정은 하나의 영상점에 대응되는 후보 지상점의 직선을 카메라 좌표계로 표현하는 과정이고, 외부표정은 카메라 좌표계로 표현된 직선을 카메라와 지상과의 관계를 통해 지상 좌표계로 변환하는 과정이다. 마지막 과정은 두 개의 중첩된 영상에서 선정한 공액점으로부터 유도한 각각의 직선의 교점을 계산하여 대상지점의 3차원 좌표를 결정한다.
도 1은 본 발명의 실시예에 따른 시스템의 개략적인 구성을 나타내는 예시도이다.
도 1에 도시한 바와 같이, 본 발명에 따른 시스템은 차량 등에 2개의 센서 예컨대, 전방위 카메라(Omni-directional camera) 등의 영상정보 획득수단(110)과 GPS/INS(Global Positioning System/Inertial Navigation System) 센서 등의 위치정보 획득수단(120), 및 사용자 단말기(130) 등을 탑재하여 구현할 수 있다. 탑재된 센서들은 각각 개별 센서에 독립적으로 정의된 3차원 좌표계를 기준으로 원시 센서 데이터를 출력할 수 있다. 전방위 카메라(110)는 주변 전방위 즉, 전후, 좌우, 상하 방향 등에 대한 영상을 한번에 촬영하는 카메라로서 다수의 카메라 모듈이 전방향을 향하도록 배열되어 있다. 따라서 시스템은 전방위 카메라(110)를 통해 주변 영상 즉, 중첩된 전방위 영상을 획득할 수 있다.
또한, 시스템은 전방위 카메라(110)의 외부표정 요소로 GPS/INS 센서(120)를 통해 위치 정보 및 자세 정보 등을 획득할 수 있다. GPS/INS 센서(120)를 통해 획득되는 위치 정보 및 자세 정보는 GPS/INS 센서(120) 자체의 위치 정보 및 자세 정보일 수 있지만, GPS/INS 센서(120)가 전방위 카메라(110)와 같이 차량에 탑재되기 때문에 전방위 카메라(110)의 위치 정보 및 자세 정보이거나 차량의 위치 정보 및 자세 정보일 수도 있다.
사용자 단말기(130)는 전방위 카메라(110)로부터 전방위 영상을 입력받고, GPS/INS 센서(120)를 통해 위치 정보 및 자세 정보를 입력받을 수 있다. 그리고 사용자 단말기(130)는 두 개의 중첩된 전방위 영상에서 임의의 대상객체 또는 대상지점에 대한 공액점의 영상 좌표값을 산출 수 있다. 여기서, 공액점은 두 개의 중첩된 전방위 영상에서의 공액점일 뿐 아니라 그 이상의 중첩된 전방위 영상에서의 공액점을 포괄하는 개념일 수 있다.
사용자 단말기(130)는 이렇게 입력받은 전방위 영상, 위치 정보 및 자세 정보, 공액점의 영상 좌표값을 기반으로 대상시점에 대한 3차원 좌표값을 결정할 수 있다. 예컨대, 사용자 단말기(130)는 스마트폰, 노트북, 네비게이션 등을 포괄하는 개념일 수 있다.
또한, 사용자 단말기(130)는 대상지점에 대한 3차원 좌표값을 결정하기 위하여 먼저 탑재된 센서의 구성을 확인한 후 센서 및 지상에 개별적으로 정의되어 있는 3차원 좌표계를 정의하고 각 좌표계 사이의 관계를 수립해야 하는데 이를 도 2를 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 좌표계의 정의에 대한 개념도를 나타내는 예시도이다.
도 2에 도시한 바와 같이, 본 발명에 따른 3차원 좌표계는 카메라 좌표계(CCS), GPS/INS 좌표계(ICS), 및 지상 좌표계(GCS) 등으로 정의할 수 있다. 센서 데이터의 상호 융합을 위하여 카메라 좌표계, GPS/INS 좌표계, 및 지상 좌표계 사이의 관계를 정밀하게 수립해야 한다.
이러한 카메라 좌표계, GPS/INS 좌표계, 및 지상 좌표계 사이의 관계를 설정하는 과정에서 발생할 수 있는 오차를 줄이기 위하여 카메라 좌표계와 GPS/INS 좌표계의 X축, Y축은 서로 평행하게 설정하고 Z축은 서로 일치시킬 수 있다. 여기서, 각 좌표계에서의 X축은 차량의 진행방향을 나타내고, Y축은 차량 진행방향의 수평 직각 방향을 나타내며, Z축은 차량 진행방향의 수직 직각 방향을 나타낼 수 있다.
도 3은 본 발명의 실시예에 따른 3차원 좌표를 결정하기 위한 방법을 나타내는 예시도이다.
도 3에 도시한 바와 같이, 본 발명에 따른 사용자 단말기는 전방위 카메라와 GPS/INS 센서로부터 중첩된 전방위 영상, 위치 정보 및 자세 정보를 입력받을 수 있다(S310). 사용자 단말기는 입력받은 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출할 수 있다(S320).
다음으로, 사용자 단말기는 산출된 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 카메라의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출할 수 있다(S330).
도 4는 본 발명의 실시예에 따른 카메라 좌표계 상의 지상점과 영상점 사이의 관계를 나타내는 예시도이다.
도 4에 도시한 바와 같이, 그림 (a)에서 본 발명에 따른 카메라 좌표계 상에서 구면 상의 임의의 영상점(image point)과 이에 투영된 지상점(ground point)의 관계를 보여주고 있다. 카메라 좌표계의 원점은 카메라의 투영의 중심에 해당하고, 중심 투영의 원리에 따라 투영의 중심, 영상점, 및 지상점은 하나의 직선 상에 존재하게 된다.
투영의 중심에서 영상점을 잊는 벡터 즉, 영상점 벡터 Cn는 3차원 극좌표계의 원리에 의해 다음의 [수학식 1]과 같이 나타낼 수 있다. 영상점 벡터는 투영의 중심에서 지상점을 잊는 벡터 즉, 지상점 벡터와 동일한 방향을 갖는다. 따라서 지상점은 투영의 중심에서 영상점 벡터 Cn의 방향을 갖는 직선 상에 존재할 수 있다.
[수학식 1]
Figure pat00009
여기서, α는 수평각을 나타내고 β는 수직각을 나타낼 수 있다. 이러한 수평각 α과 수직각 β은 그림 (b)를 참조하여 설명한다. 그림 (b)는 그림 (a)의 구면 영상을 평면으로 펼친 영상이다.
영상점의 좌표는 영상의 좌측 상단을 기준으로 (r,c)로 표현하는데, 여기서 r은 각 행의 번호를 의미하고 c는 각 열의 번호를 의미할 수 있다. 영상점의 좌표와 구면 상의 위치를 나타내는 수평각 α과 수직각 β의 관계는 다음의 [수학식 2]와 같다.
[수학식 2]
Figure pat00010
즉, 본 발명은 두 번째 과정에서 내부표정을 수행하여 영상점 벡터 Cn를 설정할 수 있다.
다음으로, 사용자 단말기는 카메라 좌표계로 표현된 영상점 벡터를 이용하여 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도할 수 있다(S340).
도 5는 본 발명의 실시예에 따른 각 좌표계와 지상점과의 관계를 나타내는 예시도이다.
도 5에 도시한 바와 같이, 카메라 좌표계, GPS/INS 좌표계, 지상 좌표계, 및 지상점과의 관계를 보여주고 있다. 하나의 영상점에 투영된 지상점의 지상 좌표계 상의 좌표값 벡터 GP는 투영의 중심에서 지상점을 연결하는 벡터 λGn과 지상 좌표계의 원점에서 투영의 중심을 연결하는 벡터 GOC의 합으로서 다음의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure pat00011
여기서, λ는 변수를 의미할 수 있다.
이때, 지상 좌표계로 표현된 지상점의 방향 벡터 Gn을 내부표정에서 구한 영상점 벡터를 회전변환하면 다음의 [수학식 4]를 얻을 수 있다.
[수학식 4]
여기서,
Figure pat00013
는 지상 좌표계와 카메라 좌표계 간의 회전행렬을 나타내며,
Figure pat00014
는 카메라 좌표계와 GPS/INS 좌표계 간의 회전행렬을 나타내며,
Figure pat00015
는 지상 좌표계와 GPS/INS 좌표계 간의 회전행렬을 나타낼 수 있다.
이때, R은 카메라의 자세정보를 나타내고, O는 카메라의 위치정보를 나타낼 수 있다.
또한 카메라의 투영 중심인 GOC를 GPS/INS 좌표계의 원점과 카메라의 투영 중심 사이의 변리(offset)를 이용하면 다음의 [수학식 5]를 얻을 수 있다.
[수학식 5]
Figure pat00016
이렇게 얻은 [수학식 4]와 [수학식 5]를 이용하여 GP를 정리하면 다음의 [수학식 6]과 같다.
[수학식 6]
Figure pat00017
결국 [수학식 6]은 하나의 영상점에 투영된 후보 지상점들이 존재하는 직선을 지상 좌표계로 표현한 식이 된다.
만약, 카메라 좌표계와 GPS/INS 좌표계가 일치한다고 가정하면
Figure pat00018
로 설정할 수 있는데, I3은 단위 벡터이기 때문에 [수학식 4]와 [수학식 5]로부터 다음의 [수학식 7]을 얻을 수 있다.
[수학식 7]
Figure pat00019
[수학식 7]을 앞의 [수학식 6]에 적용하면 다음의 [수학식 8]을 얻을 수 있다.
[수학식 8]
Figure pat00020

다음으로, 사용자 단말기는 유도된 2개 이상의 직선의 방정식을 이용하여 대상지점에 대한 3차원 좌표값을 산출할 수 있다(S350). 구체적으로 설명하면, 사용자 단말기는 2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리가 기 설정된 임계치와 비교할 수 있다. 사용자 단말기는 그 비교한 결과에 따라 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 크면, 정합오류로 판단할 수 있다.
반면에, 사용자 단말기는 그 비교한 결과에 따라 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 산출할 수 있다.
두 개의 중첩된 영상에서 선정한 공액점으로부터 유도한 각각의 직선의 방정식의 교차점을 계산하여 대상지점의 3차원 좌표를 결정하는 원리를 도 6을 참조하여 설명한다.
도 6은 본 발명의 실시예에 따른 3차원 좌표를 결정하는 원리를 설명하기 위한 예시도이다.
즉 두 개의 중첩된 영상의 공액점에 투영된 지상점 P1, P2는 [수학식 8]을 이용하여 각각 방향 벡터와 시작점으로 표현되는 다음의 [수학식 9]와 같이 나타낼 수 있다.
[수학식 9]
Figure pat00021
[수학식 9]에서 지상점 P1, P2는 공액점이기 때문에 같은 직선상에 존재하고 동일한 점을 나타내고, [수학식 9]를 이용하여 다음의 [수학식 10]을 유도할 수 있다.
[수학식 10]
Figure pat00022
이러한 [수학식 10]을 행렬로 표현하면 다음의 [수학식 11]과 같이 나타낼 수 있다.
[수학식 11]
Figure pat00023
최소제곱법(method of least squares)을 이용하여 미지수 ξ를 구하기 위하여 앞의 [수학식 11]을 정리하면 다음의 [수학식 12]와 같이 나타낼 수 있다.
[수학식 12]
Figure pat00024
이렇게 추정한 미지수
Figure pat00025
를 [수학식 9]에 적용하여 다음의 [수학식 13]을 구할 수 있다.
[수학식 13]
Figure pat00026
도 6을 참조하면, 추정한 지상점
Figure pat00027
간의 거리
Figure pat00028
를 보여주고 있다. 만약 두 점
Figure pat00029
사이의 거리가 임계값보다 크면, 정합오류로 판단하게 된다. 반면 두 점
Figure pat00030
사이의 거리가 임계값보다 작으면 두 점의 중점
Figure pat00031
를 산출하여 이를 3차원 좌표로 결정하게 된다.
예컨대, 두 점의 중점
Figure pat00032
는 두 점
Figure pat00033
의 평균값일 수 있다.
이때, 본 발명은 두 개의 중첩된 영상에서 선정한 공액점으로부터 유도한 직선의 방정식의 교차점을 계산하여 대상지점의 3차원 좌표를 결정하고 있지만, 반드시 이에 한정되지 않고 적어도 두 개 이상의 중첩된 영상에서 선정한 공액점을 적용할 수도 있다.
도 7은 도 1에 도시된 사용자 단말기(130)의 상세한 구성을 나타내는 예시도이다.
도 7에 도시한 바와 같이, 본 발명에 따른 사용자 단말기(130)는 정보 수집부(131), 공액점 산출부(132), 벡터 산출부(133), 수식 유도부(134), 좌표 결정부(135) 등을 포함하여 구성될 수 있다.
정보 수집부(131)는 영상정보 획득수단과 위치정보 획득수단으로부터 중첩된 전방위 영상, 위치 정보 및 자세 정보를 입력받을 수 있다. 공액점 산출부(132)는 입력받은 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출할 수 있다.
벡터 산출부(133)는 산출된 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 카메라의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출할 수 있다.
수식 유도부(134)는 산출된 상기 영상점 벡터를 이용하여 지상 좌표계 상에서 지상점이 존재하는 2개 이상의 직선의 방정식을 유도할 수 있다.
3차원 좌표 결정부(135)는 유도된 2개 이상의 상기 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정할 수 있다. 구체적으로 설명하면, 3차원 좌표 결정부(135)는 2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교할 수 있다. 3차원 좌표 결정부(135)는 그 비교한 결과에 따라 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 크면, 정합오류로 판단할 수 있다.
반면 3차원 좌표 결정부(135)는 그 비교한 결과에 따라 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정할 수 있다.
이하에서는 본 발명의 실시예에 따른 객체의 3차원 좌표를 결정하기 위한 방법을 실험한 결과를 도 8 내지 도 17을 참조하여 설명한다.
센서 시스템
도 8은 본 발명의 실시예에 따른 전방위 카메라의 외관을 나타내는 예시도이다.
도 8에 도시한 바와 같이, 본 발명에서 사용한 전방위 카메라(Omni-directional camera)의 제원은 다음의 [표 1]에서 보여주고 있다. 즉, 카메라는 1600 x 1200의 공간 해상도를 갖는 6개의 CCD를 통해 360ㅀ의 시야각(Field Of View; FOV)을 갖는다. 출력 영상은 가로 360ㅀ, 세로 180ㅀ를 포함하는 5400 x 2700의 해상도를 갖는다.
[표 1]
Figure pat00034
도 9는 본 발명에 따른 전방위 영상을 생성하는 과정을 나타내는 예시도이다.
도 9에 도시한 바와 같이, 전방위 카메라를 통해 6개의 개별적인 영상을 취득하여 최종적으로 통합된 하나의 영상을 생성하는 과정을 보여주고 있다. 먼저 6개의 CCD를 통해 Bayer-tiled Raw 형식의 영상을 획득한 후 JPEG형식으로 압축하여 Firewire를 통해 PC(Personal Computer)로 전송한다. PC에서 전송된 영상의 압축을 풀고, Raw 영상을 RGB 컬러영상으로 변환하여 그래픽카드로 전달한다. 그래픽 카드에서 배럴왜곡(barrel distortion)을 제거하는 보정(rectification) 과정, 영상 텍스쳐를 2D 또는 3D 좌표계로 변환하는 투영(projection) 과정, 각각의 CCD를 통해 획득된 영상들을 서로 연결하는 블랜딩(blending) 과정을 거쳐 최종적으로 하나의 영상(stitched image)을 생성한다.
전방위 카메라 영상의 외부표정 요소를 취득하기 위해 전방위 카메라와 함께 GPS/INS 센서를 탑재하였다. 사용된 센서는 모바일 매핑 시스템(Mobile Mapping System)과 같은 이동형 시스템에 적합한 센서이다. 3축 방향으로 가속도를 측정하는 가속도계(accelerometer)와 3개의 회전축의 각속도를 측정하는 자이로스코프(gyroscope)가 내장된 IMU(Inertial Measurement Unit)로 구성되어 있다. GPS는 3차원 절대좌표의 위치를 측정할 뿐만 아니라 2개의 GPS 안테나를 이용하여 INS의 오차를 보정하는 GAMS(GNSS Azimuth Measurement Subsystem)을 사용한다. GPS의 반송파를 이용해 2개의 GPS 안테나 사이의 상대적 위치 벡터를 측정하는 시스템으로 INS의 오차를 연속적으로 보정한다.
다음의 [표 2]는 사용된 GPS/INS 센서로 측정한 위치 및 자세에 대한 정확도를 보여준다.
[표 2]
Figure pat00035
도 10은는 본 발명의 실시예에 따른 전방위 카메라 및 GPS/INS 센서를 통합한 센서를 나타내는 예시도이고, 도 11은 본 발명의 실시예에 따른 통합 센서를 차량에 탑재하여 완성된 모바일 매핑 시스템을 나타내는 예시도이다.
도 10 내지 도 11을 참조하면 통합 센서의 상단부에는 전방위 카메라, 아래에는 INS가 탑재되어 있으며 차량 진행 방향(X축 방향)으로 2대의 GPS 안테나가 탑재되어 있다. 완성된 통합 센서는 상하 방향으로 상당히 길어 터널 및 교량 하부를 통과할 경우 충돌 위험성이 있고, 전방위 카메라의 특성상 차량이 영상에 포함되기 때문에 이를 최소화하기 위해 차체가 작고 낮은 차량을 선정하였다.
실험 데이터
도 12는 본 발명의 실시예에 따른 영상의 취득 경로 및 지상점 그룹을 보여주는 예시도이고, 도 13은 본 발명의 실시예에 따른 전방위 영상을 보여주는 예시도이다.
도 12를 참조하면, 실험을 통해 획득된 영상 데이터는 평균 1MB의 용량을 가진 5400 * 2700의 해상도를 갖는 영상으로 Jpeg 압축방식을 사용하였다. 영상을 취득한 장소는 경기도 오산시청 부근의 도로 주변으로 지도상의 동쪽에서 서쪽으로 이동하면서 영상을 취득하였다. 차량이 이동한 도로는 편도 2~3차선으로 근처에 공원 및 5층 안팎의 낮은 건물이 있고 다소 먼 지점에는 고층 아파트 및 상가들이 분포되어 있다. 기존에 검사점이 확보되어 있는 3개의 그룹 A,B,C에서 기선의 길이 따라 각 2쌍의 중첩영상을 선택하였다. 또한, 그룹 C에서는 대상객체와 카메라의 상호위치와 정확도의 관계를 분석하기 위해서 추가로 유사한 크기의 기선을 갖는 2쌍의 중첩영상을 선택하였다. 선택된 전방위 영상의 예시는 도 13에서 볼 수 있다. 이러한 전방위 영상은 수평방향으로 360ㅀ수직 방향으로 180ㅀ해당하는 범위의 전방위 정보를 포함하고 있으며 영상의 중심이 차량의 진행방향을 나타낸다.
다음의 [표 3]은 GPS/INS 데이터로부터 측정한 개별 영상을 취득한 시점의 전방위 카메라의 위치/자세를 나타내는 외부표정 요소 및 기선 거리를 보여주고 있다. 각 영역 별로 단기선 그룹(A1, B1, C1)은 약 2 m 내외의 기선을 장기선 그룹(A2, B2, C2)은 16-18 m의 기선을 갖는다. 그룹 C3 및 C4는 대상객체와 카메라의 상호위치와 정확도의 관계를 분석하기 위해서 선택한 것으로 12 m의 기선을 갖는다.
[표 3]
Figure pat00036

제안된 방법을 통해 전방위 영상으로부터 결정된 지상점의 정확도를 검증하기 위해 GPS와 토탈스테이션을 이용하여 영상에서 식별이 용이한 주요 지점의 3차원 절대좌표를 측정하여 검사점으로 사용하였다.
도 14는 본 발명의 실시예에 따른 각 영역별 검사점을 보여주는 예시도이다.
도 14에 도시한 바와 같이, 영역 A는 경고 표지판으로 4개의 검사점을 포함하며 영역 B는 도로 표지판으로 3개의 검사점을 포함하고 있다. 마지막으로 영역 C는 도로 위의 방향 화살표로 3개의 검사점을 포함하고 있다.
결과 및 분석
도 15는 본 발명의 실시예에 따른 전방위 영상으로부터 결정된 지상점과 검사점을 보여주는 예시도이다.
도 15에 도시한 바와 같이, 제안된 방법을 통해 전방위 영상으로부터 결정된 지상점과 GPS 및 토탈스테이션으로 측량한 검사점을 비교하여 보여주고 있다. 단기선 영상을 통해 결정된 지상점을 연결한 다각형(붉은색, S1∼Sn)보다 장기선 영상을 통해 결정된 지상점을 연결한 다각형(녹색, L1∼Ln)이 검사점을 연결한 다각형(파란색, C1∼Cn)과 더 유사한 것을 볼 수 있다.
이를 정량적으로 살펴보기 위해서 지상점 좌표의 오차를 계산하여 다음의 [표 4]에 정리하였다.
[표 4]
Figure pat00037

검사점 좌표를 참값으로 가정하여 지상점 좌표와의 차이를 계산한 결과 RMSE가 수 십 cm에서 1 m 내외로 계산되었다. 장기선의 경우에 다각형의 유사성이 높아보였지만 절대좌표값에 대한 RMSE는 기선의 길이에 따른 차이가 크지 않았다. 지상점과 검사점을 각각 연결한 다각형이 상당히 유사한 것으로 관측됨에도 불구하고 절대좌표값에 대한 RMSE가 큰 것을 미루어볼 때 지상점 좌표값에 상당한 크기의 시스템적 오차를 포함하고 있는 것이라고 판단된다. 이러한 시스템적 오차는 지상점과 검사점 사이의 3차원 이동 및 회전 변환을 통해 제거될 수 있다. 또는, 영상의 외부표정요소를 1-2개의 지상기준점(Ground Control Point)을 포함하여 추정함을 통해 제거할 수도 있다. 시스템적 오차가 제거된 상태에서 여전히 남아있는 오차의 크기를 알아보고자 위 두 방법 중 축척을 고정한 후 지상점과 검사점간의 3축 회전각 및 이동량을 고려하여 변환계수를 결정하는 방법을 통하여 3차원 좌표의 상대적인 오차량을 계산하였다.
다음의 [표 5]는 검사점과 지상점 사이의 절대좌표의 오차를 나타내고, 단위는 [m]이다.
[표 5]
Figure pat00038

다음의 [표 6]은 토탈 스테이션과 GPS를 통해 획득한 검사점과 제안된 방법론으로 추정된 지상점의 관계를 3개의 이동변환 계수와 3개의 회전변환 계수를 통해 보여주고 있다.
[표 6]
Figure pat00039

다음의 [표 7]은 앞서 구한 6개의 변환계수를 통해 산출된 지상점 오차를 보여주고 단위는 [m]이다.
[표 7]
Figure pat00040

시스템적 오차를 포함하는 절대좌표 오차의 RMSE에 비해 시스템적 오차가 제외된 상대좌표 오차의 RMSE가 크게 감소한 것을 확인할 수 있다. 이 결과를 통해 정밀한 측정으로 획득한 검사점과 조정계산 된 지상점 사이의 3차원 이동 및 회전 변환 계수를 추정하여 시스템적 오차를 제거함으로써 중첩된 전방위 영상으로부터 대상객체의 3차원 모델 또는 대상지점의 상대좌표를 수 cm 내외의 정확도로 추출할 수 있다는 것을 알 수 있었다.
도 16은 본 발명의 실시예에 따른 카메라 위치와 검사점 위치 사이의 관계를 나타내는 예시도이다.
대상 객체와의 거리에 비해 너무 짧지 않은 기선을 갖는 중첩 영상을 선택하여 적절한 거리 대 기선의 비를 유지하면 상대적으로 상관관계가 낮은 두 개의 공선 조건식(collinearity equation)을 얻을 수 있고 이로부터 대상 객체의 3차원 좌표를 정밀하게 결정할 수 있다.
그러나 도 16에 있는 그룹 C3의 경우처럼 대상점이 차량의 진행방향(x축 방향)으로 분포되어 있는 경우는 기선이 길어도 각각의 투영중심에서 하나의 대상지점에 연결하는 직선이 상당히 유사하게 나타나고 이로 인해 공선 조건식 간의 상관관계가 크기 때문에 좋은 결과를 얻을 수 없다. 이에 거리 대 기선의 비뿐 만 아니라 대상객체와 카메라 사이의 상호위치도 3차원 좌표 결정에 중요한 요소로 예측된다. 이를 검증하기 위해서 기선의 길이는 거의 동일하게 유지하고 상호위치가 다른 중첩 영상 즉, 도 16의 그룹 C4를 선택하였다. 본 발명의 실험에서는 카메라의 위치에 따른 영상만 다를 뿐 기선의 길이 및 사용된 검사점등의 모든 실험 조건을 같게 하여 지상점의 3차원 절대좌표 및 오차를 구하였다. 도 16에서 보는 바와 같이 그룹 C3는 X축을 기준으로 두 카메라 사이에 검사점 이 위치하지 않은 경우이고 C4는 두 카메라 사이에 검사점 그룹이 위치된 경우이다.
도 17은 본 발명의 실시예에 따른 전방위 영상으로부터 결정된 지상점과 검사점을 보여주는 예시도이다.
도 17에 도시한 바와 같이, 검사점과 두 그룹의 중첩영상으로부터 결정된 지상점을 보여주고 있다. 그룹 C3의 지상점(붉은색, C3) 보다 그룹 C4의 지상점(녹색, C4)이 모양, 크기 및 방향 면에서 검사점(파란색, P)과 더 유사한 것을 확인할 수 있다. C3의 경우 각 공선 조건식의 상관관계가 높은 반면 C4의 경우 상관관계가 매우 낮아 독립적인 공선 조건식을 얻을 수 있어서 보다 높은 정확도를 갖는다.
다음의 [표 8]은 검사점과 지상점의 3차원 절대 좌표 및 그 오차를 정량적으로 보여주고 단위는 [m]이다.
[표 8]
Figure pat00041

[표 8]를 통해 그룹 C4가 C3보다는 약 2배 정도의 높은 정확도를 갖는 다는 사실을 알 수 있다.
다음의 [표 9]는 시스템적 오차를 제거한 후 그룹 C3와 C4의 환경하에서 실험을 한 결과를 보여주고 단위는 [m]이다.
[표 9]
Figure pat00042

기선 길이에 따른 정확도 검증 실험에서와 같이 시스템 오차를 포함한 절대좌표 결정 정확도 보다 시스템 오차를 제외한 상대좌표의 정확도가 높음을 확인할 수 있었다. 이러한 실험을 통해 검사점을 중심으로 앞뒤에 위치하는 중첩 영상을 사용하면 보다 정확한 대상 객체의 모델을 추출할 수 있다는 것을 알 수 있었다.
전방위 카메라 중첩 영상과 GPS/INS 정보를 이용하여 대상 객체의 3차원 좌표를 계산하는 수학적 모델을 수립하고 이를 실측 데이터에 적용하여 검증하였다. 두 개의 영상에서 취득된 한 쌍의 공액점으로부터 이에 대응되는 지상 좌표계 상에서 정의된 한 쌍의 직선을 유도하고 이의 교점을 계산하여 지상점의 3차원 좌표를 결정하였다. GPS와 토탈스테이션으로 정밀하게 측정한 검사점과 비교하여 정확도를 검증하였다. 기선의 길이 및 카메라/대상객체 사이의 상호위치를 적절하게 설정한다면 수 cm 내의 정확도를 가지고 대상객체의 3차원 모델 또는 대상지점의 상대좌표를 추출할 수 있다는 것을 알 수 있었다. 이는 전방위 카메라 영상으로부터 도시정보시스템(UIS)를 구성하는 도로의 구성요소, 도로면의 표지, 도로주변의 교통시설물 및 건물 등의 주요 객체들을 충분히 활용 가능한 정확도 수준으로 추출할 수 있다는 것을 의미한다.
대상지점의 절대좌표는 수 cm에서 1 m내외의 정확도를 보이고 있으며 단순한 기하 모델로 표현될 수 있는 시스템적 오차가 포함된 것으로 보인다. 이러한 오차는 카메라 좌표계와 GPS/INS 좌표계 사이의 관계를 보다 정확하게 설정하고, 전방위 카메라 보정(Calibration)을 수행함을 통해 상당히 제거될 것으로 판단된다.
본 발명에 의한 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 모바일 매핑 시스템 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상정보 획득수단
120: 위치정보 획득수단
130: 사용자 단말기
131: 정보 수집부
132: 공액점 산출부
133: 벡터 산출부
134: 수식 유도부
135: 3차원 좌표 결정부

Claims (20)

  1. 중첩된 전방위 영상을 획득하는 영상정보 획득수단;
    상기 영상정보 획득수단의 위치 정보와 자세 정보를 획득하는 위치정보 획득수단; 및
    상기 중첩된 전방위 영상, 상기 위치 정보와 자세 정보, 기 설정된 대상지점에 대한 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하여 산출된 상기 영상점 벡터를 이용하여 지상 좌표계 상에서 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하고, 유도된 상기 2개 이상의 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 사용자 단말기;
    를 포함하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  2. 제1 항에 있어서,
    상기 사용자 단말기는,
    적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  3. 제2 항에 있어서,
    상기 사용자 단말기는,
    상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 상기 전방위 카메라의 투영 중심에서 영상점을 잇는 영상점 벡터를 산출하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  4. 제1 항에 있어서,
    상기 사용자 단말기는,
    상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되,
    상기 직선의 방정식은 수학식
    Figure pat00043
    로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기 는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타내는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  5. 제1 항에 있어서,
    상기 사용자 단말기는,
    2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 지상점 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  6. 입력받은 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출하는 공액점 산출부;
    산출된 상기 공액점의 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하는 벡터 산출부;
    산출된 상기 영상점 벡터를 이용하여 지상 좌표계 상에서 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하는 수식 유도부; 및
    유도된 2개 이상의 상기 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 3차원 좌표 결정부;
    를 포함하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  7. 제6 항에 있어서,
    상기 벡터 산출부는,
    산출된 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 영상정보 획득수단의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  8. 제6 항에 있어서,
    상기 수식 유도부는,
    상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되,
    상기 직선의 방정식은 수학식
    Figure pat00045
    로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
    Figure pat00046
    는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타내는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  9. 제6 항에 있어서,
    상기 좌표 결정부는,
    2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  10. 제6 항에 있어서,
    영상정보 획득수단과 위치정보 획득수단으로부터 중첩된 전방위 영상, 위치 정보 및 자세 정보를 입력받는 정보 수집부;
    를 더 포함하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템.
  11. (a)영상정보 획득수단이 중첩 전방위 영상을 획득하는 단계;
    (b)위치정보 획득수단이 상기 영상정보 획득수단의 위치 정보와 자세 정보를 획득하는 단계;
    (c)사용자 단말기가 상기 중첩된 전방위 영상, 상기 위치 정보와 자세 정보, 기 설정된 대상지점에 대한 공액점의 영상점 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하는 단계;
    (d)상기 사용자 단말기가 산출된 상기 카메라 좌표계 상에서의 영상점 벡터를 이용하여 지상 좌표계 상에서의 지상점이 존재하는 직선의 방정식을 유도하는 단계; 및
    (e)상기 사용자 단말기가 유도된 상기 직선의 방정식으로 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 단계;
    를 포함하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  12. 제11 항에 있어서,
    상기 (c) 단계는,
    적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  13. 제11 항에 있어서,
    상기 (c) 단계는,
    상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 상기 영상정보 획득수단의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  14. 제11 항에 있어서,
    상기 (d) 단계는,
    상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되,
    상기 직선의 방정식은 수학식
    Figure pat00047
    로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
    Figure pat00048
    는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타내는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  15. 제11 항에 있어서,
    상기 (e) 단계는,
    2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  16. (a)입력받은 적어도 두 개의 충접된 전방위 영상에서 임의의 대상지점이 선택되면 각 전방위 영상으로부터 그 대상지점에 대한 공액점의 영상 좌표값을 산출하는 단계;
    (b)산출된 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서의 영상점 벡터를 산출하는 단계;
    (c)산출된 상기 카메라 좌표계 상에서의 영상점 벡터를 이용하여 지상 좌표계 상에서의 지상점이 존재하는 2개 이상의 직선의 방정식을 유도하는 단계; 및
    (d)유도된 상기 2개 이상의 직선의 방정식의 교차점을 산출하여 산출된 상기 교차점을 이용하여 상기 대상지점에 대한 3차원 좌표값을 결정하는 단계;
    를 포함하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  17. 제16 항에 있어서,
    상기 (b) 단계는,
    산출된 상기 공액점의 영상 좌표값을 기반으로 카메라 좌표계 상에서 영상정보 획득수단의 투영의 중심에서 영상점을 잇는 영상점 벡터를 산출하는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  18. 제16 항에 있어서,
    상기 (c) 단계는,
    상기 카메라 좌표계로 표현된 영상점 벡터를 이용하여 상기 지상 좌표계로 표현되는 지상점이 존재하는 직선의 방정식을 유도하되,
    상기 직선의 방정식은 수학식
    Figure pat00049
    로 정의하고, 여기서, 상기 GP는 지상 좌표계로 표현된 지상점의 좌표를 의미하며 카메라의 투영 중심, 영상점과 지상점을 잇는 상기 직선 상에 존재하고, 상기 λ는 상기 직선 상에 한 점을 특정하기 위한 변수를 나타내며, 상기
    Figure pat00050
    는 카메라 좌표계로 표현된 벡터를 지상좌표계로 변환하기 위한 회전행렬을 나타내며, 상기 Cn는 카메라 좌표계로 표현되 영상점 벡터를 나타내며, 상기 GOC는 지상 좌표계로 표현된 카메라의 투영 중심을 나타내는 것을 특징으로 하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  19. 제16 항에 있어서,
    상기 (d) 단계는,
    2개 이상의 중첩된 영상에서 선정한 공액점으로부터 각각 유도한 2개 이상의 상기 직선의 방정식을 이용하여 직선 간의 거리의 제곱이 합이 최소인 상기 교차점을 산출하여 산출된 상기 교차점을 이용하여 각 직선마다 지상점 좌표값들을 산출한 후, 그 지상점의 좌표값들 사이의 거리를 기 설정된 임계치와 비교하여, 그 비교한 결과로 지상점의 좌표값들 사이의 거리가 기 설정된 임계치보다 작으면, 두 지상점의 좌표값들의 평균을 구하여 그 구한 두 지상점의 좌표값들의 평균으로 대상지점에 대한 3차원 좌표값을 결정하는 것을 특징으로 하는 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
  20. 제16 항에 있어서,
    (a-1) 상기 (a) 단계 이전에 영상정보 획득수단과 위치정보 획득수단으로부터 중첩된 전방위 영상, 위치 정보 및 자세 정보를 입력받는 단계;
    를 더 포함하는 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 방법.
KR1020110039678A 2010-04-27 2011-04-27 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법 KR101179108B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100038996 2010-04-27
KR1020100038996 2010-04-27

Publications (2)

Publication Number Publication Date
KR20110119589A true KR20110119589A (ko) 2011-11-02
KR101179108B1 KR101179108B1 (ko) 2012-09-07

Family

ID=45391108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110039678A KR101179108B1 (ko) 2010-04-27 2011-04-27 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101179108B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445739B1 (ko) * 2012-11-13 2014-10-06 한국건설기술연구원 도로표지판의 위치검출 방법
WO2015182809A1 (ko) * 2013-05-27 2015-12-03 (주)지에스엠솔루션 전방위 영상을 이용한 공간정보 구축 방법
KR20200023647A (ko) * 2017-12-18 2020-03-05 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 목표물 포지셔닝 시스템 및 포지셔닝 방법
WO2020111307A1 (ko) * 2018-11-28 2020-06-04 전자부품연구원 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법
KR20200087305A (ko) * 2018-12-28 2020-07-21 한국국토정보공사 실내 공간정보 데이터 융합을 통한 위치추정 방법
KR20220059844A (ko) * 2020-11-03 2022-05-10 김동욱 2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101316524B1 (ko) 2013-01-03 2013-10-08 충남대학교산학협력단 전방향 비전 센서를 이용한 오브젝트의 위치 추정 방법 및 장치
KR101998396B1 (ko) * 2017-12-22 2019-07-09 한국기술교육대학교 산학협력단 3d 스캐너를 이용한 가상 벽면 기반의 작업 공간 모델링 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445739B1 (ko) * 2012-11-13 2014-10-06 한국건설기술연구원 도로표지판의 위치검출 방법
WO2015182809A1 (ko) * 2013-05-27 2015-12-03 (주)지에스엠솔루션 전방위 영상을 이용한 공간정보 구축 방법
KR20200023647A (ko) * 2017-12-18 2020-03-05 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 목표물 포지셔닝 시스템 및 포지셔닝 방법
WO2020111307A1 (ko) * 2018-11-28 2020-06-04 전자부품연구원 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법
KR20200087305A (ko) * 2018-12-28 2020-07-21 한국국토정보공사 실내 공간정보 데이터 융합을 통한 위치추정 방법
KR20220059844A (ko) * 2020-11-03 2022-05-10 김동욱 2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치

Also Published As

Publication number Publication date
KR101179108B1 (ko) 2012-09-07

Similar Documents

Publication Publication Date Title
KR101179108B1 (ko) 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
Zhang et al. Intelligent collaborative localization among air-ground robots for industrial environment perception
Zhao et al. A vehicle-borne urban 3-D acquisition system using single-row laser range scanners
CN103256920B (zh) 利用图像处理测定倾斜角和倾斜方向
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
EP2442275A2 (en) Method and apparatus for three-dimensional image reconstruction
JP4619962B2 (ja) 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
CN110119698A (zh) 用于确定对象状态的方法、装置、设备和存储介质
JP2012118666A (ja) 三次元地図自動生成装置
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
CN103411587A (zh) 定位定姿方法及系统
US20170227361A1 (en) Mobile mapping system
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
CN110986888A (zh) 一种航空摄影一体化方法
Zhao et al. Direct georeferencing of oblique and vertical imagery in different coordinate systems
Lo et al. The direct georeferencing application and performance analysis of UAV helicopter in GCP-free area
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
KR101249369B1 (ko) 전방위 영상 광속 조정 장치 및 방법
Al-Rawabdeh et al. A robust registration algorithm for point clouds from UAV images for change detection
Hsu et al. Application of multisensor fusion to develop a personal location and 3D mapping system
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN111862146B (zh) 一种目标对象的定位方法及装置
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150804

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160608

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170721

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 8