KR101707279B1 - 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법 - Google Patents

스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법 Download PDF

Info

Publication number
KR101707279B1
KR101707279B1 KR1020140080965A KR20140080965A KR101707279B1 KR 101707279 B1 KR101707279 B1 KR 101707279B1 KR 1020140080965 A KR1020140080965 A KR 1020140080965A KR 20140080965 A KR20140080965 A KR 20140080965A KR 101707279 B1 KR101707279 B1 KR 101707279B1
Authority
KR
South Korea
Prior art keywords
image
feature points
coordinates
reference image
matching
Prior art date
Application number
KR1020140080965A
Other languages
English (en)
Other versions
KR20160002510A (ko
Inventor
편무욱
김대성
김종화
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020140080965A priority Critical patent/KR101707279B1/ko
Publication of KR20160002510A publication Critical patent/KR20160002510A/ko
Application granted granted Critical
Publication of KR101707279B1 publication Critical patent/KR101707279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법에 관한 것으로, 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 영상 전처리부, 상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 기준 영상 생성부, 상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부, 그리고 상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부를 포함한다.
이와 같이 본 발명에 의하면, 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 도입함으로써, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있다.

Description

스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법{Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof}
본 발명은 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있는 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법에 관한 것이다.
LBS(Location based Service)는 이동통신망과 IT기술을 종합적으로 활용하여 위치정보를 파악하고, 사용자의 위치정보를 기반으로 서비스를 제공하는 방법이다. LBS는 이동통신 기지국을 이용하는 셀방식과 위성항법장치를 활용하는 GPS방식이 있다. 2000년을 전후로 개발 및 보급된 셀방식은 기지국을 기반으로 가입자와 연결된 기지국을 파악한다. 인구 밀집지역은 수십 미터 간격으로 세워진 기지국 덕분에 오차범위가 크지 않지만, 지역에 따라 오차범위가 수km까지 발생하여 정확한 위치를 파악할 수 없다. 그러나 셀방식은 GPS방식의 한계점인 실내 및 지하의 위치도 파악할 수 있다는 장점이 있다.
반면, GPS방식은 위성에서 보내는 위치정보를 사용자 단말기에 내장된 칩이 수신하여 기지국에 알려주는 방식이다. 이 방식은 오차범위가 수십m이며, 셀 방식보다 정확한 위치추적이 가능하다. 그러나 위성신호의 특성상 반사가 잘 되는 고층건물이나 실내에서는 거의 사용이 불가능하다.
그래서 실내에서도 위치를 파악할 수 있는 비콘(beacon)이 등장하기도 하였다. 비콘은 근거리 위치 인식기술을 적용한 무선 센서와 블루투스 저전력 기술(BLE) 등의 무선 통신을 이용하여 위치를 파악하는 기술이다. 설치된 각 비콘끼리의 수신세기를 분석하여 위치를 파악하며, 50m 범위 내에서 오차범위 5cm정도로 정교하게 위치를 파악할 수 있다. 그러나 비콘을 이용하여 위치를 파악하기 위해서는 비콘 기기가 설치되어 있어야 한다는 한계점이 있다.
이러한 위치정보 파악 기술을 이용하여, 사용자가 촬영한 사진이 어디에서 촬영된 사진인지 위치정보를 알려주는 기능이 많이 활용되고 있다. 주로 사용자 단말기에 탑재된 GPS기능을 이용하며, 사진을 촬영하기 전에 GPS설정모드를 활성화한 후 사진을 촬영하면, 사진이 촬영된 장소의 행정구역상의 위치, 위도, 경도를 확인할 수 있다. 이 정보를 통하여 사진을 촬영한 사용자의 위치도 확인할 수 있다. 하지만 GPS를 이용하여 위치정보를 파악하는 방법은 위성신호를 이용하기 때문에 실내 또는 지하에서는 위치를 파악하기 힘들다. 또 사용자 단말기가 GPS신호를 수신할 수 있는 칩을 구비하고 있어야 이용할 수 있다는 단점이 있다.
따라서 실내 또는 지하에서도 사용자의 위치를 파악할 수 있는 방법이 필요하다. 또한 사용자 단말기가 별도의 장치를 구비하지 않고도 위치를 확인할 수 있는 방법이 필요하다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-0586815호(2006. 06. 08 공고)에 개시되어 있다.
본 발명은 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있는 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치는 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 영상 전처리부, 상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 기준 영상 생성부, 상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부, 그리고 상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부를 포함한다.
상기 영상 전처리부는, 상기 촬영 영상으로부터 특징점을 추출하는 특징점 추출부, 사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 영상 보정부, 그리고 상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 내부표정요소 추출부를 포함할 수 있다.
상기 기준 영상을 생성부는, 전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출할 수 있다.
상기 좌표 매칭부는, 토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받을 수 있다.
상기 객체가 포함된 새로운 영상을 입력받으면, 상기 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 상기 새로운 영상을 촬영한 촬영자의 현재 위치를 계산하는 촬영 위치 계산부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법은 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 단계, 상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 단계, 상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 단계, 그리고 상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 단계를 포함한다.
따라서 본 발명에 따르면 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 이용함으로써, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 영상 전처리부 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법 중 영상을 전처리 하는 단계를 설명하기 위한 순서도이다.
도 5는 도 3에 나타낸 S320 단계를 설명하기 위한 도면이다.
도 6은 도 3에 나타낸 S330 단계 및 S340 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 촬영자의 현재 위치를 연산하는 과정을 설명하기 위한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
이하에서는 도 1 및 도 2를 통하여 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치(100)의 구성에 대하여 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 구성을 도시한 블록도이다. 도 2는 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 영상 전처리부 구성을 도시한 블록도이다.
도 1에 나타낸 것처럼, 스테레오 영상을 이용한 촬영좌표 획득장치(100)는 영상 전처리부(110), 기준 영상 생성부(120), 좌표 매칭부(130), 실제 지상좌표 변환부(140)를 포함하며, 촬영 위치 계산부(150)를 더 포함할 수 있다.
영상 전처리부(110)는 동일한 객체를 촬영한 복수의 촬영 영상을 보정하고, 각각의 촬영 영상의 특징점을 추출한다. 도 2에 나타낸 것처럼, 영상 전처리부(110)는 특징점 추출부(111), 영상 보정부(113), 내부표정요소 추출부(115)를 포함한다.
특징점 추출부(111)는 촬영 영상에서 식별이 용이한 점을 특징점으로 추출한다.
영상 보정부(113)는 사용자로부터 입력받은 보정조건으로 촬영 영상을 보정한다.
내부표정요소 추출부(115)는 주점, 초점거리, 왜곡량, 렌즈의 위치, 회전정보, 스케일 등 촬영 영상의 내부표정요소를 추출한다.
기준 영상 생성부(120)는 영상 전처리부(110)에서 전처리 된 복수의 촬영 영상을 매칭시켜 하나의 기준 영상으로 만든다. 이때, 각 특징점을 중심으로 로컬 패치(local patch)하여 특징 벡터를 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용한다.
좌표 매칭부(130)는 기준 영상의 특징점에 대한 픽셀좌표와 그 특징점에 대응하는 실제 3차원 좌표를 토탈 스테이션(Total Station)을 통하여 입력받아 매칭한다.
여기서 토탈 스테이션은 각도를 관측하는 기기인 전자식 세오돌라이트(Electronic Theodolite)와 거리를 측정할 수 있는 광파측거기(EDM, Electro-optical Instruments)를 하나의 기기로 통합한 측량기이다.
토탈 스테이션의 광파측거기가 프리즘을 시준한 후 빛을 조사하면, 빛이 프리즘에 도착하자마자 바로 반사되어 광파측정기로 되돌아온다. 이를 이용하여 토탈 스테이션 본체의 중심부에서 프리즘까지의 거리를 측정한다. 또한 한 점의 거리와 위치를 측정한 후, 토탈 스테이션 본체를 좌우로 돌려 다른 점의 거리와 위치를 측정하여, 두 점 사이의 각도를 관측한다.
실제 지상좌표 변환부(140)는 좌표 매칭부(130)에서 매칭된 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원하고, 복원된 관계를 기준으로 기준 영상의 픽셀좌표를 실제 지상좌표로 변환하여 저장한다.
기준 영상에 포함된 객체를 촬영한 새로운 영상을 입력받으면, 촬영 위치 계산부(150)는 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 새로운 영상을 촬영한 촬영자의 위치를 계산한다.
이하에서는 도 3 내지 도 7를 통하여 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득방법에 대하여 더욱 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법을 설명하기 위한 순서도이다. 도 4는 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법 중 영상을 전처리 하는 단계를 설명하기 위한 순서도이다.
먼저, 도 3과 같이 스테레오 영상을 이용한 촬영좌표 획득장치(100)는 촬영 위치 계산에 필요한 기준 영상을 만들기 위한 전처리를 수행한다(S310).
스테레오 영상을 이용한 촬영좌표 획득장치(100)는 특징점을 추출하기에 앞서, 먼저 영상 매칭의 효율을 높이기 위하여 필요한 경우 화질을 개선하는 작업을 수행할 수 있다. 계절, 날씨 등으로 인해 화질의 다양성이 존재하는 영상들을 영상 매칭에 적합하도록 영상처리기법을 적용하여 화질을 개선한다. 이때 영상처리기법으로 디지털 영상의 특징을 나타내는 히스토그램을 이용하여 변환함수를 구하고, 명암도의 동적 영역을 확장함으로써 화질을 개선하는 히스토그램 균등화(HE, Histogram Equalization)기법을 적용할 수 있다.
도 4와 같이 특징점 추출부(111)는 촬영 영상으로부터 촬영된 객체의 코너점 등 식별이 용이한 점을 특징점으로 추출한다(S311). 추출된 특징점은 복수의 촬영 영상 중에서 서로 매칭되는 매칭점을 찾는 과정에서 활용된다.
영상 보정부(113)는 특징점 추출부(111)에서 추출된 특징점 중 사용자로부터 입력받은 보정조건으로 촬영 영상을 보정한다(S313). 보정조건은 보정의 기준이 되는 특징점으로, 촬영 객체의 형태를 나타내는 직선 또는 곡선 형태의 외곽선, 또는 촬영 객체의 모서리 등을 포함할 수 있다.
또한 영상 보정부(113)는 영상의 기하학적 왜곡을 제거하여 정확한 위치를 파악할 수 있도록 한다.
다음으로, 내부표정요소 추출부(115)는 특징점 추출부(111)에서 추출된 특징점을 이용하여 촬영 영상의 내부표정요소를 추출한다(S315). 내부표정요소에는 주점의 위치, 카메라의 초점거리, 렌즈왜곡계수, 렌즈위치, 회전정보, 스케일 등이 포함된다. 추출된 내부표정요소는 촬영 영상의 정확한 픽셀좌표를 얻는데 사용된다.
이와 같이 영상의 전처리 과정(S310)이 종료되면, 기준 영상 생성부(120)는 추출된 특징점을 이용하여 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성한다(S320).
기준 영상 생성부(120)는 전처리 된 복수의 촬영 영상을 매칭시켜 도 5와 같이 하나의 기준 영상을 생성한다.
도 5는 도 3에 나타낸 S320 단계를 설명하기 위한 도면이다.
도 5에 도시한 바와 같이, 동일한 객체를 촬영한 촬영 영상 2개를 각각 좌영상, 우영상이라고 할 때, 기준 영상 생성부(120)는 좌영상과 우영상에서 서로 매칭되는 부분을 SIFT 알고리즘을 이용하여 찾는다. 매칭 방법으로는 Sparse Matching과 Dense Matching을 이용한다. 기준 영상 생성부(120)는 SIFT 알고리즘을 이용하여 좌영상과 우영상의 각 특징점 중에서 서로 매칭되는 특징점을 추출하고, 추출된 특징점의 매칭쌍끼리 같은 행에 저장하여, 하나의 기준 영상을 생성한다. 추출된 특징점이 좌영상에서의 픽셀좌표가 (x1, y1)이고, 우영상에서의 픽셀좌표가 (x1', y1')일 경우, 기준 영상에 저장되는 좌표는 (x1, y1, x1', y1')이다. 이러한 방식으로 추출된 모든 특징점의 좌표를 기준 영상에 매칭쌍으로 저장한다.
다음으로는, 좌표 매칭부(130)는 생성된 기준 영상의 특징점과 그 특징점에 대응하는 개체의 실제 3차원 좌표를 매칭한다(S330). 생성된 기준 영상의 특징점에 대한 픽셀좌표를 추출하고, 그 픽셀좌표와 대응하는 실제 3차원 좌표를 매칭한다. 실제 3차원 좌표는 토탈 스테이션을 이용하여 획득한 실제 객체의 특징점의 실제적인 3차원 좌표이다. 좌표 매칭부(130)는 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원한다.
도 6은 도 3에 나타낸 S330 단계 및 S340 단계를 설명하기 위한 도면이다.
도 6에 도시한 바와 같이, S330 단계에서 좌표 매칭부(130)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표 (x', y', z')를 매칭하여, 그 두 좌표 사이의 관계를 복원한다.
그리고, 실제 지상좌표 변환부(140)는 S330 단계에서 복원된 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 이용하여 기준 영상의 픽셀좌표를 실제 지상좌표로 변환한다(S340). 그리고, 실제 지상좌표 변환부(140)는 변환된 해당 객체에 대한 실제 지상좌표를 클라우드 서버에 저장한다. 즉, 촬영자가 자신의 위치를 파악하는데 서버에 저장된 좌표 데이터를 활용 할 수 있도록 클라우드 서버에 저장 할 수 있다. 도 6에 예시한 바와 같이, 실제 지상좌표 변환부(140)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표(x', y', z')를 매칭한다. 실제 지상좌표 변환부(140)는 DLT기법을 이용하여 매칭하며, 기준 영상의 특징점에 대한 픽셀좌표에 대응하는 객체의 실제 3차원 좌표를 매칭한다. 이때, 실제 지상좌표 변환부(140)는 실제 지상좌표를 생성하는 Spatial Resection 과정과 Spatial Intersection 과정을 수행한다.
즉, 실제 지상좌표 변환부(140)는 Spatial Resection 과정을 통하여 기준 영상의 특징점과 실제 객체의 특정 지점을 매핑시키고, Spatial Intersection 과정을 통하여 매핑된 특징점에 특정 지점의 실제 3차원 좌표를 매칭시킨다.
이와 같이 본 발명의 실시예에 따르면, S310 내지 S340 단계를 통하여 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 매칭하고, 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하여 클라우드 서버에 저장한다.
이하에서는 S350 단계를 통하여, 촬영자가 클라우드 서버에 저장된 객체를 촬영한 경우, 클라우드 서버에 저장된 상기 객체의 실제 지상좌표를 이용하여 촬영자 자신의 현재 위치를 계산하는 방법에 대하여 설명한다.
촬영 위치 계산부(150)는 클라우드 서버에 저장된 객체가 포함된 새로운 촬영 영상을 촬영자로부터 입력받으면, 클라우드 서버에 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 새로운 촬영 영상을 촬영한 촬영자의 현재 위치를 계산한다(S350).
촬영 위치 계산부(150)는 클라우드 서버에 저장된 실제 지상좌표 데이터와 촬영자가 촬영한 영상에서 추출한 좌표를 이용하여 그 영상을 촬영한 카메라의 위치를 연산할 수 있다. 이때, 촬영 위치 계산부(150)는 Spatial Resection 과정과 Spatial Intersection 과정을 포함하는 DLT 기법을 이용하여 카메라의 위치를 계산한다.
Spatial Resection 과정에서 촬영 위치 계산부(150)는 실제 지상좌표 데이터와 촬영 영상에서 추출한 좌표를 이용하여, 영상을 촬영한 위치와 DLT계수를 계산한다. Spatial Intersection 과정에서는 촬영 위치 계산부(150)는 실제 지상좌표 데이터를 포함하는 영상과 촬영 영상의 매칭점에 DLT계수를 적용하여 3차원 좌표 값을 생성하여 영상을 촬영한 촬영자의 위치를 파악한다.
도 7은 본 발명의 실시예에 따른 촬영자의 현재 위치를 연산하는 과정을 설명하기 위한 도면이다.
도 7에 도시한 바와 같이, 촬영 위치 계산부(150)는 클라우드 서버에 저장되어있는 기준 영상의 실제 지상좌표(x1', y1')와 촬영자가 새롭게 촬영한 영상을 두 영상에 모두 포함되어있는 공통된 객체를 기준으로 겹치도록 한다. 겹친 부분에서 공통된 객체의 실제 3차원 좌표(x', y', z')와 클라우드 서버에 저장되어있는 특징점의 실제 지상좌표(x1', y1', z1')와 촬영 영상의 픽셀좌표(x1″, y1″)를 이용하여 DLT기법을 이용해 새롭게 촬영된 영상이 촬영된 위치(Xco', Yco', Zco')를 파악한다.
이와 같이 본 발명의 실시예에 따르면 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 이용함으로써, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 촬영좌표 획득장치 110 : 영상 전처리부
111 : 특징점 추출부 113 : 영상 보정부
115 : 내부표정요소 추출부 120 : 기준 영상 생성부
130 : 좌표 매칭부 140 : 실제 지상좌표 변환부
150 : 촬영 위치 계산부

Claims (10)

  1. 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 영상 전처리부,
    상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 기준 영상 생성부,
    상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부,
    상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부, 그리고
    상기 객체가 포함된 새로운 영상을 입력받으면, 상기 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 상기 새로운 영상을 촬영한 촬영자의 현재 위치를 계산하는 촬영 위치 계산부를 포함하며,
    상기 좌표 매칭부는,
    토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받고,
    상기 영상 전처리부는,
    상기 촬영 영상으로부터 특징점을 추출하는 특징점 추출부,
    사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 영상 보정부, 그리고
    상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 내부표정요소 추출부를 포함하는 스테레오 영상을 이용한 촬영좌표 획득장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 기준 영상 생성부는,
    전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출하는 스테레오 영상을 이용한 촬영좌표 획득장치.
  4. 삭제
  5. 삭제
  6. 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 단계,
    상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 단계,
    상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 단계,
    상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 단계, 그리고
    상기 객체가 포함된 새로운 영상을 입력받으면, 상기 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 상기 새로운 영상을 촬영한 촬영자의 현재 위치를 계산하는 단계를 포함하며,
    상기 좌표를 매칭하는 단계는,
    토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받고,
    상기 영상을 전처리하는 단계는,
    상기 촬영 영상으로부터 특징점을 추출하는 단계,
    사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 단계, 그리고
    상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 단계를 포함하는 스테레오 영상을 이용한 촬영좌표 획득 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 기준 영상을 생성하는 단계는,
    전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출하는 스테레오 영상을 이용한 촬영좌표 획득 방법.
  9. 삭제
  10. 삭제
KR1020140080965A 2014-06-30 2014-06-30 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법 KR101707279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140080965A KR101707279B1 (ko) 2014-06-30 2014-06-30 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140080965A KR101707279B1 (ko) 2014-06-30 2014-06-30 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160002510A KR20160002510A (ko) 2016-01-08
KR101707279B1 true KR101707279B1 (ko) 2017-02-16

Family

ID=55170407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140080965A KR101707279B1 (ko) 2014-06-30 2014-06-30 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101707279B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101900759B1 (ko) * 2016-12-26 2018-09-21 경희대학교 산학협력단 증강현실 서비스를 수행하는 이동 단말기 및 이를 수행하는 방법
CN108616753B (zh) * 2016-12-29 2020-08-04 深圳超多维科技有限公司 一种裸眼立体显示方法及装置
KR102195168B1 (ko) * 2017-11-21 2020-12-24 한국전자통신연구원 3차원 복원 지형 정합 방법 및 그 장치
KR102015817B1 (ko) * 2018-03-06 2019-08-29 순천대학교 산학협력단 입체 위성영상의 제공 rpc 자동 보정 방법
KR102187311B1 (ko) * 2019-01-03 2020-12-07 부산대학교 산학협력단 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법
CN111027522B (zh) * 2019-12-30 2023-09-01 华通科技有限公司 基于深度学习的探鸟定位系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333368A (ja) * 2003-05-09 2004-11-25 Photron Ltd 移動物体撮影系の三次元定数取得用キャリブレーション治具

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100991570B1 (ko) * 2009-03-13 2010-11-04 부산대학교 산학협력단 다양한 형태를 갖는 간판크기를 원격으로 측정하는 방법 및그 방법을 이용한 간판크기 원격 측정 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333368A (ja) * 2003-05-09 2004-11-25 Photron Ltd 移動物体撮影系の三次元定数取得用キャリブレーション治具

Also Published As

Publication number Publication date
KR20160002510A (ko) 2016-01-08

Similar Documents

Publication Publication Date Title
KR101707279B1 (ko) 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법
JP6002126B2 (ja) 画像ベースの測位のための方法および装置
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
KR100906974B1 (ko) 카메라를 이용한 위치 인식 장치 및 그 방법
CN109813335B (zh) 数据采集系统的标定方法、装置、系统及存储介质
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
JP2018527554A (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
CN106291517A (zh) 基于位置与视觉信息优化的室内云机器人角度定位方法
CN109520500A (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN105336005B (zh) 一种获取目标物体体征数据的方法、装置及终端
CN107101648A (zh) 基于区域网内恒星影像的星相机定标定姿方法及系统
CN107633532B (zh) 一种基于白光扫描仪的点云融合方法及系统
CN113284171B (zh) 一种基于卫星遥感立体成像对的植被高度分析方法及系统
Čerňava et al. Estimation of diameter at breast height from mobile laser scanning data collected under a heavy forest canopy.
CN104599281B (zh) 一种基于水平直线方位一致性的全景图与遥感图配准方法
KR20170143439A (ko) 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법
KR100878781B1 (ko) 휴대 단말기를 이용하여 구조물의 크기 및 좌표를 측정하는측량 방법
CN113532424B (zh) 一种获取多维信息的一体化设备与协同测量方法
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
Kröhnert et al. Versatile mobile and stationary low-cost approaches for hydrological measurements
CN112348891A (zh) 一种图像检测及定位方法、装置、存储介质及电子装置
CN116989825A (zh) 一种路侧激光雷达-相机-utm坐标系联合标定方法及系统
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
CN106780323A (zh) 一种基于智能手机的农情采集与实时更新方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant