WO2015122658A1 - 비전 센서 데이터베이스를 이용한 거리 측정 방법 - Google Patents

비전 센서 데이터베이스를 이용한 거리 측정 방법 Download PDF

Info

Publication number
WO2015122658A1
WO2015122658A1 PCT/KR2015/001261 KR2015001261W WO2015122658A1 WO 2015122658 A1 WO2015122658 A1 WO 2015122658A1 KR 2015001261 W KR2015001261 W KR 2015001261W WO 2015122658 A1 WO2015122658 A1 WO 2015122658A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
database
distance
feature
information
Prior art date
Application number
PCT/KR2015/001261
Other languages
English (en)
French (fr)
Inventor
박용완
허수정
송진선
최창환
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to US15/118,458 priority Critical patent/US10354401B2/en
Publication of WO2015122658A1 publication Critical patent/WO2015122658A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비전 센서로부터 획득된 영상 및 이미지를 기 구축된 데이터베이스와 비교 분석 후 최초 이미지 획득 지점과 목표 지점의 거리를 산출할 수 있는 방법이다. 데이터베이스는 비전 센서를 이용하여 각 공간의 영상 및 이미지 정보를 저장하고 있다. 거리 산출 방법은 사용자가 전송한 영상 및 이미지 내의 물체 특징들을 추출 후 분석하여 데이터베이스와 비교를 통해 해당 이미지와 가장 유사한 이미지를 데이터베이스에서 확인하여 사용자 간의 거리를 계산할 수 있다.

Description

비전 센서 데이터베이스를 이용한 거리 측정 방법
본 발명은 사용자의 위치를 결정하기 위한 방법으로 비전 센서를 이용하여 획득한 이미지를 데이터베이스와 비교하여 해당 목표와의 거리를 산출하는 방법에 관한 것이다. 이를 이용하여 GPS를 이용하지 않고서도 위치 추정이 가능하고, 2D 단면이미지와 데이터베이스 정보와의 비교를 통해 목표 물체에 대한 깊이 값을 도출할 수 있다.
일반적으로 사용자의 위치를 결정하기 위한 방법으로는 기존의 GPS(Global Positioning System)을 통한 위치 결정 방법과 이동통신 신호를 기반으로 삼각측량 방법을 적용하여 사용자의 위치를 결정하는 방법이 있다.
하지만, 이러한 종래의 기술들은 많은 문제점을 가지고 있다. GPS의 경우 실외에서는 위치 결정을 높은 정확도로 수행을 하게 되지만 GPS 신호가 차단되는 실내, 지하, 도심 등의 특수한 환경에서는 사용이 불가능하다. 그리고 이동통신 신호와 삼각측량 방법을 기반으로 하는 위치 결정 방법은 GPS보다 낮은 위치 정확도를 가지고 있으며 사용자가 위치하는 주변 환경에 의해 영향을 많이 받는 단점이 존재한다. 이 외에도 Wi-Fi, RFID 등의 다양한 기술들을 기반으로 하는 사용자 위치 결정 방법들이 제안되고 있다.
한편, 최근 광학 기술의 발달로 비전 센서를 이용한 다양한 거리 계산 방법들이 제안되고 있다. 대표적으로 양안 방식을 사용하는 스테레오 비전의 경우 두 개의 비전 센서를 통해 입력된 이미지의 비교를 통해 목표 물체에 대한 거리를 계산한다. 다른 방법으로는 단일 비전 센서로부터 획득된 단면 이미지에서 특정 물체의 비율 비교를 통해 목표 물체와의 거리를 계산하여 사용자에게 제공함으로써 다양한 어플리케이션 개발이 가능하게 되었다. 이 외에도 적외선 센서와 비전 센서를 융합하여 영상 이미지를 거리 정보로 표현하는 장비들이 등장하고 있다.
이러한 기술들은 각각의 장점과 단점을 가지고 있다. 양안 방식을 사용하는 스테레오 비전의 경우 두 개의 비전 센서를 통해 영상 이미지를 읽어 들이고 두 개의 영상 이미지를 결합하여 거리를 산출하는 방법을 사용하고 있다. 스테레오 비전의 경우에는 영상정보의 시각차를 이용해 거리 차이를 나타낼 수 있으므로 상대적 거리를 나타내는 위치 측위에서 높은 정확도를 가진다. 하지만 표현할 수 있는 거리 범위가 제한적이고 두 개의 영상 이미지를 동시에 처리하기 때문에 높은 연산량으로 인하여 실시간으로 처리하기 어렵다는 단점이 존재한다.
단일 이미지에서 특정 물체가 차지하는 비율 비교를 통해 목표 물체와의 거리를 산출하는 방법은 규격화된 공간처럼 잘 구조화되어 있고 고정된 환경에서는 성공적인 결과물을 기대할 수 있지만, 규격화되지 않고 구조화되어 있지 못한 변화가 큰 환경에서는 성공적인 결과물을 기대할 수 없어 시용이 불가하다는 단점이 있다.
적외선 센서와 비전 센서를 융합하여 영상 이미지와 거리 정보를 동시에 획득 가능한 방법은 양안 방식을 사용하는 스테레오 비전에 비하여 연산량이 적고, 단일 이미지에서 특정 물체에 대한 비율 비교를 통한 방법보다 변화가 큰 환경에서도 성공적인 결과물을 기대할 수 있다는 장점이 있다. 하지만 사물과의 거리가 일정 범위를 넘어가게 되면 적외선을 통해 산출한 거리 정보에 대한 신뢰성과 정확성이 급격하게 떨어지게 되어 거리상 한정된 공간에서만 사용될 수 있다는 단점이 있다.
스테레오 비전의 경우 단일 비전 센서가 아닌 다수 개의 비전 센서를 사용하므로 비용 소모가 크고 거리 산출을 위한 연산량의 증가로 인하여 처리 성능이 떨어진다. 또한, 정확한 거리 산출을 위해서는 물체의 인식 거리가 제한적이다.
단일 이미지에서 특정 물체 비율을 통한 거리 산출 방법의 경우 특정 물체에 대한 비율 비교를 하기 때문에 설정해 놓은 목표 물체가 없을 경우 거리 산출이 불가능하며 제한적인 상황에서만 사용이 가능하다.
이러한 문제점을 해결하기 위한 본 발명은 데이터베이스의 기 구축된 이미지 특징 추출 값과 비전 센서로부터 획득되어 전송된 이미지 특징 추출값을 비교하여 연산량을 줄이면서도 효과적이고 정확하게 목표 물체와의 거리를 산출하는 것을 목적으로 한다.
이러한 과제를 해결하기 위한 본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법은 비전 센서를 통해 외부 환경을 촬영하여 실제 이미지를 획득하는 실제 이미지 획득 단계와, 상기 실제 이미지의 특징 성분 값을 계산하는 실제 이미지 특징 계산 단계와, 상기 외부 환경에 대한 기준 이미지들의 특징 성분 값과 상기 기준 이미지들에 대한 위치 정보가 미리 저장되어 있는 데이터베이스를 참조하여, 상기 실제 이미지의 특징 성분 값과 유사도가 가장 높은 특징 성분 값을 갖는 기준 이미지를 선택하는 기준 이미지 선택 단계와, 상기 선택된 기준 이미지의 위치 정보를 기초로 상기 실제 이미지가 촬영된 지점의 위치 정보를 획득하는 위치 정보 획득 단계 및 상기 실제 이미지가 촬영된 지점의 위치 정보와 목표 지점의 위치 정보를 기초로 상기 실제 이미지가 촬영된 지점과 상기 목표 지점 간의 거리를 계산하는 거리 계산 단계를 포함하여 구성된다.
본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서, 상기 실제 이미지 획득 단계와 상기 실제 이미지 특징 계산 단계 사이에, 상기 획득된 실제 이미지를 관리 서버로 전송하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서, 상기 실제 이미지 특징 계산 단계와, 상기 기준 이미지 선택 단계와, 상기 위치 정보 획득 단계 및 상기 거리 계산 단계는 상기 관리 서버에서 수행되는 것을 특징으로 한다.
본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서, 상기 거리 계산 단계 이후, 상기 획득된 위치 정보와 거리 정보를 포함하는 정보를 가공하여 사용자에게 제공하는 정보 제공 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서, 상기 데이터베이스는 데이터베이스 구축 단계를 통해 구축되고, 상기 데이터베이스 구축 단계는 상기 외부 환경을 구간별로 촬영하여 기준 이미지들을 획득하는 기준 이미지 획득 단계와, 상기 기준 이미지들의 특징 성분 값을 계산하는 기준 이미지 특징 계산 단계 및 상기 기준 이미지들의 특징 성분 값과 상기 기준 이미지들이 획득된 지점들의 위치 정보를 서로 매칭시켜 저장하는 기준 정보 저장 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서, 상기 데이터베이스 구축 단계는 상기 기준 이미지 특징 계산 단계 이후, 상기 기준 이미지들의 특징 성분 값들의 변화 규칙을 추정하는 특징 변화 규칙 추정 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서, 상기 데이터베이스 구축 단계는 상기 기준 정보 저장 단계 이후, 상기 특징 변화 규칙 추정 단계에서 추정된 변화 규칙에 따라 가상의 특징 성분 값들을 연산하여 상기 기준 이미지들이 촬영된 지점들 사이의 구간을 보간(iteration)하는 보간 단계 및 상기 가상의 특징 성분 값들과 상기 가상의 특징 성분 값들이 보간 연산된 지점들의 위치 정보를 서로 매칭시켜 상기 데이터베이스를 업데이트하는 업데이트 단계를 더 포함하는 것을 특징으로 한다.
스테레오 비전의 경우 단일 비전 센서가 아닌 다수 개의 비전 센서를 사용하므로 비용 소모가 크고 거리 산출을 위한 연산량의 증가로 인하여 처리 성능이 떨어진다. 또한, 정확한 거리 산출을 위해서는 물체의 인식 거리가 제한적이다.
단일 이미지에서 특정 물체 비율을 통한 거리 산출 방법의 경우 특정 물체에 대한 비율 비교를 하기 때문에 설정해 놓은 목표 물체가 없을 경우 거리 산출이 불가능하며 제한적인 상황에서만 사용이 가능하다는 단점이 있다.
그러나 본 발명에 따르면, 데이터베이스의 기 구축된 이미지 특징 추출 값과 비전 센서로부터 획득되어 전송된 이미지 특징 추출값을 비교하여 연산량을 줄이면서도 효과적이고 정확하게 목표 물체와의 거리를 산출할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시 예에 있어서, 데이터베이스를 구축하기 위한 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시 예에 있어서, 하나의 픽셀이 가지는 실제 거리를 계산하는 방법의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 있어서, 데이터베이스에 사전에 구축되어 있는 기준 이미지와 이 기준 이미지의 거리 정보의 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 있어서, 유사도 평가 방법의 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 있어서, 정보 제공 단계에서 사용자에게 제공되는 정보의 예를 나타낸 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명한다.
도 1은 본 발명의 일 실시 예에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법을 설명하기 위한 순서도이고, 도 2는 본 발명의 일 실시 예에 있어서, 데이터베이스를 구축하기 위한 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시 예는 비전 센서를 통해 촬영한 단일 이미지를 기준 이미지에 대한 정보가 사전에 구축되어 있는 데이터베이스와 비교를 통해 이미지 상에 노출된 물체와의 거리를 측정하기 위한 것이다. 본 발명의 일 실시 예는 크게 두 가지 부분으로 구분된다. 즉, 데이터베이스를 구성하는 방법의 예가 도 2에 개시되어 있고, 데이터베이스와 실시간 비교를 통해 거리를 측정하는 방법의 예가 도 1에 개시되어 있다.
먼저 도 2를 참조하면, 데이터베이스 구축 단계는 기준 이미지 획득 단계(S100), 기준 이미지 특징 계산 단계(S110), 기준 정보 저장 단계(S130), 특징 변화 규칙 추정 단계(S120), 보간 단계(S140) 및 업데이트 단계(S150)를 더 포함하여 구성된다.
기준 이미지 획득 단계(S100)에서는, 외부 환경을 구간별로 촬영하여 기준 이미지들을 획득하는 과정이 수행된다.
보다 구체적으로, 기준 이미지 획득 단계(S100)에서는, 사용자가 비전 센서를 통해 실시간으로 획득하는 영상 이미지와 비교하기 위한 기준이 되는 영상 이미지 즉, 기준 이미지를 미리 획득하는 단계이다. 통행 가능한 모든 지역 및 영역에 대하여 영상 이미지를 사용자가 직접 구축하기 어렵기 때문에, 사전에 일정한 거리를 두고 구간별로 영상 이미지를 획득하여 비교 기준을 데이터베이스 상에 미리 준비하는 것이다. 이후, 사용자는 비전 센서를 통해 획득한 실제 이미지와 데이터베이스에 저장되어 있는 기준 이미지를 비교하여, 자신의 위치 정보를 획득할 수 있다.
기준 이미지 특징 계산 단계(S110)에서는, 기준 이미지 획득 단계(S100)를 통해 획득한 기준 이미지들의 특징 성분 값을 계산하는 과정이 수행된다.
보다 구체적으로, 기준 이미지 특징 계산 단계(S110)에서는, 기준 이미지 획득 단계(S100)에서 획득한 기준 이미지에 대하여 각각의 기준 이미지가 가지는 특징 성분 값들을 계산한다. 이때, 특징 성분 값을 계산하는 방법은 시스템 설계자의 판단에 따라 다양한 방법이 사용될 수 있다.
이러한 기준 이미지 특징 계산 단계(S110)는 획득한 이미지에서 데이터베이스를 구축하기 위한 특징 성분을 추출하기 위한 단계이다. 이때 사용하는 특징 추출 알고리즘은 시스템 설계자에 의하여 보편적인 방법론들이 적용될 수 있다.
특징 변화 규칙 추정 단계(S120)에서는, 연속되는 기준 이미지들의 각각의 특징 성분 값들이 변화하는 규칙을 도출함으로써, 기준 이미지의 특징 변화 규칙을 추정하는 과정이 수행된다.
기준 정보 저장 단계(S130)에서는, 기준 이미지들, 이 기준 이미지들의 특징 성분 값 및 이 기준 이미지들이 획득된 지점들의 위치 정보를 서로 매칭시켜 데이터베이스에 저장하는 과정이 수행된다. 즉, 데이터베이스에 저장되는 형식으로는 거리값, 이미지, 특징 성분에 대한 내용이 저장된다.
보간 단계(S140)에서는, 특징 변화 규칙 추정 단계(S120)에서 추정된 변화 규칙에 따라 가상의 특징 성분 값들을 연산하여 기준 이미지들이 촬영된 지점들 사이의 구간을 보간(iteration)하는 과정이 수행된다.
이러한 보간 단계(S140)는 기준 이미지 획득 단계(S100)에서 일정 거리를 두고 획득한 기준 이미지 간의 비어있는 위치 정보를 채워 넣기 위한 과정이 수행된다. 우선 위치 정보를 채워 넣기 위한 간격을 결정하게 되는데, 이는 특징 성분 값의 비교를 통해 거리 값을 결정함에 있어서 거리 정확도에 영향을 미치게 된다. 거리 정확도를 향상시키기 위하여 보간 단계(S140)에서, 특징 변화 규칙 추정 단계(S120)에서 도출한 특징 성분 값들의 변화 규칙을 이용하여 비어있는 구간에 해당하는 가상의 특징 성분 값을 계산하고 획득된 기준 이미지 간의 비어 있는 위치 정보를 채우기 위한 사전 과정이 수행되는 것이다. 다시 말해, 이미지 중간 지점 보간 알고리즘 적용 단계의 경우, 띄엄띄엄 거리가 벌어져 있는 데이터베이스의 정보들의 중간 지점들에 대한 정보를 채워주기 위한 방법으로 이미지의 특징 성분 간의 변화 규칙을 바탕으로 계산하게 된다. 이때, 이미지 보간 간격을 결정하기 되는데 이는 거리 오차에 영향을 미치게 되어 시스템의 성능을 결정하게 된다.
업데이트 단계(S150)에서는, 가상의 특징 성분 값들과 이 가상의 특징 성분 값들이 보간 연산된 지점들의 위치 정보를 서로 매칭시켜 데이터베이스를 업데이트하는 과정이 수행된다.
이러한 업데이트 단계(S150)는 보간 단계(S140)에서 생성된 가상의 특징 성분 값들을 비어있는 구간의 위치 정보와 매칭하여 데이터베이스를 갱신하는 과정이 수행된다.
즉, 업데이트 단계(S150)에서는, 보간을 통해 새롭게 생성된 이미지 특징 성분들을 바탕으로 데이터베이스의 정보를 새롭게 갱신하여 거리에 대한 정보들을 확장시키게 된다.
도 1은 본 발명의 일 실시 예에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 비전 센서 데이터베이스를 이용한 거리 측정 방법은 실제 이미지 획득 단계(S10), 실제 이미지 특징 계산 단계(S30), 기준 이미지 선택 단계(S40), 위치 정보 획득 단계(S50), 거리 계산 단계(S60) 및 정보 제공 단계(S70)를 포함하여 구성된다.
실제 이미지 획득 단계(S10)에서는, 자신의 위치 정보 또는 특정 지점과의 거리 정보를 획득하기 위한 사용자가 비전 센서를 통해 외부 환경을 촬영하여 실제 이미지를 획득하는 과정이 수행된다. 여기서, 비전 센서는 사용자가 탑승한 차량에 설치되거나, 도보로 이동 중인 사용자가 휴대한 보행자 네비게이션 장치에 설치되도록 구성될 수 있다. 이러한 실제 이미지 획득 단계(S10)의 경우, 데이터베이스를 구축하기 위하여 기준 이미지들을 획득하는 기준 이미지 획득 단계(S100)와 동일하게 이미지를 읽어 들일 수 있는 모든 영상 입출력 장치를 통하여 실시간으로 영상 이미지를 획득하도록 구성된다.
실제 이미지 획득 단계(S10)에서 획득된 실제 이미지는 원격에 위치한 관리 서버로 전송되며, 이후의 연산 단계 즉, 실제 이미지 특징 계산 단계(S30)와, 기준 이미지 선택 단계(S40)와, 위치 정보 획득 단계(S50) 및 거리 계산 단계(S60)는 관리 서버에서 수행되도록 구성될 수 있다.
실제 이미지 특징 계산 단계(S30)에서는, 실제 이미지의 특징 성분 값을 계산하는 과정이 수행된다. 특징 성분 값을 계산하는 방법은 앞서 설명한 데이터베이스를 구축할 때, 기준 이미지에 적용한 특징 성분 값 계산 방법을 동일하게 적용한다.
즉, 실제 이미지 특징 계산 단계(S30)에서는, 데이터베이스에 이미 저장되어 있는 정보와 비교가 가능하도록 실제 이미지의 특징 성분을 추출하는 과정이 수행되며, 사용되는 특징 추출 알고리즘은 데이터베이스에서 사용된 방법론과 동일하게 설정되어야 한다.
기준 이미지 선택 단계(S40)에서는, 데이터베이스를 참조하여, 실제 이미지의 특징 성분 값과 유사도가 가장 높은 특징 성분 값을 갖는 기준 이미지를 선택하는 과정이 수행된다. 앞서 설명한 바 있지만, 데이터베이스에는 외부 환경에 대한 기준 이미지들의 특징 성분 값과 이 기준 이미지들에 대한 위치 정보가 미리 저장되어 있다.
보다 구체적으로, 기준 이미지 선택 단계(S40)에서는, 실제 이미지 특징 계산 단계(S30)에서 계산된 실제 이미지의 특징 성분 값과 사전에 구축된 데이터베이스 정보와 비교를 하게 된다. 비교를 통해 유사도가 가장 높은 정보를 결정하게 되는데 이때, 유사도를 결정하는 방법은 시스템 설계자의 판단에 의하여 유사도 결정 방법이 적용된다.
즉, 기준 이미지 선택 단계(S40)에서는, 전 단계에서 수행한 이미지 특징 성분들을 이용하여 데이터베이스 정보와 비교하여 유사도가 높은 정보를 찾아내는 과정이 수행되며, 데이터베이스와의 비교는 데이터베이스 내의 거리 값을 순차적으로 비교하는 방식으로 검색이 진행될 수 있다.
이러한 기준 이미지 선택 단계(S40)에서는, 입력된 실제 이미지와 데이터베이스에 사전에 구축해놓은 거리 정보를 포함한 기준 이미지 정보를 비교하여 진행하게 된다. 이때, 영상 이미지를 비교하는 방법의 경우 기존의 범용적으로 사용되는 이미지 비교 알고리즘을 선택적으로 사용할 수 있다. 도 4에 본 발명의 일 실시 예에 있어서, 데이터베이스에 사전에 구축되어 있는 기준 이미지와 이 기준 이미지의 거리 정보의 예가 개시되어 있다. 영상 이미지의 비교를 통한 유사도 평가는 도 5에서 개시된 바와 같이 진행이 된다.
위치 정보 획득 단계(S50)에서는, 선택된 기준 이미지의 위치 정보를 기초로 실제 이미지가 촬영된 지점의 위치 정보를 획득하는 과정이 수행된다.
거리 계산 단계(S60)에서는, 실제 이미지가 촬영된 지점의 위치 정보와 목표 지점의 위치 정보를 기초로 실제 이미지가 촬영된 지점과 목표 지점 간의 거리를 계산하는 과정이 수행된다.
도 3은 하나의 픽셀이 가지는 실제 거리를 결정하는 방법의 예를 설명하기 위한 도면이다. 도 3을 참조하면, 데이터베이스의 기준 이미지에서 특징 추출 후 하나의 픽셀이 가지는 실제 거리를 입력해 놓고 실시간 이미지 입력 시에 특징 추출 후 도 3을 바탕으로 픽셀 당 실제 거리를 계산하게 된다. 이를 데이터베이스와 비교를 하여 거리를 결정하게 된다.
도 3에서 d는 카메라 화각과 실제 인식 영역과의 거리이고, d를 기준으로 인식 영역의 크기는 다음 수학식 1과 2를 통해 계산된다.
수학식 1
Figure PCTKR2015001261-appb-M000001
수학식 2
Figure PCTKR2015001261-appb-M000002
수학식 1과 2에서, 거리 d에 따른 한 픽셀이 가지는 가로 방향의 실제 인식거리는 w/가로해상도이고, 세로 방향의 실제 인식거리는 h/세로해상도이다.
예를 들어, 데이터베이스에서 7m에 해당하는 이미지의 픽셀이 가지는 실제 거리는 10cm이고 8m에 해당하는 이미지의 픽셀이 가지는 실제거리는 20cm일 때, 실시간 이미지에서 픽셀이 가지는 실제거리가 18cm이면 거리를 비율적 계산을 통해 약 7.8m로 거리를 결정하게 되는 것이다.
정보 제공 단계(S70)에서는, 획득된 위치 정보와 거리 정보를 포함하는 정보를 가공하여 사용자에게 제공하는 과정이 수행된다. 이 단계에서 거리 정보와 획득 영상 이미지가 매칭된 정보가 사용자에게 최종적으로 출력된다. 출력 형태는 시스템 설계자에 의해 결정이 되며 문자, 숫자, 그림, 마크 등 다양한 출력 형태가 존재할 수 있다.
즉, 결과 출력의 경우 실시간으로 읽어 들인 이미지에 데이터베이스와 비교 결과를 결합하여 최종적으로 사용자에게 결과를 출력하게 된다. 출력 형태는 시스템을 구성하는 시스템 설계자에 의하여 출력 형태는 다양하게 구성될 수 있다. 결과 출력의 경우 사용자 디바이스에 따라 결과가 달라 질 수 있다. 도 6은 사용자 콘솔에서의 출력 결과를 보여주고 있는 것이다. 도 6에서의 결과와 같이 결과 출력의 과정에서는 이미지, 콘솔, 텍스트 등의 여러 결과 출력 형태가 가능하게 된다.
일반적으로 스테레오 비전 방식의 경우 단일 비전 센서가 아닌 다수 개의 비전 센서를 사용하므로 비용 소모가 크고 거리 산출을 위한 연산량의 증가로 인하여 처리 성능이 떨어진다. 또한, 정확한 거리 산출을 위해서는 물체의 인식 거리가 제한적이다.
또한 단일 이미지에서 특정 물체 비율을 통한 거리 산출 방법의 경우 특정 물체에 대한 비율 비교를 하기 때문에 설정해 놓은 목표 물체가 없을 경우 거리 산출이 불가능하며 제한적인 상황에서만 사용이 가능하다.
그러나 본 발명에 따르면, 데이터베이스의 기 구축된 이미지 특징 추출 값과 비전 센서로부터 획득되어 전송된 이미지 특징 추출값을 비교하여 효율적으로 목표 물체와의 거리를 산출할 수 있다.
또한 단일이미지와 DB를 이용하여 거리를 결정하는 본 발명에 따르면, 지능형 자동차에서 특정 물체와 차량 간의 거리를 효과적으로 결정할 수 있다.
또한 본 발명은 GPS 초기 위치를 보정하기 위한 방법으로 사용할 수 있다. GPS 초기 위치 오차를 보정하여 보행자의 정확한 위치를 결정하는 방법으로 사용될 수 있다. 마지막으로 휴대단말에서 획득한 이미지를 이용하여 사용자의 위치를 추정하는 방법으로 사용될 수 있다.
이상에서 본 발명에 대한 기술사상을 첨부된 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (7)

  1. 비전 센서 데이터베이스를 이용한 거리 측정 방법에 있어서,
    비전 센서를 통해 외부 환경을 촬영하여 실제 이미지를 획득하는 실제 이미지 획득 단계;
    상기 실제 이미지의 특징 성분 값을 계산하는 실제 이미지 특징 계산 단계;
    상기 외부 환경에 대한 기준 이미지들의 특징 성분 값과 상기 기준 이미지들에 대한 위치 정보가 미리 저장되어 있는 데이터베이스를 참조하여, 상기 실제 이미지의 특징 성분 값과 유사도가 가장 높은 특징 성분 값을 갖는 기준 이미지를 선택하는 기준 이미지 선택 단계;
    상기 선택된 기준 이미지의 위치 정보를 기초로 상기 실제 이미지가 촬영된 지점의 위치 정보를 획득하는 위치 정보 획득 단계; 및
    상기 실제 이미지가 촬영된 지점의 위치 정보와 목표 지점의 위치 정보를 기초로 상기 실제 이미지가 촬영된 지점과 상기 목표 지점 간의 거리를 계산하는 거리 계산 단계를 포함하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
  2. 제1항에 있어서,
    상기 실제 이미지 획득 단계와 상기 실제 이미지 특징 계산 단계 사이에, 상기 획득된 실제 이미지를 관리 서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
  3. 제2항에 있어서,
    상기 실제 이미지 특징 계산 단계와, 상기 기준 이미지 선택 단계와, 상기 위치 정보 획득 단계 및 상기 거리 계산 단계는 상기 관리 서버에서 수행되는 것을 특징으로 하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
  4. 제1항에 있어서,
    상기 거리 계산 단계 이후,
    상기 획득된 위치 정보와 거리 정보를 포함하는 정보를 가공하여 사용자에게 제공하는 정보 제공 단계를 더 포함하는 것을 특징으로 하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
  5. 제1항에 있어서,
    상기 데이터베이스는 데이터베이스 구축 단계를 통해 구축되고,
    상기 데이터베이스 구축 단계는
    상기 외부 환경을 구간별로 촬영하여 기준 이미지들을 획득하는 기준 이미지 획득 단계;
    상기 기준 이미지들의 특징 성분 값을 계산하는 기준 이미지 특징 계산 단계; 및
    상기 기준 이미지들의 특징 성분 값과 상기 기준 이미지들이 획득된 지점들의 위치 정보를 서로 매칭시켜 저장하는 기준 정보 저장 단계를 포함하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
  6. 제5항에 있어서,
    상기 데이터베이스 구축 단계는
    상기 기준 이미지 특징 계산 단계 이후, 상기 기준 이미지들의 특징 성분 값들의 변화 규칙을 추정하는 특징 변화 규칙 추정 단계를 더 포함하는 것을 특징으로 하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
  7. 제6항에 있어서,
    상기 데이터베이스 구축 단계는
    상기 기준 정보 저장 단계 이후, 상기 특징 변화 규칙 추정 단계에서 추정된 변화 규칙에 따라 가상의 특징 성분 값들을 연산하여 상기 기준 이미지들이 촬영된 지점들 사이의 구간을 보간(iteration)하는 보간 단계; 및
    상기 가상의 특징 성분 값들과 상기 가상의 특징 성분 값들이 보간 연산된 지점들의 위치 정보를 서로 매칭시켜 상기 데이터베이스를 업데이트하는 업데이트 단계를 더 포함하는 것을 특징으로 하는, 비전 센서 데이터베이스를 이용한 거리 측정 방법.
PCT/KR2015/001261 2014-02-13 2015-02-06 비전 센서 데이터베이스를 이용한 거리 측정 방법 WO2015122658A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/118,458 US10354401B2 (en) 2014-02-13 2015-02-06 Distance measurement method using vision sensor database

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0016593 2014-02-13
KR1020140016593A KR101574876B1 (ko) 2014-02-13 2014-02-13 비전 센서 데이터베이스를 이용한 거리 측정 방법

Publications (1)

Publication Number Publication Date
WO2015122658A1 true WO2015122658A1 (ko) 2015-08-20

Family

ID=53800344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001261 WO2015122658A1 (ko) 2014-02-13 2015-02-06 비전 센서 데이터베이스를 이용한 거리 측정 방법

Country Status (3)

Country Link
US (1) US10354401B2 (ko)
KR (1) KR101574876B1 (ko)
WO (1) WO2015122658A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217859A1 (zh) * 2020-04-30 2021-11-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087291B (zh) * 2018-07-26 2021-08-27 杭州国翌科技有限公司 隧道位置信息库建立方法及隧道病害定位方法
KR102030612B1 (ko) * 2018-08-23 2019-10-10 한국지질자원연구원 위치가 공간형상정보로 정의되는 지도를 이용한 네비게이션 시스템
CN110132274A (zh) * 2019-04-26 2019-08-16 中国铁道科学研究院集团有限公司电子计算技术研究所 一种室内定位方法、装置、计算机设备及存储介质
CN111521117B (zh) * 2019-08-21 2022-01-28 毫末智行科技有限公司 单目视觉测距方法、存储介质及单目摄像头
CN110852279B (zh) * 2019-11-12 2022-05-03 深圳创维数字技术有限公司 托盘识别和定位方法、设备及计算机可读存储介质
CN111243025A (zh) * 2020-01-16 2020-06-05 任志忠 一种在影视虚拟拍摄实时合成中目标定位的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090113746A (ko) * 2008-04-28 2009-11-02 한양대학교 산학협력단 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
KR101068477B1 (ko) * 2011-01-12 2011-09-28 투아이시스(주) 전주 인식 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226197A (ja) 2003-01-22 2004-08-12 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7191056B2 (en) * 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP5216665B2 (ja) * 2009-03-31 2013-06-19 アイシン・エィ・ダブリュ株式会社 地図データ更新システム及び地図データ更新プログラム、並びにこれを利用したナビゲーション装置及び車両制御装置
US9324003B2 (en) * 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
KR100995400B1 (ko) 2010-06-29 2010-11-19 한진정보통신(주) 지상 라이다를 이용한 건물 외곽선 추출 시스템 및 그 방법
KR101237434B1 (ko) 2011-05-11 2013-02-26 서울과학기술대학교 산학협력단 측량기를 이용한 3차원 건축실물모델링 방법
US9177404B2 (en) * 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
FR3009635B1 (fr) * 2013-08-08 2016-08-19 St Microelectronics Sa Procede de recherche d'une image similaire dans une banque d'images a partir d'une image de reference
US9903719B2 (en) * 2013-09-03 2018-02-27 Litel Instruments System and method for advanced navigation
US9483842B2 (en) * 2014-04-14 2016-11-01 Vricon Systems Aktiebolag Navigation based on at least one sensor and a three dimensional map

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090113746A (ko) * 2008-04-28 2009-11-02 한양대학교 산학협력단 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
KR101068477B1 (ko) * 2011-01-12 2011-09-28 투아이시스(주) 전주 인식 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217859A1 (zh) * 2020-04-30 2021-11-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR101574876B1 (ko) 2015-12-04
US20170221221A1 (en) 2017-08-03
KR20150095365A (ko) 2015-08-21
US10354401B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
EP3181085B1 (en) Tracking system
CN103252778B (zh) 用于估计机器人位置的设备及其方法
KR100647807B1 (ko) 그림자 분석을 통한 3차원 건물정보 추출방법
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
KR20110068469A (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
JP6321202B2 (ja) モバイルプラットフォームの運動を決定する方法、装置、及びシステム
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
KR20140058861A (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
KR20130034528A (ko) 도로시설물 자동 위치측정 방법
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
KR102490520B1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
CN114111776A (zh) 定位方法及相关装置
CN111783849B (zh) 一种室内定位方法、装置、电子设备及存储介质
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
US9245343B1 (en) Real-time image geo-registration processing
KR101189167B1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
KR101798891B1 (ko) 4차원 데이터베이스를 이용하는 여객선 내 증강현실을 제공하는 방법 및 시스템
CN114943809A (zh) 一种地图模型的生成方法、装置及存储介质
CN105447288B (zh) 一种信息处理方法及电子设备
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15748717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15118458

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15748717

Country of ref document: EP

Kind code of ref document: A1