KR20210020331A - 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법 - Google Patents

다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법 Download PDF

Info

Publication number
KR20210020331A
KR20210020331A KR1020190099459A KR20190099459A KR20210020331A KR 20210020331 A KR20210020331 A KR 20210020331A KR 1020190099459 A KR1020190099459 A KR 1020190099459A KR 20190099459 A KR20190099459 A KR 20190099459A KR 20210020331 A KR20210020331 A KR 20210020331A
Authority
KR
South Korea
Prior art keywords
feature points
planes
homography
plane
matching feature
Prior art date
Application number
KR1020190099459A
Other languages
English (en)
Inventor
이유
윤여진
이주철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190099459A priority Critical patent/KR20210020331A/ko
Publication of KR20210020331A publication Critical patent/KR20210020331A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

영상을 이용한 실내 위치 추정에 있어서 종래에 비해 빠른 연산 속도로 실내 위치를 추정할 수 있는 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법이 개시된다. 일 실시예에 따른 다중 평면 검출을 이용한 실내 위치 추정 장치는, 실내 공간의 특징점들을 포함하는 3차원 맵을 저장하는 저장부; 2차원 입력 영상의 이전 프레임과 현재 프레임의 특징점들을 이용하여 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리하여 추출하는 평면 추출부; 상기 추출된 적어도 두 개 이상의 평면의 특징점들과 상기 3차원 맵에서의 대응하는 적어도 두 개 이상의 평면의 특징점들 간의 거리가 가장 작도록 하는 위치를 현재 위치로 결정하는 위치 결정부를 포함한다.

Description

다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING INDOOR POSITION USING MULTIPLE PLANE DETECTION}
본 발명은 실내 위치 추정 기술에 관한 것으로서, 보다 구체적으로 영상을 이용하여 실내 위치를 추정하는 기술에 관한 것이다.
구조가 복잡한 건물(쇼핑몰, 공항, 병원 등) 내부에서 사용자의 정확한 위치를 추정하는 여러 방법이 있다. 실외의 경우 GPS(Global Positioning System)를 이용하지만, 실내는 GPS 신호가 수신되지 않기 때문에, 다른 방식을 이용한다. 예를 들어, WiFi, 또는 비콘이나 블루투스 등의 근거리 통신 기술을 이용한 방식이 있다.
대표적인 방식이 핑거프린트 방식이다. 핑거프린트 방식은 실내 공간을 소정 개수로 분할한 후 각 분할 영역마다 WiFi 서비스를 위한 액세스 포인트들의 신호 세기를 수집하여 실내 공간의 전파 맵을 구성한 후, 사용자 단말이 수집하는 신호들의 패턴을 전파 맵과 비교하여 사용자 단말의 위치를 추정한다. 그러나 이러한 근거리 통신 기술을 이용한 실내 길 안내 서비스가 시작되었지만, 낮은 범용성과 정확도로 인해 기술 발전의 초기 단계에 머물러 있다.
근거리 통신 기술을 대신하여 영상을 이용한 실내 위치 추정 기술도 개발되고 있다. 영상을 이용한 기술은 사용자가 사용자 단말의 카메라로 실내 공간을 촬영하면 촬영 영상과 실내 공간에 대한 3D 맵을 비교하여 사용자 단말의 현재 위치를 추정하는 방식이다. 그러나 현재까지 영상을 이용한 실내 위치 추정 기술은 연산 과정이 복잡하여 범용적으로 사용되지 못하고 있다. 예를 들어, 상기 촬영 영상에서 특징점들을 추출한 후, 상기 3D 맵에 저장되어 있는 모든 특징점을 비교해야 하기 때문에 연산 과정이 매우 복잡하다. 따라서, 보다 적은 연산 과정을 통해 위치를 추정할 수 있는 기술 개발이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 영상을 이용한 실내 위치 추정에 있어서 종래에 비해 빠른 연산 속도로 실내 위치를 추정할 수 있는 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법을 제공하는데 그 목적이 있다.
일 실시예에 따른 다중 평면 검출을 이용한 실내 위치 추정 장치는, 실내 공간의 특징점들을 포함하는 3차원 맵을 저장하는 저장부; 2차원 입력 영상의 이전 프레임과 현재 프레임의 특징점들을 이용하여 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리하여 추출하는 평면 추출부; 상기 추출된 적어도 두 개 이상의 평면의 특징점들과 상기 3차원 맵에서의 대응하는 적어도 두 개 이상의 평면의 특징점들 간의 거리가 가장 작도록 하는 위치를 현재 위치로 결정하는 위치 결정부를 포함한다.
상기 평면 추출부는, 상기 이전 프레임과 상기 현재 프레임 간에 매칭되는 매칭 특징점들 중 선택된 소정 개수의 매칭 특징점을 이용하여 상기 이전 프레임과 상기 현재 프레임 간의 호모그래피를 계산하는 제 1 과정; 상기 계산된 호모그래피를 이용하여 상기 매칭 특징점들 중 오차가 임계값 이하인 매칭 특징점들을 선택하는 제 2 과정; 상기 제 1 과정 및 상기 제 2 과정을 소정 횟수만큼 반복하여 상기 오차가 임계값 이하인 매칭 특징점들의 개수가 가장 많은 호모그래피를 선택하는 제 3 과정; 및 선택된 호모그래피가 특정 개수가 될 때까지 상기 제 1 내지 제 3 과정을 반복하고, 각 선택된 호모그래피에 대응하는 상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 평면을 분리하는 제 4 과정을 수행할 수 있다.
상기 평면 추출부는, 상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 분리한 각 평면 간 교차선이 생길 때까지 각 평면을 확장할 수 있다.
상기 위치 결정부는, 상기 확장된 각 평면에 속하는 특징점들과 상기 3차원 맵에서의 대응하는 각 평면의 특징점들 간의 거리 차의 합이 가장 작도록 하는 위치를 현재 위치로 결정할 수 있다.
상기 위치 결정부는, 상기 확장된 각 평면의 법선 및 교차선과, 상기 3차원 맵에서의 대응하는 각 평면의 법선 및 교차선 간의 기울기 차의 합을 계산하고, 상기 기울기 차의 합과 상기 거리 차의 합을 더한 값이 최소화되는 위치 및 방향을 결정할 수 있다.
다른 실시예에 따른 실내 위치 추정 장치에서 현재 위치를 추정하는 방법은, 2차원 입력 영상을 수신하는 단계; 2차원 입력 영상의 이전 프레임과 현재 프레임의 특징점들을 이용하여 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리하여 추출하는 단계; 및 상기 추출된 적어도 두 개 이상의 평면의 특징점들과, 실내 공간의 특징점들을 포함하는 3차원 맵에서의 대응하는 적어도 두 개 이상의 평면의 특징점들 간의 거리가 가장 작도록 하는 위치를 현재 위치로 결정하는 단계를 포함한다.
상기 추출하는 단계는, 상기 이전 프레임과 상기 현재 프레임 간에 매칭되는 매칭 특징점들 중 선택된 소정 개수의 매칭 특징점을 이용하여 상기 이전 프레임과 상기 현재 프레임 간의 호모그래피를 계산하는 제 1 단계; 상기 계산된 호모그래피를 이용하여 상기 매칭 특징점들 중 오차가 임계값 이하인 매칭 특징점들을 선택하는 제 2 단계; 상기 제 1 단계 및 상기 제 2 단계을 소정 횟수만큼 반복하여 상기 오차가 임계값 이하인 매칭 특징점들의 개수가 가장 많은 호모그래피를 선택하는 제 3 단계; 및 선택된 호모그래피가 특정 개수가 될 때까지 상기 제 1 내지 제 3 단계를 반복하고, 각 선택된 호모그래피에 대응하는 상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 평면을 분리하는 제 4 단계을 포함할 수 있다.
상기 추출하는 단계는, 상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 분리한 각 평면 간 교차선이 생길 때까지 각 평면을 확장하는 단계를 더 포함할 수 있다.
상기 결정하는 단계는, 상기 확장된 각 평면에 속하는 특징점들과 상기 3차원 맵에서의 대응하는 각 평면의 특징점들 간의 거리 차의 합이 가장 작도록 하는 위치를 현재 위치로 결정할 수 있다.
상기 결정하는 단계는, 상기 확장된 각 평면의 법선 및 교차선과, 상기 3차원 맵에서의 대응하는 각 평면의 법선 및 교차선 간의 기울기 차의 합을 계산하고, 상기 기울기 차의 합과 상기 거리 차의 합을 더한 값이 최소화되는 위치 및 방향을 결정할 수 있다.
일 실시예에 따르면, 2차원 입력 영상에서 다중 평면을 추출한 후 각 평면의 특징점들과 실내 공간에 대한 3차원 맵을 비교함으로써, 종래 모든 특징점들을 3차원 맵과 비교하는 것과 비교하여 연산 과정을 대폭 줄여 실내 위치 추정의 속도를 높일 수 있다.
일 실시예에 따르면, 2차원 입력 영상에서 다중 평면을 인식한 후 각 평면의 특징점들과 실내 공간에 대한 3차원 맵을 비교함으로써, 종래의 영상 기반 위치 추정 방법에 비해 위치 추정의 정확도를 높일 수 있다.
일 실시예에 따르면, 영상 기반의 위치 추정의 정확도를 높여 효율적인 건물 내부 길 안내 시스템을 구축할 수 있도록 하고 건물 내부 구조의 3차원 지도 제작에도 이용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 실내 위치 추정 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 2차원 입력 영상의 특징점들을 나타낸 도면이다.
도 3은 도 2의 2차원 입력 영상에서 3개의 호모그래피에 대응하는 특징점들을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 평면 확장을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 실내 위치 추정 장치에서 위치를 추정하는 방법을 설명하는 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실내 위치 추정 장치의 블록도이다. 실내 위치 추정 장치(100)는, 스마트폰이나 태블릿 PC 등의 휴대용 단말, 또는 이동 로봇 등과 같이 실내에서 이동하는 이동체에 포함될 수 있다. 실내 위치 추정 장치(100)는, 카메라, 메모리, 메모리 제어기, 하나 이상의 프로세서(CPU), 주변 인터페이스, 입출력(I/O) 서브시스템, 디스플레이 장치, 입력 장치, 관성 측정 장치(Inertial Measurement Unit) 및 통신 회로를 포함할 수 있다. 관성 측정 장치는 스마트폰 등에 기본으로 탑재되어 있는 센서들을 포함하는 장치로서, 예를 들어, 중력 센서, 가속도 센서, 자기장 센서 등을 포함한다. 관성 측정 장치는 실내 위치 추정시 보정용 정보로서 사용될 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 프로세서 및 주변 인터페이스와 같은 다른 구성요소에 의한 메모리로의 액세스는 메모리 제어기에 의하여 제어될 수 있다. 메모리는 각종 정보와 프로그램 명령어를 저장할 수 있고, 프로그램은 프로세서에 의해 실행된다. 주변 인터페이스는 입출력 주변 장치를 프로세서 및 메모리와 연결한다. 하나 이상의 프로세서는 다양한 소프트웨어 프로그램 및/또는 메모리에 저장되어 있는 명령어 세트를 실행하여 시스템을 위한 여러 기능을 수행하고 데이터를 처리한다. I/O 서브시스템은 디스플레이 장치, 입력 장치와 같은 입출력 주변장치와 주변 인터페이스 사이에 인터페이스를 제공한다. 통신 회로는 외부 포트를 통한 통신 또는 RF 신호에 의한 통신을 수행한다. 통신 회로는 전기 신호를 RF 신호로 또는 그 반대로 변환하며 이 RF 신호를 통하여 통신 네트워크, 다른 이동형 게이트웨이 장치 및 통신 장치와 통신할 수 있다. 도 1을 참조하면, 본 실시예에 따른 실내 위치 추정 장치(100)는, 영상 입력부(110), 저장부(120), 평면 추출부(130) 및 위치 결정부(140)를 포함하고, 이들 구성요소는 소프트웨어로 구현되어 메모리에 저장되고 프로세서에 의해 실행될 수 있고, 또는 소프트웨어와 하드웨어의 조합으로 구현되어 실행될 수 있다.
영상 입력부(110)는, 실내 위치 추정 장치(100)의 위치를 추정하기 위한 2차원 입력 영상을 수신한다. 바람직하게, 영상 입력부(110)는, 실내 위치 추정 장치(100)에 구비되는 카메라에서 촬영되는 2차원 입력 영상을 수신할 수 있다. 예를 들어, 사용자가 스마트폰을 휴대한 상태에서 스마트폰의 카메라로 임의의 방향을 촬영할 수 있고, 이때 촬영된 영상이 상기 2차원 입력 영상으로서 영상 입력부(110)에 수신된다. 2차원 입력 영상은 복수의 영상 프레임으로 이루어진 동영상일 수 있다.
저장부(120)는, 실내 공간에 대한 3차원 맵을 저장한다. 여기서 3차원 맵은, 실내 공간에 대한 이미지 기반의 특징점들의 정보를 포함한다. 3차원 맵은 실내 공간에 대해 미리 구축되어 저장부(120)에 저장되고, 상기 2차원 입력 영상과 매칭되어 실내 위치를 추정하는데 사용된다. 또한, 저장부(120)는, 상기 영상 입력부(110)에서 수신되는 2차원 입력 영상을 저장한다. 바람직하게, 상기 영상 입력부(110)에서 수신되는 2차원 입력 영상은 저장부(120)에 임시 저장된 후 위치 추정 후에는 삭제될 수 있다.
평면 추출부(130)는, 상기 저장부(120)에 저장된 2차원 입력 영상에서 현재 프레임의 특징점들과 이전 프레임의 특징점들을 이용하여, 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리하여 추출한다. 현재 프레임은 가장 최근에 촬영된 영상 프레임이고, 이전 프레임은 그전에 촬영된 영상 프레임이다. 예를 들어, 현재 프레임을 t 시점에서의 영상 프레임, 이전 프레임을 t-1 시점에서의 영상 프레임으로 정의할 수 있다. 평면 추출부(130)는 현재 프레임과 이전 프레임 간의 호모그래피(Homography)를 추정한 후 그 호모그래피를 이용하여 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리한다.
호모그래피는 두 이미지 사이의 매핑 상관관계를 나타내는 변환 행렬로서 일반적으로 3×3 행렬이다. 예를 들어, 네 개의 끝점으로 이루어진 평면이 이동하는 카메라에 의해 촬영되었다고 가정하고, 이동 전 촬영된 첫 번째 이미지와 이동 후 촬영된 두 번째 이미지 간의 호모그래피를 H라 하면, 첫 번째 이미지의 특정 특징점의 위치와 그 호모그래피 H를 이용하면 두 번째 이미지에서의 해당 특징점의 위치를 계산할 수 있다. 이를 수학식으로 나타내면 다음 수학식1과 같다. 아래 수학식1은 제 1 이미지에서의 특징점의 위치가 [x, y, 1]이고 이에 대응하는 제 2 이미지에서의 특징점의 위치가 [wx', wy', w]일 때이다. 여기서 w는 스케일 벡터이다.
(수학식1)
Figure pat00001
평면 추출부(130)는, 상기 이전 프레임에서 특징점들을 검출하고 상기 현재 프레임에서 특징점들을 검출한 후, 두 프레임 간의 특징점들을 매칭한다. 이와 같이 매칭된 특징점들을 이하에서 매칭 특징점이라 한다. 예를 들어, 이전 프레임에서 900개의 특징점이 검출되고 현재 프레임에서 1,000개의 특징점이 검출되었을 때, 동일한 특징점이 800개일 수 있고, 이 800개의 특징점들이 매칭 특징점이 된다. 특징점들의 검출은, FAST, AKAZE, Harris Corner 등을 이용하여 검출할 수 있다. 평면 추출부(130)는 매칭 특징점들 중에서 임의의 소정 개수, 예를 들어 4개의 매칭 특징점을 선택한 후, 그 4개의 매칭 특징점을 이용하여 상기 이전 프레임과 상기 현재 프레임 간의 호모그래피를 계산한다. 평면 추출부(130)는, 상기 계산된 호모그래피를 이용하여 상기 매칭 특징점들 중에서 오차가 임계값 이하인 매칭 특징점들을 선별한다. 즉, 아래 수학식2에 따라 임계값(ε) 보다 작은 오차를 갖는 매칭 특징점들을 선별한다.
(수학식2)
Figure pat00002
상기 수학식2에서, Xk는 이전 프레임의 k번째(k는 0 이상의 자연수) 매칭 특징점을 의미하고, Xk '는 현재 프레임의 상기 Xk에 대응하는 k번째(k는 0 이상의 자연수) 매칭 특징점을 의미하며, Hi는 상기 4개의 매칭 특징점을 이용하여 계산된 호모그래피를 의미한다. 예를 들어, 이전 프레임의 k번째 매칭 특징점을 호모그래피에 기초하여 현재 프레임에 투영했을 때의 위치와, 현재 프레임의 k번째 매칭 특징점의 위치의 차이가 임계값(ε)보다 작으면 해당 k번째 매칭 특징점은 inlier로 선별되고 그렇지 않으면 outlier로 선별된다. 이와 같이 이전 프레임의 매칭 특징점들과 현재 프레임의 매칭 특징점들 간의 오차를 계산하여 오차가 임계값 이하인 매칭 특징점들, 즉 inlier에 속하는 매칭 특징점들을 선별한다. 평면 추출부(130)는, 선별된 매칭 특징점들과, 이때의 호모그래피를 임시 저장한다.
평면 추출부(130)는, 위와 같은 과정을 소정 횟수만큼 반복한다. 즉, 처음 선정하였던 4개의 매칭 특징점 이외 또 다른 4개의 매칭 특징점을 선택한 후, 그 또 다른 4개의 매칭 특징점을 이용하여 호모그래피를 계산하고, 그 호모그래피를 이용하여 이전 프레임의 매칭 특징점들과 현재 프레임의 매칭 특징점들 간의 오차를 계산하여 임계값 보다 작은 오차를 갖는 매칭 특징점들을 선별하며, 선별된 매칭 특징점들과, 이때의 호모그래피를 임시 저장하는 과정을 소정 횟수만큼 반복한다. 평면 추출부(130)는, 소정 횟수만큼 반복 후에, 임시 저장한 결과를 토대로, 선별된 매칭 특징점, 즉 임계값 보다 작은 오차를 갖는 매칭 특징점들을 가장 많이 갖는 호모그래피를 최종 선택한다.
평면 추출부(130)는, 상기 최종 선택된 호모그래피에 속하는 상기 임계값 보다 작은 오차를 갖는 매칭 특징점들을 제외한 나머지 매칭 특징점들만을 대상으로, 다시 앞서 설명한 과정을 반복하여 또 다른 호모그래피를 최종 선택한다. 예를 들어, 매칭 특징점들이 900개이고, 1차로 최종 선택한 호모그래피에 속하는 상기 임계값 보다 작은 오차를 갖는 매칭 특징점들이 100개라면, 그 100개를 제외한 800개의 매칭 특징점들을 대상으로 다시 앞서 설명한 과정을 반복하여 또 다른 호모그래피를 최종 선택한다. 평면 추출부(130)는, 미리 설정된 개수의 호모그래피들이 최종 선택될 때까지 반복한다. 예를 들어, 평면 추출부(130)는, 3개의 호모그래피를 최종 선택한 후 종료할 수 있다. 최종 선택되는 호모그래피들은 2차원 입력 영상에서의 평면들에 대응한다. 예를 들어, 3개의 호모그래피가 최종 선택되면, 그 3개의 호모그래피는 2차원 입력 영상에 포함되는 평면들 중에서 3개의 평면에 대응한다.
도 2는 본 발명의 일 실시예에 따른 2차원 입력 영상의 특징점들을 나타낸 도면으로, 도 2의 (a)는 이전 프레임인 t-1 시점 프레임에서의 특징점들을 나타내고 도 2의 (b)는 현재 프레임인 t 시점 프레임에서의 특징점들을 나타낸다. 도 3은 도 2의 2차원 입력 영상에서 3개의 호모그래피에 대응하는 특징점들을 나타낸 도면으로, 도 3의 (a)는 바닥면의 호모그래피에 대응하는 특징점들을 나타내고, 도 3의 (b)는 벽면의 호모그래피에 대응하는 특징점들을 나타내며, 도 3의 (c)는 천정의 호모그래피에 대응하는 특징점들을 나타낸다. 도 2를 참조하면, t-1 시점 프레임의 특징점들과 t 시점 프레임의 특징점들이 모두 정확히 대응하지는 않는다. t-1 시점 프레임과 t 시점 프레임은 실내 위치 추정 장치(100)가 이동하여 서로 다른 위치에서 촬영되었기 때문이다. t-1 시점 프레임의 특징점들과 t 시점 프레임의 특징점들 간에 서로 대응하는 매칭 특징점들을 추출한 후, 임계값 보다 작은 오차를 갖는 매칭 특징점들을 선별하면, 도 3에 도시된 바와 같이, 대부분 2차원 영상에서 평면의 가운데 부분에 있는 특징점들이다. 따라서 최종 선택된 각 호모그래피는 2차원 입력 영상을 구성하는 각 평면에 독립적으로 대응하게 된다. 예를 들어, 최종 선택된 3개의 호모그래피는, 아래 H1, H2, H3와 같다. H1 호모그래피는 도 3의 (a)의 2차원 입력 영상의 바닥면에 있는 특징점들에 대한 호모그래피이고, H2 호모그래피는 도 3의 (b)의 2차원 입력 영상의 오른쪽 벽면에 있는 특징점들에 대한 호모그래피이며, H3 호모그래피는 도 3의 (c)의 2차원 입력 영상의 천정에 있는 특징점들에 대한 호모그래피이다.
Figure pat00003
Figure pat00004
Figure pat00005
이와 같이 최종 선택된 각 호모그래피들에 속하는 오차가 임계값 보다 작은 매칭 특징점들은 각 평면의 모든 면적을 커버하지 못하고 평면의 중심 부분에 주로 모여있다. 매칭 특징점들이 커버하는 면적은, 2차원 입력 영상에서 평면 전부에 대응하지 않고, 평면의 일부, 즉 중심 부분만을 분리한 것이다. 따라서, 평면 추출부(130)는 2차원 입력 영상에서 분리된 각 평면의 일부분을 확장하여 온전한 평면을 분리한다. 예를 들어, 평면 추출부(130)는, 각 평면 간 교차선이 생길 때까지 각 평면의 일부분을 확장한다. 각 평면의 3차원 방정식을 이용하여 각 평면의 교차선을 추출할 수 있고, 또는 소실점을 통해 교차선을 구할 수도 있다. 평면의 3차원 좌표를 구할 때, 호모그래피를 이용하여 구할 수 있다. 예를 들어, "Parallel Tracking and Mapping for Small AR Workspaces”, Georg Klein and David Murray, ISMAR 2007를 참조할 수 있다.
도 4는 본 발명의 일 실시예에 따른 평면 확장을 나타낸 도면으로, 도 4의 (a)는 평면의 일부분을 분리한 예이고, 도 4의 (b)는 도 4의 (a)의 평면의 일부분을 확장한 예이다. 도 4의 (a)는 평면의 일부분으로서 오차가 임계값 보다 작은 매칭 특징점들을 이용하여 분리된 평면의 일부분이다. 이와 같이 분리된 평면의 일부분을 교차선이 생길 때까지 확장하면 도 4의 (b)와 같이 온전한 좌측 벽면, 바닥면, 그리고 천정면이 분리된다.
다시 도 1을 참조하면, 위치 결정부(140)는, 상기 확장된 각 평면과 저장부(120)에 저장된 3차원 맵에서의 대응하는 각 평면 간의 차이를 이용하여 실내 위치 추정 장치(100)의 현재 위치를 결정한다. 즉, 위치 결정부(140)는 아래 수학식3에서 E를 최소화하는 위치와 방향을 결정한다.
(수학식3)
Figure pat00006
여기서, n은 분리된 평면의 개수이고, m은 평면에 포함된 특징점의 개수이며, Mpji는 3차원 맵 내의 j번째 평면의 i번째 특징점이고, Fpji는 2차원 입력 영상 내의 j번째 평면의 i번째 특징점이며,
Figure pat00007
는 3차원 맵 및 2차원 입력 영상 간의 j번째 평면의 i번째 특징점의 유클리드 거리이다. 그리고, Mplj는 3차원 맵 내의 j번째 평면의 법선 및 교차선이고, Fplj는 2차원 입력 영상 내의 j번째 평면의 법선 및 교차선이며,
Figure pat00008
는 3차원 맵 및 2차원 입력 영상 간의 j번째 평면의 법선 기울기 차이와 교차선 기울기 차이이다. 즉, 3차원 맵의 1번째 평면의 법선과 2차원 영상의 1번째 평면이 법선 간의 기울기 차이를 계산하고, 또한 3D 맵의 1번째 평면의 교차선과 2차원 영상의 1번째 평면이 대응하는 교차선 간의 기울기 차이를 계산하는 방식으로, 법선 및 교차선들 간의 차이의 합을 계산한다. 이를 수학식으로 나타내면 다음 수학식4와 같다. 아래 수학식4에서 N은 법선을 의미하고, L은 교차선을 의미한다. 수학식3과 수학식4에서 평면의 계산 순서는 바닥으로부터 시계 방향 또는 반시계 방향으로 진행할 수 있다.
(수학식4)
Figure pat00009
도 5는 본 발명의 일 실시예에 따른 실내 위치 추정 장치에서 위치를 추정하는 방법을 설명하는 흐름도이다.
도 5를 참조하면, 단계 S501에서, 실내 위치 추정 장치(100)는 위치를 추정하기 위한 2차원 입력 영상을 수신한다. 바람직하게, 실내 위치 추정 장치(100)는, 카메라에서 촬영되는 2차원 입력 영상을 수신할 수 있다. 예를 들어, 사용자가 스마트폰을 휴대한 상태에서 스마트폰의 카메라로 임의의 방향을 촬영할 수 있고, 이때 촬영된 영상이 상기 2차원 입력 영상으로서 수신된다. 2차원 입력 영상은 복수의 영상 프레임으로 이루어진 동영상일 수 있다.
단계 S502에서, 실내 위치 추정 장치(100)는 상기 수신된 2차원 입력 영상에서 현재 프레임의 특징점들과 이전 프레임의 특징점들을 검출한다. 현재 프레임은 가장 최근에 촬영된 영상 프레임이고, 이전 프레임은 그전에 촬영된 영상 프레임이다. 예를 들어, 현재 프레임을 t 시점에서의 영상 프레임, 이전 프레임을 t-1 시점에서의 영상 프레임으로 정의할 수 있다. 특징점들의 검출은, FAST, AKAZE, Harris Corner 등을 이용하여 검출할 수 있다.
단계 S503에서, 실내 위치 추정 장치(100)는 상기 이전 프레임과 상기 현재 프레임 간의 매칭되는 매칭 특징점들을 추출한다. 예를 들어, 이전 프레임에서 900개의 특징점이 검출되고 현재 프레임에서 1,000개의 특징점이 검출되었을 때, 동일한 특징점이 800개일 수 있고, 이 800개의 특징점들이 매칭 특징점이 된다.
단계 S504에서, 실내 위치 추정 장치(100)는 매칭 특징점들 중에서 4개의 매칭 특징점을 선택한다. 단계 S505에서, 실내 위치 추정 장치(100)는, 그 4개의 매칭 특징점을 이용하여 상기 이전 프레임과 상기 현재 프레임 간의 호모그래피를 계산한다.
단계 S506에서, 실내 위치 추정 장치(100)는, 상기 계산된 호모그래피를 이용하여 상기 매칭 특징점들 중에서 오차가 임계값 이하인 매칭 특징점들을 선별한다. 즉, 상기 수학식2에 따라 임계값(ε) 보다 작은 오차를 갖는 매칭 특징점들을 선별한다. 예를 들어, 이전 프레임의 k번째 매칭 특징점을 호모그래피에 기초하여 현재 프레임에 투영했을 때의 위치와, 현재 프레임의 k번째 매칭 특징점의 위치의 차이가 임계값(ε)보다 작으면 해당 k번째 매칭 특징점은 inlier로 선별되고 그렇지 않으면 outlier로 선별된다. 이와 같이 이전 프레임의 매칭 특징점들과 현재 프레임의 매칭 특징점들 간의 오차를 계산하여 오차가 임계값 이하인 매칭 특징점들, 즉 inlier에 속하는 매칭 특징점들을 선별한다. 실내 위치 추정 장치(100)는, 선별된 매칭 특징점들과, 이때의 호모그래피를 임시 저장한다.
단계 S507에서, 실내 위치 추정 장치(100)는, 단계 S504 내지 단계 S506의 과정이 소정의 횟수(N)만큼 반복되었는지 확인하여, 소정의 횟수(N)만큼 반복되지 않았을 경우, 단계 S504 내지 단계 S506을 소정의 횟수(N)만큼 반복 수행한다. 즉, 처음 선정하였던 4개의 매칭 특징점 이외 또 다른 4개의 매칭 특징점을 선택한 후, 그 또 다른 4개의 매칭 특징점을 이용하여 호모그래피를 계산하고, 그 호모그래피를 이용하여 이전 프레임의 매칭 특징점들과 현재 프레임의 매칭 특징점들 간의 오차를 계산하여 임계값 보다 작은 오차를 갖는 매칭 특징점들을 선별하며, 선별된 매칭 특징점들과, 이때의 호모그래피를 임시 저장하는 과정을 소정 횟수만큼 반복한다. 이와 같이 소정의 횟수(N)만큼 반복 수행되면, N개의 호모그래피와 각 호모그래피별로 선별된 매칭 특징점들이 확보된다.
소정 횟수만큼 반복 후에, 단계 S508에서, 실내 위치 추정 장치(100)는, 선별된 매칭 특징점, 즉 임계값 보다 작은 오차를 갖는 매칭 특징점들을 가장 많이 갖는 호모그래피를 최종 선택한다. 즉, N개의 호모그래피 중에서 임계값 보다 작은 오차를 갖는 매칭 특징점들을 가장 많이 갖는 호모그래피를 최종 선택한다.
단계 S509에서, 실내 위치 추정 장치(100)는, 최종 선택된 호모그래피의 개수가 미리 지정된 개수(M)보다 작으면, 단계 S510에서, 실내 위치 추정 장치(100)는, 상기 최종 선택된 호모그래피에 속하는 상기 임계값 보다 작은 오차를 갖는 매칭 특징점(inlier)들을 제외하고 나머지 매칭 특징점들만을 대상으로, 다시 단계 S504 내지 단계 S509를 반복 수행한다. 따라서, 최종적으로 상기 미리 지정된 개수(M)만큼의 호모그래피 및 이에 속하는 임계값 보다 작은 오차를 매칭 특징점들이 남게된다. 예를 들어, 3개의 호모그래피를 최종 선택한 후 종료할 수 있다. 최종 선택되는 호모그래피들은 2차원 입력 영상에서의 평면들에 대응한다. 예를 들어, 3개의 호모그래피가 최종 선택되면, 그 3개의 호모그래피는 2차원 입력 영상에 포함되는 평면들 중에서 3개의 평면에 대응한다.
미리 지정된 개수만큼의 호모그래피가 만들어지면, 단계 S511에서, 실내 위치 추정 장치(100)는, 2차원 입력 영상에서 평면을 분리한다. 즉, 상기 최종 선택된 호모그래피 각각에 속하는 매칭 특징점들의 집합은 2차원 입력 영상의 각 평면에 대응한다. 다만, 최종 선택된 각 호모그래피들에 속하는 오차가 임계값 보다 작은 매칭 특징점들은 각 평면의 모든 면적을 커버하지 못하고 평면의 중심 부분에 주로 모여있다. 매칭 특징점들이 커버하는 면적은, 2차원 입력 영상에서 평면 전부에 대응하지 않고, 평면의 일부, 즉 중심 부분만을 분리한 것이다. 따라서, 실내 위치 추정 장치(100)는, 2차원 입력 영상에서 분리된 각 평면의 일부분을 확장하여 온전한 평면을 분리한다. 예를 들어, 실내 위치 추정 장치(100)는, 각 평면 간 교차선이 생길 때까지 각 평면의 일부분을 확장한다. 각 평면의 3차원 방정식을 이용하여 각 평면의 교차선을 추출할 수 있고, 또는 소실점을 통해 교차선을 구할 수도 있다. 평면의 3차원 좌표를 구할 때, 호모그래피를 이용하여 구할 수 있다. 예를 들어, "Parallel Tracking and Mapping for Small AR Workspaces”, Georg Klein and David Murray, ISMAR 2007를 참조할 수 있다.
단계 S512에서, 실내 위치 추정 장치(100)는, 상기 확장된 각 평면과 저장부(120)에 저장된 3차원 맵에서의 대응하는 각 평면 간의 차이를 이용하여 실내 위치 추정 장치(100)의 현재 위치 및 방향를 결정한다. 즉, 실내 위치 추정 장치(100)는, 상기 수학식3에서 E를 최소화하는 위치와 방향을 결정한다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100 : 실내 위치 추정 장치
110 : 영상 입력부
120 : 저장부
130 : 평면 추출부
140 : 위치 결정부

Claims (11)

  1. 다중 평면 검출을 이용한 실내 위치 추정 장치에 있어서,
    실내 공간의 특징점들을 포함하는 3차원 맵을 저장하는 저장부;
    2차원 입력 영상의 이전 프레임과 현재 프레임의 특징점들을 이용하여 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리하여 추출하는 평면 추출부;
    상기 추출된 적어도 두 개 이상의 평면의 특징점들과 상기 3차원 맵에서의 대응하는 적어도 두 개 이상의 평면의 특징점들 간의 거리가 가장 작도록 하는 위치를 현재 위치로 결정하는 위치 결정부를 포함하는 실내 위치 추정 장치.
  2. 제 1 항에 있어서,
    상기 평면 추출부는,
    상기 이전 프레임과 상기 현재 프레임 간에 매칭되는 매칭 특징점들 중 선택된 소정 개수의 매칭 특징점을 이용하여 상기 이전 프레임과 상기 현재 프레임 간의 호모그래피를 계산하는 제 1 과정;
    상기 계산된 호모그래피를 이용하여 상기 매칭 특징점들 중 오차가 임계값 이하인 매칭 특징점들을 선택하는 제 2 과정;
    상기 제 1 과정 및 상기 제 2 과정을 소정 횟수만큼 반복하여 상기 오차가 임계값 이하인 매칭 특징점들의 개수가 가장 많은 호모그래피를 선택하는 제 3 과정; 및
    선택된 호모그래피가 특정 개수가 될 때까지 상기 제 1 내지 제 3 과정을 반복하고, 각 선택된 호모그래피에 대응하는 상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 평면을 분리하는 제 4 과정을 수행하는 것을 특징으로 하는 실내 위치 추정 장치.
  3. 제 2 항에 있어서,
    상기 평면 추출부는,
    상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 분리한 각 평면 간 교차선이 생길 때까지 각 평면을 확장하는 것을 특징으로 하는 실내 위치 추정 장치.
  4. 제 3 항에 있어서,
    상기 위치 결정부는,
    상기 확장된 각 평면에 속하는 특징점들과 상기 3차원 맵에서의 대응하는 각 평면의 특징점들 간의 거리 차의 합이 가장 작도록 하는 위치를 현재 위치로 결정하는 것을 특징으로 하는 실내 위치 추정 장치.
  5. 제 4 항에 있어서,
    상기 위치 결정부는,
    상기 확장된 각 평면의 법선 및 교차선과, 상기 3차원 맵에서의 대응하는 각 평면의 법선 및 교차선 간의 기울기 차의 합을 계산하고,
    상기 기울기 차의 합과 상기 거리 차의 합을 더한 값이 최소화되는 위치 및 방향을 결정하는 것을 특징으로 하는 실내 위치 추정 장치.
  6. 실내 위치 추정 장치에서 현재 위치를 추정하는 방법에 있어서,
    2차원 입력 영상을 수신하는 단계;
    2차원 입력 영상의 이전 프레임과 현재 프레임의 특징점들을 이용하여 상기 현재 프레임에서 적어도 두 개 이상의 평면을 분리하여 추출하는 단계; 및
    상기 추출된 적어도 두 개 이상의 평면의 특징점들과, 실내 공간의 특징점들을 포함하는 3차원 맵에서의 대응하는 적어도 두 개 이상의 평면의 특징점들 간의 거리가 가장 작도록 하는 위치를 현재 위치로 결정하는 단계를 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 추출하는 단계는,
    상기 이전 프레임과 상기 현재 프레임 간에 매칭되는 매칭 특징점들 중 선택된 소정 개수의 매칭 특징점을 이용하여 상기 이전 프레임과 상기 현재 프레임 간의 호모그래피를 계산하는 제 1 단계;
    상기 계산된 호모그래피를 이용하여 상기 매칭 특징점들 중 오차가 임계값 이하인 매칭 특징점들을 선택하는 제 2 단계;
    상기 제 1 단계 및 상기 제 2 단계을 소정 횟수만큼 반복하여 상기 오차가 임계값 이하인 매칭 특징점들의 개수가 가장 많은 호모그래피를 선택하는 제 3 단계; 및
    선택된 호모그래피가 특정 개수가 될 때까지 상기 제 1 내지 제 3 단계를 반복하고, 각 선택된 호모그래피에 대응하는 상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 평면을 분리하는 제 4 단계을 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서,
    상기 추출하는 단계는,
    상기 오차가 임계값 이하인 매칭 특징점들을 이용하여 분리한 각 평면 간 교차선이 생길 때까지 각 평면을 확장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서,
    상기 결정하는 단계는,
    상기 확장된 각 평면에 속하는 특징점들과 상기 3차원 맵에서의 대응하는 각 평면의 특징점들 간의 거리 차의 합이 가장 작도록 하는 위치를 현재 위치로 결정하는 것을 특징으로 하는 방법.
  10. 제 9 항에 있어서,
    상기 결정하는 단계는,
    상기 확장된 각 평면의 법선 및 교차선과, 상기 3차원 맵에서의 대응하는 각 평면의 법선 및 교차선 간의 기울기 차의 합을 계산하고,
    상기 기울기 차의 합과 상기 거리 차의 합을 더한 값이 최소화되는 위치 및 방향을 결정하는 것을 특징으로 하는 방법.
  11. 제 6 항 내지 제 10 항 중 어느 한 항에 따른 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록된 컴퓨터 프로그램.
KR1020190099459A 2019-08-14 2019-08-14 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법 KR20210020331A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190099459A KR20210020331A (ko) 2019-08-14 2019-08-14 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190099459A KR20210020331A (ko) 2019-08-14 2019-08-14 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210020331A true KR20210020331A (ko) 2021-02-24

Family

ID=74689243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190099459A KR20210020331A (ko) 2019-08-14 2019-08-14 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210020331A (ko)

Similar Documents

Publication Publication Date Title
WO2019219077A1 (zh) 定位方法、定位装置、定位系统、存储介质及离线地图数据库的构建方法
US10726264B2 (en) Object-based localization
US9154919B2 (en) Localization systems and methods
WO2019196403A1 (zh) 定位方法、定位服务器及定位系统
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9953618B2 (en) Using a plurality of sensors for mapping and localization
US20170013195A1 (en) Wearable information system having at least one camera
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
US10438405B2 (en) Detection of planar surfaces for use in scene modeling of a captured scene
US20220230350A1 (en) Position recognition method and system based on visual information processing
JP6240706B2 (ja) グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
US11402215B2 (en) Indoor positioning method for a moving apparatus using first and second two-dimensional maps of z-axis areas
US9292963B2 (en) Three-dimensional object model determination using a beacon
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
KR20210020331A (ko) 다중 평면 검출을 이용한 실내 위치 추정 장치 및 방법
TWM637241U (zh) 運算裝置及模型產生系統
Huang et al. Image-based localization for indoor environment using mobile phone
KR102316232B1 (ko) 2차원 지도 정보를 기반으로 거리뷰 이미지의 포즈를 정합시키기 위한 전자 장치 및 그의 동작 방법
US11688094B1 (en) Method and system for map target tracking
US20240029350A1 (en) Computing apparatus and model generation method
Nguyen et al. A hybrid positioning system for indoor navigation on mobile phones using panoramic images
JP2023544913A (ja) 客体認識基盤室内側位のための端末装置、サービスサーバーおよびその方法