KR20170123846A - 영상 기반 실내 측위 장치 및 방법 - Google Patents

영상 기반 실내 측위 장치 및 방법 Download PDF

Info

Publication number
KR20170123846A
KR20170123846A KR1020160053013A KR20160053013A KR20170123846A KR 20170123846 A KR20170123846 A KR 20170123846A KR 1020160053013 A KR1020160053013 A KR 1020160053013A KR 20160053013 A KR20160053013 A KR 20160053013A KR 20170123846 A KR20170123846 A KR 20170123846A
Authority
KR
South Korea
Prior art keywords
feature point
image
positioning
character
database
Prior art date
Application number
KR1020160053013A
Other languages
English (en)
Inventor
전주일
김주영
박상준
조영수
지명인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160053013A priority Critical patent/KR20170123846A/ko
Publication of KR20170123846A publication Critical patent/KR20170123846A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06K9/00442—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

영상 기반 실내 측위 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 영상 기반 실내 측위 장치는 사용자의 단말 장치로부터 수신된 측위용 촬영 영상에 기반하여 문자 데이터를 추출하는 문자 추출부; 상기 측위용 촬영 영상에 기반하여 제1 특징점을 추출하는 특징점 추출부; 상기 제1 특징점과 데이터 베이스에 기반하여 상기 문자 데이터에 상응하는 제2 특징점을 선택하는 문자-특징점 매칭부 및 상기 제2 특징점에 기반하여 상기 단말 장치의 위치를 추정하는 위치 추정부를 포함한다.

Description

영상 기반 실내 측위 장치 및 방법 {APPARATUS FOR POSITIONING INDOOR BASED ON IMAGE USING THE SAME}
본 발명은 촬영 영상을 이용하여 위치를 확인하는 영상 기반 실내 측위 장치 및 방법에 관한 것이다.
최근 실내 구조의 규모가 커지고 사람들이 대부분의 시간을 실내에서 보내고 있기 때문에 실내에서 정확한 위치를 파악할 수 있는 기술의 필요성이 높아지고 있다. 정밀한 위치인식 기술은 IoT 산업, 모바일 광고산업, 긴급구조, 관광 산업 등 다양한 산업에서 핵심적으로 요구되는 기술이다. 이는 정밀한 위치정보가 제공될 경우, 보다 높은 수준의 개인 맞춤형 서비스가 가능하기 때문이다.
실내 환경에서는 GPS를 이용한 위치 정보 제공이 불가능하기 때문에 이를 보완하기 위한 방법이 필요하다. 보완 기술들은 보통 무선 자원 기반의 측위 기술들이다. 주로 와이파이(WiFi), 블루투스 비콘 등이 사용되고 있으며, 그 외에도 모바일 단말기에 부착되어 있는 지자계 센서, 가속도 센서와 같은 다양한 센서들을 실내 위치 인식에 사용하고 있다.
특히, 개인용 스마트 장치(스마트폰, 스마트 왓치, 구글 글래스 등)에 고성능의 카메라가 장착되고, 사진 촬영 외에 영상을 기반으로 한 다양한 서비스들이 출현하고 있기 때문에, 앞으로 실내 위치 인식을 하는데 있어서 영상도 주요 인프라로 사용될 가능성이 높다.
한편, 한국등록특허 제 10-1415016 호 "영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기" 는 휴대용 단말기로 촬영된 영상과 센서를 이용하여 사용자의 위치를 인식한다. 보다 구체적으로, 촬영된 영상에서 건물 내부의 특징을 추출하고, 사용자의 방향과 추출된 영상의 특징을 건물 실내지도 정보와 매칭하여 사용자 단말기의 위치를 추정하는 방식에 관하여 개시하고 있다.
그러나, 한국등록특허 제 10-1415016 호는 촬영된 영상에서 건물 내부의 특징을 추출하고, 사용자의 방향과 추출된 영상의 특징을 건물 실내지도 정보와 일일이 매치해야 하기 때문에 사용자 단말기의 위치추정을 고속화하는데 있어서 한계가 따른다.
본 발명은 측위용 촬영 영상에 포함된 문자를 인식하여, 영상 기반 실내 측위 서비스를 제공하는 것을 목적으로 한다.
또한, 본 발명은 데이터 베이스의 검색 범위를 제한하여 실내 위치 측위 추정 속도를 향상시킬 수 있다.
또한, 본 발명은 다양한 웨어러블 디바이스(wearable device)와 결합하여 실내 측위 서비스를 효과적으로 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 기반 실내 측위 장치는 사용자 단말 장치로부터 수신된 측위용 촬영 영상에 기반하여 문자 데이터를 추출하는 문자 추출부; 상기 측위용 촬영 영상에 기반하여 제1 특징점을 추출하는 특징점 추출부; 상기 제1 특징점과 데이터 베이스에 기반하여 상기 문자 데이터에 상응하는 제2 특징점을 선택하는 문자-특징점 매칭부 및 상기 제2 특징점에 기반하여 상기 사용자 단말 장치의 위치를 추정하는 위치 추정부를 포함한다.
이 때, 상기 문자 데이터는 상기 데이터 베이스 검색을 위한 검색 키(KEY)로 이용될 수 있다.
이 때, 상기 위치 추정부는 상기 제2 특징점에 포함된 좌표 정보와 상기 측위용 촬영 영상의 중심에 기반하여 상기 사용자 단말 장치의 위치를 추정할 수 있다.
이 때, 상기 문자-특징점 매칭부는 상기 제1 특징점이 포함하는 좌표 정보에 기반하여 좌표 범위를 설정할 수 있다.
이 때, 상기 문자-특징점 매칭부는 상기 좌표 범위에 기반하여 상기 데이터 베이스에서 상기 좌표 범위 내에 위치하는 좌표 정보를 포함하는 상기 제2 특징점을 선택할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 기반 실내 측위 방법은 영상 기반 실내 측위 장치를 이용하는 방법에 있어서, 사용자 단말 장치로부터 수신된 측위용 촬영 영상에 기반하여 문자 데이터를 추출하는 단계; 상기 측위용 촬영 영상에 기반하여 제1 특징점을 추출하는 단계; 상기 제1 특징점과 데이터 베이스에 기반하여 상기 문자 데이터에 상응하는 제2 특징점을 선택하는 단계 및 상기 제2 특징점에 기반하여 상기 사용자 단말 장치의 위치를 추정하는 단계를 포함한다.
이 때, 상기 문자 데이터는 상기 데이터 베이스 검색을 위한 검색 키(KEY)로 이용될 수 있다.
이 때, 상기 추정하는 단계는 상기 제2 특징점에 포함된 좌표 정보와 상기 측위용 촬영 영상의 중심에 기반하여 상기 사용자 단말 장치의 위치를 추정할 수 있다.
이 때, 상기 선택하는 단계는 상기 제1 특징점이 포함하는 좌표 정보에 기반하여 좌표 범위를 설정할 수 있다.
이 때, 상기 선택하는 단계는 상기 좌표 범위에 기반하여 상기 데이터 베이스에서 상기 좌표 범위 내에 위치하는 좌표 정보를 포함하는 상기 제2 특징점을 선택할 수 있다.
본 발명은 측위용 촬영 영상에 포함된 문자를 인식하여, 영상 기반 실내 측위 서비스를 제공할 수 있다.
또한, 본 발명은 데이터 베이스의 검색 범위를 제한하여 실내 위치 측위 추정 속도를 향상시킬 수 있다.
또한, 본 발명은 다양한 웨어러블 디바이스(wearable device)와 결합하여 실내 측위 서비스를 효과적으로 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 기반 실내 측위 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 기반 실내 측위 방법을 나타낸 동작흐름도이다.
도 3은 본 발명의 일실시예에 따른 측위용 데이터 베이스 저장 방법을 나타낸 동작흐름도이다.
도 4는 본 발명의 일실시예에 따른 문자-특징점 매칭 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 기반 실내 측위 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 영상 기반 실내 측위 장치는 사용자 단말 장치(10), 오브젝트 제거부(110), 문자 추출부(120), 특징점 추출부(130), 문자-특징점 매칭부(140), 위치 추정부(150), DB용 영상 수집 장치(200) DB용 문자 추출부(210), DB용 특징점 추출부(220) 및 데이터 베이스(230)를 포함한다.
사용자 단말 장치(10)는 카메라를 이용하여 영상을 촬영할 수 있다. 이 때, 사용자 단말 장치(10)는 촬영된 측위용 촬영 영상을 영상 기반 실내 측위 장치(100)에 전송할 수 있다. 측위용 촬영 영상은 동영상 또는 사진에 상응할 수 있다.
오브젝트 제거부(110)는 정확한 측위를 위하여 사용자 단말 장치(10)로부터 수신된 측위용 촬영 영상을 배경에 포함되지 않는 움직이는 오브젝트를 제거할 수 있다. 이러한 움직이는 오브젝트들은 문자 인식에 불필요한 오브젝트에 상응할 수 있다.
문자 추출부(120)는 문자 인식 알고리즘을 이용하여 측위용 촬영 영상에서 문자가 존재하는지 인식할 수 있다. 이 때, 문자 추출부(120)는 문자가 인식된 경우, 인식된 문자에 기반하여 문자 데이터를 추출할 수 있다.
특징점 추출부(130)는 측위용 촬영 영상에 기반하여 제1 특징점을 추출할 수 있다. 이 때, 특징점 추출부(130)는 특징점 추출 알고리즘을 이용하여 특징점을 추출할 수 있다. 특징점은 특징점 추출 알고리즘을 이용하여 측위용 촬영 영상에서 특정한 오브젝트나 위치 등을 특정화 할 수 있는 포인트에 상응할 수 있다.
문자-특징점 매칭부(140)는 제1 특징점과 데이터 베이스(230)에 기반하여 문자 데이터에 상응하는 제2 특징점을 선택할 수 있다. 문자 데이터는 데이터 베이스 검색을 위한 검색 키(KEY)로 이용될 수 있다. 따라서, 문자-특징점 매칭부(140)는 문자 데이터를 데이터 베이스(230)의 검색 키로 이용하여 제1 특징점을 검색할 수 있다.
이 때, 문자-특징점 매칭부(140)는 추출된 문자 데이터와 제1 특징점을 매칭할 수 있다. 이 때, 문자-특징점 매칭부(140)는 데이터 베이스(230) 검색 결과에서 문자 데이터와 제1 특징점이 매칭되는 경우, 제1 특징점이 포함하는 좌표 정보에 기반하여 설정된 좌표 범위 내에서 제1 특징점과 매칭되는 제2 특징점을 검색할 수 있다. 이 때, 제1 특징점과 제2 특징점의 매칭은 특징점이 포함하는 좌표 정보와 검색 키에 상응하는 문자 데이터에 기반하여 매칭할 수 있다. 이 때, 좌표 정보는 3D 좌표계의 좌표값들에 상응할 수 있다.
이 때, 문자-특징점 매칭부(140)는 데이터 베이스(230) 검색 결과에서 문자데이터와 제1 특징점이 매칭되지 않는 경우, 모든 범위에서 제1 특징점과 매칭되는 제2 특징점을 검색할 수 있다.
위치 추정부(150)는 제2 특징점에 기반하여 사용자 단말 장치의 위치를 추정할 수 있다. 제2 특징점은 상기 설정된 좌표 범위 내에 위치하는 좌표 정보를 포함할 수 있다. 이 때, 위치 추정부(150)는 매칭된 제2 특징점에 포함된 좌표 정보와 추정된 측위용 촬영 영상을 촬영한 카메라의 중심에 기반하여 사용자 단말 장치의 위치를 추정할 수 있다.
DB용 수집 영상 장치(200)는 카메라 또는 LIDAR(LIGHT DETECTION AND RAGING) 등의 장치에 상응할 수 있다. 이 때, DB용 수집 영상 장치(200)는 데이터 베이스(230)의 구축을 원하는 실내 장소를 촬영하여 영상을 수집할 수 있다. 이 때, DB용 수집 영상 장치(200)는 데이터 베이스(230)의 정밀한 구축을 위하여, 실내의 모든 부분을 중복 촬영한 영상을 수집할 수 있다.
DB용 문자 추출부(210)는 문자 인식 알고리즘을 이용하여 측위용 촬영 영상에서 문자가 존재하는지 인식할 수 있다. 이 때, DB용 문자 추출부(210)는 문자가 인식된 경우, 인식된 문자에 기반하여 문자 데이터를 추출할 수 있다. 추출된 문자 데이터는 데이터 베이스(230)를 구축하는데 사용될 수 있다.
DB용 특징점 추출부(220)는 측위용 촬영 영상에 기반하여 특징점을 추출할 수 있다. 이 때, DB용 특징점 추출부(220)는 특징점 추출 알고리즘을 이용하여 특징점을 추출할 수 있다. 특징점은 특징점 추출 알고리즘을 이용하여 측위용 촬영 영상에서 특정한 오브젝트나 위치 등을 특정화 할 수 있는 포인트에 상응할 수 있다. 추출된 특징점은 데이터 베이스(230)를 구축하는데 사용될 수 있다.
데이터 베이스(230)는 실내 공간에 대한 3D 좌표계의 좌표들과 특징점 및 문자 데이터와 같은 정보를 이용하여 구성될 수 있다. 특징점은 실내 공간에 대한 3D 좌표계의 좌표들에 상응하는 좌표 정보와 문자 데이터에 상응하는 검색 키를 포함하고, 문자 데이터가 매칭되어 데이터 베이스(230)에 저장될 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 기반 실내 측위 방법을 나타낸 동작흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상 기반 실내 측위 방법은 먼저 측위용 촬영 영상을 수신할 수 있다(S310).
즉, 단계(S310)는 사용자 단말 장치(10)의 카메라를 이용하여 영상을 촬영할 수 있다. 이 때, 단계(S310)는 사용자 단말 장치(10)를 이용하여 촬영된 측위용 촬영 영상을 수신할 수 있다. 측위용 촬영 영상은 동영상 또는 사진에 상응할 수 있다.
또한, 영상 기반 실내 측위 방법은 불필요한 오브젝트를 제거할 수 있다(S320).
즉, 단계(S320)는 정확한 측위를 위하여 사용자 단말 장치(10)로부터 수신된 측위용 촬영 영상을 배경에 포함되지 않는 움직이는 오브젝트를 제거할 수 있다. 이러한 움직이는 오브젝트들은 문자 인식에 불필요한 오브젝트에 상응할 수 있다.
또한, 영상 기반 실내 측위 방법은 영상에서 문자를 인식할 수 있다(S330).
즉, 단계(S330)는 문자 인식 알고리즘을 이용하여 측위용 촬영 영상에서 문자가 존재하는지 인식할 수 있다. 이 때, 단계(S330)는 측위용 촬영 영상에서 문자가 인식된 경우, 인식된 문자에 기반하여 문자 데이터와 제1 특징점을 추출할 수 있다(S340). 이 때, 단계(S330)는 측위용 촬영 영상에서 문자가 인식되지 않은 경우, 제1 특징점을 추출할 수 있다(S350).
즉, 단계(S340)는 문자 데이터와 제1 특징점을 추출할 수 있다.
이 때, 단계(S340)는 측위용 촬영 영상에 기반하여 문자 데이터와 제1 특징점을 추출할 수 있다. 이 때, 단계(S340)는 특징점 추출 알고리즘을 이용하여 제1 특징점을 추출할 수 있다. 특징점은 특징점 추출 알고리즘을 이용하여 측위용 촬영 영상에서 특정한 오브젝트나 위치 등을 특정화 할 수 있는 포인트에 상응할 수 있다.
즉, 단계(S350)는 제1 특징점을 추출할 수 있다.
이 때, 단계(S350)는 측위용 촬영 영상에 기반하여 제1 특징점을 추출할 수 있다. 이 때, 단계(S350)는 특징점 추출 알고리즘을 이용하여 제1 특징점을 추출할 수 있다. 특징점은 특징점 추출 알고리즘을 이용하여 측위용 촬영 영상에서 특정한 오브젝트나 위치 등을 특정화 할 수 있는 포인트에 상응할 수 있다.
또한, 영상 기반 실내 측위 방법은 문자 데이터와 제1 특징점 매칭 여부를 판단할 수 있다(S360).
즉, 단계(S360)는 제1 특징점과 데이터 베이스(230)에 기반하여 문자 데이터에 상응하는 제2 특징점을 선택할 수 있다. 문자 데이터는 데이터 베이스 검색을 위한 검색 키(KEY)로 이용될 수 있다. 따라서, 단계(S360)는 문자 데이터를 데이터 베이스(230)의 검색 키로 이용하여 제1 특징점을 검색할 수 있다.
이 때, 단계(S360)는 추출된 문자 데이터와 제1 특징점을 매칭할 수 있다. 이 때, 단계(S360)는 데이터 베이스(230) 검색 결과에서 문자 데이터와 제1 특징점이 매칭되는 경우, 제1 특징점이 포함하는 좌표 정보에 기반하여 설정된 좌표 범위 내에서 제1 특징점과 매칭되는 제2 특징점을 검색할 수 있다(S370). 이 때, 제1 특징점과 제2 특징점의 매칭은 특징점이 포함하는 좌표 정보와 검색 키에 상응하는 문자 데이터에 기반하여 매칭할 수 있다. 이 때, 좌표 정보는 3D 좌표계의 좌표값들에 상응할 수 있다.
이 때, 단계(S360)는 데이터 베이스(230) 검색 결과에서 문자데이터와 제1 특징점이 매칭되지 않는 경우, 모든 범위에서 제1 특징점과 매칭되는 제2 특징점을 검색할 수 있다(S380)
또한, 영상 기반 실내 측위 방법은 사용자 단말 장치의 위치를 추정할 수 있다(S390).
즉, 단계(S390)는 제2 특징점에 기반하여 사용자 단말 장치의 위치를 추정할 수 있다. 제2 특징점은 상기 설정된 좌표 범위 내에 위치하는 좌표 정보를 포함할 수 있다. 이 때, 단계(S390)는 매칭된 제2 특징점에 포함된 좌표 정보와 추정된 측위용 촬영 영상을 촬영한 카메라의 중심에 기반하여 사용자 단말 장치의 위치를 추정할 수 있다.
도 3은 본 발명의 일실시예에 따른 측위용 데이터 베이스 저장 방법을 나타낸 동작흐름도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 측위용 데이터 베이스 저장 방법은 먼저 DB용 수집 영상을 입력할 수 있다(S410).
즉, 단계(S410)는 카메라 또는 LIDAR(LIGHT DETECTION AND RAGING) 등을 이용하여 데이터 베이스(230)의 구축을 원하는 실내 장소를 촬영하여 영상을 수집할 수 있다. 이 때, 단계(S410)는 데이터 베이스(230)의 정밀한 구축을 위하여, 실내의 모든 부분을 중복 촬영한 영상을 수집할 수 있다.
또한, 측위용 데이터 베이스 저장 방법은 영상에서 문자를 인식할 수 있다(S420).
즉, 단계(S420)는 문자 인식 알고리즘을 이용하여 수집 영상에서 문자가 존재하는지 인식할 수 있다. 이 때, 단계(S420)는 수집 영상에서 문자가 인식된 경우, 인식된 문자에 기반하여 문자 데이터와 특징점을 추출할 수 있다(S430, S440).
이 때, 단계(S420)는 측위용 촬영 영상에서 문자가 인식되지 않은 경우, 제1 특징점을 추출할 수 있다(S440).
또한, 측위용 데이터 베이스 저장 방법은 문자를 추출할 수 있다(S430).
즉, 단계(S430)는 인식된 문자에 기반하여 문자 데이터를 추출할 수 있다. 추출된 문자 데이터는 데이터 베이스(230)를 구축하는데 사용될 수 있다.
또한, 측위용 데이터 베이스 저장 방법은 특징점을 추출할 수 있다(S440).
즉, 단계(S440)는 수집 영상에 기반하여 특징점을 추출할 수 있다. 이 때, 단계(S440)는 특징점 추출 알고리즘을 이용하여 특징점을 추출할 수 있다. 특징점은 특징점 추출 알고리즘을 이용하여 측위용 촬영 영상에서 특정한 오브젝트나 위치 등을 특정화 할 수 있는 포인트에 상응할 수 있다. 추출된 특징점은 데이터 베이스(230)를 구축하는데 사용될 수 있다.
또한, 측위용 데이터 베이스 저장 방법은 추출된 문자 데이터와 특징점을 데이터 베이스(230)에 저장할 수 있다(S450).
데이터 베이스(230)는 실내 공간에 대한 3D 좌표계의 좌표들과 특징점 및 문자 데이터와 같은 정보를 이용하여 구성될 수 있다. 특징점은 실내 공간에 대한 3D 좌표계의 좌표들에 상응하는 좌표 정보와 문자 데이터에 상응하는 검색 키를 포함하고, 문자 데이터가 매칭되어 데이터 베이스(230)에 저장될 수 있다.
도 4는 본 발명의 일실시예에 따른 문자-특징점 매칭 과정을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 문자-특징점 매칭 과정은 먼저측위용 영상을 촬영한다.
즉, 사용자 단말 장치를 이용하여 지도의 710호 앞 복도에서 실내 측위를 위해 촬영할 수 있다.
또한, 문자-특징점 매칭 과정은 문자 데이터 및 특징점을 추출할 수 있다.
문자 '710' 이란 문자는 문자 인식 알고리즘을 이용해 '710' 문자를 추출한다. 추출된 '710' 문자는 검색 키로서 데이터 베이스(230) 검색에 이용될 수 있다. 데이터 베이스(230)에 동일한 검색 키를 가지는 복수개의 특징점들이 매칭될 수 있다.
따라서, 영상 기반 실내 측위 장치(100)는 도 4에 도시된 점선 원처럼 일정한 좌표 범위로 특징점의 검색 범위를 설정할 수 있다. 이 때, 영상 기반 실내 측위 장치(100)는 좌표 범위의 3D 좌표계의 좌표값들을 대상으로 데이터 베이스(230)에서 매칭된 특징점들 중 가장 유사한 특징점을 할 수 있다.
즉, 영상 기반 실내 측위 장치(100)는 좌표 범위로 특징점의 검색 범위를 설정하여 사용자의 위치를 빠르고 정확하게 추정할 수 있다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
본 발명은 측위용 촬영 영상에 포함된 문자를 인식하여, 인식된 문자를 기준으로 데이터 베이스의 검색 영역을 제한함으로써, 실시간에 가깝게 사용자의 실내 위치를 제공할 수 있다.
따라서, 구글 글래스와 같은 디바이스에 정보를 전달하는 다양한 장치와 결합하여 서비스를 제공하는 시스템 혹은 장치들에 효과적으로 활용될 수 있다.
이상에서와 같이 본 발명에 따른 영상 기반 실내 측위 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 사용자 단말 장치 100: 영상 기반 실내 측위 장치
110: 오브젝트 제거부 120: 문자 추출부
130: 특징점 추출부 140: 문자-특징점 매칭부
150: 위치 추정부 200: DB용 영상 수집 장치
210: DB용 문자 추출부 220: DB용 특징점 추출부
230: 데이터 베이스 1100: 컴퓨터 시스템
1110: 프로세서 1120: 버스
1130: 메모리 1131: 롬
1132: 램 1140: 사용자 입력 장치
1150: 사용자 출력 장치 1160: 스토리지
1170: 네트워크 인터페이스 1180: 네트워크

Claims (1)

  1. 사용자 단말 장치로부터 수신된 측위용 촬영 영상에 기반하여 문자 데이터를 추출하는 문자 추출부;
    상기 측위용 촬영 영상에 기반하여 제1 특징점을 추출하는 특징점 추출부;
    상기 제1 특징점과 데이터 베이스에 기반하여 상기 문자 데이터에 상응하는 제2 특징점을 선택하는 문자-특징점 매칭부; 및
    상기 제2 특징점에 기반하여 상기 사용자 단말 장치의 위치를 추정하는 위치 추정부;
    를 포함하는 것을 특징으로 하는 영상 기반 실내 측위 장치.
KR1020160053013A 2016-04-29 2016-04-29 영상 기반 실내 측위 장치 및 방법 KR20170123846A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160053013A KR20170123846A (ko) 2016-04-29 2016-04-29 영상 기반 실내 측위 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160053013A KR20170123846A (ko) 2016-04-29 2016-04-29 영상 기반 실내 측위 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170123846A true KR20170123846A (ko) 2017-11-09

Family

ID=60385819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160053013A KR20170123846A (ko) 2016-04-29 2016-04-29 영상 기반 실내 측위 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170123846A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147304A (ko) * 2021-04-27 2022-11-03 네이버랩스 주식회사 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147304A (ko) * 2021-04-27 2022-11-03 네이버랩스 주식회사 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법

Similar Documents

Publication Publication Date Title
US10198823B1 (en) Segmentation of object image data from background image data
CN105391910B (zh) 多摄像机激光扫描仪
CN108256404B (zh) 行人检测方法和装置
CN104422439B (zh) 导航方法、装置、服务器、导航系统及其使用方法
US9495760B2 (en) Adaptable framework for cloud assisted augmented reality
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN109357679B (zh) 一种基于显著性特征识别的室内定位方法
US20170228585A1 (en) Face recognition system and face recognition method
KR102297217B1 (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
CN109446946B (zh) 一种基于多线程的多摄像头实时检测方法
CN111323024B (zh) 定位方法及装置、设备、存储介质
US10122912B2 (en) Device and method for detecting regions in an image
JPWO2011145239A1 (ja) 位置推定装置、位置推定方法及びプログラム
CN112150514A (zh) 视频的行人轨迹追踪方法、装置、设备及存储介质
CN112711974A (zh) 人脸辨识方法及装置
JPWO2014073204A1 (ja) 特徴量抽出装置及び場所推定装置
Xue et al. A fast visual map building method using video stream for visual-based indoor localization
KR101804471B1 (ko) 영상 분석 방법 및 장치
KR20170123846A (ko) 영상 기반 실내 측위 장치 및 방법
Huang et al. Image-based localization for indoor environment using mobile phone
JP2017016592A (ja) 主被写体検出装置、主被写体検出方法及びプログラム
CN110913126B (zh) 一种拍摄范围计算的方法、装置及相关设备
CN116664812B (zh) 一种视觉定位方法、视觉定位系统及电子设备
CN112927291B (zh) 三维物体的位姿确定方法、装置及电子设备和存储介质
JP2019197359A (ja) 一般物体認識システム