KR20160094197A - 영상 및 전파 기반 위치 인식 장치 - Google Patents

영상 및 전파 기반 위치 인식 장치 Download PDF

Info

Publication number
KR20160094197A
KR20160094197A KR1020150015504A KR20150015504A KR20160094197A KR 20160094197 A KR20160094197 A KR 20160094197A KR 1020150015504 A KR1020150015504 A KR 1020150015504A KR 20150015504 A KR20150015504 A KR 20150015504A KR 20160094197 A KR20160094197 A KR 20160094197A
Authority
KR
South Korea
Prior art keywords
information
positioning
image
radio
unit
Prior art date
Application number
KR1020150015504A
Other languages
English (en)
Inventor
이형극
김성희
이현우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150015504A priority Critical patent/KR20160094197A/ko
Publication of KR20160094197A publication Critical patent/KR20160094197A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/12—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 위치 인식 기술에 관한 것으로, 더 자세하게는 영상을 기반으로 위치를 인식하는 기술에 관한 것이다. 본 발명은 전파를 이용하여 측위 대상의 위치를 추정하고 추정된 위치로부터 소정 범위에 위치한 객체의 영상 정보를 통해 측위 대상의 위치를 정밀하게 산출함을 목적으로 한다.
일 양상에 따르면, 영상 및 전파 기반 위치 인식 장치는 전파를 통해 측위 대상의 위치를 1차적으로 추정하고, 측위 대상이 포함하는 영상 획득부가 획득하는 특정 객체의 영상 정보와 기 저장된 특정 객체의 정보를 비교하여 측위 대상의 위치를 2차적으로 추정한다.

Description

영상 및 전파 기반 위치 인식 장치{APPARATUS AND METHOD FOR LOCALIZATION USING IMAGES AND RADIO WAVES}
본 발명은 위치 인식 기술에 관한 것으로, 더 자세하게는 영상을 기반으로 위치를 인식하는 기술에 관한 것이다.
실외에서는 GPS 기반 서비스나, 위성 항법 시스템을 이용하여 미터 단위의 정확도를 가지는 위치 제공이 가능한 반면, 실내의 경우는 실외보다 환경적으로 더 좁고 복잡하기 때문에, 사용자에게 센티미터 단위 정확도의 위치 정보를 제공하는 기술이 필요하다.
현재 실내에서 사용 가능한 수준의 위치 정확도를 제공하는 기술로는 WIPS (WiFi based Indoor Positioning System)을 들 수 있는데, 이는 와이파이 기지국 (AP: Access Point)의 수신 신호 세기 (RSSI: Received Signal Strength Indication)를 분석하여 데이터베이스화하여야 하며, 또한 위치의 정확도가 대략 5미터에서 수십 미터에 달하는 문제점이 있다.
또한, 실내에서 보행자가 실제 사용 가능한 수준의 위치 정확도를 제공하는 기술로는 PDR (Pedestrian Dead Reckoning) 기술을 들 수 있는데, 해당 기술은 특정 위치에 대한 상대적인 위치 정보만을 제공할 뿐 정확한 위치 제공은 불가능하다. 따라서 PDR 기술 적용 이전에 정확한 실내 위치를 제공하는 기술이 필요한 실정이다.
마지막으로 위치를 제공하는 대표적인 기술로서 WIPS(WiFi based Indoor Positioning System)를 들 수 있는데, 이는 WiFi AP의 RSSI를 데이터베이스화해야 하며 또한 위치 정확도가 대략 5 m ~ 수십 m에 달한다.
본 발명은 전파를 이용하여 측위 대상의 위치를 추정하고 추정된 위치로부터 소정 범위에 위치한 객체의 영상 정보를 통해 측위 대상의 위치를 정밀하게 산출함을 목적으로 한다.
일 양상에 따르면, 영상 및 전파 기반 위치 인식 장치는 전파를 통해 측위 대상의 위치를 1차적으로 추정하고, 측위 대상이 포함하는 영상 획득부가 획득하는 특정 객체의 영상 정보와 기 저장된 특정 객체의 정보를 비교하여 측위 대상의 위치를 2차적으로 추정한다.
다른 양상에 따르면, 영상 및 전파 기반 위치 인식 장치는 UWB, Zigbee 및 Wi-Fi 중 적어도 하나를 포함하는 무선 통신 방식을 통해 측위 대상의 위치를 1차적으로 추정한다.
또 다른 양상에 따르면, 영상 정보 저장부(140)는 측위 대상이 포함하는 영상 획득부가 획득하는 객체의 영상 정보를 1 차적으로 추정된 측위 대상의 위치 정보와 매핑하여 저장한다.
또 다른 양상에 따르면, 객체 정보 추출부는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 위치, 높이 및 폭 중 적어도 하나를 추출한다.
또 다른 양상에 따르면, 객체 정보 추출부는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 위치, 높이 및 폭 중 적어도 하나를 추출한다.
또 다른 양상에 따르면, 영상 및 전파 기반 위치 인식 장치는 추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치 및 추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치를 평균 내어 측위 대상의 위치를 3차적으로 추정한다.
또 다른 양상에 따르면, 데이터 베이스 관리부는 데이터 베이스에 저장된 객체의 영상 정보 중 객체의 특징이 드러나지 않는 영상을 삭제하거나 측위 대상이 위치한 공간 내에 존재하는 객체의 정보 및 전파 송신기의 위치 변경에 따라 객체의 정보 및 전파 송신기의 위치 정보를 갱신한다.
본 발명은 전파만을 이용한 기존 방식에 비해 더욱 빠르고 세밀하게 실내 위치를 측정할 수 있다.
본 발명은 전파의 감쇠, 간섭, 음영 지역 등의 전파를 이용한 위치 산출의 한계를 극복하고 안정적인 실내 위치 정보를 제공한다.
도 1은 일 실시예에 따른 영상 및 전파 기반 위치 인식 장치의 블록도이다.
도 2는 다른 실시예에 따른 영상 및 전파 기반 위치 인식 장치의 블록도이다.
도 3은 일 실시예에 따른 측위 대상이 위치한 공간을 도시한다.
도 4는 일 실시예에 따른 측위 대상의 위치를 전파를 통해 추정하는 방법을 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 전파를 통해 측위 대상의 위치를 추정하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 측위 대상의 영상 획득부가 캘리브레이션을 위해 반복적인 패턴이 표시된 객체를 촬영하는 장면이다.
도 7은 일 실시예에 따른 측위 대상이 위치한 공간에 존재하는 객체의 정보 및 영상 정보를 비교하여 측위 대상의 위치를 추정하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 측위 대상의 위치를 영상 정보간 비교를 통해 추정하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 영상 및 전파 기반 위치 인식 방법의 순서도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 다양한 조합이 가능한 것으로 이해된다. 나아가 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 그리고, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 명세서에서 기술한 부란, "하드웨어 또는 소프트웨어의 시스템을 변경이나 플러그인 가능하도록 구성한 블록"을 의미하는 것으로서, 즉 하드웨어나 소프트웨어에 있어 기능을 수행하는 하나의 단위 또는 블록을 의미한다.
도 1은 일 실시예에 따른 영상 및 전파 기반 위치 인식 장치(10)의 구조를 도시한 블록도이다.
일 양상에 있어서, 영상 및 전파 기반 위치 인식 장치(10)는 공간 정보 데이터 베이스(110), 영상 획득부(190), 무선 신호 처리부(180) 및 측위부(20)를 포함한다. 일 실시예에 있어서, 영상 및 전파 기반 위치 인식 장치(10)는 영상 인식 기술에 무선 통신 기술을 접목하여 측위의 대상이 되는 측위 대상의 위치 정보를 정확하게 파악한다.
일 실시예에 있어서, 공간 정보 데이터 베이스(110)는 측위 대상이 위치한 공간 내에 존재하는 적어도 하나의 객체의 정보 및 측위 대상과 무선 통신 하는 전파 송신기(180)의 위치 정보를 포함하는 공간 정보를 저장한다. 데이터 베이스(Data Base)는 여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터의 집합으로 자료를 구조화하여 저장함으로써 자료 검색과 갱신의 효율을 높이다.
일 실시예에 있어서, 측위 대상은 영상 및 전파 기반 위치 인식 장치 그 자체이다. 예를 들어, 영상 및 전파 기반 위치 인식 장치는 영상 및 전파 기반 위치 인식 장치를 구비하는 이동 가능한 로봇의 위치를 추정한다. 다른 예를 들어, 영상 및 전파 기반 위치 인식 장치를 파지하고 있는 사람의 위치를 추정한다.
일 예에 있어서, 측위 대상이 위치한 공간 내에 존재하는 객체는 측위 대상의 위치를 추정하는데 이용할 수 있는 모든 형상물을 포함한다. 예를 들어, 측위 대상이 위치한 공간이 전시관이라면, 객체는 전시 공간의 명칭을 나타내는 푯말, 전시물의 위치를 나타내는 표지판, 전시물을 안내하는 콘텐츠를 표출하는 전시용 디스플레이 등이다. 객체의 정보는 측위의 대상인 측위 대상의 위치를 추정하기 위해 이용되는 전술한 객체의 정보이다. 예를 들어, 객체의 정보는 객체의 위치, 높이 및 폭 등을 포함하는 객체의 물리량이다.
일 예에 있어서, 공간 정보는 전술한 측위 대상이 위치한 공간에 존재하는 객체의 위치 및 물리량을 포함하는 객체의 정보가 측위 대상이 위치한 공간의 지도 정보와 결합된 정보이다. 공간 정보에 대한 구체적인 설명은 후술한다.
일 실시예에 있어서, 영상 획득부는 측위 대상으로부터 소정 범위에 존재하는 객체의 영상 정보를 획득한다. 영상 획득부는 외부의 이미지를 포착하여 포착된 이미지를 디지털 신호로 변환한다. 영상 획득부는 예를 들어, 카메라이고, 카메라는 CCD(Charge Coupled Device)모듈이나 CMOS(Complementary Metal Oxide Semiconductor)모듈을 포함 할 수 있다. 일 실시예에 있어서 소정 범위는 1m 이다. 다만 이에 한정되는 것은 아니고, 측위 대상의 크기, 측위 대상이 위치한 공간의 넓이 등을 고려하여 소정 범위는 다양하게 설정될 수 있다. 후술 하겠지만, 영상 정보 저장부는 측위 대상이 구비한 영상 획득부가 획득한 영상 정보를 데이터 베이스에 저장하고, 객체 정보 추출부(130)는 저장된 영상 정보를 추출한다. 일 실시예에 있어서, 영상 및 전파 기반 위치 인식 장치는 전방 영상을 촬영하는 영상 획득부 및 상방 영상을 촬영하는 영상 획득부를 각각 구비한다.
일 실시예에 있어서, 무선 신호 처리부는 공간 내에 위치한 전파 송신기와 무선 통신한다. 무선 통신의 구체적인 예는 후술한다. 측위의 대상이 되는 측위 대상이 위치한 내부 공간에는 전파 송신기(180)도 위치하며, 전술한 객체는 전파 송신기(180)가 될 수도 있다.
일 실시예에 있어서, 측위부는 무선 신호 처리부의 전파 수신 세기와 전파 송신기와 측위 대상과의 거리 중 어느 하나 와 영상 정보를 조합하여 측위 대상의 위치를 추정한다. 일 실시예에 있어서, 측위부는 1차 측위부(150), 객체 정보 추출부(130), 영상 정보 저장부(140), 2차 측위부(160)를 포함한다.
일 실시예에 있어서, 1차 측위부(150)는 측위 대상과 전파 송신기(180)간 거리 정보 및 측위 대상이 전파 송신기(180)로부터 수신한 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정한다. 일 실시예에 있어서, 1차 측위부(150)는 측위 대상과 전파 송신기(180)간 거리 정보 및 측위 대상이 전파 송신기(180)로부터 수신한 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정하되, 측위 대상과 전파 송신기(180)는 초광대역, 초음파, 지그비 및 와이파이 중 적어도 하나를 포함하는 무선 통신 방식으로 통신한다. 영상 및 전파 기반 위치 인식 장치(10)는 초광대역, 초음파, 지그비 및 와이 파이 중 어느 것을 사용해도 무방하나 이상적으로는 벽이나, 장애물 등에 대한 투과력이 뛰어나고 다중 경로 페이딩(multi-path fading)이나 산란, 회절 등에 영향을 덜 받는 통신 방식을 사용하는 것이 바람직하다.
일 실시예에 있어서, 초광대역 (UWB, Ultra Wide Band) 통신 방식은 중심 주파수의 25%이상의 점유 대역폭을 차지하는 무선 전송 기술이다. UWB통신 방식은 광대역으로 신호가 분포되므로 근거리 통신망에 적합하며, 광대역으로 분포된 에너지를 수신하여 검출하므로 협대역 통신신호에 의한 간섭에 대하여 내성이 매우 좋은 편이다. 또한 펄스 폭이 매우 좁고 Duty cycle이 1% 이하로 작아 다중 전파경로에 의한 신호의 퍼짐이나 중첩현상을 피할 수 있고 확산대역을 크게 하므로 장애물이 많은 장소에서도 페이딩에 강하다. 그리고 대부분의 회로를 디지털로 구현할 수 있어서 회로가 간단하고 반송파를 사용하지 않으므로 송수신기의 소비 전력이 적은 장점이 있다. 일 실시예에 있어서, 초음파는 가청 주파수인 20 KHz보다 큰 음파이며 전송 거리는 300m이다. 일 실시예에 있어서, 지그비(Zig bee) 통신은 IEEE 802.15.4 표준에 기초하여 PHY/MAC을 정의하고 있는 통신 방식 중 하나로, 전력 소모가 적고 보안성이 우수한 근거리 저속 통신 규격이다. 일 실시예에 있어서, 와이파이(Wi-Fi)는 와이파이 얼라이언스(Wi-Fi Alliance)의 상표명으로, IEEE 802.11 기반의 무선랜 연결과 장치 간 연결(와이파이 P2P), PAN/LAN/WAN 구성 등을 지원하는 일련의 기술을 뜻한다.
일 실시예에 있어서, 전파 송신기(180)는 전파 송신기(180)와 측위 대상간의 거리를 산출하여 영상 및 전파 기반 위치 인식 장치(10)로 송신한다. 전파 송신기(180)는 전파 송신기(180)와 측위 대상간의 거리를 무선 신호 처리부가 수신한 전파 세기를 통해 스스로 산출하여 영상 및 전파 기반 위치 인식 장치(10)로 송신한다. 다른 실시예에 있어서, 전파 송신기(180)는 무선 신호 처리부가 수신한 전파 세기 정보를 영상 및 전파 기반 위치 인식 장치(10)로 송신한다. 이 경우 영상 및 전파 기반 위치 인식 장치(10)는 전파 송신기(180)와 측위 대상간의 거리를 직접 산출한다. 측위 대상이 되는 측위 대상의 위치를 1차적으로 추정하는 구체적인 방법은 후술한다.
일 실시예에 있어서, 객체 정보 추출부(130)는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 데이터 베이스로부터 추출한다. 전술한 바와 같이 객체의 크기, 높이 등의 객체의 정보는 객체의 위치 정보와 매핑 되어 공간 정보 데이터 베이스(110)에 저장된다. 객체 정보 추출부(130)는 공간 정보 데이터 베이스(110)에 저장된 객체의 위치 정보를 기초로 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 위치한 객체를 검색하여, 검색된 객체의 정보를 추출한다. 일 실시예에 있어서 소정 범위는 1m 이다. 다만 이에 한정되는 것은 아니고, 측위 대상의 크기, 측위 대상이 위치한 공간의 넓이 등을 고려하여 소정 범위는 다양하게 설정될 수 있다.
일 실시예에 있어서, 객체 정보 추출부(130)는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 데이터 베이스로부터 추출 하되, 객체의 정보는 객체의 위치, 높이 및 폭 중 적어도 하나를 포함한다. 객체의 정보는 이에 한정되지 않으며 측위 대상이 위치한 공간에 존재하는 객체의 위치, 높이 및 폭이 아닌 다른 물리량을 포함할 수 있다.
다른 실시예에 있어서, 객체 정보 추출부(130)는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 데이터 베이스로부터 추출하되, 객체의 정보는 영상 획득부가 획득한 객체의 영상 정보를 포함한다.
일 실시예에 있어서, 영상 정보 저장부는 영상 획득부가 획득하는 객체의 영상 정보를 수신하여 공간 정보 데이터 베이스(110)에 저장한다. 일 실시예에 있어서, 영상 정보 저장부는 영상 획득부가 획득하는 객체의 영상 정보를 수신하여 1차적으로 추정된 측위 대상의 위치 정보와 매핑하여 저장한다. 일 실시예에 있어서, 영상 정보 저장부는 객체의 영상 데이터, 영상 특징량, 또는 크기, 형태 등 기타 부가적인 정보를 공간 정보 데이터 베이스(110)에 저장할 수 있다. 일 실시예에 있어서, 영상 정보 저장부는 객체의 영상 정보 저장시 측위 대상이 구비한 영상 획득부가 객체를 촬영한 자세를 함께 저장한다. 측위 대상이 구비한 영상 획득부가 획득하여 송신한 영상 정보는 측위 대상이 구비한 영상 획득부가 특정 자세에서 획득한 영상 정보이다. 예를 들어, 특정 자세는 영상 획득부의 지면으로부터의 높이, 팬, 틸트 등이다. 일 실시예에 있어서, 측위 대상이 구비한 영상 획득부의 특정 자세 정보는 후술할 캘리브레이션을 통해 산출된다. 다른 실시예에 있어서, 측위 대상이 구비한 영상 획득부의 특정 자세 정보는 측위 대상 내부 또는 외부에 구비된 센서를 통해 획득한다.
일 실시예에 있어서, 2차 측위부(160)는 추출한 객체의 정보와 저장된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정한다. 일 실시예에 있어서, 2차 측위부(160)는 추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정한다. 1차 측위부(150)를 통해 측위의 대상인 측위 대상의 대략적인 위치가 추정되고, 측위 대상의 위치로부터 소정의 범위에 있는 객체의 정보를 객체 정보 추출부(130)가 추출한다. 2차 측위부(160)는 객체 정보 추출부(130)가 추출한 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체 정보와 측위 대상이 구비한 영상 획득부가 현재 위치에서 송신하는 영상 정보를 매칭하여, 매칭 결과를 토대로 측위 대상의 현재 위치를 추출한다.
일 실시예에 있어서, 2차 측위부(160)는 추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 측위 대상의 위치를 추정한다. 측위의 대상이 되는 측위 대상이 계속 움직였다면, 측위 대상의 현재 위치는 측위 대상이 과거에 소정의 시간 동안 머물렀던 위치일 것이고, 공간 정보 데이터 베이스(110)는 이미 측위 대상의 현재 위치에서 측위 대상이 구비한 영상 획득부가 촬영하는 객체의 영상 정보를 저장하고 있다. 측위 대상의 현재 위치로부터 소정 범위에 있는 객체의 기 저장된 영상 정보와 측위 대상이 구비한 영상 획득부가 현재 송신하는 영상 정보를 매칭하여 측위 대상의 현재 위치를 추출한다. 영상 정보간 비교를 통해 측위 대상의 위치를 추정하는 구체적인 설명은 후술한다.
일 양상에 있어서, 영상 및 전파 기반 위치 인식 장치(10)는 3차 측위부(170)를 더 포함할 수 있다. 일 실시예에 있어서, 3차 측위부(170)는 추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치 및 추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치를 평균 내어 측위 대상의 위치를 3차적으로 추정한다. 2차 측위부(160)가 측위 대상의 위치를 추정하는 2가지 방법은 상술하였다. 각각의 방법은 소정의 오차를 가질 수 있기 때문에 2차 측위부(160)가 2가지 방법으로 추정한 위치 값을 평균 내어 측위 대상의 위치를 더욱 정밀하게 추정할 수 있다.
일 양상에 있어서, 영상 및 전파 기반 위치 인식 장치(10)는 공간 정보 데이터 베이스 관리부(120)를 포함한다. 일 실시예에 있어서, 공간 정보 데이터 베이스 관리부(120)는 데이터 베이스에 저장된 객체의 영상 정보 중 측위 대상의 위치 추정에 사용되지 않는 영상을 삭제하거나 측위 대상이 위치한 공간 내에 존재하는 객체의 정보 및 전파 송신기(180)의 위치 변경에 따라 객체의 정보 및 전파 송신기(180)의 위치 정보를 갱신한다. 측위 대상의 위치 추정에 사용되지 않는 영상은 예를 들어, 측위 대상이 위치한 공간에 존재하는 객체가 촬영되지 않아 영상에 존재하지 않는 영상이다. 다른 예를 들어, 객체가 촬영 되어 영상에 존재하나 객체의 꼭지점, 모서리와 같은 객체의 특징이 드러나지 않은 영상이다. 영상의 배경 부분이 전체 영상의 절반 이상을 차지 하여 객체가 영상에 차지하는 부분이 작은 경우 전술한 객체의 특징이 잘 드러나지 않을 수 있다. 공간 정보 데이터 베이스 관리부(120)는 위치를 판단하기에 적절한 영상만을 남기고 나머지 데이터는 삭제하여 데이터 베이스의 크기가 끊임없이 커지는 것을 막는다. 이러한 작업을 주기적으로 수행하여 데이터베이스의 크기가 커지는 것을 막는다. 나아가 측위의 대상인 측위 대상이 위치하는 공간에 존재하는 객체를 교체하거나, 새로운 객체가 유입되면 공간 정보 데이터 베이스 관리부(120)는 공간 정보 데이터 베이스(110)를 갱신한다.
도 2는 다른 실시예에 따른 영상 및 전파 기반 위치 인식 장치의 블록도이다. 도 1에 따른 영상 및 전파 기반 위치 인식 장치와 동일하되 영상 획득부 및 무선 신호 처리부를 포함하지 않는다. 도 1에 따른 영상 및 전파 기반 위치 추정 장치와 달리 도 2에 따른 영상 및 전파 기반 위치 추정 장치 자체가 측위 대상인 것은 아니다. 도 2의 영상 및 전파 기반 위치 인식 장치는 카메라와 같은 영상 획득 장비가 전송한 영상 정보와 전파 송신기 또는 전자 장치가 전송한 데이터를 기초로 측위 대상의 위치를 추정하는 컴퓨터이다. 측위 대상은 무선 통신 및 영상 촬영이 가능한 로봇, 무선 통신 또는 영상 촬영이 가능한 장비를 가지고 있는 사람 등이다. 일 예에 있어서, 무선 통신 및 영상 촬영이 가능한 로봇은 영상 촬영이 가능한 영상 획득부 및 무선 통신이 가능한 전자 장치를 포함한다. 일 예에 있어서, 사람이 구비한 무선 통신 장비는 후술할 전파 송신기와 무선 통신하는 전자 장치이다. 일 예에 있어서, 사람이 구비한 영상 촬영이 가능한 장비는 카메라이다. 전파 송신기와 무선 통신하는 전자 장치는 예를 들어, 스마트폰, PDA(Personal Digital Assistant) 등 무선 통신 모듈이 구비된 장치이다.
도 3는 일 실시예에 따른 측위 대상이 위치한 공간을 도시한다.
일 실시예에 있어서, 측위 대상의 위치는 2차원 평면에서의 위치이다. 도 3에 도시된 측위 대상이 위치한 공간은 2차원 좌표 공간이다. 영상 및 전파 기반 위치 인식 장치(10)를 통해 측위 대상의 위치를 추정하기 위해서는 측위 대상이 위치한 공간의 지도 정보가 필요하다. 측위 대상이 위치한 공간에 존재하는 객체인 전파 송신기(180)가 도 3에 도시되어 있다. 측위 대상이 위치한 공간 정보는 2차원 좌표로 표시된 공간 정보이고 객체의 위치를 좌표에 매핑 시킨다. 객체의 위치를 좌표에 매핑 시켜 공간 정보 데이터 베이스(110)에 저장할 때, 객체의 위치, 높이 및 폭 등을 포함하는 객체의 정보도 함께 저장한다. 도 3에는 전파 송신기(180)만 도시되어 있지만, 객체는 이에 한정되는 것은 아니고 측위 대상의 위치를 추정하는데 이용할 수 있는 모든 형상물을 포함한다. 공간 정보는 도 3 에 도시된 2차원 공간에 한정되는 것은 아니고, 측위 대상이 위치한 공간 천장에 객체가 존재하면 3차원 좌표 공간으로 객체를 특정할 수 있다.
도 4은 일 실시예에 따른 측위 대상의 위치를 전파를 통해 추정하는 방법을 설명하기 위한 도면이다.
수식 1
Figure pat00001

도 4에 도시된 바와 같이, 전파 송신기(180)의 좌표는 각각 (x1, y2), (x2, y2), (x3, y3)이다. 측위의 대상이 되는 측위 대상의 좌표는 (xm, ym)이며 D1, D2 및 D3 각각은 측위의 대상이 되는 측위 대상과 전파 송신기(180)간 거리이다.
일 실시예에 있어서 D1, D2 및 D3는 측위의 대상이 되는 측위 대상이 전파 송신기(180)로부터 수신한 수신 신호의 세기와의 관계를 이용해서 산출된다.
수식 2
Figure pat00002

수식 2는 프리스(Friis)공식으로 자유 공간에서의 경로 손실을 구하는 것이며, L은 송신한 신호의 손실(dB)이며, λ 는 전파의 파장을 나타내고, 두 지점 사이의 거리 D와 동일한 단위를 사용한다.
수식 3
Figure pat00003

수식 3은 수식 2를 거리 D에 대해 나타낸 것이며 c 는 전파 속도, f 는 주파수이다.
다른 실시예에 있어서, D1, D2 및 D3는 측위의 대상이 되는 측위 대상 또는 측위 대상이 구비한 전자 장치가 수신한 신호의 도착 시간(TOA, Time of Arrival) 정보를 이용하여 산출된다.
수식 4
Figure pat00004

수식 4는 속도=거리/시간 이라는 간단한 물리 공식이다. 측위의 대상이 되는 측위 대상과 복수의 전파 송신기(180)는 시간 측면에서 서로 동기가 맞추어져 있어야 정확한 거리가 산출된다.
일 실시예에 있어서, 수신 정보 세기 또는 도착 시간 정보를 이용하면 D1, D2, D3가 산출되며, 전파 송신기(180)의 좌표 및 산출한 D1, D2, D3를 수식 1에 대입하면 측위 대상의 좌표인 (xm, ym)을 산출할 수 있다. 다른 실시예에 따른 삼각 측량법을 이용하여, 산출한 D1, D2, D3를 이용하여 3개의 전파 송신기(180)의 위치를 각각 원의 중심으로 하고 D1, D2, D3가 반지름인 원을 그려 교차점으로부터 측위 대상의 위치를 산출한다. 도 4에 도시된 실시예처럼, D1, D2, D3를 반지름으로 하는 3개의 원이 만나는 지점인 (xm, ym)이 전자 라벨 장치(200)의 위치이다.
도 5는 다른 실시예에 따른 전파를 통해 측위 대상의 위치를 추정하는 방법을 설명하기 위한 도면이다.
다른 실시예에 있어서, 측위 대상의 위치는 도착 시간 차이(TDOA, Time Difference of Arrival)정보를 이용하여 산출한다. 도착 시간 차이 정보는 측위 대상과 두 개 이상의 전파 송신기(180)가 송수신 하는 신호의 도착 시간의 차이를 측정하여 전파 송신기(180)간의 거리 차가 일정한 지점, 즉 센서를 초점으로 하는 쌍곡선상에서 전자 라벨 장치(200)의 위치를 찾아내는 알고리즘이다. 도 5에 도시된 것처럼 3개의 게이트웨이 장치에서 얻어 지는 2개의 쌍곡선을 이용하여 그 교점을 찾아냄으로써 측위 대상의 위치를 찾을 수 있다.
수식 5
Figure pat00005
D3-D2 및 D3-D1은 신호 도착 시간의 지연차를 나타내며 각 신호의 도착 시간 지연차는 쌍곡선 형태로 도시된다. 쌍곡선의 교점은 측위 대상의 위치다. 앞에서 살펴 본 방법, 예를 들어 수신 신호 강도 또는 도착 시간 정보를 활용하여 D1, D2, D3를 산출할 수 있다. 산출된 D1, D2, D3 값 및 전파 송신기(180)의 위치 좌표를 활용하면 측위 대상의 위치인 (xm, ym)을 산출할 수 있다.
또 다른 실시예에 있어서, 도착 각도(AOA, Angle Of Arrival) 정보를 이용하여 측위 대상의 위치를 산출할 수 있다. 전파 송신기(180)에서 측위 대상이 보내는 신호의 방향각을 이용하여 각을 측정하고 각 전파 송신기(180)와 측위 대상 사이의 방향각의 교차점을 계산하여 측위 대상의 위치를 측정하는 알고리즘이다. 측위 대상을 측정하기 위해서는 최소 2개 이상의 방향각들이 필요하며 이들을 교차시킴으로써 위치 파악이 가능하다.
도 6은 일 실시예에 따른 영상 획득부의 한 예인 카메라가 캘리브레이션을 위해 반복적인 패턴(520)이 표시된 객체(510)를 촬영하는 장면이다.
측위 대상이 위치한 공간에 존재하는 객체(510)의 크기 및 형태를 미리 알고 있는 상태에서, 측위 대상이 구비한 영상 획득부가 촬영한 객체(510)에 대한 영상을 분석한다. 이러한 과정을 통해 영상을 획득할 당시의 영상 획득부의 3차원 위치, 예를 들어 지면으로부터의 높이 등을 추출하고 3D 자세 정보, 예를 들어 팬, 틸트를 추출하는 것이 캘리브레이션이다. 도 6에 도시된 것처럼 측위 대상이 바라보는 표지판(510) 등에 반복적인 패턴(520)을 표시하여 측위 대상이 구비한 영상 획득부를 캘리브레이션 할 수 있다.
도 7은 일 실시예에 따른 측위 대상이 위치한 공간에 존재하는 객체의 정보 및 영상 정보를 비교하여 측위 대상의 위치를 추정하는 과정을 설명하기 위한 도면이다. 도 7에 도시된 객체의 좌표((x1, y1, z1), (x2, y2, z2), (x3, y3, z3), (x4, y4, z4))는 객체의 특징이 되는 부분의 좌표로, 예를 들면 꼭지점의 3차원 좌표이다. 객체의 좌표는 전술한 객체의 정보에 포함되며, 관리자가 미리 저장한다. 좌표(xu, yu, zu)는 측위의 대상이 되는 측위 대상이 위치한 좌표이다. 측위 대상이 구비하는 영상 획득부는 객체의 영상을 취득하고, 객체의 특징이 되는 부분, 예를 들어 꼭지점의 2차원 좌표를 추출할 수 있다. 추출된 좌표를 영상 및 전파 기반 위치 인식 장치에 송신하면, 영상 및 전파 기반 위치 인식 장치는 기 저장된 3차원 좌표와 매핑하여 측위 대상의 위치를 추정한다. 이에 한정되는 것은 아니고, 영상 및 전파 기반 위치 인식 장치는 영상 획득부로부터 영상 정보만을 수신하여, 이로부터 객체의 객체의 특징이 되는 부분, 예를 들어 꼭지점의 2차원 좌표를 추출 할 수 있다. 영상 및 전파 기반 위치 인식 장치는 추출된 2차원 좌표와 기 저장된 3차원 좌표와 매핑하여 측위 대상의 위치를 추정한다.
도 8은 일 실시예에 따른 측위 대상의 위치를 영상 정보간 비교를 통해 추정하는 방법을 설명하기 위한 도면이다. 구체적으로 도 8은 제 2 측위부의 위치 추정 방법 중 객체의 영상 정보를 포함하는 객체의 정보와 측위의 대상인 측위 대상이 구비한 영상 획득부로부터 수신한 객체의 영상 정보를 비교하여 위치를 추정하는 방법을 설명하기 위한 도면이다. 도 8의 좌측에 도시된 영상은 기 저장된 객체의 영상이고 우측에 도시된 영상은 측위 대상이 현재 위치에서 송신하는 영상이다. 도 8의 좌측에 도시된 영상은 측위 대상이 과거에 현재 위치와 동일한 위치에 있었을 때 송신한 영상이다. (xDB, yDB, zDB)는 기 저장된 객체의 영상으로부터 추정된 측위 대상의 위치 좌표이고, (xu, yu, zu)는 측위 대상의 현재 위치 좌표이다. 제 2 측위부가 측위의 대상이 되는 측위 대상의 위치 추정 시 측위 대상의 현재 위치로부터 소정 범위에 있는 객체의 기 저장된 영상 정보와 측위 대상이 구비한 영상 획득부가 현재 송신하는 영상 정보를 매칭하되, 두 영상에 담긴 객체의 특징이 되는 부분을 비교한다. 특징이 되는 부분은 객체의 형상을 특정 할 수 있는 부분으로 객체의 형상이 원형 또는 다각형이라면 객체의 테두리로부터 추출한 선 또는 점이다. 예를 들어, 특징이 되는 부분은 도6에 도시된 것과 같은 객체의 모서리이다. 영상 및 전파 기반 위치 인식 장치는 전술한 2차원 좌표, 즉 측위 대상의 현재 위치로부터 소정 범위에 있는 객체의 기 저장된 영상 정보로부터 추출한 2차원 좌표 및 측위 대상이 구비한 영상 획득부가 현재 송신하는 영상 정보로부터 추출한 2차원 좌표를 비교하여 측위 대상의 위치를 추정한다.
도 9은 일 실시예에 따른 영상 및 전파 기반 위치 인식 방법의 순서도이다. 일 양상에 있어서 영상 및 전파 기반 위치 인식 방법은 공간 정보 저장 단계(S80), 1차 측위 단계(S82), 객체 정보 추출 단계(S85), 영상 정보 저장 단계(S83) 및 2차 측위 단계(S86)를 포함한다. 일 실시예에 있어서, 영상 및 전파 기반 위치 인식 방법은 영상 인식 기술에 무선 통신 기술을 접목하여 측위의 대상이 되는 측위 대상의 위치 정보를 정확하게 파악한다.
일 실시예에 있어서, 공간 정보 저장 단계(S80)는 측위 대상이 위치한 공간 내에 존재하는 적어도 하나의 객체의 정보 및 무선 신호 처리부와 무선 통신 하는 전파 송신기(180)의 위치 정보를 포함하는 공간 정보를 데이터 베이스에 저장한다. 데이터 베이스(Data Base)는 여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터의 집합으로 자료를 구조화하여 저장함으로써 자료 검색과 갱신의 효율을 높이다.
일 예에 있어서, 측위 대상이 되는 측위 대상은 무선 통신 및 영상 촬영이 가능한 로봇, 무선 통신 또는 영상 촬영이 가능한 장비를 가지고 있는 사람 등이다. 일 예에 있어서, 무선 통신 및 영상 촬영이 가능한 로봇은 영상 촬영이 가능한 영상 획득부 및 무선 통신이 가능한 전자 장치를 포함한다. 일 예에 있어서, 사람이 구비한 무선 통신 장비는 후술할 전파 송신기와 무선 통신하는 전자 장치이다. 일 예에 있어서, 사람이 구비한 영상 촬영이 가능한 장비는 카메라이다. 전파 송신기와 무선 통신하는 전자 장치는 예를 들어, 스마트폰, PDA(Personal Digital Assistant) 등 무선 통신 모듈이 구비된 장치이다.
일 예에 있어서, 측위 대상이 위치한 공간 내에 존재하는 객체는 측위 대상의 위치를 추정하는데 이용할 수 있는 모든 형상물을 포함한다. 예를 들어, 측위 대상이 위치한 공간이 전시관이라면, 객체는 전시 공간의 명칭을 나타내는 푯말, 전시물의 위치를 나타내는 표지판, 전시물을 안내하는 콘텐츠를 표출하는 전시용 디스플레이 등이다. 객체의 정보는 측위의 대상인 측위 대상의 위치를 추정하기 위해 이용되는 전술한 객체의 정보이다. 예를 들어, 객체의 정보는 객체의 위치, 높이 및 폭 등을 포함하는 객체의 물리량이다.
일 예에 있어서, 측위의 대상이 되는 측위 대상은 전파 송신기(180)와 무선 통신한다. 측위의 대상이 되는 측위 대상이 위치한 공간에는 전파 송신기(180)도 위치하며, 전술한 객체는 전파 송신기(180)를 포함할 수 있다. 일 예에 있어서, 공간 정보는 전술한 측위 대상이 위치한 공간에 존재하는 객체의 위치 및 물리량을 포함하는 객체의 정보가 측위 대상이 위치한 공간의 지도 정보와 결합된 정보이다.
일 실시예에 있어서, 1차 측위 단계(S82)는 측위 대상과 전파 송신기(180)간 거리 정보 및 무선 신호 처리부가 전파 송신기(180)로부터 수신한 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정한다. 일 실시예에 있어서, 1차 측위부(150)는 측위 대상과 전파 송신기(180)간 거리 정보 및 무선 신호 처리부가 전파 송신기(180)로부터 수신한 전파 세기 정보 중 적어도 하나를 수신(S81)하여 측위 대상의 위치를 1차적으로 추정하되, 무선 신호 처리부와 전파 송신기(180)는 초광대역, 초음파, 지그비 및 와이파이 중 적어도 하나를 포함하는 무선 통신 방식으로 통신한다. 영상 및 전파 기반 위치 인식 방법은 초광대역, 초음파, 지그비 및 와이 파이 중 어느 것을 사용해도 무방하나 이상적으로는 벽이나, 장애물 등에 대한 투과력이 뛰어나고 multi-path fading이나 산란, 회절 등에 영향을 덜 받는 통신 방식을 사용하는 것이 바람직하다.
일 실시예에 있어서, 초광대역 (UWB, Ultra Wide Band) 통신 방식은 중심 주파수의 25%이상의 점유 대역폭을 차지하는 무선 전송 기술이다. UWB통신 방식은 광대역으로 신호가 분포되므로 근거리 통신망에 적합하며, 광대역으로 분포된 에너지를 수신하여 검출하므로 협대역 통신신호에 의한 간섭에 대하여 내성이 매우 좋은 편이다. 또한 펄스 폭이 매우 좁고 Duty cycle이 1% 이하로 작아 다중 전파경로에 의한 신호의 퍼짐이나 중첩현상을 피할 수 있고 확산대역을 크게 하므로 장애물이 많은 장소에서도 페이딩에 강하다. 그리고 대부분의 회로를 디지털로 구현할 수 있어서 회로가 간단하고 반송파를 사용하지 않으므로 송수신기의 소비 전력이 적은 장점이 있다. 일 실시예에 있어서, 초음파는 가청 주파수인 20 KHz보다 큰 음파이며 전송 거리는 300m이다. 일 실시예에 있어서, 지그비(Zig bee) 통신은 IEEE 802.15.4 표준에 기초하여 PHY/MAC을 정의하고 있는 통신 방식 중 하나로, 전력 소모가 적고 보안성이 우수한 근거리 저속 통신 규격이다. 일 실시예에 있어서, 와이파이(Wi-Fi)는 와이파이 얼라이언스(Wi-Fi Alliance)의 상표명으로, IEEE 802.11 기반의 무선랜 연결과 장치 간 연결(와이파이 P2P), PAN/LAN/WAN 구성 등을 지원하는 일련의 기술을 뜻한다.
일 실시예에 있어서, 영상 및 전파 기반 위치 인식 방법은 전파 송신기(180)가 산출한 전파 송시기와 측위 대상간의 거리를 통해 측위 대상의 실제 위치를 추정한다. 다른 실시예에 있어서, 영상 및 전파 기반 위치 인식 방법은 전파 송신기(180)가 송신한 무선 신호 처리부의 수신 전파 세기 정보를 통해 전파 송시기와 측위 대상간의 거리를 산출하고 측위 대상의 위치를 추정한다.
일 실시예에 있어서, 객체 정보 추출 단계(S84)는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 데이터 베이스로부터 추출한다. 전술한 바와 같이 객체의 크기, 높이 등의 객체의 정보는 객체의 위치 정보와 매핑 되어 공간 정보 데이터 베이스(110)에 저장된다. 객체 정보 추출 단계(S84)는 공간 정보 데이터 베이스(110)에 저장된 객체의 위치 정보를 기초로 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 위치한 객체를 검색하여, 검색된 객체의 정보를 추출한다. 일 실시예에 있어서 소정 범위는 1m 이다. 다만 이에 한정되는 것은 아니고, 측위 대상의 크기, 측위 대상이 위치한 공간의 넓이 등을 고려하여 소정 범위는 다양하게 설정될 수 있다.
일 실시예에 있어서, 객체 정보 추출 단계(S84)는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 데이터 베이스로부터 추출 하되, 객체의 정보는 객체의 위치, 높이 및 폭 중 적어도 하나를 포함한다. 객체의 정보는 이에 한정되지 않으며 측위 대상이 위치한 공간에 존재하는 객체의 위치, 높이 및 폭이 아닌 다른 물리량을 포함할 수 있다.
일 실시예에 있어서, 객체 정보 추출 단계(S84)는 1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 데이터 베이스로부터 추출하되, 객체의 정보는 측위 대상이 구비한 영상 획득부가 획득한 객체의 영상 정보를 포함한다. 후술 하겠지만, 영상 정보 저장 단계(S83)는 측위 대상이 구비한 영상 획득부가 획득한 영상 정보를 데이터 베이스에 저장하고, 객체 정보 추출 단계(S84)는 저장된 영상 정보를 추출한다. 측위 대상이 구비하는 영상 획득부는 외부의 이미지를 포착하여 포착된 이미지를 디지털 신호로 변환한다. 예를 들어, 측위 대상이 포함하는 영상 획득부는 CCD(Charge Coupled Device)모듈이나 CMOS(Complementary Metal Oxide Semiconductor)모듈을 포함 할 수 있다. 일 실시예에 있어서, 측위 대상은 전방 영상을 촬영하는 영상 획득부 및 상방 영상을 촬영하는 영상 획득부를 각각 구비한다. 다른 실시예에 있어서, 전방 영상 및 상방 영상이 함께 촬영되도록 측위 대상에 수직 상방향을 향하는 영상 획득부를 설치한 다음, 획득된 영상으로부터 이미지 트랜스폼(transform)을 이용하여 전방 영상 및 상방 영상을 획득한다. 영상 정보 획득에 관한 자세한 설명은 후술한다.
일 실시예에 있어서, 영상 정보 저장 단계(S83)는 측위 대상이 구비한 영상 획득부가 획득하는 객체의 영상 정보를 수신하여 공간 정보 데이터 베이스(110)에 저장한다. 일 실시예에 있어서, 영상 정보 저장 단계(S83)는 측위 대상이 구비하는 영상 획득부가 획득하는 객체의 영상 정보를 수신하여 1차적으로 추정된 측위 대상의 위치 정보와 매핑하여 저장한다. 일 실시예에 있어서, 영상 정보 저장 단계(S83)는 객체의 영상 데이터, 영상 특징량, 또는 크기, 형태 등 기타 부가적인 정보를 공간 정보 데이터 베이스(110)에 저장할 수 있다. 일 실시예에 있어서, 영상 정보 저장 단계(S83)는 객체의 영상 정보 저장시 측위 대상이 구비한 영상 획득부가 객체를 촬영한 자세를 함께 저장한다. 측위 대상이 구비한 영상 획득부가 획득하여 송신한 영상 정보는 측위 대상이 구비한 영상 획득부가 특정 자세에서 획득한 영상 정보이다. 예를 들어, 특정 자세는 측위 대상이 구비하는 영상 획득부가 촬영하여 획득한 영상 정보라면 영상 획득부의 지면으로부터의 높이, 팬, 틸트 등이다. 일 실시예에 있어서, 측위 대상이 구비하는 영상 획득부의 특정 자세 정보는 후술할 캘리브레이션을 통해 산출된다. 다른 실시예에 있어서, 측위 대상이 구비한 영상 획득부의 특정 자세 정보는 측위 대상 내부 또는 외부에 구비된 센서를 통해 획득한다.
일 실시예에 있어서, 2차 측위 단계(S85)는 추출한 객체의 정보와 저장된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정한다. 일 실시예에 있어서, 2차 측위 단계(S85)는 추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정한다. 1차 측위 단계(S82)를 통해 측위의 대상인 측위 대상의 대략적인 위치가 추정되고, 측위 대상의 위치로부터 소정의 범위에 있는 객체의 정보를 객체 정보 추출부(130)가 추출한다. 2차 측위 단계(S85)는 객체 정보 추출부(130)가 추출한 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체 정보와 측위 대상이 구비한 영상 획득부가 현재 위치에서 송신하는 영상 정보를 매칭하여, 매칭 결과를 토대로 측위 대상의 현재 위치를 추출한다.
일 실시예에 있어서, 2차 측위 단계(S85)는 추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 측위 대상의 위치를 추정한다. 측위의 대상이 되는 측위 대상이 계속 움직였다면, 측위 대상의 현재 위치는 측위 대상이 과거에 소정의 시간 동안 머물렀던 위치일 것이고, 공간 정보 데이터 베이스(110)는 이미 측위 대상의 현재 위치에서 측위 대상이 구비한 영상 획득부가 촬영하는 객체의 영상 정보를 저장하고 있다. 측위 대상의 현재 위치로부터 소정 범위에 있는 객체의 기 저장된 영상 정보와 측위 대상이 구비한 영상 획득부가 현재 송신하는 영상 정보를 매칭하여 측위 대상의 현재 위치를 추출한다. 영상 정보간 비교를 통해 측위 대상의 위치를 추정하는 구체적인 설명은 후술한다.
일 양상에 있어서, 영상 및 전파 기반 위치 인식 방법은 3차 측위 단계(S86)를 더 포함 할 수 있다. 일 실시예에 있어서, 3차 측위 단계(S86)는 추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치 및 추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치를 평균 내어 측위 대상의 위치를 3차적으로 추정한다. 2차 측위부(160)가 측위 대상의 위치를 추정하는 2가지 방법은 상술하였다. 각각의 방법은 소정의 오차를 가질 수 있기 때문에 2차 측위부(160)가 2가지 방법으로 추정한 위치 값을 평균 내어 측위 대상의 위치를 더욱 정밀하게 추정할 수 있다.
일 양상에 있어서, 영상 및 전파 기반 위치 인식 방법은 공간 정보 데이터 베이스관리 단계를 포함한다. 일 실시예에 있어서, 공간 정보 데이터 베이스 관리 단계(S87)는 데이터 베이스에 저장된 객체의 영상 정보 중 측위 대상의 위치 추정에 사용되지 않는 영상을 삭제하거나 측위 대상이 위치한 공간 내에 존재하는 객체의 정보 및 전파 송신기(180)의 위치 변경에 따라 객체의 정보 및 전파 송신기(180)의 위치 정보를 갱신한다. 측위 대상의 위치 추정에 사용되지 않는 영상은 예를 들어, 측위 대상이 위치한 공간에 존재하는 객체가 촬영되지 않아 영상에 존재하지 않는 영상이다. 다른 예를 들어, 객체가 촬영 되어 영상에 존재하나 객체의 꼭지점, 모서리와 같은 객체의 특징이 드러나지 않은 영상이다. 영상의 배경 부분이 전체 영상의 절반 이상을 차지 하여 객체가 영상에 차지하는 부분이 작은 경우 전술한 객체의 특징이 잘 드러나지 않을 수 있다. 이러한 작업을 주기적으로 수행하여 데이터베이스의 크기가 커지는 것을 막는다. 나아가 측위의 대상인 측위 대상이 위치하는 공간에 존재하는 객체를 교체하거나, 새로운 객체가 유입되면 공간 정보 데이터 베이스 관리 단계(S87)는 공간 정보 데이터 베이스(110)를 갱신한다.
3차 위치 추정 후 측위의 대상인 측위 대상이 이동하면(S88), 다시 측위 대상의 위치를 추정하기 상술한 일련의 과정을 거친다.
본 발명에 의한 영상 및 전파 기반 위치 인식 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀 질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브, 예를 들어 인터넷을 통한 전송의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해 져야 할 것이다.
10: 영상 및 전파 기반 위치 인식 장치
20: 측위부
110: 공간 정보 데이터 베이스
120: 공간 정보 데이터 베이스 관리부
130: 객체 정보 추출부
140: 영상 정보 수신부
150: 1차 측위부
160: 2차 측위부
170: 3차 측위부
180: 전파 송신기
510: 객체
520: 반복적인 패턴

Claims (15)

  1. 측위 대상이 위치한 공간 내에 존재하는 적어도 하나의 객체의 정보 및 측위 대상과 무선 통신하는 전파 송신기의 위치 정보를 포함하는 공간 정보를 저장하는 공간 정보 데이터 베이스;
    측위 대상으로부터 소정 범위에 존재하는 객체의 영상 정보를 획득하는 영상 획득부;
    상기 공간 내에 위치한 전파 송신기와 무선 통신하는 무선 신호 처리부; 및
    무선 신호 처리부의 전파 수신 세기와 전파 송신기와 측위 대상과의 거리 중 어느 하나 와 영상 정보를 조합하여 측위 대상의 위치를 추정하는 측위부; 를
    포함하는 영상 및 전파 기반 위치 인식 장치.
  2. 제 1 항에 있어서, 측위부는
    측위 대상과 전파 송신기간 거리 정보 및 무선 신호 처리부가 전파 송신기로부터 수신한 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정하는 1차 측위부;
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출하는 객체 정보 추출부;
    영상 획득부가 획득하는 객체의 영상 정보를 수신하여 공간 정보 데이터 베이스에 저장하는 영상 정보 저장부; 및
    추출한 객체의 정보와 저장된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정하는 2차 측위부; 를
    포함하는 영상 및 전파 기반 위치 인식 장치.
  3. 측위 대상이 위치한 공간 내에 존재하는 적어도 하나의 객체의 정보 및 측위 대상이 구비한 전자 장치와 무선 통신 하는 전파 송신기의 위치 정보를 포함하는 공간 정보를 저장하는 공간 정보 데이터 베이스;
    측위 대상과 전파 송신기간 거리 정보 및 측위 대상이 구비한 무선 신호 처리부가 전파 송신기로부터 수신한 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정하는 1차 측위부;
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출하는 객체 정보 추출부;
    측위 대상이 구비하는 영상 획득부가 획득하는 객체의 영상 정보를 수신하여 공간 정보 데이터 베이스에 저장하는 영상 정보 저장부; 및
    추출한 객체의 정보와 저장된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정하는 2차 측위부; 를
    포함하는 영상 및 전파 기반 위치 인식 장치.
  4. 제 2 항 또는 제 3 항에 있어서, 1차 측위부는
    거리 정보 및 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정하되,
    전파는 초광대역, 초음파, 지그비 및 와이파이 중 적어도 하나인 영상 및 전파 기반 위치 인식 장치.
  5. 제 2 항 또는 제 3 항에 있어서, 영상 정보 저장부는
    영상 획득부가 획득하는 객체의 영상 정보를 수신하여 1차적으로 추정된 측위 대상의 위치 정보와 매핑하여 저장하는
    영상 및 전파 기반 위치 인식 장치.
  6. 제 2 항 또는 제 3 항에 있어서, 객체 정보 추출부는
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출 하되,
    객체의 정보는 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 영상 및 전파 기반 위치 인식 장치.
  7. 제 2 항 또는 제 3 항에 있어서, 객체 정보 추출부는
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출하되,
    객체의 정보는 영상 획득부가 획득한 객체의 영상 정보를 포함하는 영상 및 전파 기반 위치 인식 장치.
  8. 제 2 항 또는 제 3 항에 있어서, 영상 및 전파 기반 위치 인식 장치는
    추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치 및
    추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치를 평균 내어 측위 대상의 위치를 3차적으로 추정하는 3차 측위부; 를
    더 포함하는 영상 및 전파 기반 위치 인식 장치.
  9. 제 2 항 또는 제 3 항에 있어서, 영상 및 전파 기반 위치 인식 장치는
    데이터 베이스에 저장된 객체의 영상 정보 중 측위 대상의 위치 추정에 사용되지 않는 영상을 삭제하거나 객체의 정보 및 전파 송신기의 위치 변경에 따라 객체의 정보 및 전파 송신기의 위치 정보를 갱신하는 공간 정보 데이터 베이스 관리부; 를
    더 포함하는 영상 및 전파 기반 위치 인식 장치.
  10. 측위 대상이 위치한 공간 내에 존재하는 적어도 하나의 객체의 정보 및 전파 송신기의 위치 정보를 포함하는 공간 정보를 공간 정보 데이터 베이스에 저장하는 공간 정보 저장 단계;
    측위 대상과 전파 송신기의 거리 정보 및 측위 대상이 구비한 무선 신호 처리부가 전파 송신기로부터 수신한 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정하는 1차 측위 단계;
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출하는 객체 정보 추출 단계;
    영상 획득부가 획득하는 객체의 영상 정보를 수신하여 공간 정보 데이터 베이스에 저장하는 영상 정보 저장 단계; 및
    추출한 객체의 정보와 저장된 객체의 영상 정보를 비교하여 측위 대상의 위치를 2차적으로 추정하는 2차 측위 단계; 를
    포함하는 영상 및 전파 기반 위치 인식 방법.
  11. 제 10 항에 있어서, 1차 측위 단계는
    거리 정보 및 전파 세기 정보 중 적어도 하나를 수신하여 측위 대상의 위치를 1차적으로 추정하되,
    전파는 초광대역, 초음파, 지그비 및 와이파이 중 적어도 하나인 영상 및 전파 기반 위치 인식 방법.
  12. 제 10 항에 있어서, 영상 정보 저장 단계는
    영상 획득부가 획득하는 객체의 영상 정보를 수신하여 1차적으로 추정된 측위 대상의 위치 정보와 매핑하여 저장하는 영상 및 전파 기반 위치 인식 방법.
  13. 제 10 항에 있어서, 객체 정보 추출 단계는
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출하되,
    객체의 정보는 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 영상 및 전파 기반 위치 인식 방법.
  14. 제 10 항에 있어서, 객체 정보 추출 단계는
    1차적으로 추정된 측위 대상의 위치로부터 소정 범위에 존재하는 객체의 정보를 공간 정보 데이터 베이스로부터 추출하되,
    객체의 정보는 측위 대상이 획득한 객체의 영상 정보를 포함하는 영상 및 전파 기반 위치 인식 방법.
  15. 제 10 항에 있어서, 영상 및 전파 기반 위치 인식 방법은
    추출한 객체의 정보 중 객체의 위치, 높이 및 폭 중 적어도 하나를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치 및
    추출한 객체의 정보 중 객체의 영상 정보를 포함하는 객체의 정보와 수신된 객체의 영상 정보를 비교하여 2차적으로 추정한 측위 대상의 위치를 평균 내어 측위 대상의 위치를 3차적으로 추정하는 3차 측위 단계; 를
    더 포함하는 영상 및 전파 기반 위치 인식 방법.

KR1020150015504A 2015-01-30 2015-01-30 영상 및 전파 기반 위치 인식 장치 KR20160094197A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150015504A KR20160094197A (ko) 2015-01-30 2015-01-30 영상 및 전파 기반 위치 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150015504A KR20160094197A (ko) 2015-01-30 2015-01-30 영상 및 전파 기반 위치 인식 장치

Publications (1)

Publication Number Publication Date
KR20160094197A true KR20160094197A (ko) 2016-08-09

Family

ID=56712555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150015504A KR20160094197A (ko) 2015-01-30 2015-01-30 영상 및 전파 기반 위치 인식 장치

Country Status (1)

Country Link
KR (1) KR20160094197A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084397A1 (ko) * 2016-11-04 2018-05-11 렉스젠(주) 상호 기반 정보 제공 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084397A1 (ko) * 2016-11-04 2018-05-11 렉스젠(주) 상호 기반 정보 제공 장치 및 그 방법

Similar Documents

Publication Publication Date Title
Sakpere et al. A state-of-the-art survey of indoor positioning and navigation systems and technologies
Batistić et al. Overview of indoor positioning system technologies
Stojanović et al. Indoor localization and tracking: Methods, technologies and research challenges
Khudhair et al. Wireless indoor localization systems and techniques: survey and comparative study
KR101286169B1 (ko) 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법
Song et al. A survey on indoor positioning technologies
KR101600190B1 (ko) 환경 변수를 고려한 실내 측위 장치 및 그 방법
US20160183057A1 (en) Method and system for hybrid location detection
Jiménez et al. Finding objects using UWB or BLE localization technology: A museum-like use case
JP6395840B2 (ja) ＴｏＦフィンガープリント及びジオロケーションのための方法及び装置
Wahab et al. Indoor positioning system: A review
KR20190032791A (ko) 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
Rose et al. 3D trilateration localization using RSSI in indoor environment
Lategahn et al. Tdoa and rss based extended kalman filter for indoor person localization
CN110806560A (zh) 一种物体定位方法、系统、电子设备及可读存储介质
CN112272782A (zh) 使用附近的超声信号对移动设备进行临时定位
Popa et al. Combining cricket system and inertial navigation for indoor human tracking
KR101901407B1 (ko) 측위 장치 및 방법
Pasricha Overview of indoor navigation techniques
Jose et al. Taylor series method in TDOA approach for indoor positioning system.
KR20160094197A (ko) 영상 및 전파 기반 위치 인식 장치
Moschevikin et al. The impact of nlos components in time-of-flight networks for indoor positioning systems
TW201140123A (en) Locating electromagnetic signal sources
Samu et al. Survey on indoor localization: Evaluation performance of bluetooth low energy and fingerprinting based indoor localization system
Risteska Stojkoska et al. A survey of indoor localization techniques for smartphones

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination