KR20210071584A - 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기 - Google Patents

위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기 Download PDF

Info

Publication number
KR20210071584A
KR20210071584A KR1020190161917A KR20190161917A KR20210071584A KR 20210071584 A KR20210071584 A KR 20210071584A KR 1020190161917 A KR1020190161917 A KR 1020190161917A KR 20190161917 A KR20190161917 A KR 20190161917A KR 20210071584 A KR20210071584 A KR 20210071584A
Authority
KR
South Korea
Prior art keywords
location information
image
location
electronic device
information
Prior art date
Application number
KR1020190161917A
Other languages
English (en)
Inventor
강영수
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to KR1020190161917A priority Critical patent/KR20210071584A/ko
Priority to US17/113,931 priority patent/US20210173095A1/en
Publication of KR20210071584A publication Critical patent/KR20210071584A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/07—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing data for correcting measured positioning data, e.g. DGPS [differential GPS] or ionosphere corrections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

프로세서를 이용한 위치 측정 방법 방법이 개시된다. 본 방법은 전자 기기에서 촬영된 주변 영상을 획득하는 단계, 위성 항법 시스템을 이용하여 전자 기기의 제1 위치 정보를 획득하는 단계 및 제1 위치 정보를 전자 기기를 통해 촬영한 주변 영상을 이용하여 보정한 제2 위치 정보를 획득하는 단계를 포함하고, 제1 위치 정보로부터 제2 위치 정보로 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출될 수 있다.

Description

위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기{Method and apparatus for determining location by correcting Global Navigation Satellite System based location and electronic device thereof}
본 발명은 위성 항법 시스템 기반 위치의 보정을 통해 위치를 측정하는 방법, 위치 측정 장치 및 이를 수행하는 전자 기기에 관한 것이다.
인터넷 망이 개방되고 위치데이터와 관련된 법률이 정비됨에 따라, 위치 기반 서비스(Location Based Service; LBS) 관련 산업이 활성화되고 있다.
이러한 위치 기반 서비스를 이용하는 대표적인 디바이스로는 차량 등의 현재 위치를 측위 하거나 목적지까지의 이동 경로를 안내해주는 차량용 내비게이션이 있다.
뿐만 아니라, 최근에는 차량의 정차 또는 운행 중 발생한 사고의 책임소재에 따른 과실비율을 판단하기 위하여 객관적인 자료를 제공할 수 있는 차량용 블랙박스가 사용되고 있고, 성능이 향상됨에 따라 차량용 블랙박스를 통해서도 위치 기반 서비스가 제공되고 있다.
또한, 최근에는 위치 기반 서비스가 보행자를 대상으로도 확대되고 있고, 스마트폰을 통해 사람의 현재 위치, 목적지까지의 이동 경로를 안내하는 보행자 내비게이션 서비스도 제공되고 있다.
이와 같이, 위치 기반 서비스는 사람들의 실생활에 밀접하게 적용되어 다수 분야에서 폭넓게 활용되고 있다.
이러한 위치 기반 서비스가 원활하게 제공되기 위해서는, 사람이나 차량 등과 같은 측위 대상의 정확한 위치를 판단하는 것이 매우 중요하고, 종래에는 이를 위한 다양한 기술들이 제안되고 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 위성 항법 시스템을 이용하여 획득된 제1 위치 정보를 전자 기기를 통해 촬영한 주변 영상 데이터, 이동체의 이동 가능한 영역 데이터 및 카메라의 광축 방향의 변화 데이터 중 적어도 하나를 기초로 보정한 보정 위치 정보를 산출하는 위치 측정 방법, 위치 측정 장치를 제공함에 있다.
또한, 본 발명의 목적은 산출된 보정 위치 정보를 이용하여 위치 기반 안내를 제공하는 전자 기기를 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프로세서를 이용한 위치 측정 방법 방법은 전자 기기에서 촬영된 주변 영상을 획득하는 단계, 위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 단계 및 상기 제1 위치 정보를 상기 전자 기기를 통해 촬영한 주변 영상을 이용하여 보정한 제2 위치 정보를 획득하는 단계를 포함하고, 상기 제1 위치 정보로부터 상기 제2 위치 정보로 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출될 수 있다.
그리고, 상기 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함하고, 상기 전방 영상 및 후방 영상을 카메라의 화각을 고려하여 결합한 결합 영상을 생성하는 단계를 더 포함하고, 상기 제2 위치 정보를 획득하는 단계는, 상기 결합 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다.
또한, 상기 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성하는 단계를 더 포함하고, 상기 제2 위치 정보를 획득하는 단계는, 상기 생성된 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다.
그리고, 상기 제2 위치 정보를 획득하는 단계는, 상기 촬영된 주변 영상 및 상기 제1 위치 정보를 영상 분석 서버에 전송하는 단계, 상기 영상 분석 서버에서는 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출하고, 상기 검출된 영상 지도와 상기 수신된 주변 영상을 비교하여 상기 검출된 영상 지도에서 상기 주변 영상에 포함된 정적 객체를 포함하는 영상을 검출하며, 검출된 영상과 주변 영상의 시점 차이 및 검출된 영상에 매칭된 위치 정보와 상기 제1 위치 정보의 차이를 산출하여 상기 제1 위치 정보의 보정을 위한 보정값을 산출하고, 상기 산출한 보정값을 기초로 상기 제2 위치 정보를 산출할 수 있다.
또한, 상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인지 여부를 판단하는 단계를 더 포함할 수 있다.
그리고, 상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단하는 단계를 더 포함할 수 있다.
그리고, 상기 제3 위치 정보를 획득하는 단계는, 상기 제2 위치 정보를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시켜 상기 제3 위치 정보를 획득할 수 있다.
또한, 상기 판단하는 단계는, 상기 이동체의 타입을 결정하고, 상기 결정된 이동체의 타입에 따라 상기 이동 가능한 영역을 판단하는 단계를 포함할 수 있다.
그리고, 상기 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 변화한 방향값을 기초로 상기 제2 위치 정보 또는 상기 제3 위치 정보를 보정하여 제4 위치 정보를 생성하는 단계를 더 포함할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 위치 측정 장치는 전자 기기에서 촬영된 주변 영상을 획득하는 영상 획득부, 위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 제1 위치 정보 획득부 및 상기 전자 기기를 통해 촬영한 차량 주행 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 제2 위치 정보 획득부를 포함하고, 상기 제1 위치 정보로부터 상기 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출될 수 있다.
또한, 상기 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함하고, 상기 전방 영상 및 후방 영상을 카메라의 화각을 고려하여 결합하는 영상 처리부를 더 포함하고, 상기 제2 위치 정보 획득부는 상기 결합 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다.
그리고, 상기 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성하는 이미지 처리부를 더 포함하고, 상기 제2 위치 정보 획득부는 상기 생성된 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다.
또한, 상기 촬영된 주변 영상 및 상기 제1 위치 정보를 영상 분석 서버에 전송하는 통신부를 더 포함하고, 상기 영상 분석 서버에서는 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출하고, 상기 검출된 영상 지도와 상기 수신된 주변 영상을 비교하여 상기 검출된 영상 지도에서 상기 주변 영상에 포함된 정적 객체를 포함하는 영상을 검출하며, 검출된 영상과 주변 영상의 시점 차이 및 검출된 영상에 매칭된 위치 정보와 상기 제1 위치 정보의 차이를 산출하여 상기 제1 위치 정보의 보정을 위한 보정값을 산출하고, 상기 산출한 보정값을 기초로 상기 제2 위치 정보를 산출할 수 있다.
그리고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단하는 제3 위치 정보 획득부를 더 포함할 수 있다.
또한, 상기 제3 위치 정보 획득부는, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득할 수 있다.
그리고, 상기 제3 위치 정보 획득부는, 상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단할 수 있다.
또한, 제3 위치 정보 획득부는, 상기 제2 위치 정보를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시켜 상기 제3 위치 정보를 획득할 수 있다.
그리고, 상기 제3 위치 정보 획득부는, 상기 이동체의 타입을 결정하고, 상기 결정된 이동체의 타입에 따라 상기 이동 가능한 영역을 판단할 수 있다.
또한, 상기 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 방향값을 기초로 상기 제2 위치 정보 또는 상기 제3 위치 정보를 보정하여 제4 위치 정보를 생성하는 제4 위치 정보 획득부;를 더 포함할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 기기를 이용한 위치 기반 안내 서비스 제공 방법은 전자 기기에서 촬영된 주변 영상을 획득하는 단계, 위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 단계, 상기 제1 위치 정보를 상기 전자 기기를 통해 촬영한 주변 영상을 이용하여 보정한 제2 위치 정보를 획득하는 단계 및 상기 제2 위치 정보를 기초로 위치 기반 안내를 제공하는 단계를 포함하고, 상기 제1 위치 정보로부터 상기 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출될 수 있다.
그리고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단하고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단할 수 있다.
그리고, 상기 위치 기반 안내를 제공하는 단계는, 상기 제2 위치 정보 또는 제3 위치 정보를 기반으로 상기 위치 기반 안내 객체를 생성하고, 상기 생성된 안내 객체를 증강 현실 상에 표시하는 단계를 포함할 수 있다.
또한, 상기 위치 기반 안내를 제공하는 단계는, 지도 데이터를 검출하고, 검출된 지도 데이터에 상기 제2 위치 정보 또는 상기 제3 위치 정보를 나타내는 식별자를 표출하는 미니 맵을 생성하는 단계 및 상기 생성된 미니 맵과 상기 촬영된 영상을 함께 표시하는 단계를 포함할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 기기는 상기 전자 기기에서 촬영된 주변 영상을 획득하는 영상 획득부, 위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 제1 위치 정보 획득부, 상기 전자 기기를 통해 촬영한 주변 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 제2 위치 정보 획득부 및 상기 제2 위치 정보를 기초로 위치 기반 안내를 제공하는 제어부를 포함하고, 상기 제1 위치 정보로부터 상기 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출될 수 있다.
그리고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단하고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 제3 위치 정보 획득부를 더 포함할 수 있다.
또한, 상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단할 수 있다.
그리고, 상기 제어부는, 상기 제2 위치 정보 또는 제3 위치 정보를 기반으로 상기 위치 기반 안내 객체를 생성하고, 상기 생성된 안내 객체를 증강 현실 상에 표시하도록 디스플레이부를 제어할 수 있다.
또한, 지도 데이터를 검출하고, 검출된 지도 데이터에 상기 제2 위치 정보 또는 상기 제3 위치 정보를 나타내는 식별자를 표출하는 미니 맵을 생성하는 미니 맵 생성부를 더 포함하고, 상기 제어부는, 상기 생성된 미니 맵과 상기 촬영된 영상을 함께 표시하도록 디스플레이부를 제어할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명에 일 실시 예에 따르면 상술한 위치 측정 방법을 실행하기 위하여 저장 매체에 기록된 프로그램을 제공할 수 있다.
또한, 상술한 목적을 달성하기 위한 본 발명에 일 실시 예에 따르면 상술한 위치 측정 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 위성 항법 시스템을 이용하여 획득된 제1 위치 정보를 전자 기기를 통해 촬영한 주변 영상 데이터, 이동체의 이동 가능한 영역 데이터 및 카메라의 광축 방향의 변화 데이터 중 적어도 하나를 기초로 보정한 보정 위치 정보를 산출함으로써, 이동체의 정확한 위치를 측정할 수 있다.
이에 따라, 본 발명에 따르면, 보행자나 차량 운전자에게 정확한 위치를 기반으로 경로 안내 서비스를 제공하거나 미니맵 서비스를 제공할 수 있기에, 보행자나 차량 운전자가 자신의 현재 위치를 정확하게 인식하고, 목적지까지 수월하게 이동이 가능하여 보행자나 차량 운전자의 이동 편의성을 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 위치 측정 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 위치 측정 장치를 보다 구체적으로 나타내는 블록도이다.
도 3 내지 4는 본 발명의 일 실시 예에 따른 제2 위치 정보 획득을 위한 이미지 전처리 과정을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 이동체의 속성에 따른 위치 보정 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 카메라 광축 방향에 따른 위치 보정 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 위치 측정 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 위치 측정 방법을 나타내는 보다 구체적으로 나타내는 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 영상 분석을 이용하여 제2 위치 정보를 사출하는 과정을 구체적으로 나타내는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 전자 기기를 나타내는 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 운전자 경로 안내 화면을 나타내는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 보행자 경로 안내 화면을 나타내는 도면이다.
도 13은 본 발명의 다른 실시 예에 따른 미니맵 표출 화면을 나타내는 도면이다.
도 14는 본 발명의 일 실시 예에 따른 위치 보정 시스템을 나타내는 블록도이다.
도 15는 본 발명의 실시 예에 따른 위치 측정 장치는 전자 기기의 카메라를 통해 획득된 이미지 상의 객체들로부터 복수 개의 특징점들을 추출하는 방식을 설명하기 위한 도면이다.
도 16은 본 발명의 실시 예에 따라 사용자 전자 기기의 화면 상에서 사용자 주변에 위치한 정적 객체로부터 특징점들이 추출되는 것을 보여주는 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 위치 측정 장치를 나타내는 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 위치 측정 장치를 보다 구체적으로 나타내는 블록도이다.
도 1 내지 2를 참조하면, 위치 측정 장치(10)는 영상 획득부(11), 제1 위치 정보 획득부(12), 제2 위치 정보 획득부(13), 제3 위치 정보 획득부(14), 제4 위치 정보 획득부(15), 영상 처리부(16)의 전부 또는 일부를 포함할 수 있다.
이러한 위치 측정 장치(10)는 전자 기기에서 촬영된 주변 영상을 획득하고, 위성 항법 시스템을 이용하여 획득된 제1 위치 정보를 전자 기기를 통해 촬영한 주변 영상 데이터, 이동체의 이동 가능한 영역 데이터 및 카메라의 광축 방향의 변화 데이터 중 적어도 하나를 기초로 보정한 보정 위치 정보를 산출할 수 있다.
여기서, 위치 측정 장치(10)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 구현될 수 있다. 일 예로, 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
그리고, 이동체는 이동 가능하고 위치 측정이 필요한 객체로써, 자신의 신체를 이용하여 이동 가능한 사람, 강아지 등의 생명체, 동력을 이용하여 생명체를 이동시킬 수 있는 운송체를 포함할 수 있다. 여기서, 운송체는 차량, 선박, 비행기 등을 포함할 수 있고, 차량(Vehicle)은 선로 위를 주행하는 철도 차량 및 차로 위를 주행하는 차량(Car), 오토바이, 자전거 등 모든 운송 기계를 포함하는 개념일 수 있다.
이하에서는 설명의 편의를 위하여 이동체가 사람과 차량으로 구현된 경우를 예로 들어, 위치 측정 장치(10)를 구성하는 각각의 구성 모듈에 대해서 보다 상세하게 설명하기로 한다.
영상 획득부(11)는 이동체의 이동 중 전자 기기의 카메라에서 촬영된 주변 영상을 획득할 수 있다.
일 예로, 이동체가 사람인 경우, 영상 획득부(11)는 사람의 이동 중에 사람이 구비한 스마트폰과 같은 전자 기기에서 촬영된 주변 영상을 실시간으로 획득할 수 있다.
다른 예로, 이동체가 차량인 경우, 영상 획득부(11)는 차량의 이동 중에 차량에 설치된 차량용 영상 촬영 장치와 같은 전자 기기에서 촬영된 주변 영상을 실시간으로 획득할 수 있다.
여기서, 촬영된 주변 영상에는 이동체가 이동하는 실세계 환경에 위치한 수많은 객체들, 예를 들어, 차량, 사람, 동물, 교량, 건물, 차도, 인도, 차도 안내 표지, 횡단 보도, 교차로, 신호등, 중앙 분리대, 버스 정류장, 수목 등이 포함될 수 있다.
일 예로, 차도의 촬영 영상에는 차선을 따라 구별되는 복수의 차로, 복수의 차로로 구성된 차도, 차도를 주행하고 있는 복수의 차량이 포함될 수 있다. 또한, 차량이 주행 중인 차도에 따라 획득된 주행 영상에는 차도 안내 표지가 포함될 수도 있다. 여기서, 차선은 차량이 위치한 차로(lane)를 형성하는 양측 선(line) 각각을 의미할 수 있다. 또한, 차로(lane)는 1 차로, 2 차로,.. N 차로 등과 같이 차선에 의해 형성되고, 차량이 주행하는 차도를 의미할 수 있다.
이러한 본 발명에 따른 객체는 정적 객체와 동적 객체로 구분될 수 있다.
정적 객체는 실세계 환경에서 위치, 형상 등이 변화되지 않거나 변화될 가능성이 매우 낮은 객체를 의미할 수 있다. 즉, 정적 객체는 실세계 환경의 특정 영역을 특정 시간 구간 동안 촬영하는 경우, 특정 시간 구간 동안 촬영된 영상에서 모두 포함되어 있거나 거의 대부분의 영상에 포함되어 있는 객체일 수 있다.
그리고, 동적 객체는 실세계 환경에서 위치, 형상 등이 변화될 가능성이 높은 객체를 의미할 수 있다. 즉, 동적 객체는 실세계 환경의 특정 영역을 특정 시간 구간 동안 촬영하는 경우, 특정 시간 구간 동안 촬영된 영상의 일부에만 포함되고 나머지 일부에는 포함되지 않는 객체일 수 있다.
본 발명에 따르면, 촬영된 주변 영상에 포함된 다양한 객체들 중 차량, 사람, 동물 등과 같은 객체는 동적 객체로 분류될 수 있다. 그리고, 촬영된 주변 영상에 포함된 다양한 객체들 중 건물, 교량, 차도, 인도 등 고정 시설물은 정적 객체로 분류될 수 있다.
한편, 제1 위치 정보 획득부(12)는 위성 항법 시스템을 이용하여 전자 기기의 제1 위치 정보를 획득할 수 있다. 여기서, 위성 항법 시스템은 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치로, GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시 예에 따른 제1 위치 정보 획득부(12)는 위치 측정 장치(10)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다. 또는, 제1 위치 정보 획득부(12)는 GNSS 외에도 기지국 또는 AP(Access Point)와의 통신을 통해 위치 데이터를 획득할 수도 있다.
제2 위치 정보 획득부(13)는 촬영된 주변 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다. 구체적으로, 제2 위치 정보 획득부(13)는 영상 획득부(11)를 통해 획득된 주변 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다. 여기서, 제1 위치 정보로부터 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출된 값일 수 있다.
이를 위하여, 제2 위치 정보 획득부(13)는 영상 처리부(16)와 연계하여 제2 위치 정보 획득 과정이 수행되기 위한 이미지 전처리를 수행할 수 있다.
구체적으로, 영상 획득부(11)에서 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함할 수 있다. 이 경우, 영상 처리부(16)는 전방 영상 및 후방 영상을 카메라의 화각을 고려하여 결합할 수 있고, 제2 위치 정보 획득부(13)는 제1 위치 정보 획득부(12)에서 획득된 제1 위치 정보를 상기 생성된 결합 영상을 이용하여 보정한 제2 위치 정보를 획득할 수 있다.
일 예로, 제1 카메라의 화각과 제2 카메라의 화각에 의하여 전방위를 커버할 수 없는 경우, 영상 처리부(16)는 제1 카메라와 제2 카메라의 화각에 의해 커버되지 않는 나머지 부분의 보간을 위한 보간 영상을 생성하고, 생성된 보간 영상과 영상 획득부(11)에서 획득된 전방 영상과 후방 영상을 결합시켜 결합 영상을 생성할 수 있다. 여기서, 영상 처리부(16)는 전방 영상과 후방 영상 간 화각의 차이를 산출하고, 전방 영상의 에지와 후방 영상 에지 사이의 화소값 차이를 산출하며, 산출된 화각의 차이와 산출된 화소의 차이를 기초로 상기 전방 영상과 후방 영상이 화소가 균일하게 변경되도록 하는 보간 영상을 생성할 수 있다. 그리고, 영상 처리부(16)는 생성된 보간 영상을 전방 영상과 후방 영상 사이에 결합시켜, 최종 결합 영상을 생성할 수 있다.
다만, 이는 본 발명의 일 실시 예일 뿐, 본 발명의 다른 실시 예에 따르면, 제1 카메라의 화각과 제2 카메라의 화각에 의하여 전방위를 커버할 수 없는 경우에도, 영상 처리부(16)는 보간 영상의 생성 없이 전방 영상과 후방 영상을 결합시킨 결합 영상을 생성할 수 있다.
또한, 영상 획득부(11)를 통해 획득된 주변 영상에는 동적 객체와 정적 객체가 모두 포함되어 있을 수 있다. 이 경우, 영상 처리부(16)는 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성할 수 있다.
일 예로, 영상 처리부(16)는 건물, 교량, 차도, 인도 등 고정 시설물에 대한 동적 객체 템플릿과 차량, 사람, 동물 등의 정적 객체 템플릿을 저장할 수 있고, 영상 획득부(11)를 통해 획득된 주변 영상과 기 저장된 동적 객체 템플릿 및 정적 객체의 템플릿 매칭을 통해 주변 영상으로부터 동적 객체와 정적 객체를 검출할 수 있다.
다른 예로, 영상 처리부(16)는 인공 신경망(artificial neural network)을 이용하여 영상 획득부(11)를 통해 획득된 주변 영상에서 동적 객체와 정적 객체를 검출할 수 있다. 구체적으로, 영상 처리부(16)는 건물, 교량, 차도, 인도 등 고정 시설물에 대한 동적 객체 정답 이미지 세트(positive training image dataset for dynamic object)와 차량, 사람, 동물 등의 정적 객체 정답 이미지 세트(positive training image dataset for static object)를 수집할 수 있다. 뿐만 아니라, 영상 처리부(16)는 동적 객체 오답 이미지 세트(negative training image dataset for dynamic object)와 정적 객체 오답 이미지 세트(negative training image dataset for static object) 도 수집할 수 있다. 그리고, 영상 처리부(16)는 정답 이미지 세트와 오답 이미지 세트에 대해 딥러닝(deep learning)을 수행하여 학습을 통해 동적 객체/정적 객체 추출 모델을 구축할 수 있다. 딥러닝(deep learning)은 신경망 모델 중 하나인 CNN(Convolution Neural Network) 알고리즘이 적용될 수 있다. 이 경우, 딥 러닝은 동적 객체 이미지와 정적 객체 이미지의 다양한 조건을 가정하여 증식(augmentation)된 데이터를 통해 학습을 수행할 수 있다. 여기서, 조건이란 신경망 모델의 학습을 위한 데이터의 생성을 위해 학습 데이터로 수집된 영상을 변환하기 위한 조건을 정의한다. 구체적으로 이미지의 이동(shift), 회전(rotation), 밝기(brightness) 변화, 번짐(blur) 등의 요소들에 의해 다양한 양상을 보일 수 있으므로 이를 고려하여 데이터를 증식할 수 있다.
이에 따라, 영상 획득부(11)를 통해 주변 영상이 획득되면, 영상 처리부(16)는 학습된 동적 객체/정적 객체 추출 모델을 통해 주변 영상으로부터 동적 객체와 정적 객체를 검출할 수 있다.
또 다른 예로, 영상 처리부(16)는 영상 획득부(11)를 통해 획득된 복수의 주변 영상의 투명화 처리 및 정합을 수행하고, 정합된 주변 영상에서 동적 객체와 정적 객체를 검출할 수 있다. 구체적으로, N개의 주변 영상을 정합한다고 가정할 때, 투명화 처리를 수행하지 않은 영상의 투명도를 '1'이라고 가정하면, 투명화 할 각각의 영상의 화소 값에 1/N을 곱하여 투명화 처리를 할 수 있다. 그리고, 상술한 바와 같이 투명화된 N개의 영상들을 정합시키면 각 영상에 존재하는 정적 객체는 정합된 영상 상에서 그대로 남게 되지만, 동적 객체는 사라지게 될 것이다. 즉, 각각의 영상을 투명화시킨 후 정합하면, 각 영상에서 정적 객체에 해당되는 화소는 동일한 상수가 곱해진 투명도가 적용된 상태이므로, 각 화소 값을 더하면 원래의 화소 값과 동일하게 되거나 근접하게 되어 정합 영상 상에서도 그대로 존재하게 된다. 이 경우, 영상 처리부(16)는 정합 영상의 화소값과 복수의 주변 영상의 화소값의 표준 편차를 화소 별로 각각 계산하고, 상기 계산된 표준 편차들 중 미리 정해진 임계 값 이내의 값을 갖는 화소의 경우, 본 발명의 실시 예에 따른 정적 객체를 구성하는 화소로 판단할 수 있다. 반면, 상기 계산된 표준 편차들 중 미리 정해진 임계 값을 초과하는 값을 갖는 화소의 경우, 본 발명의 실시 예에 따른 동적 객체를 구성하는 화소로 판단할 수 있다. 이러한 방식으로 영상 처리부(16)는 각 영상의 화소 값들과 정합 영상의 화소 값들의 표준 편차를 계산함으로써, 정합 이미지로부터의 정적 객체와 동적 객체를 구분할 수 있다.
한편, 상술한 과정에 따라, 영상 획득부(11)를 통해 획득된 주변 영상에서 동적 객체와 정적 객체가 검출되면, 영상 처리부(16)는 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성할 수 있다.
한편, 이미지의 전처리가 완료되면, 제2 위치 정보 획득부(13)는 실세계 영상 지도 데이터베이스(Data base)를 구축하고 있는 영상 분석 서버(미도시)와의 통신을 통해 제2 위치 정보를 획득할 수 있다. 여기서, 실세계 영상 지도는 실세계를 영상으로 나타내는 실세계 영상과 해당 영상에 매칭된 위치 정보를 저장할 수 있다.
일 예로, 제2 위치 정보 획득부(13)는 영상 획득부(11)를 통해 획득된 주변 영상과 주변 영상에 대한 상세 정보를 영상 분석 서버에 전송할 수 있다. 여기서, 주변 영상에 대한 상세 정보는 주변 영상이 촬영된 위치를 나타내는 위성 항법 시스템 기반의 제1 위치 정보, 주변 영상이 촬영된 시간 정보, 카메라의 스펙 정보 등을 포함할 수 있다.
이 경우, 영상 분석 서버는 데이터 베이스에 저장된 실세계 영상 지도 중 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출할 수 있다. 그리고, 영상 분석 서버는 검출된 실세계 영상 지도와 수신된 주변 영상을 비교하여 검출된 실세계 영상 지도에서 주변 영상의 정적 객체를 포함하는 영상을 검출할 수 있다. 그리고, 영상 분석 서버는 검출된 영상에 매칭된 위치 정보를 검출할 수 있다. 구체적으로, 영상 분석 서버는 데이터 베이스에 저장된 실세계 영상 지도에 저장된 객체들의 특징 정보들 중 전자 기기로부터 수신된 주변 영상 내의 객체에 대한 특징 정보와 일치하는 객체를 데이터 베이스에서 검출할 수 있다. 그리고, 영상 분석 서버는 검출된 객체에 매칭되는 위치 정보를 전자 기기로 전송할 수 있다.
그리고, 영상 분석 서버는 검출된 영상과 주변 영상의 시점 차이 및 검출된 영상의 위치 정보와 상기 제1 위치 정보의 차이를 산출하여 제1 위치 정보의 보정을 위한 보정값을 산출하고, 산출한 보정값을 기초로 제2 위치 정보를 산출할 수 있다. 여기서, 시점은 피사체를 촬영하는 카메라의 광축이 향하는 방향을 의미할 수 있고, 같은 피사체를 촬영하더라도 피사체를 촬영하는 시점이 달라지면 촬영된 영상에서 피사체는 다르게 표출될 수 있다. 이에 따라, 본 발명의 일 실시 예에 따르면, 영상 분석 서버는 검출된 영상의 위치 정보와 제1 위치 정보의 차이를 산출하여 제1 보정값을 생성하고, 검출된 영상과 주변 영상의 시점 차이를 산출하여 제2 보정값을 생성하며, 생성된 제1 보정값 및 제2 보정값을 종합하여 제1 위치 정보의 보정을 위한 보정값을 산출하고, 산출한 보정값을 기초로 제2 위치 정보를 산출할 수 있다. 여기서, 위치 정보와 보정값은 x 좌표값, y 좌표값 및 z 좌표값으로 구성될 수 있다.
한편, 상술한 예시에 따르면, 영상 분석 서버(11)에서 모든 영상 분석 과정이 수행되는 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 본 발명의 다른 구현 예에 따르면, 실세계 영상 지도 중 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출하는 단계, 검출된 영상 지도와 수신된 주변 영상을 비교하여 검출된 영상 지도에서 주변 영상에 포함된 정적 객체를 포함하는 영상을 검출하는 단계, 검출된 영상과 주변 영상의 시점 차이를 산출하여 제1 위치 정보의 보정을 위한 보정값을 산출하는 단계 및 산출한 보정값을 기초로 제2 위치 정보를 산출하는 단계 중 적어도 하나의 단계는 위치 측정 장치(10)에서 수행될 수 있고, 나머지 단계는 영상 분석 서버에서 수행되는 것으로 구현될 수도 있다.
한편, 제3 위치 정보 획득부(14)는 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보가 이동체의 종류에 따라 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단할 수 있다. 그리고, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득할 수 있다.
구체적으로, 제3 위치 정보 획득부(14)는 이동체의 타입을 판단하고, 이동체의 타입에 따라 이동 가능한 영역을 판단할 수 있다.
일 예로, 이동체의 타입이 사람인 경우, 이동체의 이동 가능한 영역은 도로, 이동체의 이동 불가능한 영역은 차도로 설정될 수 있다. 다른 예로, 이동체의 타입이 차량인 경우, 이동체의 이동 가능한 영역은 차도로, 이동체의 이동 불가능한 영역은 인도로 설정될 수 있다. 즉, 본 발명에 따른 이동체의 이동 가능한 영역은 이동체의 타입에 따라 달라질 수 있다.
위와 같이, 제3 위치 정보 획득부(14)는 위치 측정 장치(10)가 구비된 이동체의 타입을 판단하고, 이동체의 타입이 사람인지 또는 차량인지에 따라 이동체의 이동 가능한 영역을 판단할 수 있다.
한편, 이동체의 이동 가능한 영역이 판단되면, 제3 위치 정보 획득부(14)는 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단할 수 있다. 일 예로, 이동체의 이동 가능한 영역이 인도인데, 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보가 차도인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보가 이동체가 이동 불가능한 영역 내에 위치하는 것으로 판단할 수 있다. 다른 예로, 이동체의 이동 가능한 영역이 차도인데, 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보가 인도인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보가 이동체가 이동 불가능한 영역 내에 위치하는 것으로 판단할 수 있다.
만약, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득할 수 있다. 일 예로, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시킴으로써 제3 위치 정보를 획득할 수 있다.
다만, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보를 보정하지 않고 제2 위치 정보를 상기 이동체의 위치로 판단할 수 있다.
한편, 제4 위치 정보 획득부(15)는 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 변화한 방향값을 기초로 제2 위치 정보 또는 제3 위치 정보를 보정하여 제4 위치 정보를 생성할 수 있다. 즉, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아니어서 제3 위치 정보 획득부(14)에서 제2 위치 정보를 보정한 제3 위치 정보를 산출하는 경우, 제4 위치 정보 획득부(15)는 제3 위치 정보를 보정하여 제4 위치 정보를 생성할 수 있다. 다만, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치이기에 제3 위치 정보 획득부(14)의 동작이 불필요한 경우, 제4 위치 정보 획득부(15)는 제2 위치 정보를 보정하여 제4 위치 정보를 생성할 수 있다.
이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화의 일 예로, 차량이 차로를 따라 주행 중에 차로를 변경하는 경우, 차량에 설치된 영상 촬영 장치의 광축 방향은 차선 변경 방향을 따라 변경될 수 있다. 이 경우, 제4 위치 정보 획득부(15)는 차량에 설치된 카메라 광축이 향하는 광축 방향 변화의 크기값(예를 들어, 광축 방향 변화 각도 등), 광축 방향 변화의 방향값(예를 들어, 현재 방향 기준 좌측, 우측 등)을 산출할 수 있다. 그리고, 제4 위치 정보 획득부(15)는 차량의 주행 속도, 가속도와 같은 주행 정보를 획득할 수 있다. 그리고, 제4 위치 정보 획득부(15)는 획득된 광축 방향 변화의 크기값, 광축 방향 변화의 방향값과 주행 정보를 기초로 차선 변경에 따른 차량의 이동 방향 및 거리를 산출하고, 산출된 차량의 이동 방향 및 거리를 기초로 제2 위치 정보 또는 제3 위치 정보를 보정한 제4 위치 정보를 산출할 수 있다.
다른 예로, 사람이 이동하는 중 이동 방향을 변경하는 경우(예를 들어, 제1 방향으로 걸어가거나 달려가는 중에 방향을 제2 방향으로 전환하는 경우), 사람이 구비한 스마트폰의 카메라의 광축 방향은 변경될 수 있다. 이 경우, 제4 위치 정보 획득부(15)는 사람이 구비한 스마트폰 카메라 광축이 향하는 광축 방향 변화의 크기값(예를 들어, 광축 방향 변화 각도 등), 광축 방향 변화의 방향값(예를 들어, 현재 방향 기준 좌측, 우측 등)을 산출할 수 있다. 그리고, 제4 위치 정보 획득부(15)는 사람의 이동 속도, 가속도와 같은 이동 정보를 획득할 수 있다. 그리고, 제4 위치 정보 획득부(15)는 획득된 광축 방향 변화의 크기값, 광축 방향 변화의 방향값과 이동 정보를 기초로 사람의 이동 방향 변경에 따른 사람의 이동 방향 및 거리를 산출하고, 산출된 사람의 이동 방향 및 거리를 기초로 제2 위치 정보 또는 제3 위치 정보를 보정한 제4 위치 정보를 산출할 수 있다.
이하에서는 도 3 내지 6을 참조하여 본 발명에 대하여 보다 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 제2 위치 정보 획득을 위한 이미지 전처리 과정 중 정적 객체만을 포함하는 영상을 생성하는 것을 나타내는 도면 이다.
도 3(a)의 좌측 도면을 참조하면, 이동체가 차량인 경우, 차량에 설치된 영상 촬영 장치를 통해 촬영된 영상에는 차도, 차도를 주행 중인 차량, 인도, 건물, 차도 표지판 등이 포함될 수 있다. 이 경우, 영상 획득부(11)는 촬영된 주변 영상(21)을 획득할 수 있다. 그리고, 영상 처리부(16)는 템플릿 매칭 또는 인공 신경망 모델을 이용하여 주변 영상(21)으로부터 동적 객체를 검출할 수 있다. 일 예로, 도 3(a)의 좌측 도면과 같은 주변 영상(21)에서 영상 처리부(16)는 동적 객체인 차량(21-1,21-2)을 검출할 수 있다.
이 경우, 영상 처리부(16)는 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성할 수 있다. 일 예로, 도 3(a)의 우측 도면과 같이, 영상 처리부(16)는 동적 객체인 차량(21-1,21-2)을 제외시키고, 인도, 건물, 차도 표지판 등과 같은 정적 객체만을 포함하는 영상(22)을 생성할 수 있다.
또한, 도 3(b)의 좌측 도면을 참조하면, 이동체가 사람인 경우, 사람이 구비한 스마트폰을 통해 촬영된 영상에는 나무, 사람, 건물, 차도, 인도 등이 포함될 수 있다. 이 경우, 영상 획득부(11)는 촬영된 주변 영상(23)을 획득할 수 있다. 그리고, 영상 처리부(16)는 템플릿 매칭 또는 인공 신경망 모델을 이용하여 주변 영상(23)으로부터 동적 객체를 검출할 수 있다. 일 예로, 도 3(b)의 좌측 도면과 같은 주변 영상(23)에서 영상 처리부(16)는 동적 객체인 사람을 검출할 수 있다.
이 경우, 영상 처리부(16)는 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성할 수 있다. 일 예로, 도 3(b)의 우측 도면과 같이, 영상 처리부(16)는 동적 객체인 사람(23-1,23-2)을 제외시키고, 나무, 건물, 인도, 차도 등과 같은 정적 객체만을 포함하는 영상(22)을 생성할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 제2 위치 정보 획득을 위한 이미지 전처리 과정 중 결합 영상을 생성하는 것을 나타내는 도면이다.
도 4(a)의 좌측 도면을 참조하면, 이동체가 차량인 경우, 차량에는 차량의 주행 상황을 정확하게 기록하기 위하여 전방 촬영을 수행하는 전방 카메라(31)와 후방 촬영을 수행하는 후방 카메라(32)가 구비될 수 있다. 그리고, 영상 획득부(11)에서 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함할 수 있다.
만약, 전방 카메라(31)의 화각과 후방 카메라(32)의 화각에 의하여 전방위를 커버할 수 없는 경우, 영상 처리부(16)는, 도 4(a)의 우측 도면과 같이, 전방 카메라(31)와 후방 카메라(32)의 화각에 의해 커버되지 않는 나머지 부분의 보간을 위한 보간 영상을 생성할 수 있다. 보간 영상은 전방 영상과 후방 영상에 의해 커버되지 않는 나머지 부분을 채우기 위한 영상으로, 영상 처리부(16)는 보간 영상을 생성하고, 생성된 보간 영상 및 전방 영상 및 후방 영상을 포함하는 최종 결합 영상을 생성할 수 있다. 구체적으로, 영상 처리부(16)는 이동체의 이동 중에 영상 획득부(11)에서 획득된 복수의 주변 영상에서 상호 인접하는 영상들을 비교하여 영상 내의 차이가 있는 부분을 검출하고, 검출된 부분을 이어 붙여서 보간 영상을 생성할 수 있다. 예를 들어, 이동체가 이동 중인 경우, 제1 시점에 제1 위치에서 촬영된 제1 주변 영상에는 포함되어 있는 부분이 제2 시점에 제1 위치로부터 소정 거리 이동한 제2 위치에서 촬영된 제2 주변 영상에는 포함되어 있지 않을 수 있다. 본 발명에 따른 영상 처리부(16)는 영상 획득부(11)에서 획득된 복수의 주변 영상에서 상호 인접하는 영상들의 화소값을 비교하여 상호 간 차이가 있는 부분 영상을 검출하고, 상기 검출된 부분 시간 별로 순차적으로 이어 붙여서 보간 영상을 생성할 수 있다.
또한, 도 4(b)의 좌측 도면을 참조하면, 이동체가 사람인 경우, 사람은 이동 중에 각종 위치 기반 안내를 제공받기 위하여 스마트폰을 소지할 수 있고, 스마트폰에는 전방 촬영을 수행하는 전방 카메라(41)와 후방 촬영을 수행하는 후방 카메라(42)가 구비될 수 있다. 그리고, 영상 획득부(11)에서 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함할 수 있다.
만약, 전방 카메라(31)의 화각과 후방 카메라(32)의 화각에 의하여 전방위를 커버할 수 있는 경우, 영상 처리부(16)는, 도 4(b)의 우측 도면과 같이, 전방 카메라(41)에 의해 촬영된 전방 영상과 후방 카메라(42)에 의해 촬영된 후방 영상을 결합한 결합 영상을 생성할 수 있다.
한편, 영상 처리부(16)에서 생성된 결합 영상은 위성 항법 시스템을 이용하여 산출된 절대 위치인 제1 위치 정보의 보정을 위한 보정값의 산출에 이용될 수 있고, 제2 위치 정보 획득부(13)는 산출된 보정값을 이용하여 산출된 제2 위치 정보를 획득할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이동체의 속성에 따른 위치 보정 방법을 설명하기 위한 도면 이다. 도 5를 참조하면, 본 발명에 따른 제3 위치 정보 획득부(14)는 이동체의 타입을 결정하고, 결정된 이동체의 타입에 따라 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단할 수 있다.
일 예로, 이동체의 타입이 사람인 경우, 이동체의 이동 가능한 영역은 인도와 횡단보도 이동체의 이동 불가능한 영역은 차도로 설정될 수 있다. 이와 같이, 이동체의 타입이 사람으로 판단된 상황에서 도 5(a)와 같이 제2 위치 정보(71-1, 71-3)가 차도(50)에 위치하는 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(71-1, 71-3)는 이동 불가능한 영역에 위치하는 것으로 판단하고, 제2 위치 정보(71-1, 71-3)는 부정확한 위치 정보로 판단할 수 있다. 다만, 예외적으로, 사람이 이동 가능한 횡단보도는 차도에 형성되기에, 본 발명에 따른 제2 위치 정보(71-1, 71-3)가 차도(50)의 횡단 보도에 위치하는 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(71-1, 71-3)는 이동 가능한 영역에 위치하는 것으로 판단하고, 제2 위치 정보(71-1, 71-3)를 정확한 위치 정보로 판단할 수 있다
그리고, 제3 위치 정보 획득부(14)는 제2 위치 정보(71-1, 71-3)를 이동체가 이동 가능한 영역인 내의 제3 위치로 보정한 제3 위치 정보(71-2, 71-4)를 산출할 수 있다. 일 예로, 도 5(a)와 같이, 제2 위치 정보(71-1, 71-3)가 사람이 이동 가능한 영역 내의 위치가 아닌 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보(71-1, 71-3)를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시킴으로써 제3 위치 정보(71-2,71-4)를 산출할 수 있다.
이 경우, 제3 위치 정보 획득부(14)는 차도(50) 내의 제2 위치 정보로부터 더 가까운 인도(61, 62)로 횡방향 이동시켜 제3 위치 정보를 산출할 수 있다. 구체적으로, 제2 위치 정보(71-1)가 차도(50)의 중앙선을 기준으로 우측인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(71-1)를 우측으로 횡방향 이동시켜 인도(62)에 위치시킨 제3 위치 정보(71-2)를 산출할 수 있다. 또는, 제2 위치 정보(71-3)가 차도(50)의 중앙선을 기준으로 좌측인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(71-3)를 좌측으로 횡방향 이동시켜 인도(61)에 위치시킨 제3 위치 정보(71-4)를 산출할 수 있다.
한편, 다른 예로, 이동체의 타입이 차량인 경우, 이동체가 이동 가능한 영역은 차도, 이동체의 이동 불가능한 영역은 인도로 설정될 수 있다. 이와 같이, 이동체의 타입이 차량으로 판단된 상황에서 도 5(b)와 같이 제2 위치 정보(72-1, 72-3)가 차도(50)에 위치하는 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(72-1, 72-3)는 이동 불가능한 영역에 위치하는 것으로 판단하고, 제2 위치 정보(72-1, 72-3)는 부정확한 위치 정보로 판단할 수 있다.
그리고, 제3 위치 정보 획득부(14)는 제2 위치 정보(72-1,72-3)를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보(72-2, 72-4)를 산출할 수 있다. 일 예로, 도 5(b)와 같이, 제2 위치 정보(72-1, 72-3)가 차량이 이동 가능한 영역 내의 위치가 아닌 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보 획득부(13)를 통해 획득된 제2 위치 정보(72-1, 72-3)를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시킴으로써 제3 위치 정보(72-2, 72-4)를 산출할 수 있다.
이 경우, 제3 위치 정보 획득부(14)는 인도(61, 62) 내의 제2 위치 정보로부터 더 가까운 차도(50)의 차로로 횡방향 이동시켜 제3 위치 정보를 산출할 수 있다. 구체적으로, 제2 위치 정보(72-1)가 좌측 인도(61)인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(72-1)를 우측으로 횡방향 이동시켜 차도(50)의 중앙선을 기준으로 좌측 차로에 위치시킨 제3 위치 정보(72-2)를 산출할 수 있다. 또는, 제2 위치 정보(72-3)가 우측 인도(62)인 경우, 제3 위치 정보 획득부(14)는 제2 위치 정보(72-3)를 좌측으로 횡방향 이동시켜 차도(50)의 중앙선을 기준으로 우측 차로에 위치시킨 제3 위치 정보(72-4)를 산출할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 카메라 광축 방향에 따른 위치 보정 방법을 설명하기 위한 개념도 이다. 차량에는 차량의 주행 상황을 정확하게 기록하기 위하여 카메라가 구비될 수 있고, 카메라의 광축이 향하는 카메라 광축 방향은 화각 범위 내에서 효율적인 촬영을 위해 차량의 주행 방향과 동일하게 설치되는 것이 일반적이다. 이와 같이, 카메라가 설치된 차량이 차도에서 주행 중인 경우, 차량에 설치된 카메라의 광축 방향은 차량의 주행 방향과 동일할 수 있다.
일 예로, 도 6(a)를 참조하면, 차량(31)이 차로를 따라 정북 방향으로 주행하는 경우, 차량에 설치된 카메라의 광축 방향(31-1)은 정북 방향일 수 있다.
다만, 도 6(b)와 같이, 차량(31)이 주행 중 차로를 1 차로에서 2차로로 변경하는 경우, 차량에 설치된 카메라의 광축 방향(31-1)은 차량의 차로 변경에 따라 정북 방향을 기준으로 우측으로 소정 각도 회전된 방향으로 변경될 수 있다.
도 6에는 도시되지 않았으나, 만약, 차량이 주행 중 차로를 2 차로에서 1차로로 변경하는 경우, 차량에 설치된 카메라의 광축 방향(31-1)은 차량의 차로 변경에 따라 정북 방향을 기준으로 좌측으로 소정 각도 회전된 방향으로 변경될 수 있다.
이와 같이, 차량(31)에 설치된 카메라의 광축 방향은 차량의 차로 변경 방향에 따라 변경될 수 있다.
이 경우, 제4 위치 정보 획득부(15)는 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 변화한 방향값을 기초로 제2 위치 정보 또는 제3 위치 정보를 보정하여 제4 위치 정보를 생성할 수 있다. 구체적으로, 제4 위치 정보 획득부(15)는 차량에 설치된 카메라 광축이 향하는 광축 방향 변화 각도 크기와 광축 방향 변화의 방향값을 산출하고, 차량의 주행 속도, 가속도 등을 산출하며, 산출된 데이터를 종합하여 차로 변경에 따른 차량의 이동 방향 및 거리를 산출할 수 있다. 그리고, 제4 위치 정보 획득부(15)는 산출된 차량의 이동 방향 및 거리를 기초로 제2 위치 정보 또는 제3 위치 정보를 보정한 제4 위치 정보를 산출할 수 있다.
이러한 본 발명에 따른 위치 측정 장치(10)는 위성 항법 시스템을 이용하여 획득된 제1 위치 정보를 전자 기기를 통해 촬영한 주변 영상 데이터, 이동체의 이동 가능한 영역 데이터 및 카메라의 광축 방향의 변화 데이터 중 적어도 하나를 기초로 보정한 보정 위치 정보를 산출함으로써, 이동체의 위치를 보다 정확하게 측정할 수 있다.
이하에서는 도 7 내지 9를 참조하여, 본 발명의 일 실시 예에 따른 위치 측정 방법에 대하여 보다 구체적으로 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 위치 측정 방법을 나타내는 흐름도 이다. 도 7을 참조하면, 먼저, 위치 측정 장치는 전자 기기에서 촬영된 주변 영상을 획득할 수 있다(S110).
그리고, 위치 측정 장치는 위성 항법 시스템을 이용하여 전자 기기의 제1 위치 정보를 획득할 수 있다(S120).
그리고, 위치 측정 장치는 전자 기기를 통해 촬영한 주변 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다(S130). 여기서, 제1 위치 정보로부터 제2 위치 정보로 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출될 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함할 수 있다. 이 경우, 본 발명이 일 실시 예에 따른 위치 측정 방법은 전방 영상 및 후방 영상을 카메라의 화각을 고려하여 결합하는 단계를 더 포함하고, 제2 위치 정보를 획득하는 단계(S130)는 제1 위치 정보를 결합 영상을 이용하여 보정한 제2 위치 정보를 획득할 수 있다.
또한, 본 발명이 일 실시 예에 따르면, 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성하는 단계를 더 포함하고, 제2 위치 정보를 획득하는 단계는(S130)는 생성된 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 위치 측정 방법을 나타내는 보다 구체적으로 나타내는 흐름도 이다. 도 8을 참조하면, 먼저, 전자 기기에서 촬영된 주변 영상을 획득할 수 있다(S110).
그리고, 위치 측정 장치는 위성 항법 시스템을 이용하여 전자 기기의 제1 위치 정보를 획득할 수 있다(S120).
그리고, 위치 측정 장치는 전자 기기를 통해 촬영한 주변 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득할 수 있다(S130).
그리고, 위치 측정 장치는 제2 위치 정보가 차량의 종류에 따라 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단할 수 있다(S140). 여기서, 판단하는 단계(S140)는 이동체의 타입을 결정하고, 결정된 이동체의 타입에 따라 이동체의 이동 가능한 영역을 판단할 수 있다.
만약, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우(S140:N), 위치 측정 장치는 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득할 수 있다(S150). 일 예로, 제3 위치 정보를 획득하는 단계는(S150) 제2 위치 정보를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시켜 제3 위치 정보를 획득할 수 있다.
그리고, 위치 측정 장치는 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 변화한 방향값을 기초로 상기 제3 위치 정보를 보정하여 제4 위치 정보를 생성할 수 있다(S160).
또는, 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인 경우(S140:Y), 위치 측정 장치는 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 변화한 방향값을 기초로 상기 제2 위치 정보를 보정하여 제4 위치 정보를 생성할 수 있다(S160).
도 9는 본 발명의 일 실시 예에 따른 주변 영상 기반으로 제2 위치 정보를 산출하는 과정을 보다 구체적으로 나타내는 블록도 이다. 도 9를 참조하면, 먼저 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출할 수 있다(S121). 구체적으로, 본 발명에 따르면, 실세계 영상 지도를 저장할 수 있고, 여기서, 실세계 영상 지도는 실세계를 영상으로 나타내는 실세계 영상과 해당 영상에 매칭된 위치 정보를 저장할 수 있다. 만약, 제1 위치 정보 획득부를 통해 제1 위치 정보 및 주변 영상이 획득되면, 검출하는 단계(S121)는 데이터 베이스에 저장된 실세계 영상 지도 중 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출할 수 있다. 그리고, 검출된 영상 지도와 수신된 주변 영상을 비교하여 검출된 영상 지도에서 주변 영상에 포함된 정적 객체를 포함하는 영상을 검출할 수 있다(S122). 구체적으로, 검출하는 단계(S122)는, 검출된 실세계 영상 지도와 수신된 주변 영상을 비교하여 검출된 실세계 영상 지도에서 주변 영상의 정적 객체를 포함하는 영상을 검출할 수 있다. 또한, 검출된 영상에 매칭된 위치 정보를 검출할 수 있다.
구체적으로, 도 9의 S121 단계와 S122는 도 15와 도 16을 참조하여 설명하기로 한다.
도 15는 본 발명의 실시 예에 따른 위치 측정 장치(10)는 전자 기기의 카메라를 통해 획득된 이미지 상의 객체들로부터 복수 개의 특징점들을 추출하는 것을 보여준다. 도 15의 참조번호 1505와 1510은 카메라의 화각에 따라 건물에서 추출되는 특징점들의 개수가 달라지는 것을 볼 수 있다. 따라서, 위치 측정 장치(10)가 전자 기기가 위치한 특정 지점 주변에 위치한 특정 정적 객체를 정확히 검출하기 위해서는 참조번호 1505와 1510과 같이 전자 기기에 장착된 카메라의 화각이 다양한 각도에서 정적 객체를 촬영하도록 하는 것이 바람직할 것이다. 도 15에서와 같이 특정 정적 객체의 특징점들이 획득되면, 위치 측정 장치(10)는 상기 획득된 특징점들을 서버로 전송한다. 서버는 데이터 베이스에 이미 저장된 영상 지도에서 상기 특징점들과 일치하는 특성을 갖는 정적 객체를 검출한 후, 검출된 정적 객체의 위치를 확인하고, 확인된 정적 객체의 위치를 위치 측정 장치(10)로 전송한다. 본 발명에서는 서버에서 상기 특징점들의 비교를 통해 확인된 정적 객체의 위치 정보를 기준 위치 정보라 칭하기로 한다.
이와 같은 방식으로 위치 측정 장치는 전자 기기 주변에 위치한 건물의 기준 위치 정보를 통해 전자 기기의 실제 위치 정보를 파악함으로써, GPS 수신 불량 등을 통해 발생한 전자 기기의 위치 오차를 정확하게 보정할 수 있게 한다. 따라서, 본 발명의 실시예에 따르면, 고층빌딩들로 인해 GPS 음영 지역이 존재하는 도심지 환경에서도 전자 기기는 위치 측정 장치(10)로부터 수신한 위지 정보인 기준 위치 정보를 이용하여 GPS 신호를 통해 측정한 위치 정보를 보정할 수 있다. 또한, 본 발명의 실시예에 따른 전자 기기는 GPS 신호의 수신 없이도, 위치 측정 장치가 서버로부터 측정한 기준 위치 정보를 이용하여 자신의 위치를 측정할 수 있다. 구체적으로, 위치 측정 장치(10)는 서버로부터 수신한 기준 위치 정보와 기준 위치 정보에 해당하는 정적 객체로부터 떨어진 전자 기기의 위치, 방향 등의 정보를 이용하여 전자 기기의 위치를 보정할 수도 있다. 다시 말해, 서버로부터 기준 위치 정보를 획득하기 위해서는, 전자 기기의 카메라를 통해 정적 객체가 촬영되고, 위치 측정 장치(10)는 이때 저장된 카메라와 정적 객체간의 거리 및 방향 등의 정보와 서버로부터 수신된 기준 위치 정보를 이용하여 전자 기기의 위치를 측정하게 된다.
도 16은 본 발명의 실시 예에 따라 사용자 전자 기기의 화면 상에서 사용자 주변에 위치한 정적 객체로부터 특징점들이 추출되는 것을 보여주는 도면이다. 도 16에 표시된 바와 같이, 사용자 전자 기기(100)를 통하여 특정 정적 객체, 예를 들어, 건물(1601) 및 나무(1602)의 특징점들이 획득되면, 위치 측정 장치(10)는 획득된 특징점들을 서버로 전송하며, 서버는 데이터 베이스에 이미 저장된 영상 지도에서 상기 특징점들과 일치하는 특성을 갖는 정적 객체를 검출한 후, 검출된 정적 객체의 위치를 확인하고, 확인된 정적 객체의 위치를 위치 측정 장치(10)로 전송한다. 이 경우, 위치 측정 장치(10)는 정적 객체의 위치를 이용하여 전자 기기(100)의 위치를 보정하기 위한 위치 보정 정보를 산출하고 산출된 보정 정보를 전자 기기(100)로 전송함으로써, 도심지와 같이 GPS 신호가 원활히 수신되지 않은 지역에서 정확한 위치 측정이 가능하게 된다.
한편, 화면의 일 영역(1610)에는 미니맵을 표출할 수도 있다.
그리고, 검출된 영상과 주변 영상의 시점 차이를 산출하여 제1 위치 정보의 보정을 위한 보정값을 산출할 수 있다(S123). 구체적으로, 산출하는 단계(S123)는 검출된 영상의 위치 정보와 제1 위치 정보의 차이를 산출하여 제1 보정값을 생성하고, 검출된 영상과 주변 영상의 시점 차이를 산출하여 제2 보정값을 생성하며, 생성된 제1 보정값 및 제2 보정값을 종합하여 제1 위치 정보의 보정을 위한 보정값을 산출할 수 있다.
그리고, 산출한 보정값을 기초로 제2 위치 정보를 산출할 수 있다(S124). 구체적으로, 산출하는 단계(S124)는 제1 보정값 및 제2 보정값을 종합하여 산출된 제1 위치 정보의 보정을 위한 보정값을 이용하여 제2 위치 정보를 산출할 수 있다.
한편, 상술한 도 9에 포함된 각 단계의 전부 또는 일부는 영상 분석 서버에서 수행되도록 구현될 수 있다. 또는, 상술한 도 9에 포함된 각 단계의 전부 또는 일부는 위치 측정 장치(10)에서 수행되도록 구현될 수 있다. 만약, 도 9에 포함된 각 단계의 일부가 영상 분석 서버에 의하여 수행되도록 구현되는 경우, 나머지 일부 단계는 위치 측정 장치(10)에서 수행되도록 구현될 수 있다.
이하에서는 도 10 내지 14를 참조하여, 본 발명의 일 실시 예에 따른 전자 기기 및 이를 이용한 위치 기반 안내 제공 방법에 대하여 보다 구체적으로 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른 전자 기기를 나타내는 블록도 이다. 도 10을 참조하면, 전자 기기(100)는 저장부(110), 입력부(120), 출력부(130), 위치 측정부(140), 증강 현실 제공부(160), 제어부(170), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 포함한다.
여기서, 전자 기기(100)는 차량을 이동하는 운전자나 자신의 신체 부위를 이용하여 이동하는 보행자에게 위치 기반 안내를 제공하는 기기로, 전자 기기(100)는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 글래스, 프로젝트 글래스, 내비게이션(navigation), 차량용 영상 촬영 장치인 Car dash cam 또는 Car video recorder 등과 같은 다양한 장치로 구현될 수 있다.
여기서, 위치 기반 안내는 경로 안내, 차선 이탈 안내, 차선 유지 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내, 차로 변경 안내, 차로 안내, 커브 안내 등과 같이 차량 운전자의 운전을 보조하기 위한 다양한 안내를 포함할 수 있다.
여기서, 경로 안내는 차량의 운전자를 대상으로 하는 운전자 경로 안내와 사람을 대상으로 하는 보행자 경로 안내를 포함할 수 있다. 즉, 본 발명에 따른 경로 안내는 사용자가 차량에 탑승하여 운전하는 경우에 수행되는 경로 안내뿐만 아니라, 사용자가 걷거나 뛰어서 이동하는 경우의 경로 안내도 포함하는 개념으로 해석될 수 있다.
이러한, 운전자 경로 안내와 보행자 경로 안내는 전방을 촬영한 영상에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 증강 현실 경로 안내, 2D(2-Dimensional) 또는 3D(3-Dimensional)의 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 2D(2-Dimensional) 또는 3D(3-Dimensional) 경로 안내를 포함할 수 있다.
뿐만 아니라, 경로 안내는 항공 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 항공 지도 경로 안내를 포함할 수 있다.
또한, 차선 이탈 안내는 주행 중인 차량이 차선을 이탈하였는지 여부를 안내하는 것일 수 있다.
또한, 차로 유지 안내는 차량이 본래 주행 중인 차로로 복귀하도록 안내하는 것일 수 있다.
또한, 전방 차량 출발 안내는 정차 중인 차량의 전방에 위치한 차량의 출발 여부를 안내하는 것일 수 있다.
또한, 신호등 변경 안내는 정차 중인 차량의 전방에 위치한 신호등의 신호 변경 여부를 안내하는 것일 수 있다. 일 예로, 정지 신호를 나타내는 빨간 신호등이 켜진 상태에서 출발 신호를 나타내는 파란 신호등으로 변경되면, 이를 안내하는 것 일 수 있다.
또한, 전방 차량 추돌 방지 안내는 정차 또는 주행 중인 차량의 전방에 위치한 차량과의 거리가 일정 거리 이내가 되면 전방 차량과 추돌을 방지하기 위해 이를 안내하는 것일 수 있다.
또한, 차로 변경 안내는 목적지까지의 경로 안내를 위하여 차량이 위치한 차로에서 다른 차로로 변경을 안내하는 것일 수 있다.
또한, 차로 안내는 현재 차량이 위치한 차로를 안내하는 것일 수 있다.
또한, 커브 안내는 소정 시간 이후에 차량이 주행할 도로가 커브임을 안내하는 것일 수 있다.
이러한, 다양한 안내의 제공을 가능하게 하는 주변 영상은 카메라에서 촬영될 수 있다. 일 예로, 이동체가 차량인 경우, 카메라는 차량에 거치된 전자 장치(100)와 일체로 형성되어 차량의 전방을 촬영하는 카메라일 수 있다. 다른 예로, 카메라는 전자 장치(100)과 별개로 차량에 거치되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 차량의 전방을 향하여 거치된 Car dash cam 또는 Car video recorder 등과 같은 별도의 차량용 영상 촬영 장치일 수 있고, 전자 장치(100)는 별도로 거치된 차량용 영상 촬영 장치와 유/무선 통신을 통하여 촬영 영상을 입력 받거나, 차량용 영상 촬영 장치의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)은 촬영 영상을 입력 받을 수 있다.
이하에서는, 상술한 내용을 기초로 본 발명의 일 실시 예에 따른 전자 장치(100)에 대해서 보다 구체적으로 설명하기로 한다.
저장부(110)는 전자 장치(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히 저장부(110)는 전자 장치(100)의 동작에 필요한 데이터, 예를 들어 OS, 경로 탐색 어플리케이션, 지도 데이터 등을 저장할 수 있다. 또한 저장부(110)는 전자 장치(100)의 동작에 의하여 생성된 데이터, 예를 들어 탐색된 경로 데이터, 수신한 영상 등을 저장할 수 있다.
이러한 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈 가능한 형태의 저장소자로 구현될 수도 있다.
입력부(120)는 전자 장치(100)의 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 한다. 여기서, 입력부(120)는 사용자 입력부(121)와 마이크부(123)의 전부 또는 일부를 포함할 수 있다.
사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(121)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나를 이용하여 구현될 수 있다.
마이크부(123)는 사용자의 음성 및 차량의 내외부에서 발생한 음향을 수신할 수 있다.
출력부(130)는 전자 장치(100)의 데이터를 사용자에게 영상 및/또는 음성으로 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.
디스플레이부(131)는 사용자에게 시각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 디스플레이부(131)는 전자 장치(100)의 하우징 전면(前面)에 마련된 디스플레이부로 구현될 수 있다. 또한, 디스플레이부(131)는 전자 장치(100)과 일체로 형성되어 시각적 인식 데이터를 출력할 수 있고, HUD(Head Up Display)와 같이 시스템(100)과 별개로 설치되어 시각적 인식 데이터를 출력할 수도 있다.
오디오 출력부(133)는 전자 장치(100)가 청각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 오디오 출력부(133)는 전자 장치(100)의 사용자에게 알려야 할 데이터를 소리를 표현하는 스피커로 구현될 수 있다.
위치 측정부(140)는 상술한 위치 측정 장치(10)의 기능을 수행할 수 있다.
증강 현실 제공부(160)는 증강 현실 뷰 모드를 제공할 수 있다. 여기서, 증강 현실이란 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 나타내는 그래픽 요소, 전방 차량 충돌 위험성을 안내하는 그래픽 요소, 차량 간 거리를 나타내는 그래픽 요소, 커브를 안내하는 그래픽 요소, 운전자의 안전 운전을 돕기 위한 다양한 부가 정보 등)를 시각적으로 중첩하여 제공하는 방법일 수 있다.
이러한 증강 현실 제공부(160)는 캘리브레이션부, 3D 공간 생성부, 객체 생성부, 매핑부의 전부 또는 일부를 포함할 수 있다.
캘리브레이션부는 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사 공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터로, 카메라 외부 파라미터(extrinsic parameters), 카메라 내부 파라미터(intrinsic parameters)를 포함할 수 있다.
3D 공간 생성부는 카메라에서 촬영된 촬영 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로, 3D 공간 생성부는 캘리브레이션부가 추정한 카메라 파라미터를 2D의 촬영 영상에 적용하여 가상 3D 공간을 생성할 수 있다.
객체 생성부는 증강 현실 상에서 안내를 위한 객체, 예를 들어, 전방 차량 추돌 방지 안내 객체, 경로 안내 객체, 차로 변경 안내 객체, 차선 이탈 안내 객체, 커브 안내 객체 등을 생성할 수 있다.
매핑부는 3D 공간 생성부에서 생성된 가상 3D 공간에 객체 생성부에서 생성된 객체를 매핑할 수 있다. 구체적으로, 매핑부는 객체 생성부에서 생성된 객체의 가상 3D 공간에서의 위치를 결정하고, 결정된 위치에 객체의 매핑을 수행할 수 있다.
한편, 통신부(180)는 전자 장치(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 통신부(180)는 위치 데이터부(181), 무선 인터넷부(183), 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189)의 전부 또는 일부를 포함할 수 있다.
위치 데이터부(181)는 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치이다. GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시 예에 따른 시스템의 위치 데이터부(181)는 전자 장치(100)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다. 또는, 위치 데이터부(181)는 GNSS 외에도 기지국 또는 AP(Access Point)와의 통신을 통해 위치 데이터를 획득할 수도 있다.
무선 인터넷부(183)는 무선 인터넷에 접속하여 데이터를 획득하거나 송신하는 장치이다. 무선 인터넷부(183)는 WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World interoperability for microwave access), HSDPA(High Speed Downlink Packet Access)의 무선 데이터 송수신을 수행하도록 정의된 다양한 통신 프로토콜을 통해 인터넷 망에 접속할 수 있다.
방송 송수신부(185)는 각종 방송 시스템을 통하여 방송 신호를 송수신하는 장치이다. 방송 송수신부(185)를 통하여 송수신할 수 있는 방송 시스템은 DMBT(Digital Multimedia Broadcasting Terrestrial), DMBS(Digital Multimedia Broadcasting Satellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video Broadcast Handheld), ISDBT(Integrated Services Digital Broadcast Terrestrial) 등일 수 있다. 방송 송수신부(185)를 통하여 송수신되는 방송 신호에는 교통 데이터, 생활 데이터 등을 포함할 수 있다.
이동 통신부(186)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 음성 및 데이터 통신할 수 있다.
근거리 통신부(187)는 근거리 통신을 위한 장치이다. 근거리 통신부(187)는, 전술한 바와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra WideBand), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity) 등을 통하여 통신할 수 있다.
유선 통신부(189)는 전자 장치(100)를 다른 디바이스와 유선으로 연결할 수 있는 인터페이스 장치이다. 유선 통신부(189)는, USB Port를 통하여 통신할 수 있는 USB 모듈일 수 있다.
이러한, 통신부(180)는 위치 데이터부(181)와, 무선 인터넷부(183)와, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 다른 디바이스와 통신할 수 있다.
일 예로, 전자 장치(100)가 카메라 기능을 포함하지 않는 경우, Car dash cam이나 Car video recorder와 같은 차량용 영상 촬영 장치에서 촬영된 영상을 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 수신할 수 있다.
다른 예로, 복수의 디바이스와 통신하는 경우에 어느 하나는 근거리 통신부(187)로 통신하고, 다른 하나는 유선 통신부(119)를 통하여 통신하는 경우도 가능하다.
센싱부(190)는 전자 장치(100)의 현재 상태를 감지할 수 있는 장치이다. 센싱부(190)는 모션 센싱부(191)와 광 센싱부(193)의 전부 또는 일부를 포함할 수 있다.
모션 센싱부(191)는 전자 장치(100)의 3차원 공간 상에서의 운동을 감지할 수 있다. 모션 센싱부(191)은 3축 지자기 센서 및 3축 가속도 센서를 포함할 수 있다. 모션 센싱부(191)을 통하여 획득한 운동 데이터를 위치 데이터부(181)를 통하여 획득한 위치 데이터와 결합하여, 전자 장치(100)를 부착한 차량의 궤적을 보다 정확하게 산출할 수 있다.
광 센싱부(193)는 시스템(100)의 주변 조도(illuminance)를 측정하는 장치이다. 광 센싱부(193)를 통하여 획득한 조도데이터를 이용하여, 디스플레이부(131)의 밝기를 주변 밝기에 대응되도록 변화시킬 수 있다.
전원부(195)는 전자 장치(100)의 동작 또는 전자 장치(100)과 연결된 다른 디바이스의 동작을 위하여 필요한 전원을 공급하는 장치이다. 전원부(195)는 전자 장치(100)에 내장된 배터리 또는 차량 등의 외부 전원에서 전원을 공급받는 장치일 수 있다. 또한, 전원부(195)는 전원을 공급받는 형태에 따라서 유선 통신 모듈(119)로 구현되거나, 무선으로 공급받는 장치로 구현될 수도 있다.
제어부(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 위치 측정부(140), 증강 현실 제공부(160), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 제어할 수 있다.
특히, 제어부(170)는 위치 측정부(140)에서 산출된 위치 정보를 이용하여 위치 기반 안내를 제공할 수 있다. 여기서, 산출된 위치 정보는 위성 항법 시스템을 이용하여 측정된 제1 위치 정보를 전자 기기(100)를 통해 촬영한 주변 영상 데이터, 이동체의 이동 가능한 영역 데이터 및 카메라의 광축 방향의 변화 데이터 중 적어도 하나를 기초로 보정한 보정 위치 정보일 수 있다.
구체적으로, 제어부(170)는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 위치 기반 안내 객체를 생성하고, 생성된 위치 기반 안내 객체와 촬영된 주변 영상을 결합한 증강 현실 이미지를 표시하도록 디스플레이부(131)를 제어할 수 있다.
여기서, 증강 현실에 표출되는 위치 기반 안내 객체는 경로 안내 객체일 수 있다. 구체적으로, 제어부(170)는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 이동체의 현재 위치를 판단하고, 증강 현실 이미지에서 이동체의 현재 위치를 나타내는 제1 지점과 상기 제1 지점으로부터 목적지로 이동하기 위하여 이동체가 이동해야하는 경로와 상기 증강 현실 이미지에서 표출되는 경로의 소실점(Vanishing point)을 나타내는 제2 지점으로 구성되는 경로 안내 객체를 생성할 수 있다. 여기서, 소실점은 경로가 제1 지점으로부터 무한히 멀어지면서 수평선상 한점에 모이는데 이 점을 의미할 수 있다.
이 때, 경로는 제1 지점과 제2 지점 사이를 선, 도형 등으로 연결한 형상일 수 있고, 경로의 방향을 화살표 등으로 나타내는 방향 표출 식별자를 포함할 수 있다.
또한, 제어부(170)는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 미니맵을 생성하고, 생성된 미니맵을 표시하도록 디스플레이부(131)를 제어할 수 있다. 특히, 제어부(170)는 생성된 미니맵과 촬영된 영상을 함께 표시하도록 디스플레이부(131)를 제어할 수 있다.
또한, 제어부(170)는 전자 기기(100)의 움직임으로 인하여, 최초 설정된 카메라의 캘리브레이션 정보가 캘리브레이션에서 추정한 캘리브레이션 정보와 상이할 경우, 카메라를 최초 설정된 카메라의 캘리브레이션 정보와 동일하게 유지되도록 카메라의 위치, 화각, 방향 등을 제어할 수 있다.
이러한 본 발명에 따르면, 보행자나 차량 운전자에게 정확한 위치를 기반으로 경로 안내 서비스를 제공하거나 미니맵 서비스를 제공할 수 있기에, 보행자나 차량 운전자가 자신의 현재 위치를 정확하게 인식하고, 목적지까지의 수월하게 이동 가능하게 하는 등 보행자나 차량 운전자의 이동 편의성을 높일 수 있다.
도 11은 본 발명의 일 실시 예에 따른 운전자 경로 안내 화면을 나타내는 도면이다. 도 11을 참조하면, 운전자에게 위치 기반 안내를 제공하는 차량용 전자 기기의 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 차량이 이동해야 할 경로를 나타내는 경로 안내 객체(301)를 생성하고, 생성된 경로 안내 객체(301)를 증강 현실을 통하여 출력할 수 있다.
여기서, 증강 현실로 표출되는 경로 안내 객체(301)는 증강 현실 이미지에서 이동체의 현재 위치를 나타내는 제1 지점과 상기 제1 지점으로부터 목적지로 이동하기 위하여 이동체가 이동해야 하는 경로와 상기 증강 현실 이미지에서 표출되는 경로의 소실점(Vanishing point)을 나타내는 제2 지점으로 구성되는 경로 안내 객체를 생성할 수 있다. 여기서, 화면의 가장 하단의 안내 객체(301)의 위치는 위치 측정부(140)에서 측정된 이동체의 현재 위치를 나타낼 수 있다.
이 때, 경로는 제1 지점과 제2 지점 사이를 선, 도형 등으로 연결한 형상일 수 있고, 경로의 방향을 화살표 등으로 나타내는 방향 표출 식별자를 포함할 수 있다. 이러한 경로 안내 객체(301)는 증강 현실 이미지의 차도에 표시되어 차량 운전자의 현재 위치로부터 목적지까지 안내를 수행할 수 있다.
뿐만 아니라, 제어부(170)는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 미니맵(302)을 생성하고, 생성된 미니맵(302)을 표시하도록 디스플레이부(131)를 제어할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 보행자 경로 안내 화면을 나타내는 도면이다. 도 12를 참조하면, 보행자에게 위치 기반 안내를 제공하는 보행자용 전자 기기는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 보행자가 이동해야 할 경로를 나타내는 경로 안내 객체(303)를 생성하고, 생성된 경로 안내 객체(303)를 증강 현실을 통하여 출력할 수 있다.
여기서, 생성된 경로는 증강 현실 이미지의 인도에 표시되어 보행자의 현재 위치로부터 목적지까지 안내를 수행할 수 있다.
뿐만 아니라, 제어부(170)는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 미니맵(304)을 생성하고, 생성된 미니맵(304)을 표시하도록 디스플레이부(131)를 제어할 수 있다. 이때 상기 미니맵(304)은 화면의 상하좌우에 상관 없이 경로와 중복되지 않은 지점에 표시하는 것이 바람직할 것이다.
도 13은 본 발명의 다른 실시 예에 따른 미니맵 표출 화면을 나타내는 도면이다. 도 13을 참조하면, 본 발명의 다른 실시 예에 따르면, 제어부(170)는 위치 측정부(140)에서 산출된 보정 위치 정보를 이용하여 현재 위치를 결정하고, 현재 위치를 맵 상에 표출하는 미니맵(305)을 생성하며, 생성된 미니맵(305)과 촬영된 영상을 함께 표시하도록 디스플레이부(131)를 제어할 수 있다.
즉, 본 발명의 다른 실시 예에 따르면, 도 11 내지 12와 다르게, 증강 현실 안내 객체의 표출 없이 미니맵(305)만을 표출하도록 구현될 수도 있다.
이러한 본 발명에 따르면, 저성능의 프로세서를 구비한 전자 기기에서는 위치 측정부(140)를 통해 측정된 정확한 위치를 미니맵을 통해 표출함으로써, 보행자나 차량 운전자가 자신의 현재 위치를 정확하게 인식하고, 목적지까지의 수월하게 이동가능하게 하는 등 보행자나 차량 운전자의 이동 편의성을 높일 수 있다.
이하에서는 도 14를 참조하여, 본 발명의 일 실시 예에 따른 영상 분석 서버에 대하여 설명하기로 한다.
도 14는 본 발명의 일 실시 예에 따른 위치 보정 시스템을 나타내는 블록도 이다. 도 14를 참조하면, 위치 보정 시스템(1000)은 제1 전자 기기(101)와 제2 전자 기기(102)와 영상 분석 서버(200)를 포함할 수 있다. 여기서, 제1 전자 기기(101)는 차량에 설치된 Car dash cam 또는 Car video recorder 등과 같은 차량용 영상 촬영 장치일 수 있고, 제2 전자 기기(102)는 보행자가 구비한 스마트 폰 등과 같은 모바일 단말 장치로 구현될 수 있다.
이러한 위치 보정 시스템(1000)은 제1 전자 기기(101)와 제2 전자 기기(102)로부터 주변 영상과 위성 항법 시스템 기반의 제1 위치 정보를 수신하고, 수신된 제1 위치 정보를 수신된 주변 영상을 이용하여 보정하여 제2 위치 정보를 산출할 수 있다.
일 예로, 영상 분석 서버(200)는 제1 전자 기기(101)와 데이터 송수신을 통해 제1 전자 기기(101)의 현재 위치를 측정할 수 있다. 구체적으로, 영상 분석 서버(200)는 제1 전자 기기(101)에서 촬영된 주변 영상 및 위성 항법 시스템 기반의 제1 위치 정보를 수신할 수 있다. 그리고, 영상 분석 서버(200)는 데이터 베이스에 저장된 실세계 영상 지도 중 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출할 수 있다. 그리고, 영상 분석 서버(200)는 검출된 실세계 영상 지도와 수신된 주변 영상을 비교하여 검출된 실세계 영상 지도에서 주변 영상의 정적 객체를 포함하는 영상을 검출할 수 있다. 그리고, 영상 분석 서버(200)는 검출된 영상에 매칭된 위치 정보를 검출할 수 있다. 그리고, 영상 분석 서버(200)는 검출된 영상과 주변 영상의 시점 차이 및 검출된 영상의 위치 정보와 상기 제1 위치 정보의 차이를 산출하여 제1 위치 정보의 보정을 위한 보정값을 산출하고, 산출한 보정값을 기초로 제2 위치 정보를 산출할 수 있다. 그리고, 영상 분석 서버(200)는 산출된 제2 위치 정보를 제1 전자 기기(101)에 전송할 수 있다.
이 경우, 제1 전자 기기(101)는 수신된 제2 위치 정보를 이용하여 위치 기반 안내 서비스를 제공할 수 있다. 또는, 제1 전자 기기(101)는 차량의 이동 가능한 영역 데이터 및 카메라의 광축 방향의 변화 데이터 중 적어도 하나를 기초로 수신된 제2 위치 정보에 대한 추가 보정을 수행하고, 이를 기초로 보다 정확한 위치 정보를 산출할 수 있다.
한편, 영상 분석 서버(200)는 제2 전자 기기(102)와 데이터 송수신을 통해 제2 전자 기기(101)의 현재 위치를 측정할 수 있고, 구체적인 영상 분석 서버(200)의 동작은 상술한 바와 동일할 수 있다.
한편, 상술한 예시에 따르면, 제3 위치 정보의 산출 및 제4 위치 정보의 산출은 각 단말(101,102)에서 수행되는 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 본 발명의 다른 실시 예에 따르면, 제3 위치 정보의 산출 및 제4 위치 정보의 산출 중 적어도 하나는 영상 분석 서버(200)에서 수행되도록 구현될 수도 있다.
한편, 명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다.
또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일실시예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시예를 의미한다.
또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로써, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 차간 거리 측정 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 제어 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 위치 측정 장치 11 : 영상 획득부
12 : 제1 위치 정보 획득부 13 : 제2 위치 정보 획득부
14 : 제3 위치 정보 획득부 15 : 제4 위치 정보 획득부
16 : 영상 처리부 100 : 전자 기기
110 : 저장부 120 : 입력부
130 : 출력부 140 : 위치 측정부
160 : 증강현실 제공부 170 : 제어부
180 : 통신부 190 : 센싱부
195 : 전원부

Claims (32)

  1. 프로세서를 이용한 위치 측정 방법 방법에 있어서,
    전자 기기에서 촬영된 주변 영상을 획득하는 단계;
    위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 단계; 및
    상기 제1 위치 정보를 상기 전자 기기를 통해 촬영한 주변 영상을 이용하여 보정한 제2 위치 정보를 획득하는 단계; 를 포함하고,
    상기 제1 위치 정보로부터 상기 제2 위치 정보로 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출되는 것을 특징으로 하는 위치 측정 방법.
  2. 제1항에 있어서,
    상기 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함하고,
    상기 전방 영상 및 후방 영상을 카메라의 화각을 고려하여 결합한 결합 영상을 생성하는단계;를 더 포함하고,
    상기 제2 위치 정보를 획득하는 단계는, 상기 결합 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 방법.
  3. 제1항에 있어서,
    상기 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성하는 단계;를 더 포함하고,
    상기 제2 위치 정보를 획득하는 단계는, 상기 생성된 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 방법.
  4. 제1항에 있어서,
    상기 제2 위치 정보를 획득하는 단계는,
    상기 촬영된 주변 영상 및 상기 제1 위치 정보를 영상 분석 서버에 전송하는 단계;
    상기 영상 분석 서버에서는 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출하고, 상기 검출된 영상 지도와 상기 수신된 주변 영상을 비교하여 상기 검출된 영상 지도에서 상기 주변 영상에 포함된 정적 객체를 포함하는 영상을 검출하며, 검출된 영상과 주변 영상의 시점 차이 및 검출된 영상에 매칭된 위치 정보와 상기 제1 위치 정보의 차이를 산출하여 상기 제1 위치 정보의 보정을 위한 보정값을 산출하고, 상기 산출한 보정값을 기초로 상기 제2 위치 정보를 산출하는 것을 특징으로 하는 위치 측정 방법.
  5. 제1항에 있어서,
    상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인지 여부를 판단하는 단계;를 더 포함하는 위치 측정 방법.
  6. 제5항에 있어서,
    상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 위치 측정 방법.
  7. 제6항에 있어서,
    상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단하는 단계;를 더 포함하는 위치 측정 방법.
  8. 제6항에 있어서,
    상기 제3 위치 정보를 획득하는 단계는,
    상기 제2 위치 정보를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시켜 상기 제3 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 방법.
  9. 제7항에 있어서,
    상기 판단하는 단계는,
    상기 이동체의 타입을 결정하고, 상기 결정된 이동체의 타입에 따라 상기 이동 가능한 영역을 판단하는 단계;를 포함하는 것을 특징으로 하는 위치 측정 방법.
  10. 제7항에 있어서,
    상기 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 변화한 방향값을 기초로 상기 제2 위치 정보 또는 상기 제3 위치 정보를 보정하여 제4 위치 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 위치 측정 방법.
  11. 위치 측정 장치에 있어서,
    전자 기기에서 촬영된 주변 영상을 획득하는 영상 획득부;
    위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 제1 위치 정보 획득부; 및
    상기 전자 기기를 통해 촬영한 차량 주행 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 제2 위치 정보 획득부;
    를 포함하고,
    상기 제1 위치 정보로부터 상기 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출되는 것을 특징으로 하는 위치 측정 장치.
  12. 제11항에 있어서,
    상기 획득된 주변 영상은 제1 카메라를 통해 촬영된 전방 영상 및 제2 카메라를 통해 촬영된 후방 영상을 포함하고,
    상기 전방 영상 및 후방 영상을 카메라의 화각을 고려하여 결합하는 영상 처리부;를 더 포함하고,
    상기 제2 위치 정보 획득부는 상기 결합 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 장치.
  13. 제11항에 있어서,
    상기 획득된 주변 영상에서 동적 객체를 제외하고 정적 객체 만을 포함하는 영상을 생성하는 이미지 처리부;를 더 포함하고,
    상기 제2 위치 정보 획득부는 상기 생성된 영상을 이용하여 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 장치.
  14. 제11항에 있어서,
    상기 촬영된 주변 영상 및 상기 제1 위치 정보를 영상 분석 서버에 전송하는 통신부;를 더 포함하고,
    상기 영상 분석 서버에서는 수신된 제1 위치 정보에 매칭되는 실세계 영상 지도를 검출하고, 상기 검출된 영상 지도와 상기 수신된 주변 영상을 비교하여 상기 검출된 영상 지도에서 상기 주변 영상에 포함된 정적 객체를 포함하는 영상을 검출하며, 검출된 영상과 주변 영상의 시점 차이 및 검출된 영상에 매칭된 위치 정보와 상기 제1 위치 정보의 차이를 산출하여 상기 제1 위치 정보의 보정을 위한 보정값을 산출하고, 상기 산출한 보정값을 기초로 상기 제2 위치 정보를 산출하는 것을 특징으로 하는 위치 측정 장치.
  15. 제11항에 있어서,
    상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단하는 제3 위치 정보 획득부;를 더 포함하는 것을 특징으로 하는 위치 측정 장치.
  16. 제15항에 있어서,
    상기 제3 위치 정보 획득부는,
    제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 장치.
  17. 제16항에 있어서,
    상기 제3 위치 정보 획득부는,
    상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단하는 것을 특징으로 하는 위치 측정 장치.
  18. 제17항에 있어서,
    제3 위치 정보 획득부는,
    상기 제2 위치 정보를 횡방향 이동시켜 이동 가능한 영역 내에 매칭시켜 상기 제3 위치 정보를 획득하는 것을 특징으로 하는 위치 측정 장치.
  19. 제17항에 있어서,
    상기 제3 위치 정보 획득부는,
    상기 이동체의 타입을 결정하고, 상기 결정된 이동체의 타입에 따라 상기 이동 가능한 영역을 판단하는 것을 특징으로 하는 위치 측정 장치.
  20. 제17항에 있어서,
    상기 이동체의 이동 중 카메라 광축이 향하는 광축 방향의 변화가 감지되면, 광축 방향 변화의 크기값 및 방향값을 기초로 상기 제2 위치 정보 또는 상기 제3 위치 정보를 보정하여 제4 위치 정보를 생성하는 제4 위치 정보 획득부;를 더 포함하는 것을 특징으로 하는 위치 측정 장치.
  21. 전자 기기를 이용한 위치 기반 안내 서비스 제공 방법에 있어서,
    전자 기기에서 촬영된 주변 영상을 획득하는 단계;
    위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 단계;
    상기 제1 위치 정보를 상기 전자 기기를 통해 촬영한 주변 영상을 이용하여 보정한 제2 위치 정보를 획득하는 단계; 및
    상기 제2 위치 정보를 기초로 위치 기반 안내를 제공하는 단계;를 포함하고,
    상기 제1 위치 정보로부터 상기 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출되는 것을 특징으로 하는 위치 기반 안내 제공 방법.
  22. 제21항에 있어서,
    상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단하고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 위치 기반 안내 제공 방법.
  23. 제22항에 있어서,
    상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단하는 것을 특징으로 하는 위치 기반 안내 제공 방법.
  24. 제23항에 있어서,
    상기 위치 기반 안내를 제공하는 단계는,
    상기 제2 위치 정보 또는 제3 위치 정보를 기반으로 상기 위치 기반 안내 객체를 생성하고, 상기 생성된 안내 객체를 증강 현실 상에 표시하는 단계;를 포함하는 것을 특징으로 하는 위치 기반 안내 제공 방법.
  25. 제23항에 있어서,
    상기 위치 기반 안내를 제공하는 단계는,
    지도 데이터를 검출하고, 검출된 지도 데이터에 상기 제2 위치 정보 또는 상기 제3 위치 정보를 나타내는 식별자를 표출하는 미니 맵을 생성하는 단계; 및
    상기 생성된 미니 맵과 상기 촬영된 영상을 함께 표시하는 단계;를 포함하는 것을 특징으로 하는 위치 기반 안내 제공 방법.
  26. 전자 기기에 있어서,
    상기 전자 기기에서 촬영된 주변 영상을 획득하는 영상 획득부;
    위성 항법 시스템을 이용하여 상기 전자 기기의 제1 위치 정보를 획득하는 제1 위치 정보 획득부;
    상기 전자 기기를 통해 촬영한 주변 영상을 이용하여 상기 제1 위치 정보를 보정한 제2 위치 정보를 획득하는 제2 위치 정보 획득부; 및
    상기 제2 위치 정보를 기초로 위치 기반 안내를 제공하는 제어부;를 포함하고,
    상기 제1 위치 정보로부터 상기 제2 위치 정보로의 보정을 위한 보정값은 기 저장된 실세계 영상 지도로부터 상기 촬영된 주행 영상에 포함된 정적 객체를 포함하는 영상의 검출을 통해 산출되는 것을 특징으로 하는 전자 기기.
  27. 제26항에 있어서,
    상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치인지 여부를 판단하고, 상기 제2 위치 정보가 이동체가 이동 가능한 영역 내의 위치가 아닌 경우, 상기 제2 위치 정보를 이동 가능한 영역 내의 제3 위치로 보정한 제3 위치 정보를 획득하는 제3 위치 정보 획득부;를 더 포함하는 것을 특징으로 하는 전자 기기.
  28. 제27항에 있어서,
    상기 제2 위치 정보가 이동체의 이동 가능한 영역 내의 위치인 경우, 상기 제2 위치 정보를 상기 이동체의 위치로 판단하는 것을 특징으로 하는 전자 기기.
  29. 제28항에 있어서,
    상기 제어부는,
    상기 제2 위치 정보 또는 제3 위치 정보를 기반으로 상기 위치 기반 안내 객체를 생성하고, 상기 생성된 안내 객체를 증강 현실 상에 표시하도록 디스플레이부를 제어하는 것을 특징으로 하는 전자 기기.
  30. 제28항에 있어서,
    지도 데이터를 검출하고, 검출된 지도 데이터에 상기 제2 위치 정보 또는 상기 제3 위치 정보를 나타내는 식별자를 표출하는 미니 맵을 생성하는 미니 맵 생성부;를 더 포함하고,
    상기 제어부는, 상기 생성된 미니 맵과 상기 촬영된 영상을 함께 표시하도록 디스플레이부를 제어하는 것을 특징으로 하는 단계;를 포함하는 것을 특징으로 하는 전자 기기.
  31. 제1항 내지 제10항에 기재된 위치 측정 방법을 실행하기 위하여 저장 매체에 기록된 프로그램.
  32. 제1항 내지 제10항에 기재된 위치 측정 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020190161917A 2019-12-06 2019-12-06 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기 KR20210071584A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190161917A KR20210071584A (ko) 2019-12-06 2019-12-06 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
US17/113,931 US20210173095A1 (en) 2019-12-06 2020-12-07 Method and apparatus for determining location by correcting global navigation satellite system based location and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190161917A KR20210071584A (ko) 2019-12-06 2019-12-06 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기

Publications (1)

Publication Number Publication Date
KR20210071584A true KR20210071584A (ko) 2021-06-16

Family

ID=76210891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190161917A KR20210071584A (ko) 2019-12-06 2019-12-06 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기

Country Status (2)

Country Link
US (1) US20210173095A1 (ko)
KR (1) KR20210071584A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487449B1 (ko) * 2021-09-07 2023-01-11 포티투닷 주식회사 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720647B2 (en) * 2020-08-21 2023-08-08 GE Precision Healthcare LLC Synthetic training data generation for improved machine learning model generalizability

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3018448B1 (en) * 2014-11-04 2021-01-06 Volvo Car Corporation Methods and systems for enabling improved positioning of a vehicle
EP3346418A1 (en) * 2016-12-28 2018-07-11 Volvo Car Corporation Method and system for vehicle localization from camera image
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2020079927A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、プログラム及び情報処理方法
KR20200044420A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 위치 추정 방법 및 장치
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
EP3893195A4 (en) * 2018-12-07 2022-01-26 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, MOVING BODY CONTROL DEVICE AND MOVING BODY
KR102522923B1 (ko) * 2018-12-24 2023-04-20 한국전자통신연구원 차량의 자기위치 추정 장치 및 그 방법
US11231283B2 (en) * 2019-01-25 2022-01-25 Robert Bosch Gmbh Localization with neural network based image registration of sensor data and map data
EP3977054A1 (en) * 2019-05-28 2022-04-06 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
KR102332494B1 (ko) * 2019-09-11 2021-11-30 한국도로공사 영상과 정밀지도에 기반한 정밀 측위정보와 gnss 측위정보 간의 측위차이에 대한 배포정보 생성 장치 및 방법
US11640677B2 (en) * 2019-10-15 2023-05-02 Alarm.Com Incorporated Navigation using selected visual landmarks
US11670002B2 (en) * 2019-12-11 2023-06-06 Electronics And Telecommunications Research Institute Apparatus and method for image-based positioning to predict a camera pose from image data
US11580666B2 (en) * 2020-11-26 2023-02-14 Automotive Research & Testing Center Localization and mapping method and moving apparatus
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487449B1 (ko) * 2021-09-07 2023-01-11 포티투닷 주식회사 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버

Also Published As

Publication number Publication date
US20210173095A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
KR102348127B1 (ko) 전자 장치 및 그의 제어 방법
CN108680173B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
US20240075949A1 (en) Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
US11680813B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
US10497178B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
KR102383425B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102406491B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US9976866B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
KR102233391B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US11828615B2 (en) AR processing device, augmented reality-based route guidance method and electronic device
KR20120079341A (ko) 맵데이터갱신방법, 이를 수행하는 전자기기 및 기록매체
KR20200069084A (ko) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20210126365A (ko) 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US20210173095A1 (en) Method and apparatus for determining location by correcting global navigation satellite system based location and electronic device thereof
US20230273033A1 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
KR102406489B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
KR20200092197A (ko) 증강 현실 영상 처리 장치, 증강 현실 영상 처리 방법, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN115205384A (zh) 导盲方法、装置及可读存储介质
KR102299081B1 (ko) 전자 장치 및 그의 제어 방법
KR102506263B1 (ko) 항공 영상 처리 장치, 항공 영상 처리 방법, 항공 영상 처리를 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 항공 지도를 이용하여 경로 안내를 수행하는 내비게이션 장치 및 서버
KR102299501B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN110263688B (zh) 驾驶相关引导提供方法及装置、计算机可读记录介质
KR20220018425A (ko) 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination