KR20220149203A - 모빌리티 장치 및 그 제어방법 - Google Patents

모빌리티 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20220149203A
KR20220149203A KR1020210056504A KR20210056504A KR20220149203A KR 20220149203 A KR20220149203 A KR 20220149203A KR 1020210056504 A KR1020210056504 A KR 1020210056504A KR 20210056504 A KR20210056504 A KR 20210056504A KR 20220149203 A KR20220149203 A KR 20220149203A
Authority
KR
South Korea
Prior art keywords
location information
mobility device
marker
location
speed
Prior art date
Application number
KR1020210056504A
Other languages
English (en)
Inventor
우재열
김수빈
우승현
안로운
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210056504A priority Critical patent/KR20220149203A/ko
Priority to US17/454,413 priority patent/US11715233B2/en
Priority to CN202111492037.7A priority patent/CN115267866A/zh
Publication of KR20220149203A publication Critical patent/KR20220149203A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

모빌리티 장치의 현재 위치를 검출하는 위치 검출부, 상기 모빌리티 장치의 위치 정보를 표시하는 표시부 및 상기 위치 검출부로부터 검출된 상기 모빌리티 장치의 현재 위치를 제1 위치 정보로 설정하고, 상기 제1 위치 정보에 기초하여, 미리 정해진 범위 내에 AR(Augmented Reality) 마커(marker)를 확인하고, 상기 확인된 AR 마커에 기초하여, 상기 모빌리티 장치의 현재 위치를 판단하여, 제2 위치 정보로 설정하고, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 모빌리티 장치의 최종 위치 정보를 판단하는 제어부를 포함할 수 있다.

Description

모빌리티 장치 및 그 제어방법{MOBILITY DEVICE AND CONTROLLING METHOD OF VEHICLE}
본 발명의 일 실시예는 모빌리티 장치 및 그 제어방법에 관한 것이다.
AR(Augmented Reality) 서비스는 클라이언트 디바이스(예를 들어, 모바일 모빌리티 장치) 등에 대한 현재 위치를 파악하여, 대상체와 상대적 거리를 이용하여, 하이라이트 및 부가 정보를 제공하는 서비스이다.
그러나, 현재 클라이언트 디바이스의 위치 파악을 위해 가장 널리 사용되는 GPS(Global Positioning System)는 실내, 지하, 높은 건물이 많은 지역 등에서는 정확한 위치 파악이 어렵다는 단점이 있다. 또한, 높이 차이가 많이 나는 건물들 사이에서 누적 적분 값을 이용하여, 위치 파악을 하는 방법은 실제 위치와 비교하여 오차 범위도 크다는 것을 확인하였다.
한편, 다른 방법으로 영상, 무선랜 등을 기반으로 하는 VPS는 속도 및 네트워크 문제로 모빌리티 장치 내에 적용하는데 한계가 있는 실정이다.
상술한 문제점을 해결하기 위한 모빌리티 장치는 GPS 기술과 AR 환경 기술을 상호 보완 가능하도록 병합하여, 보다 정확한 위치 파악 알고리즘을 구현할 수 있는 방법을 제공할 수 있다.
보다 상세히, 모빌리티 장치가 저속 주행하는 경우, GPS 를 이용한 모빌리티 장치의 위치 정보에 AR 환경 기술을 이용한 AR 마커의 위치에 기초한 모빌리티 장치의 위치 정보를 반영하여, 현재 모빌리티 장치의 위치를 보다 정확하게 보정할 수 있다.
본 발명의 일 실시예에 따른 모빌리티 장치는 모빌리티 장치의 현재 위치를 검출하는 위치 검출부, 상기 모빌리티 장치의 위치 정보를 표시하는 표시부 및 상기 위치 검출부로부터 검출된 상기 모빌리티 장치의 현재 위치를 제1 위치 정보로 설정하고, 상기 제1 위치 정보에 기초하여, 미리 정해진 범위 내에 AR(Augmented Reality) 마커(marker)를 확인하고, 상기 확인된 AR 마커에 기초하여, 상기 모빌리티 장치의 현재 위치를 판단하여, 제2 위치 정보로 설정하고, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 모빌리티 장치의 최종 위치 정보를 판단하는 제어부를 포함할 수 있다.
상기 모빌리티 장치의 속도를 검출하는 속도 검출부를 더 포함할 수 있다.
상기 제어부는, 상기 AR 마커가 존재하는 경우, 상기 AR 마커에 대응하는 위치 정보를 판단할 수 있다.
상기 제어부는, 상기 AR 마커가 존재하는 경우, 상기 AR 마커의 위치 정보를 주기적으로 판단할 수 있다.
상기 제어부는, 상기 모빌리티 장치의 속도가 미리 정해진 속도 이하인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정할 수 있다.
상기 제어부는, 상기 모빌리티 장치가 정지 상태인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정할 수 있다.
상기 제어부는, 상기 제1 위치 정보 및 상기 제2 위치 정보의 정확도를 판단하고, 상기 정확도에 기초하여, 정확도가 높은 위치 정보를 표시하도록 상기 표시부를 제어할 수 있다.
상기 제어부는, 사용자로부터 상기 제1정보 및 상기 제2 위치 정보 중 적어도 하나를 선택하는 선택 입력을 수신하면, 상기 사용자의 선택 입력에 대응하여 상기 제1 위치 정보 및 상기 제2 위치 정보 중 적어도 하나를 표시하도록 상기 표시부를 제어할 수 있다.
본 발명의 다른 실시예에 따른 모빌리티 장치의 제어 방법은, 모빌리티 장치의 위치 검출부로부터 검출된 상기 모빌리티 장치의 현재 위치를 제1 위치 정보로 설정하고, 상기 제1 위치 정보에 기초하여, 미리 정해진 범위 내에 AR(Augmented Reality) 마커(marker)를 확인하고, 상기 확인된 AR 마커에 기초하여, 상기 모빌리티 장치의 현재 위치를 판단하여, 제2 위치 정보로 설정하고, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 모빌리티 장치의 최종 위치 정보를 판단하는 것을 포함할 수 있다.
상기 모빌리티 장치의 속도를 검출하는 것을 더 포함할 수 있다.
상기 AR 마커가 존재하는 경우, 상기 AR 마커에 대응하는 위치 정보를 판단하는 것을 포함할 할 수 있다.
상기 AR 마커가 존재하는 경우, 상기 AR 마커의 위치 정보를 주기적으로 판단하는 것을 포함할 수 있다.
상기 모빌리티 장치의 속도가 미리 정해진 속도 이하인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정하는 것을 포함할 수 있다.
상기 모빌리티 장치가 정지 상태인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정하는 것을 포함할 수 있다.
상기 제1 위치 정보 및 상기 제2 위치 정보의 정확도를 판단하고, 상기 정확도에 기초하여, 정확도가 높은 위치 정보를 표시하는 것을 포함할 수 있다.
사용자로부터 상기 제1정보 및 상기 제2 위치 정보 중 적어도 하나를 선택하는 선택 입력을 수신하면, 상기 사용자의 선택 입력에 대응하여 상기 제1 위치 정보 및 상기 제2 위치 정보 중 적어도 하나를 표시하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 모빌리티 장치는 AR(Augmented Reality) 환경 구현이 어려운 고속 주행 상황에서, 위치 검출 센서 등을 활용하여, 보다 정확한 현재 위치 정보를 확보할 수 있는 효과가 있다.
또한, AR 환경 구현이 가능한 저속 주행 상황에서, AR 마커(marker)를 추출하여, 추출된 AR 마커를 이용해 판단된 위치 정보를 현재 위치 정보에 반영하여, 보다 정확한 모빌리티 장치의 위치를 파악할 수 있는 장점이 있다.
또한, 모빌리티 장치의 위치 주변에 존재하는 AR 마커에 대응하는 AR 컨텐츠를 시각화하여 사용자에게 편의성을 제공할 수 있다.
또한, 모빌리티 장치의 속도에 기초하여, GPS 위치 정보를 이용하여, AR 마커를 추출함으로써, 모빌리티 장치 내에서 대략적인 AR환경을 구현 가능하다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 모빌리티 장치의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 따른 모빌리티 장치의 위치 정보를 판단하기 위한 기준 그래프이다.
도 3은 본 발명의 일 실시예 따른 모빌리티 장치의 위치 정보를 판단하기 위한 구성도 이다.
도 4는 본 발명의 일 실시예에 따른 모빌리티 장치의 위치 정보를 판단하기 위한 방법을 나타낸 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 모빌리티 장치의 위치 정보를 판단하기 위한 방법을 나타낸 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 모빌리티 장치, 예를 들어, 차량의 제어 블록도 이다.
도 1에 도시된 바와 같이, 모빌리티 장치(1)는 모빌리티 장치(1)의 현재 위치를 검출하는 위치 검출부(110), 모빌리티 장치(1)의 위치 정보를 표시하는 표시부(130) 및 위치 검출부(110)로부터 검출된 모빌리티 장치(1)의 현재 위치를 제1 위치 정보로 설정하고, 제1 위치 정보에 기초하여, 미리 정해진 범위 내에 AR(Augmented Reality) 마커(marker)가 존재하는지 확인하고, AR 마커가 존재하는 경우, AR 마커에 대응하는 위치 정보에 기초하여, 모빌리티 장치(1)의 현재 위치를 판단하여 제2 위치 정보로 설정하고, 제1 위치 정보에 제2 위치 정보를 반영하여, 현재 모빌리티 장치(1)의 최종 위치 정보를 판단하는 제어부(100)를 포함할 수 있다. 또한, 모빌리티 장치(1)는 모빌리티 장치(1)의 현재 속도를 검출하는 속도 검출부(120)를 더 포함할 수 있다.
위치 검출부(110)는 위성 항법 시스템(GPS; Global Positioning System), 관성 측정 장치(IMU; Inertial Measurement Unit), 6자유도(6DoF; 6 Degrees Of Freedom) 센서를 포함할 수 있으나, 이에 한정하는 것은 아니다.
제어부(100)는 GPS 를 이용해, 모빌리티 장치(1)의 현재 위치 정보를 획득할 수 있다. 이 때, 제어부(100)는 GPS를 이용해 획득된 모빌리티 장치(1)의 현재 위치 정보를 제1 위치 정보로 설정할 수 있다.
제어부(100)는 제1위치 정보(위치 검출부(110)를 통해 획득한 현재 위치 정보)를 기준으로 하여, 미리 정해진 범위 내에 AR 마커가 존재하는지 여부를 확인할 수 있다. 보다 상세히, 제어부(100)는 카메라(140)를 통해 모빌리티 장치(1) 주변 영상을 획득할 수 있다.
만약, 획득된 주변 영상에 AR 마커가 존재하는 경우, 제어부(100)는 AR 마커를 추출할 수 있다.
제어부(100)는 추출된 AR 마커에 대응하는 위치 정보를 판단할 수 있다. 보다 상세히, 제어부(100)는 AR 마커에 대응하는 위치 정보 네비게이션 상에 제공된 공간정보와 비교할 수 있다. 제어부(100)는 비교 결과에 기초하여, AR 마커를 이용하여 현재 모빌리티 장치(1)의 위치 정보를 판단할 수 있다. 이 때, 제어부(100)는 AR 마커를 이용하여 판단된 현재 모빌리티 장치(1)의 위치 정보를 제2 위치 정보로 설정할 수 있다.
제어부(100)는 제2 위치 정보(즉, AR 마커에 대응하는 위치 정보를 이용하여 판단된 현재 모빌리티 장치(1)의 위치 정보)를 제1 위치 정보(즉, GPS 를 이용해 검출된 모빌리티 장치(1)의 현재 위치 정보)에 반영하여, 모빌리티 장치(1)의 현재 위치 정보를 보정할 수 있다.
만약, 주변 영상에 AR 마커가 존재하지 않는 경우, 제어부(100)는 GPS 를 이용해, 검출된 모빌리티 장치(1)의 위치 정보인 제1위치 정보를 최종 위치 정보로 설정할 수 있다.
제어부(100)는 보정된 최종 위치 정보에 기초하여, 길안내를 시작하도록 네비게이션(Navigation)을 제어할 수 있다.
여기서, 네비게이션의 경로 및 도로의 정보를 제공하는 방법은, 모빌리티 장치(1)에 장착된 GPS 로 현재 모빌리티 장치(1)의 위치 정보를 파악하여, 네비게이션 맵(map) 상에 구현함으로써 제공할 수 있다.
또한, 네비게이션은 모빌리티 장치(1)의 GPS 신호 수신이 불가능한 지역(예를 들어, 실내, 지하, 높은 건물이 많은 지역 등)에 있는 경우에는 모빌리티 장치(1)은 AR 환경을 구현함으로써, AR 마커를 추출하여 모빌리티 장치(1)의 위치 정보를 제공받을 수 있다.
제어부(100)는 AR 마커를 이용해 판단된 현재 모빌리티 장치(1)의 위치 정보 및 모빌리티 장치(1)의 위치 주변에 존재하는 AR 마커에 대응하는 AR 컨텐츠를 시각화하여 표시부(130)에 표시할 수 있다.
제어부(100)는 사용자로부터 위치 검출부(110)를 이용해 검출된 제1 위치 정보를 최종 위치 정보로 판단할지, AR 마커를 이용해 판단된 제2 위치 정보를 최종 위치 정보로 판단할지 여부를 선택하는 선택 입력을 수신할 수 있다.
제어부(100)는 사용자로부터 수신된 선택 입력에 기초하여, 최종 위치 정보를 표시할 방법을 결정할 수 있다.
만약, 사용자가 제1 위치 정보 및 제2 위치 정보를 모두 이용하여 최종 위치 정보를 판단하는 것을 선택 입력하는 경우, 제어부(100)는 위치 검출부(110)를 이용해 검출된 제1 위치 정보에 AR 마커 를 이용해 판단된 제2 위치 정보를 반영하여, 최종 위치 정보를 판단할 수 있다.
제어부(100)는 모빌리티 장치(1)의 속도 검출부(120)를 통해 속도를 검출할 수 있다.
제어부(100)는 모빌리티 장치(1)의 현재 속도에 기초하여, 모빌리티 장치(1)의 현재 위치 주변의 미리 정해진 범위 내 AR 마커가 존재하는지 확인할 수 있다.
예를 들어, 현재 모빌리티 장치(1)의 속도가 미리 정해진 속도 이하인 경우, 제어부(100)는 주기적으로 AR 마커의 위치 정보를 확인할 수 있다. 여기서, 미리 정해진 속도는 20Km/h일 수 있으나, 이에 한정하지 않는다. 이 때, AR 마커의 추출이 가능한 조건은 모빌리티 장치(1)가 정지한 상태이거나, 모빌리티 장치(1)의 속도가 미리 정해진 속도 이하인 경우(예를 들어, 저속 주행)이므로 모빌리티 장치(1)가 정지 또는 저속으로 주행하는 상태인 경우일 수 있다.
만약, 현재 모빌리티 장치(1)의 속도가 미리 정해진 속도 이하인 경우, 제어부(100)는 GPS를 이용해 검출된 모빌리티 장치(1)의 제1 위치 정보에 기초하여, 미리 정해진 범위 내에서 실시간으로 확인된 AR 마커를 추출할 수 있다.
제어부(100)는 실시간으로 추출된 AR 마커에 대응하는 위치 정보를 판단할 수 있다. AR 마커에 대응하는 위치 정보를 이용하여 판단된 제2 위치 정보를 반영하여, 모빌리티 장치(1)의 제1 위치 정보를 보정할 수 있다.
만약, 현재 모빌리티 장치(1)의 속도가 미리 정해진 속도 보다 큰 경우GPS를 통해 획득된 제1 위치 정보를 이용하여 최종 위치 정보를 판단할 수 있다. 모빌리티 장치(1)의 속도가 미리 정해진 속도 이상인 경우, 빠른 속도로 인해 AR 마커를 추출하기 어렵기 때문일 수 있다.
제어부(100)는 모빌리티 장치(1)가 정지 상태인 경우, 위치 검출부(110)를 통해 검출된 모빌리티 장치(1)의 제1 위치 정보에 AR 마커를 이용해 판단된 제2 위치 정보를 반영하여, 모빌리티 장치(1)의 현재 제1 위치 정보를 보정할 수 있다.
제어부(100)는 위치 검출부(110)를 통해 검출된 모빌리티 장치(1)의 제1 위치 정보 및 AR 마커를 이용해 판단된 모빌리티 장치(1)의 제2 위치 정보의 정확도를 판단할 수 있다. 제어부(100)는 정확도에 기초하여, 정확도가 높은 위치 정보를 선택할 수 있고, 선택된 위치 정보를 최종 위치 정보로 판단할 수 있다.
예를 들어, 제어부(100)는 제1 위치 정보에 기초하여, 미리 정해진 범위 내에서 주기적으로 AR 마커를 추출하고, AR 마커에 대응하는 위치 정보를 주기적으로 판단할 수 있다. 이와 같이, 주기적으로 변경되는AR 마커의 위치 정보 비교를 통해 현재 모빌리티 장치(1)의 위치 정보의 정확도를 높일 수 있다.
예를 들어, 제어부(100)는 위치 검출부(110)를 통해 검출된 모빌리티 장치(1)의 제1 위치 정보와 AR 마커를 이용해 판단된 모빌리티 장치(1)의 제2 위치 정보 사이의 상대적 거리를 확인할 수 있다.
제어부(100)는 상대적 거리에 기초하여, 위치 검출부(110)를 통해 검출된 모빌리티 장치(1)의 제1 위치 정보 및 AR 마커를 이용해 판단된 모빌리티 장치(1)의 제2 위치 정보의 정확도를 판단할 수 있다.
또한, 제어부(100)는 정확도에 기초하여, 제1 위치 정보에 제2 위치 정보를 반영하여, 최종 위치 정보를 판단할 수 있다.
제어부(100)는 최종 위치 정보를 표시하도록 표시부(130)를 제어할 수 있다.
제어부(100)는 최종 위치 정보를 주기적으로 업데이트하고, 메모리(미도시)에 저장할 수 있다.
상술한 바와 같이, 현재 모빌리티 장치(1)의 제1위치 정보에 AR 마커를 이용해 판단된 모빌리티 장치(1)의 제2 위치 정보를 반영함으로써, AR 마커는 지정된 위치(예를 들어, 교차로와 같이 모빌리티 장치(1)의 속도가 감속되는 지점)에 복수 개를 구성함으로써, 카메라(140)로부터 촬영된 촬영 영상으로부터 추출되지 않는 경우를 미연에 방지하여, 모빌리티 장치(1)의 위치를 보다 정확하게 판단할 수 있는 효과가 있다.
표시부(130)는 증강현실 방식을 이용하여, 현재 모빌리티 장치(1)의 위치를 표시할 수 있다.
이에 따라, 모빌리티 장치(1)의 위치 주변에 존재하는 AR 마커에 대응하는 AR 컨텐츠를 시각화하여 사용자에게 편의성을 제공할 수 있는 효과가 있다.
표시부(130)는 모빌리티 장치(1)의 AR 마커를 이용해 판단된 모빌리티 장치(1) 제2 위치 정보를 반영하여 보정된 최종 위치 정보를 표시할 수 있다.
또한, 표시부(130)는 표시된 최종 위치 정보 주변에 POI(Point of interest)을 표시할 수 있다. 예를 들어, POI는 운전자가 쉽게 목적지를 찾을 수 있도록, 도로 주변의 건물의 위치 정보를 의미할 수 있다. 또한, 표시부(130)는 POI에 기초하여, 관심 지역에 대응하는 다양한 컨텐츠를 표시할 수 있음은 물론이다.
상기 표시부(130)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
표시부(130)는 터치 디스플레이 일 수 있다.
메모리(미도시)는 별개의 칩으로 구현될 수 있고, 제어부(100)에 대응하는 프로세서와 단일 칩으로 구현될 수도 있다.
메모리(미도시)에 저장된 운전자의 감정 상태, 성별 및 연령을 판단하기 위한 프로그램은, CNN(Convolutional Neural Networks) 알고리즘, GAN(Generative Adversarial Networks) 알고리즘, RNN(Recurrent Neural Networks) 알고리즘, RNN 알고리즘의 일종인 LSTM(Long Short-Term Memory) 알고리즘, R-CNN(Region Based Convolutional Neural Networks) 알고리즘 등의 인공지능 알고리즘(인공 신경망 모델)을 포함할 수 있다.
메모리(미도시)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(Hard Disk Drive, HDD), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나, 이에 한정되지는 않는다.
제어부(100)는 모빌리티 장치(1) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 모빌리티 장치의 위치 정보를 판단하기 위한 기준 그래프이다.
도 2를 참조하면, 모빌리티 장치(1)는 GPS, IMU, 자이로 센서(gyroscope sensor)에서 획득한 정보를 이용하여, 모빌리티 장치(1)의 현재 위치를 판단하는 방법과 미리 구축된 AR 환경 인식을 통한 AR 마커에 대응하는 위치를 판단하는 방법 중 어느 하나의 방법을 선택하여, 모빌리티 장치(1)의 최종 위치 정보를 판단할 수 있다.
또한, 모빌리티 장치(1)는 두 가지의 방법을 종합하여 모빌리티 장치(1)의 최종 위치 정보를 판단할 수 있다.
보다 상세히, 도 2에 도시된 바와 같이, 모빌리티 장치(1)가 정지 또는 저속으로 주행하는 상태인 경우, 모빌리티 장치(1)의 위치를 판단하는 위치 정확도는 낮아질 수 있다.
이에 따라, 모빌리티 장치(1)는 정지 또는 저속으로 주행하는 상태인 경우, 위치 검출부(110)를 통해 검출된 현재 위치 정보(GPS2, GPS3)에 기초하여, 미리 정해진 범위 내에 에 AR 마커가 존재하는 지 판단할 수 있다.
만약, AR 마커가 존재하는 경우, 모빌리티 장치(1)는 AR 마커에 대응하는 위치 정보를 판단할 수 있다. 여기서, AR 마커의 추출이 가능한 조건은 모빌리티 장치(1)가 정지한 상태이거나, 모빌리티 장치(1)의 속도가 미리 정해진 속도 이하인 경우(예를 들어, 저속 주행)이므로 모빌리티 장치(1)가 정지 또는 저속으로 주행하는 상태인 경우에, AR 마커를 추출하는 것이 가능할 수 있다.
이 때, 모빌리티 장치(1)는 AR 마커에 대응하는 위치 정보에 기초하여 판단된 모빌리티 장치(1)의 위치 정보를 최종 위치 정보로 판단할 수 도 있다. (Marker 2, Marker 3)
또한, 모빌리티 장치(1)는 모빌리티 장치(1)의 속도를 주기적으로 검출하여, 미리 정해진 속도 이하인 경우, 주기적으로 AR 마커를 추출하고, AR 마커에 대응하는 위치 정보를 판단할 수 있다.
한편, 상술한 바와 같이, AR 마커에 대응하는 위치 정보의 정확도에 기초하여, 위치 검출부(110)를 통해 검출된 현재 위치 정보에 AR 마커에 대응하는 위치 정보에 기초하여 판단된 모빌리티 장치(1)의 위치 정보를 반영하여, 현재 위치 정보를 보정할 수도 있음은 물론이다.
본 발명의 일 실시예에서는 위치 검출부(110)를 통해 현재 모빌리티 장치(1)의 위치를 검출하는 방법, AR 환경 인식을 통한 AR 마커에 대응하는 위치에 기초하여 판단된 현재 모빌리티 장치(1)의 위치를 검출하는 방법을 제어부(100)가 선택적으로 또는 모두 이용하여 최종 위치 정보를 판단하는 것으로 기재하였으나, 위치 검출부(110)를 통해 현재 모빌리티 장치(1)의 위치를 검출하는 제1 모듈, 및 AR 환경 인식을 통한 AR 마커에 대응하는 위치에 기초하여 판단된 현재 모빌리티 장치(1)의 위치를 검출하는 제2 모듈로 각각 구현될 수도 있다.
예를 들어, 모빌리티 장치(1)는 모빌리티 장치(1)의 속도에 기초하여, 제1 모듈 또는 제2 모듈 중 어느 하나를 선택하여, 모빌리티 장치(1)의 최종 위치 정보를 판단하기 위해, 제1 모듈 또는 제2 모듈 중 어느 하나를 제어할 수 있다.
또한, 모빌리티 장치(1)는 모빌리티 장치(1)의 속도에 기초하여, 제1 모듈에서 검출된 현재 위치 정보에 제2 모듈에서 검출된 위치 정보를 반영하도록 제1 모듈 및 제2 모듈을 모두 제어할 수도 있다.
도 3은 본 발명의 일 실시예 따른 모빌리티 장치의 위치 정보를 판단하기 위한 구성도 이다.
도 3에 도시된 바와 같이, 모빌리티 장치(1)는 모빌리티 장치(1)의 주행 시작 시(110-1) GPS 를 이용해, 모빌리티 장치(1)의 위치 정보를 positioning 할 수 있다. 모빌리티 장치(1)는 보정된 GPS 위치 정보에 기초하여, 미리 정해진 범위 내에 존재하는 AR 마커를 추출할 수 있다.
모빌리티 장치(1)는 AR 마커를 추출하여, AR 마커에 대응하는 위치 정보에 기초하여, 모빌리티 장치(1)의 현재 위치를 판단하고, 이를 GPS를 통해 판단된 모빌리티 장치(1)의 위치 정보에 반영하도록 Positioning Engine를 제어할 수 있다.
모빌리티 장치(1)는 모빌리티 장치(1)의 주행 시(110-2), Positioning Engine을 통해 보정된 GPS 로부터 검출된 모빌리티 장치(1)의 위치 정보를 주기적으로 획득할 수 있다.
모빌리티 장치(1)는 보정된 GPS에 기초하여, 미리 정해진 범위 내에 AR 마커가 존재하는지 확인할 수 있다.
모빌리티 장치(1)는 모빌리티 장치(1)가 정지 상태 및 저속 주행 시(100-3), 보정 GPS 및 AR 마커 추출을 하여, Visual Positioning을 수행하도록 Positioning Engine을 제어할 수 있다.
도2에 상술한 바와 같이, 모빌리티 장치(1)는 GPS를 통해 현재 모빌리티 장치(1)의 위치를 검출하는 제1 모듈, 및 AR 환경 인식을 통한 AR 마커에 대응하는 위치에 기초하여, 모빌리티 장치(1)의 현재 위치를 검출하는 제2 모듈을 포함할 수 있다. 이 때, 모빌리티 장치(1)는 모빌리티 장치(1)가 고속 주행 시, AR 구현을 위해 제2 모듈에 제1 모듈에서 검출된 GPS 위치 정보를 제공할 수 있다.
즉, 모빌리티 장치(1)가 정지 상태 또는 저속 주행 상태인 경우, 모빌리티 장치(1)는 제1 모듈에서 검출된 위치 정보에 제 2 모듈에서 검출된 AR 마커에 대응하는 위치 정보를 반영하여 최종 위치 정보를 판단할 수 있다. 또한, 모빌리티 장치(1)이 고속 주행 상태인 경우, 모빌리티 장치(1)는 제1 모듈에서 검출된 GPS로부터 검출된 모빌리티 장치(1)의 위치 정보를 제2 모듈에 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 모빌리티 장치의 위치 정보를 판단하기 위한 방법을 나타낸 순서도이다.
도 4를 참조하면, 모빌리티 장치(1)는 GPS를 이용해, 모빌리티 장치(1)의 현재 위치 정보를 검출할 수 있다. (210)
모빌리티 장치(1)는 모빌리티 장치(1)의 현재 위치 정보에 기초하여, 현재 위치를 기준으로 미리 정해진 범위 내에 AR 마커가 존재하는지 확인할 수 있다. (220)
예를 들어, 모빌리티 장치(1)는 현재 위치를 기준으로 하여 반경 30m 이내를 미리 정해진 범위로 설정할 수 있다.
만약, 미리 정해진 범위 내에 AR 마커가 존재하는 경우, 모빌리티 장치(1)는 AR 마커를 추출할 수 있다. 모빌리티 장치(1)는 추출된 AR 마커에 대응하는 위치 정보를 판단할 수 있다.
모빌리티 장치(1)는 AR 마커에 대응하는 위치 정보에 기초하여, 현재 모빌리티 장치(1)의 위치 정보를 판단할 수 있다.
모빌리티 장치(1)는 AR 마커를 이용해 판단된 모빌리티 장치(1)의 위치 정보를GPS 를 이용해 검출된 모빌리티 장치(1)의 현재 위치 정보에 반영할 수 있다. 모빌리티 장치(1)은 현재 위치 정보를 보정할 수 있다. (230)
만약, 미리 정해진 범위 내에 AR 마커가 존재하지 않는 경우, 모빌리티 장치(1)는 GPS를 이용해 검출된 위치 정보에 기초하여, 모빌리티 장치(1)의 최종 위치를 판단할 수 있다. (240)
이로 인해, AR 환경 구현이 가능한 저속 주행 상황에서, AR 마커(marker)를 추출하여, 추출된 AR 마커에 대응하는 위치 정보를 현재 위치 정보에 반영하여, 보다 정확한 모빌리티 장치의 위치를 파악할 수 있는 장점이 있다.
도 5는 본 발명의 다른 실시예에 따른 모빌리티 장치의 위치 정보를 판단하기 위한 방법을 나타낸 순서도이다.
도 5를 참조하면, 모빌리티 장치(1)는 GPS를 이용해, 모빌리티 장치(1)의 현재 위치 정보를 검출할 수 있다. (310)
모빌리티 장치(1)는 현재 모빌리티 장치(1)의 속도를 검출할 수 있다. (320)
모빌리티 장치(1)는 GPS를 이용해 검출된 모빌리티 장치(1)의 현재 위치를 기준으로 미리 정해진 범위 내에 AR 마커가 존재하는 지 확인할 수 있다. (330)
만약, AR 마커가 존재하는 경우에 모빌리티 장치(1)의 속도가 미리 정해진 속도 이하이면, 모빌리티 장치(1)는 AR 마커를 주기적으로 추출할 수 있다. 모빌리티 장치(1)는 추출된 AR 마커에 대응하는 위치 정보를 주기적으로 판단할 수 있다. 여기서, AR 마커의 추출이 가능한 조건은 모빌리티 장치(1)가 정지한 상태이거나, 모빌리티 장치(1)의 속도가 미리 정해진 속도 이하인 경우(예를 들어, 저속 주행)이므로 모빌리티 장치(1)가 정지 또는 저속으로 주행하는 상태인 경우일 수 있다.
모빌리티 장치(1)은 모빌리티 장치(1)의 현재 속도에 기초하여, AR 마커에 대응하는 위치 정보에 기초하여 판단된 현재 모빌리티 장치(1)의 위치 정보를 GPS를 이용해 검출된 현재 위치 정보에 반영할지 여부를 결정할 수 있다. (350)
모빌리티 장치(1)의 현재 속도가 미리 정해진 속도 이하이면, 모빌리티 장치(1)는 AR 마커를 이용해 판단된 현재 모빌리티 장치(1)의 위치 정보를 GPS를 이용해 검출된 현재 위치 정보에 반영함으로써, 현재 위치 정보를 보정할 수 있다. (360)
상술한 실시예에 따르면, 위치 검출부(110)를 통해 현재 모빌리티 장치(1)의 위치를 검출하는 제1 모듈을 센서 모듈이라고 할 수 있으며, AR 환경 인식을 통한 AR 마커에 대응하는 위치에 기초하여 판단된 현재 모빌리티 장치(1)의 위치를 검출하는 제2 모듈을 마커 모듈이라고 할 수 있다.
상술한 실시예에 따르면, 모빌리티 장치(1)는, 센서 모듈과 마커 모듈 중 정확도가 높은 모듈을 선택하거나 두 모듈의 검출 정보, 즉, 위치 검출부(110) 를 통한 현재 모빌리티 장치(1)의 위치 및 AR 환경 인식을 통한 AR 마커에 대응하는 위치에 기초하여 판단된 현재 모빌리티 장치(1)의 위치를 종합하여 모빌리티 장치(1)의 현재 위치를 파악할 수 있다.
예를 들어, 모빌리티 장치(1)는 GPS를 통한 현재 모빌리티 장치(1)의 위치와 모빌리티 장치(1)의 위치 기반 해당 구역에 대해, 마커 모듈에 의해 판단된 현재 모빌리티 장치(1)의 위치를 종합하여, 모빌리티 장치(1)의 현재 위치를 파악할 수 있다.
또한, 상술한 실시예에 따르면, 모빌리티 장치(1)는 AR 마커의 인식 가능한 조건은 모빌리티 장치(1)의 정지 또는 저속 주행이므로, 모빌리티 장치(1)의 속도가 느려지거나 정지하는 경우, 지속적으로 AR 마커를 탐색할 수 있다.
예를 들어, 모빌리티 장치(1)는 모빌리티 장치(1)의 감속으로 모빌리티(1)의 속도가 일정 속도 이하인 경우 AR 마커 탐색을 시작할 수 있다.
또한, 상술한 실시예에 추가로, 모빌리티 장치(1)는 고속 주행 시 센서 모듈을 선택하여 모빌리티 장치(1)의 현재 위치를 파악할 수 있으며, 모빌리티 장치(1)는 저속 주행 시 마커 모듈을 통해 AR 마커의 인식 시 마커 모듈을 우선으로 모빌리티 장치(1)의 현재 위치를 파악할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 모빌리티 장치 100: 제어부
110: 위치 검출부 120: 속도 검출부
130: 표시부 140: 카메라

Claims (16)

  1. 모빌리티 장치의 현재 위치를 검출하는 위치 검출부;
    상기 모빌리티 장치의 위치 정보를 표시하는 표시부; 및
    상기 위치 검출부로부터 검출된 상기 모빌리티 장치의 현재 위치를 제1 위치 정보로 설정하고,
    상기 제1 위치 정보에 기초하여, 미리 정해진 범위 내에 AR(Augmented Reality) 마커(marker)를 확인하고,
    상기 확인된 AR 마커에 기초하여, 상기 모빌리티 장치의 현재 위치를 판단하여, 제2 위치 정보로 설정하고,
    상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 모빌리티 장치의 최종 위치 정보를 판단하는 제어부;를 포함하는 모빌리티 장치.
  2. 제1항에 있어서,
    상기 모빌리티 장치의 속도를 검출하는 속도 검출부;를 더 포함하는 모빌리티 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 AR 마커가 존재하는 경우, 상기 AR 마커에 대응하는 위치 정보를 판단하는 모빌리티 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 AR 마커가 존재하는 경우, 상기 AR 마커의 위치 정보를 주기적으로 판단하는 모빌리티 장치.
  5. 제2항에 있어서,
    상기 제어부는,
    상기 모빌리티 장치의 속도가 미리 정해진 속도 이하인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정하는 모빌리티 장치.
  6. 제2항에 있어서,
    상기 제어부는,
    상기 모빌리티 장치가 정지 상태인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정하는 모빌리티 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 제1 위치 정보 및 상기 제2 위치 정보의 정확도를 판단하고,
    상기 정확도에 기초하여, 정확도가 높은 위치 정보를 표시하도록 상기 표시부를 제어하는 모빌리티 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    사용자로부터 상기 제1정보 및 상기 제2 위치 정보 중 적어도 하나를 선택하는 선택 입력을 수신하면, 상기 사용자의 선택 입력에 대응하여 상기 제1 위치 정보 및 상기 제2 위치 정보 중 적어도 하나를 표시하도록 상기 표시부를 제어하는 모빌리티 장치.
  9. 모빌리티 장치의 위치 검출부로부터 검출된 상기 모빌리티 장치의 현재 위치를 제1 위치 정보로 설정하고,
    상기 제1 위치 정보에 기초하여, 미리 정해진 범위 내에 AR(Augmented Reality) 마커(marker)를 확인하고,
    상기 확인된 AR 마커에 기초하여, 상기 모빌리티 장치의 현재 위치를 판단하여, 제2 위치 정보로 설정하고,
    상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 모빌리티 장치의 최종 위치 정보를 판단하는 것을 포함하는 모빌리티 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 모빌리티 장치의 속도를 검출하는 것을 더 포함하는 모빌리티 장치의 제어 방법.
  11. 제 9항에 있어서,
    상기 AR 마커가 존재하는 경우, 상기 AR 마커에 대응하는 위치 정보를 판단하는 것을 포함하는 모빌리티 장치의 제어 방법.
  12. 제9항에 있어서,
    상기 AR 마커가 존재하는 경우, 상기 AR 마커의 위치 정보를 주기적으로 판단하는 것을 포함하는 모빌리티 장치의 제어 방법.
  13. 제 10항에 있어서,
    상기 모빌리티 장치의 속도가 미리 정해진 속도 이하인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정하는 것을 포함하는 모빌리티 장치의 제어 방법.
  14. 제10항에 있어서,
    상기 모빌리티 장치가 정지 상태인 경우, 상기 제1 위치 정보에 상기 제2 위치 정보를 반영하여, 상기 제1 위치 정보를 보정하는 것을 포함하는 모빌리티 장치의 제어 방법.
  15. 제 9항에 있어서,
    상기 제1 위치 정보 및 상기 제2 위치 정보의 정확도를 판단하고,
    상기 정확도에 기초하여, 정확도가 높은 위치 정보를 표시하는 것을 포함하는 모빌리티 장치의 제어 방법.
  16. 제9항에 있어서,
    사용자로부터 상기 제1정보 및 상기 제2 위치 정보 중 적어도 하나를 선택하는 선택 입력을 수신하면, 상기 사용자의 선택 입력에 대응하여 상기 제1 위치 정보 및 상기 제2 위치 정보 중 적어도 하나를 표시하는 것을 포함하는 모빌리티 장치의 제어 방법.
KR1020210056504A 2021-04-30 2021-04-30 모빌리티 장치 및 그 제어방법 KR20220149203A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210056504A KR20220149203A (ko) 2021-04-30 2021-04-30 모빌리티 장치 및 그 제어방법
US17/454,413 US11715233B2 (en) 2021-04-30 2021-11-10 Mobility device and control method thereof
CN202111492037.7A CN115267866A (zh) 2021-04-30 2021-12-08 移动装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210056504A KR20220149203A (ko) 2021-04-30 2021-04-30 모빌리티 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20220149203A true KR20220149203A (ko) 2022-11-08

Family

ID=83758442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056504A KR20220149203A (ko) 2021-04-30 2021-04-30 모빌리티 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US11715233B2 (ko)
KR (1) KR20220149203A (ko)
CN (1) CN115267866A (ko)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013075A (ja) 2009-07-01 2011-01-20 Toyota Infotechnology Center Co Ltd 車両位置推定システム
KR101700681B1 (ko) 2015-04-14 2017-02-13 백승렬 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치
RU2682137C1 (ru) * 2015-07-31 2019-03-14 Ниссан Мотор Ко., Лтд. Способ управления движением и устройство управления движением
EP3338136B1 (en) 2015-08-04 2022-09-14 Yasrebi, Seyed-Nima Augmented reality in vehicle platforms
CN106405605B (zh) 2016-08-23 2019-04-05 湖南晖龙集团股份有限公司 一种机器人基于ros和gps的室内外无缝定位方法和定位系统
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
JP6759175B2 (ja) * 2017-10-27 2020-09-23 株式会社東芝 情報処理装置および情報処理システム
JP6691096B2 (ja) * 2017-12-11 2020-04-28 株式会社Ｓｕｂａｒｕ 欺瞞信号検出システム及び欺瞞信号検出方法
US11887495B2 (en) * 2018-04-27 2024-01-30 Red Six Aerospace Inc. Augmented reality for vehicle operations
US10573183B1 (en) 2018-09-27 2020-02-25 Phiar Technologies, Inc. Mobile real-time driving safety systems and methods
US10997805B2 (en) * 2018-10-10 2021-05-04 Ford Global Technologies, Llc Methods and systems for diagnosing an active engine mount condition
US11572080B2 (en) * 2019-12-27 2023-02-07 Zoox, Inc. Sensor degradation monitor

Also Published As

Publication number Publication date
US11715233B2 (en) 2023-08-01
CN115267866A (zh) 2022-11-01
US20220351409A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
BR112020024333A2 (pt) rastrear veículos em um ambiente de armazém
US10789744B2 (en) Method and apparatus for augmented reality display on vehicle windscreen
KR20180088149A (ko) 차량 경로 가이드 방법 및 장치
CN112189218A (zh) 基于场地的增强现实的方法和装置
US11866167B2 (en) Method and algorithm for flight, movement, autonomy, in GPS, communication, degraded, denied, obstructed non optimal environment
US20200109962A1 (en) Method and system for generating navigation data for a geographical location
KR100887721B1 (ko) 영상 차량 항법 장치 및 방법
JP2006162442A (ja) ナビゲーション装置及びナビゲーション方法
KR100976964B1 (ko) 네비게이션 시스템 및 이의 주행 차선 구분 방법
US10436582B2 (en) Device orientation detection
KR20160063871A (ko) 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법
JP2017015593A (ja) 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ
US20220222870A1 (en) Map driven augmented reality
EP3339808B1 (en) Positioning objects in an augmented reality display
KR20220149203A (ko) 모빌리티 장치 및 그 제어방법
US11656089B2 (en) Map driven augmented reality
KR20190068006A (ko) 마커 인식을 통해 경로를 제공하는 방법 및 서버
US20220327317A1 (en) Apparatus and method for predicting trajectory of surrounding vehicle
WO2019119358A1 (en) Method, device and system for displaying augmented reality poi information
US20220205792A1 (en) Method and device for creating a first map
US10830906B2 (en) Method of adaptive weighting adjustment positioning
KR20200072574A (ko) 차량 및 그 제어방법
WO2024134837A1 (ja) 案内修正方法及び案内修正装置
US12033244B2 (en) Map driven augmented reality
US20240126295A1 (en) Position determination apparatus, position determination method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
A201 Request for examination