KR20220160279A - 모바일 장치 및 차량 - Google Patents

모바일 장치 및 차량 Download PDF

Info

Publication number
KR20220160279A
KR20220160279A KR1020210068280A KR20210068280A KR20220160279A KR 20220160279 A KR20220160279 A KR 20220160279A KR 1020210068280 A KR1020210068280 A KR 1020210068280A KR 20210068280 A KR20210068280 A KR 20210068280A KR 20220160279 A KR20220160279 A KR 20220160279A
Authority
KR
South Korea
Prior art keywords
information
image
display
inflection point
destination
Prior art date
Application number
KR1020210068280A
Other languages
English (en)
Inventor
김수빈
우재열
우승현
안로운
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210068280A priority Critical patent/KR20220160279A/ko
Priority to CN202210117038.1A priority patent/CN115408623A/zh
Priority to US17/677,765 priority patent/US20220381578A1/en
Publication of KR20220160279A publication Critical patent/KR20220160279A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/09685—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is computed only once and not updated
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096866—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the complete route is shown to the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
    • G08G1/096883—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement where input information is obtained using a mobile device, e.g. a mobile phone, a PDA
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Navigation (AREA)

Abstract

본 발명은 증강 현실 기능 및 내비게이션 기능을 수행하는 모바일 장치 및 차량에 관한 것이다.
본 발명의 모바일 장치는, 사용자 입력을 수신하는 입력부; 현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부; 주변의 환경에 대한 영상을 획득하는 영상 획득부; 증강 현실 모드의 수행에 대응하여 영상 획득부에서 획득된 주변 영상을 표시하는 표시부; 및 증강 현실 모드의 수행 중 사용자 입력으로 목적지 정보가 수신되면 위치 수신부에 의해 획득된 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고, 탐색한 경로에 대응하는 경로 정보에 기초하여 이동 상황을 확인하고, 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 변화되는 변곡점의 위치 정보를 획득하고, 변곡점의 위치 정보, 지도 정보 및 현재 위치 정보에 기초하여 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 표시부를 제어하는 제어부를 포함한다.

Description

모바일 장치 및 차량 {Mobile device and Vehicle}
본 발명은 목적지까지 길을 안내하는 내비게이션 기능을 가진 모바일 장치 및 차량에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device), 디지털 카메라(digital camera) 또는 개인용 컴퓨터(personal computer) 등과 같은 다양한 유형의 모바일 장치가 널리 사용되고 있다.
최근에는, 모바일 장치에서 수행될 수 있는 기능 중 통화 기능 및 멀티미디어 재생 기능(예: 음악 재생, 동영상 재생) 및 인터넷 기능 이외에도, 내비게이션 기능에 대한 연구 개발이 증가하고 있다.
여기에서의 내비게이션 기능은 차량에서도 수행되는 기능으로, 모바일 장치나, 차량은 내비게이션 기능을 수행할 때, 현재 위치를 인식하기 위해 글로벌 위치 시스템(GPS: Global Positioning System)을 범용적으로 이용하고 있다.
이러한 글로벌 위치 시스템(GPS)은 실내, 지하, 높은 건물이 많은 지역 등에서 위성과의 통신 문제로 인해 현재 위치를 정확하게 인식하기 어려운 문제점이 있었고, 실제의 현재 위치와 인식된 현재 위치와의 오차의 범위도 매우 큰 문제점이 있었다.
그리고 모바일 장치나 차량은, 내비게이션 기능을 수행할 때, 목적지와 인접한 위치에서 내비게이션 기능이 종료됨으로 인해, 사용자가 목적지에 도착하기 전까지 사용자에게 목적지를 정확하게 안내하지 못하는 문제점이 있었다.
일 측면은 내비게이션 모드와 증강 현실의 모드의 수행 중 증강 현실 기능에서의 객체 영상의 표시를 제어하면서 목적지까지 길을 안내하고, 목적지까지 길 안내 중 정체 구간과 사고 구간을 표시하며 대체 경로를 제안하는 모바일 장치 및 차량을 제공한다.
다른 측면은 목적지와 같은 관심 지점(POI)을 객체 영상을 이용하여 강조하여 표시하거나 투명도를 조정하여 표시하는 모바일 장치 및 차량을 제공한다.
일 측면에 따른 모바일 장치는, 사용자 입력을 수신하는 입력부; 현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부; 주변의 환경에 대한 영상을 획득하는 영상 획득부; 증강 현실 모드의 수행에 대응하여 영상 획득부에서 획득된 주변 영상을 표시하는 표시부; 및 증강 현실 모드의 수행 중 사용자 입력으로 목적지 정보가 수신되면 현재 위치부터 목적지까지의 경로를 탐색하고, 탐색한 경로에 대응하는 경로 정보에 기초하여 이동 상황을 확인하고, 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 변화되는 변곡점의 위치 정보를 획득하고, 변곡점의 위치 정보 및 현재 위치 정보에 기초하여 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 표시부를 제어하는 제어부를 포함한다.
모바일 장치의 제어부는, 현재 위치 정보와 변곡점의 위치 정보에 기초하여 현재 위치에서 변곡점까지의 거리 정보를 획득하고 획득한 거리 정보에 기초하여 변곡점의 객체 영상의 표시 정보를 변경한다. 변곡점의 객체 영상의 표시 정보는, 형상 정보와 색상 정보 중 적어도 하나를 포함한다.
모바일 장치의 제어부는, 변곡점까지의 거리가 제1기준 거리 이상이라고 판단되면 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 목적지의 방향을 확인하고 표시부에 표시된 주변 영상에 현재 위치에서 목적지의 방향을 향하는 지향의 객체 영상을 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는, 변곡점까지의 거리가 제1기준 거리 미만이고 제2기준 거리 이상이라고 판단되면 변곡점의 위치 및 지도 정보에 기초하여 원거리 변곡점의 객체 영상을 주변 영상에 표시하도록 표시부를 제어한다. 제1기준 거리는 제2기준거리보다 긴 거리이다.
모바일 장치의 제어부는, 경로 정보에 기초하여 미리 설정된 설정 거리 내에 변곡점이 복수 개라고 판단되면 제2기준 거리를 제3기준 거리로 변경한다.
모바일 장치의 제어부는, 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 원활한 상황이면 원거리 변곡점의 객체 영상을 제1색상으로 표시하도록 표시부를 제어하고, 이동 상황이 정체 또는 사고라고 판단되면 원거리 변곡점의 객체 영상을 제2색상으로 표시하도록 표시부를 제어하고, 이동 상황이 경로 변경 상황이면 원거리 변곡점의 객체 영상을 제3색상으로 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는, 교통 정보가 수신되면 수신된 교통 정보, 목적지 정보, 현재 위치 정보, 경로 정보 및 지도 정보에 기초하여 경로 변경이 필요한지를 판단한다.
모바일 장치의 제어부는, 변곡점까지의 거리가 제2기준 거리 미만이라고 판단되면 변곡점의 위치 및 지도 정보에 기초하여 근거리 변곡점의 객체 영상을 주변 영상에 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는, 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 경로 유지 상황이면 근거리 변곡점의 객체 영상을 제1색상으로 표시하도록 표시부를 제어하고, 이동 상황이 정체 또는 사고라고 판단되면 근거리 변곡점의 객체 영상을 제2색상으로 표시하도록 표시부를 제어하고, 이동 상황이 경로 변경 상황이면 근거리 변곡점의 객체 영상을 제3색상으로 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는, 지향의 객체 영상의 표시 위치가 근거리 변곡점의 객체 영상의 표시 위치와 일치하고, 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보를 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는, 지향의 객체 영상의 표시 위치가 근거리 변곡점의 객체 영상의 표시 위치와 불일치하고, 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보 및 대체 경로 정보를 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는, 목적지 정보, 현재 위치 정보, 경로 정보 및 지도 정보에 기초하여 목적지까지의 거리가 일정 거리 이하인지를 판단하고, 목적지까지의 거리가 일정 거리 이하라고 판단되면 주변 영상에서 목적지 정보에 대응하는 목적지 영상을 인식하고 인식한 목적지 영상에 강조 객체 영상을 오버랩하여 표시하도록 표시부를 제어한다.
모바일 장치의 제어부는 목적지 정보, 현재 위치 정보, 경로 정보 및 지도 정보에 기초하여 목적지까지의 거리가 일정 거리 이하인지를 판단하고, 목적지까지의 거리가 일정 거리 이하라고 판단되면 주변 영상에서 목적지 정보에 대응하는 목적지 영상을 인식하고 인식한 목적지 영상과 나머지 영상의 투명도를 서로 다르게 제어한다.
모바일 장치의 제어부는, 주변 영상에서 목적지 영상과 인접한 지면 영상을 인식하고 인식한 지면 영상에 그리드 형상의 객체 영상을 표시하도록 표시부를 제어하고, 목적지 영상에 앵커 마크 영상을 오버랩시켜 표시하도록 표시부를 제어한다.
다른 측면에 따른 차량은, 사용자 입력을 수신하는 입력부; 현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부; 주행 속도를 검출하는 속도 검출부; 주변의 환경에 대한 영상을 획득하는 영상 획득부; 증강 현실 모드의 수행에 대응하여 영상 획득부에서 획득된 주변 영상을 표시하는 표시부; 및 증강 현실 모드와 내비게이션 모드의 연동 중 사용자 입력으로 목적지 정보가 수신되면 위치 수신부에 의해 획득된 현재 위치부터 목적지까지의 경로를 탐색하고, 탐색한 경로에 대응하는 경로 정보와 속도 검출부에 의해 검출된 주행 속도 정보에 기초하여 이동 상황을 확인하고, 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 변화되는 변곡점의 위치 정보를 획득하고, 변곡점의 위치 정보 및 현재 위치 정보에 기초하여 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 표시부를 제어하는 제어부를 포함한다.
차량의 제어부는, 현재 위치 정보와 변곡점의 위치 정보에 기초하여 현재 위치에서 변곡점까지의 거리 정보를 획득하고 획득한 거리 정보에 기초하여 변곡점의 객체 영상의 표시 정보를 변경한다. 변곡점의 객체 영상의 표시 정보는, 형상 정보와 색상 정보 중 적어도 하나를 포함한다.
차량의 제어부는, 변곡점까지의 거리가 제1기준 거리 이상이라고 판단되면 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 목적지의 방향을 확인하고 표시부에 표시된 주변 영상에 현재 위치에서 목적지의 방향을 향하는 지향의 객체 영상을 표시하도록 표시부를 제어하고, 변곡점까지의 거리가 제1기준 거리 미만이고 제2기준 거리 이상이라고 판단되면 변곡점의 위치 및 지도 정보에 기초하여 원거리 변곡점의 객체 영상을 주변 영상에 표시하도록 표시부를 제어하고, 변곡점까지의 거리가 제2기준 거리 미만이라고 판단되면 변곡점의 위치 및 지도 정보에 기초하여 근거리 변곡점의 객체 영상을 주변 영상에 표시하도록 표시부를 제어한다. 제1기준 거리는 제2기준거리보다 긴 거리이다.
차량의 제어부는, 지향의 객체 영상의 표시 위치가 근거리 변곡점의 객체 영상의 표시 위치와 일치하고, 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보를 표시하도록 표시부를 제어하고, 지향의 객체 영상의 표시 위치가 근거리 변곡점의 객체 영상의 표시 위치와 불일치하고, 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보 및 대체 경로 정보를 표시하도록 표시부를 제어한다.
차량의 제어부는, 교통 정보가 수신되면 수신된 교통 정보, 목적지 정보, 현재 위치 정보, 경로 정보 및 지도 정보에 기초하여 경로 변경이 필요한지를 판단하고 경로 변경이 필요하다고 판단되면 경로가 변경되는 지점을 변곡점으로 인식한다.
차량의 제어부는, 목적지 정보, 현재 위치 정보, 경로 정보, 주행 속도 정보 및 지도 정보에 기초하여 목적지까지의 거리가 일정 거리 이하인지를 판단하고, 목적지까지의 거리가 일정 거리 이하라고 판단되면 주변 영상에서 목적지 정보에 대응하는 목적지 영상을 인식하고 인식한 목적지 영상에 강조 객체 영상을 오버랩하여 표시하도록 표시부를 제어한다.
차량의 제어부는, 현재 위치부터 목적지까지의 경로를 탐색할 때, 위치 수신부에 의해 획득된 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고, 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 표시부를 제어할 때, 변곡점의 위치 정보, 지도 정보 및 현재 위치 정보에 기초하여 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 상기 표시부를 제어한다.
본 발명은 플레인 디텍팅(Plane detection) 기술과 클라우드 앵커링 기술(Cloud Anchoring)을 통해 목적지의 위치를 객체 영상을 이용하여 표시함으로써 사용자가 목적지까지 편안하고 용이하게 이동하도록 할 수 있고 이로 인해 상용 서비스의 효용성을 유지할 수 있다.
본 발명은 목적지와 같은 관심 지점(POI)을 증강 현실 기능에 의한 객체 영상을 이용하여 강조하여 표시하거나 투명도를 조정하여 표시함으로써 사용자가 목적지의 위치를 정확하게 인식하도록 할 수 있다.
본 발명은 증강 현실 기능에 의한 객체 영상을 통해 목적지의 방향과 변곡점의 위치를 표시하고 정체 구간과 사고 구간을 표시하며, 실시간으로 대체 경로를 제안함으로써 사용자가 전반적인 길 안내 상황을 이해하도록 할 수 있다.
이와 같이 본 발명은 모바일 장치, 차량의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성, 신뢰성 및 차량의 안전성을 향상시킬 수 있고 제품의 경쟁력을 확보할 수 있다.
도 1은 일 실시 예에 따른 모바일 장치의 제어 구성도이다.
도 2 내지 3은 일 실시 예에 따른 모바일 장치의 표시부의 표시 예시도이다.
도 4a, 도 4b, 도 5 내지 11은 일 실시 예에 따른 모바일 장치의 증강 현실 기능의 객체 영상의 표시 예시도이다.
도 12a, 12b는 일 실시 예에 따른 모바일 장치의 제어 순서도이다.
도 13은 다른 실시 예에 따른 차량의 제어 구성도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 장치'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 부재, 장치'가 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 장치'가 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
도 1은 실시 예에 따른 모바일 장치의 제어 구성도로, 도 2 내지 도 11을 참조하여 설명한다.
모바일 장치(1)는 사용자가 휴대 가능한 단말기일 수 있다.
모바일 장치(1)는 차량에 분리 가능하게 장착될 수 있는 단말기일 수 있고, 차량의 대시 보드에 매립 설치될 수 있는 단말기일 수 있다. 이러한 모바일 장치(1)는 차량 내에서 오디오, 비디오, 내비게이션 기능을 수행하는 AVN(Audio Video Navigation) 단말기일 수 있다.
모바일 장치(1)는 네트워크를 통해 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.
여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
모바일 장치(1)는 사용자 인터페이스(110), 사운드 출력부(120), 위치 수신부(130), 영상 획득부(140), 통신부(150), 제어부(160) 및 저장부(161)를 포함한다.
사용자 인터페이스(110)는 사용자 입력을 수신하고, 사용자가 인식할 수 있도록 각종 정보를 출력한다. 이러한 사용자 인터페이스(110)는 입력부(111)와 표시부(112)를 포함할 수 있다.
입력부(111)는 사용자 입력을 수신한다.
입력부(111)는 모바일 장치(1)의 잠금 명령, 잠금 해제 명령, 전원 온 명령, 전원 오프 명령을 수신할 수 있고, 표시부의 영상 표시 명령을 수신할 수 있다.
입력부(111)는 모바일 장치(1)에서 수행 가능한 각종 기능의 동작 명령을 수신할 수 있고, 각종 기능의 설정값을 수신할 수 있다.
모바일 장치가 차량에 마련된 경우, 입력부(111)는 차량 내에서 수행되는 각종 기능의 동작 명령을 수신할 수 있다.
예를 들어, 모바일 장치(1)에서 수행되는 기능은, 통화 기능, 문자 기능, 오디오 기능, 비디오 기능, 내비게이션 기능, 맵 기능, 방송 재생 기능, 라디오 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 및 증강 현실 기능을 포함할 수 있고, 모바일 장치에 설치된 적어도 하나의 어플리케이션의 실행 기능을 포함할 수 있다.
증강현실(AR, augmented reality) 기능은 현실의 사물(예: 실제 환경)에 가상의 관련 정보(예: 텍스트, 영상 등)를 합성하여 보여주는 기술이다. 이러한 증강현실 기능은, 가상의 공간과 사물만을 대상으로 하는 가상현실(VR, virtual reality) 기능과 달리, 실제 환경이라는 객체 위에 가상의 관련 객체를 제공하여, 실제 환경만으로는 획득하기 어려운 부가 정보를 사용자에게 제공하는 기능이다.
모바일 장치(1)에 설치된 적어도 하나의 어플리케이션은 사용자에게 적어도 하나의 서비스를 제공하기 위한 어플리케이션일 수 있다. 여기서 서비스는 사용자의 안전, 편의 및 재미를 위한 정보를 제공하는 것일 수 있다.
입력부(111)는 내비게이션 기능을 수행하기 위한 내비게이션 어플리케이션(NAVI API)의 실행 명령을 수신할 수 있고, 증강 현실 기능을 수행하기 위한 증강 현실 어플리케이션(AR API)의 실행 명령을 수신할 수 있으며, 맵 기능을 수행하기 위한 맵 어플리케이션(MAP API)의 실행 명령을 수신할 수 있다.
입력부(111)는 내비게이션 기능의 실행에 대응하여 목적지 정보를 수신할 수 있고, 복수 개의 경로 중 어느 하나의 경로를 선택하는 경로 선택 정보를 수신할 수 있다.
입력부(111)는 증강 현실 기능 또는 맵 기능의 실행 중 목적지 정보를 수신할 수 있다.
입력부(111)는 증강 현실 기능의 실행 중 관심 지점에 대한 관심 지점 정보를 수신할 수 있다.
입력부(111)는 표시부(112)에 표시된 커서의 이동 명령 및 아이콘이나 버튼의 선택 명령 등을 입력하기 위한 조그 다이얼 또는 터치 패드로 구현될 수 있다.
입력부(111)는 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력부(111)는 터치 패널(touch panel) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패널은 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 표시부(112)와 상호 레이어 구조를 이룰 수 있다.
표시부(112)는 제어부(160)의 제어 명령에 대응하여 모바일 장치(1)에서 수행되는 적어도 하나의 기능에 대한 실행 정보를 영상으로 표시할 수 있고 입력부(112)에 수신된 사용자 입력에 대응하는 정보를 영상으로 표시할 수 있다.
표시부(112)는 모바일 장치(1)에서 수행 가능한 기능에 대한 어플리케이션의 아이콘을 표시할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 표시부(112)는 증강 현실 어플리케이션의 아이콘(110a), 내비게이션 어플리케이션의 아이콘(110b) 및 맵 표시 어플리케이션의 아이콘(110c)을 표시할 수 있다.
표시부(112)는 내비게이션 기능의 실행 중 지도 정보와, 목적지 정보, 길 안내 정보를 표시할 수 있고, 현재 위치에 대한 현재 위치 정보를 표시할 수 있다. 즉 표시부(112)는 내비게이션 기능의 실행 시 지도 영상 내 목적지까지의 길 안내 영상과 현재 위치를 지시하는 현재 위치 영상이 매치된 내비게이션 영상을 표시할 수 있다.
도 3에 도시된 바와 같이, 표시부(112)는 증강 현실 기능의 실행 중 사용자 입력에 대응하여 관심 지점(POI)을 검색하기 위한 검색 창(110d)을 표시할 수 있고, 미리 저장된 관심 지점(POI)의 아이콘을 표시할 수 있다. 표시부(112)는 기존에 검색하거나 저장한 관심 지점(POI)에 대한 정보를 버튼 타입으로 표시할 수 있다.
표시부(112)는 증강 현실 기능의 실행 중 영상 획득부(140)에 의해 획득된 영상을 표시하면서, 이동 상황의 변화가 발생할 수 있는 변곡점의 표시 위치에 변곡점의 객체 영상을 표시할 수 있다.
변곡점의 객체 영상은, 근거리 변곡점 영상과 원거리 변곡점 영상을 포함할 수 있다. 또한 변곡점의 객체 영상은, 점선 영상, 도트 영상, 화살표 영상을 포함할 수 있다.
예를 들어, 표시부(112)는 변곡점까지의 거리가 멀 때, 현재 위치를 기준으로 목적지의 방향을 향하는 변곡점의 객체 영상을 함께 표시함으로써 사용자가 목적지의 방향을 용이하게 인식하도록 할 수 있다. 여기서 목적지의 방향을 향하는 변곡점의 객체 영상은 지향의 객체 영상으로, 점 형상의 직선(이하, 점선이라 기재한다) 영상일 수 있다.
표시부(112)는 목적지에 대응하는 목적지 영상에 객체 영상을 오버랩시켜 표시할 수 있다. 목적지 영상에 오버랩되는 객체 영상은, 목적지 영상을 강조하기 위한 강조 영상으로, 강조 객체 영상일 수 있다.
예를 들어, 도 4a에 도시된 바와 같이, 표시부(112)는 목적지에 대응하는 목적지 영상(예, 건물 영상)에 목적지를 지시하는 강조 객체 영상(AR1)을 표시함으로써 사용자가 목적지를 용이하게 인식하도록 할 수 있다.
표시부(112)는 목적지를 지시하는 강조 객체 영상(AR1)을 일정 간격으로 왕복 이동시켜 표시하거나 일정 시간 간격으로 표시와 비표시를 반복함으로써 사용자에게 객체 영상(AR1)이 움직이는 것처럼 보이도록 표시할 수 있다.
표시부(112)는 목적지 영상 이외의 영상(m1)을 목적지 영상보다 흐리게 표시할 수 있다.
도 4b에 도시된 바와 같이, 표시부(112)는 증강 현실 기능의 실행 중 목적지에 대응하는 목적지 영상에 제1강조 객체 영상(AR1)을 표시하고, 목적지 영상과 인접한 지면 영상에 목적지를 안내하는 제2강조 객체 영상(AR2)을 표시하며, 목적지임을 강조하는 제3 강조 객체 영상(AR3)을 함께 표시함으로써 목적지를 정교하고 정확하게 표시할 수 있다.
목적지를 지시하는 제1강조 객체 영상(AR1)은, 점 형상의 선으로 이루어진 다각형 영상일 수 있다.
목적지를 안내하는 제2강조 객체 영상(AR2)은, 플레인 디텍팅을 통한 그리드 영상일 수 있다. 여기서 플레인 디텍팅(Plane detection)은 수직면에 증강 현실(AR)의 객체 영상을 표시하고 싶을 때, 평면을 감지하는 것이다.
목적지임을 강조하는 제3강조 객체 영상(AR3)은 앵커 마크 영상으로, 앵커(Anchor) 값의 정교한 위치를 사용자가 파악하도록 할 수 있다.
표시부(112)는 목적지에 대응하는 목적지 영상을 강조하여 표시할 수 있고, 목적지 영상 이외인 나머지 영상(m1)을 딤(Dim) 처리하여 목적지 영상보다 흐리게 표시할 수 있다.
도 5에 도시된 바와 같이, 표시부(112)는 내비게이션 영상과 증강 현실 영상을 동시에 표시하되, 표시부의 서로 다른 표시 영역에 표시할 수 있다.
즉, 표시부(112)는 증강 현실 영상을 제1표시 영역(a1)에 표시하고, 내비게이션 영상을 제2표시영역(a2)에 표시할 수 있다.
표시부(112)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
아울러 모바일 장치(1)는 사용자의 음성을 수신하기 위한 사운드 수신부(미도시)를 더 포함할 수 있다. 이 경우, 제어부(160)는 음성 인식 기능을 수행할 수 있고 음성 인식 기능을 통해 사용자 입력을 인식할 수 있다.
사운드 수신부는 음파를 전기 신호로 바꾸는 마이크로폰을 포함할 수 있다. 여기서 마이크로 폰은 하나 또는 두 개 이상일 수 있고, 하나의 마이크로 폰은 지향성일 수 있다.
그리고 두 개 이상의 마이크로 폰은 마이크로 폰 어레이로 구현될 수 있다.
사운드 출력부(120)는 모바일 장치(1)에서 수행 중인 기능에 대한 사운드를 출력할 수 있다. 이러한 사운드 출력부(120)는 적어도 하나 또는 복수 개의 스피커를 포함할 수 있다.
예를 들어, 사운드 출력부(120)는 내비게이션 기능의 수행 중 길 안내 정보를 사운드로 출력할 수 있다.
스피커는 증폭된 저주파의 음성 신호를 오리지널의 음파로 변환시키고 공기에 소밀파를 발생시켜 음파를 복사함으로써 오디오 데이터들을 사용자가 들을 수 있는 사운드로 출력한다.
위치 수신부(130)는 모바일 장치(1)의 현재 위치에 대한 현재 위치 정보를 획득하기 위한 신호를 수신한다.
위치 수신부(130)는 복수 개의 위성과 통신을 수행하는 GPS(Global Positioning System) 수신기일 수 있다. 여기서 GPS(Global Positioning System) 수신기는 복수의 GPS 위성의 신호를 수신하는 안테나 모듈을 포함하고, 복수의 GPS위성의 위치 신호에 대응하는 거리 및 시간 정보를 이용하여 현재의 위치를 획득하는 소프트웨어와, 획득된 차량의 위치 정보를 출력하는 출력부를 포함할 수 있다.
위치 수신부(130)는 시각 위치 확인 서비스(VPS: Visual Positioning Service)를 포함할 수 있다.
영상 획득부(140)는 모바일 장치(1)의 주변의 영상을 획득하고, 획득된 주변 영상에 대한 영상 정보를 제어부(160)에 전송한다. 여기서 영상 정보는 영상 데이터일 수 있다.
영상 획득부(140)는 모바일 장치(1)의 전면을 시야로 한다.
영상 획득부(140)는 모바일 장치(1)의 전후 방향의 외부 영상을 획득하는 적어도 하나 또는 복수 개의 카메라를 포함할 수 있다.
모바일 장치의 표시부의 표시면이 모바일 장치의 몸체의 전면이라 가정하였을 때, 적어도 하나의 카메라는 모바일 장치의 몸체의 전면에 배치될 수 있고, 다른 하나의 카메라는 모바일 장치의 몸체의 후면에 배치될 수 있다. 여기서 후면은 몸체를 기준으로 전면의 방향과 반대 방향을 향하는 면일 수 있다.
영상 획득부(140)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있고, KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등과 같은 3차원 공간 인식 센서를 포함할 수도 있다.
통신부(150)는 외부의 서버(2)로부터 적어도 하나의 어플리케이션을 수신할 수 있고, 설치된 어플리케이션에 대한 업데이트 정보를 수신할 수 있다.
통신부(150)는 외부의 서버(2)로부터 다중 이용 시설들 중 적어도 하나에 대한 사용자들의 방문 횟수를 수신할 수 있다.
통신부(150)는 모바일 장치(1) 내부 구성 요소 간 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC(Near Field Communication) 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 LIN(Local Interconnect Network)를 더 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 초 광대역 통신(UWB: Ultra Wide Band) 모듈 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
제어부(160)는 입력부(111), 영상 획득부(140) 및 사운드 수신부(미도시) 중 적어도 하나에 수신된 모바일 장치(1)의 잠금 해제 명령, 전원 온 명령 및 영상 표시 명령 중 적어도 하나에 기초하여 표시부(112)의 영상 표시를 제어한다.
제어부(160)는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 증강 현실 기능의 실행 영상의 표시를 제어할 수 있고, 내비게이션 어플리케이션이 활성화되도록 내비게이션 어플리케이션의 실행을 제어할 수 있으며, 맵 어플리케이션이 활성화되도록 맵 어플리케이션의 실행을 제어하는 것도 가능하다.
제어부(160)는 증강 현실 어플리케이션의 실행 버튼의 선택 신호가 수신되면 증강 현실 어플리케이션의 실행 명령이 수신되었다고 판단할 수 있다. 여기서 증강 현실 어플리케이션의 실행 버튼은 물리적 버튼일 수 있다.
제어부(160)는 입력부(111)에 의해 수신된 터치 위치 정보가 증강 현실 어플리케이션의 아이콘의 표시 위치 정보와 대응하면 증강 현실 어플리케이션의 실행 명령이 수신되었다고 판단할 수 있다.
제어부(160)는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 영상 획득부(140)의 활성화를 제어할 수 있고, 위치 수신부(130)의 활성화를 제어할 수 있다.
제어부(160)는 증강 현실 어플리케이션의 실행 중 영상 획득부(140)가 활성화되면 영상 획득부(140)에 의해 획득된 영상에 대한 영상 처리를 수행하고 영상 처리된 영상의 표시를 제어할 수 있고, 위치 수신부(130)가 활성화되면 위치 수신부(130)로부터 출력된 위치 정보에 기초하여 모바일 장치(1)의 현재 위치 정보를 획득할 수 있다.
제어부(160)는 입력부(111)에 의해 내비게이션 어플리케이션의 실행 명령이 수신되면 저장부에 저장된 지도 정보를 획득하고 위치 수신부(130)의 활성화를 제어할 수 있다.
내비게이션 어플리케이션이 복수 개인 경우, 제어부(160)는 증강 현실 기능의 실행 중 미리 설정된 내비게이션 어플리케이션이나, 사용자에 의해 선택된 내비게이션 어플리케이션과의 연동을 수행할 수 있다.
내비게이션 어플리케이션이 복수 개인 경우, 제어부(160)는 차량의 주행을 위한 내비게이션 어플리케이션의 선택 신호를 수신하거나, 사용자의 보행을 위한 내비게이션 어플리케이션의 선택 신호를 수신할 수 있다.
제어부(160)는 증강 현실 기능의 실행 중 내비게이션 기능과 연동하여 내비게이션 어플리케이션에 저장된 관심 지점 정보, 목적지 정보, 현재 위치 정보, 복수 개의 경로 정보를 증강 현실 어플리케이션에 전송할 수 있다.
제어부(160)는 내비게이션 기능의 실행 중 입력부(111)에 의해 입력된 목적지 정보를 확인하고 위치 수신부(130)에 수신된 현재 위치 정보를 확인하며, 확인된 현재 위치 정보와 목적지 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고 탐색된 경로에 대한 길 안내 정보를 획득하고, 지도 정보, 현재 위치 정보, 목적지 정보, 경로 정보가 매치된 내비게이션 영상을 표시하도록 표시부(112)를 제어하고, 현재 위치 정보에 기초하여 길 안내 정보를 출력하도록 표시부(112) 및 사운드 출력부(120) 중 적어도 하나를 제어할 수 있다. 여기서 현재 위치 정보는, 모바일 장치의 이동에 대응하여 실시간으로 변경될 수 있다.
제어부(160)는 입력부(111)를 통해 수신된 관심 지점의 정보를 목적지 정보로 설정하는 것도 가능하다.
제어부(160)는 복수 개의 경로가 탐색된 경우, 복수 개의 경로에 대한 경로 정보를 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 복수 개의 경로 정보에 대한 각각의 상세 정보를 표시하도록 표시부(112)를 제어할 수 있다. 여기서 상세 정보는, 도착 시간이나, 이동 거리, 교통 정보 등을 포함할 수 있다.
제어부(160)는 복수 개의 경로 중 어느 하나의 경로가 입력부(111)에 의해 선택되면 선택된 경로에 대한 경로 정보를 표시하도록 할 수 있다.
제어부(160)는 내비게이션 기능과 증강 현실 기능의 연동 중 길 안내 명령이 수신되면 내비게이션 영상을 표시하면서 경로 정보 및 길 안내 정보가 출력되도록 표시부(112) 및 사운드 출력부(120) 중 적어도 하나의 동작을 제어할 수 있다.
이하에서, 증강 현실 기능과 내비게이션 기능의 연동 중 제어부(160)의 표시 제어 구성에 대해 설명하도록 한다.
제어부(160)는 증강 현실 기능과 내비게이션 기능의 연동 중 내비게이션 영상과 증강 현실 영상을 동시에 표시하도록 제어하되, 표시부(112)의 영역을 적어도 두 개로 분할하고, 분할된 각 영역에 내비게이션 영상과 증강 현실 영상을 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 현재 위치에서 목적지까지의 경로 정보, 이동 속도 정보 및 교통 정보 중 적어도 하나에 기초하여 모바일 장치의 이동 상황을 확인하고, 확인한 이동 상황이 변화되었는지를 판단한다. 이때 제어부(160)는 이동 상황의 변화가 교통 상황의 변화인지를 판단하고, 교통 상황의 변화로 판단되면 목적지까지의 경로 정보가 변화하였는지를 더 판단할 수 있다.
여기서 이동 속도 정보는 주행 속도 정보일 수 있다. 모바일 장치의 이동 상황의 변화는, 교통 상황의 변화와 경로 변경을 포함할 수 있다.
제어부(160)는 경로 정보, 이동 속도 정보, 교통 정보 및 경로 정보 중 적어도 하나에 기초하여 모바일 장치의 이동 상황이 변화될 변곡점의 위치 정보를 획득하고, 획득한 변곡점의 위치 정보, 지도 정보, 경로 정보 및 현재 위치 정보에 기초하여 현재 위치에서 변곡점의 위치까지의 거리 정보를 획득하고, 획득한 거리 정보에 기초하여 주변 영상에 표시할 변곡점의 객체 영상에 대한 정보를 획득하며, 획득한 변곡점의 객체 영상에 대한 정보에 기초하여 주변 영상에 변곡점의 객체 영상을 표시하도록 표시부(112)를 제어할 수 있다.
증강 현실 영상 내에 표시할 변곡점의 객체 영상은, 이동 상황이 변화되는 위치와 이동 상황의 변화의 원인을 사용자가 용이하게 인식하도록 하는 영상으로, 이동 상황의 변화가 발생하는 위치까지의 거리와 이동 상황의 변화의 원인에 따라 형상과 색상이 상이할 수 있다.
여기서 모바일 장치의 이동 상황의 변화의 원인은, 교통 정체 및 교통 사고 중 적어도 하나를 포함할 수 있고, 목적지까지의 도착 시간의 변화에 대응하는 경로 변경을 포함할 수 있다.
제어부(160)는 현재 위치 정보와 변곡점까지의 거리 정보에 기초하여 변곡점의 객체 영상의 표시 정보를 변경할 수 있다. 이때 제어부(160)는 변곡점의 객체 영상의 형상과 색상 중 적어도 하나를 변경할 수 있다.
도 6에 도시된 바와 같이, 제어부(160)는 현재 위치 정보와 변곡점까지의 거리 정보에 기초하여 변곡점까지의 거리가 제1기준 거리 이상이라고 판단되면 현재 위치 정보와 목적지의 위치 정보에 기초하여 증강 현실 영상 내의 현재 위치의 표시 위치를 기준으로 목적지의 방향을 판단하고 현재 위치의 표시 위치에서 목적지의 방향을 향하는 변곡점의 객체 영상을 표시하도록 표시부(112)를 제어할 수 있다. 여기서 목적지의 방향을 향하는 변곡점의 객체 영상은, 지향의 객체 영상으로, 점선 영상(AR4)일 수 있다.
제어부(160)는 목적지의 방향을 향하는 점선 영상을 표시할 때, 입력부(111)에 의해 입력된 표시 오프 명령에 기초하여 점선 영상의 미표시를 제어할 수 있고, 입력부(111)에 의해 입력된 표시 온 명령에 기초하여 점선 영상의 표시를 제어할 수 있다.
도 7a에 도시된 바와 같이, 제어부(160)는 현재 위치에서 변곡점까지의 거리 정보에 기초하여 변곡점까지의 거리가 제2기준 거리 이상이고 제1기준 거리 미만이라고 판단되면 현재 위치 정보, 지도 정보 및 변곡점의 위치 정보에 기초하여 증강 현실 영상 내에서 변곡점을 표시할 변곡점의 표시 위치 정보를 인식하며, 인식한 변곡점의 표시 위치 정보에 기초하여 변곡점의 객체 영상(AR5)을 표시하도록 표시부(112)를 제어할 수 있고, 변곡점의 객체 영상의 주변에 현재 위치에서 변곡점까지의 거리 정보를 텍스트 영상(AR6)으로 표시하도록 표시부(112)를 제어할 수 있다. 여기서 변곡점의 객체 영상(AR5)은 도트 영상으로, 원거리의 변곡점을 나타내는 원거리 변곡점 영상일 수 있다.
도 7b에 도시된 바와 같이, 제어부(160)는 변곡점의 객체 영상을 도트 영상으로 표시하도록 할 때, 모바일 장치의 이동 상황의 변화 원인이 원활한 주행이면 변곡점의 객체 영상을 제1색상의 도트 영상으로 표시하도록 하고, 이동 상황의 변화 원인이 교통 정체 또는 교통 사고 발생이면 변곡점의 객체 영상을 제2색상의 도트 영상으로 표시하도록 표시부(112)를 제어할 수 있으며, 이동 상황의 변화 원인이 대체 경로로의 변경이면 변곡점의 객체 영상을 제3색상의 도트 영상으로 표시하도록 표시부(112)를 제어할 수 있다.
제1색상, 제2색상 및 제 3색상은 서로 다른 색상일 수 있다. 예를 들어, 제1색상은 녹색일 수 있고, 제2색상은 회색일 수 있으며 제3색상은 적색일 수 있다.
제어부(160)는 현재 위치에서 목적지까지의 경로 정보 및 교통 정보에 기초하여 모바일 장치의 이동 상황의 변화 여부를 판단하고, 모바일 장치의 이동 상황이 변화되었다고 판단되면 목적지까지의 도착 시간의 변화 여부를 판단하며, 도착 시간의 변화가 발생하였다고 판단되면 1차 경로로 이동 시의 도착 시간보다 빨리 도착할 수 있는 2차 경로를 탐색하고 탐색된 2차 경로를 대체 경로로 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 변경된 대체 경로의 경로 정보에 기초하여 길을 안내할 때, 1차 경로 정보와 2차 경로 정보에 기초하여 경로가 변경되는 변곡점의 위치 정보를 확인하고, 현재 위치 정보와 변곡점의 위치 정보에 기초하여 증강 현실 영상 내 변곡점을 표시할 변곡점의 표시 위치 정보를 인식하고 인식한 표시 위치 정보에 변곡점을 제3색상의 도트 영상으로 표시하도록 표시부(112)를 제어할 수 있다.
도 8에 도시된 바와 같이, 제어부(160)는 현재 위치에서 변곡점까지의 거리 정보에 기초하여 변곡점까지의 거리가 제2기준 거리 미만이라고 판단되면 지도 정보, 현재 위치 정보와 변곡점의 위치 정보에 기초하여 증강 현실 영상 내 변곡점을 표시할 변곡점의 표시 위치 정보를 인식하고 인식한 표시 위치 정보에 변곡점의 객체 영상을 화살표 영상으로 표시하도록 표시부(112)를 제어할 수 있다. 여기서 화살표 영상은 근거리 변곡점을 나타내는 근거리 변곡점 영상일 수 있다.
제어부(160)는 변곡점의 객체 영상을 화살표 영상으로 표시하도록 제어할 때, 모바일 장치의 이동 상황이 유지이면 변곡점의 객체 영상을 제1색상의 화살표 영상으로 표시하도록 하고, 이동 상황의 변화 원인이 교통 정체 또는 교통 사고 발생이면 변곡점의 객체 영상을 제2색상의 도트 영상으로 표시하도록 표시부(112)를 제어할 수 있으며, 이동 상황의 변화 원인이 경로 변경이면 변곡점의 객체 영상을 제3색상의 화살표 영상으로 표시하도록 표시부(112)를 제어할 수 있다.
이동 상황이 유지인 것은, 목적지까지의 경로가 1차 경로로 유지되는 것을 포함할 수 있다.
화살표 영상의 제1색상, 제2색상 및 제 3색상은 서로 다른 색상일 수 있다. 예를 들어, 제1색상은 녹색일 수 있고, 제2색상은 회색일 수 있으며 제3색상은 적색일 수 있다.
제어부(160)는 경로 정보에 기초하여 서로 이웃한 변곡점이 복수 개라고 판단되면 제2기준 거리를 제3기준 거리로 변경하는 것도 가능하다. 여기서 제3기준 거리는 제2기준 거리보다 길고, 제1기준거리보다 짧은 거리일 수 있다. 서로 이웃한 변곡점은 미리 설정된 거리 내에 존재하는 변곡점들일 수 있다.
서로 이웃한 변곡점은, 인터 체인지(IC)나 정션 체인지(JC)와 인접한 위치에 존재할 수 있다. 아울러, 제3기준 거리는 사용자에 의해 설정될 수 있다.
제어부(160)는 증강 현실 영상 내의 각 변곡점의 객체 영상의 위치, 즉 점선 영상의 표시 위치, 화살표 영상의 표시 위치 및 도트 영상의 표시 위치 간의 일치 여부를 확인한다.
도 9에 도시된 바와 같이, 제어부(160)는 점선 영상(AR4)의 표시 위치가 화살표 영상(AR7)의 표시 위치와 일치하고, 점선 영상(AR4)의 표시 위치가 도트 영상(AR5)의 표시 위치와 일치한다고 판단되면, 목적지까지의 남은 시간과 남은 거리에 대한 정보의 표시를 제어하고, 목적지로 이동해야 할 도로 명에 대한 도로명 정보와 좌회전 우회전 정보를 표시하도록 표시부를 제어하며, 교통 정보에 기초하여 근거리 변곡점의 영상과 원거리 변곡점의 영상의 색상 변경을 제어하고, 현재 위치가 목적지에 인접하다고 판단되면 목적지에 도착할 때까지 길 안내를 제어하는 것도 가능하다.
제어부(160)는 현재 위치가 목적지에 인접하다고 판단되면 내비게이션 영상을 삭제하고 증강 현실 영상을 표시부의 전체 영역에 표시하도록 표시부를 제어하는 것도 가능하고, 증강 현실 영상에 목적지까지 길을 안내 하는 화살표 영상 및 직선 영상을 표시하도록 하는 것도 가능하다.
도 10에 도시된 바와 같이, 제어부(160)는 점선 영상(AR4)의 표시 위치가 화살표 영상(AR7)의 표시 위치와 일치하고, 점선 영상(AR4)의 표시 위치가 도트 영상(AR5)의 표시 위치와 불일치한다고 판단되면, 교통 정보를 텍스트 영상으로 추가적으로 표시하도록 표시부(112)를 제어하는 것도 가능하다. 이때 제어부(160)는 교통 정보에 기초하여 원거리 변곡점의 영상의 색상을 변경하는 것도 가능하고, 교통 정보를 텍스트 영상으로 일정 시간 동안만 표시하도록 하는 것도 가능하다.
도 11에 도시된 바와 같이, 제어부(160)는 점선 영상(AR4)의 표시 위치가 화살표 영상(AR7)의 표시 위치와 불일치하고, 점선 영상(AR4)의 표시 위치가 도트 영상(AR5)의 표시 위치와 일치한다고 판단되면, 교통 정보 및 대체 경로 정보(AR8)를 표시하도록 표시부(112)를 제어하는 것도 가능하다.
교통 정보는 교통 정체나 교통 사고를 나타내는 픽토그램 영상 정보를 포함할 수 있다.
제어부(160)는 내비게이션 영상을 표시하도록 표시부(112)를 제어하고, 목적지의 도착 예정 시간 정보, 현재 시간 정보, 기준 거리 정보, 이동 속도 정보, 현재 위치 정보 및 목적지 정보 중 적어도 하나에 기초하여 현재 위치가 목적지와 인접한지를 판단하고 현재 위치가 목적지와 인접하다고 판단되면 증강 현실 영상을 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 현재 위치가 목적지와 인접하다고 판단되면 지도 정보, 영상 획득부에 의해 획득된 영상 정보, 목적지 정보에 기초하여 영상 획득부에 의해 획득된 영상 내 피사체 영상들 중 목적지 정보에 대응하는 피사체(예, 건물) 영상을 인식하고 인식한 피사체 영상의 표시 위치 정보에 기초하여 목적지를 강조하기 위한 강조 객체 영상을 표시할 수 있다.
여기서 지도 정보는, 저장부(161)에 저장된 정보일 수 있고, 서버(2)로부터 수신하는 것도 가능하다. 지도 정보는, 건물 정보 및 다중 이용 시설 정보를 포함할 수 있고, 각 건물이나 다중 이용 시설의 주소 정보 및 주차장 위치 정보 등을 더 포함할 수 있다.
목적지를 강조하기 위한 강조 객체 영상은, 목적지 정보에 대응하는 피사체 영상이 시각적으로 식별되도록 하기 위한 하이라이트 영상 또는 다각형의 영상을 포함할 수 있고, 점선으로 이루어진 다각형의 영상을 포함할 수 있다.
예를 들어, 제어부(160)는 목적지 정보에 대응하는 피사체 영상의 영역을 인식하고 인식한 영역의 테두리를 인식하며 인식한 테두리에 점선으로 이루어진 다각형의 영상을 매치시켜 표시하도록 할 수 있다. 여기서 점선으로 이루어진 다각형의 영상은, 인식한 테두리를 이루는 형상과 동일 또는 유사할 수 있다.
제어부(160)는 목적지 정보에 대응하는 피사체 영상의 영역을 인식하고 인식한 영역에 미리 설정된 색상의 다각형의 도형 영상을 오버랩시켜 표시함으로써 목적지 영상을 하이라이트 영상으로 표시하도록 할 수 있다.
제어부(160)는 목적지 정보에 대응하는 피사체 영상을 인식하고, 인식한 피사체의 영상의 위치 정보에 기초하여 수직면을 인식하고, 인식한 수직면의 위치 정보에 기초하여 그리드 영상을 표시하도록 하며, 그리드 영상의 위치 정보와 피사체 영상의 위치 정보에 기초하여 앵커링 마크 영상을 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 목적지 정보에 대응하는 피사체 영상을 인식하고, 인식한 피사체 영상(즉 제1피사체 영상)을 제외한 나머지 피사체 영상(즉 제2피사체 영상)의 투명도를 제1피사체 영상의 투명도와 다르게 조절할 수 있다.
예를 들어, 제어부(160)는 제1피사체 영상의 투명도를 유지시키고, 제2피사체 영상의 투명도를 제1피사체 영상의 투명도보다 높은 투명도로 조절할 수 있다.
제어부(160)는 제1피사체 영상의 투명도를 제1투명도로 조절하고, 제2피사체 영상의 투명도를 제2투명도로 조절할 수 있다. 여기서 제2투명도는 제1투명도보다 높을 수 있다.
제어부(160)는 제1피사체 영상의 영역에 다각형의 미리 설정된 색상의 도형 영상을 오버랩시켜 표시할 수 있다.
제어부(160)는 이동 속도 정보에 기초하여 이동 속도가 기준 속도 미만인지를 판단하고, 이동 속도가 기준 속도 미만이라고 판단되면 현재 위치 정보와 목적지의 위치 정보에 기초하여 현재 위치에서 목적지까지의 거리가 설정 거리 이하인지를 판단하고, 현재 위치에서 목적지까지의 거리가 설정 거리 이하라고 판단되면 목적지 정보에 대응하는 피사체 영상을 인식하고 인식한 피사체의 영상에 목적지를 지시하는 강조 객체 영상을 표시하도록 표시부를 제어할 수 있다.
제어부(160)는 현재 위치에서 목적지까지의 거리가 설정 거리 이하라고 판단되면 목적지의 도착까지 남은 시간 정보 및 남은 거리 정보를 획득하고 획득한 남은 시간 정보 및 남은 거리 정보의 표시를 제어하고, 목적지로 이동해야 할 도로 명에 대한 도로명 정보와 좌회전 우회전 정보를 표시하도록 표시부를 제어하는 것도 가능하다.
저장부(161)는 지도 정보를 저장한다.
저장부(161)는 제1, 2, 3 기준 거리에 대한 정보를 저장하고, 설정 거리에 대한 정보를 저장하며, 원거리 변곡점에 대응하는 도트 영상의 색상 정보와 근거리 변곡점에 대응하는 화살표 영상의 색상 정보를 저장한다.
저장부(161)는 길을 안내하기 위한 객체 영상에 대한 정보를 저장하고, 목적지를 지시하는 객체 영상에 대한 정보를 저장할 수 있다.
저장부(161)는 관심 지점에 대한 위치 정보를 저장할 수 있다. 관심 지점은, 사용자에 의해 선택된 지점일 수 있다.
저장부(161)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(161)는 제어부(160)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
도 1에 도시된 모바일 장치(1)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 12a 및 도 12b는 실시 예에 따른 모바일 장치의 제어 순서도이다.
모바일 장치는 모바일 장치는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 증강 현실 어플리케이션의 실행을 통해 증강 현실 기능을 수행할 수 있다. 이때 모바일 장치는 영상 획득부를 통해 영상을 획득하고 획득한 영상을 표시부를 통해 표시(171)할 수 있다.
모바일 장치는 증강 현실 기능이 수행되는 상태에서 입력부(111)에 의해 목적지 정보가 수신(172)되면 내비게이션 어플리케이션을 실행시키고, 내비게이션 어플리케이션으로 목적지 정보를 전달할 수 있다.
모바일 장치는 내비게이션 어플리케이션의 실행에 대응하여 위치 수신부(130)의 활성화를 제어할 수 있다.
모바일 장치는 내비게이션 어플리케이션의 실행을 통해 현재 위치 정보와 목적지 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색(173)하고 탐색된 경로에 대한 경로 정보와 길 안내 정보가 지도 정보에 매치된 내비게이션 영상을 표시(174)한다. 이때 모바일 장치는 표시부의 일부 영역에 증강 현실 영상을 표시하고, 다른 영역에 내비게이션 영상을 표시할 수 있다.
모바일 장치는 내비게이션 영상을 표시하면서, 현재 위치 정보를 주기적으로 확인한다. 모바일 장치는 목적지까지 소요되는 총 소요 시간에 대한 정보를 표시할 수 있고, 최종 목적지의 도착 시간에 대한 정보를 표시할 수 있다.
모바일 장치는 현재 위치에서 목적지까지의 경로 정보, 이동 속도 정보 및 교통 정보 중 적어도 하나에 기초하여 모바일 장치의 이동 상황을 확인(175)하고, 확인한 이동 상황이 변화되었는지를 판단(176)한다. 이때 모바일 장치는 이동 상황의 변화가 교통 상황의 변화인지를 판단하고, 교통 상황의 변화로 판단되면 목적지까지의 경로 정보가 변화하였는지를 더 판단할 수 있다.
여기서 이동 속도 정보는 주행 속도 정보일 수 있다. 모바일 장치의 이동 상황의 변화는, 교통 상황의 변화와 경로 변경을 포함할 수 있다.
모바일 장치는 경로 정보, 이동 속도 정보, 교통 정보 및 경로 정보 중 적어도 하나에 기초하여 모바일 장치의 이동 상황이 변화될 변곡점의 위치 정보를 획득(177)하고, 획득한 변곡점의 위치 정보와 현재 위치 정보에 기초하여 현재 위치에서 변곡점의 위치까지의 거리 정보를 획득(178)하고, 획득한 거리 정보에 기초하여 증강 현실 영상 내에 표시할 객체 영상에 대한 정보를 획득하며, 획득한 객체 영상에 대한 정보에 기초하여 증강 현실 영상 내에 객체 영상을 표시(179)할 수 있다.
증강 현실 영상 내에 표시할 객체 영상은, 이동 상황이 변화되는 위치와 이동 상황의 변화의 원인을 사용자가 용이하게 인식하도록 하는 영상으로, 이동 상황의 변화가 발생하는 위치까지의 거리와 이동 상황의 변화의 원인에 따라 형상과 색상이 상이할 수 있다.
여기서 모바일 장치의 이동 상황의 변화의 원인은, 교통 정체 및 교통 사고 중 적어도 하나를 포함할 수 있고, 목적지까지의 도착 시간의 변화에 대응하는 경로 변경을 포함할 수 있다.
모바일 장치는 현재 위치 정보와 변곡점까지의 거리 정보에 기초하여 변곡점까지의 거리가 제1기준 거리 이상이라고 판단되면 현재 위치 정보, 경로 정보, 지도 정보, 목적지의 위치 정보에 기초하여 증강 현실 영상 내의 현재 위치의 표시 위치를 기준으로 목적지의 방향을 확인하고 현재 위치의 표시 위치에서 목적지의 방향을 향하는 변곡점의 객체 영상을 표시할 수 있다. 여기서 목적지의 방향을 향하는 변곡점의 객체 영상은, 점선 영상(AR4)일 수 있다.
모바일 장치는 현재 위치에서 변곡점까지의 거리 정보에 기초하여 변곡점까지의 거리가 제2기준 거리 이상이고 제1기준 거리 미만이라고 판단되면 원거리 변곡점의 객체 영상을 표시하고, 변곡점까지의 거리가 제2기준 거리 미만이라고 판단되면 근거리 변곡점의 객체 영상을 표시할 수 있다.
원거리 변곡점의 객체 영상을 도트 영상으로 표시하고, 도트 영상의 주변에 현재 위치에서 변곡점까지의 거리 정보를 텍스트 영상으로 표시할 수 있다.
원거리 변곡점의 객체 영상을 표시할 때, 교통 상황이 원활하면 제1색상의 도트 영상을 표시하고, 교통 정체나 교통 사고가 발생한 상황이면 제2색상의 도트 영상을 표시하며, 대체 경로로 변경된 상황이면 제3색상의 도트 영상으로 표시할 수 있다.
근거리 변곡점의 객체 영상을 화살표 영상으로 표시할 수 있다.
근거리 변곡점의 객체 영상을 표시할 때, 1차 경로로 유지하는 상황이면 제1색상의 화살표 영상을 표시하고, 교통 정체나 교통 사고가 발생한 상황이면 제2색상의 화살표 영상을 표시하며, 대체 경로로 변경된 상황이면 제3색상의 화살표 영상으로 표시할 수 있다.
모바일 장치는 변곡점의 객체 영상을 증강 현실 영상 내에 표시한 후, 점선 영상의 표시 위치, 근거리 변곡점의 객체 영상(즉 화살표 영상)의 표시 위치 및 원거리 변곡점의 객체 영상(즉 도트 영상)의 표시 위치 간의 일치 여부를 확인하고 확인 결과에 대응하여 길 안내 정보를 추가적으로 표시(180)한다.
좀 더 구체적으로, 모바일 장치는 증강 현실 영상 내에 점선 영상의 표시 위치가 화살표 영상의 표시 위치와 일치하고, 점선 영상의 표시 위치가 도트 영상의 표시 위치와 일치한다고 판단되면, 목적지까지의 남은 시간과 남은 거리에 대한 정보를 표시하고, 목적지로 이동해야 할 도로 명에 대한 도로명 정보와 좌회전 우회전 정보를 표시하며, 교통 정보에 기초하여 근거리 변곡점의 영상과 원거리 변곡점의 영상의 색상을 변경하고, 현재 위치가 목적지에 인접하다고 판단되면 목적지에 도착할 때까지 길 안내를 제어한다.
모바일 장치는 이동 속도 정보에 기초하여 이동 속도가 기준 속도 미만인지를 판단하고, 이동 속도가 기준 속도 미만이라고 판단되면 현재 위치 정보와 목적지의 위치 정보에 기초하여 현재 위치에서 목적지까지의 거리가 설정 거리 이하인지를 판단하고, 현재 위치에서 목적지까지의 거리가 설정 거리 이하라고 판단되면 목적지 정보에 대응하는 피사체 영상을 인식하고 인식한 피사체의 영상에 목적지를 지시하는 객체 영상을 표시하도록 표시부를 제어할 수 있다.
모바일 장치는 출발 시점부터 이동 중 내비게이션 영상과 증강 현실 영상을 함께 표시하고, 현재 시점이 도착 시간에 대한 정보와 대응한다고 판단되면 영상 표시 모드를 전환하여 증강 현실 영상을 표시할 수 있다.
모바일 장치는 출발 시점부터 이동 중 내비게이션 영상과 증강 현실 영상을 함께 표시할 때, 내비게이션 영상에 증강 현실 영상 중 객체 영상만을 표시할 수 있다.
아울러 모바일 장치는 현재 시점이 도착 시간에 대한 정보와 대응한다고 판단되면 증강 현실 영상과 내비게이션 영상을 분리하여 표시하되 증강 현실 영상을 내비게이션 영상보다 크게 표시할 수 있다. 이 경우, 모바일 장치는 증강 현실 영상을 표시할 때 획득된 주변 영상에 객체 영상을 표시할 수 있다.목적지가 변경된 경우, 모바일 장치는 변경된 목적지에 도착할 수 있는 도착 시간에 대한 정보를 표시할 수 있다.
모바일 장치는 현재 위치가 목적지에 인접하다고 판단되면 내비게이션 영상을 삭제하고 증강 현실 영상을 표시부의 전체 영역에 표시하는 것도 가능하고, 증강 현실 영상에 목적지까지 길을 안내 하는 화살표 영상 및 직선 영상을 표시한다.
모바일 장치는 점선 영상의 표시 위치가 화살표 영상의 표시 위치와 일치하고, 점선 영상의 표시 위치가 도트 영상의 표시 위치와 불일치한다고 판단되면, 교통 정보를 텍스트 영상으로 추가적으로 표시한다. 이때 모바일 장치는 교통 정보에 기초하여 원거리 변곡점의 영상의 색상을 변경하는 것도 가능하고, 교통 정보를 텍스트 영상으로 일정 시간 동안만 표시하도록 하는 것도 가능하다.
모바일 장치는 점선 영상의 표시 위치가 화살표 영상의 표시 위치와 불일치하고, 점선 영상의 표시 위치가 도트 영상의 표시 위치와 불일치한다고 판단되면, 교통 정보 및 대체 경로 정보를 표시한다.
교통 정보는 교통 정체나 교통 사고를 나타내는 픽토그램 영상 정보를 포함할 수 있다.
모바일 장치는 내비게이션 기능의 수행 중 현재 위치 정보와 목적지 정보에 기초하여 현재 위치가 목적지와 인접한지를 판단(181)하고 현재 위치가 목적지와 인접하다고 판단되면 증강 현실 영상으로 전환하는 것도 가능하다.
현재 위치가 목적지와 인접한지를 판단하는 것은, 현재 위치 정보와 목적지 정보에 기초하여 현재 위치와 목적지 사이의 거리 정보를 획득하고 획득된 거리 정보와 일정 거리 정보에 기초하여 현재 위치와 목적지 사이의 거리가 일정 거리 이하라고 판단되면 현재 위치가 목적지와 인접하다고 판단하는 것을 포함할 수 있다.
모바일 장치는 목적지의 도착 예정 시간과 현재 시간에 기초하여 현재 위치가 목적지와 인접한지 판단할 수 있다. 즉 모바일 장치는 목적지의 도착 예정 시간과 현재 시간에 기초하여 목적지에 도착하기 까지 남은 시간을 획득하고 획득된 남은 시간이 일장 시간 이하이면 현재 위치가 목적지와 인접하다고 판단할 수 있다.
모바일 장치는 현재 위치가 목적지와 인접하다고 판단되면 지도 정보, 영상 획득부에 의해 획득된 영상 정보, 목적지 정보에 기초하여 영상 획득부에 의해 획득된 영상 내 피사체 영상들 중 목적지 정보에 대응하는 피사체 영상을 인식(182)하고 인식한 피사체 영상의 표시 위치 정보에 기초하여 목적지를 강조하기 위한 강조 객체 영상을 표시할 수 있다.
목적지를 강조하기 위한 강조 객체 영상은, 목적지 정보에 대응하는 피사체 영상이 시각적으로 식별되도록 하기 위한 하이라이트 영상 또는 다각형의 영상을 포함할 수 있고, 점선으로 이루어진 다각형의 영상을 포함할 수 있다.
목적지를 강조하기 위한 강조 객체 영상은, 피사체 영상의 영역에 오버랩된 미리 설정된 색상의 다각형의 도형 영상을 포함할 수 있다.
모바일 장치는 이동 속도 정보에 기초하여 이동 속도가 기준 속도 미만이고, 목적지까지의 거리가 일정 거리 미만이라고 판단되면 플레인 디텍션이 가능한지를 판단(183)하고, 플레인 디텍션이 가능하다고 판단되면 피사체 영상과 인접한 위치에 앵커링 마크 영상을 표시(184)하고 플레인 디텍션이 불가능하다고 판단되면 피사체 영상에 점선의 도형 영상을 표시(185)할 수 있다.
앵커링 마크 영상을 표시하는 것은, 목적지 정보에 대응하는 피사체 영상을 인식하고, 인식한 피사체의 영상의 위치 정보에 기초하여 수직면을 인식하고, 인식한 수직면의 위치 정보에 기초하여 그리드 영상을 표시하며, 그리드 영상의 위치 정보와 피사체 영상의 위치 정보에 기초하여 앵커링 마크 영상을 표시하는 것을 포함할 수 있다.
모바일 장치는 목적지 정보에 대응하는 피사체 영상을 인식하고, 인식한 피사체 영상(즉 제1피사체 영상)을 제외한 나머지 피사체 영상(즉 제2피사체 영상)의 투명도를 제1피사체 영상의 투명도와 다르게 조절할 수 있다.
모바일 장치는 사용자에 의해 목적지 도착 명령이 수신되면 증강 현실 어플리케이션과 내비게이션 어플리케이션을 종료할 수 있다.
도 13은 다른 실시 예에 따른 차량의 제어 구성도이다.
우선 차량(3)은 외장과 내장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
차량의 차대는 차체를 지지하는 틀로, 전후좌우에 각 배치된 차륜과, 전후좌우의 차륜에 구동력을 인가하기 위한 동력 장치, 조향 장치, 전후좌우의 차륜에 제동력을 인가하기 위한 제동 장치 및 차량의 서스펜션을 조절하기 위한 현가 장치가 마련될 수 있다.
차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 전후좌우의 도어, 전후좌우의 도어에 개폐 가능하게 마련된 윈도우 글래스를 포함한다.
차체의 외장은 GPS 위성, 방송국 등의 신호를 수신하고, 다른 차량과의 통신(V2V) 및 인프라와의 통신(V2I) 등의 무선 차량 네트워크(V2X: Vehicle to everything)를 수행하기 위한 안테나를 더 포함한다.
차체의 내장은 탑승자가 앉는 시트와, 대시 보드와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 변속 레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터)과, 공기조화기의 송풍구와 조절판이 배치된 센터 페시아와, 센터 페시아에 마련되고 오디오 기기와 공기 조화기의 동작 명령을 입력받는 헤드유닛을 포함한다.
차량은 사용자의 사용 편의를 위한 차량용 단말기(210)를 포함한다. 차량용 단말기(210)는 대시 보드 상에 매립식 또는 거치식으로 설치될 수 있다.
차량용 단말기(310)는 사용자 입력을 수신하고, 차량에서 수행되는 각종 기능에 대한 정보를 영상으로 표시할 수 있다.
여기서 각종 기능은, 오디오 기능, 비디오 기능, 내비게이션 기능, 방송 기능, 라디오 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 중 사용자에 의해 설치된 적어도 하나의 어플리케이션의 기능을 포함할 수 있다.
차량용 단말기는 표시부로 디스플레이 패널을 포함할 수 있고, 입력부로 터치 패널을 더 포함할 수 있다. 이러한 차량용 단말기는 디스플레이 패널만을 포함할 수 있고, 디스플레이 패널에 터치 패널이 일체화된 터치 스크린을 포함할 수도 있다.
차량용 단말기(310)는 디스플레이 패널만으로 구현된 경우, 센터페시아에 마련된 입력부(미도시)를 이용하여 디스플레이 패널에 표시된 버튼을 선택받을 수 있다.
차량용 단말기(310)는 입력부와 표시부를 포함할 수 있다. 차량의 입력부와 표시부는, 모바일 장치의 입력부 및 표시부와 동일하여 설명을 생략하도록 한다.
차량용 단말기(310)는 일 실시 예의 모바일 장치(1)의 제어부에서 수행되는 각종 제어 기능을 수행할 수 있다. 차량용 단말기(310)에서 수행되는 내비게이션 기능과 증강 현실 기능에 대한 제어는 일 실시 예의 모바일 장치의 제어부에서 수행되는 기능에 대한 제어 구성과 동일하여 설명을 생략하도록 한다.
차량용 단말기(310)는 지도 정보, 관심 지점의 위치 정보를 저장하는 저장부를 더 포함할 수 있다.
사운드 출력부(320)는 차량에서 수행 중인 기능에 대응하는 오디오 데이터를 사운드로 출력한다.
여기서 수행 중인 기능은 라디오 기능, 컨텐츠 재생 및 음악 재생에 대응하는 오디오 기능, 내비게이션 기능일 수 있다.
이러한 사운드 출력부(320)는 스피커를 포함할 수 있다. 스피커는 하나 또는 복수 개일 수 있다.
아울러 스피커는 차량용 단말기에 마련되는 것도 가능하다.
위치 수신부(230)는 GPS(Global Positioning System) 수신부와, GPS 수신부에서 획득한 GPS 신호를 신호 처리하는 신호 처리부를 포함한다.
차량은 주변의 영상을 획득하기 위한 영상 획득부(340)를 더 포함할 수 있다. 여기서 영상 획득부(340)는 블랙박스에 마련된 영상 획득부일 수 있고, 자율 주행을 위한 자율 주행 제어 장치의 영상 획득부일 수도 있으며, 장애물 검출을 위한 영상 획득부일 수도 있다.
이러한 영상 획득부(340)는 전면의 윈도우 글래스에 마련되되 차량 내부의 윈도 글래스에 마련될 수도 있고, 차량 내부의 룸미러에 마련될 수도 있으며, 루프 패널의 마련되되 외부로 노출되도록 마련될 수도 있다.
영상 획득부(340)는 차량 전방의 영상을 획득하는 전방 카메라뿐만 아니라 차량 좌우 측방의 영상을 획득하는 좌측 카메라와 우측 카메라, 차량 후방의 영상을 획득하는 후방 카메라 중 적어도 하나를 더 포함하는 것도 가능하다.
영상 획득부(340)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있고, KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등과 같은 3차원 공간 인식 센서를 포함할 수도 있다.
차량(3)은 내부의 각종 전자 장치들 사이의 통신, 사용자용 단말기와의 통신 및 서버와의 통신을 위한 통신부(350)를 더 포함할 수 있다.
통신부(350)는 안테나를 통해 외부 장치와의 통신을 수행할 수 있다.
여기서 외부 장치는, 서버, 사용자용 단말기, 타 차량 및 인프라 중 적어도 하나를 포함할 수 있다.
아울러 안테나를 이용한 통신 방식은 시간 분할 다중 접속(Time Division Multiple Access: TDMA)과 부호 분할 다중 접속(Code Division Multiple Access: CDMA) 등의 제2 세대(2G) 통신 방식, 광대역 부호 분할 다중 접속(Wide Code Division Multiple Access: WCDMA)과 CDMA2000(Code Division Multiple Access 2000)과 와이브로(Wireless Broadband: Wibro)와 와이맥스(World Interoperability for Microwave Access: WiMAX) 등의 3세대(3G) 통신 방식, 엘티이(Long Term Evolution: LTE)와 와이브로 에볼루션(Wireless Broadband Evolution) 등 4세대(4G) 통신 방식, 또는 5세대(5G) 통신 방식을 포함할 수 있다.
제어부(360)는 차량용 단말기(310)와 영상 획득부(340), 위치수신부(330) 및 사운드 출력부(320) 사이에서 통신을 제어한다.
제어부(360)는 영상 획득부(340)의 영상 정보를 차량용 단말기(310)에 전송할 수 있고, 위치 수신부(330)의 위치 정보를 차량용 단말기(310)에 전송할 수 있으며, 차량용 단말기(310)의 사운드 정보를 사운드 출력부(320)에 전송할 수 있다.
차량은 주행 속도(즉 차량의 이동 속도)를 검출하기 위한 속도 검출부(370)를 더 포함할 수 있다.
속도 검출부(370)는 복수 개의 차륜에 각가 마련된 휠 속도 센서일 수 있고, 가속도 센서일 수 있다.
제어부(360)는 복수 개의 휠 속도 센서에서 검출된 휠 속도에 기초하여 차량의 주행 속도를 획득할 수 있고, 가속도 센서에서 검출된 가속도에 기초하여 차량의 주행 속도를 획득하는 것도 가능하며, 복수 개의 휠 속도 센서에서 검출된 휠 속도와 가속도 센서에서 검출된 가속도에 기초하여 차량의 주행 속도를 획득하는 것도 가능하다.
아울러 제어부(360)는 목적지의 도착 예정 시간이나 목적지까지 남은 시간을 획득할 수 있도록 획득된 주행 속도를 차량용 단말기에 전송할 수 있다.
제어부(360)는 일 실시 예의 모바일 장치의 제어부에서 수행되는 모든 제어 동작을 수행하는 것도 가능하다.
도 13에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 13에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 13 에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
1: 모바일 장치 2: 서버
3: 차량
110: 사용자 인터페이스 120: 사운드 출력부
130: 위치 수신부 140: 영상 획득부
150: 통신부 160: 제어부
161: 저장부

Claims (21)

  1. 사용자 입력을 수신하는 입력부;
    현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부;
    주변의 환경에 대한 영상을 획득하는 영상 획득부;
    증강 현실 모드의 수행에 대응하여 상기 영상 획득부에서 획득된 주변 영상을 표시하는 표시부; 및
    상기 증강 현실 모드의 수행 중 상기 사용자 입력으로 목적지 정보가 수신되면 상기 현재 위치부터 목적지까지의 경로를 탐색하고, 상기 탐색한 경로에 대응하는 경로 정보에 기초하여 이동 상황을 확인하고, 상기 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 변화되는 변곡점의 위치 정보를 획득하고, 상기 변곡점의 위치 정보, 상기 현재 위치 정보에 기초하여 상기 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 모바일 장치.
  2. 제 1 항에 있어서, 상기 제어부는,
    현재 위치 정보와 상기 변곡점의 위치 정보에 기초하여 현재 위치에서 변곡점까지의 거리 정보를 획득하고 상기 획득한 거리 정보에 기초하여 상기 변곡점의 객체 영상의 표시 정보를 변경하고,
    상기 변곡점의 객체 영상의 표시 정보는, 형상 정보와 색상 정보 중 적어도 하나를 포함하는 모바일 장치.
  3. 제 2 항에 있어서, 상기 제어부는,
    상기 변곡점까지의 거리가 제1기준 거리 이상이라고 판단되면 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 목적지의 방향을 확인하고 상기 표시부에 표시된 주변 영상에 현재 위치에서 목적지의 방향을 향하는 지향의 객체 영상을 표시하도록 표시부를 제어하는 모바일 장치.
  4. 제 2 항에 있어서, 상기 제어부는,
    상기 변곡점까지의 거리가 제1기준 거리 미만이고 제2기준 거리 이상이라고 판단되면 상기 변곡점의 위치 및 지도 정보에 기초하여 원거리 변곡점의 객체 영상을 상기 주변 영상에 표시하도록 표시부를 제어하고,
    상기 제1기준 거리는 상기 제2기준거리보다 긴 거리인 모바일 장치.
  5. 제 4 항에 있어서, 상기 제어부는,
    상기 경로 정보에 기초하여 미리 설정된 설정 거리 내에 변곡점이 복수 개라고 판단되면 상기 제2기준 거리를 제3기준 거리로 변경하는 모바일 장치.
  6. 제 4 항에 있어서, 상기 제어부는,
    상기 확인된 이동 상황에 대한 정보에 기초하여 상기 이동 상황이 원활한 상황이면 상기 원거리 변곡점의 객체 영상을 제1색상으로 표시하도록 상기 표시부를 제어하고, 상기 이동 상황이 정체 또는 사고라고 판단되면 상기 원거리 변곡점의 객체 영상을 제2색상으로 표시하도록 상기 표시부를 제어하고, 상기 이동 상황이 경로 변경 상황이면 상기 원거리 변곡점의 객체 영상을 제3색상으로 표시하도록 상기 표시부를 제어하는 모바일 장치.
  7. 제 6 항에 있어서, 상기 제어부는,
    교통 정보가 수신되면 상기 수신된 교통 정보, 상기 목적지 정보, 상기 현재 위치 정보, 상기 경로 정보 및 상기 지도 정보에 기초하여 경로 변경이 필요한지를 판단하는 모바일 장치.
  8. 제 5 항에 있어서, 상기 제어부는,
    상기 변곡점까지의 거리가 제2기준 거리 미만이라고 판단되면 상기 변곡점의 위치 및 지도 정보에 기초하여 근거리 변곡점의 객체 영상을 상기 주변 영상에 표시하도록 표시부를 제어하는 모바일 장치.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 확인된 이동 상황에 대한 정보에 기초하여 상기 이동 상황이 경로 유지 상황이면 상기 근거리 변곡점의 객체 영상을 제1색상으로 표시하도록 상기 표시부를 제어하고, 상기 이동 상황이 정체 또는 사고라고 판단되면 상기 근거리 변곡점의 객체 영상을 제2색상으로 표시하도록 상기 표시부를 제어하고, 상기 이동 상황이 경로 변경 상황이면 상기 근거리 변곡점의 객체 영상을 제3색상으로 표시하도록 상기 표시부를 제어하는 모바일 장치.
  10. 제 8 항에 있어서, 상기 제어부는,
    상기 지향의 객체 영상의 표시 위치가 상기 근거리 변곡점의 객체 영상의 표시 위치와 일치하고, 상기 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보를 표시하도록 표시부를 제어하는 모바일 장치.
  11. 제 8 항에 있어서, 상기 제어부는,
    상기 지향의 객체 영상의 표시 위치가 상기 근거리 변곡점의 객체 영상의 표시 위치와 불일치하고, 상기 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보 및 대체 경로 정보를 표시하도록 표시부를 제어하는 모바일 장치.
  12. 제 1 항에 있어서, 상기 제어부는,
    목적지 정보, 현재 위치 정보, 상기 경로 정보 및 지도 정보에 기초하여 목적지까지의 거리가 일정 거리 이하인지를 판단하고, 상기 목적지까지의 거리가 일정 거리 이하라고 판단되면 상기 주변 영상에서 상기 목적지 정보에 대응하는 목적지 영상을 인식하고 상기 인식한 목적지 영상에 강조 객체 영상을 오버랩하여 표시하도록 상기 표시부를 제어하는 모바일 장치.
  13. 제 12 항에 있어서, 상기 제어부는,
    상기 목적지 정보, 상기 현재 위치 정보, 상기 경로 정보 및 상기 지도 정보에 기초하여 목적지까지의 거리가 일정 거리 이하인지를 판단하고, 상기 목적지까지의 거리가 일정 거리 이하라고 판단되면 상기 주변 영상에서 상기 목적지 정보에 대응하는 목적지 영상을 인식하고 상기 인식한 목적지 영상과 나머지 영상의 투명도를 서로 다르게 제어하는 모바일 장치.
  14. 제 12 항에 있어서, 상기 제어부는,
    상기 주변 영상에서 상기 목적지 영상과 인접한 지면 영상을 인식하고 상기 인식한 지면 영상에 그리드 형상의 객체 영상을 표시하도록 상기 표시부를 제어하고, 상기 목적지 영상에 앵커 마크 영상을 오버랩시켜 표시하도록 상기 표시부를 제어하는 모바일 장치.
  15. 사용자 입력을 수신하는 입력부;
    현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부;
    주행 속도를 검출하는 속도 검출부;
    주변의 환경에 대한 영상을 획득하는 영상 획득부;
    증강 현실 모드의 수행에 대응하여 상기 영상 획득부에서 획득된 주변 영상을 표시하는 표시부; 및
    상기 증강 현실 모드와 내비게이션 모드의 연동 중 상기 사용자 입력으로 목적지 정보가 수신되면 상기 현재 위치부터 목적지까지의 경로를 탐색하고, 상기 탐색한 경로에 대응하는 경로 정보와 상기 속도 검출부에 의해 검출된 주행 속도 정보에 기초하여 이동 상황을 확인하고, 상기 확인된 이동 상황에 대한 정보에 기초하여 이동 상황이 변화되는 변곡점의 위치 정보를 획득하고, 상기 변곡점의 위치 정보, 현재 위치 정보에 기초하여 상기 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 차량.
  16. 제 15 항에 있어서, 상기 제어부는,
    상기 현재 위치 정보와 상기 변곡점의 위치 정보에 기초하여 현재 위치에서 변곡점까지의 거리 정보를 획득하고 상기 획득한 거리 정보에 기초하여 상기 변곡점의 객체 영상의 표시 정보를 변경하고,
    상기 변곡점의 객체 영상의 표시 정보는, 형상 정보와 색상 정보 중 적어도 하나를 포함하는 차량.
  17. 제 16 항에 있어서, 상기 제어부는,
    상기 변곡점까지의 거리가 제1기준 거리 이상이라고 판단되면 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 목적지의 방향을 확인하고 상기 표시부에 표시된 주변 영상에 현재 위치에서 목적지의 방향을 향하는 지향의 객체 영상을 표시하도록 표시부를 제어하고,
    상기 변곡점까지의 거리가 제1기준 거리 미만이고 제2기준 거리 이상이라고 판단되면 상기 변곡점의 위치 및 지도 정보에 기초하여 원거리 변곡점의 객체 영상을 상기 주변 영상에 표시하도록 표시부를 제어하고,
    상기 변곡점까지의 거리가 제2기준 거리 미만이라고 판단되면 상기 변곡점의 위치 및 지도 정보에 기초하여 근거리 변곡점의 객체 영상을 상기 주변 영상에 표시하도록 표시부를 제어하고,
    상기 제1기준 거리는 상기 제2기준거리보다 긴 거리인 차량.
  18. 제 17 항에 있어서, 상기 제어부는,
    상기 지향의 객체 영상의 표시 위치가 상기 근거리 변곡점의 객체 영상의 표시 위치와 일치하고, 상기 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보를 표시하도록 표시부를 제어하고,
    상기 지향의 객체 영상의 표시 위치가 상기 근거리 변곡점의 객체 영상의 표시 위치와 불일치하고, 상기 원거리 변곡점의 객체 영상의 표시 위치와 불일치한다고 판단되면 교통정보 및 대체 경로 정보를 표시하도록 표시부를 제어하는 차량.
  19. 제 15 항에 있어서, 상기 제어부는,
    교통 정보가 수신되면 상기 수신된 교통 정보, 상기 목적지 정보, 상기 현재 위치 정보, 상기 경로 정보 및 상기 지도 정보에 기초하여 경로 변경이 필요한지를 판단하고 상기 경로 변경이 필요하다고 판단되면 경로가 변경되는 지점을 변곡점으로 인식하는 차량.
  20. 제 15 항에 있어서, 상기 제어부는,
    상기 목적지 정보, 상기 현재 위치 정보, 상기 경로 정보, 상기 주행 속도 정보 및 상기 지도 정보에 기초하여 목적지까지의 거리가 일정 거리 이하인지를 판단하고, 상기 목적지까지의 거리가 일정 거리 이하라고 판단되면 상기 주변 영상에서 상기 목적지 정보에 대응하는 목적지 영상을 인식하고 상기 인식한 목적지 영상에 강조 객체 영상을 오버랩하여 표시하도록 상기 표시부를 제어하는 차량.
  21. 제 15 항에 있어서, 상기 제어부는,
    현재 위치부터 목적지까지의 경로를 탐색할 때, 상기 위치 수신부에 의해 획득된 현재 위치 정보, 목적지 정보 및 지도 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고,
    상기 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 상기 표시부를 제어할 때, 상기 변곡점의 위치 정보, 상기 지도 정보 및 상기 현재 위치 정보에 기초하여 상기 표시부에 표시되는 주변 영상에 변곡점의 객체 영상을 표시하도록 상기 표시부를 제어하는 차량.


KR1020210068280A 2021-05-27 2021-05-27 모바일 장치 및 차량 KR20220160279A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210068280A KR20220160279A (ko) 2021-05-27 2021-05-27 모바일 장치 및 차량
CN202210117038.1A CN115408623A (zh) 2021-05-27 2022-02-07 移动装置和车辆
US17/677,765 US20220381578A1 (en) 2021-05-27 2022-02-22 Mobile apparatus and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068280A KR20220160279A (ko) 2021-05-27 2021-05-27 모바일 장치 및 차량

Publications (1)

Publication Number Publication Date
KR20220160279A true KR20220160279A (ko) 2022-12-06

Family

ID=84157617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068280A KR20220160279A (ko) 2021-05-27 2021-05-27 모바일 장치 및 차량

Country Status (3)

Country Link
US (1) US20220381578A1 (ko)
KR (1) KR20220160279A (ko)
CN (1) CN115408623A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080027659A (ko) * 2006-09-25 2008-03-28 엘지전자 주식회사 교통정보 표시장치 및 그 방법
DE102017207243A1 (de) * 2017-04-28 2018-10-31 Continental Automotive Gmbh Verfahren und Einrichtung zum Erzeugen von dynamischen Hinweisen über eine Änderung einer Routenführung
US11024059B2 (en) * 2018-12-06 2021-06-01 Lg Electronics Inc. Method for providing XR contents and XR device for providing XR contents

Also Published As

Publication number Publication date
US20220381578A1 (en) 2022-12-01
CN115408623A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
WO2020060308A1 (ko) 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
US9625267B2 (en) Image display apparatus and operating method of image display apparatus
KR102300836B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP6659359B2 (ja) ナビゲーション装置を使用して情報を提供する方法及び装置
KR101682880B1 (ko) 차량 및 이를 포함하는 원격 차량 조작 시스템
KR20160069370A (ko) 이동 단말기 및 그것의 제어방법
EP3303998B1 (en) Traffic notifications during navigation
US20220196427A1 (en) Mobile Device and Vehicle
CN102007377A (zh) 用于强调地图路线的导航装置及方法
KR20160041435A (ko) 이동 단말기 및 그것의 제어방법
KR20160114486A (ko) 이동단말기 및 이동 단말기의 제어방법
KR20100068974A (ko) 네비게이션 단말기 및 네비게이션 단말기의 경로안내방법
KR20100072971A (ko) 네비게이션 단말기 및 네비게이션 단말기의 경로 안내 방법
KR101746503B1 (ko) 이동단말기 및 그 제어방법
KR20220160279A (ko) 모바일 장치 및 차량
CN111158556A (zh) 一种显示控制方法及电子设备
KR101866732B1 (ko) 탑승자 위치 인식 방법과 이를 위한 차량
JP2014137300A (ja) ナビゲーション装置、及び表示方法
US20200011698A1 (en) Navigation system and navigation program
KR101856255B1 (ko) 내비게이션 디스플레이 장치
KR20210030523A (ko) 차량 및 그 제어 방법
US11941162B2 (en) Mobile apparatus and vehicle displaying augmented reality image
US11500471B2 (en) Personal mobility and control method thereof
KR102531869B1 (ko) 데이터 처리 장치, 그를 가지는 차량 및 그 제어 방법
US20240153415A1 (en) Vehicle and mobile device communicating with the vehicle

Legal Events

Date Code Title Description
A201 Request for examination