KR20230068439A - 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템 - Google Patents

혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템 Download PDF

Info

Publication number
KR20230068439A
KR20230068439A KR1020237013935A KR20237013935A KR20230068439A KR 20230068439 A KR20230068439 A KR 20230068439A KR 1020237013935 A KR1020237013935 A KR 1020237013935A KR 20237013935 A KR20237013935 A KR 20237013935A KR 20230068439 A KR20230068439 A KR 20230068439A
Authority
KR
South Korea
Prior art keywords
building
vehicle
texture
information
map
Prior art date
Application number
KR1020237013935A
Other languages
English (en)
Other versions
KR102625688B1 (ko
Inventor
최성환
장유정
이기형
김승만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20230068439A publication Critical patent/KR20230068439A/ko
Application granted granted Critical
Publication of KR102625688B1 publication Critical patent/KR102625688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B60K35/23—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • B60K2360/166—
    • B60K2360/177—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Abstract

본 발명은 디스플레이 장치에 대한 것으로, 클라우드 서버와 통신하는 통신부와, 카메라를 통해 차량 주변의 이미지를 획득하고, 적어도 하나의 센서로부터 수집된 센싱 정보를 수신하는 인터페이스부와, 상기 센싱 정보와 클라우드 서버로부터 수신되는 지도 정보를 기초로 가상 객체를 포함하는 MR 정보를 렌더링하는 MR 모듈 및, 획득된 이미지로부터 차량 주변의 건물 측면에 대응하는 이미지를 추출하고 추출된 이미지로부터 상기 건물 측면에 대응하는 텍스처 이미지를 생성하여 클라우드 서버에 전송하며, 클라우드 서버로부터 텍스처 이미지에 기반한 건물 텍스처가 매핑된 건물들의 모델들을 포함하는 지도 정보를 수신 및, 지도 정보에 근거하여 렌더링된 MR 정보를 상기 차량에 구비된 디스플레이에 표시하도록 하는 프로세서를 포함하는 것을 특징으로 한다.

Description

혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
본 발명은 차량이 주행할 경로를 안내하는 디스플레이 장치 및 경로 안내 시스템에 관한 것이다.
최근에는, 차량의 윈드쉴드, HUD(Head Up Display)를 통해 그래픽 객체를 출력하거나, 카메라로 촬영되는 영상을 이용한 그래픽 객체를 이용하여 실제 세계에 그래픽 객체를 추가로 출력시키는 증강 현실(Augmented Reality, AR)에 이어, 디지털 트윈(DT, Digital Twin) 기술을 적용하여 차량과 관련된 다양한 시뮬레이션 정보를 제공할 수 있는 혼합 현실(Mixed Reality, MR)에 관련된 기술 개발이 활발하게 이루어지고 있다.
이러한 혼합 현실에 관련된 기술 개발의 일환으로, 혼합 현실을 이용하여 운전자에게 경로 안내와 관련된 정보들을 제공하는 방안이 활발하게 연구되고 있다. 이처럼 혼합 현실을 이용한 경로 안내의 경우, 상기 디지털 트윈 기술을 통해 디지털화된 3차원 지도 상에 차량에 대응하는 그래픽 객체를 표시하고, 상기 지도와 상기 그래픽 객체를 통해 운전자가 아직 주행하지 않은 주행 경로에 대한 정보를 제공하거나, 또는 버드뷰(bird view)와 같은 시야각을 제공하는 등, 콕핏(cockpit)위치한 운전자가 확인할 수 없는 다양한 정보들을 상기 운전자에게 제공할 수 있다는 장점이 있다.
한편 혼합 현실을 이용한 경로 안내를 통해 운전자가 정확한 정보를 얻기 위해서는 상기 디지털 트윈 기술을 통해 디지털화된 지도, 즉 디지털 트윈 맵(Map)과 실제 세계와의 일치율이 높아야 한다. 이를 위해 2차원 맵(map)이 아니라 3차원 맵의 제공이 필요하다. 이에 현재 디지털 트윈 맵을 제공하는 서비스 제공자(Service provider)들은 2차원 맵을 3차원으로 매핑한 3차원 맵을 제공하고 있다.
그런데 현재 서비스 제공자들은 3차원 매핑을 제공하기 위해 위성 사진 또는 항공 사진을 이용한 건물 모델링을 사용한다. 이처럼 위성 사진 또는 항공 사진을 이용하는 경우 촬영 각도가 고각이어서, 건물의 다양한 측면에 대한 이미지를 획득하기 어려우며, 이에 따라 건물에 대한 정확한 텍스처를 제공하기 어렵다는 문제가 있다. 이에 통상적인 3차원 지도는 건물의 바닥면 좌표(footprint)와 높이를 가지는 폴리곤 데이터의 형태로 제공되고 있다.
한편 이처럼 폴리곤 데이터의 형태로 제공되는 모델링을 포함하는 3차원 맵의 경우 건물의 정확한 텍스처를 포함하지 않는다는 문제가 있다. 이처럼 폴리곤 모델링으로 이루어진 3차원 지도는, 건물의 위치 및 3차원 볼륨을 나타낼 뿐 실제 건물의 형상과 차이가 있으며, 이러한 차이는 디지털 트윈 맵과 실제 세계와의 괴리를 야기하여 운전자에게 올바른 정보를 제공하기 어렵다는 문제가 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일 목적은, 건물의 각 측면 형상에 대응하는 텍스처를 포함하는 모델링을 포함하는 디지털 트윈 맵을 통해 혼합 현실 기반의 경로 안내 서비스를 제공할 수 있는 디스플레이 장치 및 경로 안내 시스템을 제공하는 것이다.
또한 본 발명의 다른 일 목적은, 보다 낮은 비용으로 보다 실제 세계와 유사한 디지털 트윈 맵을 통해 혼합 현실 기반의 경로 안내 서비스를 제공할 수 있는 경로 디스플레이 및 경로 안내 시스템을 제공하는 것이다.
본 발명의 일 실시 예에 따른 디스플레이 장치는, 클라우드 서버와 통신하는 통신부와, 차량에 구비된 카메라를 통해 상기 차량 주변의 이미지를 획득하고, 상기 차량에 구비된 적어도 하나의 센서로부터 수집된 센싱 정보를 수신하는 인터페이스부와, 상기 센싱 정보와 상기 클라우드 서버로부터 수신되는 지도 정보를 기초로 적어도 하나의 가상 객체를 포함하는 MR(Mixed Reality) 정보를 렌더링하는 MR 모듈 및, 상기 획득된 이미지로부터 상기 차량 주변의 건물 일 측면에 대응하는 건물 이미지를 추출하고 추출된 건물 이미지로부터 상기 건물 일 측면에 대응하는 텍스처 이미지를 생성하여 상기 클라우드 서버에 전송하며, 상기 클라우드 서버로부터 상기 텍스처 이미지에 기반한 건물 텍스처가 표면에 매핑된 상기 차량 주변 건물들의 모델들을 포함하는 갱신된 지도 정보를 수신 및, 상기 갱신된 지도 정보에 근거하여 렌더링된 MR 정보를 상기 차량에 구비된 디스플레이에 표시하도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버에서 제공되는 지도 정보는, 상기 차량의 위치를 중심으로 설정되는 소정 영역 내의 지도 정보이며, 상기 차량의 위치는, 상기 차량의 현재 위치 또는, 상기 차량의 주행 경로와 차량의 주행 속도, 그리고 상기 차량의 현재 위치를 통해 추정되는 상기 차량의 예상 위치임을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 클라우드 서버로부터 수신되는 지도 정보에 포함된 건물 모델들 중 건물 텍스처가 표면에 매핑되지 않은 건물 모델을 검출한 결과에 따라 상기 차량 주변의 건물 일 측면에 대응하는 건물 이미지로부터 생성되는 텍스처 이미지를 상기 클라우드 서버에 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량 주변의 이미지로부터 포인트 클라우드(Point Cloud) 방식에 따른 특징점들을 검출하고, 검출된 특징점들에 근거하여 생성되는 포인트 클라우드 지도와 상기 클라우드 서버로부터 제공된 지도 정보를 3차원 정합한 결과에 근거하여, 상기 차량 주변의 특정 건물에 대응하는 건물 모델에 매칭되는 포인트 클라우드 지도 상의 일 영역을 검출하며, 검출된 포인트 클라우드 지도 상의 일 영역에 근거하여 상기 차량 주변의 이미지로부터 상기 특정 건물의 일 측면에 대응하는 이미지 영역을 추출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, SLAM(Simultaneous Localization And Map-Building, Simultaneous Localization and Mapping) 알고리즘에 기반하여 상기 차량 주변의 이미지로부터 상기 포인트 클라우드 지도를 생성 및, 상기 3차원 정합을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 추출된 이미지 영역을, 상기 카메라의 촬영 각도에 따라 보정하여, 상기 특정 건물의 일 측면에 대한 정면 뷰(view) 이미지를 생성하고, 생성된 정면 뷰 이미지를, 상기 특정 건물의 일 측면에 대한 텍스처 이미지로서 상기 클라우드 서버에 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 특정 건물은, 상기 클라우드 서버로부터 수신되는 지도 정보에 포함된 건물 모델들 중 건물 텍스처가 표면에 매핑되지 않은 건물 모델에 대응하는 건물임을 특징으로 한다.
일 실시 예에 있어서, 상기 건물 텍스처는, 특정 건물의 일 측면을 촬영한 서로 다른 이미지에 근거하여 생성된 복수의 텍스처 이미지를, 상기 클라우드 서버가 합성하여 생성되며, 상기 서로 다른 이미지는, 상기 촬영이 이루어진 방향, 거리 및 시각 중 적어도 하나가 다른 이미지임을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 복수의 서로 다른 차량으로부터 상기 복수의 텍스처 이미지를 수집하며, 상기 수집된 텍스처 이미지의 개수가 일정 개수에 도달하는 경우에 상기 수집된 복수의 텍스처 이미지에 근거하여 상기 특정 건물의 일 측면에 대응하는 건물 텍스처를 생성 및, 생성된 건물 텍스처를 상기 특정 건물의 일 측면에 매핑하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 건물 텍스처는, 상기 복수의 텍스처 이미지를, 상기 클라우드 서버가 딥 러닝에 기반한 인공지능 알고리즘에 따라 합성하여 생성되며, 상기 인공지능 알고리즘은, 의미론적 클래스 라벨(Semantic Class Label)에 기반한 DNN(Deep Neaural Network) - GAN(Generative Adversarial Network) 알고리즘임을 특징으로 한다.
본 발명의 일 실시 예에 따른 경로 안내 시스템은, 차량에 탑재되며, 상기 차량의 카메라로부터 획득된 이미지에 근거하여 특정 건물의 일 측면에 대응하는 텍스처 이미지를 전송하고, 상기 전송에 대한 응답으로 3차원 지도 정보를 수신 및, 수신된 3차원 지도 정보에 근거하여 렌더링된 MR(Mixed Reality) 정보를 상기 차량의 디스플레이부에 표시하는 적어도 하나의 경로 안내 장치 및, 상기 특정 건물의 일 측면에 대응하는 복수의 텍스처 이미지를 수집하고, 수집된 복수의 텍스처 이미지로부터 합성되는 건물 텍스처를 상기 특정 건물에 대응하는 폴리곤 모델의 일 측면에 매핑 및, 건물 텍스처가 매핑된 적어도 하나의 측면을 포함하는 폴리곤 모델들을 포함하는 상기 3차원 지도 정보를, 상기 적어도 하나의 경로 안내 장치에 제공하는 클라우드 서버를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 지도 영역에 포함되는 각 건물에 대응하며 상기 각 건물의 바닥면 좌표와 높이에 따른 폴리곤 모델들을 포함하는 디지털 트윈(Digital Twin) 지도 정보를 포함하고, 상기 복수의 텍스처 이미지로부터 상기 특정 건물의 일 측면에 대응하는 폴리곤 모델의 일 측면에 매핑하여 상기 디지털 트윈 지도 정보를 갱신하는 DTaaS(Digital Twin as a Service) 서버 및, 적어도 하나의 경로 안내 제공 장치와 통신 연결을 수행하며, 상기 적어도 하나의 경로 안내 장치로부터 수집되는 텍스처 이미지를 상기 DTaaS 서버에 제공 및, 상기 DTaaS 서버로부터 제공되는 갱신된 디지털 트윈 지도 정보를 상기 3차원 지도 정보로서 상기 적어도 하나의 경로 안내 제공 장치에 제공하는 MR AMS(Mixed Reality Automotive Meta Service)서버를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 상기 경로 안내 장치로부터 제공되는 상기 차량의 위치 정보에 근거하여, 소정 영역에 대한 상기 갱신된 디지털 트윈 지도 정보를 상기 경로 안내 장치에 제공하며, 상기 차량의 위치는, 상기 차량의 현재 위치 또는, 상기 차량의 주행 경로와 차량의 주행 속도, 그리고 상기 차량의 현재 위치를 통해 추정되는 상기 차량의 예상 위치임을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 상기 차량의 주행에 따른 상기 차량의 위치 이동에 따라, 상기 소정 영역의 위치를 변경하고, 변경된 소정 영역의 위치에 따른 디지털 트윈 지도 정보의 갱신을 수행하며, 갱신된 디지털 트윈 지도 정보를 실시간으로 상기 경로 안내 장치에 제공하며, 상기 경로 안내 장치는, 상기 실시간으로 제공되는 상기 갱신된 디지털 트윈 지도 정보를 렌더링한 MR 정보를 표시하여, 건물 텍스처들이 반영된 폴리곤 모델들을 상기 주행하는 차량의 위치에 따라 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 특정 폴리곤 모델의 일 측면에 상기 건물 텍스처가 매핑되면, 상기 특정 폴리곤 모델의 다른 측면들 중 건물 텍스처가 매핑되지 않은 공백면(blank)을 더 검출하고, 상기 공백면이 있는 경우, 상기 특정 폴리곤 모델의 다른 측면에 매핑된 건물 텍스처를 상기 검출된 공백면에 더 매핑하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 상기 건물 텍스처가 매핑된 상기 공백면의 픽셀들에 대한 RGB 평균값과, 상기 특정 폴리곤 모델의 각 측면 픽셀들 모두에 대한 RGB 평균값의 차이에 근거하여 상기 공백면에 매핑된 건물 텍스처와, 상기 공백면을 제외한 상기 특정 폴리곤 모델의 다른 측면에 매핑된 건물 텍스처들 간의 유사도를 결정 및, 결정된 유사도에 따라 상기 공백면에 매핑된 건물 텍스처를 제거하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 클라우드 서버는, 상기 특정 폴리곤 모델에 대응하는 건물의 일 측면에 대응하는 텍스처 이미지가 제1 개수만큼 수집되면 수집된 텍스처 이미지들을 합성하여 상기 건물의 일 측면에 대응하는 건물 텍스처를 생성하고, 상기 건물 텍스처가 매핑되지 않은 상기 특정 폴리곤 모델의 각 측면들 중, 수집된 개수가 상기 제1 개수보다 적은 제2 개수 미만인 텍스처 이미지들에 대응하는 측면을 상기 공백면으로 검출하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 디스플레이 장치 및 경로 안내 시스템의 효과에 대해 설명하면 다음과 같다.
첫째, 본 발명은 건물의 각 측면에 대한 이미지를 획득하고 획득된 이미지를 바탕으로 건물의 각 측면에 대응하는 텍스처들을 생성 및, 폴리곤 데이터의 형태로 제공하는 건물 모델링의 대응하는 각 측면에 상기 생성된 텍스처들을 합성함으로써, 실제 건물과 보다 흡사한 건물 모델을 포함하는 디지털 트윈 맵을 생성할 수 있다. 따라서 현실 세계와 보다 동화율이 높은 디지털 트윈 맵을 제공할 수 있다는 장점이 있다.
둘째, 본 발명은 클라우드 서버를 통해, 복수의 차량이 각각 촬영하는 건물의 각 측면에 대응하는 이미지로부터 상기 건물의 각 측면에 대응하는 텍스처들을 생성할 수 있다. 따라서 다양한 시각 및 다양한 각도에서 촬영되는 각 측면의 이미지들에 따라 건물 각 측면의 보다 정확한 텍스처가 합성될 수 있다. 따라서 텍스처가 수집될수록 현실 세계와의 일치율이 높아지는 디지털 트윈 맵을 제공할 수 있다는 장점이 있다.
셋째, 본 발명은, 서버와 차량이 협업하여 디지털 트윈된 3차원 맵을 통해 혼합 현실로 경로 안내 서비스를 제공할 수 있는 새로운 MR 네비게이션 서비스를 제공할 수 있다는 효과가 있다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 8a는 본 발명의 AR 서비스 플랫폼을 설명하기 위한 개념도이다.
도 8b는 본 발명의 MR 서비스를 제공하기 위한 MR 서비스 플랫폼을 설명하기 위한 개념도이다.
도 8c는 본 발명의 MR AMS 클라이언트를 설명하기 위한 개념도이다.
도 8d는 본 발명의 MR AMS 서버를 설명하기 위한 개념도이다.
도 9는 본 발명의 DTaaS 서버를 설명하기 위한 개념도이다.
도 10은 본 발명의 실시 예에 따른 경로 안내 장치의 구조를 도시한 블록도이다.
도 11a는 본 발명의 실시 예에 따라 경로 안내 장치와 클라우드 서버를 포함하는 경로 안내 시스템의 구조를 도시한 블록도이다.
도 11b는 본 발명의 실시 예에 따라 경로 안내 장치와 클라우드 서버를 통해 건물 텍스처가 합성된 디지털 트윈 맵이 제공되는 동작 과정을 도시한 흐름도이다.
도 12는, 도 11의 동작 과정 중 카메라를 통해 획득된 영상으로부터 건물의 특정 측면에 대응하는 건물 텍스처를 셍성하는 동작 과정을 도시한 흐름도이다.
도 13은 카메라를 통해 획득된 영상으로부터 추출되는 특징점들에 근거하여 포인트 클라우드가 추출되는 예를 도시한 예시도이다.
도 14는 포인트 클라우드를 통해 정합된 3차원 지도에 따라 검출된 차량 주변의 건물 및, 검출된 건물의 특정 면의 이미지를 추출하는 예를 설명하기 위한 예시도이다.
도 15는 카메라 영상으로부터 추출된 일 영역의 이미지로부터 건물의 특정 면에 대응하는 건물 텍스처가 생성되는 예를 설명하기 위한 예시도이다.
도 16은 본 발명의 실시 예에 따른 경로 안내 장치로부터 수집된 건물 텍스처가 포함되도록 지도 데이터를 갱신하는 클라우드 서버의 동작 과정을 도시한 흐름도이다.
도 17은 상기 도 16의 동작 과정 중, 클라우드 서버가 수집된 건물 텍스처를 포함하는 건물 모델을 생성하는 예를 설명하기 위한 예시도이다.
도 18은 통상적으로 폴리곤 데이터를 이용한 디지털 트윈 맵을 통해 제공되는 혼합 현실 기반의 경로 안내 서비스의 예를 도시한 예시도이다.
도 19는 본 발명의 실시 예에 따라 건물 텍스처가 반영된 건물 모델을 포함하는 디지털 트윈 맵을 통해 제공되는 혼합 현실 기반의 경로 안내 서비스의 예를 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 네비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 네비게이션 시스템(770)으로부터 네비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 네비게이션 시스템(770)으로부터 네비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 네비게이션 시스템(770)으로부터 네비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
네비게이션 시스템(770)은, 네비게이션 정보를 제공할 수 있다. 네비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
네비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 네비게이션 정보를 저장할 수 있다. 프로세서는 네비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 네비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 네비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
도 8a는 본 발명의 AR 서비스 플랫폼을 설명하기 위한 개념도이다.
본 발명의 AR 서비스를 제공하는 AR 서비스 플랫폼은, AR 서비스 시스템으로 명명될 수 있다.
상기 AR 서비스 플랫폼은, 차량 외부에 구비되며, AR 서비스에 필요한 정보를 수집 및 가공하여 상기 차량으로 전송하는 서버(850) 및 상기 차량에 구비되며, 상기 서버에서 전송된 정보를 이용하여 AR 서비스를 제공하는 AR 서비스 장치(800)를 포함할 수 있다.
상기 서버(850)에서 AR 서비스에 필요한 정보를 수집 및 가공하여 차량으로 전송한다는 것은, 상기 서버(850)가 상기 AR 서비스에 필요한 정보를 수집 및 가공하여 차량에 구비된 AR 서비스 장치(800)로 전송한다는 의미를 포함할 수 있다.
상기 AR 서비스 장치(800)는, 차량의 상황에 근거하여, AR 서비스로 제공되는 정보를 가변시킬 수 있다.
즉, 본 발명의 AR 서비스 장치(800)는, AR로 표시할 정보와 정보량을 차량의 상황에 따라 동적으로 조절(가변)하고, 강조할 정보를 선별할 수 있다.
또한, 본 발명의 AR 서비스 플랫폼은, 차량 상황, 광고 노출 조건 등 특정 조건에 따라 차량에서 제공되는 AR 서비스가 달라지도록 제어할 수 있다.
종래의 AR 네비게이션의 경우, 목적지나 주요 POI(Point of Interest)를 AR 네비게이션에서 표시할 때, 지도 데이터에 저장된 정보를 이용하기 때문에 최신 정보를 반영하기 어렵고, 주유/주차 등과 같이 실시간 속성이 포함된 POI는 제공하지 못하는 한계가 존재한다.
반면, 본 발명의 AR 서비스 플랫폼은, 차량의 위치 정보, 지도 정보, 복수의 센서 데이터, 실시간 POI 정보, 광고/이벤트 정보 등을 융합하여 AR 네비게이션에 표시할 수 있다.
일 예로, AR 정보 표시를 위해, 본 발명의 AR 서비스 장치(800)는, 차량의 현위치, 네비게이션 경로/안내 정보를 기반으로 서버로부터 AR 서비스 정보를 수신하고, AR 네비게이션 화면에 표시하기 위한 형태로 가공할 수 있다.
일 예로, 본 발명의 AR 서비스 장치(800)는, 실시간 AR 표시 정보 재구성할 수 있다. AR 서비스 장치(800)는, 서버로부터 수신 받은 서비스 데이터를 주행 상황을 고려하여 AR 컨텐츠의 표시 형식, 크기, 위치, 노출 방법 등을 판단하여 AR 네비게이션 화면에 표시하도록 재구성할 수 있다(예, 주행 속도에 따라 POI 노출 위치 및 크기 가변화, 교통 트래픽 상황에 따른 서비스 정보 노출 위치 변경, AR Wall 표시 위치 및 노출 시간 조정 등).
또한, 본 발명의 AR 서비스 장치(800)는, 사용자 피드백을 통한 AR 표시 정보 노출 빈도 분석할 수 있다.
서버(850)는 AR 서비스 컨텐츠에 대한 사용자 입력 정보(터치, 주문 등의 입력 정보)를 수집하여 컨텐츠 노출 빈도 분석을 수행하고, 해당 정보를 기반으로 서비스 컨텐츠 노출 정책을 조정할 수 있다.
이러한 구성을 통해, 본 발명은, 다양한 외부 서비스 컨텐츠를 융합하여 AR 네비게이션에 표현이 가능하고, 실시간 속성이 포함된 POI 정보를 통해 다양한 서비스를 제공할 수 있다.
또한, 본 발명은, POI 정보뿐만 아니라 광고, 이벤트, 주요 랜드마크 정보 등 다양한 형태의 AR 컨텐츠 표시가 가능하다.
또한, 본 발명에서 제안하는 UX 시나리오 기반의 실시예를 통하여, AR 네비게이션의 새로운 사용자 경험을 제시할 수 있다.
본 발명은, AR로 표시할 정보량(POI 데이터, 광고)을 차량 상황과 광고 노출 조건에 따라 동적으로 조절하는 서비스 플랫폼 구조 및 AR 정보 표시 방법(UX), AR 표현을 위한 POI 정보와 커머스 서비스 정보를 수집하고 AR 엔진에서 렌더링하기 쉬운 형태로 가공하는 모듈, 차량 내/외 상황에 따라 특정 POI 정보를 강조하도록 처리하는 모듈, 차량 상황 정보를 수집하고 상황에 맞게 UX 정책을 적용하는 모듈 및 UX 정책에 따라 AR 오브젝트(Group Poi, Mini Poi, 3D Object, Event wall 등)를 렌더링하는 AR 엔진 모듈을 제공할 수 있다.
또한, 본 발명은, 차량 전석, 후석 디스플레이간 인터랙션 및 데이터를 송수신하는 클라이언트 모듈, POI와 연계된 커머스 서비스 정보를 노출하는 Service App 모듈, AR 광고 오브젝트 노출 결과, 클릭 등 광고에 대한 사용자 액션을 수집하는 클라이언트 모듈 및 AR 광고 오브젝트 노출 결과, 클릭 등 광고에 대한 사용자 액션을 수집/분석하는 클라우드 모듈을 제공할 수 있다.
도 8a를 참조하면, 본 발명의 AR 서비스 플랫폼은, 차량 외부에 존재하는 구성(Off-board)인 서버(850)와, 차량에 구비되는 구성(On-board)인 AR 서비스 장치(800)를 포함할 수 있다.
우선, 서버(850)는, POI 데이터 애그리게이터(POI Data Aggregator)(851), 광고 매니저부(Ads manager)(852), 광고 모니터링부(Ads Monitoring)(853), 서비스 및 광고 매니저부(Service & Ads Manager)(854), 커머스 매니저부(Commerce Manager)(855), 데이터베이스 커넥터(DB Connector)(856) 및 대쉬보드(Dashboard)(857)를 포함할 수 있다.
POI 데이터 애그리게이터(POI Data Aggregator)(851)는 AR 서비스에 필요한 정보를 복수개의 외부 서버로부터 받아와 AR 서비스 플랫폼의 메시지 포맷으로 변환/통합할 수 있다.
광고 매니저부(Ads manager)(852)는, 광고 정보/컨텐츠 관리, 광고 캠페인(광고 노출 조건) 관리를 수행할 수 있다.
광고 모니터링부(Ads Monitoring)(853)는, 광고 노출, 클릭 결과 수집/저장할 수 있다.
서비스 및 광고 매니저부(Service & Ads Manager)(854)는, 서비스 정보에 노출 조건에 맞는 광고 정보를 삽입하여 클라이언트에 제공할 수 있다.
커머스 매니저부(Commerce Manager)(855)는, 커머스 서비스 연동 / 결제 정보 수집할 수 있다.
데이터베이스 커넥터(DB Connector)(856)는, 광고 컨텐츠, 광고 노출 결과 정보, 커머스 결제 정보 저장/쿼리할 수 있다.
대쉬보드(Dashboard)(857)는, 광고 노출 결과/결제 내역 결과를 시각화한 실시간 AR 서비스 현황을 표시할 수 있다.
또한, 서버(850)는, 차량의 AR 서비스 장치(800)로부터 전송된 정보를 서버에서 이용 가능한 데이터 형식으로 변환하고, 서버에서 가공/생성된 정보를 AR 서비스 장치(800)에서 이용 가능한 데이터 형식으로 변환하기 위한 AR 서비스 클라우드 API(또는, 데이터 변환부)를 더 포함할 수 있다.
한편, AR 서비스 장치(800)는, 클라우드 인터페이스, 커머스 앱, CID-RSE 인터랙션 매니저, 정책 매니저, 광고 모니터링, 주행 컨텍스트, 개인화된 추천 등을 포함하는 클라이언트(810) 및 POI 렌더러, 표시 매니저, 터치 매니저 등을 포함하는 AR 엔진(820)을 포함할 수 있다.
클라이언트(810)는, 서버로부터 POI 정보, 광고 등을 수신할 수 있다.
또한, 클라이언트(810)는, 주문/결제 정보를 서버(850)와 송수신할 수 있으며, 광고 노출 결과를 서버(850)에 전송할 수 있다.
AR 엔진(820)은, AR로 출력된 AR 객체가 터치된 횟수, 노출 횟수 등의 데이터를 클라이언트(810)에 전송할 수 있다.
또한, AR 엔진(820)은, 전/후석(CID, RSE) 연동 데이터를 클라이언트(810)와 송수신할 수 있으며, 클라이언트(810)로부터 수신된 AR 표시 정책에 따라 AR 객체를 출력할 수 있다.
또한, AR 엔진(820)은, 차량에 구비된 자이로 센서, 카메라, 통신부, 네비게이션, ADAS(Advanced Driver Assistance Systems), GPS 등으로부터 수집된 데이터를 기반으로 AR 서비스를 통해 제공된 AR 객체의 종류, 출력 위치, POI 종류, 출력 크기, 등을 결정할 수 있다.
차량에 구비된(On-board) AR 서비스 장치(800)는, 클라우드 서버로부터 전송받은 데이터를, 전방 카메라 영상에 AR로 표시하도록 서비스 컨텐츠를 AR 렌더링할 수 있다.
또한, AR 서비스 장치(800)는, AR엔진으로 부터 광고 게시 결과 데이터 수집 및 서버에 전달하는 등 서버와 AR 엔진 사이의 데이터 전달을 중개할 수 있다.
또한, AR 서비스 장치(800)는, CID-RSE(즉, 전/후석)간 AR로 발생한 데이터를 연동할 수 있다.
또한, AR 서비스 장치(800)는, AR 표시 정책에 대한 데이터 관리를 수행할 수 있으며, 구체적으로, 주행 상황에 따른 AR표시 정책 데이터를 AR엔진에 제공할 수 있다.
또한, AR 서비스 장치(800)는, 상황 인지 및 개인화 서비스 제공할 수 있으며, 구체적으로, 차량 내 데이터를 활용한 주행 상황(속도, TBT(Turn-by-Turn) 등)에 따라 AR 객체를 AR 엔진에 제공할 수 있다.
본 명세서에서는, 차량에 구비된 카메라를 통해 촬영(수신, 처리)된 영상에 AR 정보(또는, AR 객체, AR 컨텐츠, POI 정보 등)를 오버랩하여 출력하여 AR 서비스를 제공하는 것을 예로 설명하기로 한다.
그러나, 이에 한정되지 않고, 본 명세서에서 설명하는 AR 서비스는, 운전자 또는탑승객 기준으로, 차량의 윈드쉴드 상에 바로 AR 정보가 현실 세계의 공간에 오버랩되어 보이도록 출력되거나, HUD(Head-up Display)를 통해 AR 정보가 출력되는 등 다양한 증강현실의 구현방법에 동일/유사하게 유추적용될 수 있다.
AR 서비스를 제공하기 위해 사용되는 입력 데이터(입력 정보)와 AR 서비스 플랫폼을 통해 제공되는 출력 데이터(출력 정보)는 다음과 같다.
우선, 입력 데이터의 종류는, 지도 정보(네비게이션 정보), 서비스 컨텐츠 정보(POI, 광고 등), 다이내믹 정보, 차량 센서 정보, 히스토리컬 정보, 주행 관련 정보를 포함할 수 있다.
지도 정보(네비게이션 정보)는, 목적지까지의 경로 정보 (네비게이션 경로), 안내정보 (Turn-by-Turn), 전방 도로 형상 (Road/Lane), 복수개의 지도 속성 정보(도로 종별/속성, 도로 및 차선의 폭, 곡률, 경사도, 제한속도 등), Localization Object (Road marking, Traffic sign 등) 정보 등을 포함할 수 있다.
서비스 컨텐츠 정보(POI, 광고 등)는, 복수의 서비스 프로바이더로부터 수신 받은 POI 정보, 현위치에서 제공 가능한 광고 정보 및 주유소, 충전소, 주차장 등 예약/결제 서비스를 위한 실시간 정보를 포함할 수 있다.
다이내믹 정보는, Traffic 정보 (Road단위 traffic, Lane 단위 traffic), 이벤트 정보 (사고, Hazard warning 등), 날씨 정보, V2X (V2V, V2I)(Vehicle to Everything, Vehicle to Vehicle, Vehicle to Infra) 등을 포함할 수 있다.
차량 센서 정보는, 현위치 정보 (GPS/DR), 카메라 입력 정보 (ADAS 정보, Object 인식 정보) 및 V2X (V2V와 V2I를 통해 수집 가능한 실시간 주변 상황 정보)를 포함할 수 있다.
히스토리컬 정보는, 과거 주행 경로, Traffic History (예, 시간대 별 소통량), 지역(Zone)과 시간에 따른 통신 속도 등에 대한 정보를 포함할 수 있다.
주행 관련 정보는, 주행모드 (수동, 자율주행, 반자율주행, ADAS 기능 작동 여부 등), 목적지나 경유지 진입 여부, 주차장 진입 여부 등을 포함할 수 있다.
AR 서비스 플랫폼을 통해 제공할 수 있는 출력 정보는, 현위치/경로 기반 AR 서비스 표시 데이터를 포함할 수 있다.
현위치/경로 기반 AR 서비스 표시 데이터는, 경로상 AR 광고 표시 가능 지점(AR Wall, POI 건물 하이라이트), 선택 가능한 AR 빌딩 정보(랜드마크와 같이 선택 가능한 주요 건물 정보), 일반 POI 정보(아이콘이나 말풍선과 같은 POI 요약 정보), 원거리 POI 정보(경로상에는 존재하지 않지만 운행에 도움이 되는 중요 POI 정보의 거리/방향 표시), 동일 건물에 복수개의 POI가 존재할 경우 출력되는 표시 정보, 목적지 건물 및 실시간 주차장 상태 정보, 주유소/충전소의 실시간 상태 정보 및 위치 기반 광고/이벤트 정보 등을 포함할 수 있다.
본 발명의 AR 서비스 플랫폼은, 실시간 정보에 따른 AR 서비스 정보를 필터링하고, 표시 방법을 결정할 수 있다.
구체적으로, AR 서비스 플랫폼은, 주행 속도 기반의 실시간 POI 노출 개수, POI 겹침제거, 크기 조절, 노출 시간 등을 결정할 수 있다.
또한, AR 서비스 플랫폼은, 위험 정보 인식에 따른 POI 노출 방법을 결정할 수 있으며, 구체적으로, 사고, 공사, 다수의 무빙오브젝트 인식 상황 등에 따라 POI 표시 방법을 동적으로 변경할 수 있다.
또한, AR 서비스 플랫폼은, 트래픽으로 인한 AR 표시 시인성 저하 상황 발생 시, POI 표시 위치 동적 변경할 수 있다.
또한, AR 서비스 플랫폼은, 전/후석 AR 표시 데이터 재구성할 수 있으며, 일 예로, 주행속도, 위험정보, 날씨 정보 등을 고려하여 전석 디스플레이에는 AR 서비스 정보를 최소화 하고 후석 디스플레이는 표시 가능한 모든 정보를 표시할 수 있도록 재구성할 수 있다.
이와 같은 AR 서비스 플랫폼의 동작/기능/제어방법은, AR 서비스 플랫폼에 포함된 서버 또는 AR 서비스 장치에 의해 구현되거나, 서버와 AR 서비스 장치의 유기적인 상호 작용에 의해 구현될 수 있다.
도 8a를 참조하여, AR 서비스 플랫폼의 서버(850)의 구성에 대하여 보다 구체적으로 설명하면 다음과 같다.
서비스 및 광고 매니저부(854)는, 클라이언트 연동(request) 기능, POI 정보와 광고 정보 통합 (data processing & aggregation) 기능, 클라이언트 연동 (respond) 기능을 수행할 수 있다.
구체적으로, 클라이언트 연동(request) 기능은, Unified API로 POI 정보를 요청/수신(위치, 카테고리)하거나, Unified API로 목적지 입구 위치 정보를 요청/수신 (목적지 좌표/주소/id 중 택 1)하는 것을 포함할 수 있다.
여기서, Unified API는 특정 data provider에 의존성없는 AR 서비스 클라우드에서 정의한 API (클라이언트 변동 최소화를 위함)를 의미한다.
POI 정보와 광고 정보 통합 (data processing & aggregation) 기능은, 클라이언트가 요청한 위치의 반경 000m 내 POI 정보 및 광고 정보를 통합하거나 (from data manager, ads manager) 또는 클라이언트가 요청한 목적지의 입구 위치 및 POI 광고 정보를 통합 (from data manager, ads manager)하는 것을 포함할 수 있다.
구체적으로, POI 정보와 광고 정보 통합 기능은, Building wall, Event wall 정보 포함한 광고 정보와 POI 정보 정합하거나, 같은 건물에 다수의 POI가 있는 경우, 서버에서 우선순위를 정해 필터링하는 기능(e.g. 파트너 업체만 남기고 다른 POI 정보는 제외시킴)을 포함할 수 있다.
여기서, 필터링 기준은 각 POI별 우선순위 점수 부여하고 이를 비교하는 것을 포함할 수 있다.
클라이언트 연동 (respond) 기능은, Unified API로 POI 정보 및 광고 정보 전송하거나, Unified API로 목적지 입구 위치 및 광고 정보를 정송하는 것을 포함할 수 있다.
서버(850)에 포함된 데이터 매니저부(Data Manager)(미도시)는, POI 정보 수집/전달 기능, 빌딩 형상(polygon) 정보 수집/전달 기능, 목적지 입구 정보 수집/전달기능을 포함할 수 있다.
POI 정보 수집/전달 기능은, 3rd party API에 POI 정보를 요청하거나, 3rd party API에서 받아온 POI 정보를 (Unified API response 형식으로 변환하여) 전달 (to Service & Ads Aggregator)하는 기능을 수행할 수 있다.
빌딩 형상(polygon) 정보 수집/전달 기능은, 3rd party API/data set에 빌딩 외곽 형상 정보를 요청하거나, 3rd party API에서 받아온 POI 정보를 (Unified API response 형식으로 변환하여) 전달 (to Service & Ads Aggregator)하는 기능을 수행할 수 있다.
목적지 입구 정보 수집/전달 기능은, 3rd party API에 목적지 입구 정보를 요청하거나, 3rd party API에서 받아온 목적지 입구 정보를 (Unified API response 형식으로 변환하여) 전달 (to Service & Ads Aggregator)하는 기능을 수행할 수 있다.
광고 매니저부(Ads Manager)(852)는, 파트너(광고) 업체 관리 인터페이스, 광고 캠페인 관리 인터페이스, 광고 컨텐츠 관리 인터페이스를 제공할 수 있다.
광고 모니터링부(Ads Monitoring)(853)는, 광고 효과 측정 피드백 수신 기능 및 광고 정보 전달 기능을 수행할 수 있다.
파트너(광고) 업체 관리 인터페이스는, POI 광고주 관리 (광고주 정보 추가/수정/삭제) 및 일반 광고주 관리 (광고주 정보 추가/삭제)를 수행할 수 있다.
POI 지원 광고 포맷은, Brand poi pin, Building wall, 3D rendering, Event wall 등을 포함할 수 있으며, 실제 POI/위치와는 관련 없는 브랜드 광고의 (e.g. 코카콜라 광고 등) 지원 광고 포맷(일반 지원 광고 포맷)은, Event wall일 수 있다.
광고 캠페인 관리 인터페이스는, 광고 캠페인(광고 위치, 유형, 시간 등) 추가/수정/삭제를 수행할 수 있다.
광고 컨텐츠 관리 인터페이스는 광고 포맷 별 컨텐츠 추가/수정/조회/삭제 (POI 브랜드 아이콘 이미지, building wall 이미지, event wall 이미지/동영상, 3D rendering 이미지)를 수행할 수 있다.
광고 효과 측정 피드백 수신 기능은, 클라이언트가 전송한 광고 노출 피드백 수신하여 DB Manager에 전달 (CPC/CMP/CPT&P)하는 기능을 포함할 수 있다.
광고 정보 전달 기능은, Service & Ads Aggregator가 요청한 위치의 반경 000m 내 노출해야할 광고 캠페인 정보 조회하여 전달 (CPT&P인 경우 시간 조건에 맞는 광고만 전달)하는 기능을 포함할 수 있다.
커머스 매니저부(Commerce Manager)(855)는, 클라이언트 연동 기능, 외부 커머스 서비스 연동 기능, 결제 정보 관리 기능을 수행할 수 있다.
클라이언트 연동 기능은, Unified API로 클라이언트 연동하여 요청 수신, Unified API로 받은 요청 내용을 외부 커머스 API 스펙으로 변환, 외부 API에서 받은 데이터를 Unified API의 메세지 포맷으로 변환 및 클라이언트에 데이터 전달 기능을 포함할 수 있다.
커머스 매니저부는, Unified API로 받은 요청 내용을 외부 커머스 API 스펙으로 변환한 후 변환된 내용으로 외부 서비스 연동 기능을 수행할 수 있다.
외부 API에서 받은 데이터를 Unified API의 메세지 포맷으로 변환하는 것은 외부 서비스 연동에서 수신한 데이터를 Unified API로 변환하는 작업을 의미할 수 있다.
외부 커머스 서비스 연동 기능은, 현재 위치에서 인접한 매장 리스트 및 메타 정보 요청 & 결과 수신, 위 리스트 중 특정 매장에 대한 상세 정보 요청 & 결과 수신, 예약/주문 요청 & 결과 수신, 서비스 이용 상태 요청 & 결과 수신 및 커머스 서비스의 회원 정보 연동 & 결과 수신 기능을 포함할 수 있다.
여기서, 서비스 이용 상태 요청 & 결과 수신은, 서비스 이용 상태(예약 완료 / 주차장 입차 / 주차 중 / 주차장 출차 / 예약 취소)에 따른 시퀀스 관리 및 AR 메시지 팝업 용도로 사용될 수 있다.
서비스의 회원 정보 연동 & 결과 수신은 커머스 서비스 회원 ↔ AR 서비스 회원(OEM 커넥티스 서비스 회원) 정보 연동에 사용될 수 있다.
결제 정보 관리 기능은, 외부 커머스 서비스에서 결제한 내역 수집(내용, 금액) 및 결제 내역을 기반으로 외부 커머스 사에게 수수료 청구하는 기능을 포함할 수 있다.
데이터베이스 커넥터(DB Connector)(856)는, 광고 효과 측정 데이터 관리 기능, 커머스 데이터 관리 기능, 광고주 데이터 관리 기능, 광고 컨텐츠 데이터 관리 기능 및 광고 위치 데이터 관리 기능을 수행할 수 있다.
광고 효과 측정 데이터 관리 기능은 CPC/CPM/CPT&P 관련 로그 데이터 저장/삭제하고, 데이터 조회 (POI별, 브랜드별, 시간별, 광고 타입별)할 수 있다.
커머스 데이터 관리 기능은, 외부 커머스 서비스에서 결제한 내역 저장/삭제 (내용, 금액), 데이터 조회 (POI별, 브랜드별, 시간별, 광고 타입별)를 수행할 수 있다.
광고주 데이터 관리 기능은, 광고주 정보 및 광고주별 광고 캠페인 설정 내용 저장/수정/삭제/조회를 수행할 수 있다.
광고 컨텐츠 데이터 관리 기능은, 광고주 정보와 연동하여 광고 컨텐츠 저장/수정/삭제/조회할 수 있다.
광고 위치 데이터 관리 기능은, AR 광고를 표시할, Event wall 구간 좌표, Building wall 좌표 관리 (브랜드별)를 수행할 수 있으며, 사용자가 직접 등록한 좌표, 업체 API 연동으로 얻은 특정 좌표로 구분될 수 있다.
대쉬보드(Service Dashboard)(857)는, 광고 효과 측정 데이터 시각화 기능 및 커머스 서비스 데이터 시각화 기능을 수행할 수 있다.
광고 효과 측정 데이터 시각화 기능은, CPC: 업체/브랜드별 총 광고 click 수에 대한 차트 (기간별로 조회 가능), CPC: 전체 광고 click 수에 대한 집계 차트 (기간별로 조회 가능), CPM: 업체/브랜드별 총 광고 노출 수에 대한 차트 (기간별로 조회 가능), CPM: 전체 광고 노출 수에 대한 집계 차트 (기간별로 조회 가능), CPT&P: 업체/브랜드별 광고 click 수에 대한 차트 (기간별로 조회 가능), CPT&P: 업체/브랜드별 광고 노출 수에 대한 차트 (기간별로 조회 가능)를 제공할 수 있다.
이러한 차트는, Bar graph, Line graph, Pie Chart, Word graph, Geospatial graph 등 다양한 방식으로 제공될 수 있다.
CPT&P는 정산 방식이 클릭 횟수나 노출 횟수가 아닌 시간당 과금이지만, 노출 효과 측정을 위한 데이터로 사용될 수 있다.
커머스 서비스 데이터 시각화 기능은, 업체별 결제 누적 액수에 대한 차트 (기간별로 조회 가능), 전체 결제 누적 액수에 대한 차트 (기간별로 조회 가능)를 제공할 수 있다.
도 8b는 본 발명의MR 서비스를 제공하기 위한 MR 서비스 플랫폼을 설명하기 위한 개념도이다.
본 발명은 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)(이하, MR 서비스와 혼용하여 사용하기로 함)를 제공하는 것이 가능한 MR 서비스 플랫폼을 제공할 수 있다.
MR 서비스 플랫폼은, MR 서비스 시스템, MR 네비게이션 시스템, MR 플랫폼, MR 시스템 등으로 명명될 수 있다.
MR 서비스 플랫폼은, 혼합 현실을 기반으로 한 서비스를 제공하는 것이 가능한 플랫폼을 이야기하며, 여러 독립적인 구성요소들을 포함할 수 있다.
예를 들어, MR 서비스 플랫폼은, 차량 단(Onboard)에 구비된 MR 서비스 장치(900)(또는, MR 네비게이션 엔진으로 명명됨), 차량 외부의 서버 단(또는 클라우드 단)(Offboard)에 구비된 MR AMS(이하에서는, MR AMS 서버라 함)(1100) 및DTaaS(Digital Twin as a Service) 서버(1200)를 포함할 수 있다.
상기 MR 서비스 장치(900)는, MR AMS 클라이언트(Client)(910) 및 MR 렌더러(Renderer)(920)를 포함할 수 있다.
본 명세서에서 설명하는 MR 서비스는, 차량용 혼합현실 네비게이션 서비스로 이해될 수 있다. 즉, 본 발명의 MR 서비스 플랫폼은, 차량에 탑승한 사용자에게 혼합 현실로 구현된 차량용 인터페이스를 제공할 수 있다.
본 발명의 MR 서비스 플랫폼에서 제공하는 MR 서비스는, 실제 세계에서 운전을 하고 있지만 차량 내에 있는 디스플레이를 통해서 디지털 세계의 경험을 제공할 수 있다.
구체적으로, MR 서비스는, 디지털 세계에 실세계 정보를 융합한 가상의 3D 공간에서 길안내, 안전운전, POI(Point of Interest) 및 엔터테인먼트 사용자 경험을 운전자에게 인터렉티브(Interactive)하게 제공할 수 있다.
이를 통해, 본 발명의 MR 서비스 플랫폼은, 기존의 카메라 기반(또는 HUD(Head up Display) 기반)의 AR(Augmented Reality) 대비 시공간 제약에서 벗어난 다양한 UX(User Experience)를 제공할 수 있다.
여기서, 디지털 세계는, 디지털 트윈(Digital Twin) 또는 디지털 트윈된 스마트 시티를 의미하고, 실세계 정보는, V2X(Vehicle to Everything), C-ITS(Cooperative-Intelligent transport Systems) 등 인프라 데이터 및/또는 자율주행 차량에 구비된 센서에 의해 센싱된 주변 인지 데이터를 포함할 수 있다.
또한, 위에서 설명한 융합은, 본 MR 서비스 플랫폼을 구현하기 위한 MR 서비스 클라우드(1000)(또는 MR AMS 클라우드)및 MR 서비스 장치(900)뿐만 아니라, 차량 및 인프라 센서 데이터를 융합하는 개념을 포함할 수 있다.
또한, 인터렉티브는, 혼합 현실 네비게이션 뿐만 아니라, 고품질의 3차원 영상 렌더링 및 사용자 인터렉션을 포함하는 개념으로 이해되어야 한다.
한편, 본 명세서에서 설명하는 혼합 현실(Mixed Reality, MR)은 현실 세계에 가상 현실(Virtual Reality)이 접목되어 현실의 물리적 객체오 ㅏ가상 객체가 상호 작용할 수 있는 환경을 의미할 수 있다.
혼합 현실(MR)은 현실을 기반으로 가상 정보를 부가하는증강 현실(AR:AugmentedReality)과 가상 환경에 현실 정보를 부가하는증강 가상(AV:AugmentedVirtuality)의 의미를 포함할 수 있다.
즉, 현실과 가상이 자연스럽게 연결된 스마트 환경을 제공하여사용자는 풍부한 체험을 할 수 있다. 예로 사용자의 손바닥에 놓인 가상의 애완동물과 교감한다거나, 현실의 방 안에 가상의 게임 환경을 구축해 게임을 할 수 있다. 또 집안의 가구를 가상으로 재배치해 본다거나, 원격에 있는 사람들이 함께 모여 함께 작업하는 듯한 환경을 구축할 수 있다.
본 발명의 일 실시 예에 따른 혼합 현실(MR)을 이용한 혼합 현실 자동자 메타 서비스(MR AMS)는, 미래 주행 경로를 미리보기로 표현하여 사용자에게 사전에 도로 형상과 액션을 준비할 수 있도록 도움을 줄 수 있다.
또한, 본 발명의 일 실시 예에 따른 혼합 현실(MR)을 이용한 혼합 현실 자동자 메타 서비스(MR AMS)는, 특정 POI(Point of Interest)를 주시하여 광고 효과를 개선하거나 서비스 사용률 향상을 유도할 수도 있다.
또한, 본 발명의 일 실시 예에 따른 혼합 현실(MR)을 이용한 혼합 현실 자동자 메타 서비스(MR AMS)는, 특정 지도 업체에 종속적이지 않으며, 다양한 지도 업체의 데이터를 융합하는 것도 가능하다.
본 발명은 혼합 현실 자동차 메타 서비스 중 하나로 MR 네비게이션 기능을 제공할 수 있다.
MR 네비게이션 기능에서는, 현실 세계 상에 증강 현실 객체를 오버랩하는 것이 아닌, 가상 세계 상에서 구현되기 때문에, AR 네비게이션에서 발생되는 전방 가려짐 문제나 매칭 품질 달성 등의 어려움을 해결할 수 있다.
이에 따라, 본 발명은 MR 네비게이션 기능을 통해 기존 네비게이션에서 표현이 어려웠던 다양한 컨텍스트들을효과적으로 표현하여 사용자 UX를 개선할 수 있다.
이를 위해, 본 발명의 MR 서비스 플랫폼은, MR 컨텍스트(Context) 관리 방법과, MR AMS를 제공하기 위한 메타 데이터와 3D 자산(asset)을 획득하는 방법 및 시스템을 제공할 수 있다.
본 발명의 MR 서비스 플랫폼은, 디지털 세계에서 필요한 MR Context를 정의하고 이를 획득하기 위한 서비스 메타데이터를 모델링함으로써 관련 서비스 메타데이타와 3D 자산을 MR 네비게이션에 렌더링할 수 있다.
이에 따라, 본 발명은 실제 세계에서 운전을 하고 있지만 차량 내에 있는 디스플레이를 통해서 디지털 세계의 경험을 제공하고, MR 네비게이션의 향상된 가시성과 주시성을 활용하여 다양한 추가적인 HMI(Human Machine Interface) 서비스를 사용자에게 추천하고 제공해 줄 수 있다.
이하에서는, 앞서 설명한 MR 서비스를 제공하기 위한 본 발명의 일 실시 예에 따른 MR 서비스 플랫폼에 대하여 설명하기로 한다.
도 8b를 참조하면, 본 발명의 MR 서비스 플랫폼(또는 MR 서비스 시스템)은, 차량 외부에 구비된 MR 서비스 클라우드(1000) 및 차량에 구비된 MR 서비스 장치(900)를 포함할 수 있다.
차량 외부(Offboard)에 구비된 MR 서비스 클라우드(1100)는, MR AMS(Mixed Reality Automotive Meta Service) 서버(1100) 및 DTaaS(Digital Twin as a Service) 서버(1200) 중 적어도 하나를 포함할 수 있다.
상기 차량에 구비된(Onboard) MR 서비스 장치(900)는, MR AMS 클라이언트(Client)(910) 및 MR 렌더러(Renderer)(920)를 포함할 수 있다.
상기 MR 서비스 장치(900)는, AR 서비스 장치(800) 및 네비게이션 시스템(770)과 상호작용하여 네비게이션 기능(또는 네비게이션 애플리케이션)을 제공할 수 있다.
상기 네비게이션 기능에 필요한 정보들은, 차량에 구비된 카메라(310), 센싱부(120), 사용자 입력부(210)를 통해 입력된 사용자 입력(또는 사용자 요청)을 통해 수신할 수 있다.
또한, 상기 네비게이션 기능에 필요한 정보들은, 차량 외부(Offboard)에 구비된 MR 서비스 클라우드(1000)를 통해 수신할 수 있으며, 각 차량에서 필요한 정보를 수신하기 위해, 차량에서 센싱되거나 처리된 정보를 상기 MR 서비스 클라우드(1000)로 전송할 수도 있다.
MR AMS(Mixed Reality Automotive Meta Service)서버(1100)는, 도 8d에 도시된 바와 같이, OSM(Open Street Map), Mapbox, HERE, WRLD, BingMAP 등 온라인 지도 서비스를 제공하는 다양한 서비스 제공자(1300a, 1300b, 1300c)와 연결될 수 있다. 그리고 연결된 서비스 제공자(1300a, 1300b, 1300c)로부터 제공되는 지도 데이터를 집계(aggregation)한 결과에 근거하여 지도에 포함된 각 건물의 형상 정보(예를 들어 건물의 바닥면 좌표(footprint) 정보와 높이 정보)를 집계하고 집계된 정보를 DTaaS 서버(1200)에 제공할 수 있다. 여기서 DTaaS 서버(1200)는 DTaaS, 즉 디지털 트윈 맵을 이용한 서비스를 제공하는 서버 또는 장치를 의미할 수 있다.
상기 DTaaS는, Digital Twin as a Service를 의미할 수도 있고, Digital Transformation as a Service를 의미할 수도 있다.
한편 DTaaS 서버(1200)는 지도 정보에 포함된 각 건물 또는 각 영역에 대한 POI 서비스 데이터들이 저장된 POI 데이터베이스와 연결될 수 있다. 또한 지도 정보에 포함된 각 건물에 대한 3차원 폴리곤 모델(또는 3차원 폴리곤 맵)의 데이터가 저장된 3D 모델 데이터베이스와 연결될 수 있다. 여기서 상기 3차원(3D) 폴리곤 모델은 건물 볼륨을 제공할 수 있는 폴리곤 모델로서, 표면에 텍스처가 형성되지 않은 폴리곤 모델일 수 있다. 상기 DTaaS 서버(1200)는 상기 연결된 POI 데이터베이스로부터 POI에 관련된 서비스 데이터를 제공받을 수 있으며, 상기 연결된 3D 모델 데이터베이스로부터 일 영역의 지도 정보에 포함된 각 건물들의 3D 폴리곤 모델들의 데이터를 제공받을 수 있다.
MR 서비스 장치(900)의 프로세서(미도시)는 오브젝트 검출 장치(300), 센싱부(120) 및 네비게이션 시스템(770)으로부터 차량의 주행에 관련된 다양한 정보들을 제공받을 수 있다. 일 예로 프로세서는 오브젝트 검출 장치(300)의 카메라(310)로부터 차량의 전방이나 후방 또는 측방에서 검출된 객체의 정보를 제공받을 수 있다.
또한 프로세서는 주행 시스템(710)을 비롯한 차량의 각 구성부와 연결된 센서들을 포함하는 센싱부(120)로부터, 차량의 속도, 주행 방향, 현재 차량의 위치(GPS) 등에 관련된 정보들을 제공받을 수 있다. 또한 네비게이션 시스템(770)으로부터 차량의 주행 경로에 관련된 정보들을 제공받을 수 있다.
한편 상기 MR 서비스 장치(900)와 DTaaS 서버(1200)는, MR AMS의 인터페이스(Interface APIs)를 통해 연결될 수 있다. 여기서 상기 MR 서비스 장치(900)와 MR AMS의 인터페이스(Interface APIs)는 무선 네트워크 접속을 통해 연결이 이루어질 수 있다. 이 경우 상기 MR AMS 서버(1100)는 상기 MR 서비스 장치(900)와 무선 연결되는 네트워크 서버 또는 클라우드(Cloud) 서버일 수 있다.
이처럼MR AMS 서버(1100)와 연결되는 경우 MR 서비스 장치(900)는, 연결된 구성 요소(예를 들어, 차량의 카메라(310), 센싱부(120) 또는 사용자 입력부(210)를 통해 입력된 사용자 입력)로부터 제공받은 정보들 중 적어도 일부를 네트워크 연결을 통해 MR AMS 서버(1100)에 제공할 수 있다. 그러면 MR AMS 서버(1100)는 상기 제공된 정보에 대한 응답으로 혼합 현실의 제공을 위한 3차원 지도 데이터를 상기 MR 서비스 장치(900)에 제공할 수 있다.
예를 들어 MR 서비스 장치(900)는 차량 주변에서 검출된 객체들의 정보와 차량의 속도, 방향 그리고 현재 차량의 위치에 대한 정보를 전송할 수 있다. 그리고 주행 경로에 대한 정보를 상기 MR AMS 서버(1100)에 제공할 수 있다. 그러면 MR AMS 서버(1100)는 MR 서비스 장치(900)에서 제공받은 정보들에 근거하여, 현재 차량의 위치에 따른 일 영역의 3차원 지도 데이터를 MR 서비스 장치(900)에 제공할 수 있다.
이 경우 MR AMS 서버(1100)는 현재 차량의 위치 및 차량의 속도, 그리고 차량의 주행 경로 등에 근거하여 POI 정보를 결정하고, 상기 3차원 건물 지도에, 상기 결정된 POI 정보를 더 포함하는 3차원 지도 데이터를 제공할 수도 있다. 또한 MR AMS 서버(1100)는 제공받은 차량 주변의 객체들의 정보에 근거하여 차량 주변의 상황에 대한 정보를 더 포함하는 3차원 지도 데이터를 MR 서비스 장치(900)에 제공할 수 있다.
한편 MR 서비스 장치(900)는 MR AMS 서버(1100)로부터 제공받은 3차원 지도 데이터에 근거하여 혼합 현실 영상을 렌더링(rendering) 할 수 있다. 일 예로 MR 서비스 장치(900)는 MR 렌더러(Renderer)(920)를 제어하여, 제공받은 3차원 지도 데이터에 근거하여 차량 주변의 건물들에 대한 모델들을 포함하는 3차원 지도 화면을 표시할 수 있다. 또한 MR 렌더러(Renderer)(920)는 차량에 대응하는 그래픽 객체를 상기 3차원 지도 화면에 표시하고, 제공받은 POI 데이터 및 차량 주변의 상황 정보에 대응하는 그래픽 객체들을 상기 3차원 지도 화면에 표시할 수 있다.
따라서 현재 차량과 차량 주변 건물 형상과 흡사한 3차원 건물 모델과 차량에 대응하는 그래픽 객체를 포함하는 가상 환경의 영상(다른 말로, 혼합 현실(MR)영상, 또는 MR 네비게이션 화면, 또는 MR 네비게이션 인터페이스)이 차량에 구비된 디스플레이(251), 예를 들어, CID(Center Information Display), HUD(Head Up Display), RSI(Rear Sheet Information) 또는 RSE(Rear Sheet Entertainment)에 출력될 수 있다.
이 경우 상기 가상 환경을 통해 차량의 주행 및 차량 주변의 상황에 관련된 정보들이 운전자에게 제공될 수 있다. 상기 3차원 지도 정보, 즉, 디지털 트윈 지도(Digital Twin Map, 이하 DT 지도)를 통해, 본 발명의 실시 예에 따른 MR 서비스 장치(900)는 운전자에게 혼합 현실 서비스를 제공할 수 있다.
한편 상기 MR AMS 서버(1100)는 하나의 차량에 구비된 MR 서비스 장치(900)뿐만 아니라 다수의 차량에 구비된 MR 서비스 장치(900)로부터 수집되는 정보에 근거하여 3차원 지도 데이터 및, 상기 3차원 지도 데이터와 함께 제공될 수 있는 POI 정보나 각 차량 주변의 상황 정보들을 결정할 수 있다. 이 경우 MR AMS 서버(1100)는 클라우드 서버의 형태로 복수의 차량에서 수집하고, 수집된 정보들에 근거하여 혼합 현실을 위한 3차원 지도 데이터를 생성할 수 있다. 그리고 생성된 3차원 지도 데이터에 근거하여 서로 다른 차량에 구비된 적어도 하나의 MR 서비스 장치(900)에 혼합 현실 서비스를 제공하도록 구현될 수 있다.
따라서 설명의 편의상 이하에서는, 상기 MR AMS 서버(1100)와 상기 DTaaS 서버(1200)를 포함하며, 혼합 현실 서비스를 제공하기 위한 메타데이터(예를 들어, 서비스 메타 데이터, 3차원 에셋), 3차원 폴리곤 맵, 디지털 트윈 맵 등의 정보를 3차원 지도 정보, 즉 디지털 트윈 지도(DT 지도)를 제공하는 클라우드 또는 서버를 MR 서비스 클라우드(1000)라고 하기로 한다.
도 8b에 도시된 것과 같이, MR 서비스 장치(900)(또는, MR 네비게이션 엔진)은, MR AMS 클라이언트(910) 및 MR 렌더러(920)를 포함할 수 있다.
또한, MR 서비스 중 하나인 MR 네비게이션 기능을 구현하기 위해, MR 서비스 장치(900)는, 차량에 구비된 AR 서비스 장치(800)(또는 AR 엔진) 및 네비게이션 시스템(770)과 데이터를 송수신할 수 있다.
MR AMS 클라이언트(910)는, 컨텍스트 매니저(911), 씬 매니저(913) 및 UX 시나리오 데이터베이스(914)를 포함할 수 있다.
또한, MR 렌더러(920)는, DTaaS 클라이언트(921), MR 시각화부(922) 및 3차원 HMI 프레임워크(923)를 포함할 수 있다.
MR AMS 클라이언트(910)는, 차량의 위치 정보, 사용자 입력, 사용자 피드백 정보, 결제 정보 등을 수집하여 차량 외부에 존재하는 MR AMS 서버(1100)로 전송할 수 있다.
MR AMS 서버(1100)는 MR AMS 클라이언트로부터 수신된 정보에 근거하여, MR 서비스를 제공하는데 필요한 메타데이터, 서비스 메타데이터 및 3차원 에셋 중 적어도 하나를MR AMS 클라이언트(910)로 전송할 수 있다.
MR AMS 클라이언트(910)는, MR AMS 서버(910)로부터 수신한 데이터들을 MR 렌더러(920)로 전송할 수 있다.
MR 렌더러(920)는, DTaaS 서버(1200)부터 수신한 3차원 폴리곤 맵과 MR AMS 클라이언트(910) 또는 차량에 구비된 카메라(310)로부터 수신된 영상을 이용하여 디지털 트윈 맵을 생성할 수 있다.
또한, MR 렌더러(920)는, MR AMS 클라이언트(920)로부터 수신한 데이터를 디지털 트윈 맵 상에 오버랩할 수 있는 MR 객체로 렌더링하고, 렌더링된 MR 객체를 디지털 트윈 맵 상에 오버랩하여 혼합 현실(MR) 영상을 생성할 수 있다.
이후, MR 랜더러(920)는, 생성된 혼합 현실 영상을 차량에 구비된 디스플레이(251)에 출력할 수 있다.
본 명세서에서 설명하는 모든 구성요소들은, 별도의 하드웨어 모듈로 구현될 수 있으며, 필요에 따라 소프트웨어적으로 블록단위로 구현한 컴포넌트인 것으로 이해될 수 있다.
이하에서는, MR 서비스 플랫폼을 구성하는 각 구성요소들에 대하여 첨부된 도면을 참조하여 보다 구체적으로 설명하기로 한다.
도 8c는 본 발명의 MR AMS 클라이언트를 설명하기 위한 개념도이다.
MR AMS 클라이언트(910)는, 차량에 구비되며, 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)를 제공할 수 있다.
MR AMS 클라이언트(910)는, 차량 외부에 구비된 MR AMS 서버(1100)로 사용자 요청(또는 사용자 입력)에 대응하는 컨텍스트(Context)를 요청하는 컨텍스트 매니저(911), 차량에 구비된 디스플레이(251)로 제공하는 MR 장면 정보를 관리하는 씬 매니저(913) 및 UX 룰(UX rule)을 상기 컨텍스트 매니저(911) 및 상기 씬 매니저(913) 중 적어도 하나로 제공하는 UX 시나리오 데이터베이스(914)를 포함할 수 있다.
또한, MR AMS 클라이언트(910)는, 차량 외부에 구비된 상기 MR AMS 서버(1100)와 통신하기 위한 함수를 호출하는 인터페이스 API(912)를 더 포함할 수 있다.
상기 인터페이스 API(912)는, MR AMS 서버(1100)와 통신을 수행하도록 형성된 하나 이상의 함수로 구성될 수 있으며, 이러한 함수를 이용하여 데이터 형식 또는 메시지 형식을 변환하여 MR AMS 서버(1100)로 데이터를 전송하거나, MR AMS 서버(1100)로부터 수신된 데이터의 형식을 변환할 수 있다.
인터페이스 API(921)는, 상기 컨텍스트 매니저(911)에서 출력된 컨텍스트 요청을 상기 MR AMS 서버(1100)로 전송하고, 상기 MR AMS 서버(912)로부터 요청된 컨텍스트에 대응하는 3차원 에셋(3D Asset)을 수신할 수 있다.
여기서, 상기 컨텍스트는, 상황 정보를 의미할 수 있으며, 차량에 처한 상황에 대응되는 정보를 의미할 수 있다. 또한, 상기 컨텍스트는, 컨텐츠(Contents)의 의미를 포함할 수도 있다.
상기 3차원 에셋은, 요청된 컨텍스트에 대응되는 3차원 객체 데이터를 의미할 수 있다. 또한, 상기 3차원 에셋은, 디지털 트윈된 영상(또는 디지털 트윈 맵) 상에 오버랩되거나 새롭게 업데이트 가능한 3차원 그래픽 객체를 의미할 수 있다.
MR AMS 클라이언트(910)는, MR 서비스 장치(900)에 포함될 수 있다.
MR 서비스 장치(900)는, 차량에 구비된 입력부(210)를 통해 사용자 입력이 수신되면, 상기 사용자 입력에 대응되는 액션을 생성하여 상기 컨텍스트 매니저로 전달하는 사용자 인터랙션 핸들러(User Interaction Handler)(901)를 포함할 수 있다.
상기 사용자 인터랙션 핸들러(901)는, MR 서비스 장치(900)에 포함될 수도 있고, MR AMS 클라이언트(910)에 포함될 수도 있다.
예를 들어, 사용자 인터렉션 핸들러(901)는, 차량의 입력부(210)를 통해 "Find nearby Starbucks"라는 사용자 입력이 수신되면, 사용자 입력에 대응되는 액션(예를 들어, "Search POI")를 생성하여 MR AMS 클라이언트(910)에 구비된 컨텍스트 매니저(911)로 전달할 수 있다.
일 예로, 상기 액션은, 사용자 입력에 포함된 단어와 매칭되는 동작에 의해 결정될 수 있으며, 상기 액션은, 명령 또는 제어명령으로 명명될 수도 있다.
상기 컨텍스트 매니저(911)는, 사용자 인터랙션 핸들러(901)로부터 수신된 액션에 대응하는 컨텍스트를 요청하기 위한 명령을 생성하고, 상기 명령을 인터페이스 API(912)를 통해 MR AMS 서버(1100)로 전송할 수 있다.
상기 명령은, 상기 사용자 인터랙션 핸들러(901)로부터 수신된 액션(예를 들어, "Search POI")에 근거하여 생성될 수 있으며, 일 예로, 현재 차량 위치, 찾아야 하는 POI의 종류 및 반경 정보(예를 들어, GET "Starbucks"(POI의 종류) WITHIN "500m"(반경) FROM "37.7795, -122.4201"(현재 차량 위치(위도, 경도))를 포함하도록 형성될 수 있다.
컨텍스트 매니저(911)는, 씬 매니저(913)로부터 현재 차량에서 출력중인 현재 장면 정보(Current scene)를 수신하고, UX 시나리오 데이터베이스(914)로부터 UX 룰을 수신할 수 있다.
또한, 컨텍스트 매니저(911)는, 네비게이션 시스템(770)의 정보를 핸들링하는 네비게이션 핸들러(902)로부터 현재 경로 및 현재 위치를 포함하는 네비게이션 정보를 수신할 수 있다.
네비게이션 핸들러(902)는, MR 서비스 장치(900)에 구비될 수도 있고, MR AMS 클라이언트(910)에 구비될 수도 있다.
컨텍스트 매니저(911)는, 상기 현재 장면 정보, 상기 UX 룰 및 상기 네비게이션 정보 중 적어도 하나에 근거하여, 상기 컨텍스트를 요청하기 위한 명령을 생성할 수 있다.
현재 장면 정보는, 현재 차량의 디스플레이(251)에 출력중인 화면 정보를 포함할 수 있다. 일 예로, 상기 현재 장면 정보는, 디지털 트윈 맵 상에 MR 객체 및 MR 인터페이스가 오버랩된 혼합 현실 영상에 관한 정보를 포함할 수 있다.
또한, 본 발명의 컨텍스트 매니저(911) 및 씬 매니저(913) 중 적어도 하나는, 차량의 센싱부(120)를 통해 센싱된 정보를 처리하는 센서 데이터 어댑터(Sensor Data Adapter)(903)를 통해 처리된 센서 데이터를 수신할 수 있다.
상기 센서 데이터 어댑터(903)는, MR 서비스 장치(900)에 구비될 수도 있고, MR AMS 클라이언트(910)에 구비될 수도 있다. 상기 센서 데이터 어댑터(903)는, 처리된 센서 데이터를, AR 엔진(또는 AR 서비스 장치)(800)로 전송되는 데이터를 핸들링하는 AR 엔진 핸들러(904)로 전송할 수도 있다.
인터페이스 API(912)는, 상기 MR AMS 서버(1100)로부터 상기 명령에 대응하는 컨텍스트의 메타데이터 및/또는 상기 컨텍스트에 대응하는 3차원 에셋를 수신할 수 있다.
이후, 인터페이스 API(912)는, 수신된 메타데이터 및/또는 3차원 에셋을 상기 씬 매니저(913)로 전송할 수 있다.
씬 매니저(913)는, 상기 UX 시나리오 데이터베이스(914)에서 수신한 UX 룰과, 상기 인터페이스 API(912)로부터 수신된 메타데이터 및 3차원 에셋을 이용하여, UI 데이터를 생성할 수 있다.
이후, 상기 씬 매니저(913)는, 상기 생성된 UI 데이터를, 차량에 구비된 디스플레이(251)에 혼합 현실(Mixed Reality, MR) 또는 혼합 현실 영상으로 출력하도록 렌더링하는 MR 렌더러(920)로 전송할 수 있다.
또한, 상기 씬 매니저(913)는, 상기 생성된 UI 데이터를, 차량에 구비된 AR 서비스 장치(800)를 핸들링하도록 형성되는 AR 엔진 핸들러(904)로 더 전송할 수 있다.
UX 시나리오 데이터베이스(914)에 저장된 UX 룰(UX rule)은, MR 서비스 장치에서 제공하는 화면, UX 또는 사용자 인터페이스를 생성하는 규칙, 형태, 형식 또는 템플릿에 관한 정보를 의미할 수 있으며, 이러한 UX 룰은, 데이터의 종류별로 기 정의되어 있을 수 있다.
또한, UX 룰은, 사용자 또는 관리자에 의해 업데이트되거나 수정될 수 있다.
도 8d는 본 발명의 MR AMS 서버를 설명하기 위한 개념도이다.
도 8d를 참조하면, 차량 외부(Offboard)에 구비되며, 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)를 제공하는 MR AMS 서버(1100)는, 차량에 구비된 MR AMS 클라이언트와 통신하기 위한 함수를 호출하는 인터페이스 API(1101), 상기 MR AMS 클라이언트로부터 수신된 요청에 대응하는 컨텍스트를 서비스 제공자에게 요청 및 수신하는 서비스 집계 관리자(Service Aggregation Manager)(1110) 및 수신한 컨텍스트에 대응하는 3차원 에셋을 데이터베이스(3D Assets for MR Navigation Database)(1130)에서 로딩하는 데이터 통합 관리자(data Integration Manager)(1120)를 포함할 수 있다.
상기 인터페이스 API(1101)은, 차량에 구비된 MR AMS 클라이언트(910)의 인터페이스 API(912)와 구별되도록, 서버 인터페이스 API(1101)로 명명될 수 있다.
또한, MR AMS 클라이언트(910)의 인터페이스 API(912)는, 차량 인터페이스 API 또는 MR AMS 클라이언트 인터페이스 API로 명명될 수 있다.
MR AMS 서버(1100)에 구비된 인터페이스 API(1101)는, 상기 MR AMS 클라이언트로부터 수신된 사용자 요청(또는 컨텍스트 요청)을 상기 서비스 집계 관리자(1110)로 전달할 수 있다.
상기 인터페이스 API는, 상기 MR AMS 클라이언트(910)와의 통신을 수행하기 위한 함수를 호출하는 제1 인터페이스 API(1101) 및 상기 서비스 집계 관리자(1110)가 상기 서비스 제공자(1300a, 1300b, 1300c)와의 통신을 수행하기 위한 함수를 호출하는 제2 인터페이스 API(1102a, 1102b, 1102c)를 포함할 수 있다.
상기 제2 인터페이스 API(1102a, 1102b, 1102c)는, 서비스 제공자(1300a, 1300b, 1300c)에 구비된 인터페이스 API를 통해 서비스 데이터 및/또는 지도 데이터를 수신할 수 있다.
상기 제2 인터페이스 API(1102a, 1102b, 1102c)와 서비스 제공자(1300a, 1300b, 1300c)에 구비된 인터페이스 API는 상호 데이터 송수신을 수행하고, 데이터 형식이나 메시지 형식을 변환하도록 형성된 함수를 포함할 수 있으며, 이러한 함수를 이용하여 데이터 형식이나 메시지 형식을 변환하여 상호 데이터를 송수신할 수 있다.
서비스 집계 관리자(1110)는, 차량에 구비된 MR AMS 클라이언트(910)에서 요청된 컨텍스트의 종류에 근거하여, 서로 다른 서비스 제공자로 상기 요청된 컨텍스트를 요청할 수 있다.
구체적으로, 상기 서비스 집계 관리자(1110)는, 상기 요청된 컨텍스트의 종류가 제1 종류의 컨텍스트이면, 상기 제1 종류의 컨텍스트를 제공하는 제1 서비스 제공자(1300a)로 상기 제1 종류의 컨텍스트를 요청하고, 상기 요청된 컨텍스트의 종류가 상기 제1 종류와 다른 제2 종류의 컨텍스트이면, 상기 제2 종류의 컨텍스트를 제공하는 제2 서비스 제공자(1300b)로 상기 제2 종류의 컨텍스트를 요청할 수 있다.
일 예로, 요청된 컨텍스트의 종류가 POI(예를 들어, "Starbucks")에 관한 것이면, 서비스 집계 관리자(1110)는, POI에 관한 정보를 제공하는 제1 서비스 제공자(1300a)로 상기 POI에 관한 컨텍스트(또는 POI 데이터)를 요청 및 수신할 수 있다.
또한, 요청된 컨텍스트의 종류가 어느 거리의 뷰(view)인 경우, 서비스 집계 관리자(1110)는, 거리의 뷰에 관한 정보를 제공하는 제2 서비스 제공자(1300b)로 상기 어느 거리의 뷰에 대한 컨텍스트(또는 이미제리 데이터(Imagery data))를 요청 및 수신할 수 있다.
또한, 요청된 컨텍스트의 종류가 어느 서비스인 경우, 서비스 집계 관리자(1110)는, 서비스와 관련된 정보를 제공하는 제3 서비스 제공자(1300c)로 상기 서비스와 관련된 컨텍스트(또는, 서비스에 대한 데이터(예를 들어, 서비스 순위(ratings) 또는 가격))를 요청 및 수신할 수 있다.
또한, 인터페이스 API(1101)는, MR AMS 클라이언트(910)에서 요청된 서비스(또는 컨텍스트 요청)에 근거하여, 확정된 서비스 API(Expand service API calls)를 서비스 집계 관리자(1110)로 요청할 수 있다.
서비스 집계 관리자(1110)는, 상기 확장된 서비스 API 요청에 근거하여, 확정된 서비스에 대응하는 정보를 서비스 제공자(1300a, 1300b, 1300c)로 요청 및 수신하고, 이를 이용하여 서비스 API를 생성 및 데이터 통합 관리자(1120)로 출력할 수 있다.
상기 데이터 통합 관리자(1120)는, 상기 서비스 집계 관리자(1110)로부터 수신한 서비스 API에 근거하여, 데이터를 강화(Data Enhancement)를 수행하고, 요청된 컨텍스트에 대한 메타데이터 패키지를 생성하여 인터페이스 API(1101)를 통해 차량의 MR AMS 클라이언트(910)로 전송할 수 있다.
상기 메타데이터 패키지는, 앞서 설명한 3차원 에셋 및 서비스 메타 데이터를 포함할 수 있다. 여기서 서비스 메타 데이터는, 요청된 컨텍스트에 대응하는 서비스를 제공하기 위한 메타 데이터를 의미할 수 있다.
한편, 인터페이스 API(1101)는, 데이터 통합 관리자(1120)에서 로딩한 3차원 에셋을 상기 MR AMS 클라이언트(910)로 전송할 수 있다.
한편, 본 발명의 MR AMS 서버(1100)는, 앞서 설명한 컨텍스트 매니저(911)를 더 포함할 수 있다.
즉, 컨텍스트 매니저(911)는, MR AMS 클라이언트(910)에 포함되어 차량 단에 구비될 수도 있고, MR AMS 서버(1100)에 포함되어 서버(클라우드) 단에 구비될 수도 있으며, 양측에 모두 구비될 수도 있다.
상기 컨텍스트 매니저(911)는, MR AMS 서버(1100)에 구비된 경우, MR AMS 클라이언트(910)로부터 수신된 요청에 대응하는 컨텍스트를 관리하도록 형성될 수 있다.
상기 컨텍스트 매니저(911)는, 컨텍스트 요청을 핸들링하고 파싱하는 컨텍스트 핸들러(911a), 컨텍스트 요청을 해석하기 위한 세션을 관리하고, 데이터 모델을 이용하여 컨텍스트 집합을 생성하는 컨텍스트 인터프리터(911b), 상기 데이터 모델을 저장하는 컨텍스트 그래프 데이터베이스(Context Graph DB 또는 MR Context DB)(911c)를 포함할 수 있다.
여기서, 컨텍스트 핸들러(911a)는, 상기 MR AMS 클라이언트로 입력된 사용자 요청을 상기 인터페이스 API(1101)를 통해 수신하고, 상기 수신된 사용자 요청을 파싱하여 상기 컨텍스트 인터프리터(911b)로 전달할 수 있다.
상기 컨텍스트 인터프리터(911b)는, 세션 생성 후 상기 사용자 요청에 대응하는 컨텍스트 요청을 위한 쿼리(query)를 생성하고, 상기 쿼리에 대응하는 컨텍스트 데이터 모델을 상기 컨텍스트 그래프 데이터베이스(911c)로 요청 및 수신할 수 있다.
상기 컨텍스트 인터프리터(911b)는, 상기 서비스 집계 매니저(1110)로 상기 컨텍스트 데이터 모델에 해당하는 컨텍스트를 요청하고, 상기 서비스 집계 매니저(1110)는, 상기 서비스 제공자(1300a, 1300b, 1300c)에게 상기 컨텍스트 데이터 모델에 해당하는 컨텍스트 데이터를 요청 및 수신할 수 있다.
상기 서비스 집계 매니저(1110)는, 상기 데이터 통합 매니저(1120)로 상기 요청된 컨텍스트에 대응하는 3차원 에셋(및/또는 서비스 메타 데이터)을 요청 및 수신하고, 상기 서비스 제공자로부터 수신한 컨텍스트 데이터와, 상기 데이터 통합 매니저로부터 수신한 3차원 에셋(및/또는 서비스 메타 데이터)을 상기 컨텍스트 인터프리터(911b)로 전송할 수 있다.
상기 컨텍스트 인터프리터(911b)는, 상기 수신한 컨텍스트 데이터와 상기 3차원 에셋을 상기 컨텍스트 핸들러(911a) 및 상기 인터페이스 API(1101)를 통해 상기 차량에 구비된MR AMS 클라이언트(910)로 전송할 수 있다.
한편, 컨텍스트 매니저(911)는, 상기 생성된 컨텍스트 집합에 근거하여 추천 컨텍스트를 추출하는 컨텍스트 레코맨더(911d) 및 주기적으로 획득해야 하는 컨텍스트를 관리하는 컨텍스트 컨트롤러(911e)(또는, Context tracker)를 더 포함할 수 있다.
상기 컨텍스트 레코맨더(911d)는, 완성된 컨텍스트 데이터에서 특정 서비스를 이용할 수 없는 정보가 포함된 경우, 상기 특정 서비스를 대체할 수 있는 서비스를 추천하기 위한 쿼리 생성을 상기 컨텍스트 인터프리터(911b)로 요청할 수 있다.
도 9는 본 발명의 DTaaS 서버를 설명하기 위한 개념도이다.
도 9를 참조하면, 본 발명의 DTaaS(Digital Twin as a Service, 또는 Digital Transformation as a Service) 서버(1200)는, 차량 외부에 구비되며, 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)를 제공할 수 있다. 구체적으로, 상기 DTaaS 서버(1200)는, 디지털 트윈 맵을 제공하거나, 디지털 트윈 맵을 생성하는데 필요한 데이터(예를 들어, 3차원 폴리곤 맵 혹은 디지털 트윈 상에 오버랩되는 객체에 관한 모든 종류의 정보)를 제공할 수 있다.
DTaaS 서버(1200)는, 차량에 구비된 MR 서비스 장치(900)와 통신하기 위한 함수를 호출하는 DTaaS API(1210), 상기 MR 서비스 장치로 제공하는 디지털 트윈 맵 및 렌더링 가능한 3차원 폴리곤 맵을 저장하는 데이터베이스(Digital Twins Maps DB)(1220) 및 상기 MR 서비스 장치로부터 수신된 차량의 위치정보에 근거하여, 상기 위치정보에 대응하는 3차원 폴리곤 맵을 상기 DTaaS API를 통해 상기 MR 서비스 장치로 전송하는 프로세서(1280)를 포함할 수 있다.
또한, DTaaS 서버(1200)는, 차량 외부에 구비되며 MR AMS 서비스를 제공하는MR AMS 서버(1100)와 통신을 수행하는 통신부(TeleCommunicatino Unit, TCU)(1290)를 더 포함할 수 있다.
또한, DTaaS 서버(1200)는, 상기 데이터베이스(1220)에 저장된 3차원 폴리곤 맵에 실제 촬영된 영상을 매칭하여 디지털 트윈 맵을 생성하는 디지털 트윈맵 생성부(Digital Twin Representation and Update Unit)(1230)를 더 포함할 수 있다.
또한, DTaaS 서버(1200)는, MR 서비스 장치(900) 및 MR AMS 서버(1100) 중 적어도 하나로부터 수신된 움직이는 객체에 관한 다이나믹 정보를 저장하는 다이나믹 모델 데이터베이스(Dynamics Modeling DB)(1240) 및 디지털 트윈에서 구현 가능한 시나리오에 관련된 정보를 저장하는 시나리오 데이터베이스(Scenarios DB)(1250)를 더 포함할 수 있다.
또한, DTaaS 서버(1200)는, 상기 디지털 트윈 상에서 사용자 요청에 대응되는 시뮬레이션을 수행하는 시뮬레이션부(Simulation Unit)(1260) 및 상기 디지털 트윈 상에서 구현되어야 하는 정보를 시각화하는 시각화부(Visualization Unit)(1270)를 더 포함할 수 있다.
앞서 설명한 모든 구성요소들은 각각 독립적인 하드웨어(예를 들어, 칩 또는 모듈)로 구현 가능하며, 필요에 따라 소프트웨적으로 블록화된 컴포너트로 구현될 수도 있다.
상기 DTaaS 서버(1200)는, 차량(100) 뿐만 아니라, 플릿 매니지먼트 서비스(또는 차량군 관리 서비스)를 제공하는 서버(FMS Server)(1280) 및 도시 계획 서비스(City Planning Service)를 제공하는 서버(1290)와도 DTaaS API(1210)를 통해 데이터를 송수신할 수 있다.
일 예로, DTaaS 서버(1200)는, 차량(100), FMS 서버(1280) 및 도시 계획 서비스 제공 서버(1290) 중 적어도 하나로부터 각 서버에서 수집된 로그 정보를 수집할 수 있다.
이후, DTaaS 서버(1200)는, 수집된 로그 정보를 로그 데이터베이스에 저장할 수 있다.
DTaaS 서버(1200)는, 수집된 로그 정보에 근거하여, 차량(100), FMS 서버(1280) 및 도시계획 서비스 제공 서버(1290) 중 적어도 하나에서 시각화를 위한 디지털 트윈 맵을 제공할 수 있다.
또한, DTaaS 서버(1200)는, 수신된 로그 정보에 근거하여, 이벤트 알림 정보, 시뮬레이션 정보 및 시각화 정보 중 적어도하나를 차량(100), FMS 서버(1280) 및 도시계획 서비스 제공 서버(1290) 중 적어도 하나로 전송할 수 있다.
한편, 본 발명과 관련된 차량(100)은 경로 안내 장치(1300)를 포함할 수 있다.
경로 안내 장치(1300)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 경로 안내 장치(1300)는 제어부(170)일 수 있다.
이에 한정되지 않고, 경로 안내 장치(1300)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 경로 안내 장치(1300)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 경로 안내 장치(1300)는 차량(100)의 일부분에 구비될 수 있다.
이하에서는, 설명의 편의를 위해 경로 안내 장치(1300)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 경로 안내 장치(1300)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 경로 안내 장치(1300)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용될 수 있다.
또한, 본 명세서에서 설명하는 경로 안내 장치(1300)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.
도 10은 상기 경로 안내 장치(1300)를 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 경로 안내 장치(1300)는, 통신부(1310), 인터페이스부(1320) 및 프로세서(1330)를 포함할 수 있다.
상기 통신부(1310)는, 차량에 구비된 전장품(예를 들어, 도 7에서 살펴본 차량에 구비된 전장품) 중 적어도 하나와 무선 통신을 수행하도록 형성될 수 있다.
또한, 상기 통신부(1310)는, 차량 이외의 장치, 예를 들어, 이동 단말기, 서버, 다른 차량, 도로에 구비된 인프라 등과 통신을 수행하도록 형성될 수 있다.
상기 통신부(1310)는, 앞서 설명한 통신 장치(400)일 수 있으며, 상기 통신 장치(400)에 포함된 구성요소들 중 적어도 하나를 포함할 수 있다.
인터페이스부(1320)는, 차량에 구비된 구성품 중 적어도 하나와 통신을 수행할 수 있다.
구체적으로, 인터페이스부(1320)는, 도 7에서 살펴본 차량에 구비된 구성품 중 적어도 하나와 유선 통신을 수행하도록 형성될 수 있다.
상기 인터페이스부(1320)는 상기 차량(100)에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신한다.
상기 인터페이스부(1320)는 센서 데이터 콜렉터(Sensor Data Collector)로 호칭될 수 있다.
상기 인터페이스부(1320)는, 차량에 구비되는 센서(예를 들어, 차량의 조작을 감지하는 센서(V.Sensors)(예를 들어, heading, throttle, break, wheel 등)와 차량의 주변 정보를 센싱하기 위한 센서(S.Sensors)(예를 들어, Camera, Radar, LiDAR, Sonar 등))를 통해 센싱된 정보를 수집(수신)한다.
상기 인터페이스부(1320)는, 차량에 구비된 센서를 통해 센싱된 정보가 고정밀 지도에 반영되도록 통신부(1310)(또는 프로세서(1330))로 전송할 수 있다.
인터페이스부(1320)는, 일 예로, 차량 인터페이스부(130)를 통해 차량에 구비된 전장품과의 통로 역할을 수행할 수 있다.
인터페이스부(1320)는, 차량 인터페이스부(130)와 데이터를 교환할 수 있다.
인터페이스부(1320)는 차량에 연결되어 전기 에너지를 공급받는 통로 역할을 수행할 수 있다.
예를 들어, 경로 안내 장치는, 인터페이스부(1320)를 통해 차량의 전원 공급부(190)로부터 전기 에너지를 공급받아 전원을 온 시킬 수 있다.
한편, 본 발명은, 차량에 구비된 카메라로부터 촬영된 이미지, 2차원 지도정보 및 3차원 지도정보 중 적어도 하나를 이용하여 디지털 트윈(Digital Twin)된 3차원 맵을 생성하는 프로세서(1330)를 포함할 수 있다.
상기 프로세서(1330)는, 디지털 트윈된 3차원 맵 상에 경로 안내와 관련된 그래픽 객체를 오버랩(Overlap)(또는 중첩, 출력)할 수 있다.
여기서, 경로 안내와 관련된 그래픽 객체는, 혼합 현실(MR)로 출력되는 객체를 의미하며, 경로 안내를 수행하는데 필요한 다양한 형태의 객체(예를 들어, POI객체, 카펫 형태의 객체, 3D 객체 등)를 포함할 수 있다.
상기 경로 안내와 관련된 그래픽 객체는, MR 객체로 명명될 수도 있다.
이하에서는, 디지털 트윈된 3차원 맵을 생성하는 방법 및 디지털 트윈된 3차원 맵을 이용하여 경로 안내를 수행하는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 11a는 본 발명의 실시 예에 따라 경로 안내 장치(1300)와 클라우드 서버(1350)를 포함하는 경로 안내 시스템의 구조를 도시한 블록도이다.
도 11a를 참조하여 살펴보면, 상기 도 8d에서 설명한 MR AMS(Mixed Reality Automotive Meta Service) 서버(1100)는 OSM(Open Street Map), Mapbox, HERE, WRLD, BingMAP 등 온라인 지도 서비스를 제공하는 다양한 서비스 제공자(1351)와 연결될 수 있다. 그리고 연결된 서비스 제공자(1351)로부터 제공되는 지도 데이터를 집계(aggregation)한 결과에 근거하여 지도에 포함된 각 건물의 형상 정보. 예를 들어 건물의 바닥면 좌표(footprint) 정보와 높이 정보를 집계하고 집계된 정보를 DTaaS(1352)에 제공할 수 있다. 여기서 DTaaS(1352)는 DTaaS 서버(1200), 즉 디지털 트윈 맵을 이용한 서비스를 제공하는 서버 또는 장치를 의미할 수 있다.
한편 DTaaS(1352)는 지도 정보에 포함된 각 건물 또는 각 영역에 대한 POI 서비스 데이터들이 저장된 POI 데이터베이스와 연결될 수 있다. 또한 지도 정보에 포함된 각 건물에 대한 2.5D 폴리곤 모델의 데이터가 저장된 3D 모델 데이터베이스와 연결될 수 있다. 여기서 상기 2.5D 폴리곤 모델은 건물 볼륨을 제공할 수 있는 폴리곤 모델로서, 표면에 텍스처가 형성되지 않은 폴리곤 모델일 수 있다. 상기 DTaaS(1352)는 상기 연결된 POI 데이터베이스로부터 POI에 관련된 서비스 데이터를 제공받을 수 있으며, 상기 연결된 3D 모델 데이터베이스로부터 일 영역의 지도 정보에 포함된 각 건물들의 2.5D 폴리곤 모델들의 데이터를 제공받을 수 있다.
경로 안내 장치(1300)의 프로세서(1330)는 오브젝트 검출 장치(300), 센싱부(120) 및 네비게이션 시스템(770)으로부터 차량의 주행에 관련된 다양한 정보들을 제공받을 수 있다. 일 예로 프로세서(1330)는 오브젝트 검출 장치(300)의 카메라(310)로부터 차량의 전방이나 후방 또는 측방에서 검출된 객체의 정보를 제공받을 수 있다. 또한 프로세서(1330)는 주행 시스템(710)을 비롯한 차량의 각 구성부와 연결된 센서들을 포함하는 센싱부(120)로부터, 차량의 속도, 주행 방향, 현재 차량의 위치(GPS) 등에 관련된 정보들을 제공받을 수 있다. 또한 네비게이션 시스템(770)으로부터 차량의 주행 경로에 관련된 정보들을 제공받을 수 있다.
한편 상기 경로 안내 장치(1300)와 DTaaS(1352)는, MR AMS 서버(1100)의 인터페이스(Interface APIs)를 통해 연결될 수 있다. 이 경우 상기 경로 안내 장치(1300)는 상기 MR AMS 클라이언트(910)에 대응하는 구성일 수 있다.
여기서 상기 경로 안내 장치(1300)와 MR AMS 서버(1100)의 인터페이스(Interface APIs)는 무선 네트워크 접속을 통해 연결이 이루어질 수 있다. 이 경우 상기 MR AMS 서버(1100)는 상기 경로 안내 장치(1300)와 무선 연결되는 네트워크 서버 또는 클라우드(Cloud) 서버일 수 있다.
이처럼 MR AMS 서버(1100)와 연결되는 경우 경로 안내 장치(1300)는, 연결된 구성 요소로부터 제공받은 정보들 중 적어도 일부를 네트워크 연결을 통해 MR AMS 서버(1100)에 제공할 수 있다. 그러면 MR AMS 서버(1100)는 상기 제공된 정보에 대한 응답으로 혼합 현실의 제공을 위한 3차원 지도 데이터를 상기 경로 안내 장치(1300)에 제공할 수 있다.
예를 들어 경로 안내 장치(1300)는 차량 주변에서 검출된 객체들의 정보와 차량의 속도, 방향 그리고 현재 차량의 위치에 대한 정보를 전송할 수 있다. 그리고 주행 경로에 대한 정보를 상기 MR AMS 서버(1100)에 제공할 수 있다. 그러면 MR AMS 서버(1100)는 경로 안내 장치(1300)에서 제공받은 정보들에 근거하여, 현재 차량의 위치에 따른 일 영역의 3차원 지도 데이터를 경로 안내 장치(1300)에 제공할 수 있다.
이 경우 MR AMS 서버(1100)는 현재 차량의 위치 및 차량의 속도, 그리고 차량의 주행 경로 등에 근거하여 POI 정보를 결정하고, 상기 3차원 건물 지도에, 상기 결정된 POI 정보를 더 포함하는 3차원 지도 데이터를 제공할 수도 있다. 또한 MR AMS 서버(1100)는 제공받은 차량 주변의 객체들의 정보에 근거하여 차량 주변의 상황에 대한 정보를 더 포함하는 3차원 지도 데이터를 경로 안내 장치(1300)에 제공할 수 있다.
한편 경로 안내 장치(1300)는 MR AMS 서버(1100)로부터 제공받은 3차원 지도 데이터에 근거하여 혼합 현실 영상을 렌더링(rendering) 할 수 있다. 일 예로 경로 안내 장치(1300)는 MR 렌더러(Render)를 제어하여, 제공받은 3차원 지도 데이터에 근거하여 차량 주변의 건물들에 대한 모델들을 포함하는 3차원 지도 화면을 표시할 수 있다. 또한 차량에 대응하는 그래픽 객체를 상기 3차원 지도 화면에 표시하고, 제공받은 POI 데이터 및 차량 주변의 상황 정보에 대응하는 그래픽 객체들을 상기 3차원 지도 화면에 표시할 수 있다.
따라서 현재 차량과 차량 주변 건물 형상과 흡사한 3차원 건물 모델과 차량에 대응하는 그래픽 객체를 포함하는 가상 환경의 영상이 CID(Center Information Display), HUD(Head Up Display), RSI(Rear Sheet Information) 또는 RSE(Rear Sheet Entertainment)와 같은 디스플레이부(251)에 출력될 수 있다.
이 경우 상기 가상 환경을 통해 차량의 주행 및 차량 주변의 상황에 관련된 정보들이 운전자에게 제공될 수 있다. 상기 3차원 지도 정보, 즉, 디지털 트윈 지도(Digital Twin Map, 이하 DT 지도)를 통해, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 운전자에게 혼합 현실 서비스를 제공할 수 있다.
한편 상기 MR AMS 서버(1100)는 하나의 차량에 구비된 경로 안내 장치(1300) 뿐만 아니라 다수의 차량에 구비된 경로 안내 장치(1300)로부터 수집되는 정보에 근거하여 3차원 지도 데이터 및, 상기 3차원 지도 데이터와 함께 제공될 수 있는 POI 정보나 각 차량 주변의 상황 정보들을 결정할 수 있다. 이 경우 MR AMS 서버(1100)는 클라우드 서버의 형태로 복수의 차량에서 정보를 수집하고, 수집된 정보들에 근거하여 혼합 현실을 위한 3차원 지도 데이터를 생성할 수 있다. 그리고 생성된 3차원 지도 데이터에 근거하여, 서로 다른 차량에 구비된 적어도 하나의 경로 안내 장치(1300)에 혼합 현실 서비스를 제공하기 위한 MR 정보를 전송하도록 구현될 수 있다.
설명의 편의상 이하에서는, 상기 DTaaS(1352)와 연결되어, 혼합 현실 서비스를 제공하기 위한 3차원 지도 정보, 즉 디지털 트윈 지도(DT 지도)를 제공하는 MR AMS 서버(1100) 및 상기 DTaaS(1352)를 클라우드 서버(1350)로 통칭하기로 한다.
한편 상기 경로 안내 장치(1300)는 인터페이스부를 통해 차량에 구비된 디스플레이를 제어하는 장치일 수 있다. 또는 상기 경로 안내 장치(1300)는 차량에 구비되는 디스플레이 장치일 수도 있음은 물론이다. 이 경우 경로 안내 장치(1300), 즉 디스플레이 장치(1300)는 디스플레이부를 구비할 수 있으며, 상기 실사 텍스처링이 이루어진 갱신된 DT 지도를 클라우드 서버로부터 수신하여, 수신된 DT 지도를 포함하는 MR 뷰 이미지를 경로 안내 장치(1300)에 구비된 디스플레이부에 직접 표시할 수도 있다.
이하의 설명에서는 설명의 편의상 경로 안내 장치(1300)로 명명하기로 한다.
도 11b는 본 발명의 실시 예에 따라 경로 안내 장치(1300)가 클라우드 서버(1350)를 통해 건물 텍스처가 합성된 디지털 트윈 맵이 제공되는 동작 과정을 도시한 흐름도이다.
여기서 '텍스처'는 3차원 물체의 표면에 2차원 이미지를 매핑하여 3차원 물체를 보다 사실적으로 표현하기 위한 것으로, 실사화된 3차원 물체를 생성하기 위한 것일 수 있다. 즉, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 텍스처가 매핑되지 않은 건물에 대한 실제 이미지를 텍스처 이미지로 클라우드 서버에 전송하고, 클라우드 서버는, 적어도 하나의 경로 안내 장치(1300)로부터 획득된 텍스처 이미지들을 3차원 건물 모델의 일 측면에 매핑함으로서, 실사화된 3차원 건물 모델을 생성할 수 있다.
도 11b를 참조하여 살펴보면, 먼저 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 본 발명의 실시 예에 따른 클라우드 서버(1350)에, 상기 경로 안내 장치(1300)가 구비된 차량의 위치 정보, 예를 들어 GPS 정보를 제공할 수 있다(S1100).
그러면 클라우드 서버(1350)는 경로 안내 장치(1300)로부터 제공된 위치를 포함하는 소정 영역의 DT 지도 데이터(로컬 지도 데이터)를 추출할 수 있다(S1102). 이 경우 상기 로컬 지도 데이터는, 현재 차량의 위치를 중심으로 추출되거나, 또는 차량의 주행 경로 및 속도에 따라 추정되는 기 설정된 시간 이후의 차량 위치를 중심으로 추출될 수도 있다. 또한 상기 소정 영역의 크기는 상기 차량의 주행 속도에 따라 결정될 수 있다.
그리고 클라우드 서버(1350)는 상기 S1102 단계에서 추출된 로컬 지도 데이터를 상기 S1100 단계에서 제공된 위치 정보에 대한 응답으로 전송할 수 있다(S1104). 따라서 경로 안내 장치(1300)는 혼합 현실 서비스를 제공하기 위한 DT 지도 데이터를 획득할 수 있다.
상기 S1104 단계를 통해 DT 지도 데이터를 획득하면, 경로 안내 장치(1300)는 수신된 지도 데이터에 포함된 건물들 중 텍스처가 반영되지 않은 적어도 하나의 건물을 검출할 수 있다(S1106).
예를 들어 DT 지도 데이터에 포함된 각 건물의 모델들은 고유한 식별 정보(예 : ID)를 가질 수 있으며, 식별 정보에 대응하는 텍스처 업데이트 플래그(flag) 정보를 포함할 수 있다. 이 경우 상기 텍스처 업데이트 플래그는, 건물 모델에 텍스처가 매핑되는 텍스처 업데이트가 이루어지는 경우 체크될 수 있다. 따라서 경로 안내 장치(1300)는 수신된 DT 지도 데이터에 포함된 각 건물들의 텍스처 업데이트 플래그의 체크 유무를 확인하여, 텍스처 업데이트가 이루어진 건물 모델과, 텍스처 업데이트가 이루어지지 않은 건물 모델을 구분할 수 있다.
한편 클라우드 서버(1350)는, 건물 모델의 각 측면에 대하여 텍스처들이 모두 매핑되는 경우에, 해당 건물 모델에 대한 텍스처 업데이트가 이루어진 것으로 판단할 수 있다. 따라서 건물 모델의 각 측면 중 어느 하나의 측면이라도 텍스처가 매핑되지 않은 면이 있다면 해당 건물 모델에 대응하는 텍스처 업데이트 플래그는 체크되지 않을 수 있으며, 이 경우 상기 S1106 단계에서, 경로 안내 장치(1300)에 의하여 텍스처가 반영되지 않은 건물로 검출될 수 있다.
한편 상기 텍스처 업데이트 플래그는 기 설정된 시간이 경과되면 초기화될 수 있다. 즉, 클라우드 서버(1350)는 텍스처를 새로 반영되어야 할 필요가 있다고 판단되는 충분한 시간, 즉 기 설정된 시간이 경과되면, 해당 건물의 텍스처 업데이트 플래그를 초기화할 수 있다. 그러면 상기 S1106 단계에서, 경로 안내 장치(1300)는 상기 텍스처 업데이트 플래그가 초기화된 건물 모델을, 텍스처가 반영되지 않은 건물로 검출할 수 있다.
상기 S1106 단계의 검출 결과, 수신된 로컬 지도 데이터의 건물들 중 텍스처가 반영되지 않은 건물 모델이 없는 경우라면, 경로 안내 장치(1300)는 현재 수신된 로컬 지도 데이터에 근거하여 차량 주변 일 영역의 건물에 대한 MR 렌더링을 수행할 수 있다(S1114). 이 경우 MR 렌더링은 상기 MR 렌더러에 의해 이루어지는 것으로, 수신된 로컬 지도 데이터에 포함된 3D 건물 모델, 즉 폴리곤 데이터 및 혼합 현실 서비스를 위해 제공되는 각종 정보들을 실시간으로 렌더링하는 과정일 수 있다.
반면 상기 S1106 단계의 검출 결과, 수신된 로컬 지도 데이터의 건물들 중 텍스처가 반영되지 않은 건물 모델이 적어도 하나 있는 경우라면, 경로 안내 장치(1300)는 카메라로부터 차량 주변의 영상을 획득할 수 있다. 그리고 획득된 영상으로부터 상기 차량 주변의 건물에 대한 건물 텍스처를 생성할 수 있다(S1108). 여기서 상기 경로 안내 장치(1300)는 획득된 카메라 영상으로부터 검출되는 특징점들에 따른 포인트 클라우드에 근거하여 상기 차량 주변의 건물을 식별할 수 있으며, 획득된 카메라 영상으로부터 상기 식별된 차량 주변 건물에 대한 건물 텍스처를 생성할 수 있다. 이 경우 상기 생성된 건물 텍스처는 상기 식별된 건물의 식별 정보를 포함할 수 있다.
이하 도 12 내지 도 15를 참조하여, 상기 경로 안내 장치(1300)가 획득된 카메라 영상으로부터 차량 주변 건물의 건물 텍스처를 생성하는 상기 S1108 단계의 동작 과정을 보다 자세하게 설명하기로 한다.
한편 상기 S1108 단계에서 차량 주변 건물에 대한 건물 텍스처가 생성되면, 경로 안내 장치(1300)는 상기 건물 텍스처가 생성된 건물의 식별 정보에 근거하여, 상기 건물 텍스처가 상기 S1106 단계에서 검출된 '텍스처가 반영되지 않은 적어도 하나의 건물' 중 어느 하나에 대한 것인지 여부를 판별할 수 있다(S1110).
S1110 단계의 판별 결과, 생성된 건물 텍스처가, 상기 S1106 단계에서 검출된 '텍스처가 반영되지 않은 적어도 하나의 건물' 중 어느 하나에 대한 건물 텍스처인 경우라면, 경로 안내 장치(1300)는 클라우드 서버(1350)에 상기 S1108 단계에서 생성된 건물 텍스처를 전송하여, 상기 클라우드 서버(1350)가 상기 전송된 건물 텍스처에 근거하여 DT 지도를 갱신하도록 할 수 있다(S1112).
S1112 단계에서 클라우드 서버(1350)는 상기 경로 안내 장치(1300)로부터 수신된 건물 텍스처를, 상기 건물 텍스처에 대응하는 건물 모델에 매핑할 수 있다. 이에 따라 상기 건물 모델의 일 측면에, 상기 경로 안내 장치(1300)에서 제공된 건물 텍스처가 반영될 수 있다. 그러면 클라우드 서버(1350)는 상기 건물 텍스처가 반영된 건물 모델을 포함하는 갱신된 DT 지도 데이터를 경로 안내 장치(1300)에 전송할 수 있다.
이처럼 경로 안내 장치(1300)로부터 제공되는 건물 텍스처에 따라 DT 지도를 갱신하고, 갱신된 DT 지도 중 차량의 위치 정보에 대응하는 로컬 지도 데이터를 다시 경로 안내 장치(1300)에 제공하는 S1112 단계의 지도 갱신 과정을 하기 도 16 내지 도 17을 참조하여 보다 자세하게 설명하기로 한다.
상기 S1112 단계를 통해 갱신된 DT 지도를 포함하는 로컬 지도 데이터가 수신되면, 경로 안내 장치(1300)는 상기 S1114 단계로 진행하여, 수신된 로컬 지도 데이터에 근거하여 차량 주변 일 영역의 건물에 대한 MR 렌더링을 수행할 수 있다. 이 경우 MR 렌더링은 상기 갱신된 DT 지도 데이터를 포함하는 로컬 지도 데이터의 3D 건물 모델를 렌더링하는 과정을 포함할 수 있다. 따라서 상기 텍스처가 반영되지 않은 건물들 중 적어도 일부에, 상기 S1108 단계에서 생성된 건물 텍스처가 반영될 수 있다.
도 12는, 도 11의 동작 과정 중 카메라를 통해 획득된 영상으로부터 건물의 특정 측면에 대응하는 건물 텍스처를 생성하는 S1108 단계의 동작 과정을 보다 상세하게 도시한 흐름도이다. 그리고 도 13은 카메라를 통해 획득된 영상으로부터 추출되는 특징점들에 근거하여 포인트 클라우드가 추출되는 예를 도시한 예시도이다. 그리고 도 14는 포인트 클라우드를 통해 정합된 3차원 지도에 따라 검출된 차량 주변의 건물 및, 검출된 건물의 특정 면의 이미지를 추출하는 예를 설명하기 위한 예시도이며, 도 15는 추출된 건물 특정면의 이미지로부터 상기 건물의 특정 면에 대응하는 건물 텍스처가 생성되는 예를 설명하기 위한 예시도이다.
먼저 도 12를 참조하여 살펴보면, 경로 안내 장치(1300)는 상기 도 11의 S1106 단계의 판별 결과, 클라우드 서버(1350)로부터 수신된 로컬 지도 데이터에 텍스처가 반영되지 않은 적어도 하나의 건물 모델이 포함된 경우라면, 먼저 수신된 로컬 지도 데이터를 초기 3차원 지도로 초기화할 수 있다(S1200). 이 경우 상기 초기 3차원 지도는, 각 건물의 모델에 건물 텍스처가 반영되지 않은 폴리곤 형태의 모델들이 포함된 3차원 지도를 의미할 수 있다.
상기 S1200 단계에서 수신된 로컬 지도 데이터를 초기 3차원 지도로 초기화하면, 경로 안내 장치(1300)는 카메라를 통해 차량 주변의 영상을 수신할 수 있다(S1202). 이 경우 상기 수신되는 차량 주변의 영상은 차량의 전방일 수 있다. 그러나 본 발명이 이에 한정되는 것이 아님은 물론이다. 즉, 상기 S1202 단계에서 획득되는 차량 주변의 영상은 전방 외에 후방이나 우측 또는 좌측과 같은 어느 일측의 측방일 수도 있다. 이 경우 상기 후방이나 특정 측방에서 획득되는 이미지 역시 도 12에서 설명되는 동작 과정과 동일 E는 유사한 동작 과정에 의해 차량 주변 건물의 건물 텍스처를 생성하기 위해 사용될 수 있음은 물론이다. 그러나 이하의 설명에서는 설명의 편의상, 카메라로부터 차량의 전방 이미지가 획득되는 것을 가정하여 설명하기로 한다.
상기 S1202 단계에서 차량 전방의 영상이 획득되면, 경로 안내 장치(1300)는 획득된 영상으로부터 특징점들을 추출할 수 있다(S1204). 여기서 상기 특징점들은 포인트 클라우드(Point Cloud) 방식에 따른 특징점들로서, 기하학적 특징이 서로 다른 지점들을 의미할 수 있다. 여기서 상기 기하학적 특징은 깊이 정보일 수 있다. 이 경우 경로 안내 장치(1300)는 각 지점들의 프레임별 변화량 등을 이용하여 각 지점의 깊이 정보를 구할 수 있다.
그리고 경로 안내 장치(1300)는 획득된 영상으로부터 깊이 정보의 차이가 발생하는 지점들을 상기 특징점들로서 추출할 수 있다.
도 13은 이러한 포인트 클라우드 방식에 따른 특징점들을 검출하는 예를 도시한 것이다.
도 13을 참조하여 살펴보면, 도 13의 (a)에서 보이고 있는 바와 같이 카메라 영상이 획득될 수 있다. 그러면 경로 안내 장치(1300)는 획득된 카메라 영상으로부터, 도 13의 (b)에서 보이고 있는 바와 같이 깊이 정보가 서로 다른 지점들을 검출할 수 있다. 이처럼 검출된 지점들은 각각 포인트 클라우드 방식에 따른 특징점들이 될 수 있다. 그러면 경로 안내 장치(1300)는, 상기 검출된 특징점들을 이미지로부터 추출하여, 도 13의 (c)에서 보이고 있는 바와 같이 상기 포인트 클라우드 지도를 생성할 수 있다.
한편 상기 S1204 단계에서, 이미지에서 검출된 특징점들에 근거하여 포인트 클라우드 지도가 생성되면, 경로 안내 장치(1300)는 생성된 포인트 클라우드 지도에 근거하여 차량 주변의 3차원 공간을 추론할 수 있다(S1206). 즉 상기 생성된 포인트 클라우드 지도에 근거하여 경로 안내 장치는, 차량 주변 건물들의 형상에 대한 특징들을 인식할 수 있다.
그리고 경로 안내 장치(1300)는 상기 생성된 포인트 클라우드 지도와, 현재 차량 위치에 대응하는 위치 주변의 건물 폴리곤 모델들을 포함하는 3차원 지도(초기화된 3차원 지도)를 정합할 수 있다(S1208).
상기 정합은 포인트 클라우드(Point Cloud) 방식의 지도 생성 기술인 SLAM(Simultaneous Localization And Map-Building, Simultaneous Localization and Mapping)에 기반하여 이루어질 수 있다. 여기서 상기 포인트 클라우드 지도는 카메라에서 획득된 영상을 기반으로 생성된 지도이고, 상기 3차원 지도는 건물 폴리곤 모델들을 기반으로 생성된 지도일 수 있다. 이 경우 상기 S1208 단계의 정합을 통해 각 건물 폴리곤 모델에 대응하는 포인트 클라우드 지도 상의 각 영역이 식별될 수 있다.
그러면 경로 안내 장치(1300)는 차량 주변의 건물 모델에 대응하는 포인트 클라우드 지도 상의 영역에 근거하여, 상기 S1202 단계에서 획득된 카메라 영상으로부터 특정 건물의 폴리곤 모델에 대응하는 일 영역을 검출할 수 있다. 그리고 검출된 이미지 상의 일 영역을, 상기 특정 건물의 폴리곤 모델에 대응하는 이미지 영역으로서 추출할 수 있다(S1210).
도 14는 이처럼 이미지 정합을 통해 포인트 클라우드 지도와 초기화된 3차원 지도의 정합을 통해, 수신된 카메라 영상으로부터 특정 건물의 폴리곤 모델에 대응하는 이미지 영역이 추출되는 예를 도시한 것이다.
먼저 도 14의 (a)를 참조하여 살펴보면, 도 14의 (a)는 상기 S1200 단계에 따라 초기화된 3차원 지도의 예를 보이고 있는 것이다. 이 경우 텍스처가 반영되지 않은 폴리곤 형태의 건물 모델들이 표시될 수 있다.
이러한 상태에서, 상술한 포인트 클라우드 지도와 상기 폴리곤 형태의 3차원 지도가 정합되면, 3차원 지도에 포함된 건물 폴리곤 모델에 대응하는 포인트 클라우드 지도 상의 일 영역이 검출될 수 있다. 일 예로 도 14의 (a)에서 보이고 있는 바와 같은 건물 폴리곤 모델(1400)에 대응하는 이미지 영역(1410)이, 도 14의 (b)에서 보이고 있는 바와 같이 카메라에서 수신된 영상으로부터 검출될 수 있다.
이 경우 상기 특정 건물은, 상기 도 11의 S1104 단계에서 수신된 로컬 지도 데이터에 포함된 건물 모델들 중 텍스처가 반영되지 않은 적어도 하나의 건물 중 어느 하나일 수 있다. 또는 차량의 현재 위치나 상태에 따른 적어도 하나의 조건으로부터 결정되는 적어도 하나의 건물일 수 있다.
일 예로 상기 특정 건물은 차량으로부터 거리가 일정 거리 이내에 위치한 건물일 수 있다. 이 경우 상기 일정 거리는 카메라 영상의 해상도에 의해 결정될 수 있다. 즉, 상기 S1210 단계에서 획득되는 카메라 영상이 높은 해상도를 가지는 영상인 경우에는 상기 일정 거리로서 더 긴 거리가 설정될 수 있고, 낮은 해상도를 가지는 영상인 경우에는 더 짧은 거리가 상기 일정 거리로서 설정될 수 있다.
한편 상기 추출된 상기 특정 건물의 폴리곤 모델에 대응하는 이미지 영역은, 상기 특정 건물의 일 측면에 대한 왜곡된 이미지일 수 있다. 여기서 상기 왜곡은 카메라의 촬영 방향과 상기 특정 건물의 위치에 의한 것일 수 있다. 따라서 경로 안내 장치(1300)는 차량의 위치와 상기 특정 건물의 위치에 근거하여 촬영 방향을 산출하고, 산출된 촬영 방향과 상기 특정 건물의 일 측면이 지향하는 방향에 근거하여 상기 왜곡이 개선되도록 상기 추출된 이미지 영역의 이미지를 보정할 수 있다(S1212).
일 예로 상기 이미지 보정은, 상기 산출된 촬영 방향과 상기 특정 건물의 일 측면이 지향하는 방향의 각도차에 근거하여 상기 왜곡된 이미지를 워핑(warping)하는 이미지 보정 기법일 수 있다. 이 경우 상기 이미지 보정에 의해, 상기 추출된 이미지 영역의 이미지는 상기 특정 건물의 일 측면을 정면에서 바라본 이미지, 즉 정면 뷰(view) 이미지로 보정될 수 있다. 그러면 경로 안내 장치(1300)는 상기 정면 뷰 이미지로 보정된 상기 특정 건물의 일 측면에 대응하는 이미지를, 상기 특정 건물의 식별 정보와 함께 상기 특정 건물의 일 측면에 대응하는 건물 텍스처로서 저장할 수 있다(S1214).
도 15는 이처럼 카메라 영상으로부터 추출된 일 영역의 이미지로부터 건물의 특정 면에 대응하는 건물 텍스처가 생성되는 예를 설명하기 위한 예시도이다.
먼저 도 15의 (a)를 참조하여 살펴보면, 도 15의 (a)는 포인트 클라우드 지도와 초기화된 3D 지도의 정합에 근거하여, 카메라 영상으로부터 검출된 건물 폴리곤 모델에 대응하는 이미지 영역들(1411, 1412, 1413)이 검출된 예를 보이고 있는 것이다.
이 경우 경로 안내 장치(1300)는, 도 15의 (b)에서 보이고 있는 바와 같이 특정 건물에 해당하는 이미지 영역(1411)을 추출할 수 있다. 이 경우 상기 특정 건물은, 수신된 로컬 지도 데이터 중 텍스처가 반영되지 않은 건물이거나 또는 차량으로부터의 거리 등 미리 설정된 조건을 충족하는 적어도 하나의 건물 중 어느 하나의 건물일 수 있다.
그러면 경로 안내 장치(1300)는, 상기 도 12의 S1212 단계에서 설명한 바와 같이, 상기 특정 건물에 대응하는 폴리곤 모델의 일 측면이 지향하는 방향과 카메라 영상이 수신될 당시의 차량 위치에 따른 영상 촬영 각도의 차이를 산출할 수 있다. 그리고 산출된 각도 차이에 근거하여 이미지의 왜곡을 보정할 수 있다. 따라서 도 15의 (b)에서 보이고 있는 바와 같이 추출된 상기 특정 건물의 이미지(1411)가, 도 15의 (c)에서 보이고 있는 바와 같은 정면 뷰 이미지(1500)로 보정될 수 있다. 그러면 경로 안내 장치(1300)는 상기 보정된 이미지, 즉 상기 특정 건물의 일 측면에 대한 정면 뷰 이미지(1500)를 상기 특정 건물의 일 측면에 대한 건물 텍스처로 저장할 수 있다. 그리고 상기 건물 텍스처가 어느 건물의 폴리곤 모델에 대한 것인지를 식별하기 위해 상기 건물 텍스처와 함께 상기 특정 건물의 식별 정보를 저장할 수 있다.
한편 상술한 설명에서는 상기 경로 안내 장치(1300)가 특정 건물의 일 측면에 대응하는 건물 텍스처를 생성하는 것을 예로 들어 설명하였으나, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 상기 특정 건물에 대한 복수의 측면에 대한 건물 텍스처들을 생성할 수도 있음은 물론이다.
일 예로 카메라에서 획득된 영상에, 특정 건물의 제1 측면과 제2 측면이 모두 포함된 경우라면, 경로 안내 장치(1300)는 상기 도 12의 동작 과정을 통해 상기 제1 측면 및 제2 측면 각각에 대한 이미지 영역들을 추출하고, 추출된 각 이미지 영역들의 이미지들에 근거하여 상기 제1 측면에 대응하는 건물 텍스처 및 제2 측면에 대응하는 건물 텍스처를 각각 생성할 수 있다.
한편 경로 안내 장치(1300)는 생성된 건물 텍스처가 어느 건물에 대한 것인지를 식별하기 위한 건물 식별 정보 뿐만 아니라, 상기 건물의 어느 측면에 대한 것인지를 식별하기 위한 측면 식별 정보를, 생성된 건물 텍스처와 함께 저장할 수 있다.
따라서 상술한 바와 같이 특정 건물에 대한 제1 측면의 건물 텍스처와 제2 측면의 건물 텍스처가 생성되는 경우, 상기 특정 건물의 식별 정보 뿐만 아니라 상기 특정 건물의 특정 측면을 식별하기 위한 서로 다른 식별 정보들이 상기 제1 측면의 건물 텍스처 및 제2 측면의 건물 텍스처 각각에 대응되게 저장될 수 있다.
한편 상기 도 12의 동작 과정을 통해 특정 건물의 건물 텍스처가 생성되면, 경로 안내 장치(1300)는 생성된 건물 텍스처를 클라우드 서버(1350)로 전송할 수 있다. 그러면 클라우드 서버(1350)는 경로 안내 장치(1300)로부터 수집된 건물 텍스처에 근거하여 DT 지도를 갱신하고, 갱신된 DT 지도를 포함하는 로컬 지도 데이터를 상기 경로 안내 장치(1300)에 전송할 수 있다.
도 16은 이처럼 본 발명의 실시 예에 따른 경로 안내 장치(1300)로부터 수집된 건물 텍스처가 포함되도록 지도 데이터(DT 지도)를 갱신하는 클라우드 서버(1350)의 동작 과정을 도시한 흐름도이다. 이하의 설명에서 상기 DT 지도를 업데이트 하는 클라우드 서버(1350)는 DTaaS 서버(1200)에 DT 지도의 업데이트를 요청하는 MR AMS 서버(1100) 일 수 있다. 또는 상기 클라우드 서버(1350)는 상기 MR AMS 서버(1100)의 요청에 따라 상기 DT 지도를 업데이트하는 DTaaS 서버(1200) 일 수 있다.
도 16을 참조하여 살펴보면, 경로 안내 장치(1300)는 지도 데이터의 갱신을 위해 생성된 건물 텍스처에 대응하는 건물 식별 정보(ID) 및 건물 텍스처를 클라우드 서버(1350)에 전송할 수 있다(S1600). 그러면 클라우드 서버(1350)는 수신된 건물 텍스처를, 수신된 건물 식별 정보에 따라 구분하여 저장할 수 있다(S1602).
한편 상술한 바에 의하면, 경로 안내 장치(1300)는 건물 텍스처를 생성하는 경우에, 생성된 건물 텍스처가 건물의 어느 측면에 대응하는지를 나타내는 측면 식별 정보를 더 저장할 수 있음을 언급한 바 있다. 이 경우 경로 안내 장치(1300)는 상기 S1600 단계에서, 건물 식별 정보 뿐만 아니라 측면 식별 정보를 건물 텍스처와 함께 클라우드 서버(1350)에 전송할 수 있다. 이 경우 클라우드 서버(1350)는 상기 측면 식별 정보에 근거하여, 수신된 건물 텍스처가 건물의 어느 측면에 대응하는지를 식별할 수 있다.
상기 S1602 단계에서 경로 안내 장치(1300)로부터 전송된 건물 텍스처가 저장되면, 클라우드 서버(1350)는 상기 건물 텍스처에 대응하는 건물의 특정 측면에 대하여, 기 설정된 개수 이상 저장된 다른 건물 텍스처가 있는지 여부를 판별할 수 있다(S1604). 여기서 상기 다른 건물 텍스처는, 각각 서로 다른 복수의 차량에 탑재된 경로 안내 장치로부터 수집된 건물 텍스처일 수 있다. 또는 각각 서로 다른 시각에, 서로 다른 방향에서 촬영된 카메라 영상에 근거하여 생성된 건물 텍스처일 수 있다.
그리고 S1604 단계의 판별 결과 상기 건물의 특정 측면에 대하여 기 설정된 개수 이상의 다른 건물 텍스처가 저장되어 있지 않은 경우라면, 클라우드 서버(1350)는 DT 지도를 업데이트하기에 필요한 건물 텍스처가 충분히 수집되지 않은 것으로 판단할 수 있다. 따라서 클라우드 서버(1350)는 DT 지도의 업데이트 과정을 종료할 수 있다.
이 경우 클라우드 서버(1350)는 상기 건물 텍스처를 전송한 경로 안내 장치(1300)에, 상기 전송된 건물 텍스처에 대한 응답으로 업데이트가 수행되지 않음을 알리는 메시지를 전송할 수 있다. 그러면 경로 안내 장치(1300)는, 상기 도 11b에서 실시간 MR 렌더링을 수행하는 S1114 단계로 진행할 수 있다. 여기서 상기 MR 렌더링은 경로 안내 장치(1300)가 상기 도 11b의 S1104 단계에서 클라우드 서버(1350)로부터 수신한 로컬 지도 데이터에 포함된 건물 모델에 근거하여 이루어질 수 있다.
반면 S1604 단계의 판별 결과 상기 건물의 특정 측면에 대하여 기 설정된 개수 이상의 다른 건물 텍스처가 저장된 상태라면, 클라우드 서버(1350)는 상기 건물의 특정 측면에 대해 기 설정된 개수 이상 수집된 건물 텍스처들에 근거하여 상기 건물의 특정 측면에 대한 텍스처 합성을 수행할 수 있다(S1606).
여기서 상기 텍스처 합성은, 딥 러닝에 기반하여 학습된 인공지능(Artificial Intelligence)에 의해 이루어지는 의미론적 클래스 라벨(Semantic Class Label)에 의해 이루어질 수 있다. 일 예로 상기 딥 러닝에 기반한 의미론적 클래스 라벨은, 미리 학습된 정답 라벨에 따라 이미지의 픽셀 각각에 대한 클래스를 정의하여 구분하는 것으로, 이미지에 포함된 각 객체를 빠르고 정확하게 구분할 수 있다. 그리고 상기 의미론적 클래스 라벨에 기반한 DNN(Deep Neaural Network, DNN, 심층 신경망) - GAN(Generative Adversarial Network, GAN, 생성적 적대 신경망) 알고리즘에 근거하여 상기 기 설정된 개수 이상의 텍스처를 합성하여, 상기 건물의 특정 측면에 대응하는 합성된 건물 텍스처를 생성할 수 있다.
상기 S1606 단계에서 건물 텍스처의 합성이 완료되면, 클라우드 서버(1350)는 합성된 건물 텍스처를, 상기 건물의 식별 정보에 대응하는 폴리곤 모델의 특정 측면에 매핑할 수 있다. 여기서 상기 특정 측면은 상기 측면 식별 정보에 대응하는 측면일 수 있다(S1608). 따라서 상기 합성된 건물 텍스처가 일 측면에 형성된 건물 모델이 생성될 수 있다.
도 17은, 상기 도 16의 S1608 단계에, 클라우드 서버(1350)가 합성된 건물 텍스처를 건물에 대응하는 폴리곤 모델에 매핑하는 예를 설명하기 위한 예시도이다.
도 17을 참조하여 살펴보면, 도 17의 (a)는 특정 건물에 대응하는 폴리곤 모델로서 건물 텍스처가 매핑되지 않은 건물 모델일 수 있다. 또한 도 17의 (b)는 상기 도 16의 S1606 단계를 통해 딥 러닝에 기반하여 학습된 인공지능 알고리즘(예 : Semantic Class Label에 기반한 DNN-GAN 알고리즘)을 통해 합성된 건물 텍스처의 예를 도시한 것이다.
이 경우 클라우드 서버(1350)는 상기 도 17의 (b)에서 보이고 있는 바와 같이 합성된 건물 텍스처를, 건물 식별 정보 및 측면 식별 정보에 따라 식별된 특정 건물의 특정 측면에 매핑할 수 있다. 따라서 도 17의 (c)에서 보이고 있는 바와 같이, 합성된 건물 텍스처가 일 측면에 매핑된 건물 모델이 형성될 수 있다.
그러면 클라우드 서버(1350)는, 차량, 즉 경로 안내 장치(1300)의 위치에 따라 상기 건물 텍스처가 매핑된 건물 모델을 포함하는 소정 영역의 DT 지도 데이터, 즉 갱신된 로컬 지도 데이터를 상기 경로 안내 장치(1300)에 전송할 수 있다.
그러면 경로 안내 장치(1300)는 도 11b의 S1112 단계에서 클라우드 서버(1350)로부터 상기 갱신된 로컬 지도 데이터를 수신할 수 있다. 그리고 상기 도 11b의 S1114 단계로 진행하여 상기 갱신된 로컬 지도 데이터에 따른 실시간 MR 렌더링을 수행할 수 있다. 따라서 상기 텍스처가 매핑된 건물 모델을 포함하는 혼합 현실 서비스가 제공될 수 있다.
한편 클라우드 서버(1350)는 상기 S1606 단계에서 건물 텍스처의 합성이 완료되는 경우, 현재 건물 텍스처가 매핑된 건물 모델의 다른 측면들 중, 건물 텍스처가 합성되지 않은 공백면이 있는지 여부에 따라 상기 공백면(blank)에 건물 텍스처를 합성하는 과정을 더 수행할 수 있다.
이를 위해 클라우드 서버(1350)는 현재 건물 텍스처가 매핑된 건물 모델의 다른 측면들 중, 공백면이 있는지 여부를 더 검출할 수 있다(S1610). 여기서 공백면은 건물 텍스처가 매핑되지 않은 상기 건물 모델의 일 측면을 의미할 수 있다. 또는 상기 공백면은 해당 면에 대응하는 건물 텍스처가 일정 개수 이상 수집되지 않은 상기 건물 모델의 일 측면을 의미할 수 있다. 따라서 현재 공백면인 상태라도, 기 설정된 개수의 건물 텍스처가 수집될 수 있는 측면은 상기 공백면에 포함되지 않을 수 있다.
상기 합성된 건물 텍스처가 특정 측면에 합성된 상기 건물 모델의 일 측면이 상기 공백면인 경우, 상기 다른 측면에 합성된 건물 텍스처를 복사하여 상기 공백면에 더 매핑할 수 있다(S1612). 그리고 상기 건물 모델의 모든 측면에 텍스처가 매핑되었는지 여부를 체크할 수 있다(S1614).
상기 S1614 단계의 체크 결과, 상기 건물 모델의 모든 측면에 텍스처가 매핑되지 않은 경우라면, 클라우드 서버(1350)는 상기 S1610 단계로 다시 진행하여, 상기 건물 모델의 공백면을 다시 검출할 수 있다.
그리고 S1612 단계로 진행하여 상기 합성된 건물 텍스처를 매핑하는 과정을 다시 수행할 수 있다. 그리고 S1614 단계의 체크 과정을 다시 수행할 수 있다. 즉, 클라우드 서버(1350)는 건물 텍스처가 일 측면에 매핑된 건물 모델에 대하여, 상기 S1610 단계 내지 S1614 단계를 반복함으로서 상기 건물 모델의 모든 측면에 건물 텍스처를 매핑할 수 있다.
한편 상기 S1614 단계의 체크 결과 건물 모델의 모든 측면에 대하여 합성된 건물 텍스처가 매핑된 경우, 클라우드 서버(1350)는 해당 건물 모델의 각 측면에 매핑된 건물 텍스처들 간의 유사도를 결정할 수 있다(S1616).
여기서 상기 유사도는, 건물 텍스처가 매핑된 상기 건물 모델 각 측면의 픽셀들 모두에 대한 산출된 전체 RGB 평균값과, 각 측면의 픽셀들에 대해 산출된 RGB 평균값(측면 RGB 평균값)의 차이값에 따라 결정될 수 있다. 즉, 클라우드 서버(1350)는 건물 텍스처가 합성된 일 측면의 픽셀들에 대한 RGB 평균값(이하 측면 RGB 평균값)을 산출하고, 상기 전체 RGB 평균값으로부터 상기 일 측면으로부터 산출된 RGB 평균값의 차이를 산출하여, 상기 일 측면에 대한 유사도를 결정할 수 있다. 이러한 방식으로 클라우드 서버(1350)는 건물 텍스처가 합성된 건물 모델의 각 측면별로 유사도들을 결정할 수 있다.
한편 클라우드 서버(1350)는 상기 S1616 단계에 결정된 각 측면의 유사도에 근거하여, 건물 텍스처가 합성된 각 건물 측면 중 다른 측면들과 유사하지 않은 비유사면이 있는지를 검출할 수 있다(S1618). 여기서 상기 비유사면은 상기 전체 RGB 평균값과의 차이가 기 설정된 값 이상인 측면 RGB 평균값에 대응하는 상기 건물 모델의 일 측면일 수 있다.
상기 S1618 단계의 검출 결과, 비유사면이 검출되면 클라우드 서버(1350)는 상기 검출된 비유사면을 공백면으로 처리할 수 있다. 여기서 공백면으로의 처리는 상기 비유사면에 매핑된 건물 텍스처를 제거하는 것을 의미할 수 있다. 그리고 다시 S1610 단계로 진행하여 상기 S1610 단계 이후의 과정을 진행할 수 있다. 이에 다른 측면과 상이한 건물 텍스처가 같은 건물 모델에 매핑되는 것을 방지할 수 있다.
한편 상기 S1616 단계의 유사도 결정은, 상기 S1612 단계에서 건물 모델의 다른 측면에 대해 합성된 건물 텍스처를 복사하여 매핑된 측면, 즉 공백면에 한하여 이루어질 수 있다. 이 경우 클라우드 서버(1350)는 복수의 차량으로부터 수집된 건물 텍스처에 근거하여 합성된 건물 텍스처가 매핑된 측면을 제외한 다른 측면들에 대하여 상기 S1616 단계에 따른 유사도 결정을 수행할 수 있다. 따라서 비록 건물의 다른 측면들과 텍스처가 상이하더라도, 그 텍스처가 복수의 차량으로부터 수집된 건물 텍스처에 근거하여 합성된 텍스처인 경우라면, 비유사면으로 지정되지 않을 수 있다. 그러므로 건물 모델의 다른 측면들과 상이한 텍스처가 해당 측면에 매핑된 상태를 유지할 수 있다.
상기 S1616 단계의 비유사면 검출 결과, 비유사면이 검출되지 않은 경우라면, 클라우드 서버(1350)는 경로 안내 장치(1300)의 위치에 따라 상기 건물 텍스처가 매핑된 건물 모델을 포함하는 소정 영역의 DT 지도 데이터, 즉 갱신된 로컬 지도 데이터를 상기 경로 안내 장치(1300)에 전송할 수 있다.
그러면 경로 안내 장치(1300)는 도 11b의 S1112 단계에서 클라우드 서버(1350)로부터 상기 갱신된 로컬 지도 데이터를 수신할 수 있다. 그리고 상기 도 11b의 S1114 단계로 진행하여 상기 갱신된 로컬 지도 데이터에 따른 실시간 MR 렌더링을 수행할 수 있다. 따라서 상기 텍스처가 매핑된 건물 모델을 포함하는 혼합 현실 서비스가 제공될 수 있다.
이상의 설명에서 본 발명의 실시 예에 따른 경로 안내 장치와 상기 경로 안내 장치 및 클라우드 서버를 포함하는 경로 안내 시스템에 대하여 자세히 설명하였다.
이하의 설명에서는, 통상적으로 폴리곤 데이터를 이용한 디지털 트윈 맵을 통해 제공되는 혼합 현실 기반의 경로 서비스가 제공되는 예와, 본 발명의 실시 예에 따라 건물 텍스처가 반영된 건물 모델을 포함하는 디지털 트윈 맵을 통해 제공되는 혼합 현실 기반의 안내 경로 서비스가 제공되는 예를 예시도들을 통해 설명하기로 한다.
도 18은 폴리곤 데이터를 이용한 디지털 트윈 맵을 통해 제공되는 혼합 현실 기반의 경로 서비스의 예를 도시한 예시도이다. 여기서 도 18의 (a)는 혼합 현실 서비스의 제공을 위해 제공되는 디지털 트윈 맵 상에서, 경로 안내 장치가 탑재된 차량의 위치를 나타내는 맵 화면의 예이고, 도 18의 (b)는 CID나 HUD, 또는 RSI나 RSE와 같은 차량의 디스플레이부(251) 상에 표시되는 혼합 현실 기반의 경로 안내 서비스의 예를 도시한 것이다.
한편 상술한 바와 같이, 서비스 제공자들이 제공하는 지도 데이터는, 위성 사진이나 항공 사진 등, 높은 고도에 위치한 카메라가 지면을 촬영한 이미지들을 이용하여 형성될 수 있다. 따라서 이미지의 촬영 각도가 고각이며, 이로 인해 각 건물의 측면 텍스처를 획득하기 어렵다는 문제가 있다. 이에 따라 통상적인 디지털 트윈 맵은, 건물의 바닥면 좌표와 높이로 형성되는 폴리곤 수준의 건물 모델로서 제공할 수 있다.
따라서 이러한 디지털 트윈 맵으로 혼합 현실에 기반한 경로 안내 서비스가 제공되는 경우, 도 18의 (b)에서 보이고 있는 바와 같이, 차량 주변의 건물 면들은 음영을 이용한 쉐이딩(shading) 수준으로 표시될 수 있다. 따라서 실제 건물과 유사한 볼륨감만 제공할 수 있을 뿐, 실제 차량 주변의 건물들의 형상과 디스플레이부(251)를 통해 표시되는 혼합 현실 영상에서 표시되는 건물들의 형상과의 차이가 발생할 수 있으며, 이는 운전자에게 혼합 현실을 통해 제공되는 가상 환경과 실제 환경과의 괴리감을 유발할 수 있다. 그리고 이러한 괴리감은, 운전자가 혼합 현실 서비스를 통해 제공되는 정보에 혼란을 유발하는 등, 혼합 현실 서비스의 품질을 저하시킬 수 있다는 문제가 있다.
이에 반해 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 상술한 바와 같이 차량의 주변에서 획득되는 건물 측면의 영상으로부터, 상기 건물 측면에 대응하는 건물 텍스처를 생성할 수 있다. 그리고 상기 경로 안내 장치(1300)와 연결되는 클라우드 서버(1350)는 상기 경로 안내 장치(1300)를 구비한 복수의 차량으로부터, 상기 건물 측면을 서로 다른 위치, 서로 다른 방향 및 서로 다른 시각에서 촬영한 서로 다른 이미지들로부터 생성된 건물 텍스처들을 수집하고, 수집된 건물 텍스처들을 학습된 인공지능에 기반한 이미지 합성 알고리즘(예 : Semantic Class Label에 기반한 DNN-GAN 알고리즘)를 통해 합성하여 상기 건물 측면에 대응하는 합성된 건물 텍스처를 생성할 수 있다. 그리고 합성된 건물 텍스처를 건물에 대응하는 폴리곤 모델의 대응하는 일 측면에 매핑함으로써, 실제 영상에 기반한 건물 텍스처가 일 측면에 반영된 건물 모델을 형성할 수 있다.
이에 따라 본 발명의 실시 예에 따라 건물 텍스처가 반영된 건물 모델을 포함하는 디지털 트윈 맵을 통해 혼합 현실 기반의 경로 안내 서비스가 제공되는 경우, 도 19의 (b)에서 보이고 있는 바와 같이, 보다 차량 주변의 현실 세계와 흡사한 형상을 가지는 혼합 현실 영상이 제공될 수 있다. 따라서 제공되는 혼합 현실 서비스의 품질을 보다 향상시킬 수 있으며, 운전자는 상기 혼합 현실 영상을 통해 제공되는 정보들을 보다 직관적으로 인식할 수 있다는 효과가 있다.
한편 상술한 본 발명에 따르면, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 차량의 위치를 클라우드 서버(1350)에 전송하고, 클라우드 서버(1350)는 차량의 위치에 근거하여, 차량의 위치를 중심으로 소정 영역의 DT 지도(로컬 지도 데이터)를 전송하는 구성을 도 11b에서 설명한 바 있다. 그리고 경로 안내 장치(1300)는 수신된 로컬 지도 데이터에 근거하여 텍스처가 반영되지 않은 건물을 검출하고, 텍스처가 반영되지 않은 건물이 있는 경우에 S1108 단계 내지 S1112 단계로 진행하여, 차량 주변 건물의 건물 텍스처를 생성 및, 생성된 건물 텍스처를 상기 클라우드 서버(1350)로 전송하여 상기 클라우드 서버(1350)가 DT 지도를 업데이트 하도록 하는 구성을 설명하였다.
그러므로 본 발명의 실시 예에 따르면, 건물 텍스처를 반영한 DT 지도 업데이트는 차량의 위치를 중심으로 진행될 수 있다. 이 경우, 경로 안내 장치(1300)는 차량에 탑재되어 차량의 이동에 따라 함께 이동하므로, 상기 건물 텍스처를 반영한 DT 지도 업데이트는 상기 차량의 주행에 따라 이동하는 차량의 실시간 위치에 따라 이루어질 수 있다. 또한 차량이 반복적으로 주행하는 경로의 경우, 상기 차량으로부터 수집되는 건물 텍스처들로 인하여 상기 차량이 이동하는 경로 주변의 건물들에 대한 DT 지도 업데이트가 빈번하게 이루어질 수 있다. 따라서 차량이 자주 주행하는 경로 인근의 건물들의 경우, 수집되는 건물 텍스처들의 개수가 증가함에 따라 클라우드 서버(1350)는 보다 정교한 건물 텍스처를 생성할 수 있다. 그러므로 상기 차량이 자주 주행하는 경로 인근 건물들의 경우 건물 텍스처가 보다 정교하고 세밀해질 수 있다. 즉, 시간이 경과할 수록 건물 텍스처들이 진화될 수 있다.
한편 이처럼 실제 영상을 기반으로한 건물의 텍스처, 즉 실사 건물 텍스처가 포함되는 경우 클라우드 서버(1350)에서 제공되는 지도 데이터의 크기는 보다 증가할 수 있다. 더욱이 상술한 바와 같이 건물 텍스처가 진화하여 보다 세밀하고 보다 정교해지는 경우, 상기 실사 건물 텍스처의 추가로 인한 데이터의 증가량은 보다 증가할 수 있다. 그리고 이러한 데이터의 증가는 클라우드 서버(1350)의 부하가 되거나, 또는 클라우드 서버(1350)에 대한 병목 현상의 원인이 될 수 있다.
이에 클라우드 서버(1350)는 차량의 위치 또는 예상되는 차량의 위치를 기반으로 소정 영역에 한하여 상기 실사 건물 텍스처가 반영된 DT 지도를 경로 안내 장치(1300)에 제공할 수도 있다. 이러한 경우 클라우드 서버(1350)는 차량으로부터 수집한 정보, 즉 차량의 위치(GPS) 정보, 주행 경로, 차량 속도 등에 근거하여 현재 차량의 위치 또는 예상되는 차량의 위치를 검출할 수 있다. 그리고 검출된 현재 차랑의 위치 또는 예상 위치를 중심으로 소정 크기의 영역을 설정하고, 설정된 영역에 한하여 상기 실사 건물 텍스처가 반영된 DT 지도를 경로 안내 장치(1300)에 제공할 수도 있다.
도 19의 (a)는 이러한 예로서, 차량의 위치에 따라 설정되는 소정 영역에 대하여, 클라우드 서버(1350)가 실사 건물 텍스처가 반영된 DT 지도를 경로 안내 장치(1300)에 제공하는 예를 보이고 있는 것이다.
도 19의 (a)를 참조하여 살펴보면, 본 발명의 실시 예에 따른 경로 안내 장치(1300)를 탑재한 차량(1900)이 제1 위치(1900-1)에 위치할 때, 클라우드 서버(1350)는 상기 제1 위치(1900-1)를 중심으로 설정되는 제1 소정 영역(1910)에 대하여 실사 건물 텍스처가 반영된 DT 지도를 경로 안내 장치(1300)에 제공할 수 있다. 따라서 제1 위치(1900-1)에 위치한 차량의 운전자는 실사 건물 텍스처가 반영된 DT 지도에 기반한 혼합 현실 서비스를 제공받을 수 있다.
이 경우 상기 제1 소정 영역(1910)을 벗어난 다른 영역에 위치한 건물 모델들은 실사 건물 텍스처가 반영되지 않은 상태일 수 있다. 따라서 제1 소정 영역(1910)에 중첩되지 않은 제2 소정 영역(1920) 내에 위치한 건물들의 경우, 일부의 건물 모델들이 실사 건물 텍스처가 반영되지 않은 상태일 수 있다. 즉, 단순히 폴리곤 형태의 모델들일 수 있다.
이러한 상태에서 클라우드 서버(1350)는 경로 안내 장치(1300)로부터 제공되는 정보에 근거하여 차량(1900)이 이동한 위치, 즉 제2 위치(1900-2)를 검출할 수 있다. 그러면 클라우드 서버(1350)는 상기 차량(1900)이 이동한 위치(1900-2)를 중심으로 설정되는 제2 소정 영역(1920)에 대하여 실사 건물 텍스처가 반영된 DT 지도를 경로 안내 장치(1300)에 제공할 수 있다. 따라서 제2 위치(1900-2)에 위치한 차량의 운전자는, 도 19의 (b)에서 보이고 있는 바와 같이, 제2 위치(1900-2)를 중심으로 설정된 제2 소정 영역(1920)에 포함되는 건물들에 실사 건물 텍스처가 반영된 혼합 현실 서비스를 제공받을 수 있다.
한편 상술한 설명에서는 건물의 3차원 모델에 대해서만 경로 안내 장치에서 획득된 이미지에 근거하여 실사 텍스처를 매핑(실사 텍스처링)하는 것을 설명하였으나, 이와 유사한 방식으로 차량 주변의 도로 또는 사물에 대응하는 3차원 모델들에 대한 텍스처 매핑이 이루어질 수도 있음은 물론이다. 즉, 경로 안내 장치(1300)는 차량으로부터 획득되는 이미지에 근거하여 도로 또는 도로 주변의 사물들에 대한 실사 이미지를 획득할 수 있으며, 획득된 실사 이미지에 근거하여 상기 도로 또는 도로 주변의 사물들의 3차원 모델들에 대한 실사 텍스처링을 수행할 수 있다. 이 경우 상기 도로 주변의 사물들은 주변의 차량을 포함할 수 있다.
뿐만 아니라 상기 경로 안내 장치(1300)에서 획득되는 실사 이미지는, 경로 안내 장치(1300)가 탑재된 차량 주변의 날씨 정보를 반영할 수도 있다. 이 경우 날씨 별로 서로 다른 텍스처 이미지가 획득될 수 있으며, 획득된 텍스처 이미지가 클라우드 서버로 전송될 수 있다. 따라서 상기 차량 주변의 3차원 건물 모델들에 대하여 차량 주변의 날씨 정보가 반영된 실사 텍스처링이 이루어질 수 있다.
한편, 상술한 설명에서는 본 발명의 실시 예에 따른 경로 안내 장치(1300)가 인터페이스부를 통해 차량에 구비된 디스플레이를 제어하는 구성으로 설명하였으나, 상기 경로 안내 장치(1300)가 차량에 구비되는 디스플레이 장치일 수도 있음은 물론이다. 이 경우 경로 안내 장치(1300), 즉 디스플레이 장치(1300)는 상기 실사 텍스처링이 이루어진 갱신된 DT 지도를 클라우드 서버로부터 수신하여, 직접 표시할 수도 있음은 물론이다.
본 발명에 따른 경로 안내 장치 및 경로 안내 시스템의 효과에 대해 설명하면 다음과 같다.
첫째, 본 발명은 건물의 각 측면에 대한 이미지를 획득하고 획득된 이미지를 바탕으로 건물의 각 측면에 대응하는 텍스처들을 생성 및, 폴리곤 데이터의 형태로 제공하는 건물 모델링의 대응하는 각 측면에 상기 생성된 텍스처들을 합성함으로써, 실제 건물과 보다 흡사한 건물 모델을 포함하는 디지털 트윈 맵을 생성할 수 있다. 따라서 현실 세계와 보다 동화율이 높은 디지털 트윈 맵을 제공할 수 있다는 장점이 있다.
둘째, 본 발명은 클라우드 서버를 통해, 복수의 차량이 각각 촬영하는 건물의 각 측면에 대응하는 이미지로부터 상기 건물의 각 측면에 대응하는 텍스처들을 생성할 수 있다. 따라서 다양한 시각 및 다양한 각도에서 촬영되는 각 측면의 이미지들에 따라 건물 각 측면의 보다 정확한 텍스처가 합성될 수 있다. 따라서 텍스처가 수집될수록 현실 세계와의 일치율이 높아지는 디지털 트윈 맵을 제공할 수 있다는 장점이 있다.
셋째, 본 발명은 클라우드 서버(1350)가, 복수의 서로 다른 차량으로부터 수집하는 건물 텍스처들에 근거하여, 특정 건물의 일 측면에 대응하는 건물 텍스처를 합성하는 것으로, 클라우드 서버를 이용한 참여형 서비스를 통해 제공되는 서비스일 수 있다. 따라서 시간의 흐름에 따라 수집되는 건물 텍스처가 많아질수록 보다 정교하고 현실감있는 건물 텍스처의 생성이 가능하다. 따라서 시간이 흐를수록 혼합 현실 서비스를 위해 제공되는 DT 지도의 품질 및 혼합 현실 서비스를 제공 가능한 커버리지(coverage)가 높아질 수 있으며, 보다 저비용으로 보다 고품질의 서비스를 제공할 수 있다는 효과가 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (17)

  1. 클라우드 서버와 통신하는 통신부;
    차량에 구비된 카메라를 통해 상기 차량 주변의 이미지를 획득하고, 상기 차량에 구비된 적어도 하나의 센서로부터 수집된 센싱 정보를 수신하는 인터페이스부;
    상기 센싱 정보와 상기 클라우드 서버로부터 수신되는 지도 정보를 기초로 적어도 하나의 가상 객체를 포함하는 MR(Mixed Reality) 정보를 렌더링하는 MR 모듈; 및,
    상기 획득된 이미지로부터 상기 차량 주변의 건물 일 측면에 대응하는 건물 이미지를 추출하고 추출된 건물 이미지로부터 상기 건물 일 측면에 대응하는 텍스처 이미지를 생성하여 상기 클라우드 서버에 전송하며, 상기 클라우드 서버로부터 상기 텍스처 이미지에 기반한 건물 텍스처가 표면에 매핑된 상기 차량 주변 건물들의 모델들을 포함하는 갱신된 지도 정보를 수신 및, 상기 갱신된 지도 정보에 근거하여 렌더링된 MR 정보를 디스플레이부에 표시하도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 클라우드 서버에서 제공되는 지도 정보는,
    상기 차량의 위치를 중심으로 설정되는 소정 영역 내의 지도 정보이며,
    상기 차량의 위치는,
    상기 차량의 현재 위치 또는, 상기 차량의 주행 경로와 차량의 주행 속도, 그리고 상기 차량의 현재 위치를 통해 추정되는 상기 차량의 예상 위치임을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 클라우드 서버로부터 수신되는 지도 정보에 포함된 건물 모델들 중 건물 텍스처가 표면에 매핑되지 않은 건물 모델을 검출한 결과에 따라 상기 차량 주변의 건물 일 측면에 대응하는 건물 이미지로부터 생성되는 텍스처 이미지를 상기 클라우드 서버에 전송하는 것을 특징으로 하는 디스플레이 장치.
  4. 제3항에 있어서, 상기 프로세서는,
    상기 차량 주변의 이미지로부터 포인트 클라우드(Point Cloud) 방식에 따른 특징점들을 검출하고,
    검출된 특징점들에 근거하여 생성되는 포인트 클라우드 지도와 상기 클라우드 서버로부터 제공된 지도 정보를 3차원 정합한 결과에 근거하여, 상기 차량 주변의 특정 건물에 대응하는 건물 모델에 매칭되는 포인트 클라우드 지도 상의 일 영역을 검출하며,
    검출된 포인트 클라우드 지도 상의 일 영역에 근거하여 상기 차량 주변의 이미지로부터 상기 특정 건물의 일 측면에 대응하는 이미지 영역을 추출하는 것을 특징으로 하는 디스플레이 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    SLAM(Simultaneous Localization And Map-Building, Simultaneous Localization and Mapping) 알고리즘에 기반하여 상기 차량 주변의 이미지로부터 상기 포인트 클라우드 지도를 생성 및, 상기 3차원 정합을 수행하는 것을 특징으로 하는 디스플레이 장치.
  6. 제4항에 있어서, 상기 프로세서는,
    상기 추출된 이미지 영역을, 상기 카메라의 촬영 각도에 따라 보정하여, 상기 특정 건물의 일 측면에 대한 정면 뷰(view) 이미지를 생성하고, 생성된 정면 뷰 이미지를, 상기 특정 건물의 일 측면에 대한 텍스처 이미지로서 상기 클라우드 서버에 전송하는 것을 특징으로 하는 디스플레이 장치.
  7. 제4항에 있어서, 상기 특정 건물은,
    상기 클라우드 서버로부터 수신되는 지도 정보에 포함된 건물 모델들 중 건물 텍스처가 표면에 매핑되지 않은 건물 모델에 대응하는 건물임을 특징으로 하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 건물 텍스처는,
    특정 건물의 일 측면을 촬영한 서로 다른 이미지에 근거하여 생성된 복수의 텍스처 이미지를, 상기 클라우드 서버가 합성하여 생성되며,
    상기 서로 다른 이미지는,
    상기 촬영이 이루어진 방향, 거리 및 시각 중 적어도 하나가 다른 이미지임을 특징으로 하는 디스플레이 장치.
  9. 제8항에 있어서, 상기 클라우드 서버는,
    복수의 서로 다른 차량으로부터 상기 복수의 텍스처 이미지를 수집하며,
    상기 수집된 텍스처 이미지의 개수가 일정 개수에 도달하는 경우에 상기 수집된 복수의 텍스처 이미지에 근거하여 상기 특정 건물의 일 측면에 대응하는 건물 텍스처를 생성 및, 생성된 건물 텍스처를 상기 특정 건물의 일 측면에 매핑하는 것을 특징으로 하는 디스플레이 장치.
  10. 제8항에 있어서,
    상기 건물 텍스처는,
    상기 복수의 텍스처 이미지를, 상기 클라우드 서버가 딥 러닝에 기반한 인공지능 알고리즘에 따라 합성하여 생성되며,
    상기 인공지능 알고리즘은,
    의미론적 클래스 라벨(Semantic Class Label)에 기반한 DNN(Deep Neaural Network) - GAN(Generative Adversarial Network) 알고리즘임을 특징으로 하는 디스플레이 장치.
  11. 차량에 탑재되며, 상기 차량의 카메라로부터 획득된 이미지에 근거하여 특정 건물의 일 측면에 대응하는 텍스처 이미지를 전송하고, 상기 전송에 대한 응답으로 3차원 지도 정보를 수신 및, 수신된 3차원 지도 정보에 근거하여 렌더링된 MR(Mixed Reality) 정보를 상기 차량의 디스플레이부에 표시하는 적어도 하나의 경로 안내 장치; 및,
    상기 특정 건물의 일 측면에 대응하는 복수의 텍스처 이미지를 수집하고, 수집된 복수의 텍스처 이미지로부터 합성되는 건물 텍스처를 상기 특정 건물에 대응하는 폴리곤 모델의 일 측면에 매핑 및, 건물 텍스처가 매핑된 적어도 하나의 측면을 포함하는 폴리곤 모델들을 포함하는 상기 3차원 지도 정보를, 상기 적어도 하나의 경로 안내 장치에 제공하는 클라우드 서버를 포함하는 것을 특징으로 하는 경로 안내 시스템.
  12. 제11항에 있어서, 상기 클라우드 서버는,
    지도 영역에 포함되는 각 건물에 대응하며 상기 각 건물의 바닥면 좌표와 높이에 따른 폴리곤 모델들을 포함하는 디지털 트윈(Digital Twin) 지도 정보를 포함하고, 상기 복수의 텍스처 이미지로부터 상기 특정 건물의 일 측면에 대응하는 폴리곤 모델의 일 측면에 매핑하여 상기 디지털 트윈 지도 정보를 갱신하는 DTaaS(Digital Twin as a Service) 서버; 및,
    적어도 하나의 경로 안내 제공 장치와 통신 연결을 수행하며, 상기 적어도 하나의 경로 안내 장치로부터 수집되는 텍스처 이미지를 상기 DTaaS 서버에 제공 및, 상기 DTaaS 서버로부터 제공되는 갱신된 디지털 트윈 지도 정보를 상기 3차원 지도 정보로서 상기 적어도 하나의 경로 안내 제공 장치에 제공하는 MR AMS(Mixed Reality Automotive Meta Service) 서버를 포함하는 것을 특징으로 하는 경로 안내 시스템.
  13. 제12항에 있어서,
    상기 클라우드 서버는,
    상기 경로 안내 장치로부터 제공되는 상기 차량의 위치 정보에 근거하여, 소정 영역에 대한 상기 갱신된 디지털 트윈 지도 정보를 상기 경로 안내 장치에 제공하며,
    상기 차량의 위치는,
    상기 차량의 현재 위치 또는, 상기 차량의 주행 경로와 차량의 주행 속도, 그리고 상기 차량의 현재 위치를 통해 추정되는 상기 차량의 예상 위치임을 특징으로 하는 경로 안내 시스템.
  14. 제13항에 있어서,
    상기 클라우드 서버는,
    상기 차량의 주행에 따른 상기 차량의 위치 이동에 따라, 상기 소정 영역의 위치를 변경하고, 변경된 소정 영역의 위치에 따른 디지털 트윈 지도 정보의 갱신을 수행하며, 갱신된 디지털 트윈 지도 정보를 실시간으로 상기 경로 안내 장치에 제공하며,
    상기 경로 안내 장치는,
    상기 실시간으로 제공되는 상기 갱신된 디지털 트윈 지도 정보를 렌더링한 MR 정보를 표시하여, 건물 텍스처들이 반영된 폴리곤 모델들을 상기 주행하는 차량의 위치에 따라 표시하는 것을 특징으로 하는 경로 안내 시스템.
  15. 제11항에 있어서, 상기 클라우드 서버는,
    특정 폴리곤 모델의 일 측면에 상기 건물 텍스처가 매핑되면, 상기 특정 폴리곤 모델의 다른 측면들 중 건물 텍스처가 매핑되지 않은 공백면(blank)을 더 검출하고,
    상기 공백면이 있는 경우, 상기 특정 폴리곤 모델의 다른 측면에 매핑된 건물 텍스처를 상기 검출된 공백면에 더 매핑하는 것을 특징으로 하는 경로 안내 시스템.
  16. 제15항에 있어서, 상기 클라우드 서버는,
    상기 건물 텍스처가 매핑된 상기 공백면의 픽셀들에 대한 RGB 평균값과, 상기 특정 폴리곤 모델의 각 측면 픽셀들 모두에 대한 RGB 평균값의 차이에 근거하여 상기 공백면에 매핑된 건물 텍스처와, 상기 공백면을 제외한 상기 특정 폴리곤 모델의 다른 측면에 매핑된 건물 텍스처들 간의 유사도를 결정 및, 결정된 유사도에 따라 상기 공백면에 매핑된 건물 텍스처를 제거하는 것을 특징으로 하는 경로 안내 시스템.
  17. 제15항에 있어서, 상기 클라우드 서버는,
    상기 특정 폴리곤 모델에 대응하는 건물의 일 측면에 대응하는 텍스처 이미지가 제1 개수만큼 수집되면 수집된 텍스처 이미지들을 합성하여 상기 건물의 일 측면에 대응하는 건물 텍스처를 생성하고,
    상기 건물 텍스처가 매핑되지 않은 상기 특정 폴리곤 모델의 각 측면들 중, 수집된 개수가 상기 제1 개수보다 적은 제2 개수 미만인 텍스처 이미지들에 대응하는 측면을 상기 공백면으로 검출하는 것을 특징으로 하는 경로 안내 시스템.
KR1020237013935A 2021-07-13 2022-07-12 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템 KR102625688B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163221467P 2021-07-13 2021-07-13
US63/221,467 2021-07-13
PCT/KR2022/010139 WO2023287169A1 (ko) 2021-07-13 2022-07-12 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템

Publications (2)

Publication Number Publication Date
KR20230068439A true KR20230068439A (ko) 2023-05-17
KR102625688B1 KR102625688B1 (ko) 2024-01-18

Family

ID=84920116

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020237043354A KR20240012448A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237026071A KR20240035377A (ko) 2021-07-13 2022-07-12 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스플랫폼 및 그것의 제어방법
KR1020237022159A KR20230115319A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237026070A KR20240024769A (ko) 2021-07-13 2022-07-12 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스플랫폼 및 그것의 제어방법
KR1020237043355A KR20240012449A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237013935A KR102625688B1 (ko) 2021-07-13 2022-07-12 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
KR1020237042990A KR20240026449A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237026072A KR20240032697A (ko) 2021-07-13 2022-07-12 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스 플랫폼 및 그것의 제어방법

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020237043354A KR20240012448A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237026071A KR20240035377A (ko) 2021-07-13 2022-07-12 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스플랫폼 및 그것의 제어방법
KR1020237022159A KR20230115319A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237026070A KR20240024769A (ko) 2021-07-13 2022-07-12 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스플랫폼 및 그것의 제어방법
KR1020237043355A KR20240012449A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237042990A KR20240026449A (ko) 2021-07-13 2022-07-12 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
KR1020237026072A KR20240032697A (ko) 2021-07-13 2022-07-12 혼합 현실 자동차 메타 서비스를 제공하는 mr 서비스 플랫폼 및 그것의 제어방법

Country Status (3)

Country Link
EP (2) EP4358524A1 (ko)
KR (8) KR20240012448A (ko)
WO (9) WO2023287176A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023287176A1 (ko) * 2021-07-13 2023-01-19 엘지전자 주식회사 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로 안내 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294457A (ja) * 2002-04-04 2003-10-15 Matsushita Electric Ind Co Ltd ナビゲーション装置
KR20210059980A (ko) * 2019-11-18 2021-05-26 엘지전자 주식회사 차량의 원격 제어방법 및 이를 위한 혼합현실 디바이스 및 차량

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498812B2 (en) * 2010-01-05 2013-07-30 Robert Bosch Gmbh Stylized procedural modeling for 3D navigation
US9664527B2 (en) * 2011-02-25 2017-05-30 Nokia Technologies Oy Method and apparatus for providing route information in image media
JP2015187795A (ja) * 2014-03-27 2015-10-29 株式会社ジオ技術研究所 画像表示システム
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
KR20170005602A (ko) * 2015-07-06 2017-01-16 삼성전자주식회사 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치
KR20170056752A (ko) * 2015-11-13 2017-05-24 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시장치 및 그 방법
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US11312392B2 (en) * 2017-09-18 2022-04-26 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing precise driving recommendations based on network-assisted scanning of a surrounding environment
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
KR102569898B1 (ko) * 2018-11-22 2023-08-24 현대자동차주식회사 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법
KR20200063889A (ko) * 2018-11-28 2020-06-05 서울대학교산학협력단 디지털 트윈을 이용한 플랜트 운영 방법, 시스템 및 컴퓨터 프로그램
KR102160990B1 (ko) * 2018-12-21 2020-09-29 서울시립대학교 산학협력단 객체 기반의 3d 도시 모델링 방법 및 이를 구현하는 서버, 그리고 이를 이용하는 시스템
US11302055B2 (en) * 2019-04-01 2022-04-12 Apple Inc. Distributed processing in computer generated reality system
KR102592653B1 (ko) * 2019-07-01 2023-10-23 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR102135256B1 (ko) * 2019-08-08 2020-07-17 엘지전자 주식회사 자율 주행 시스템에서 차량의 사용자 인증 위한 방법 및 장치
KR20190109336A (ko) * 2019-09-05 2019-09-25 엘지전자 주식회사 운전자 시선에 기반한 길 안내 서비스 지원 장치 및 이를 이용한 자동차 내비게이션 시스템
US20210117214A1 (en) * 2019-10-18 2021-04-22 Facebook, Inc. Generating Proactive Content for Assistant Systems
KR20210048739A (ko) * 2019-10-24 2021-05-04 엘지전자 주식회사 Ar 모빌리티 제어 장치 및 ar 모빌리티 제어 방법
KR20210080936A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 Xr 컨텐트 제공 방법 및 xr 디바이스
KR102366293B1 (ko) * 2019-12-31 2022-02-22 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR20210087271A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 3ｄ 증강 현실 내비게이션 정보 표시 방법 및 장치
KR102173286B1 (ko) * 2020-02-18 2020-11-03 (주)리얼메이커 혼합 현실 내에서의 공간 좌표 정보 보정을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
KR102174524B1 (ko) * 2020-04-07 2020-11-04 안정훈 전자 지도 서비스 방법 및 시스템
KR102235474B1 (ko) * 2020-09-08 2021-04-02 포티투닷 주식회사 내비게이션 장치 및 이를 포함하는 차량 내비게이션 시스템
KR102454073B1 (ko) * 2020-12-18 2022-10-14 한국과학기술원 360 카메라 및 디지털 트윈을 기반으로 한 이동 객체의 지리적 데이터 추정방법 및 시스템
WO2023287176A1 (ko) * 2021-07-13 2023-01-19 엘지전자 주식회사 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로 안내 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294457A (ja) * 2002-04-04 2003-10-15 Matsushita Electric Ind Co Ltd ナビゲーション装置
KR20210059980A (ko) * 2019-11-18 2021-05-26 엘지전자 주식회사 차량의 원격 제어방법 및 이를 위한 혼합현실 디바이스 및 차량

Also Published As

Publication number Publication date
KR20240024769A (ko) 2024-02-26
EP4290185A1 (en) 2023-12-13
KR20240012449A (ko) 2024-01-29
KR102625688B1 (ko) 2024-01-18
KR20240035377A (ko) 2024-03-15
WO2023287169A1 (ko) 2023-01-19
KR20230115319A (ko) 2023-08-02
KR20240032697A (ko) 2024-03-12
WO2023287172A1 (ko) 2023-01-19
WO2024014709A1 (ko) 2024-01-18
KR20240012448A (ko) 2024-01-29
WO2023287152A1 (ko) 2023-01-19
EP4358524A1 (en) 2024-04-24
WO2023287156A1 (ko) 2023-01-19
WO2023287177A1 (ko) 2023-01-19
WO2023287153A1 (ko) 2023-01-19
WO2023287176A1 (ko) 2023-01-19
KR20240026449A (ko) 2024-02-28
WO2023287175A1 (ko) 2023-01-19

Similar Documents

Publication Publication Date Title
US11676346B2 (en) Augmented reality vehicle interfacing
US10783559B1 (en) Mobile information display platforms
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
US10242457B1 (en) Augmented reality passenger experience
US20230332915A1 (en) Navigation device linked to vehicle, ar platform apparatus, ar platform system comprising same, and operation method
KR102210140B1 (ko) 센서 데이터로부터 생성된 물체를 평활화하기 위한 맵 정보의 이용
US11043034B2 (en) Image output device
CN110007752A (zh) 增强现实车辆界面连接
JP7437630B2 (ja) 表示装置、表示方法、及び車両
KR20190072239A (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20220125148A (ko) 영상 출력 장치 및 그것의 제어 방법
KR102625688B1 (ko) 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
WO2022060701A1 (en) External facing communications for autonomous vehicles
KR20220087429A (ko) 차량용 내비게이션의 영상 제공 방법
KR102645700B1 (ko) 디지털 트윈 기반 충전소 관제 시스템
WO2023190206A1 (ja) コンテンツ提示システム、コンテンツ提示プログラム及びコンテンツ提示方法
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
US20230106692A1 (en) Reflective surface-based communications system for rideshare service vehicle
KR20230159450A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2022167701A (ja) 情報処理装置、情報処理プログラム、情報処理方法及びモビリティサイネージシステム
CN115221261A (zh) 地图数据融合方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right