KR102599269B1 - 증강현실 내비게이션 장치 및 그 제어 방법 - Google Patents

증강현실 내비게이션 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102599269B1
KR102599269B1 KR1020190179322A KR20190179322A KR102599269B1 KR 102599269 B1 KR102599269 B1 KR 102599269B1 KR 1020190179322 A KR1020190179322 A KR 1020190179322A KR 20190179322 A KR20190179322 A KR 20190179322A KR 102599269 B1 KR102599269 B1 KR 102599269B1
Authority
KR
South Korea
Prior art keywords
carpet
lane
information
augmented reality
vehicle
Prior art date
Application number
KR1020190179322A
Other languages
English (en)
Other versions
KR20210085834A (ko
Inventor
서정혁
최태영
이주영
정혜영
유영준
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020190179322A priority Critical patent/KR102599269B1/ko
Publication of KR20210085834A publication Critical patent/KR20210085834A/ko
Application granted granted Critical
Publication of KR102599269B1 publication Critical patent/KR102599269B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 증강현실 내비게이션 장치에 관한 것으로, 센서나 통신에 의해, 자차의 후측방에서 감지된 정보, 차선 인식 정보, GPS 정보나 위치 정보, 방송이나 이동 통신을 통한 교통 정보, 중 적어도 하나 이상의 정보를 입력받는 정보 입력부; 차량 전방의 영상을 촬영하는 카메라부; 및 상기 정보 입력부를 통해 입력된 정보와 상기 카메라부를 통해 입력된 입력 영상을 처리하고, 상기 처리된 정보와 영상에 데이터베이스부에 기 저장된 카펫(carpet) 관련 그래픽 리소스를 합성하여 증강현실 영상을 출력하는 제어부;를 포함한다.

Description

증강현실 내비게이션 장치 및 그 제어 방법{AUGMENTED REALITY NAVIGATION APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 증강현실 내비게이션 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 자차 및 자차 주변의 주행 정보를 증강현실 합성 영상으로 표시해 줄 수 있도록 하는, 증강현실 내비게이션 장치 및 그 제어 방법에 관한 것이다.
최근 대부분의 차량에는 내비게이션이 장착되어, 운전자에게 목적지와 길 안내를 제공하도록 하고 있으며, 또한 최근에는 차량의 앞 유리창에 원하는 정보를 투사하여 운전자가 전방을 주시하면서도 투사된 정보를 획득할 수 있도록 하는 헤드업 디스플레이(HUD : Head-Up Display)를 장착한 차량이 출시되고 있기도 하다. 나아가 상기 헤드업 디스플레이를 통해 특정 정보를 증강현실의 형식으로 디스플레이할 수 있도록 하는 연구가 진행되고 있는 상황이다.
참고로 상기 증강현실(AR : Augmented Reality)은 사용자가 눈으로 보는 현실세계에 3차원의 가상 물체를 겹쳐 보여주는 기술로서, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
그러나 지금까지 헤드업 디스플레이(HUD)를 통한 증강현실의 표현은 단지 증강현실에 대한 개념 정도만을 반영하고자 하는 아이디어 상태에 있을 뿐이기 때문에 현재로서는 내비게이션 장치를 이용하는 대다수의 운전자에게 실질적인 편의성을 제공하지 못하는 문제점이 있다.
이에 따라 현실적인 도로 상황을 반영하여 운전자에게 실질적인 편의성을 제공할 수 있는, 증강현실 합성 영상을 출력할 수 있는 내비게이션 장치의 제공이 필요한 상황이다.
본 발명의 배경기술은 대한민국 공개특허 10-2009-0076242호(2009.07.13.공개, 차량용 헤드 업 디스플레이 장치 및 그 동작 제어 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 자차 및 자차 주변의 주행 정보를 증강현실 합성 영상으로 표시해 줄 수 있도록 하는, 증강현실 내비게이션 장치 및 그 제어 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 증강현실 내비게이션 장치는, 센서나 통신에 의해, 자차의 후측방에서 감지된 정보, 차선 인식 정보, GPS 정보나 위치 정보, 방송이나 이동 통신을 통한 교통 정보, 중 적어도 하나 이상의 정보를 입력받는 정보 입력부; 차량 전방의 영상을 촬영하는 카메라부; 및 상기 정보 입력부를 통해 입력된 정보와 상기 카메라부를 통해 입력된 입력 영상을 처리하고, 상기 처리된 정보와 영상에 데이터베이스부에 기 저장된 카펫(carpet) 관련 그래픽 리소스를 합성하여 증강현실 영상을 출력하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 정보 입력부를 통해 입력된 정보에 기초하여 현재 자차의 주행 차선을 검출하고, 상기 카메라부를 통해 입력된 영상에서 현재 자차의 주행 차선을 검출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 데이터베이스부는, 도로별 차선 수에 대한 정보, 지도 데이터, 카펫 관련 그래픽 리소스 정보, 및 캘리브레이션 정보, 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 캘리브레이션 정보는, 현재의 차선 정보, 및 지도 데이터에 포함되어 있는 도로별 차선 수 정보를 을 바탕으로 카펫을 표시할 차선, 표시할 카펫의 방향, 모양, 크기, 길이, 컬러 및 특수효과를 결정하기 위한 정보를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부에서 처리된 주행 정보와 입력 영상, 및 상기 데이터베이스부에 저장된 카펫 관련 그래픽 리소스를 이용하여 합성한 증강현실 영상을 출력하는 합성 영상 출력부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 합성 영상 출력부는, 상기 제어부의 제어에 따라, 디스플레이부의 디스플레이 영역을 복수의 디스플레이 영역으로 분할하고, 상기 분할된 복수의 디스플레이 영역 중 일측 디스플레이 영역에 합성 영상을 출력하고, 상기 분할된 다른 디스플레이 영역에는 경로 안내 정보를 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 전방 카메라 영상을 입력받으면, 상기 입력받은 전방 카메라 영상을 디코딩하고, 상기 디코딩한 전방 카메라 영상을 카펫을 합성할 수 있는 형태나 포맷으로 변환하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 정보 입력부를 통해 도로 및 상기 도로 주변 정보를 입력받고, 상기 도로 및 도로 주변 정보에 기초하여 현재 자차의 주행 차선 상태를 판단하며, 상기 판단한 자차의 주행 차선 상태를 바탕으로 차선에 표시할 카펫의 정합 형태를 결정하여 해당 카펫을 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 차선에 표시할 카펫의 생성, 및 상기 카펫의 정합 형태를 결정하기 위하여,데이터베이스부에 저장된 카펫 관련 그래픽 리소스 정보 및 캘리브레이션 정보를 참조하며, 이로부터 차선의 폭, 모양, 및 길이에 따라 특정 차선에 표시할 카펫의 크기, 모양, 위치, 및 색상에 대한 정합 형태를 결정하고 해당하는 카펫을 생성하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 증강현실 내비게이션 장치의 제어 방법은, 증강현실 내비게이션 장치의 제에어부가 전방 카메라 영상을 입력받아 디코딩하는 단계; 상기 제어부가 상기 디코딩한 전방 카메라 영상을 카펫을 합성할 수 있는 형태나 포맷으로 변환하는 단계; 상기 제어부가 정보 입력부를 통해 도로 및 도로 주변 정보를 입력받고, 상기 입력받은 정보에 기초하여 현재 자차의 주행 차선 상태를 판단하는 단계; 상기 제어부가 상기 자차의 주행 차선 상태를 바탕으로 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계; 및 상기 제어부가 상기 생성된 카펫을 지정된 특정 차선에 표시하는 증강현실 영상을 합성하고, 상기 합성 영상을 내비게이션 장치의 합성 영상 출력부를 통해 출력하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 지정된 특정 차선에 표시하는 증강현실 영상을 합성하는 단계에서, 상기 제어부는, 전방 카메라 영상에 데이터베이스부에 저장된 카펫 관련 그래픽 리소스 정보 및 캘리브레이션 정보를 이용하여 합성한 증강현실 영상을 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 합성 영상을 내비게이션 장치의 합성 영상 출력부를 통해 출력하는 단계에서, 상기 제어부는, 디스플레이부의 디스플레이 영역을 복수의 디스플레이 영역으로 분할하고, 상기 분할된 복수의 디스플레이 영역 중 일측 디스플레이 영역에 합성 영상을 출력하고, 상기 분할된 다른 디스플레이 영역에는 경로 안내 정보를 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하기 위하여, 상기 제어부는, 데이터베이스부에 저장된 카펫 관련 그래픽 리소스 정보 및 캘리브레이션 정보를 참조하며, 이로부터 차선의 폭, 모양, 및 길이에 따라 특정 차선에 표시할 카펫의 크기, 모양, 위치, 및 색상에 대한 정합 형태를 결정하고 해당하는 카펫을 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서, 상기 제어부는, 현재 자차가 주행하는 차선의 바닥 전체에 지정된 색상의 카펫을 생성하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서, 상기 제어부는, 현재 자차가 주행하는 차선의 후측방에 차량이 인지되지 않을 경우, 및 현재 자차가 주행하는 차선의 후측방에 차량이 인지될 경우에 해당 차선의 바닥 전체에 각기 지정된 색상의 카펫을 생성하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서, 상기 제어부는, 현재 자차가 일방통행 차로를 역주행 하는 경우에 현재 주행 차선의 바닥 전체에 지정된 색상과 진입 불가 안내 카펫을 생성하여 표시하고, 또한 3차원 형태의 진입 불가 표지판 카펫을 전방에 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서, 상기 제어부는, 현재 자차가 주행하는 도로에 갓길 주행이 불가할 경우, 및 갓길 주행이 가능할 경우에 갓길에 해당하는 차선의 바닥 전체에 각기 지정된 색상의 카펫을 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서, 상기 제어부는, 현재 자차가 주행하는 도로의 버스전용 차로의 주행이 불가할 경우, 및 버스전용 차로의 주행이 가능할 경우에 버스전용 차로에 해당하는 차선의 바닥 전체에 각기 지정된 색상의 카펫을 표시하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 자차 및 자차 주변의 주행 정보를 증강현실 합성 영상으로 표시해 줄 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 내비게이션 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 증강현실 내비게이션 장치의 제어 방법을 설명하기 위한 흐름도.
도 3은 상기 도 1에 있어서, 합성 영상 출력부의 동작을 설명하기 위하여 보인 예시도.
도 4 내지 도 6은 상기 도 2에 있어서, 자차의 주행 차선 상태에 따른 다양한 카펫의 표시 방법을 설명하기 위하여 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 증강현실 내비게이션 장치 및 그 제어 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실 내비게이션 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 내비게이션 장치는, 정보 입력부(110), 카메라부(120), 제어부(130), 데이터베이스부(140), 및 합성 영상 출력부(150)를 포함한다.
상기 정보 입력부(110)는 적어도 하나 이상의 센서 또는 어느 하나의 통신 방식으로 수신된 정보들을 입력 받는다.
예컨대 상기 정보 입력부(110)는 자차의 후측방(후방 및 측방)에서 감지된 정보, 차선(예 : 전용차선, 갓길 등) 인식 정보, GPS 정보나 위치 정보, 방송(예 : DMB TPEG)을 통한 교통 정보, 이동 통신(예 : 3G, 4G, 5G 등)을 통한 날씨나 교통 정보 등을 입력 받는다.
참고로 상기 차선은 자동차 도로에 주행 방향을 따라 일정한 간격으로 그어 놓은 선으로서, 차로와 차로를 구분하기 위해 그 경계 지점에 표시한다. 상기 차로는 차량이 한 줄로 도로의 정하여진 부분을 통행하도록 차선에 의하여 구분되는 차도의 부분을 의미한다. 하지만 현실적으로 차선과 차로가 명확하게 구분되지 않고 사용되고 있기 때문에 본 실시예에서도 편의상 차선과 차로를 같은 의미로 기재한다.
또한 상기 정보 입력부(110)는 자차 주변에서 감지된 피사체(대상 물체)나 차선까지의 거리를 검출할 수도 있다. 이를 위해 라이다(LIDAR) 센서, 초음파 센서, 적외선 센서 등을 포함할 수 있다.
참고로 상기 라이다(LIDAR : Light Detection And Ranging) 센서는 레이저 펄스를 발사하고, 반사되어 돌아오는 시간을 측정하여 반사체의 위치좌표를 측정하는데 사용할 수 있는 센서이다.
상기 카메라부(120)는 차량 전방의 영상을 촬영하기 위한 수단으로서, 디지털 이미지 센서를 포함하는 적어도 하나 이상의 카메라를 포함하여 구성된다.
상기 카메라부(120)는 복수의 카메라를 포함하며, 주시방향(또는 차량 주행방향)을 촬영하여 보행자(또는 장애물) 영상, 및 도로 시설물(예 : 신호등, 가로수, 가이드 등) 영상을 획득한다. 본 실시예에서는 차선(또는 차로)을 검출하는데 상기 영상을 이용할 수 있다.
예컨대 상기 카메라는 CMOS 카메라(또는 CCD 카메라)를 포함할 수 있다.
참고로 상기 CMOS 카메라(또는 CCD 카메라)는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득한다.
상기 제어부(130)는 상기 정보 입력부(110)를 통해 입력된 정보에 기초하여 주행 정보를 처리하고, 상기 카메라부(120)를 통해 입력된 정보에 기초하여 입력 영상을 처리하고, 상기 처리된 주행 정보와 입력 영상, 및 상기 데이터베이스부(140)에 저장된 그래픽 리소스를 이용하여 출력 영상을 처리(예 : 생성)한다.
또한 상기 제어부(130)는 상기 정보 입력부(110)를 통해 입력된 정보에 기초하여 현재 자차의 주행 차선을 검출하고, 상기 카메라부(120)를 통해 입력된 영상에서 현재 자차의 주행 차선을 검출한다. 여기서 도로별 차선 수에 대한 정보는, 내비게이션의 지도 데이터에 이미 포함되어 있거나, 상기 데이터베이스부(140)에 포함될 수 있다.
상기 데이터베이스부(140)에는 상기 카메라부(120)에서 촬영된 영상에 카펫을 합성하기 위한 그래픽 리소스 정보를 포함한다.
참고로 상기 카펫(Carpet)은 증강현실로 길 안내 정보(예 : 좌회전, 우회전, 유턴, 직진 등)를 표시하기 위한 그래픽 이미지로서, 투명도 조절이 가능한 반투명 그래픽 이미지이며, 마치 실제 도로 바닥에 그려진 것처럼 차선의 위치에 맞춰 표시되는 길 안내 정보를 허공에 표시되는 길 안내 정보(차선 위치에 맞춰 표시되지 않고 공중에 표시되는 길 안내 정보)와 구분하기 위한 용어이다.
또한 상기 데이터베이스부(140)에는 상기 입력 영상에 카펫을 합성(또는 정합)하기 위한(즉, 정합 형태를 결정하기 위한) 캘리브레이션(Calibration) 정보를 포함한다. 상기 캘리브레이션 정보는 디폴트로 설정되어 있으며 사용자에 의해 변경될 수 있다.
참고로 상기 캘리브레이션 정보는, 현재의 차선 정보, 지도 데이터에 포함되어 있는 도로별 차선 수 정보 등을 바탕으로 카펫을 표시할 차선(예 : 차량이 현재 주행하고 있는 차선, 또는 현재 자차가 주행하고 있는 차선의 옆 차선), 표시할 카펫의 방향, 모양, 크기, 길이, 컬러 및 특수효과(예 : 깜박임, 디밍, 인디케이팅 등) 등을 결정하기 위한 정보를 포함한다.
상기 합성 영상 출력부(150)는 상기 제어부(130)에서 처리된 주행 정보와 입력 영상, 및 상기 데이터베이스부(140)에 저장된 그래픽 리소스(즉, 카펫 이미지)를 이용하여 합성한 합성 영상을 출력한다.
도 3은 상기 도 1에 있어서, 합성 영상 출력부의 동작을 설명하기 위하여 보인 예시도로서, 상기 합성 영상 출력부(150)는, 상기 제어부(130)의 제어에 따라, 디스플레이부의 디스플레이 영역을 복수의 디스플레이 영역(도 3의 DSP1, DSP2)으로 분할할 수 있고, 상기 분할된 복수의 디스플레이 영역(도 3의 DSP1, DSP2) 중 일측 디스플레이 영역(예 : DSP1)에 합성 영상(즉, 증강현실 영상)을 출력하고, 상기 분할된 다른 디스플레이 영역(예 : DSP2)에는 경로 안내 정보를 출력할 수 있다.
이하 상기 제어부(130)의 동작에 대해서 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 증강현실 내비게이션 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 제어부(130)는 전방 카메라 영상을 입력받으면(S101) 상기 입력받은 전방 카메라 영상을 디코딩한다(S102). 즉, 카메라부(120)를 통해 촬영된 영상의 형식을 재생을 위한 형태로 디코딩(예 : 압축 해제)한다.
또한 상기 제어부(130)는 상기 디코딩한 전방 카메라 영상을 카펫(Carpet)을 합성할 수 있는 형태나 포맷으로 변환한다(S103).
또한 상기 제어부(130)는 정보 입력부(110)를 통해 입력된 정보들에 기초하여 처리된 도로(또는 차로) 및 그 주변 정보(예 : 차선 정보, 전후측방 차량 정보, 시설물 정보 등)를 입력받고(S104), 상기 입력받은 도로 및 그 주변 정보에 기초하여 현재 자차의 주행 차선 상태를 판단한다(S105).
예컨대 상기 제어부(130)는 자차가 4차선 도로 중 현재 2차선을 주행하고 있으며, 자차의 전후측방에서 주행하고 있는 다른 차량이 있을 경우, 자차로부터 상기 다른 차량들까지의 거리를 판단한다.
또한 상기 제어부(130)는 상기 판단한 자차의 주행 차선 상태를 바탕으로 차선에 표시할 3차원 모델(또는 카펫)을 생성한다(S106).
또한 상기 제어부(130)는 상기 생성한 3차원 모델(또는 카펫)의 정합 형태를 결정한다(S107).
상기 차선에 표시할 3차원 모델(또는 카펫)의 생성, 및 상기 3차원 모델(또는 카펫)의 정합 형태를 결정하기 위하여, 상기 제어부(130)는 데이터베이스부(140)에 저장된 그래픽 리소스 정보 및 캘리브레이션 정보를 참조한다.
예컨대 상기 제어부(130)는 차선의 폭, 모양, 및 길이에 따라 특정 차선에 표시할 카펫의 크기, 모양, 위치, 및 색상 등의 정합 형태를 결정하고 이에 해당하는 카펫을 생성한다.
또한 상기 제어부(130)는 상기 생성된 카펫을 지정된 특정 차선에 표시하는 증강현실 영상을 합성하고(S108), 상기 합성 영상(즉, 증강현실 영상)을 합성 영상 출력부(150)를 통해 출력한다(S109).
도 4 내지 도 6은 상기 도 2에 있어서, 자차의 주행 차선 상태에 따른 다양한 카펫의 표시 방법을 설명하기 위하여 보인 예시도이다.
도 4의 (a)는 현재 자차가 주행하는 차선의 바닥 전체에 지정된 색상(예 : 파란색)의 카펫을 생성하여 표시하는 예시도이다.
도 4의 (b)는 현재 자차가 주행하는 차선의 후측방에 차량이 인지되지 않을 경우에 해당 차선의 바닥 전체에 지정된 색상(예 : 녹색)의 카펫을 생성하여 표시하는 예시도이고, 도 4의 (c)는 현재 자차가 주행하는 차선의 후측방에 차량이 인지될 경우에 해당 차선의 바닥 전체에 지정된 색상(예 : 빨간색)의 카펫을 생성하여 표시하는 예시도이다.
좀 더 구체적으로, 옆 차선에 후방 추종 차량이 존재하는 하는 경우에는 카펫의 색상을 노란색으로 표시하고, 옆 차선에 후방 추종 차량이 존재하지 않는 경우에는 녹색으로 표시할 수 있다. 또한 차선을 변경하고자 하는 사용자의 의도(예 : 방향 지시등, 또는 스티어링 휠의 각도 변화)가 인지되고, 변경 대상 차로 상에 후방 추종 차량이 존재하여 차로 변경이 위험하다고 판단되는 경우, 대상 차로의 카펫 색상을 빨간색으로 표시할 수 있다.
도 5는 현재 자차가 일방통행 차로를 역주행 하는 경우에 현재 주행 차선의 바닥 전체에 지정된 색상(예 : 빨간색)과 진입 불가 안내 카펫을 생성하여 표시하고, 또한 3차원 형태의 진입 불가 표지판 카펫을 전방에 표시하는 예시도이다.
좀 더 구체적으로, 자차가 일방통행 차로에서 역방향으로 주행하고 있다고 판단되는 경우, 차선 바닥에 지정된 색상의 카펫을 표시하여 진입 불가 방향으로 주행하고 있음을 안내한다. 이때 카펫의 형태는 차선의 형태를 기반으로 표시된다.
도 6의 (a)는 자차가 주행하는 도로에 갓길 주행이 불가할 경우에 갓길에 해당하는 차선의 바닥에 지정된 색상(예 : 빨간색)의 카펫을 표시하는 예시도이고, 도 6의 (b)는 자차가 주행하는 도로에 갓길 주행이 가능할 경우에 갓길에 해당하는 차선의 바닥에 지정된 색상(예 : 파란색)의 카펫을 표시하는 예시도이다.
도 6의 (c)는 자차가 주행하는 도로의 버스전용 차로의 주행이 불가할 경우에 버스전용 차로에 해당하는 차선의 바닥에 지정된 색상(예 : 빨간색)의 카펫을 표시하는 예시도이다. 만약 상기 버스전용 차로의 주행이 가능할 경우에는 해당하는 차선의 바닥에 지정된 색상(예 : 파란색)의 카펫을 표시할 수 있다.
상기와 같이 본 실시예는 증강현실 내비게이션 장치를 통해 자차 및 자차 주변의 주행 정보를 증강현실 합성 영상으로 표시해 줄 수 있도록 함으로써, 운전자에게 실질적인 편의성을 제공할 수 있도록 하는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
110 : 정보 입력부
120 : 카메라부
130 : 제어부
140 : 데이터베이스부
150 : 합성 영상 출력부

Claims (18)

  1. 센서나 통신에 의해, 자차의 후측방에서 감지된 정보, 차선 인식 정보, GPS 정보나 위치 정보, 방송이나 이동 통신을 통한 교통 정보, 중 적어도 하나 이상의 정보를 입력받는 정보 입력부;
    차량 전방의 영상을 촬영하는 카메라부; 및
    상기 정보 입력부를 통해 입력된 정보와 상기 카메라부를 통해 입력된 입력 영상을 처리하고, 상기 처리된 정보와 영상에 데이터베이스부에 기 저장된 카펫(carpet) 관련 그래픽 리소스를 합성하여 증강현실 영상을 출력하는 제어부;를 포함하되,
    상기 제어부는,
    방향 지시등 또는 스티어링 휠의 각도 변화를 바탕으로 사용자의 차선 변경 의도를 인지하고, 변경 대상 차로 상에 후방 추종 차량이 존재하는지 여부에 따라, 변경 대상 차로의 바닥 전체에 지정된 색상의 카펫을 생성하여 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  2. 제 1항에 있어서, 상기 제어부는,
    상기 정보 입력부를 통해 입력된 정보에 기초하여 현재 자차의 주행 차선을 검출하고, 상기 카메라부를 통해 입력된 영상에서 현재 자차의 주행 차선을 검출하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  3. 제 1항에 있어서, 상기 데이터베이스부는,
    도로별 차선 수에 대한 정보, 지도 데이터, 카펫 관련 그래픽 리소스 정보, 및 캘리브레이션 정보, 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  4. 제 3항에 있어서, 상기 캘리브레이션 정보는,
    현재의 차선 정보, 및 지도 데이터에 포함되어 있는 도로별 차선 수 정보를 을 바탕으로 카펫을 표시할 차선, 표시할 카펫의 방향, 모양, 크기, 길이, 컬러 및 특수효과를 결정하기 위한 정보를 포함하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  5. 제 1항에 있어서,
    상기 제어부에서 처리된 주행 정보와 입력 영상, 및 상기 데이터베이스부에 저장된 카펫 관련 그래픽 리소스를 이용하여 합성한 증강현실 영상을 출력하는 합성 영상 출력부;를 더 포함하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  6. 제 5항에 있어서, 상기 합성 영상 출력부는,
    상기 제어부의 제어에 따라, 디스플레이부의 디스플레이 영역을 복수의 디스플레이 영역으로 분할하고, 상기 분할된 복수의 디스플레이 영역 중 일측 디스플레이 영역에 합성 영상을 출력하고, 상기 분할된 다른 디스플레이 영역에는 경로 안내 정보를 출력하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  7. 제 1항에 있어서, 상기 제어부는,
    전방 카메라 영상을 입력받으면, 상기 입력받은 전방 카메라 영상을 디코딩하고, 상기 디코딩한 전방 카메라 영상을 카펫을 합성할 수 있는 형태나 포맷으로 변환하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  8. 제 1항에 있어서, 상기 제어부는,
    상기 정보 입력부를 통해 도로 및 상기 도로 주변 정보를 입력받고, 상기 도로 및 도로 주변 정보에 기초하여 현재 자차의 주행 차선 상태를 판단하며, 상기 판단한 자차의 주행 차선 상태를 바탕으로 차선에 표시할 카펫의 정합 형태를 결정하여 해당 카펫을 생성하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  9. 제 8항에 있어서, 상기 제어부는,
    차선에 표시할 카펫의 생성, 및 상기 카펫의 정합 형태를 결정하기 위하여,데이터베이스부에 저장된 카펫 관련 그래픽 리소스 정보 및 캘리브레이션 정보를 참조하며, 이로부터 차선의 폭, 모양, 및 길이에 따라 특정 차선에 표시할 카펫의 크기, 모양, 위치, 및 색상에 대한 정합 형태를 결정하고 해당하는 카펫을 생성하는 것을 특징으로 하는 증강현실 내비게이션 장치.
  10. 증강현실 내비게이션 장치의 제어부가 전방 카메라 영상을 입력받아 디코딩하는 단계;
    상기 제어부가 상기 디코딩한 전방 카메라 영상을 카펫을 합성할 수 있는 형태나 포맷으로 변환하는 단계;
    상기 제어부가 정보 입력부를 통해 도로 및 도로 주변 정보를 입력받고, 상기 입력받은 정보에 기초하여 현재 자차의 주행 차선 상태를 판단하는 단계;
    상기 제어부가 상기 자차의 주행 차선 상태를 바탕으로 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계; 및
    상기 제어부가 상기 생성된 카펫을 지정된 특정 차선에 표시하는 증강현실 영상을 합성하고, 상기 합성 영상을 내비게이션 장치의 합성 영상 출력부를 통해 출력하는 단계;를 포함하되,
    상기 제어부는,
    방향 지시등 또는 스티어링 휠의 각도 변화를 바탕으로 사용자의 차선 변경 의도를 인지하고, 변경 대상 차로 상에 후방 추종 차량이 존재하는지 여부에 따라, 변경 대상 차로의 바닥 전체에 지정된 색상의 카펫을 생성하여 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  11. 제 10항에 있어서,
    상기 지정된 특정 차선에 표시하는 증강현실 영상을 합성하는 단계에서,
    상기 제어부는,
    전방 카메라 영상에 데이터베이스부에 저장된 카펫 관련 그래픽 리소스 정보 및 캘리브레이션 정보를 이용하여 합성한 증강현실 영상을 생성하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  12. 제 10항에 있어서, 상기 합성 영상을 내비게이션 장치의 합성 영상 출력부를 통해 출력하는 단계에서,
    상기 제어부는,
    디스플레이부의 디스플레이 영역을 복수의 디스플레이 영역으로 분할하고, 상기 분할된 복수의 디스플레이 영역 중 일측 디스플레이 영역에 합성 영상을 출력하고, 상기 분할된 다른 디스플레이 영역에는 경로 안내 정보를 출력하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  13. 제 10항에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하기 위하여,
    상기 제어부는,
    데이터베이스부에 저장된 카펫 관련 그래픽 리소스 정보 및 캘리브레이션 정보를 참조하며, 이로부터 차선의 폭, 모양, 및 길이에 따라 특정 차선에 표시할 카펫의 크기, 모양, 위치, 및 색상에 대한 정합 형태를 결정하고 해당하는 카펫을 생성하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  14. 제 10항에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서,
    상기 제어부는,
    현재 자차가 주행하는 차선의 바닥 전체에 지정된 색상의 카펫을 생성하여 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  15. 제 10항에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서,
    상기 제어부는,
    현재 자차가 주행하는 차선의 후측방에 차량이 인지되지 않을 경우, 및 현재 자차가 주행하는 차선의 후측방에 차량이 인지될 경우에 해당 차선의 바닥 전체에 각기 지정된 색상의 카펫을 생성하여 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  16. 제 10항에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서,
    상기 제어부는,
    현재 자차가 일방통행 차로를 역주행 하는 경우에 현재 주행 차선의 바닥 전체에 지정된 색상과 진입 불가 안내 카펫을 생성하여 표시하고, 또한 3차원 형태의 진입 불가 표지판 카펫을 전방에 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  17. 제 10항에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서,
    상기 제어부는,
    현재 자차가 주행하는 도로에 갓길 주행이 불가할 경우, 및 갓길 주행이 가능할 경우에 갓길에 해당하는 차선의 바닥 전체에 각기 지정된 색상의 카펫을 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
  18. 제 10항에 있어서, 상기 차선에 표시할 카펫의 정합 형태를 결정하여 해당하는 카펫을 생성하는 단계에서,
    상기 제어부는,
    현재 자차가 주행하는 도로의 버스전용 차로의 주행이 불가할 경우, 및 버스전용 차로의 주행이 가능할 경우에 버스전용 차로에 해당하는 차선의 바닥 전체에 각기 지정된 색상의 카펫을 표시하는 것을 특징으로 하는 증강현실 내비게이션 장치의 제어 방법.
KR1020190179322A 2019-12-31 2019-12-31 증강현실 내비게이션 장치 및 그 제어 방법 KR102599269B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179322A KR102599269B1 (ko) 2019-12-31 2019-12-31 증강현실 내비게이션 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179322A KR102599269B1 (ko) 2019-12-31 2019-12-31 증강현실 내비게이션 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20210085834A KR20210085834A (ko) 2021-07-08
KR102599269B1 true KR102599269B1 (ko) 2023-11-06

Family

ID=76893929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179322A KR102599269B1 (ko) 2019-12-31 2019-12-31 증강현실 내비게이션 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102599269B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080419A1 (ko) * 2022-10-14 2024-04-18 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150054022A (ko) * 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
KR20150055183A (ko) * 2013-11-12 2015-05-21 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
KR102107122B1 (ko) * 2014-03-31 2020-05-07 현대엠엔소프트 주식회사 추천 차로를 표출하기 위한 내비게이션 장치 및 방법
KR102255432B1 (ko) * 2014-06-17 2021-05-24 팅크웨어(주) 전자 장치 및 그의 제어 방법
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법

Also Published As

Publication number Publication date
KR20210085834A (ko) 2021-07-08

Similar Documents

Publication Publication Date Title
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
US11535155B2 (en) Superimposed-image display device and computer program
JP6486474B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP6062041B2 (ja) 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
US11996018B2 (en) Display control device and display control program product
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JP6459205B2 (ja) 車両用表示システム
JP6536856B2 (ja) 車両用表示装置
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
US11525694B2 (en) Superimposed-image display device and computer program
WO2017056210A1 (ja) 車両用表示装置
US20230221569A1 (en) Virtual image display device and display system
KR20150054022A (ko) 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
US10946744B2 (en) Vehicular projection control device and head-up display device
JP7215466B2 (ja) 表示制御装置及び表示制御プログラム
JP2019027996A (ja) 車両用表示方法及び車両用表示装置
US10854172B2 (en) Display system, display control method, and storage medium
KR102599269B1 (ko) 증강현실 내비게이션 장치 및 그 제어 방법
JP6555413B2 (ja) 移動体周囲表示方法及び移動体周囲表示装置
US20200082793A1 (en) Display system, display control method, and storage medium
JP7318431B2 (ja) 表示制御装置及び表示制御プログラム
US20220065649A1 (en) Head-up display system
JP2022043996A (ja) 表示制御装置及び表示制御プログラム
JP2020199839A (ja) 表示制御装置
JP7420165B2 (ja) 表示制御装置、および表示制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant