KR102007009B1

KR102007009B1 - Augmented Reality Head Up Display Navigation

Info

Publication number: KR102007009B1
Application number: KR1020160110590A
Authority: KR
Inventors: 박선홍; 오영달; 류동운
Original assignee: 자동차부품연구원
Priority date: 2016-02-26
Filing date: 2016-08-30
Publication date: 2019-10-02
Also published as: KR20170101758A

Abstract

본 발명은 증강현실 헤드 업 디스플레이 내비게이션에 관한 것으로 더욱 상세하게는 차량의 주행차선을 파악하여 주행차도에 경로정보를 원근법으로 표시하는 장치에 관한 것이다.
증강 현실 헤드업 디스플레이 내비게이션은 윈드실드를 넘어 보여지는 도로에 원근법으로 경로정보가 표시되고 차량의 주행차선을 고려하여 만약 U턴을 해야 하는 상황일 때 1차로주행중인 경우 U턴표시를 하고 그 외 다른 차선인 경우 1차로로 차선을 변경하도록 경로정보를 표시한 후에 1차로에 차량이 주행하면 U턴표시를 하므로 실제 도로상황과 경로정보가 정확히 매칭될 수 있는 장점이 있다.The present invention relates to an augmented reality head-up display navigation, and more particularly, to an apparatus for identifying a driving lane of a vehicle and displaying route information on a driving road in perspective.
The augmented reality head-up display navigation displays the route information in perspective on the road over the windshield and displays the U-turn if you are driving in the first place when you need to make a U-turn considering the driving lane of the vehicle. In the case of other lanes, when the vehicle travels on the first lane after displaying the route information to change the lane to the first lane, the U-turn is displayed so that the actual road situation and the route information can be exactly matched.

Description

Augmented Reality Head Up Display Navigation

본 발명은 증강현실 헤드 업 디스플레이 내비게이션에 관한 것으로 더욱 상세하게는 차량의 주행차선을 파악하여 주행차도에 경로정보를 원근법으로 표시하는 장치에 관한 것이다.The present invention relates to an augmented reality head-up display navigation, and more particularly, to an apparatus for identifying a driving lane of a vehicle and displaying route information on a driving road in perspective.

최근 내비게이션 장치의 보급으로 운전자의 시야가 내비게이션을 응시하게 되면서 사고의 발생이 높아지고 있다.Recently, as the driver's vision gazes at the navigation due to the widespread use of navigation devices, the occurrence of accidents is increasing.

때문에 일부 완성차 업체에서는 헤드 업 디스플레이를 통해 내비게이션을 경로정보를 제공하고 있다. Therefore, some automakers provide navigation information through the head-up display.

도 1은 종래의 헤드 업 디스플레이 내비게이션의 경로정보를 도시한 도면으로, 종래의 헤드 업 디스플레이 내비게이션은 도 1에 도시된 바와 같이 현재의 주행차선과 차선 변경여부 등에 관계 없이 단순한 경로정보만 디스플레이 되고 있다. FIG. 1 is a diagram illustrating path information of a conventional head-up display navigation. In the conventional head-up display navigation, only simple path information is displayed regardless of a current driving lane and lane change as shown in FIG. 1. .

때문에 실제 도로와 경로정보가 매칭되지 않고 차량의 주행차선을 고려 하지 않는 경로안내 때문에 길을 잘못 들어가거나 U턴 또는 좌회전을 위해 갑작스러운 차선 변경 등으로 사고가 자주 발생되는 등의 문제가 있다.Therefore, there is a problem that accidents occur frequently due to a wrong lane change or a sudden lane change for a U-turn or a left turn due to a route guide that does not match the actual road and route information and does not consider the driving lane of the vehicle.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.The matters described as the background art are only for the purpose of enhancing the understanding of the background of the present invention and should not be taken as acknowledging that they correspond to the related arts already known to those skilled in the art.

본 발명은 상기의 문제를 해결하기 위해 제안된 것으로 정밀한 GPS시스템을 통해 주행차선을 파악하고 주행차선을 고려하여 증강현실로 경로정보를 제공하고 경로정보를 차도에 원근법으로 경로정보를 매칭하여 운전자가 쉽게 경로를 따라 주행하도록 하는 증강현실 헤드 업 디스플레이 내비게이션을 제공함에 그 목적이 있다.The present invention has been proposed to solve the above problems by identifying the driving lane through a precise GPS system, providing the route information to augmented reality in consideration of the driving lane, and matching the route information to the roadway in perspective with the driver. Its purpose is to provide augmented reality head-up display navigation that makes it easy to travel along a route.

상기한 바의 목적을 달성하기 위한 본 발명에 따른 증강 현실 내비게이션은 먼저, 차량의 위치정보를 수신한다. The augmented reality navigation according to the present invention for achieving the above object, first receives the position information of the vehicle.

수신된 차량의 위치정보를 통해 차량의 현재위치를 차선 별 도로 데이터 정보와 비교하여 상기 차량의 주행차선을 파악한다.The driving position of the vehicle is determined by comparing the current position of the vehicle with the road data information for each lane through the received position information of the vehicle.

그리고, 주행차선이 파악되면 현재 주행 시점에서의 경로 안내 정보를 수신한다. When the driving lane is identified, route guidance information at the current driving time point is received.

수신된 경로안내 정보를 통해 윈드실드에 경로안내 정보를 표시하되, 차량의 주행차선을 고려하여, 경로안내 정보를 표시한다.The route guide information is displayed on the windshield through the received route guide information, and the route guide information is displayed in consideration of the driving lane of the vehicle.

경로안내 정보를 표시할 때는 윈드실드에 증강현실로 표시하고, 윈드실드를 통해 보여지는 주행차선에 경로 안내 정보가 원근법으로 표시되도록 할 수 있다.When displaying the route guidance information, the windshield may be displayed as augmented reality, and the route guidance information may be displayed in perspective on the driving lane shown through the windshield.

또한, 경로안내 정보를 표시를 할 때는 U턴 이 필요한 경우, 차량이 1차선 주행으로 판단되면, 경로안내정보를 U턴으로 표시하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 1차선으로 변경하도록 경로안내정보를 1차선으로 변경 표시를 한 후 경로안내정보를 U턴으로 표시하도록 하여 차량이 윈드실드를 넘어 보이는 도로와 경로안내 정보가 매칭되도록 하는 것이 가능해진다.In addition, when the U-turn is required to display the route guidance information, if the vehicle is determined to be traveling in one lane, the route guidance information is displayed as the U-turn, and if the vehicle is determined to be in two or n lanes, the vehicle is 1 The route guidance information is changed to one lane so that the route guidance information is changed to a lane, and the route guidance information is displayed as a U-turn, so that the road and the route guidance information of the vehicle crossing the windshield can be matched.

또 다른 실시 예로 경로안내 정보를 표시할 때 좌회전이 필요한 경우, 차량이 1차선 주행으로 판단되면, 경로안내정보를 죄회전으로 표시하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 상기 1차선으로 변경하도록 경로 안내정보를 1차선으로 변경 표시를 한 후 좌회전으로 표시하여 상기의 U턴 상황과 동일하게 윈드실드를 넘어 보이는 도로와 경로정보가 매칭되도록 할 수 있다.In another embodiment, when left turn is required when displaying route guidance information, if the vehicle is determined to travel in one lane, the route guidance information is displayed as a sin rotation, and if the vehicle is determined to travel in two or n lanes, the vehicle is The route guide information may be changed to the first lane to be changed to the first lane, and then displayed as the left turn so that the road information and the route information viewed through the windshield may be matched in the same manner as the U-turn situation.

그리고, 본 발명의 일 실시 예에 따른 증강현실 내비게이션 시스템은 메모리, 위치확인부, 주행차선 확인부, 주변 상황 정보 획득부, 경로안내부, 헤드 업 디스플레이를 포함한다.The augmented reality navigation system according to an embodiment of the present invention includes a memory, a positioning unit, a driving lane checking unit, a surrounding situation information obtaining unit, a route guide unit, and a head up display.

메모리는 각 차선별 도로정보를 가지고 있는 맵데이터를 저장하고 있다. 맵데이터는 차선별 도로 정보를 가지고 있고, 차선별 도로 정보는 후술하는 차선 포인트를 포함한다.The memory stores map data having road information for each lane. The map data has road information for each lane, and the road information for each lane includes lane points described later.

위치확인부는 차량 위치를 수신하며, 차량의 현재 위치 수신은 GPS가 바람직하다.The positioning unit receives a vehicle position, and GPS is preferably received for the current position of the vehicle.

위치확인부는 실시 예에 따라 오차범위 10cm이내인 고정밀 GPS일 수 있고, 기준국으로부터 오차 보정 값을 DMB주파수로 받아 오차가 보정된 GPS일 수 있다.The positioning unit may be a high-precision GPS having an error range of 10 cm or less, and may be a GPS in which an error is corrected by receiving an error correction value from a reference station as a DMB frequency.

주행차선 확인부는 차량 위치와 맵데이터 정보를 비교하여 현재 주행중인 차선을 파악한다.The driving lane check unit compares the vehicle location and the map data information to determine the current driving lane.

경로안내부는 사용자의 입력에 의해 결정된 목표 지점까지의 경로안내 정보를 포함하고, 목표지점까지의 경로를 사용자에게 표시한다.The route guide unit includes route guide information up to the target point determined by the user's input, and displays the route up to the target point to the user.

헤드업 디스플레이는 경로안내부로부터 수신한 경로안내 정보를 윈드실드에 디스플레이 하되, 결정된 주행 차선 정보에 따라 경로 안내 정보를 디스플레이 한다.The head-up display displays the route guide information received from the route guide unit on the windshield, and displays route guide information according to the determined driving lane information.

헤드 업 디스플레이는 경로 안내부로부터 전송된 경로안내 정보를 상기 윈드실드에 증강현실로 표시하며, 헤드업 디스플레이는 윈드실드를 통해 보여지는 주행차선에 경로안내 정보를 원근법으로 표시할 수 있다. The head-up display may display route guidance information transmitted from the route guide unit as augmented reality on the windshield, and the head-up display may display route guidance information in a traveling lane viewed through the windshield in perspective.

경로정보를 원근법으로 표시 함으로써, 윈드실드를 통해 보여지는 도로와 경로정보가 매칭되어 사용자가 경로를 보다 쉽게 파악 할 수 있다.By displaying the route information in perspective, the road and route information shown through the windshield is matched, so that the user can easily identify the route.

경로안내부는 U턴 이 필요한 경우에 차량이 1차선 주행으로 판단되면, U턴경로를 헤드 업 디스플레이로 전송하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 1차선으로 변경하도록 1차선 변경경로를 먼저 전송하고 U턴경로를 헤드 업 디스플레이로 전송한다. The route guide unit transmits the U-turn route to the head-up display when it is determined that the vehicle is traveling in one lane when a U-turn is required, and changes the vehicle to one lane when it is determined that the vehicle is traveling in two or n lanes. Send the change path first and the U-turn path to the head-up display.

경로안내부는 좌회전이 필요한 경우에 차량이 1차선 주행으로 판단되면, 좌회전경로를 헤드 업 디스플레이로 전송하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 1차선으로 변경하도록 1차선 변경경로를 먼저 전송하고 좌회전경로를 헤드 업 디스플레이로 전송 한다.If the vehicle is determined to drive in one lane when the left turn is required, the route guide unit transmits the left turn path to the head-up display, and if the vehicle is determined to travel in two or n lanes, the one-lane change path to change the vehicle to one lane. First and then turn left to the heads-up display.

주변 상황 정보 획득부는 차량의 주행 중 주변 상황 정보를 획득하여, 경로 안내부는 주변 상황 정보를 고려하여 주변 차량과의 충돌 가능성이 있는 경우, 경로 안내 정보를 변경 표시하도록 변경 경로를 헤드 업 디스플레이로 전송한다. The surrounding situation information acquisition unit acquires the surrounding situation information while the vehicle is driving, and the route guidance unit sends the changed route to the head-up display to change and display the route guidance information when there is a possibility of collision with the surrounding vehicle considering the surrounding situation information. do.

맵데이터는 도로 정보를 포함하고, 도로정보는 위도와 경도정보와 차선 정보를 가지는 도로 포인트를 포함한다.The map data includes road information, and the road information includes road points having latitude and longitude information and lane information.

상술한 바와 같은 구조로 이루어진 증강현실 내비게이션에 따르면, 윈드실드를 넘어 보여지는 도로에 원근법으로 경로정보가 표시되고 차량의 주행차선을 고려하여 만약 U턴을 해야 하는 상황일 때 1차로주행중인 경우 U턴표시를 하고 그 외 다른 차선인 경우 1차로로 차선을 변경하도록 경로정보를 표시한 후에 1차로에 차량이 주행하면 U턴표시를 하므로 실제 도로상황과 경로정보가 정확히 매칭될 수 있는 장점이 있다.According to the augmented reality navigation system having the above-described structure, the route information is displayed on the road viewed beyond the windshield in perspective, and in consideration of the driving lane of the vehicle, if the U-turn is in a situation where the U-turn is to be driven first, U In the case of other lanes, the route information is displayed to change lanes to the first lane, and then the U-turn indicator is displayed when the vehicle travels on the first lane, so the actual road situation and the route information can be exactly matched. .

또한, 차량의 현재위치를 고정밀 GPS와 차선별 도로 포인트를 통해 파악하기 때문에 카메라를 이용한 증강현실 헤드 업 디스플레이보다 구조가 간단해지고 오차발생이 줄어드는 장점이 있다.In addition, since the current position of the vehicle is identified through the high-precision GPS and lane-specific road points, the structure is simpler than the augmented reality head-up display using a camera, and there is an advantage of reducing the occurrence of errors.

또한, 전방 교통 상황 정보에 따라 경로 안내 정보의 색상을 가변시켜 표시함으로써, 운전자는 목적지로 향하는 경로 안내 정보뿐 아니라 전방 교통 상황을 인지하여 예컨대 정체 구간에 이르기 전 이에 대한 대비(서행)을 하는 것이 가능한 효과가 있다. In addition, by varying the color of the route guidance information according to the traffic conditions ahead information, the driver recognizes not only the route guidance information to the destination, but also the traffic situation ahead of them, for example, to prepare for this before reaching the congestion section (slowing). There is a possible effect.

또한, 주변 상황 정보를 고려하여 주변 차량과의 충돌 가능성이 있는 경우 헤드 업 디스플레이를 통해 실제 도로상황과 매칭되는 경로 정보를 변경하여 표시함으로써, 사고 위험을 미리 방지하고 주행 상황에 맞게 경로 안내 정보를 표시하여 신뢰성을 높이는 효과가 있다. In addition, when there is a possibility of collision with surrounding vehicles in consideration of the surrounding situation information, the head-up display changes and displays the route information matching the actual road situation, thereby preventing the risk of an accident in advance and providing route guidance information according to the driving situation. It is effective to increase reliability by displaying.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 종래의 헤드 업 디스플레이 내비게이션을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 주행차선을 파악하는 방법을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 증강현실 헤드업 디스플레이가 장착된 차량을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 경로안내 정보가 차량의 윈드실드를 통해 보여지는 도로에 원근법으로 고가도로진입 안내 정보가 표시되는 모습을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 경로안내 정보가 차량의 윈드실드를 통해 보여지는 도로에 원근법으로 U턴 안내 정보가 표시되는 모습을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 경로안내 정보가 차량의 윈드실드를 통해 보여지는 도로에 원근법으로 좌회전 직전에 1차선으로 변경하도록 사전 안내 정보가 표시되는 모습을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 증강현실 헤드 업 디스플레이 방법을 나타내는 순서도이다.
도 8은 본 발명의 실시예에 따른 경로 안내 정보의 색상 가변 표시를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 경로 안내 정보의 변경 표시를 나타내는 도면이다. 1 is a diagram illustrating a conventional head-up display navigation.
2 is a diagram illustrating a method of identifying a driving lane according to an exemplary embodiment of the present invention.
3 is a view showing a vehicle equipped with augmented reality head-up display according to an embodiment of the present invention.
4 is a diagram illustrating a state in which high-altitude road entry guide information is displayed on a road in which route guidance information is shown through a windshield of a vehicle according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating a U-turn guide information displayed on a road in which route guidance information is viewed through a windshield of a vehicle according to an exemplary embodiment of the present invention.
FIG. 6 is a diagram illustrating how the preliminary guidance information is displayed so that the route guidance information is changed to the first lane just before the left turn in perspective on the road shown through the windshield of the vehicle.
7 is a flowchart illustrating a method of displaying augmented reality head up display according to an exemplary embodiment of the present invention.
8 is a view illustrating a variable color display of route guidance information according to an embodiment of the present invention.
9 is a diagram illustrating a change display of route guidance information according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only the following embodiments are provided to those skilled in the art to which the present invention pertains. It is merely provided to easily inform the configuration and effects, the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or devices in which the mentioned components, steps, operations and / or devices are described. Or does not exclude addition.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 증강현실 헤드 업 디스플레이 내비게이션에 대하여 살펴본다.Hereinafter, with reference to the accompanying drawings looks at with respect to augmented reality head-up display navigation according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 주행차선을 파악하는 방법을 도시한 도면이다. 2 is a diagram illustrating a method of identifying a driving lane according to an exemplary embodiment of the present invention.

증강 현실 내비게이션은 차량(100)의 위치정보를 수신하여 차량(100)의 위도, 경도를 산출한다.The augmented reality navigation calculates the latitude and longitude of the vehicle 100 by receiving the location information of the vehicle 100.

그리고, 차량(100)의 위도, 경도 값을 도로 포인트(31,32,41,42)에 포함된 위도, 경도 정보와 비교하여 차량(100)의 주행차선을 파악하며, 도로의 주행차선을 파악하는 방법은 후술한다.In addition, the latitude and longitude values of the vehicle 100 are compared with the latitude and longitude information included in the road points 31, 32, 41, and 42 to identify the driving lane of the vehicle 100, and identify the driving lane of the road. How to do this will be described later.

도로 포인트(31,32,41,42) 정보는 차선정보를 추가로 포함하고, 실시 예에 따라 도로 포인트(31,32,41,42)가 도로를 따라 10cm ~ 1m간격으로 형성될 수 있다.The road point 31, 32, 41, and 42 information further includes lane information, and road points 31, 32, 41, and 42 may be formed along the road at intervals of 10 cm to 1 m.

차량(100)은 현재 주행 시점에서의 경로 안내 정보를 수신한다. The vehicle 100 receives route guidance information at the current driving time.

사용자가 목적지를 입력하면 출발지는 현재 차량(100)의 위치정보이고 도착지는 사용자가 임의로 지정한 위치정보이다. When the user inputs a destination, the starting point is location information of the current vehicle 100 and the destination is location information arbitrarily designated by the user.

출발지와 목적지를 가장 빠르게 갈 수 있는 최적의 경로가 산출되며, 경로를 산출하는 방법은 종래의 내비게이션과 유사하므로 상세한 설명은 생략한다.The optimal route to get to the starting point and the destination is calculated the most, and the method of calculating the route is similar to the conventional navigation, and thus detailed description thereof will be omitted.

차량(100)은 경로 안내 정보를 수신하여 윈드실드에 경로안내 정보를 표시하되, 차량(100)의 주행차선을 고려하여, 경로안내 정보를 표시한다.The vehicle 100 receives route guidance information and displays route guidance information on the windshield, and displays route guidance information in consideration of a driving lane of the vehicle 100.

경로안내 정보를 표시할 때는 윈드실드에 증강현실로 표시하고, 윈드실드를 통해 보여지는 도로에 경로 안내 정보가 원근법으로 표시될 수 있다.When displaying the route guidance information, the windshield may be displayed as augmented reality, and the route guidance information may be displayed in perspective on the road shown through the windshield.

경로안내 정보를 표시할 때 U턴 이 필요한 경우, 차량(100)이 1차선 주행으로 판단되면, 경로안내정보를 U턴으로 표시하고, 차량(100)이 2차선 내지 n차선 주행으로 판단되면, 차량(100)이 1차선으로 변경하도록 경로안내정보를 1차선으로 변경 표시를 한 후 경로안내정보를 U턴으로 표시한다.When the U-turn is required when displaying the route guidance information, if the vehicle 100 determines that the vehicle is driving in one lane, the route guidance information is displayed as the U-turn, and when the vehicle 100 determines that the vehicle is two lanes or n lanes, After displaying the change of the route guide information to the first lane so that the vehicle 100 changes to the first lane, the route guide information is displayed as the U-turn.

만약 좌회전이 필요한 경우에는 차량(100)이 1차선 주행으로 판단되면, 경로안내정보를 좌회전으로 표시하고, 차량(100)이 2차선 내지 n차선 주행으로 판단되면, 차량(100)이 1차선으로 변경하도록 경로안내정보를 1차선으로 변경 표시를 한 후 좌회전으로 표시한다.If it is necessary to turn left, if the vehicle 100 determines to drive in one lane, the route guidance information is displayed as left turn, and if the vehicle 100 determines to travel in two lanes to n lanes, the vehicle 100 moves in one lane. To change, mark the route guidance information in one lane and turn left.

차량(100)이 주행차선을 확인할 때는 다음과 같은 방법으로 파악한다. When the vehicle 100 checks the driving lane, the vehicle 100 recognizes the driving lane as follows.

먼저 차량(100)의 위도, 경도 정보를 수신하는데, 도로(200)는 각각의 도로 포인트(31,32,41,42)를 가지고 있다. First, the latitude and longitude information of the vehicle 100 is received, and the road 200 has respective road points 31, 32, 41, and 42.

도로 포인트(31,32,41,42)는 위도, 경도 정보를 포함하며, 각각의 차선 정보를 포함한다. Road points 31, 32, 41, and 42 include latitude and longitude information, and each lane information.

도 2를 참조하면 차량(100)이 도로(200)를 주행하고 있고, 차량(100) 주변에 도로 포인트(31,32,41,42)가 있다. Referring to FIG. 2, the vehicle 100 is traveling on the road 200, and there are road points 31, 32, 41, and 42 around the vehicle 100.

도 2에서는 차량(100)과 가장 가까운 도로 포인트(32)가 3차선 정보를 가지고 있다고 가정하면 차량(100)은 현재 3차선 도로(200)를 주행 중인 것이 된다. In FIG. 2, assuming that the road point 32 closest to the vehicle 100 has three lane information, the vehicle 100 is currently driving the three lane road 200.

도로 포인트(31,32,41,42)는 차량(100)의 주행방향으로 일정간격으로 맵데이터에 형성되어 있다.Road points 31, 32, 41, and 42 are formed in the map data at regular intervals in the driving direction of the vehicle 100.

다음은 도 3을 참조하여 증강현실 내비게이션의 구성을 설명한다.Next, a configuration of augmented reality navigation will be described with reference to FIG. 3.

증강현실 내비게이션은 메모리(300), 위치확인부(400), 주행차선 확인부(500), 주변 상황 정보 획득부(600), 경로안내부(700), 헤드 업 디스플레이(800)를 포함한다.The augmented reality navigation device includes a memory 300, a location checker 400, a driving lane checker 500, a surrounding situation information acquirer 600, a path guider 700, and a head-up display 800.

메모리(300)는 맵데이터를 저장하고 있으며, 맵데이터는 지도정보와 지도에 개시된 지형지물, 도로정보를 포함한다. The memory 300 stores map data, and the map data includes map information, features disclosed on the map, and road information.

각각의 지형지물과 도로에는 위도, 경도를 포함하고, 도로의 경우에는 차량(100) 진행방향으로 일정간격으로 이격되어 형성된 도로포인트를 포함한다.Each feature and road includes a latitude and longitude, and in the case of a road, includes road points spaced at regular intervals in the direction in which the vehicle 100 travels.

위치확인부(400)는 차량(100) 위치를 수신하고 확인하며 위치확인부(400)는 고정밀 GPS 또는 기준국으로부터 보정된 오차 보정 값을 DMB주파수로 수신하는 GPS가 사용될 수 있다. The positioning unit 400 receives and confirms the position of the vehicle 100, and the positioning unit 400 may use a high-precision GPS or a GPS for receiving an error correction value corrected from a reference station at a DMB frequency.

고정밀 GPS는 오차범위 10cm이내인 것이 사용될 수 있다.High precision GPS can be used within the error range 10cm.

주행차선 확인부(500)는 상기에 언급한 방법으로 차량(100) 위치와 상기 맵데이터 정보를 비교하여 현재 주행중인 차선을 파악한다.The driving lane checking unit 500 compares the position of the vehicle 100 and the map data information by the method mentioned above to determine the current driving lane.

경로안내부(700)는 사용자의 입력에 의해 결정된 목표 지점까지의 경로안내 정보를 포함하고, 경로안내시 차량(100)의 주행차선을 고려하여 경로 안내 정보를 산출한다.The route guide unit 700 includes route guide information up to a target point determined by a user's input, and calculates route guide information in consideration of a driving lane of the vehicle 100 during route guidance.

헤드 업 디스플레이(800)는 차량(100)의 대시보드에 설치되고 차량(100) 전방의 윈드실드에 경로안내부(700)로부터 수신한 경로안내 정보를 디스플레이 하되, 경로안내부(700)로부터 수신된 주행 차선 정보를 고려하여 상기 경로 안내 정보를 디스플레이 한다. The head-up display 800 is installed on the dashboard of the vehicle 100 and displays the route guidance information received from the route guide unit 700 on the windshield in front of the vehicle 100, but receives the route guide information from the route guide unit 700. The route guide information is displayed in consideration of the driving lane information.

헤드 업 디스플레이(800)는 상기 경로 안내부로부터 전송된 경로안내 정보를 상기 윈드실드에 증강현실로 표시하며, 헤드업 디스플레이는 윈드실드를 통해 보여지는 주행도로에 경로안내 정보를 도4 내지 도6에 도시된 바와 같이 원근법으로 표시할 수 있다.The head-up display 800 displays the route guidance information transmitted from the route guide unit as augmented reality on the windshield, and the head-up display displays route guidance information on the driving road shown through the windshield. As shown in FIG.

본 발명의 실시예에 따른 주변 상황 정보 획득부(600)는 차량에 배치된 측후방 감지 센서인 것이 바람직하다. Surrounding situation information acquisition unit 600 according to an embodiment of the present invention is preferably a side rearward sensor disposed in the vehicle.

주변 상황 정보 획득부(600)는 주행 차량의 양 옆차선의 측후방에서 접근하는 타 차량의 존재 여부를 감지하여, 타 차량이 기설정된 거리 이내로 접근하는 경우, 위험 인식 정보를 경로 안내부(700)로 전송한다. The surrounding situation information acquisition unit 600 detects the presence or absence of other vehicles approaching from the rear and rear of both side lanes of the driving vehicle, and when the other vehicle approaches within a predetermined distance, the route guidance unit 700 To send).

헤드 업 디스플레이(800)는 경로 안내부(700)로부터 전송된 경로 안내 정보를 윈드실드에 증강현실로 표시하게 되는데, 위험 인식 정보를 수신한 경로 안내부(700)는 해당 경로 안내 정보의 색상을 가변시키거나, 경로 안내 정보의 지시선을 변경한다. The head-up display 800 displays the route guide information transmitted from the route guide unit 700 as augmented reality on the windshield. The route guide unit 700 receiving the risk recognition information displays the color of the route guide information. Change or change the leader line of the route guide information.

도 8은 본 발명의 실시예에 따른 경로 안내 정보 색상의 가변을 나타내는 도면이다. 8 is a diagram illustrating a change in color of route guidance information according to an embodiment of the present invention.

도 8의 (a)에 도시된 바와 같이, 헤드 업 디스플레이부(800)는 경로 안내부(700)로부터 전송된 경로 안내 정보를 윈드실드에 증강현실로 표시하며, "현재 주행 차선을 기준으로 왼쪽 차선으로 차선 변경하여 전방 400미터에서 고가도로로 진입할 것"을 안내한다. As shown in (a) of FIG. 8, the head-up display unit 800 displays the route guidance information transmitted from the route guide unit 700 as an augmented reality on the windshield. Change lane to lane and enter overpass at 400 meters ahead. "

이 때, 주변 상황 획득부(600)가 모니터링하는 주변 상황 정보에 있어서 현재 주행 차선을 기준으로 왼족 차선에서 접근하는 측후방 차량이 존재하는 경우, 종전 안내되는 경로 안내 정보(예: 파란색)의 색상을 가변하여 변경 후 색상(예: 붉은색)으로 경로 안내 정보를 변경하여 헤드 업 디스플레이부(800)로 전송한다. At this time, in the surrounding situation information monitored by the surrounding situation acquisition unit 600, when there is a side rear vehicle approaching from the left foot lane on the basis of the current driving lane, the color of the previously guided route guidance information (for example, blue) After changing to change the route guidance information to a color (for example, red) after the change and transmits to the head-up display unit (800).

도 8의 (b)에 도시한 바와 같이, 운전자는 경로 안내(왼쪽 차선으로 차선 변경하여 전방 350미터에서 고가도로 진입)의 지시선은 그대로 인지하면서도, 해당 경로 안내 정보의 색상이 붉은색으로 가변되었음을 인지하도록 하여, 측후방 차량과의 충돌을 방지하도록 한다. As shown in (b) of FIG. 8, the driver recognizes the direction of the route guidance (the lane changes to the left lane and enters the overpass at 350 meters ahead) while the color of the route guidance information is changed to red. In order to prevent the collision with the side rear vehicle.

이 때, 경로 안내부(700)의 경로 안내 색상 변경과 더불어, 스피커 등을 통하여 알람을 제공하거나, 도 8의 (b)에 도시한 바와 같이 헤드 업 디스플레이(800)를 통해 충돌 위험을 알리는 문자 정보(WARNING)를 제공하는 것이 바람직하다. At this time, in addition to changing the path guidance color of the path guide unit 700, providing an alarm through a speaker or the like, or as shown in (b) of FIG. It is desirable to provide information WARNING.

이러한 경로 안내 정보의 색상 변경은 전술한 충돌 위험성이 있는 경우 이외에도, 외부 서버로부터 수신한 전방 교통 상황 정보에 따라 가변되는 것 역시 가능하다. In addition to the above-mentioned collision risk, the color change of the route guidance information may be changed according to the forward traffic situation information received from the external server.

이 경우, 기설정된 상황별 색상(예: 원활인 경우 파란색, 정체인 경우 주황색, 지체인 경우 붉은색)으로 경로 안내 정보를 표시함으로써, 운전자로 하여금 전방의 교통 상황에 대비하여 운전할 수 있도록 지원한다. In this case, the route guidance information is displayed in a predetermined situation-specific color (for example, blue for smoothness, orange for congestion, and red for delay), so that the driver can drive in preparation for the traffic situation ahead.

또한, 본 발명에 따르면 운전자 상태 정보 획득부를 더 포함하여, 경로 안내 정보의 색상 변경을 수행하는 것 역시 가능하다. In addition, according to the present invention, it is also possible to further include a driver state information acquisition unit to change the color of the route guidance information.

본 발명의 운전자 상태 정보 획득부는 카메라, 센서 등을 포함하여 구성되며, 운전자의 현재 운전 상태가 정상 상태인지 또는 비정상 상태인지 여부를 판별한다. The driver state information acquisition unit of the present invention includes a camera, a sensor, and the like, and determines whether the driver's current driving state is a normal state or an abnormal state.

예컨대 운전자의 동공 상태를 감지하여 피곤한 징후가 보여지는지 여부를 확인하거나, 시선 방향을 측정하거나, 운전자 고개의 끄덕거림 등의 각도를 인식하여, 졸음운전 또는 스마트폰 사용 등으로 인하여 운전 상태가 비정상 상태인지 여부를 판별한다. For example, by detecting the pupil state of the driver to see whether the signs of fatigue are visible, measuring the direction of the eyes, or recognizing the angle of nod of the driver's head, the driving state is abnormal due to drowsy driving or the use of a smartphone. Determine whether or not.

운전 상태가 비정상 상태인 것으로 확인되는 경우, 경로 안내부(700)는 이를 고려하여 헤드 업 디스플레이(800)를 통해 표시되는 경로 안내 정보의 색상을 변경시킨다(예: 정상 상태인 경우 파란색이던 경로 안내 정보의 색상을 비정상 상태인 경우에는 붉은색으로 변경 표시). When it is determined that the driving state is in an abnormal state, the route guide unit 700 changes the color of the route guide information displayed through the head-up display 800 in consideration of this (for example, the route guide that was blue in the normal state). If the color of the information is abnormal, change to red).

또한, 운전 상태가 비정상 상태인 경우, 경로 안내 정보의 색상을 가변시킴과 더불어 경고 메시지를 함께 표출하거나, 경고음을 발생시킴으로써 운전자에게 자신의 상태를 자각하게 하는 수단으로 활용한다. In addition, when the driving state is abnormal, the color of the route guidance information is changed and a warning message is displayed together, or a warning sound is generated and used as a means for the driver to be aware of his or her own state.

본 발명에 따른 경로 안내 정보 색상 변경은 이러한 운전자 상태 정보를 고려함에 국한되는 것이 아니며, 운전자 부하(Driver Workload)를 종합적으로 고려한 결과에 따라 수행됨이 바람직하다. The color change of the route guidance information according to the present invention is not limited to considering such driver state information, and is preferably performed according to a result of comprehensive consideration of driver workload.

전술한 바와 같이 운전자가 졸음 운전을 하거나 주행 중 스마트폰을 사용하는 등 운전자 상태(driver state)가 비정상 상태인 경우 외에도, 운전 상황(driving situation), 운전자 조작(driver input), 주행 성능 및 반응(vehicle performance and response) 등을 고려하게 된다. As described above, in addition to the case where the driver state is abnormal such as drowsy driving or using a smartphone while driving, the driving situation, driver input, driving performance and reaction ( vehicle performance and response).

즉 본 발명의 실시예에 따르면, 도로너비, 곡률, 제한속도, 회전경로 등의 운전 상황 정보와, 차량의 종/횡방향 제어 등의 운전자 조작 정보와, 차량 속도, 차로 위치, 가속 정보 등의 주행 성능 및 반응 정보와, 운전자의 주의 분산 등의 운전자 상태에 기반하여, 운전자 부하가 기설정 수준 이상으로 증가하는 경우 헤드 업 디스플레이부(800)에 표시되는 경로 정보의 색상을 변경시켜 운전자가 스스로 안전 운행을 위한 상황별 경고 알림을 확인할 수 있도록 한다. That is, according to an embodiment of the present invention, the driving status information such as road width, curvature, speed limit, rotation path, driver operation information such as longitudinal / lateral control of the vehicle, vehicle speed, lane position, acceleration information, etc. Based on the driving performance and reaction information and the driver's condition such as distraction of the driver, when the driver load increases above the preset level, the driver changes his / her own color by changing the color of the route information displayed on the head-up display unit 800. Allows you to check the warning alerts for each situation for safe driving.

도 9는 본 발명의 실시예에 따른 경로 안내 정보의 변경 표시를 나타내는 도면이다. 9 is a diagram illustrating a change display of route guidance information according to an embodiment of the present invention.

도 9의 (a)에 도시된 바와 같이, 헤드 업 디스플레이부(800)는 경로 안내부(700)로부터 전송된 경로 안내 정보를 윈드실드에 증강현실로 표시하며, "현재 주행 차선을 기준으로 왼쪽 차선으로 차선 변경하여 전방 400미터에서 고가도로로 진입할 것"을 안내한다. As shown in (a) of FIG. 9, the head-up display unit 800 displays the route guidance information transmitted from the route guide unit 700 as augmented reality on the windshield, and "left of the current driving lane. Change lane to lane and enter overpass at 400 meters ahead. "

주변 상황 획득부(600)가 모니터링하는 주변 상황 정보에 있어서 현재 주행 차선을 기준으로 왼족 차선에서 접근하는 측후방 차량이 존재하는 경우, 경로 안내부(700)는 종전 안내되는 경로 안내 정보인 도 9(a)의 "왼쪽 차선으로 차선 변경"을 도 9(b)의 "직진"으로 변경한다. In the surrounding situation information monitored by the surrounding situation acquiring unit 600, when there is a side rear vehicle approaching from the left foot lane based on the current driving lane, the route guide unit 700 is the route guide information previously guided. The "change lane to the left lane" in (a) is changed to the "going straight" in Fig. 9B.

이 때, 측후방 차량과의 충돌을 방지하기 위하여 경로 안내 정보가 변경되는 경우에도, 하단의 내비게이션 정보(63km/h, 350미터 전방에 왼쪽 고가도로 진입)는 그대로 유지될 수 있다. At this time, even when the route guidance information is changed to prevent a collision with the rear and rear vehicle, the navigation information (63 km / h, 350 meters ahead to enter the left overpass) can be maintained as it is.

운전자가 헤드 업 디스플레이(800)에 표출되는 경로 안내 정보만을 신뢰하여 주행하는 경우, 미처 변경하고자 하는 목적 차선에서 접근하는 타 차량과의 충돌을 미연에 확인 및 방지하지 못할 수도 있으므로, 주변 상황 정보를 고려하여 경로 안내를 변경하여 증강현실을 통해 제공함으로써, 운전자가 직관적으로 충돌 위험을 회피하도록 한다. If the driver is driving with confidence in only the route guidance information displayed on the head-up display 800, the driver may not be able to confirm and prevent collisions with other vehicles approaching from the target lane to be changed. By changing the route guidance in consideration and providing augmented reality, the driver intuitively avoids the risk of collision.

이 때, 경로 안내부(700)의 경로 안내 변경과 더불어, 스피커 등을 통하여 알람을 제공하거나, 헤드 업 디스플레이(800)를 통해 충돌 위험을 알리는 문자 정보를 제공하는 것이 바람직하다. At this time, in addition to changing the route guidance of the route guide unit 700, it is preferable to provide an alarm through a speaker or the like, or to provide text information indicating the risk of collision through the head-up display 800.

주변 상황 정보 획득부(600)의 인식 결과 충돌 위험이 사라진 이후에는, 경로 안내부(700)는 도 9의 (c)에 도시한 바와 같이 종전의 경로 안내 정보와 같이 "왼쪽 차선으로 차선 변경하여 전방 200미터에서 고가도로로 진입"으로 표출되도록 경로 안내 정보를 변경하여 헤드 업 디스플레이(800)로 전송한다. After the collision risk disappears as a result of the recognition of the surrounding situation information obtaining unit 600, the route guide unit 700 changes lanes to the left lane as shown in the previous route guide information as shown in FIG. The route guidance information is changed to be displayed as "entering the overpass at 200 meters ahead" and transmitted to the head-up display 800.

본 발명의 실시예에 따르면 운전자의 제스처 및 음성 중 적어도 어느 하나를 인식하는 인식부를 더 포함한다. According to an exemplary embodiment of the present invention, the apparatus may further include a recognizer configured to recognize at least one of a gesture and a voice of the driver.

인식부는 스티어링 휠 파지/조작 상태, 사이드 미러를 향하는 운전자의 시선 방향, 음성 중 적어도 어느 하나를 인식하여 운전자의 주행 의도를 파악한다. The recognition unit recognizes at least one of a steering wheel gripping / operating state, a driver's gaze direction toward the side mirror, and a voice to determine the driving intention of the driver.

즉, 도 8 (a)및 도 9(a)에 도시된 경로 안내 정보를 신뢰한 운전자가 왼쪽 차선으로 변경하려고 하는 경우이거나, 현재 주행 차선의 전방 차량을 추월하고자 하는 주행 의도를 보이는 경우 등, 주행 의도가 차선 변경 또는 추월에 해당하는 경우에 해당되는지 여부를 인식하게 된다. That is, a driver who trusts the route guidance information shown in FIGS. 8A and 9A attempts to change to the left lane, or shows a driving intention to overtake a vehicle ahead of the current driving lane. It is recognized whether the driving intention corresponds to a lane change or overtaking.

경로 안내부(700)는 인식부의 인식 결과 차선 변경에 해당하는 주행 의도가 있는 경우, 주변 상황 정보 획득부(600)가 획득한 정보에 따른 충돌 가능성을 고려하여, 경로 안내 정보를 변경하여 헤드 업 디스플레이(800)로 전송한다. If there is a driving intention corresponding to the lane change as a result of the recognition of the recognition unit, the route guide unit 700 changes the route guide information in consideration of the possibility of collision according to the information acquired by the surrounding situation information acquirer 600, and changes the head up. Transmit to display 800.

도 7은 본 발명의 실시예에 따른 증강현실 헤드 업 디스플레이 방법을 나타내는 순서도이다. 7 is a flowchart illustrating a method of displaying augmented reality head up display according to an exemplary embodiment of the present invention.

본 발명의 실시예에 따른 증강현실 헤드 업 디스플레이 방법은 차량의 위치정보를 수신하는 단계(S100)와, 차량의 현재 위치를 맵데이터의 도로 포인트 정보와 비교하여 상기 차량의 주행차선을 파악하고, 주변 상황 정보를 파악하는 단계(S200) 및 현재 주행 시점에서의 경로 안내 정보를 수신하여 윈드실드에 경로안내 정보를 표시하되, 차량의 주행차선을 고려하여 상기 경로안내 정보를 표시하는 단계(S300)을 포함한다. The augmented reality head-up display method according to an embodiment of the present invention is to receive the position information of the vehicle (S100), and compare the current position of the vehicle with the road point information of the map data to determine the driving lane of the vehicle, Determining the surrounding situation information (S200) and receiving route guidance information at the current driving time and displaying route guidance information on the windshield, and displaying the route guidance information in consideration of the driving lane of the vehicle (S300). It includes.

S100 단계는 고정밀 GPS 또는 기준국으로부터 보정된 오차 보정 값을 DMB주파수로 수신하는 GPS를 사용하여 차량의 위치 정보를 수신한다. Step S100 receives the position information of the vehicle using a GPS that receives the error correction value corrected from the high precision GPS or the reference station at the DMB frequency.

S200 단계는 차량의 위도, 경도 값을 도로 포인트에 포함된 위도, 경도 정보와 비교하여 차량의 주행차선을 파악하며, 측후방 감지 센서를 통해 주변 상황 정보를 파악한다. In step S200, the vehicle's driving lane is identified by comparing the latitude and longitude values of the vehicle with the latitude and longitude information included in the road point, and the surrounding situation information is detected through the rear and rear detection sensors.

S300 단계는 현재 주행 차선을 고려하여 경로 안내 정보를 헤드 업 디스플레이를 통해 증강 현실로 표시한다. In operation S300, the route guidance information is displayed in augmented reality through the head-up display in consideration of the current driving lane.

즉, S300 단계는 U턴이 필요한 경우 차량이 1차선 주행인 것으로 판단되면, 경로 안내 정보를 U턴으로 표시하고, 차량이 1차선 주행이 아닌 것으로 판단되면, 차량을 먼저 1차선으로 변경하도록 경로 안내 정보를 표시하고, 그 후 경로 안내 정보를 U턴으로 표시함으로써, 운전자로 하여금 직관적인 경로 안내 인지가 가능하도록 한다. That is, in step S300, if it is determined that the vehicle is driving in one lane when U turn is required, the route guidance information is displayed as a U-turn, and if it is determined that the vehicle is not in one lane driving, the path is first changed to the first lane. The guidance information is displayed, and the route guidance information is then displayed by the U-turn, thereby allowing the driver to recognize the intuitive route guidance.

이 때, 운전자가 제공되는 경로 안내 정보만을 신뢰하여 사이드 미러를 확인하지 않고 차선 변경을 하는 경우, 측후방으로부터 접근하는 타 차량과 충돌이 발생할 위험이 있다. At this time, if the driver changes lanes without checking the side mirrors by trusting only the route guidance information provided, there is a risk of collision with other vehicles approaching from the rear and rear.

따라서, S300 단계는 S200 단계에서 획득된 주변 상황 정보에 기초하여, 주변 차량과의 충돌 가능성이 예견되는 경우 경로 안내 정보의 색상을 가변시키거나, 경로 안내 정보의 지시선을 가변하여 표시한다. Therefore, in operation S300, when the possibility of collision with the surrounding vehicle is predicted based on the surrounding situation information acquired in operation S200, the color of the route guide information is changed or the indicator of the route guide information is displayed.

전술한 바와 같이, 도 8은 본 발명의 실시예에 따른 경로 안내 정보 색상의 가변을 나타내는 도면이고, 도 9는 본 발명의 실시예에 따른 경로 안내 정보의 변경 표시를 나타내는 도면이다. As described above, FIG. 8 is a diagram illustrating a change in color of route guidance information according to an embodiment of the present invention, and FIG. 9 is a diagram illustrating a change display of route guidance information according to an embodiment of the present invention.

또한, S300 단계는 외부 서버로부터 수신한 전방 교통 상황 정보에 따라 경로 안내 정보의 색상을 가변 표시한다. In operation S300, the color of the route guide information may be variably displayed according to the traffic condition information received from the external server.

운전자는 전방 교통 상황 정보에 따라 가변되는 경로 안내 정보의 색상(예: 원활인 경우 파란색, 정체인 경우 주황색, 지체인 경우 붉은색)을 인지하여, 전방 교통 흐름에 따라 미리 안전 운행에 대비한 조작(예: 서행)을 수행할 수 있다. The driver recognizes the color of the route guidance information (e.g., blue for smoothness, orange for congestion, and red for delayed traffic) that is changed according to the traffic conditions ahead. For example, slowing down).

본 발명의 실시예에 따르면 S200 단계에서 운전자의 주행 의도를 추가적으로 파악하고, S300 단계는 전술한 주변 상황 정보에 기초하여 충돌 가능성을 고려하여 경로 안내 정보의 방향 또는 색상을 가변 표시한다. According to an exemplary embodiment of the present invention, the driving intention of the driver is additionally determined in step S200, and in step S300, the direction or color of the route guide information is variably displayed in consideration of the possibility of collision based on the above-described surrounding situation information.

이 때, S200 단계에서는 스티어링 휠 조작 상태, 운전자의 제스처(예: 사이드 미러 응시), 음성 단어 발화 등 적어도 어느 하나를 인식하여, 차선을 변경하고자 하는 운전자의 주행 의도를 파악한다. In this case, in operation S200, at least one of a steering wheel operation state, a driver's gesture (for example, a side mirror gaze), a voice word utterance is recognized, and the driving intention of the driver to change the lane is determined.

운전자의 주행 의도 및 주변 상황 정보에 기초하여 S300 단계는 경로 안내 정보의 색상 또는 방향을 가변 표시함으로써, 운전자는 증강 현실로 보여지는 경로 안내 정보를 신뢰하여 사고의 위험이 방지된 주행을 수행하는 것이 가능한 효과가 있다. Based on the driving intention and surrounding situation information of the driver, step S300 displays the color or the direction of the route guidance information variably, so that the driver may trust the route guidance information shown in augmented reality to perform driving in which the risk of an accident is prevented. There is a possible effect.

본 발명의 실시예에 따르면, S200 단계는 운전자의 상태 정보를 추가적으로 파악하며, 운전자 부하 정보를 획득하는 것이 가능하다.According to an embodiment of the present invention, step S200 may additionally grasp the driver's state information and obtain driver load information.

S300 단계는 전술한 운전자의 상태 정보(졸음운전, 스마트폰 사용 등으로 인한 시선 분산)를 통해 졸음운전 중이거나, 전방 시선 주의 의무가 제대로 이행되지 않는 것으로 확인되는 경우 경로안내 정보의 색상을 가변시켜 표시한다. In step S300, when the driver's drowsy driving is confirmed through the above-described driver's state information (drowsiness driving, distraction due to the use of a smartphone, etc.), or when it is determined that the duty of attention of the front gaze is not properly fulfilled, the color of the route guide information is changed. Display.

이 때, S300 단계는 운전자의 상태 정보 외에 운전 부하를 종합적으로 고려하여, 운전 부하가 기설정된 수준 이상으로 증가하는 경우 경로안내 정보의 색상을 가변시키게 되며, HUD를 통해 표출되는 경로안내 정보의 색상 가변 외에 경고 알림 문구를 디스플레이 하거나 경고음을 발생시키는 것 역시 가능하다.At this time, in step S300, in consideration of the driving load in addition to the driver's state information, the color of the route guide information is changed when the driving load increases above a predetermined level, and the color of the route guide information expressed through the HUD. In addition to being variable, it is also possible to display a warning notification text or generate a warning sound.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far I looked at the center of the embodiments of the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

100: 차량 200: 도로
300: 메모리 400: 위치확인부
500: 주행차선 확인부 600: 주변 상황 정보 획득부
700: 경로 안내부 800: 헤드 업 디스플레이
31, 32, 41, 42: 도로 포인트100: vehicle 200: road
300: memory 400: positioning unit
500: driving lane check unit 600: surrounding situation information acquisition unit
700: route guide 800: head-up display
31, 32, 41, 42: road point

Claims

(a) receiving location information of the vehicle;
(b) comparing the current location of the vehicle with the road point information of the map data to determine the driving lane of the vehicle, the surrounding situation information, and considering at least one of a steering wheel operation state, a driver gesture, and a voice; Determining the driving intention of the driver; And
(c) receiving route guidance information at the current driving time and displaying route guidance information on the windshield, and displaying the route guidance information in consideration of the driving lane of the vehicle;
The step (c) variably displays the color of the route guidance information according to the forward traffic condition information received from an external server, and if the driving intention of the driver corresponds to lane change or overtaking, the step (c) may include Variably displaying the direction and color of the route guidance information in consideration of the possibility of collision based on surrounding situation information
Augmented reality navigation head-up display method.

The method of claim 1,
The step (c) of the augmented reality navigation head-up display method characterized in that the augmented reality displayed on the windshield, the route guidance information is displayed in perspective on the driving lane seen through the windshield.

The method of claim 1,
In the step (c), if the U-turn is required, if the vehicle is determined to drive in one lane, the route guidance information is displayed as a U-turn, and if the vehicle is determined to be from two lanes to n-lane driving, the vehicle is And displaying the route guidance information in a U-turn after displaying the route guidance information in the first lane to change to the first lane.

The method of claim 1,
In the step (c), when the vehicle is determined to drive in one lane when the left turn is required, the route guide information is displayed as the left turn.
When the vehicle is determined to be traveling in two lanes to n lanes, the vehicle displays the route guidance information as the first lane so that the vehicle changes to the first lane, and displays the left turn and then turns to the left. Display method.

The method of claim 1,
The road point information includes the latitude and longitude information and lane information augmented reality navigation head up display method.

The method of claim 5,
The position information of the vehicle comprises a latitude and longitude information augmented reality navigation head up display method.

The method of claim 6,
In step (b), the latitude and longitude values of the road points closest to the vehicle are matched with the location information of the vehicle, and the lanes of the vehicle are identified by determining how many lanes the road points are. Augmented reality navigation head up display method.

delete

The method of claim 1,
Step (b) is to detect the driver's eye direction toward the side mirror or the driver's face movement to determine the driving intention of the driver
Augmented reality navigation head-up display method.

The method of claim 1,
Step (b) additionally obtains driving load information including driver state information, and step (c) changes the color of the route guidance information based on the driving load information.
Augmented reality navigation head-up display method.

A memory for storing map data;
A positioning unit for receiving a vehicle position;
A driving lane checking unit for comparing the vehicle location with the map data information and identifying a current driving lane;
A surrounding situation information obtaining unit obtaining surrounding situation information while the vehicle is driving;
A route guide unit including route guide information to a target point determined by a user input;
A head-up display configured to display the route guide information received from the route guide unit on a windshield, and to display the route guide information in consideration of driving lane information received from the route guide unit; And
A recognizing unit that grasps the driving intention of the driver based on at least one of a steering wheel operation state, a driver's gaze direction toward the side mirror, and a voice;
The route guide unit changes the color of the route guide information according to the forward traffic situation information received from an external server, and when the driving intention corresponds to a lane change or overtaking, the route in consideration of the possibility of collision according to the surrounding situation information. To change the direction and color of the guide information and send it to the head-up display
Augmented reality head-up display navigation, characterized in that.

The method of claim 13,
The head-up display displays the route guide information transmitted from the route guide unit as augmented reality on the windshield, and the head-up display perspectives the route guide information on the driving lane shown through the windshield. Augmented reality head-up display navigation, characterized in that displayed by.

The method of claim 13,
The map data includes road information, and the road information includes road points having latitude and longitude information and lane information.

The method of claim 13,
The positioning unit is augmented reality head-up display navigation, characterized in that the high accuracy GPS within the error range of 10cm.

delete

The method of claim 13,
The driver may further include driver state information acquisition unit for recognizing at least one of a pupil, a gaze direction, and a head angle of the driver, wherein the route guide unit changes the color of the route guide information when it is determined that the driver's state is abnormal. Expression
Augmented reality head-up display navigation.