KR20150057703A - Augmented Reality Navigation on Vehicle Windshield - Google Patents

Augmented Reality Navigation on Vehicle Windshield Download PDF

Info

Publication number
KR20150057703A
KR20150057703A KR1020130141389A KR20130141389A KR20150057703A KR 20150057703 A KR20150057703 A KR 20150057703A KR 1020130141389 A KR1020130141389 A KR 1020130141389A KR 20130141389 A KR20130141389 A KR 20130141389A KR 20150057703 A KR20150057703 A KR 20150057703A
Authority
KR
South Korea
Prior art keywords
vehicle
driver
camera
image
augmented reality
Prior art date
Application number
KR1020130141389A
Other languages
Korean (ko)
Inventor
김성수
김진형
심진수
이상건
공해림
김정민
손권표
Original Assignee
금오공과대학교 산학협력단
김진형
김정민
심진수
이상건
손권표
공해림
김성수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단, 김진형, 김정민, 심진수, 이상건, 손권표, 공해림, 김성수 filed Critical 금오공과대학교 산학협력단
Priority to KR1020130141389A priority Critical patent/KR20150057703A/en
Publication of KR20150057703A publication Critical patent/KR20150057703A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

The present invention relates to an augmented reality navigation mounted on a vehicle windshield, and more specifically, to an augmented reality navigation mounted on a vehicle windshield to provide route guidance to a driver. The augmented reality navigation mounted on a vehicle windshield according to the present invention comprises an image recording unit which includes a first camera to record the front view of the vehicle and a second camera to record the face of the driver; an operation unit to recognize road markings in the recorded image of the front view of the vehicle by the first camera and compute the location of the eyes of the driver in the recorded image of the driver′s face by the second camera; a transparent display unit mounted inside the vehicle windshield; and a screen processing unit which displays road markings recognized in the image recorded by the image recording unit with respect to the location of the driver′s eyes computed in the operation unit using a bright color and shows the direction to the driver′s destination with respect to the location of the driver′s eyes using an arrow.

Description

차량 전면 유리에 장착하는 증강현실 내비게이션{Augmented Reality Navigation on Vehicle Windshield}[0001] The present invention relates to an Augmented Reality Navigation on Vehicle Windshield

본 발명은 차량 전면 유리에 장착하는 증강현실 내비게이션에 관한 것으로서, 더욱 상세하게는 차량의 전면 유리에 장착되어 운전자에게 주행 안내 정보를 제공하는 차량 전면 유리에 장착하는 증강현실 내비게이션에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an augmented reality navigation system mounted on a windshield of a vehicle, and more particularly, to an augmented reality navigation system mounted on a windshield of a vehicle that is mounted on a windshield of a vehicle and provides driving guidance information to a driver.

차량의 앞유리에 반사형으로 투사하여 주행 정보를 디스플레이하는 HUD(Head-Up Display) 내비게이션은 차량의 유리에 정보를 표시하므로 운전자의 시선 동선을 짧게 유지하며 주행 정보를 확인할 수 있다.HUD (Head-Up Display) navigation, which displays the driving information on the windshield of the vehicle in a reflective form, displays information on the glass of the vehicle, so that the driver's line of sight can be kept short and driving information can be checked.

그러나 상기와 같은 HUD 내비게이션은, 주간에 식별력이 좋지 않아 사용이 제한되거나, HUD 내비게이션이 투사되는 앞유리 부분에 반투명한 반사판을 부착하여 식별력을 높이는 추가 작업이 필요하다.However, the above-mentioned HUD navigation requires additional work to increase the discrimination by attaching a translucent reflector to the windshield portion where the use is restricted because the discrimination power is not good during the day or the HUD navigation is projected.

또한, 차량의 앞유리는 사고 발생시 운전자의 안전을 확보하기 위하여 접합유리 구조를 채택하고 있기 때문에 상기와 같은 HUD 내비게이션 사용 시 앞유리에 이중영상이 표시되는 문제점이 있었다.Further, since the windshield of the vehicle adopts the laminated glass structure in order to secure the safety of the driver in the event of an accident, there is a problem that the dual image is displayed on the windshield when the HUD navigation system as described above is used.

또한, HUD 내비게이션은 차량의 앞유리에 투사하는 형식이므로 운전자의 편의를 위해 HUD 내비게이션의 크기를 키우면, 운전자의 시야를 가리는 문제점이 있다.In addition, since the HUD navigation is a type of projecting on the windshield of a vehicle, there is a problem that if the size of the HUD navigation is increased for the convenience of the driver, the driver's vision is blocked.

그리고, HUD 내비게이션은 상기와 같이 제한된 크기를 가질 수밖에 없기에, 현재 속도와 남은 거리 등 필수적인 정보 이외의 정보는 포함하기 힘들다.
In addition, since the HUD navigation has a limited size as described above, it is difficult to include information other than the essential information such as the current speed and the remaining distance.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 운전자의 시야를 가리지 않고 주행 안내를 수행하는 차량 전면 유리에 장착하는 증강현실 내비게이션을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an augmented reality navigation system which is mounted on a windshield of a vehicle that performs guidance on a driving route regardless of the driver's view.

본 발명은, 야간이나 안개, 우천 주행시에도 장애물을 인지하는 차량 전면 유리에 장착하는 증강현실 내비게이션을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an augmented reality navigation system which is mounted on a windshield of a vehicle that recognizes an obstacle even in nighttime, mist, and rainy driving.

본 발명은, 운전자의 시선 동선을 최소화하는 차량 전면 유리에 장착하는 증강현실 내비게이션을 제공하는 것을 목적으로 한다.
An object of the present invention is to provide an augmented reality navigation system that is mounted on a vehicle front glass that minimizes a driver's line of sight.

차량의 전방을 촬영하는 제1카메라와 운전자의 안면을 촬영하는 제2카메라를 포함하는 영상 촬영부와, 상기 제1카메라의 차량 전방을 촬영한 영상에서 도로 마킹을 인식하고, 상기 제2카메라의 운전자의 안면을 촬영한 영상에서 운전자의 안구 위치를 연산하는 연산부와, 차량 전면유리 안 쪽에 장착되는 투명한 디스플레이 수단과, 상기 연산부에서의 안구 위치를 기반으로 상기 영상 촬영부의 촬영 영상에서 인식된 도로 마킹 선을 상기 투명 디스플레이 수단에 밝은 색상으로 강조하여 표시하고, 상기 연산부에서의 안구 위치를 기반으로 운전자의 목적지까지 주행 방향을 안내하는 화살표로 표시하는 화면 처리부를 포함하는 것을 특징으로 한다.An image pickup apparatus comprising: an image capturing unit including a first camera for capturing a front of a vehicle and a second camera for capturing a face of a driver, a road marking unit for recognizing road marking on an image of the front of the vehicle, A calculation unit for calculating the position of the driver's eye on the image of the face of the driver, a transparent display unit mounted on the inside of the vehicle front glass, and a road marking recognized on the photographed image of the image photographing unit based on the eye position in the calculation unit And a screen processing unit for displaying a highlighted line on the transparent display means in a bright hue and displaying on the basis of the eye position in the operation unit an arrow indicating a driving direction to a destination of the driver.

또한, 상기 연산부는, 상기 제2카메라에서 영상을 입력받아 운전자의 제스처를 인식하는 동작 인식 툴을 포함하는 것을 특징으로 한다.The operation unit may include an operation recognition tool that receives an image from the second camera and recognizes the gesture of the driver.

또한, 상기 차량 전면 유리에 장착하는 증강현실 내비게이션은, 차량의 전방을 향하여 결합되는 전파탐지기(RADAR, Radio Detecting And Ranging)를 포함하는 것을 특징으로 한다.Further, the augmented reality navigation mounted on the vehicle windshield is characterized by including a radio detecting and ranging (RADAR) coupled toward the front of the vehicle.

또한, 상기 연산부는, 야간이나 안개, 우천 주행 시 상기 전파탐지기 및 상기 영상 촬영부의 차량 전방을 촬영한 영상을 이용하여 주행 장애물의 경계선과 구조물의 도로에 인접한 경계선을 연산하여 상기 화면 처리부에 입력하는 것을 특징으로 한다.The calculation unit may calculate a boundary line between the traveling obstacle and a road adjacent to the road using the video image of the radio wave detector and the front side of the vehicle during nighttime, mist, and rainy driving, and input the calculated boundary line to the screen processing unit .

또한, 상기 영상 촬영부는, 차량의 측면에 장착되어 측후면이 보이도록 위치한 제3카메라 또는 차량의 후면에 결합되는 제4카메라 중 하나 이상의 카메라를 더 포함하는 것을 특징으로 한다.
The image capturing unit may further include at least one of a third camera mounted on a side surface of the vehicle and a rear side of the vehicle, or a fourth camera coupled to a rear surface of the vehicle.

상술한 바와 같이, 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션에 의하면, 차량 전면유리에 투명한 디스플레이 수단을 구비하여 함으로써 운전자의 시야를 가리지 않고 운전자의 시선 동선을 최소화하는 효과를 얻는다.As described above, according to the augmented reality navigation system mounted on the vehicle front glass according to the present invention, since the vehicle front glass is provided with the transparent display means, the driver's line of sight can be minimized without disturbing the driver's view.

또한, 본 발명은 전파탐지기(RADAR, Radio Detecting And Ranging)를 포함하여 야간이나 안개, 우천 주행시에도 장애물 및 구조물을 인지할 수 있어 사고 발생 확률을 줄이는 효과가 있다.Also, the present invention can detect an obstacle and a structure even at night, mist, and rainy driving including a radio detecting and ranging (RADAR), thereby reducing the probability of an accident.

또한, 본 발명은 차량의 측면과 후면에 결합되는 하나 이상의 카메라를 포함하여 운전자의 시각 동선을 최소화할 수 있는 효과가 있다.
Further, the present invention includes at least one camera coupled to a side and a rear surface of a vehicle, thereby minimizing the visual circulation of a driver.

도 1은 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션을 간략하게 나타낸 구성도.
도 2는 본 발명의 전파탐지기의 원거리 측정 개요를 간략하게 나타낸 일예.
도 3은 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션을 결합한 차량 내부를 도시한 일예.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a schematic view showing an augmented reality navigation system mounted on a vehicle front glass according to the present invention; Fig.
Figure 2 is a simplified representation of a remote measurement overview of a radio wave detector of the present invention.
FIG. 3 illustrates an interior of a vehicle incorporating an augmented reality navigation system mounted on a vehicle windshield according to the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다. 이에 앞서 본 발명에 관련된 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 구체적인 설명을 생략하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. The detailed description of the functions and configurations of the present invention will be omitted if it is determined that the gist of the present invention may be unnecessarily blurred.

도 1은 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션을 간략하게 나타낸 구성도이고, 도 2는 본 발명의 전파탐지기의 원거리 측정 개요를 간략하게 나타낸 일예이고, 도 3은 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션을 결합한 차량 내부를 도시한 일예이다.FIG. 1 is a schematic view of an augmented reality navigation system mounted on a windshield of a vehicle according to the present invention. FIG. 2 is a simplified schematic diagram of a remote measurement of a radio wave of the present invention, and FIG. And an augmented reality navigation system mounted on a windshield of a vehicle.

도 1에 도시된 바와 같이, 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션은, 차량의 전방을 촬영하는 제1카메라(201)와 운전자의 안면을 촬영하는 제2카메라(202)를 포함하는 영상 촬영부(200)와, 상기 제1카메라(201)의 차량 전방을 촬영한 영상에서 도로 마킹을 인식하고, 상기 제2카메라(202)의 운전자의 안면을 촬영한 영상에서 운전자의 안구 위치를 연산하는 연산부(300)와, 차량 전면유리 안 쪽에 장착되는 투명한 디스플레이 수단(500)과, 상기 연산부(300)에서의 안구 위치를 기반으로 상기 영상 촬영부(200)의 촬영 영상에서 인식된 도로 마킹 선을 상기 투명 디스플레이 수단(500)에 밝은 색상으로 강조하여 표시하고, 상기 연산부(300)에서의 안구 위치를 기반으로 운전자의 목적지까지 주행해야 하는 방향을 화살표로 표시하는 화면 처리부(400)를 포함한다.1, the augmented reality navigation mounted on the vehicle front glass according to the present invention includes a first camera 201 for photographing the front of the vehicle and a second camera 202 for photographing the face of the driver A road marking unit for recognizing the road marking on the image of the front side of the first camera 201 and detecting the road marking of the driver on the basis of the image of the face of the driver of the second camera 202, A transparent display means 500 mounted on the inner side of the vehicle front glass and a display means 500 for displaying the road recognized on the photographed image of the image photographing unit 200 based on the eye position in the operation unit 300, A screen processing unit 4 for displaying the direction in which the marking line is highlighted in the transparent display means 500 in bright colors and the direction in which the operator should travel to the destination based on the eye position in the operation unit 300 00).

상기 영상 촬영부(200)는, 차량의 전방을 촬영하는 제1카메라(201)와 운전자의 안면을 촬영하는 제2카메라(202)를 포함한다.The image photographing unit 200 includes a first camera 201 for photographing the front of the vehicle and a second camera 202 for photographing the face of the driver.

상기 제1카메라(201)는, 차량의 내부 또는 외부에 장착되며 강우 및 도난을 피하기 위해서는 차량 내부의 전면 유리 안쪽에 설치하는 것이 바람직하다.The first camera 201 is installed inside or outside the vehicle, and is preferably installed inside the front glass of the vehicle to avoid rainfall and theft.

그리고 상기 제2카메라(202)는, 운전자의 안면 부분을 촬영하여 상기 연산부(300)에 입력한다.The second camera 202 photographs the face portion of the driver and inputs the image to the operation unit 300.

또한, 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션의 상기 영상 촬영부(200)는, 차량의 측면에 장착되어 측후면이 보이도록 위치한 제3메라와 차량의 후면에 결합되는 제4카메라 중 하나 이상의 카메라를 더 포함한다.The image capturing unit 200 of the augmented reality navigation system mounted on the windshield of the vehicle according to the present invention includes a third camera mounted on a side surface of the vehicle, Lt; / RTI > camera.

도 2에 도시된 바와 같이, 운전자의 시야를 적게 가리도록 하여 상기 디스플레이 수단(500)에 표시될 수 있다.As shown in FIG. 2, may be displayed on the display means 500 so as to slightly cover the driver's field of view.

상기 연산부(300)는, 상기 제1카메라(201)의 차량 전방을 촬영한 영상에서 도로 마킹을 인식하는 기능을 한다.The operation unit 300 recognizes the road marking on the image of the front of the vehicle of the first camera 201.

도로 위의 차선, 횡단보도 등의 도로 마킹을 인식하기 위하여 프리만 체인 코드(Freeman Chain Code)를 이용하여 도로 마크의 특징 패턴을 추출한다.In order to recognize the road marking such as lane on the road, crosswalk, etc., the feature pattern of the road mark is extracted by using the Freeman Chain Code.

프리만 체인 코드는 이미지의 외곽선을 검출하는 방법 중 하나로, 외곽선을 특정 길이와 상, 하, 좌, 우 4개 방향 또는, 좌상, 좌하, 우상, 우하를 더한 8개의 방향을 포함하는 직선이 연결된 직선 시퀀스로 표현한다.One of the methods of detecting the outline of an image is a straight line containing 8 directions in which the outline is formed by a specific length and four directions up, down, left, and right or upper left, lower left, upper right and lower right Expressed in a straight line sequence.

또한, 상기 연산부(300)에서 프리만 체인 코드를 이용하여 추출한 특징 패턴은, 데이터 베이스에 저장된 차선 표지 목록과 비교하여 버스 차선, 화살표, 제한 속도, 유턴 표시 등을 상기 디스플레이 수단(500)에 표시할 수 있다.The feature pattern extracted by the operation unit 300 using the preman chain code is compared with the lane mark list stored in the database to display bus lanes, arrows, speed limit, and U-turn indication on the display means 500 can do.

또한, 상기 연산부(300)는, 상기 제2카메라(202)의 운전자의 안면을 촬영한 영상에서 운전자의 안구 위치를 연산하는 기능을 한다.In addition, the operation unit 300 calculates the position of the driver's eye on the image of the driver's face of the second camera 202.

CAMShift(Continuously Adaptive Mean-Shift) 알고리즘을 이용하여 운전자의 얼굴 영역을 추출할 수 있다.The face area of the driver can be extracted using the CAMShift (Continuously Adaptive Mean-Shift) algorithm.

CAMShift 알고리즘은 명암, 코너, 경계선 등으로 추출한 특징점들의 밀도분포를 기반으로 객체를 고속으로 추적하는 알고리즘으로, 초기에 추적 영역(운전자의 안면)의 크기와 위치 및 색 영역을 지정하면 이것을 기반으로 경계 영역을 결정한다. 상기 추적 객체의 크기가 달라지면 상기 경계 영역의 크기를 재조정할 수 있다.The CAMShift algorithm is an algorithm that tracks objects at high speed based on the density distribution of feature points extracted by contrast, corners, and boundary lines. When the size, position, and color area of the tracking area (driver's face) are initially specified, Area. If the size of the tracking object is changed, the size of the boundary area can be readjusted.

또한, AdaBoost 학습 알고리즘은 특정 객체를 분류할 수 있는 분류기를 구성하는 방법이다.The AdaBoost learning algorithm is a method of constructing a classifier capable of classifying a specific object.

특정 영역의 픽셀 명도의 합을 구하고 인접한 영역의 픽셀 명도의 합을 구하여 인접한 영역 간의 명도 합의 차이를 이용하여 0 또는 1의 값을 가지는 특징값을 추출하는 Haar-like feature를 AdaBoost 학습 알고리즘에 더하여 눈, 코, 입을 검출하는 식별기를 구축할 수 있다.The Haar-like feature that extracts feature values of 0 or 1 using the sum of pixel brightness of a specific area and the sum of pixel brightness of adjacent areas and the difference of brightness sum between adjacent areas is added to the AdaBoost learning algorithm, , Nose and mouth can be constructed.

AdaBoost 학습 알고리즘을 이용하여 운전자의 얼굴 위치와 안구의 위치를 추적하고, 코나 입 등의 위치를 추가로 추측하여 운전자의 안구의 위치를 검증하는데 사용할 수 있다.The AdaBoost learning algorithm can be used to track the driver's face position and eye position, and to estimate the driver's eye position by further guessing the position of the nose or mouth.

AdaBoost 학습 알고리즘은 학습을 거듭할수록 얼굴의 특징값들을 많이 보유할 수 있어 강력한 얼굴 인식 알고리즘을 가지게 되므로, 운전자의 안면 영상으로 학습 데이터를 계속 추가하여 신뢰성 있는 결과를 얻을 수 있다.The AdaBoost learning algorithm has a strong face recognition algorithm because it can retain many feature values of the face as it learns more. Therefore, reliable results can be obtained by continuously adding learning data to the driver's face image.

또한, 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션의 상기 연산부(300)는, 상기 제2카메라(202)에서 영상을 입력받아 운전자의 제스처를 인식하는 동작 인식 툴을 포함한다.In addition, the operation unit 300 of the augmented reality navigation device mounted on the vehicle front windshield according to the present invention includes an operation recognition tool that receives the image from the second camera 202 and recognizes the driver's gesture.

상기 제2카메라(202)에서 입력된 영상에서 운전자의 제스처를 추척 및 추출하여 상기 운전자의 동작 중에 의미있는 제스처 동작 영역을 추출하여 인식할 수 있다.The gesture of the driver can be tracked and extracted from the image input by the second camera 202, so that a meaningful gesture operation area can be extracted and recognized during the operation of the driver.

상기 CAMShift 알고리즘과 AdaBoost 학습 알고리즘을 이용하여 운전자의 제스처의 특징점을 추출하고 미리 저장된 제스처 데이터베이스와 비교하여 명령을 인식할 수 있다.The feature points of the gesture of the driver can be extracted using the CAMShift algorithm and the AdaBoost learning algorithm and the command can be recognized by comparing with the gesture database stored in advance.

본 발명에 따른 상기 차량 전면 유리에 장착하는 증강현실 내비게이션은, 차량의 전방을 향하여 결합되는 전파탐지기(RADAR, Radio Detecting And Ranging)를 포함한다.The augmented reality navigation mounted on the vehicle windshield according to the present invention includes a radio detecting and ranging (RADAR) coupled toward the front of the vehicle.

도 2에 도시된 바와 같이, 차량의 전면에 결합된 전파탐지기에서 발송하는 전파 신호를 이용하여 주행 중 운전자가 탑승한 차량(A)과 원거리 전방에 존재하는 타 차량(B)과의 거리(d)를 얻을 수 있다.As shown in FIG. 2, the distance (d) between the vehicle A on which the driver is on the road and the other vehicle B in the far-front direction is calculated using a radio wave signal transmitted from a radio wave sensor coupled to the front surface of the vehicle ) Can be obtained.

또한, 본 발명에 따른 차량 전면 유리에 장착하는 증강현실 내비게이션의 상기 연산부(300)는, 야간이나 안개, 우천 주행 시 상기 전파탐지기 및 상기 영상 촬영부(200)의 차량 전방을 촬영한 영상을 이용하여 주행 장애물의 경계선과 구조물의 도로에 인접한 경계선을 연산하여 상기 화면 처리부(400)에 입력한다.The arithmetic unit 300 of the augmented reality navigation system mounted on the windshield of the vehicle according to the present invention uses the image photographed in front of the radio wave detector and the front of the vehicle 200 during nighttime, And calculates a boundary line between the boundary of the traveling obstacle and the road of the structure, and inputs the boundary line to the screen processing unit 400.

상기 화면 처리부(400)에 입력된 근거리와 원거리에 존재하는 장애물과 구조물의 정보는 상기 디스플레이 수단(500)에 거리와 경계선을 표시하는데 사용한다.The information of the obstacles and the structures existing in the near and far distances input to the screen processing unit 400 are used to display distances and boundary lines on the display unit 500.

도 3에 도시된 바와 같이, 상기 디스플레이 수단(500)은, 차량 전면유리 안 쪽에 장착되는 투명한 디스플레이로서, 운전자가 보는 시야를 그대로 유지하면서 증강현실 주행 안내 정보를 덧입혀 보여주는 기능을 한다.As shown in FIG. 3, the display unit 500 is a transparent display mounted on the inner side of the front glass of the vehicle, and displays the augmented reality driving guidance information while showing the driver's view.

주행 방향 안내를 위한 화살표는, 상기 전파탐지기로부터 장애물을 인식하여 상기 장애물을 회피하는 곡선으로 표시될 수 있다.The arrow for guidance of the direction of travel may be indicated by a curve that recognizes the obstacle from the radio wave detector and avoids the obstacle.

또한, 주행 안내 화살표나 차선 강조 선 등은 운전자의 필요에 따라 흐림 정도를 선택할 수 있다.
In addition, the driving guidance arrow, the lane-emphasizing line, and the like can select the fog level according to the driver's need.

이상과 같이 본 발명은, 바람직한 실시예를 중심으로 설명하였지만 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 본 발명의 특허청구범위에 기재된 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어야 한다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken as a limitation of the scope of the present invention. Or modify it. The scope of the invention should, therefore, be construed in light of the claims set forth to cover many of such variations.

100 : 영상 촬영부
101 : 제1카메라
102 : 제2카메라
200 : 연산부
300 : 화면 처리부
301 : 주행방향 안내 화살표
400 : 디스플레이 수단
(A) : 운전자 탑승 차량
(B) : 전방의 타 차량100:
101: First camera
102: Second camera
200:
300:
301: Navigation direction arrow
400: Display means
(A): Driver's boarding vehicle
(B): the other vehicle ahead

Claims (5)

차량의 전방을 촬영하는 제1카메라와 운전자의 안면을 촬영하는 제2카메라를 포함하는 영상 촬영부와;
상기 제1카메라의 차량 전방을 촬영한 영상에서 도로 마킹을 인식하고, 상기 제2카메라의 운전자의 안면을 촬영한 영상에서 운전자의 안구 위치를 연산하는 연산부와;
차량 전면유리 안 쪽에 장착되는 투명한 디스플레이 수단과;
상기 연산부에서의 안구 위치를 기반으로 상기 영상 촬영부의 촬영 영상에서 인식된 도로 마킹 선을 상기 투명 디스플레이 수단에 밝은 색상으로 강조하여 표시하고, 상기 연산부에서의 안구 위치를 기반으로 운전자의 목적지까지 주행해야 하는 방향을 화살표로 표시하는 화면 처리부;를 포함하는
차량 전면 유리에 장착하는 증강현실 내비게이션.
An image photographing unit including a first camera for photographing the front of the vehicle and a second camera for photographing the face of the driver;
An operation unit for recognizing road marking on the image of the front of the first camera and calculating the position of the driver's eye on the image of the face of the driver of the second camera;
Transparent display means mounted inside the vehicle windshield;
The road marking line recognized in the photographed image of the image photographing section is highlighted on the transparent display means in a bright color and displayed on the basis of the eye position in the operation section and traveled to the driver's destination based on the eye position in the operation section And a screen processing unit for displaying a direction
Augmented reality navigation mounted on the vehicle's front glass.
제 1항에 있어서,
상기 연산부는, 상기 제2카메라에서 영상을 입력받아 운전자의 제스처를 인식하는 동작 인식 툴을 포함하는
차량 전면 유리에 장착하는 증강현실 내비게이션.
The method according to claim 1,
Wherein the operation unit includes an operation recognition tool that receives an image from the second camera and recognizes the gesture of the driver
Augmented reality navigation mounted on the vehicle's front glass.
제 1항에 있어서,
상기 차량 전면 유리에 장착하는 증강현실 내비게이션은, 차량의 전방을 향하여 결합되는 전파탐지기(RADAR, Radio Detecting And Ranging)를 포함하는
차량 전면 유리에 장착하는 증강현실 내비게이션.
The method according to claim 1,
The augmented reality navigation mounted on the vehicle windshield includes a Radio Detecting And Ranging (RADAR) coupled toward the front of the vehicle
Augmented reality navigation mounted on the vehicle's front glass.
제 3항에 있어서,
상기 연산부는, 야간이나 안개, 우천 주행 시 상기 전파탐지기 및 상기 영상 촬영부의 차량 전방을 촬영한 영상을 이용하여 주행 장애물의 경계선과 구조물의 도로에 인접한 경계선을 연산하여 상기 화면 처리부에 입력하는 것을 특징으로 하는
차량 전면 유리에 장착하는 증강현실 내비게이션.
The method of claim 3,
The calculation unit computes a boundary line of the traveling obstacle and a boundary line adjacent to the road of the structure using the image of the front of the vehicle in front of the radio wave detector and the image sensing unit at nighttime, To
Augmented reality navigation mounted on the vehicle's front glass.
제 1항에 있어서,
상기 영상 촬영부는, 차량의 측면에 장착되어 측후면이 보이도록 위치한 제3카메라와 차량의 후면에 결합되는 제4카메라 중 하나 이상의 카메라를 더 포함하는 것을 특징으로 하는
차량 전면 유리에 장착하는 증강현실 내비게이션.

The method according to claim 1,
Wherein the image photographing unit further comprises at least one camera selected from the group consisting of a third camera mounted on a side surface of the vehicle and a rear side of the vehicle and a fourth camera coupled to a rear surface of the vehicle,
Augmented reality navigation mounted on the vehicle's front glass.

KR1020130141389A 2013-11-20 2013-11-20 Augmented Reality Navigation on Vehicle Windshield KR20150057703A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130141389A KR20150057703A (en) 2013-11-20 2013-11-20 Augmented Reality Navigation on Vehicle Windshield

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130141389A KR20150057703A (en) 2013-11-20 2013-11-20 Augmented Reality Navigation on Vehicle Windshield

Publications (1)

Publication Number Publication Date
KR20150057703A true KR20150057703A (en) 2015-05-28

Family

ID=53392515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130141389A KR20150057703A (en) 2013-11-20 2013-11-20 Augmented Reality Navigation on Vehicle Windshield

Country Status (1)

Country Link
KR (1) KR20150057703A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137193A (en) * 2017-06-16 2018-12-27 현대모비스 주식회사 Apparatus for adjusting display position of head up display and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137193A (en) * 2017-06-16 2018-12-27 현대모비스 주식회사 Apparatus for adjusting display position of head up display and method thereof

Similar Documents

Publication Publication Date Title
US10502955B2 (en) Head-up display device, navigation device, and display method
JP6700623B2 (en) Driving support device and computer program
US10269331B2 (en) Display control device for vehicle
US8970451B2 (en) Visual guidance system
US10564434B2 (en) Display control device for vehicle
JP4791262B2 (en) Driving assistance device
US9267808B2 (en) Visual guidance system
JP4696248B2 (en) MOBILE NAVIGATION INFORMATION DISPLAY METHOD AND MOBILE NAVIGATION INFORMATION DISPLAY DEVICE
CN107848416B (en) Display control device, display device, and display control method
WO2019097763A1 (en) Superposed-image display device and computer program
US20120224060A1 (en) Reducing Driver Distraction Using a Heads-Up Display
US11525694B2 (en) Superimposed-image display device and computer program
WO2015163205A1 (en) Vehicle display system
US10488658B2 (en) Dynamic information system capable of providing reference information according to driving scenarios in real time
US20110157184A1 (en) Image data visualization
US11104356B2 (en) Display device and method for a vehicle
US20230135641A1 (en) Superimposed image display device
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
JP6945933B2 (en) Display system
US20210268961A1 (en) Display method, display device, and display system
KR20150055183A (en) Apparatus for displaying traffic lane using head-up display and method thereof
US8681219B2 (en) System and method for driving assistance at road intersections
JP2016515969A (en) Visual positioning bearing navigation system with direction
KR20150057703A (en) Augmented Reality Navigation on Vehicle Windshield
JP5192009B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
E601 Decision to refuse application